Added information on registration, login scripts and passwords to the
[spider.git] / sgml / adminmanual.sgml
index 2068efd75747b669f262d529fcc1b06bc84f6ddb..967a4cb36fc83595a6efce35fd6d3fb283a4a793 100644 (file)
@@ -4,9 +4,9 @@
 
 <!-- Title information -->
 
-<title>The DXSpider Administration Manual v1.47</title> 
+<title>The DXSpider Administration Manual v1.48</title> 
 <author>Ian Maude, G0VGS, (ianmaude@btinternet.com)</author>
-<date>version 1.47</date>
+<date>Version 1.49 November 2001 revision 1.0</date>
 
 <abstract>
 A reference for SysOps of the DXSpider DXCluster program.
@@ -17,352 +17,225 @@ A reference for SysOps of the DXSpider DXCluster program.
 
 <!-- Begin the document -->
 
-<sect>Hop control
-
-<P>
-Starting with version 1.13 there is simple hop control available on a per
-node basis. Also it is possible to isolate a network completely so that you 
-get all the benefits of being on that network, but can't pass on information
-from it to any other networks you may be connected to (or vice versa).
-
-<sect1>Basic hop control
-
-<P>
-In /spider/data you will find a file called hop_table.pl.  This is the file 
-that controls your hop count settings.  It has a set of default hops on the 
-various PC frames and also a set for each node you want to alter the hops for.  
-You may be happy with the default settings of course, but this powerful tool 
-can help to protect and improve the network.  The file will look something 
-like this ...
+<sect>Routing and Filtering
+
+<sect1>Introduction
+
+<P>
+From DXSpider version 1.48, major changes were introduced to the way 
+node connections are treated.  This is part of an ongoing process to
+remove problems with loops and to enable talk and other functions to
+propagate across the whole of the worldwide cluster network.  In fact,
+in a Spider network, it would be useful, perhaps even necessary to
+have loops.  This would give real resilience to the network, meaning
+that if a link dropped, the information flow would simply come in and
+go out via a different route.  Of course, we do not have a complete
+network of Spider nodes, there are other programs out there.  Some of
+these do not have any protection from loops.  Certainly AK1A does not 
+handle loops well at all.  It is therefore necessary to have some form 
+of protection for these nodes.
+
+<P>
+In fact DXSpider has had a simple system for some time which is called
+<it>isolation</it>. This is similar to what in other systems such as 
+<bf>clx</bf>, is called <it>passive mode</it>. A more detailed explanation
+of <it>isolation</it> is given further below. This system is still available
+and, for simple networks, is probably all that you need.
+
+<P>
+The new functionality introduced in version 1.48 allows filtering the node
+and user protocol frames on a "per interface" basis. We call this
+<it>route filtering</it>. This is used <bf>instead of</bf>
+<it>isolation</it>. 
+
+<p>
+What this really means is that you can control more or less completely
+which user and node management PC protocol frames pass to each of your 
+partner nodes. You can also limit what comes into your node from your 
+partners. It is even possible to control the settings that your partner 
+node has for the routing information that it sends to you 
+(using the <it>rcmd</it> command).
+
+<sect1>Route Filters
+
+<p>
+Initially when route filters were being tested we generated a
+"default" filter.  Unfortunately it quickly became apparent that this
+might suit the UK cluster network but didn't really fit anybody else.
+However using a default filter is an appropriate thing to do. How, is
+explained further on.
+
+<p>
+The first thing that you must do is determine whether you need to use 
+route filtering <bf>at all</bf>. If you are a "normal" node with two or 
+three partners and you arranged in an "official" non-looping tree type 
+network, then <bf>you do not need to do route filtering</bf> and you will 
+feel a lot better for not getting involved. If you are successfully using 
+<it>isolation</it> then you also probably don't need to use route filtering.
+
+<p>
+To put it simply, you should not mix Isolation and Route Filtering.  It 
+will work, of sorts, but you will not get the expected results.  If you 
+are using Isolation sucessfully at the moment, do not get involved in 
+Route Filtering unless you have a good supply of aspirin!  Once you have 
+started down the road of Route Filtering, do not use Isolation either.
+Use one or the other, not both.
+
+<p>
+You will only require this functionality if you are "well-connected". What 
+that means is that you are connected to several different parts of (say) 
+the EU cluster and, at the same time, also connected to two or three places 
+in the US which, in turn are connected back to the EU. This is called a 
+"loop" and if you are seriously looped then you need filtering.
+
+<P>
+I should at this stage give a little bit of background on filters.  All
+the filters in Spider work in basically the same way.  You can either
+accept or reject various options in order to create the filter rules
+you wish to achieve.  Some filters are user settable, others can only
+be altered by the sysop.  Route filtering can only be done by the sysop.
+
+<P> 
+Anyway, without further discouragement, let me start the process
+of explanation.
+
+<sect1>The node_default filter
+
+<P>
+All normal systems should have a default routing filter and it should
+usually be set to send only the normal, unlooped, view of your
+"national" network.  Here in the UK that means nodes from the UK and
+Eire, in EU it is more complex as the networks there grew up in a more
+intertwined way.
+
+<p> 
+The generic commands are:-
 
 <tscreen><verb>
-# 
-# hop table construction
-# 
-
-package DXProt;
-
-# default hopcount to use
-$def_hopcount = 5;
-
-# some variable hop counts based on message type
-%hopcount = 
-(
- 11 => 10,
- 16 => 10,
- 17 => 10,
- 19 => 10,
- 21 => 10,
-);
-
-
-# the per node hop control thingy
+reject/route node_default &lt;filter_option&gt;
 
+or
 
-%nodehops = 
-
- GB7ADX => {            11 => 8,
-                        12 => 8,
-                        16 => 8,
-                        17 => 8,
-                        19 => 8,
-                        21 => 8,
-                   },
-
- GB7UDX => {            11 => 8,
-                        12 => 8,
-                        16 => 8,
-                        17 => 8,
-                        19 => 8,
-                        21 => 8,
-                   },
- GB7BAA => {
-                        11 => 5,
-                        12 => 8,
-                        16 => 8,
-                        17 => 8,
-                        19 => 8,
-                        21 => 8,
-                   },
-};
+accept/route node_default &lt;filter_option&gt;
 </verb></tscreen>
 
-<P>
-Each set of hops is contained within a pair of curly braces and contains a 
-series of PC frame types.  PC11 for example is a DX spot. The figures here 
-are not exhaustive but should give you a good idea of how the file works.
-
-<P>
-You can alter this file at any time, including whilst the cluster is running.  
-If you alter the file during runtime, the command <em>load/hops</em> will 
-bring your changes into effect.
-
-<sect1>Isolating networks
-
-<P>
-It is possible to isolate networks from each other on a "gateway" node using the
- <em>set/isolate &lt;node_call&gt;</em> command.
-       
-<P>
-The effect of this is to partition an isolated network completely from another 
-nodes connected to your node. Your node will appear on and otherwise behave 
-normally on every network to which you are connected, but data from an isolated 
-network will not cross onto any other network or vice versa. However all the 
-spot, announce and WWV traffic and personal messages will still be handled 
-locally (because you are a real node on all connected networks), that is locally
-connected users will appear on all networks and will be able to access and 
-receive information from all networks transparently.  All routed messages will 
-be sent as normal, so if a user on one network knows that you are a gateway for 
-another network, he can still still send a talk/announce etc message via your 
-node and it will be routed across.
-
-<P>
-The only limitation currently is that non-private messages cannot be passed down 
-isolated links regardless of whether they are generated locally. This will change 
-when the bulletin routing facility is added.
-
-<P>
-If you use isolate on a node connection you will continue to receive all 
-information from the isolated partner, however you will not pass any information 
-back to the isolated node.  There are times when you would like to forward only 
-spots across a link (maybe during a contest for example).  To do this, isolate 
-the node in the normal way and put in a filter in the /spider/filter/spots 
-directory to override the isolate.  This filter can be very simple and consists 
-of just one line ....
+where filter_option is one of the following ...
 
 <tscreen><verb>
-$in = [
-       [ 1, 0, 'd', 0, 3]      # The last figure (3) is the hop count
-];
+call &lt;prefixes&gt;
+call_dxcc &lt;numbers&gt;
+call_itu &lt;numbers&gt;
+call_zone &lt;numbers&gt;
+channel &lt;prefixes&gt;
+channel_dxcc &lt;numbers&gt;
+channel_itu &lt;numbers&gt;
+channel_zone &lt;numbers&gt;
 </verb></tscreen>
 
-<P>
-There is a lot more on filtering in the next section.
-
-<sect>Filtering (Old Style upto v1.44)
-
-<P>
-Filters can be set for spots, announcements and WWV.  You will find the 
-directories for these under /spider/filter.  You will find some examples in 
-the directories with the suffix <em>.issue</em>.  There are two types of 
-filter, one for incoming information and one for outgoing information. 
-Outgoing filters are in the form <em>CALLSIGN.pl</em> and incoming filters 
-are in the form <em>in_CALLSIGN.pl</em>.  Filters can be set for both nodes 
-and users.
+Please be careful if you alter this setting, it will affect 
+<bf><it>ALL</it></bf> your links!  Remember, this is a <it>default</it>
+filter for node connections, not a <it>per link</it> default.
 
-<P>
-All filters work in basically the same way.  There are several elements 
-delimited by commas.  There can be many lines in the filter and they are 
-read from the top by the program.  When writing a filter you need to think 
-carefully about just what you want to achieve.  You are either going to write 
-a filter to <em>accept</em> or to <em>reject</em>.  Think of a filter as 
-having 2 main elements.  For a reject filter, you would have a line or multiple 
-lines rejecting the things you do not wish to receive and then a default line
-accepting everything else that is not included in the filter.  Likewise, for an
-accept filter, you would have a line or multiple lines accepting the things you 
-wish to receive and a default line rejecting everthing else.
-
-<P>
-In the example below, a user requires a filter that would only return SSB spots
-posted in Europe on the HF bands.  This is achieved by first rejecting the CW 
-section of each HF band and rejecting all of VHF, UHF etc based on frequency.
-Secondly, a filter rule is set based on CQ zones to only accept spots posted in
-Europe.  Lastly, a default filter rule is set to reject anything outside the filter.
+<p>
+For the default routing filter then you have two real choices: either
+a "national" view or the "safe" option of only your own
+callsign. Examples of each (for my node: GB7DJK) are:-
 
 <tscreen><verb>
-$in = [
-       [ 0, 0, 'r', # reject all CW spots
-               [
-               1800.0, 1850.0,
-               3500.0, 3600.0,
-               7000.0, 7040.0,
-               14000.0, 14100.0,
-               18068.0, 18110.0,
-               21000.0, 21150.0,
-               24890.0, 24930.0,
-               28000.0, 28180.0,
-               30000.0, 49000000000.0,
-               ] ,1 ],
-       [ 1, 11, 'n', [ 14, 15, 16, 20, 33, ], 15 ], #accept EU
-       [ 0, 0, 'd', 0, 1 ], # 1 = want, 'd' = everything else
-];
+acc/route node_default call_dxcc 61,38
+acc/route node_default call gb7djk
 </verb></tscreen>
 
-<P>
-The actual elements of each filter are described more fully in the following
-sections.
+GB7DJK uses the first of these. The DXCC countries can be obtained from the 
+<it>show/prefix</it> command.
 
-<sect1>Spots
+<p>
+The example filters shown control <it>output</it> <bf>TO</bf> all your
+partner nodes unless they have a specific filter applied to them (see
+next section).
 
-<P>
-The elements of the Spot filter are ....
+<p>
+It is also possible to control the <it>incoming</it> routing
+information that you are prepared to accept <bf>FROM</bf> your partner
+nodes. The reason this is necessary is to make sure that stuff like
+mail, pings and similar commands a) go down the correct links and b)
+don't loop around excessively. Again using GB7DJK as an example a typical
+default input filter would be something like:
 
 <tscreen><verb>
-[action, field_no, sort, possible_values, hops]
+rej/route node_default input call_dxcc 61,38 and not channel_dxcc 61,38
 </verb></tscreen>
 
-<P>
-There are 3 elements here to look at.  Firstly, the action element.  This is 
-very simple and only 2 possible states exist, accept (1) or drop (0).
+What this does is accept node and user information for our national
+network from nodes that are in our national network, but rejects such
+information from anyone else. Although it doesn't explicitly say so,
+by implication, any other node information (not from the UK and Eire)
+is accepted.
 
-<P>
-The second element is the field_no.  There are 13 possiblities to choose from 
-here ....
+<p>
+As I imagine it will take a little while to get one's head around all of 
+this you can study the effect of any rules that you try by watching the 
+debug output after having done:-
 
 <tscreen><verb>
-      0 = frequency
-      1 = call
-      2 = date in unix format
-      3 = comment
-      4 = spotter
-      5 = spotted dxcc country
-      6 = spotter's dxcc country
-      7 = origin
-      8 = spotted itu
-      9 = spotted cq
-      10 = spotter's itu
-      11 = spotter's cq
-      12 = callsign of the channel on which the spot has appeared
+set/debug filter
 </verb></tscreen>
 
-<P>
-The third element tells us what to expect in the fourth element.  There are 
-4 possibilities ....
+After you have got tired of that, to put it back the way it was:-
 
 <tscreen><verb>
-     n - numeric list of numbers e.g. [ 1,2,3 ]
-     r - ranges of pairs of numbers e.g. between 2 and 4 or 10 to 17 - [ 2,4, 10,17 ]
-     a - an alphanumeric regex
-     d - the default rule
+unset/debug filter
 </verb></tscreen>
 
-<P>
-The fifth element is simply the hops to set in this filter.  This would only 
-be used if the filter was for a node of course and overrides the hop count in
-hop_table.pl.
+<sect1>General route filtering
 
 <P>
-So, let's look at an example spot filter.  It does not matter in the example 
-who the filter is to be used for.  So, what do we need in the filter?  We need 
-to filter the spots the user/node requires and also set a default rule for 
-anything else outside the filter.  Below is a simple filter that stops spots 
-arriving from outside Europe.
+Exactly the same rules apply for general route filtering.  You would
+use either an accept filter or a reject filter like this ...
 
-<tscreen><verb>$in = [
-  [ 0, 4, 'a', '^(K|N|A|W|VE|VA|J)'],  # 0 = drop, 'a' = alphanumeric
-  [ 1, 0, 'd', 0, 1 ],                 # 1 = want, 'd' = everything else
-                    ];
-</verb></tscreen>
-
-<P>
-So the filter is wrapped in between a pair of square brackets.  This tells 
-Spider to look in between these limits.  Then each line is contained within 
-its own square brackets and ends with a comma. Lets look carefully at the first 
-line.  The first element is 0 (drop).  Therefore anything we put on this line 
-will not be accepted.  The next element is 4.  This means we are filtering by 
-the spotter.  The third element is the letter "a" which tells the program to 
-expect an alphanumeric expression in the fourth element.  The fourth element 
-is a list of letters separated by the pipe symbol.
-
-<P>
-What this line does is tell the program to drop any spots posted by anyone in 
-the USA, Canada or Japan.
-
-<P>
-The second line is the default rule for anything else.  The "d" tells us this 
-and the line simply reads... accept anything else.
+<tscreen><verb>
+reject/route &lt;node_call&gt; &lt;filter_option&gt;
 
-<P>
-You can add as many lines as you need to complete the filter but if there are 
-several lines of the same type it is neater to enclose them all as one line.  
-An example of this is where specific bands are set.  We could write this like 
-this ....
+or
 
-<tscreen><verb>
-[ 0,0,'r',[1800.0, 2000.0], 1],
-[ 0,0,'r',[10100.0, 10150.0], 1],
-[ 0,0,'r',[14000.0, 14350.0], 1],
-[ 0,0,'r',[18000.0, 18200.0], 1],
+accept/route &lt;node_call&gt; &lt;filter_option&gt; 
 </verb></tscreen>
 
 <P>
-But the line below achieves the same thing and is more efficient ....
+Here are some examples of route filters ...
 
 <tscreen><verb>
-  [ 0, 0, 'r',
-    [  
-      1800.0, 2000.0,         # top band 
-      10100.0, 10150.0,       # WARC  
-      14000.0, 14350.0,       # 20m
-      18000.0, 18200.0,       # WARC
-    [ ,1 ],
+rej/route gb7djk call_dxcc 61,38 (send everything except UK+EIRE nodes)
+rej/route all                    (equiv to [very] restricted mode)
+acc/route gb7djk call_dxcc 61,38 (send only UK+EIRE nodes)
+acc/route gb7djk call gb7djk     (equiv to SET/ISOLATE)
 </verb></tscreen>
 
-
-<sect1>Announcements
-
-<P>
+In practice you will either be opening the default filter out for a
+partner by defining a specific filter for that callsign:-
 <tscreen><verb>
-
-# This is an example announce or filter allowing only West EU announces
-# 
-# The element list is:-
-# 0 - callsign of announcer
-# 1 - destination * = all, <callsign> = routed to the node
-# 2 - text
-# 3 - * - sysop, <some text> - special list eg 6MUK, ' ', normal announce
-# 4 - origin
-# 5 - 0 - announce, 1 - wx
-# 6 - channel callsign (the interface from which this spot came)
-
-$in = [
-        [ 1, 0, 'a', '^(P[ABCDE]|DK0WCY|G|M|2|EI|F|ON)' ],
-        [ 0, 0, 'd', 0 ]
-];
+acc/route gb7baa all
+acc/route gb7baa input all
 </verb></tscreen>
 
-In this example, only the prefixes listed will be allowed.  It is possible to 
-be quite specific.  The Dutch prefix "P" is followed by several secondary 
-identifiers which are allowed.  So, in the example, "PA" or "PE" would be ok 
-but not "PG".  It is even possible to allow information from a single callsign.  
-In the example this is DK0WCY, to allow the posting of his Aurora Beacon.
-
-<sect1>WWV
+or restricting it quite a lot, in fact making it very nearly like an 
+<it>isolated</it> node, like this:-
 
-<P>
 <tscreen><verb>
-
-# This is an example WWV filter
-# 
-# The element list is:-
-# 0 - nominal unix date of spot (ie the day + hour:13)
-# 1 - the hour
-# 2 - SFI
-# 3 - K
-# 4 - I
-# 5 - text
-# 6 - spotter
-# 7 - origin
-# 8 - incoming interface callsign
-
-# this one doesn't filter, it just sets the hop count to 6 and is
-# used mainly just to override any isolation from WWV coming from
-# the internet.
-
-$in = [
-        [ 1, 0, 'd', 0, 6 ]
-];
-
+acc/route pi4ehv-8 call gb7djk
+rej/route pi4ehv-8 input call_dxcc 61,38 
 </verb></tscreen>
 
-<P>
-It should be noted that the filter will start to be used only once a user/node 
-has logged out and back in again.
-<P>
-I am not going to spend any more time on these filters now as they will become 
-more "comprehensive" in the near future.
+This last example takes everything except UK and Eire from PI4EHV-8
+but only sends him my local configuration (just a PC19 for GB7DJK and
+PC16s for my local users).
+
+<p>
+It is possible to write <bf>much</bf> more complex rules, there are up 
+to 10 accept/reject pairs per callsign per filter. For more information 
+see the next section. 
 
-<sect>Filtering (New Style v1.45 and later)
 
 <sect1>General filter rules
 
@@ -380,7 +253,7 @@ generally at filtering. There are a number of things you can filter in the
 DXSpider system. They all use the same general mechanism.
 
 <P>
-In general terms you can create a 'reject' or an 'accept' filter which can have 
+In general terms you can create a "reject" or an "accept" filter which can have 
 up to 10 lines in it. You do this using, for example ... 
 
 <tscreen><verb> 
@@ -574,6 +447,123 @@ what happens is that the reject is executed first, any non hf/cw spot is passed
 to the accept line, which lets through everything else on HF.  The next filter line 
 lets through just VHF/UHF spots from EU.
 
+<sect1>Basic hop control
+
+<P>
+In /spider/data you will find a file called hop_table.pl.  This is the file 
+that controls your hop count settings.  It has a set of default hops on the 
+various PC frames and also a set for each node you want to alter the hops for.  
+You may be happy with the default settings of course, but this powerful tool 
+can help to protect and improve the network.  The file will look something 
+like this ...
+
+<tscreen><verb>
+# 
+# hop table construction
+# 
+
+package DXProt;
+
+# default hopcount to use
+$def_hopcount = 5;
+
+# some variable hop counts based on message type
+%hopcount = 
+(
+ 11 => 10,
+ 16 => 10,
+ 17 => 10,
+ 19 => 10,
+ 21 => 10,
+);
+
+
+# the per node hop control thingy
+
+
+%nodehops = 
+
+ GB7ADX => {            11 => 8,
+                        12 => 8,
+                        16 => 8,
+                        17 => 8,
+                        19 => 8,
+                        21 => 8,
+                   },
+
+ GB7UDX => {            11 => 8,
+                        12 => 8,
+                        16 => 8,
+                        17 => 8,
+                        19 => 8,
+                        21 => 8,
+                   },
+ GB7BAA => {
+                        11 => 5,
+                        12 => 8,
+                        16 => 8,
+                        17 => 8,
+                        19 => 8,
+                        21 => 8,
+                   },
+};
+</verb></tscreen>
+
+<P>
+Each set of hops is contained within a pair of curly braces and contains a 
+series of PC frame types.  PC11 for example is a DX spot. The figures here 
+are not exhaustive but should give you a good idea of how the file works.
+
+<P>
+You can alter this file at any time, including whilst the cluster is running.  
+If you alter the file during runtime, the command <em>load/hops</em> will 
+bring your changes into effect.
+
+<sect1>Hop Control on Specific Nodes
+
+<p>You can set a callsign specific hop count for any of the standard filter
+options so:-
+
+<tscreen><verb>
+set/hops gb7djk spot 4
+set/hops node_default route 10
+set/hops gb7baa wcy 5
+</verb></tscreen>
+all work on their specific area of the protocol.
+
+<p>
+The <em>set/hops</em> command overrides any hops that you have set otherwise.
+
+<p>
+You can set what hops have been set using the <em>show/hops</em> command.
+
+<sect1>Isolating networks
+
+<P>
+It is possible to isolate networks from each other on a "gateway" node using the
+ <em>set/isolate &lt;node_call&gt;</em> command.
+       
+<P>
+The effect of this is to partition an isolated network completely from another 
+node connected to your node. Your node will appear on and otherwise behave 
+normally on every network to which you are connected, but data from an isolated 
+network will not cross onto any other network or vice versa. However all the 
+spot, announce and WWV traffic and personal messages will still be handled 
+locally (because you are a real node on all connected networks), that is locally
+connected users will appear on all networks and will be able to access and 
+receive information from all networks transparently.  All routed messages will 
+be sent as normal, so if a user on one network knows that you are a gateway for 
+another network, he can still still send a talk/announce etc message via your 
+node and it will be routed across.
+
+<P>
+If you use isolate on a node connection you will continue to receive
+all information from the isolated partner, however you will not pass
+any information back to the isolated node.  There are times when you
+would like to forward only spots across a link (maybe during a contest
+for example).  To do this, isolate the node in the normal way and use
+an <em>acc/spot &gt;call&lt; all</em> filter to override the isolate. 
 
 <sect>Other filters
 
@@ -628,64 +618,65 @@ headers that we do not want to pass on to either the users of the cluster or
 the other cluster nodes that we are linked to.  This is usually because of 
 rules and regulations pertaining to items for sale etc in a particular country.
 
-<sect1>Filtering DX callouts (Depricated)
 
-<P>
-<bf><it>From version 1.47, this method is replaced by the command set/baddx</it></bf>
+<sect1>Filtering words from text fields in Announce, Talk and DX spots
 
-<P>
-In the same way as mail, there are some types of spot we do not wish to pass on 
-to users or linked cluster nodes.  In the /spider/data directory you will find 
-a file called baddx.pl.issue.  Rename this to baddx.pl and edit the file.  The
-original looks like this ....
+<p>
+From version 1.48 onwards the interface to this has changed. You can now
+use the commands <em>set/badword</em> to add words that you are not prepared
+to see on the cluster, <em>unset/badword</em> to allow that word again and 
+<em>show/badword</em> to list the words that you have set.
 
-<tscreen><verb>
+<p>
+If you have a previous <em>/spider/data/badwords</em>, the first time you start
+the node, it will read and convert this file to the new commands. The old style
+file will then be removed.
 
-# the list of dx spot addresses that we don't store and don't pass on
+<sect1>Stopping (possibly bad) DX Spots from Nodes or Spotters
 
+<p> 
+There are a number of commands that control whether a spot progresses
+any further by regarding it as "bad" in some way.
 
-package DXProt;
+<p>
+A DX Spot has a number of fields which can be checked to see whether they
+contain "bad" values, they are: the DX callsign itself, the Spotter and
+the Originating Node.
 
-@baddx = qw 
-
- FROG 
- SALE
- FORSALE
- WANTED
- P1RATE
- PIRATE
- TEST
- DXTEST
- NIL
- NOCALL 
-);
-</verb></tscreen>
+<p>
+There are a set of commands which allow the sysop to control whether a
+spot continues:-
 
-<P>
-Again, this is simply a list of names we do not want to see in the spotted 
-field of a DX callout.
+<tscreen><verb>
+set/baddx
+set/badspotter
+set/badnode
+</verb></tscreen>
 
+These work in the same as the <em>set/badword</em> command, you can add
+any words or callsigns or whatever to the appropriate database. For
+example, to stop a spot from a particular node you do:
 
-<sect1>Filtering words from text fields in Announce, Talk and DX spots
+<tscreen><verb>
+set/badnode gb7djk gb7dxc
+</verb></tscreen>
 
-<P>
-Create a file in /spider/data called <em>badwords</em>.  The format is quite
-simple.  Lines beginning with # are ignored so comments can be added.  An
-example file is below ...
+a bad spotter:
 
 <tscreen><verb>
-# Below is a list of words we do not wish to see on the cluster
-grunge grunged grunging
-splodge splodger splodging
-grince
-fluffle
+set/badspotter b0mb p1rat nocall
 </verb></tscreen>
 
-Multiple words can be used on the same line as shown.  Obviously these
-are just examples :-)
+and some bad dx:
 
-<P>
-You can reload the file from the cluster prompt as sysop with load/badwords.
+<tscreen><verb>
+set/baddx video wsjt
+</verb></tscreen>
+
+You can remove a word using the appropriate unset command
+(<em>unset/baddx, unset/badspotter, unset/badnode</em>) or list them
+using one of <em>show/baddx, show/badspotter</em> and
+<em>show/badnode</em>.
 
 <sect>Mail
 
@@ -880,6 +871,47 @@ Please be careful not to flood the cluster network with unnecessary mail.
 Make sure you only send mail to the clusters that want it by using the
 Forward.pl file very carefully.
 
+<sect>Scripts
+
+<p>
+From 1.48 onwards it will become increasingly possible to control DXSpider's
+operation with scripts of various kinds.
+
+<p>
+In the first instance, in 1.48, the sysop can create, with their favorite 
+text editor, files in the directory <em>/spider/scripts</em> which contain
+any legal command for a callsign or class of connection which will be executed
+at logon.
+
+<p> 
+The filename is the callsign of the connection that you want the script to 
+operate on, eg: <em>/spider/scripts/g1tlh</em>. The filenames are always in 
+lower case on those architectures where this makes a difference.
+
+<p>
+In addition to the callsign specific scripts there are three others:-
+
+<tscreen><verb>
+startup
+user_default
+node_default
+</verb></tscreen>
+  
+The <em>startup</em> script is executed immediately after all
+initialisation of the node is done, but before any connections are
+possible.
+
+<p>
+The <em>user_default</em> script is executed for every user that does
+<bf>NOT</bf> already have a specific script.
+
+<p>
+The <em>node_default</em> script is executed for every node that doesn't
+have a specific script.
+
+<p>
+There are a couple of examples in the <em>/spider/scripts</em> directory.
+
 <sect>Databases
 
 <P>
@@ -1009,6 +1041,13 @@ or "motd".  To set this up, simply create a file in /spider/data called motd
 and edit it to say whatever you want.  It is purely a text file and will be 
 sent automatically to anyone logging in to the cluster.
 
+<sect1>MOTD_NOR
+
+<P>
+This message of the day file lives in the same directory as the standard
+motd file but is only sent to non-registered users.  Once registered they
+will receive the same message as any other user.
+
 <sect1>Downtime message
 
 <P>
@@ -1317,6 +1356,130 @@ ID and password.  You also at this point need to set $allow=1 to complete
 the setup.  Many thanks to Fred Lloyd, the proprieter of
 <htmlurl url="http://www.qrz.com" name="qrz.com"> for allowing this access.
 
+<sect1>Scripts
+
+<P>
+The directory /spider/scripts is used for several things.  Firstly it
+contains a file called startup that can be used to call in any changes
+to the cluster from the default settings on startup.  Examples of this
+include how many spots it is possible to get with the sh/dx command, 
+whether you want registration/passwords to be permanently on etc.  An
+example file is shown below and is included in the distribution as
+startup.issue.
+
+<tscreen><verb>
+#
+# startup script example
+#
+# set maximum no of spots allowed to 100
+# set/var $Spot::maxspots = 1
+#
+# Set registration on
+# set/var $main::reqreg = 1
+#
+# Set passwords on
+# set/var $main::passwdreq = 1
+#
+</verb></tscreen>
+
+Secondly, it is used to store the login scripts for users.  Currently
+this can only be done by the sysop but it is envisaged that eventually
+users will be able to set their own.  An example is included in the
+distibution but here is a further example.
+
+<tscreen><verb>
+#
+# G0FYD
+#
+blank +
+sh/wwv 3
+blank +
+sh/dx 
+blank +
+t g0jhc You abt?
+blank +
+</verb></tscreen>
+
+The lines in between commands can simply insert a blank line or a character
+such as a + sign to make the output easier to read.
+
+<sect>Security
+
+<P>
+From version 1.49 DXSpider has some additional security features.  These
+are not by any means meant to be exhaustive, however they do afford some
+security against piracy.  These two new features can be used independently 
+of each other or in concert to tighten the security.
+
+<sect1>Registration
+
+<P>
+The basic principle of registration is simple.  If a user is not registered
+by the sysop, then they have read-only access to the cluster.  The only
+thing they can actually send is a talk or a message to the sysop.  In
+order for them to be able to spot, send announces or talks etc the sysop
+must register them with the <em>set/register</em> command, like this ...
+
+<tscreen><verb>
+set/register g0vgs
+</verb></tscreen>
+
+The user g0vgs can now fully use the cluster.  In order to enable 
+registration, you can issue the command ...
+
+<tscreen><verb>
+set/var $main::reqreg = 1
+</verb></tscreen>
+
+Any users that are not registered will now see the motd_nor file rather
+than the motd file as discussed in the Information, files and useful 
+programs section.
+
+<P>
+Entering this line at the prompt will only last for the time the cluster
+is running of course and would not be present on a restart.  To make the
+change permanent, add the above line to /spider/scripts/startup.  To
+read more on the startup file, see the section on Information, files 
+and useful programs.
+
+<P>
+To unregister a user use <em>unset/register</em> and to show the list
+of registered users, use the command <em>show/register</em>.
+
+<sect1>Passwords
+
+<P>
+At the moment, passwords only affect users who login to a DXSpider
+cluster node via telnet.  If a user requires a password, they can
+either set it themselves or have the sysop enter it for them by using
+the <em>set/password</em> command.  Any users who already have passwords, 
+such as remote sysops, will be asked for their passwords automatically 
+by the cluster.  Using passwords in this way means that the user has a
+choice on whether to have a password or not.  To force the use of
+passwords at login, issue the command ...
+
+<tscreen><verb>
+set/var $main::passwdreq = 1
+</verb></tscreen>
+
+at the cluster prompt.  This can also be added to the /spider/scripts/startup
+file as above to make the change permanent.
+
+<P>
+Of course, if you do this you will have to assign a password for each of 
+your users.  If you were asking them to register, it is anticipated that
+you would ask them to send you a message both to ask to be registered and
+to give you the password they wish to use.
+
+<P>
+Should a user forget their password, it can be reset by the sysop by
+first removing the existing password and then setting a new one like so ...
+
+<tscreen><verb>
+unset/password g0vgs
+set/password g0vgs new_password
+</verb></tscreen>
+
 <sect>CVS
 
 <P>
@@ -1326,14 +1489,9 @@ that it is possible to update your DXSpider installation to the latest
 sources by using a few simple commands.
 
 <P>
-THIS IS NOT FOR THE FAINT HEARTED!!!  ONLY DO THIS IF YOU HAVE A TEST
-INSTALLATION OR ARE WILLING TO HAVE YOUR CLUSTER CRASH ON YOU!!!
-THIS MUST BE CONSIDERED AT LEAST BETA TESTING AND MAYBE EVEN ALPHA!!
-YOU HAVE BEEN WARNED!!!
-
-<P>
-DID I MENTION..... ONLY DO THIS IF YOU ARE WILLING TO ACCEPT THE
-CONSEQUENCES!!!
+Please be aware that if you update your system using CVS, it is possible that
+you could be running code that is very beta and not fully tested.  There is
+a possibility that it could be unstable.
 
 <P>
 I am of course assuming that you have a machine with both DXSpider and
@@ -1509,6 +1667,50 @@ default for nodes and users eg:-
   accept/ann user_default by G,M,2
 </verb></tscreen>
 
+<sect1>accept/route (8)
+
+<P>
+<tt>
+<bf>accept/route &lt;call&gt; &lsqb;0-9&rsqb; &lt;pattern&gt;</bf> Set an 'accept' filter line for routing
+</tt>
+
+<P>
+Create an 'accept this routing PC Protocol' line for a filter. 
+
+<P>
+An accept filter line means that if a PC16/17/19/21/24/41/50 matches this filter 
+it is passed thru that interface. See HELP FILTERING for more info. Please read this
+to understand how filters work - it will save a lot of grief later on.
+
+<P>
+You can use any of the following things in this line:-
+
+<tscreen><verb>
+  call <prefixes>        the callsign of the thingy
+  call_dxcc <numbers>    eg: 61,62 (from eg: sh/pre G)
+  call_itu <numbers>
+  call_zone <numbers>
+  origin <prefixes>      really the interface it came in on
+  origin_dxcc <numbers>    eg: 61,62 (from eg: sh/pre G)
+  origin_itu <numbers>
+  origin_zone <numbers>
+</verb></tscreen>
+
+<P>
+some examples:-
+
+<tscreen><verb>
+  acc/route gb7djk call_dxcc 61,38 (send only UK+EIRE nodes)
+  acc/route gb7djk call gb7djk     (equiv to SET/ISOLATE)
+</verb></tscreen>
+
+<P>
+You can use the tag 'all' to accept everything eg:
+
+<tscreen><verb>
+  acc/route all
+</verb></tscreen>
+
 <sect1>accept/spots (0)
 
 <P>
@@ -1695,7 +1897,9 @@ default for nodes and users eg:-
 
 <P>
 Send an announcement to LOCAL users only, where &lt;text&gt; is the text 
-of the announcement you wish to broadcast
+of the announcement you wish to broadcast.  If you do not wish to receive
+announces, use the <em>set/noannounce</em> command.  Any announces made by
+a sysop will override set/noannounce.
 
 <sect1>announce full (0)
 
@@ -2244,19 +2448,6 @@ Reload the /spider/cmd/Aliases file after you have editted it. You will need to
 do this if you change this file whilst the cluster is running in order for the
 changes to take effect.
 
-
-<sect1>load/baddx (9)
-
-<P>
-<tt>
-<bf>load/baddx</bf> Reload the bad DX table
-</tt>
-
-<P>
-Reload the /spider/data/baddx.pl file if you have changed it manually whilst
-the cluster is running. This table contains the DX Calls that, if spotted, 
-will not be passed on. FR0G and TEST are classic examples.
-
 <sect1>load/badmsg (9)
 
 <P>
@@ -2270,21 +2461,6 @@ the cluster is running. This table contains a number of perl regular
 expressions which are searched for in the fields targetted of each message. 
 If any of them match then that message is immediately deleted on receipt. 
 
-<sect1>load/badwords (9)
-
-<P>
-<tt>
-<bf>load/badwords</bf> Reload the badwords file
-</tt>
-
-<P>
-Reload the /spider/data/badwords file if you have changed it manually whilst
-the cluster is running. This file contains a list of words which, if found
-on certain text portions of PC protocol, will cause those protocol frames
-to be rejected. It will all put out a message if any of these words are
-used on the announce, dx and talk commands. The words can be one or 
-more on a line, lines starting with '#' are ignored.
-
 <sect1>load/bands (9)
 
 <P>
@@ -2534,6 +2710,47 @@ default for nodes and users eg:-
   reject/ann user_default by G,M,2
 </verb></tscreen>
 
+<sect1>reject/route (8)
+
+<P>
+<tt>
+<bf>reject/route &lt;call&gt; &lsqb;0-9&rsqb; &lt;pattern&gt;</bf> Set an 'reject' filter line for routing
+</tt>
+
+<P>
+Create an 'reject this routing PC Protocol' line for a filter. 
+
+<P>
+An reject filter line means that if a PC16/17/19/21/24/41/50 matches this filter 
+it is NOT passed thru that interface. See HELP FILTERING for more info. Please 
+read this to understand how filters work - it will save a lot of grief later on.
+You can use any of the following things in this line:-
+
+<tscreen><verb>
+  call <prefixes>        the callsign of the thingy
+  call_dxcc <numbers>    eg: 61,62 (from eg: sh/pre G)
+  call_itu <numbers>
+  call_zone <numbers>
+  origin <prefixes>      really the interface it came in on
+  origin_dxcc <numbers>    eg: 61,62 (from eg: sh/pre G)
+  origin_itu <numbers>
+  origin_zone <numbers>
+</verb></tscreen>
+
+<P>
+some examples:-
+
+<tscreen><verb>
+  rej/route gb7djk call_dxcc 61,38 (everything except  UK+EIRE nodes)
+</verb></tscreen>
+
+<P>
+You can use the tag 'all' to reject everything eg:
+
+<tscreen><verb>
+  rej/route all     (equiv to [very] restricted mode)
+</verb></tscreen>
+
 <sect1>reject/spots (0)
 
 <P>
@@ -2884,6 +3101,13 @@ Use with extreme care. This command may well be superceded by FILTERing.
 <P>
 Add a beep to DX and other terminal messages.
 
+<sect1>set/bbs (5)
+
+<P>
+<tt>
+<bf>set/bbs &lt;call&gt; &lsqb;&lt;call&gt;..&rsqb;</bf>Make &lt;call&gt; a BBS
+</tt>
+
 <sect1>set/clx (5)
 
 <P>
@@ -3975,6 +4199,24 @@ Only the fields that are defined (in perl term) will be displayed.
 This command shows the internal status of a message and includes information
 such as to whom it has been forwarded, its size, origin etc etc.
 
+<P>
+If no message number is given then the status of the message system is 
+displayed.
+
+<sect1>stat/route_node (5)
+
+<P>
+<tt>
+<bf>stat/route_node &lt;callsign&gt;</bf> Show the data in a Route::Node object
+</tt>
+
+<sect1>stat/route_user (5)
+
+<P>
+<tt>
+<bf>stat/route_user &lt;callsign&gt;</bf> Show the data in a Route::User object
+</tt>
+
 <sect1>stat/user (5)
 
 <P>