fix WWV brodacasting and filtering
[spider.git] / perl / DXUser.pm
1 #
2 # DX cluster user routines
3 #
4 # Copyright (c) 1998 - Dirk Koopman G1TLH
5 #
6 # $Id$
7 #
8
9 package DXUser;
10
11 use DXLog;
12 use DB_File;
13 use Data::Dumper;
14 use Fcntl;
15 use IO::File;
16 use DXDebug;
17 use DXUtil;
18 use LRU;
19
20 use strict;
21
22 use vars qw($VERSION $BRANCH);
23 $VERSION = sprintf( "%d.%03d", q$Revision$ =~ /(\d+)\.(\d+)/ );
24 $BRANCH = sprintf( "%d.%03d", q$Revision$ =~ /\d+\.\d+\.(\d+)\.(\d+)/  || (0,0));
25 $main::build += $VERSION;
26 $main::branch += $BRANCH;
27
28 use vars qw(%u $dbm $filename %valid $lastoperinterval $lasttime $lru $lrusize $tooold $v3);
29
30 %u = ();
31 $dbm = undef;
32 $filename = undef;
33 $lastoperinterval = 60*24*60*60;
34 $lasttime = 0;
35 $lrusize = 2000;
36 $tooold = 86400 * 365;          # this marks an old user who hasn't given enough info to be useful
37 $v3 = 0;
38
39 # hash of valid elements and a simple prompt
40 %valid = (
41                   call => '0,Callsign',
42                   alias => '0,Real Callsign',
43                   name => '0,Name',
44                   qth => '0,Home QTH',
45                   lat => '0,Latitude,slat',
46                   long => '0,Longitude,slong',
47                   qra => '0,Locator',
48                   email => '0,E-mail Address,parray',
49                   priv => '9,Privilege Level',
50                   lastin => '0,Last Time in,cldatetime',
51                   passwd => '9,Password,yesno',
52                   passphrase => '9,Pass Phrase,yesno',
53                   addr => '0,Full Address',
54                   'sort' => '0,Type of User', # A - ak1a, U - User, S - spider cluster, B - BBS
55                   xpert => '0,Expert Status,yesno',
56                   bbs => '0,Home BBS',
57                   node => '0,Last Node',
58                   homenode => '0,Home Node',
59                   lockout => '9,Locked out?,yesno',     # won't let them in at all
60                   dxok => '9,Accept DX Spots?,yesno', # accept his dx spots?
61                   annok => '9,Accept Announces?,yesno', # accept his announces?
62                   lang => '0,Language',
63                   hmsgno => '0,Highest Msgno',
64                   group => '0,Chat Group,parray',       # used to create a group of users/nodes for some purpose or other
65                   isolate => '9,Isolate network,yesno',
66                   wantbeep => '0,Req Beep,yesno',
67                   wantann => '0,Req Announce,yesno',
68                   wantwwv => '0,Req WWV,yesno',
69                   wantwcy => '0,Req WCY,yesno',
70                   wantecho => '0,Req Echo,yesno',
71                   wanttalk => '0,Req Talk,yesno',
72                   wantwx => '0,Req WX,yesno',
73                   wantdx => '0,Req DX Spots,yesno',
74                   wantemail => '0,Req Msgs as Email,yesno',
75                   pagelth => '0,Current Pagelth',
76                   pingint => '9,Node Ping interval',
77                   nopings => '9,Ping Obs Count',
78                   wantlogininfo => '0,Login Info Req,yesno',
79           wantgrid => '0,Show DX Grid,yesno',
80                   wantann_talk => '0,Talklike Anns,yesno',
81                   wantpc90 => '1,Req PC90,yesno',
82                   wantnp => '1,Req New Proto,yesno',
83                   wantpc16 => '9,Want Users from node,yesno',
84                   wantsendpc16 => '9,Send PC16,yesno',
85                   wantroutepc19 => '9,Route PC19,yesno',
86                   wantusstate => '0,Show US State,yesno',
87                   wantdxcq => '0,Show CQ Zone,yesno',
88                   wantdxitu => '0,Show ITU Zone,yesno',
89                   lastoper => '9,Last for/oper,cldatetime',
90                   nothere => '0,Not Here Text',
91                   registered => '9,Registered?,yesno',
92                   prompt => '0,Required Prompt',
93                   version => '1,Version',
94                   build => '1,Build',
95                   believe => '1,Believable nodes,parray',
96                   lastping => '1,Last Ping at,ptimelist',
97                  );
98
99 #no strict;
100 sub AUTOLOAD
101 {
102         no strict;
103         my $name = $AUTOLOAD;
104   
105         return if $name =~ /::DESTROY$/;
106         $name =~ s/^.*:://o;
107   
108         confess "Non-existant field '$AUTOLOAD'" if !$valid{$name};
109         # this clever line of code creates a subroutine which takes over from autoload
110         # from OO Perl - Conway
111         *$AUTOLOAD = sub {@_ > 1 ? $_[0]->{$name} = $_[1] : $_[0]->{$name}};
112        goto &$AUTOLOAD;
113 }
114
115 #use strict;
116
117 #
118 # initialise the system
119 #
120 sub init
121 {
122         my ($pkg, $fn, $mode) = @_;
123   
124         confess "need a filename in User" if !$fn;
125
126         my $ufn;
127         my $convert;
128         
129         eval {
130                 require Storable;
131         };
132
133 #       eval "use Storable qw(nfreeze thaw)";
134         
135         if ($@) {
136                 $ufn = "$fn.v2";
137                 $v3 = $convert = 0;
138                 dbg("the module Storable appears to be missing!!");
139                 dbg("trying to continue in compatibility mode (this may fail)");
140                 dbg("please install Storable from CPAN as soon as possible");
141         } else {
142                 import Storable qw(nfreeze thaw);
143
144                 $ufn = "$fn.v3";
145                 $v3 = 1;
146                 $convert++ unless -e $ufn;
147         }
148         
149         if ($mode) {
150                 $dbm = tie (%u, 'DB_File', $ufn, O_CREAT|O_RDWR, 0666, $DB_BTREE) or confess "can't open user file: $fn ($!) [rebuild it from user_asc?]";
151         } else {
152                 $dbm = tie (%u, 'DB_File', $ufn, O_RDONLY, 0666, $DB_BTREE) or confess "can't open user file: $fn ($!) [rebuild it from user_asc?]";
153         }
154
155         $lru = LRU->newbase("DXUser", $lrusize);
156         
157         # do a conversion if required
158         if ($convert) {
159                 my ($key, $val, $action, $count, $err) = ('','',0,0,0);
160                 
161                 my %oldu;
162                 dbg("Converting the User File to V3 ");
163                 dbg("This will take a while, I suggest you go and have cup of strong tea");
164                 my $odbm = tie (%oldu, 'DB_File', "$fn.v2", O_RDONLY, 0666, $DB_BTREE) or confess "can't open user file: $fn.v2 ($!) [rebuild it from user_asc?]";
165         for ($action = R_FIRST; !$odbm->seq($key, $val, $action); $action = R_NEXT) {
166                         my $ref = asc_decode($val);
167                         if ($ref) {
168                                 $ref->put;
169                                 $count++;
170                         } else {
171                                 $err++
172                         }
173                 } 
174                 undef $odbm;
175                 untie %oldu;
176                 dbg("Conversion completed $count records $err errors");
177         }
178         $filename = $ufn;
179 }
180
181 sub del_file
182 {
183         my ($pkg, $fn) = @_;
184   
185         confess "need a filename in User" if !$fn;
186         $fn .= $v3 ? ".v3" : ".v2";
187         unlink $fn;
188 }
189
190 #
191 # periodic processing
192 #
193 sub process
194 {
195         if ($main::systime > $lasttime + 15) {
196                 $dbm->sync;
197                 $lasttime = $main::systime;
198         }
199 }
200
201 #
202 # close the system
203 #
204
205 sub finish
206 {
207         undef $dbm;
208         untie %u;
209 }
210
211 #
212 # new - create a new user
213 #
214
215 sub new
216 {
217         my $pkg = shift;
218         my $call = uc shift;
219         #  $call =~ s/-\d+$//o;
220   
221 #       confess "can't create existing call $call in User\n!" if $u{$call};
222
223         my $self = bless {}, $pkg;
224         $self->{call} = $call;
225         $self->{'sort'} = 'U';
226         $self->put;
227         return $self;
228 }
229
230 #
231 # get - get an existing user - this seems to return a different reference everytime it is
232 #       called - see below
233 #
234
235 sub get
236 {
237         my $pkg = shift;
238         my $call = uc shift;
239         my $data;
240         
241         # is it in the LRU cache?
242         my $ref = $lru->get($call);
243         return $ref if $ref;
244         
245         # search for it
246         unless ($dbm->get($call, $data)) {
247                 $ref = decode($data);
248                 $lru->put($call, $ref);
249                 return $ref;
250         }
251         return undef;
252 }
253
254 #
255 # get an existing either from the channel (if there is one) or from the database
256 #
257 # It is important to note that if you have done a get (for the channel say) and you
258 # want access or modify that you must use this call (and you must NOT use get's all
259 # over the place willy nilly!)
260 #
261
262 sub get_current
263 {
264         my $pkg = shift;
265         my $call = uc shift;
266   
267         my $dxchan = DXChannel::get($call);
268         return $dxchan->user if $dxchan;
269         my $rref = Route::get($call);
270         return $rref->user if $rref && exists $rref->{user};
271         return $pkg->get($call);
272 }
273
274 #
275 # get all callsigns in the database 
276 #
277
278 sub get_all_calls
279 {
280         return (sort keys %u);
281 }
282
283 #
284 # put - put a user
285 #
286
287 sub put
288 {
289         my $self = shift;
290         confess "Trying to put nothing!" unless $self && ref $self;
291         my $call = $self->{call};
292         # delete all instances of this 
293 #       for ($dbm->get_dup($call)) {
294 #               $dbm->del_dup($call, $_);
295 #       }
296         $dbm->del($call);
297         delete $self->{annok} if $self->{annok};
298         delete $self->{dxok} if $self->{dxok};
299         $lru->put($call, $self);
300         my $ref = $self->encode;
301         $dbm->put($call, $ref);
302 }
303
304 # freeze the user
305 sub encode
306 {
307         goto &asc_encode unless $v3;
308         my $self = shift;
309         return nfreeze($self);
310 }
311
312 # thaw the user
313 sub decode
314 {
315         goto &asc_decode unless $v3;
316         return thaw(shift);
317 }
318
319
320 # create a string from a user reference (in_ascii)
321 #
322 sub asc_encode
323 {
324         my $self = shift;
325         my $dd = new Data::Dumper([$self]);
326         $dd->Indent(0);
327         $dd->Terse(1);
328     $dd->Quotekeys($] < 5.005 ? 1 : 0);
329         return $dd->Dumpxs;
330 }
331
332 #
333 # create a hash from a string (in ascii)
334 #
335 sub asc_decode
336 {
337         my $s = shift;
338         my $ref;
339         eval '$ref = ' . $s;
340         if ($@) {
341                 dbg($@);
342                 Log('err', $@);
343                 $ref = undef;
344         }
345         return $ref;
346 }
347
348 #
349 # del - delete a user
350 #
351
352 sub del
353 {
354         my $self = shift;
355         my $call = $self->{call};
356         # delete all instances of this 
357 #       for ($dbm->get_dup($call)) {
358 #               $dbm->del_dup($call, $_);
359 #       }
360         $lru->remove($call);
361         $dbm->del($call);
362 }
363
364 #
365 # close - close down a user
366 #
367
368 sub close
369 {
370         my $self = shift;
371         $self->{lastin} = time;
372         $self->put();
373 }
374
375 #
376 # sync the database
377 #
378
379 sub sync
380 {
381         $dbm->sync;
382 }
383
384 #
385 # return a list of valid elements 
386
387
388 sub fields
389 {
390         return keys(%valid);
391 }
392
393
394 #
395 # export the database to an ascii file
396 #
397
398 sub export
399 {
400         my $fn = shift;
401         
402         # save old ones
403         rename "$fn.oooo", "$fn.ooooo" if -e "$fn.oooo";
404         rename "$fn.ooo", "$fn.oooo" if -e "$fn.ooo";
405         rename "$fn.oo", "$fn.ooo" if -e "$fn.oo";
406         rename "$fn.o", "$fn.oo" if -e "$fn.o";
407         rename "$fn", "$fn.o" if -e "$fn";
408
409         my $count = 0;
410         my $err = 0;
411         my $del = 0;
412         my $fh = new IO::File ">$fn" or return "cannot open $fn ($!)";
413         if ($fh) {
414                 my $key = 0;
415                 my $val = undef;
416                 my $action;
417                 my $t = scalar localtime;
418                 print $fh q{#!/usr/bin/perl
419 #
420 # The exported userfile for a DXSpider System
421 #
422 # Input file: $filename
423 #       Time: $t
424 #
425                         
426 package main;
427                         
428 # search local then perl directories
429 BEGIN {
430         umask 002;
431                                 
432         # root of directory tree for this system
433         $root = "/spider"; 
434         $root = $ENV{'DXSPIDER_ROOT'} if $ENV{'DXSPIDER_ROOT'};
435         
436         unshift @INC, "$root/perl";     # this IS the right way round!
437         unshift @INC, "$root/local";
438         
439         # try to detect a lockfile (this isn't atomic but 
440         # should do for now
441         $lockfn = "$root/local/cluster.lck";       # lock file name
442         if (-e $lockfn) {
443                 open(CLLOCK, "$lockfn") or die "Can't open Lockfile ($lockfn) $!";
444                 my $pid = <CLLOCK>;
445                 chomp $pid;
446                 die "Lockfile ($lockfn) and process $pid exists - cluster must be stopped first\n" if kill 0, $pid;
447                 close CLLOCK;
448         }
449 }
450
451 package DXUser;
452
453 use DXVars;
454 use DXUser;
455
456 if (@ARGV) {
457         $main::userfn = shift @ARGV;
458         print "user filename now $userfn\n";
459 }
460
461 DXUser->del_file($main::userfn);
462 DXUser->init($main::userfn, 1);
463 %u = ();
464 my $count = 0;
465 my $err = 0;
466 while (<DATA>) {
467         chomp;
468         my @f = split /\t/;
469         my $ref = asc_decode($f[1]);
470         if ($ref) {
471                 $ref->put();
472                 $count++;
473         } else {
474                 print "# Error: $f[0]\t$f[1]\n";
475                 $err++
476         }
477 }
478 DXUser->sync; DXUser->finish;
479 print "There are $count user records and $err errors\n";
480 };
481                 print $fh "__DATA__\n";
482
483         for ($action = R_FIRST; !$dbm->seq($key, $val, $action); $action = R_NEXT) {
484                         if (!is_callsign($key) || $key =~ /^0/) {
485                                 Log('DXCommand', "Export Error1: $key\t$val");
486                                 eval {$dbm->del($key)};
487                                 dbg(carp("Export Error1: $key\t$val\n$@")) if $@;
488                                 ++$err;
489                                 next;
490                         }
491                         my $ref = decode($val);
492                         if ($ref) {
493                                 my $t = $ref->{lastin} || 0;
494                                 if ($ref->{sort} eq 'U' && !$ref->{priv} && $main::systime > $t + $tooold) {
495                                         unless ($ref->{lat} && $ref->{long} || $ref->{qth} || $ref->{qra}) {
496                                                 eval {$dbm->del($key)};
497                                                 dbg(carp("Export Error2: $key\t$val\n$@")) if $@;
498                                                 Log('DXCommand', "$ref->{call} deleted, too old");
499                                                 $del++;
500                                                 next;
501                                         }
502                                 }
503                                 # only store users that are reasonably active or have useful information
504                                 print $fh "$key\t" . $ref->asc_encode . "\n";
505                                 ++$count;
506                         } else {
507                                 Log('DXCommand', "Export Error3: $key\t$val");
508                                 eval {$dbm->del($key)};
509                                 dbg(carp("Export Error3: $key\t$val\n$@")) if $@;
510                                 ++$err;
511                         }
512                 } 
513         $fh->close;
514     } 
515         return "$count Users $del Deleted $err Errors ('sh/log Export' for details)";
516 }
517
518 #
519 # group handling
520 #
521
522 # add one or more groups
523 sub add_group
524 {
525         my $self = shift;
526         my $ref = $self->{group} || [ 'local' ];
527         $self->{group} = $ref if !$self->{group};
528         push @$ref, @_ if @_;
529 }
530
531 # remove one or more groups
532 sub del_group
533 {
534         my $self = shift;
535         my $ref = $self->{group} || [ 'local' ];
536         my @in = @_;
537         
538         $self->{group} = $ref if !$self->{group};
539         
540         @$ref = map { my $a = $_; return (grep { $_ eq $a } @in) ? () : $a } @$ref;
541 }
542
543 # does this thing contain all the groups listed?
544 sub union
545 {
546         my $self = shift;
547         my $ref = $self->{group};
548         my $n;
549         
550         return 0 if !$ref || @_ == 0;
551         return 1 if @$ref == 0 && @_ == 0;
552         for ($n = 0; $n < @_; ) {
553                 for (@$ref) {
554                         my $a = $_;
555                         $n++ if grep $_ eq $a, @_; 
556                 }
557         }
558         return $n >= @_;
559 }
560
561 # simplified group test just for one group
562 sub in_group
563 {
564         my $self = shift;
565         my $s = shift;
566         my $ref = $self->{group};
567         
568         return 0 if !$ref;
569         return grep $_ eq $s, $ref;
570 }
571
572 # set up a default group (only happens for them's that connect direct)
573 sub new_group
574 {
575         my $self = shift;
576         $self->{group} = [ 'local' ];
577 }
578
579 #
580 # return a prompt for a field
581 #
582
583 sub field_prompt
584
585         my ($self, $ele) = @_;
586         return $valid{$ele};
587 }
588
589 # some variable accessors
590 sub sort
591 {
592         my $self = shift;
593         @_ ? $self->{'sort'} = shift : $self->{'sort'} ;
594 }
595
596 # some accessors
597
598 # want is default = 1
599 sub _want
600 {
601         my $n = shift;
602         my $self = shift;
603         my $val = shift;
604         my $s = "want$n";
605         $self->{$s} = $val if defined $val;
606         return exists $self->{$s} ? $self->{$s} : 1;
607 }
608
609 # wantnot is default = 0
610 sub _wantnot
611 {
612         my $n = shift;
613         my $self = shift;
614         my $val = shift;
615         my $s = "want$n";
616         $self->{$s} = $val if defined $val;
617         return exists $self->{$s} ? $self->{$s} : 0;
618 }
619
620 sub wantbeep
621 {
622         return _want('beep', @_);
623 }
624
625 sub wantann
626 {
627         return _want('ann', @_);
628 }
629
630 sub wantwwv
631 {
632         return _want('wwv', @_);
633 }
634
635 sub wantwcy
636 {
637         return _want('wcy', @_);
638 }
639
640 sub wantecho
641 {
642         return _want('echo', @_);
643 }
644
645 sub wantwx
646 {
647         return _want('wx', @_);
648 }
649
650 sub wantdx
651 {
652         return _want('dx', @_);
653 }
654
655 sub wanttalk
656 {
657         return _want('talk', @_);
658 }
659
660 sub wantgrid
661 {
662         return _want('grid', @_);
663 }
664
665 sub wantemail
666 {
667         return _want('email', @_);
668 }
669
670 sub wantann_talk
671 {
672         return _want('ann_talk', @_);
673 }
674
675 sub wantpc16
676 {
677         return _want('pc16', @_);
678 }
679
680 sub wantpc90
681 {
682         return _wantnot('pc90', @_);
683 }
684
685 sub wantsendpc16
686 {
687         return _want('sendpc16', @_);
688 }
689
690 sub wantroutepc16
691 {
692         return _want('routepc16', @_);
693 }
694
695 sub wantusstate
696 {
697         return _want('usstate', @_);
698 }
699
700 sub wantdxcq
701 {
702         return _want('dxcq', @_);
703 }
704
705 sub wantdxitu
706 {
707         return _want('dxitu', @_);
708 }
709
710 sub wantnp
711 {
712         return _wantnot('np', @_);
713 }
714
715 sub wantlogininfo
716 {
717         my $self = shift;
718         my $val = shift;
719         $self->{wantlogininfo} = $val if defined $val;
720         return $self->{wantlogininfo};
721 }
722
723 sub is_node
724 {
725         my $self = shift;
726         return $self->{sort} =~ /[ACRSX]/;
727 }
728
729 sub is_user
730 {
731         my $self = shift;
732         return $self->{sort} eq 'U';
733 }
734
735 sub is_bbs
736 {
737         my $self = shift;
738         return $self->{sort} eq 'B';
739 }
740
741 sub is_spider
742 {
743         my $self = shift;
744         return $self->{sort} eq 'S';
745 }
746
747 sub is_clx
748 {
749         my $self = shift;
750         return $self->{sort} eq 'C';
751 }
752
753 sub is_dxnet
754 {
755         my $self = shift;
756         return $self->{sort} eq 'X';
757 }
758
759 sub is_arcluster
760 {
761         my $self = shift;
762         return $self->{sort} eq 'R';
763 }
764
765 sub is_ak1a
766 {
767         my $self = shift;
768         return $self->{sort} eq 'A';
769 }
770
771 sub unset_passwd
772 {
773         my $self = shift;
774         delete $self->{passwd};
775 }
776
777 sub unset_passphrase
778 {
779         my $self = shift;
780         delete $self->{passphrase};
781 }
782
783 sub set_believe
784 {
785         my $self = shift;
786         my $call = uc shift;
787         $self->{believe} ||= [];
788         push @{$self->{believe}}, $call unless grep $_ eq $call, @{$self->{believe}};
789 }
790
791 sub unset_believe
792 {
793         my $self = shift;
794         my $call = uc shift;
795         if (exists $self->{believe}) {
796                 $self->{believe} = [grep {$_ ne $call} @{$self->{believe}}];
797                 delete $self->{believe} unless @{$self->{believe}};
798         }
799 }
800
801 sub believe
802 {
803         my $self = shift;
804         return exists $self->{believe} ? @{$self->{believe}} : ();
805 }
806
807 sub lastping
808 {
809         my $self = shift;
810         my $call = shift;
811         $self->{lastping} ||= {};
812         $self->{lastping} = {} unless ref $self->{lastping};
813         my $b = $self->{lastping};
814         $b->{$call} = shift if @_;
815         return $b->{$call};     
816 }
817 1;
818 __END__
819
820
821
822
823