fix a little used logging error for export.
[spider.git] / perl / DXUser.pm
1 #
2 # DX cluster user routines
3 #
4 # Copyright (c) 1998 - Dirk Koopman G1TLH
5 #
6 # $Id$
7 #
8
9 package DXUser;
10
11 use DXLog;
12 use DB_File;
13 use Data::Dumper;
14 use Fcntl;
15 use IO::File;
16 use DXDebug;
17 use DXUtil;
18 use LRU;
19
20 use strict;
21
22 use vars qw($VERSION $BRANCH);
23 $VERSION = sprintf( "%d.%03d", q$Revision$ =~ /(\d+)\.(\d+)/ );
24 $BRANCH = sprintf( "%d.%03d", q$Revision$ =~ /\d+\.\d+\.(\d+)\.(\d+)/  || (0,0));
25 $main::build += $VERSION;
26 $main::branch += $BRANCH;
27
28 use vars qw(%u $dbm $filename %valid $lastoperinterval $lasttime $lru $lrusize $tooold $v3);
29
30 %u = ();
31 $dbm = undef;
32 $filename = undef;
33 $lastoperinterval = 60*24*60*60;
34 $lasttime = 0;
35 $lrusize = 2000;
36 $tooold = 86400 * 365;          # this marks an old user who hasn't given enough info to be useful
37 $v3 = 0;
38
39 # hash of valid elements and a simple prompt
40 %valid = (
41                   call => '0,Callsign',
42                   alias => '0,Real Callsign',
43                   name => '0,Name',
44                   qth => '0,Home QTH',
45                   lat => '0,Latitude,slat',
46                   long => '0,Longitude,slong',
47                   qra => '0,Locator',
48                   email => '0,E-mail Address,parray',
49                   priv => '9,Privilege Level',
50                   lastin => '0,Last Time in,cldatetime',
51                   passwd => '9,Password,yesno',
52                   passphrase => '9,Pass Phrase,yesno',
53                   addr => '0,Full Address',
54                   'sort' => '0,Type of User', # A - ak1a, U - User, S - spider cluster, B - BBS
55                   xpert => '0,Expert Status,yesno',
56                   bbs => '0,Home BBS',
57                   node => '0,Last Node',
58                   homenode => '0,Home Node',
59                   lockout => '9,Locked out?,yesno',     # won't let them in at all
60                   dxok => '9,Accept DX Spots?,yesno', # accept his dx spots?
61                   annok => '9,Accept Announces?,yesno', # accept his announces?
62                   lang => '0,Language',
63                   hmsgno => '0,Highest Msgno',
64                   group => '0,Chat Group,parray',       # used to create a group of users/nodes for some purpose or other
65                   isolate => '9,Isolate network,yesno',
66                   wantbeep => '0,Req Beep,yesno',
67                   wantann => '0,Req Announce,yesno',
68                   wantwwv => '0,Req WWV,yesno',
69                   wantwcy => '0,Req WCY,yesno',
70                   wantecho => '0,Req Echo,yesno',
71                   wanttalk => '0,Req Talk,yesno',
72                   wantwx => '0,Req WX,yesno',
73                   wantdx => '0,Req DX Spots,yesno',
74                   wantemail => '0,Req Msgs as Email,yesno',
75                   pagelth => '0,Current Pagelth',
76                   pingint => '9,Node Ping interval',
77                   nopings => '9,Ping Obs Count',
78                   wantlogininfo => '0,Login Info Req,yesno',
79           wantgrid => '0,Show DX Grid,yesno',
80                   wantann_talk => '0,Talklike Anns,yesno',
81                   wantpc90 => '1,Req PC90,yesno',
82                   wantnp => '1,Req New Proto,yesno',
83                   wantpc16 => '9,Want Users from node,yesno',
84                   wantsendpc16 => '9,Send PC16,yesno',
85                   wantroutepc19 => '9,Route PC19,yesno',
86                   wantusstate => '0,Show US State,yesno',
87                   wantdxcq => '0,Show CQ Zone,yesno',
88                   wantdxitu => '0,Show ITU Zone,yesno',
89                   lastoper => '9,Last for/oper,cldatetime',
90                   nothere => '0,Not Here Text',
91                   registered => '9,Registered?,yesno',
92                   prompt => '0,Required Prompt',
93                   version => '1,Version',
94                   build => '1,Build',
95                   believe => '1,Believable nodes,parray',
96                   lastping => '1,Last Ping at,ptimelist',
97                  );
98
99 #no strict;
100 sub AUTOLOAD
101 {
102         no strict;
103         my $name = $AUTOLOAD;
104   
105         return if $name =~ /::DESTROY$/;
106         $name =~ s/^.*:://o;
107   
108         confess "Non-existant field '$AUTOLOAD'" if !$valid{$name};
109         # this clever line of code creates a subroutine which takes over from autoload
110         # from OO Perl - Conway
111         *$AUTOLOAD = sub {@_ > 1 ? $_[0]->{$name} = $_[1] : $_[0]->{$name}};
112        goto &$AUTOLOAD;
113 }
114
115 #use strict;
116
117 #
118 # initialise the system
119 #
120 sub init
121 {
122         my ($pkg, $fn, $mode) = @_;
123   
124         confess "need a filename in User" if !$fn;
125
126         my $ufn;
127         my $convert;
128         
129         eval {
130                 require Storable;
131         };
132
133 #       eval "use Storable qw(nfreeze thaw)";
134         
135         if ($@) {
136                 $ufn = "$fn.v2";
137                 $v3 = $convert = 0;
138                 dbg("the module Storable appears to be missing!!");
139                 dbg("trying to continue in compatibility mode (this may fail)");
140                 dbg("please install Storable from CPAN as soon as possible");
141         } else {
142                 import Storable qw(nfreeze thaw);
143
144                 $ufn = "$fn.v3";
145                 $v3 = 1;
146                 $convert++ unless -e $ufn;
147         }
148         
149         if ($mode) {
150                 $dbm = tie (%u, 'DB_File', $ufn, O_CREAT|O_RDWR, 0666, $DB_BTREE) or confess "can't open user file: $fn ($!) [rebuild it from user_asc?]";
151         } else {
152                 $dbm = tie (%u, 'DB_File', $ufn, O_RDONLY, 0666, $DB_BTREE) or confess "can't open user file: $fn ($!) [rebuild it from user_asc?]";
153         }
154
155         $lru = LRU->newbase("DXUser", $lrusize);
156         
157         # do a conversion if required
158         if ($convert) {
159                 my ($key, $val, $action, $count, $err) = ('','',0,0,0);
160                 
161                 my %oldu;
162                 dbg("Converting the User File to V3 ");
163                 dbg("This will take a while, I suggest you go and have cup of strong tea");
164                 my $odbm = tie (%oldu, 'DB_File', "$fn.v2", O_RDONLY, 0666, $DB_BTREE) or confess "can't open user file: $fn.v2 ($!) [rebuild it from user_asc?]";
165         for ($action = R_FIRST; !$odbm->seq($key, $val, $action); $action = R_NEXT) {
166                         my $ref = asc_decode($val);
167                         if ($ref) {
168                                 $ref->put;
169                                 $count++;
170                         } else {
171                                 $err++
172                         }
173                 } 
174                 undef $odbm;
175                 untie %oldu;
176                 dbg("Conversion completed $count records $err errors");
177         }
178         $filename = $ufn;
179 }
180
181 sub del_file
182 {
183         my ($pkg, $fn) = @_;
184   
185         confess "need a filename in User" if !$fn;
186         $fn .= $v3 ? ".v3" : ".v2";
187         unlink $fn;
188 }
189
190 #
191 # periodic processing
192 #
193 sub process
194 {
195         if ($main::systime > $lasttime + 15) {
196                 $dbm->sync;
197                 $lasttime = $main::systime;
198         }
199 }
200
201 #
202 # close the system
203 #
204
205 sub finish
206 {
207         undef $dbm;
208         untie %u;
209 }
210
211 #
212 # new - create a new user
213 #
214
215 sub new
216 {
217         my $pkg = shift;
218         my $call = uc shift;
219         #  $call =~ s/-\d+$//o;
220   
221 #       confess "can't create existing call $call in User\n!" if $u{$call};
222
223         my $self = bless {}, $pkg;
224         $self->{call} = $call;
225         $self->{'sort'} = 'U';
226         $self->put;
227         return $self;
228 }
229
230 #
231 # get - get an existing user - this seems to return a different reference everytime it is
232 #       called - see below
233 #
234
235 sub get
236 {
237         my $pkg = shift;
238         my $call = uc shift;
239         my $data;
240         
241         # is it in the LRU cache?
242         my $ref = $lru->get($call);
243         return $ref if $ref;
244         
245         # search for it
246         unless ($dbm->get($call, $data)) {
247                 $ref = decode($data);
248                 $lru->put($call, $ref);
249                 return $ref;
250         }
251         return undef;
252 }
253
254 #
255 # get an existing either from the channel (if there is one) or from the database
256 #
257 # It is important to note that if you have done a get (for the channel say) and you
258 # want access or modify that you must use this call (and you must NOT use get's all
259 # over the place willy nilly!)
260 #
261
262 sub get_current
263 {
264         my $pkg = shift;
265         my $call = uc shift;
266   
267         my $dxchan = DXChannel::get($call);
268         return $dxchan->user if $dxchan;
269         my $rref = Route::get($call);
270         return $rref->user if $rref && exists $rref->{user};
271         return $pkg->get($call);
272 }
273
274 #
275 # get all callsigns in the database 
276 #
277
278 sub get_all_calls
279 {
280         return (sort keys %u);
281 }
282
283 #
284 # put - put a user
285 #
286
287 sub put
288 {
289         my $self = shift;
290         confess "Trying to put nothing!" unless $self && ref $self;
291         my $call = $self->{call};
292         # delete all instances of this 
293 #       for ($dbm->get_dup($call)) {
294 #               $dbm->del_dup($call, $_);
295 #       }
296         $dbm->del($call);
297         delete $self->{annok} if $self->{annok};
298         delete $self->{dxok} if $self->{dxok};
299         $lru->put($call, $self);
300         my $ref = $self->encode;
301         $dbm->put($call, $ref);
302 }
303
304 # freeze the user
305 sub encode
306 {
307         goto &asc_encode unless $v3;
308         my $self = shift;
309         return nfreeze($self);
310 }
311
312 # thaw the user
313 sub decode
314 {
315         goto &asc_decode unless $v3;
316         return thaw(shift);
317 }
318
319
320 # create a string from a user reference (in_ascii)
321 #
322 sub asc_encode
323 {
324         my $self = shift;
325         my $dd = new Data::Dumper([$self]);
326         $dd->Indent(0);
327         $dd->Terse(1);
328     $dd->Quotekeys($] < 5.005 ? 1 : 0);
329         return $dd->Dumpxs;
330 }
331
332 #
333 # create a hash from a string (in ascii)
334 #
335 sub asc_decode
336 {
337         my $s = shift;
338         my $ref;
339         eval '$ref = ' . $s;
340         if ($@) {
341                 dbg($@);
342                 Log('err', $@);
343                 $ref = undef;
344         }
345         return $ref;
346 }
347
348 #
349 # del - delete a user
350 #
351
352 sub del
353 {
354         my $self = shift;
355         my $call = $self->{call};
356         # delete all instances of this 
357 #       for ($dbm->get_dup($call)) {
358 #               $dbm->del_dup($call, $_);
359 #       }
360         $lru->remove($call);
361         $dbm->del($call);
362 }
363
364 #
365 # close - close down a user
366 #
367
368 sub close
369 {
370         my $self = shift;
371         $self->{lastin} = time;
372         $self->put();
373 }
374
375 #
376 # sync the database
377 #
378
379 sub sync
380 {
381         $dbm->sync;
382 }
383
384 #
385 # return a list of valid elements 
386
387
388 sub fields
389 {
390         return keys(%valid);
391 }
392
393
394 #
395 # export the database to an ascii file
396 #
397
398 sub export
399 {
400         my $fn = shift;
401         
402         # save old ones
403         rename "$fn.oooo", "$fn.ooooo" if -e "$fn.oooo";
404         rename "$fn.ooo", "$fn.oooo" if -e "$fn.ooo";
405         rename "$fn.oo", "$fn.ooo" if -e "$fn.oo";
406         rename "$fn.o", "$fn.oo" if -e "$fn.o";
407         rename "$fn", "$fn.o" if -e "$fn";
408
409         my $count = 0;
410         my $err = 0;
411         my $del = 0;
412         my $fh = new IO::File ">$fn" or return "cannot open $fn ($!)";
413         if ($fh) {
414                 my $key = 0;
415                 my $val = undef;
416                 my $action;
417                 my $t = scalar localtime;
418                 print $fh q{#!/usr/bin/perl
419 #
420 # The exported userfile for a DXSpider System
421 #
422 # Input file: $filename
423 #       Time: $t
424 #
425                         
426 package main;
427                         
428 # search local then perl directories
429 BEGIN {
430         umask 002;
431                                 
432         # root of directory tree for this system
433         $root = "/spider"; 
434         $root = $ENV{'DXSPIDER_ROOT'} if $ENV{'DXSPIDER_ROOT'};
435         
436         unshift @INC, "$root/perl";     # this IS the right way round!
437         unshift @INC, "$root/local";
438         
439         # try to detect a lockfile (this isn't atomic but 
440         # should do for now
441         $lockfn = "$root/local/cluster.lck";       # lock file name
442         if (-e $lockfn) {
443                 open(CLLOCK, "$lockfn") or die "Can't open Lockfile ($lockfn) $!";
444                 my $pid = <CLLOCK>;
445                 chomp $pid;
446                 die "Lockfile ($lockfn) and process $pid exists - cluster must be stopped first\n" if kill 0, $pid;
447                 close CLLOCK;
448         }
449 }
450
451 package DXUser;
452
453 use DXVars;
454 use DXUser;
455
456 if (@ARGV) {
457         $main::userfn = shift @ARGV;
458         print "user filename now $userfn\n";
459 }
460
461 DXUser->del_file($main::userfn);
462 DXUser->init($main::userfn, 1);
463 %u = ();
464 my $count = 0;
465 my $err = 0;
466 while (<DATA>) {
467         chomp;
468         my @f = split /\t/;
469         my $ref = asc_decode($f[1]);
470         if ($ref) {
471                 $ref->put();
472                 $count++;
473         } else {
474                 print "# Error: $f[0]\t$f[1]\n";
475                 $err++
476         }
477 }
478 DXUser->sync; DXUser->finish;
479 print "There are $count user records and $err errors\n";
480 };
481                 print $fh "__DATA__\n";
482
483         for ($action = R_FIRST; !$dbm->seq($key, $val, $action); $action = R_NEXT) {
484                         if (!is_callsign($key) || $key =~ /^0/) {
485                                 my $eval = $val;
486                                 my $ekey = $key;
487                                 $eval =~ s/([\%\x00-\x1f\x7f-\xff])/sprintf("%%%02X", ord($1))/eg; 
488                                 $ekey =~ s/([\%\x00-\x1f\x7f-\xff])/sprintf("%%%02X", ord($1))/eg; 
489                                 Log('DXCommand', "Export Error1: $ekey\t$eval");
490                                 eval {$dbm->del($key)};
491                                 dbg(carp("Export Error1: $ekey\t$eval\n$@")) if $@;
492                                 ++$err;
493                                 next;
494                         }
495                         my $ref = decode($val);
496                         if ($ref) {
497                                 my $t = $ref->{lastin} || 0;
498                                 if ($ref->{sort} eq 'U' && !$ref->{priv} && $main::systime > $t + $tooold) {
499                                         unless ($ref->{lat} && $ref->{long} || $ref->{qth} || $ref->{qra}) {
500                                                 eval {$dbm->del($key)};
501                                                 dbg(carp("Export Error2: $key\t$val\n$@")) if $@;
502                                                 Log('DXCommand', "$ref->{call} deleted, too old");
503                                                 $del++;
504                                                 next;
505                                         }
506                                 }
507                                 # only store users that are reasonably active or have useful information
508                                 print $fh "$key\t" . $ref->asc_encode . "\n";
509                                 ++$count;
510                         } else {
511                                 Log('DXCommand', "Export Error3: $key\t$val");
512                                 eval {$dbm->del($key)};
513                                 dbg(carp("Export Error3: $key\t$val\n$@")) if $@;
514                                 ++$err;
515                         }
516                 } 
517         $fh->close;
518     } 
519         return "$count Users $del Deleted $err Errors ('sh/log Export' for details)";
520 }
521
522 #
523 # group handling
524 #
525
526 # add one or more groups
527 sub add_group
528 {
529         my $self = shift;
530         my $ref = $self->{group} || [ 'local' ];
531         $self->{group} = $ref if !$self->{group};
532         push @$ref, @_ if @_;
533 }
534
535 # remove one or more groups
536 sub del_group
537 {
538         my $self = shift;
539         my $ref = $self->{group} || [ 'local' ];
540         my @in = @_;
541         
542         $self->{group} = $ref if !$self->{group};
543         
544         @$ref = map { my $a = $_; return (grep { $_ eq $a } @in) ? () : $a } @$ref;
545 }
546
547 # does this thing contain all the groups listed?
548 sub union
549 {
550         my $self = shift;
551         my $ref = $self->{group};
552         my $n;
553         
554         return 0 if !$ref || @_ == 0;
555         return 1 if @$ref == 0 && @_ == 0;
556         for ($n = 0; $n < @_; ) {
557                 for (@$ref) {
558                         my $a = $_;
559                         $n++ if grep $_ eq $a, @_; 
560                 }
561         }
562         return $n >= @_;
563 }
564
565 # simplified group test just for one group
566 sub in_group
567 {
568         my $self = shift;
569         my $s = shift;
570         my $ref = $self->{group};
571         
572         return 0 if !$ref;
573         return grep $_ eq $s, $ref;
574 }
575
576 # set up a default group (only happens for them's that connect direct)
577 sub new_group
578 {
579         my $self = shift;
580         $self->{group} = [ 'local' ];
581 }
582
583 #
584 # return a prompt for a field
585 #
586
587 sub field_prompt
588
589         my ($self, $ele) = @_;
590         return $valid{$ele};
591 }
592
593 # some variable accessors
594 sub sort
595 {
596         my $self = shift;
597         @_ ? $self->{'sort'} = shift : $self->{'sort'} ;
598 }
599
600 # some accessors
601
602 # want is default = 1
603 sub _want
604 {
605         my $n = shift;
606         my $self = shift;
607         my $val = shift;
608         my $s = "want$n";
609         $self->{$s} = $val if defined $val;
610         return exists $self->{$s} ? $self->{$s} : 1;
611 }
612
613 # wantnot is default = 0
614 sub _wantnot
615 {
616         my $n = shift;
617         my $self = shift;
618         my $val = shift;
619         my $s = "want$n";
620         $self->{$s} = $val if defined $val;
621         return exists $self->{$s} ? $self->{$s} : 0;
622 }
623
624 sub wantbeep
625 {
626         return _want('beep', @_);
627 }
628
629 sub wantann
630 {
631         return _want('ann', @_);
632 }
633
634 sub wantwwv
635 {
636         return _want('wwv', @_);
637 }
638
639 sub wantwcy
640 {
641         return _want('wcy', @_);
642 }
643
644 sub wantecho
645 {
646         return _want('echo', @_);
647 }
648
649 sub wantwx
650 {
651         return _want('wx', @_);
652 }
653
654 sub wantdx
655 {
656         return _want('dx', @_);
657 }
658
659 sub wanttalk
660 {
661         return _want('talk', @_);
662 }
663
664 sub wantgrid
665 {
666         return _want('grid', @_);
667 }
668
669 sub wantemail
670 {
671         return _want('email', @_);
672 }
673
674 sub wantann_talk
675 {
676         return _want('ann_talk', @_);
677 }
678
679 sub wantpc16
680 {
681         return _want('pc16', @_);
682 }
683
684 sub wantpc90
685 {
686         return _wantnot('pc90', @_);
687 }
688
689 sub wantsendpc16
690 {
691         return _want('sendpc16', @_);
692 }
693
694 sub wantroutepc16
695 {
696         return _want('routepc16', @_);
697 }
698
699 sub wantusstate
700 {
701         return _want('usstate', @_);
702 }
703
704 sub wantdxcq
705 {
706         return _want('dxcq', @_);
707 }
708
709 sub wantdxitu
710 {
711         return _want('dxitu', @_);
712 }
713
714 sub wantnp
715 {
716         return _wantnot('np', @_);
717 }
718
719 sub wantlogininfo
720 {
721         my $self = shift;
722         my $val = shift;
723         $self->{wantlogininfo} = $val if defined $val;
724         return $self->{wantlogininfo};
725 }
726
727 sub is_node
728 {
729         my $self = shift;
730         return $self->{sort} =~ /[ACRSX]/;
731 }
732
733 sub is_user
734 {
735         my $self = shift;
736         return $self->{sort} eq 'U';
737 }
738
739 sub is_bbs
740 {
741         my $self = shift;
742         return $self->{sort} eq 'B';
743 }
744
745 sub is_spider
746 {
747         my $self = shift;
748         return $self->{sort} eq 'S';
749 }
750
751 sub is_clx
752 {
753         my $self = shift;
754         return $self->{sort} eq 'C';
755 }
756
757 sub is_dxnet
758 {
759         my $self = shift;
760         return $self->{sort} eq 'X';
761 }
762
763 sub is_arcluster
764 {
765         my $self = shift;
766         return $self->{sort} eq 'R';
767 }
768
769 sub is_ak1a
770 {
771         my $self = shift;
772         return $self->{sort} eq 'A';
773 }
774
775 sub unset_passwd
776 {
777         my $self = shift;
778         delete $self->{passwd};
779 }
780
781 sub unset_passphrase
782 {
783         my $self = shift;
784         delete $self->{passphrase};
785 }
786
787 sub set_believe
788 {
789         my $self = shift;
790         my $call = uc shift;
791         $self->{believe} ||= [];
792         push @{$self->{believe}}, $call unless grep $_ eq $call, @{$self->{believe}};
793 }
794
795 sub unset_believe
796 {
797         my $self = shift;
798         my $call = uc shift;
799         if (exists $self->{believe}) {
800                 $self->{believe} = [grep {$_ ne $call} @{$self->{believe}}];
801                 delete $self->{believe} unless @{$self->{believe}};
802         }
803 }
804
805 sub believe
806 {
807         my $self = shift;
808         return exists $self->{believe} ? @{$self->{believe}} : ();
809 }
810
811 sub lastping
812 {
813         my $self = shift;
814         my $call = shift;
815         $self->{lastping} ||= {};
816         $self->{lastping} = {} unless ref $self->{lastping};
817         my $b = $self->{lastping};
818         $b->{$call} = shift if @_;
819         return $b->{$call};     
820 }
821 1;
822 __END__
823
824
825
826
827