merge in mojo Spot dedupe
[spider.git] / perl / Spot.pm
index 8c353b90e225fd28a8796162dbf972b0ccc4ef07..862f960282e2195943282f81f8d794ebc05d7a76 100644 (file)
@@ -383,9 +383,8 @@ sub readfile($)
 }
 
 # enter the spot for dup checking and return true if it is already a dup
-sub dup
-{
-       my ($freq, $call, $d, $text, $by, $cty) = @_; 
+sub dup {
+       my ($freq, $call, $d, $text, $by, $node) = @_; 
 
        # dump if too old
        return 2 if $d < $main::systime - $dupage;
@@ -404,21 +403,16 @@ sub dup
        chomp $text;
        $text =~ s/\%([0-9A-F][0-9A-F])/chr(hex($1))/eg;
        $text = uc unpad($text);
-       if ($cty && $text && length $text <= 4) {
-               unless ($text =~ /^C?Q/ || $text =~ /^[\d\W]+$/) {
-                       my @try = Prefix::cty_data($text);
-                       $text = "" if @try && $cty == $try[0];
-               }
-       }
        my $otext = $text;
 #      $text = Encode::encode("iso-8859-1", $text) if $main::can_encode && Encode::is_utf8($text, 1);
        $text =~ s/^\+\w+\s*//;                 # remove leading LoTW callsign
        $text =~ s/\s{2,}[\dA-Z]?[A-Z]\d?$// if length $text > 24;
        $text =~ s/[\W\x00-\x2F\x7B-\xFF]//g; # tautology, just to make quite sure!
        $text = substr($text, 0, $duplth) if length $text > $duplth; 
-       my $ldupkey = "X$freq|$call|$by|$text";
+       my $ldupkey = "X$|$call|$by|$node|$freq|$d|$text";
        my $t = DXDupe::find($ldupkey);
        return 1 if $t && $t - $main::systime > 0;
+       
        DXDupe::add($ldupkey, $main::systime+$dupage);
        $otext = substr($otext, 0, $duplth) if length $otext > $duplth; 
        $otext =~ s/\s+$//;