fix and simplify dup announces
[spider.git] / perl / AnnTalk.pm
index a38f9cb3b7459a98317da876b61cabd07263f0df..84f9c481b6d93672c5ded5dbb1e34333651b4cfb 100644 (file)
@@ -18,7 +18,7 @@ use DXVars;
 use vars qw(%dup $duplth $dupage $filterdef);
 
 $duplth = 60;                                  # the length of text to use in the deduping
-$dupage = 5*24*3600;                   # the length of time to hold spot dups
+$dupage = 5*3600;                      # the length of time to hold ann dups
 $filterdef = bless ([
                          # tag, sort, field, priv, special parser 
                          ['by', 'c', 0],
@@ -48,10 +48,9 @@ sub dup
        unpad($text);
        $text =~ s/\%([0-9A-F][0-9A-F])/chr(hex($1))/eg;
        $text = Encode::encode("iso-8859-1", $text) if $main::can_encode && Encode::is_utf8($text, 1);
-       $text = pack("C*", map {$_ & 127} unpack("C*", $text));
        $text =~ s/[^\#a-zA-Z0-9]//g;
        $text = substr($text, 0, $duplth) if length $text > $duplth; 
-       my $dupkey = "A$to|\L$text";
+       my $dupkey = "A$call|$to|\L$text";
        return DXDupe::check($dupkey, $t);
 }