/[Search-Estraier]/trunk/scripts/est-spider
This is repository of my old source code which isn't updated any more. Go to git.rot13.org for current projects!
ViewVC logotype

Diff of /trunk/scripts/est-spider

Parent Directory Parent Directory | Revision Log Revision Log | View Patch Patch

revision 118 by dpavlin, Sun Apr 16 23:22:54 2006 UTC revision 181 by dpavlin, Sat Aug 26 22:33:34 2006 UTC
# Line 8  use Text::Iconv; Line 8  use Text::Iconv;
8  #use File::MMagic;  #use File::MMagic;
9  use File::MMagic::XS qw/:compat/;  use File::MMagic::XS qw/:compat/;
10  use Time::HiRes qw/time/;  use Time::HiRes qw/time/;
11    use HTML::TreeBuilder;
12    use Data::Dump qw/dump/;
13    
14  my $collection;         # name which will be inserted  my $collection;         # name which will be inserted
15  my $path_add;           # add additional info in path  my $path_add;           # add additional info in path
# Line 17  my $exclude; Line 19  my $exclude;
19  #$verbose = 1;  #$verbose = 1;
20  my $debug = 0;  my $debug = 0;
21  my $force = 0;  my $force = 0;
22    my $all = 0;
23    
24  my $result = GetOptions(  my $result = GetOptions(
25          "collection=s" => \$collection,          "collection=s" => \$collection,
# Line 25  my $result = GetOptions( Line 28  my $result = GetOptions(
28          "debug!" => \$debug,          "debug!" => \$debug,
29          "exclude=s" => \$exclude,          "exclude=s" => \$exclude,
30          "force!" => \$force,          "force!" => \$force,
31            "all!" => \$all,
32  );  );
33    
34  my ($node_url,$dir) = @ARGV;  my ($node_url,$dir) = @ARGV;
# Line 39  options: Line 43  options:
43          --verbose          --verbose
44          --force          --force
45          --debug          --debug
46            --all   save placeholders for all files
47  _END_OF_USAGE_  _END_OF_USAGE_
48    
49  if (! -e $dir) {  if (! -e $dir) {
# Line 56  my $start_t = time(); Line 61  my $start_t = time();
61  my $filter;  my $filter;
62  foreach my $f (qw/pdftotext pstotext/) {  foreach my $f (qw/pdftotext pstotext/) {
63          my $w = which($f);          my $w = which($f);
64          if ($f) {          if ($w) {
65                  $filter->{$f} = $w;                  $filter->{$f} = $w;
66                  print STDERR "using $f filter at $w\n" if ($verbose);                  print STDERR "using $f filter at $w\n" if ($verbose);
67          }          }
# Line 70  my $iconv = new Text::Iconv('iso-8859-2' Line 75  my $iconv = new Text::Iconv('iso-8859-2'
75  select(STDERR); $|=1;  select(STDERR); $|=1;
76  select(STDOUT); $|=1;  select(STDOUT); $|=1;
77    
78  my $db = new Search::Estraier::Node;  my $db = new Search::Estraier::Node(
79  $db->set_url($node_url);          url => $node_url,
80  $db->set_auth('admin', 'admin');          user => 'admin',
81            passwd => 'admin',
82            croak_on_error => 1,
83            create => 1,
84    );
85    
86    #
87    # check if hhc file exists, and if it does, extract information from it
88    #
89    
90    my $hhc_file;
91    # try to find hhc
92    find({ wanted => sub {
93                    return unless( m!\.hhc$!i );
94                    $hhc_file = $_;
95                    warn "using $hhc_file for tree structure\n";
96            },
97            follow => 1,
98            follow_skip => 2,
99            no_chdir => 1,
100    }, $dir);
101    
102    my $meta;
103    
104    if ($hhc_file) {
105    
106            sub param {
107                    my ($el) = @_;
108    
109                    my $n;
110                    foreach my $p ( $el->find('param') ) {
111                            $n->{ $p->attr('name') } = $p->attr('value');
112                    }
113    
114                    if ( ! defined($n->{Local}) ) {
115                            warn "### skipped = ",dump($n),$/;
116                            return;
117                    }
118    
119                    my $path = $dir . '/' . $n->{Local};
120                    $path =~ s!//!/!g;
121                    $path = lc($path);
122    
123                    $n->{path} = $path;
124    
125                    my $nr = $n->{ImageNumber} || next;
126    
127                    if ($nr == 27) {
128                            $meta->{title} = $n->{Name};
129                            $meta->{index_path} = $path;
130                    } elsif ($nr == 21) {
131                            $meta->{toc_path} = $path;
132                    } elsif ($nr == 1) {
133                            $meta->{foreword_path} = $path;
134                    } elsif ($nr == 11) {
135                            # nop
136                    } else {
137                            warn "unknown ImageNumber: $nr\n";
138                    }
139    
140                    return $n;
141            }
142    
143            my $tree = HTML::TreeBuilder->new;
144            $tree->parse_file($hhc_file);
145    
146            my $prefix = $collection ? ( $collection . ' :: ' ) : '';
147    
148            my @prefix;
149            my $depth = 0;
150    
151            foreach my $e ( $tree->look_down( sub { $_[0]->tag =~ m/(object)/ } ) ) {
152    
153    #               printf("%05s %s\n", $e->parent->address(), $e->as_HTML() );
154    
155                    my $l = ($e->depth() / 2) - 1;
156    
157                    $prefix[ 0 ] = $meta->{title} || '';
158    
159                    my $n = param($e);
160                    $prefix[ $l ] = $n->{Name};
161    
162                    next unless ($n->{path});
163    
164                    my $t = '';
165                    my @p;
166                    foreach my $i ( 0 .. $l ) {
167                            push @p, $prefix[ $i ] if ($prefix[ $i ]);
168                    }
169                    $t = join(' :: ', @p ) if (@p);
170    
171                    $meta->{path2title}->{ $n->{path} } = $t;
172    
173            }
174    
175            $tree->delete;
176    
177    }
178    
179    
180  find({ wanted => \&file,  find({ wanted => \&file,
181          follow => 1,          follow => 1,
# Line 83  find({ wanted => \&file, Line 186  find({ wanted => \&file,
186  my $dur = (time() - $start_t) || 1;  my $dur = (time() - $start_t) || 1;
187  printf STDERR "%d documents in %.2fs [%.2f docs/s]\n", $docs, $dur, ($docs / $dur);  printf STDERR "%d documents in %.2fs [%.2f docs/s]\n", $docs, $dur, ($docs / $dur);
188    
189    $db->master(
190            action => 'sync'
191    );
192    
193    
194  exit;  exit;
195    
196  sub dump_contents {  sub dump_contents {
# Line 105  sub dump_contents { Line 213  sub dump_contents {
213          # create a document object          # create a document object
214          my $doc = new Search::Estraier::Document;          my $doc = new Search::Estraier::Document;
215    
216          my $title = $1 if ($contents =~ m#<title>(.+?)</title>#is);          my $title;
217    
218            if ( defined($meta->{path2title}->{lc($path)}) ) {
219                    $title = $meta->{path2title}->{lc($path)};
220                    warn " $title\n";
221            } else {
222    
223          # chop long titles to 100 chars                  $title = $1 if ($contents =~ m#<title>(.+?)</title>#is);
224          $title = substr($title, 0, 100) . '...' if ($title && length($title) > 100);  
225          # use path if no title is found                  # chop long titles to 100 chars
226          $title ||= $path;                  $title = substr($title, 0, 100) . '...' if ($title && length($title) > 100);
227                    # use path if no title is found
228                    $title ||= $path;
229            
230            }
231    
232          # add attributes to the document object          # add attributes to the document object
233          $doc->add_attr('@uri', "file:///$path");          $doc->add_attr('@uri', "file:///$path");
# Line 120  sub dump_contents { Line 237  sub dump_contents {
237    
238          if ($contents) {          if ($contents) {
239                  # html2text                  # html2text
240                    $contents =~ s#<script.*?</script>##gis;
241                  $contents =~ s#<[^>]+/*>##gs;                  $contents =~ s#<[^>]+/*>##gs;
242                  $contents =~ s#\s\s+# #gs;                  $contents =~ s#\s\s+# #gs;
243    
# Line 130  sub dump_contents { Line 248  sub dump_contents {
248          # boost title          # boost title
249          $doc->add_hidden_text($title);          $doc->add_hidden_text($title);
250    
251  #       print $doc->dump_draft if ($verbose);          print $doc->dump_draft if ($debug);
252    
253          # register the document object to the database          # register the document object to the database
254          $db->put_doc($doc);          $db->put_doc($doc);
# Line 188  sub file { Line 306  sub file {
306          my $path = $_;          my $path = $_;
307          my $contents;          my $contents;
308    
309          return if (! $force && -l $path || $path =~ m#/.svn# || $path =~ m/(~|.bak)$/);          return if (! $force && -l $path || $path =~ m#/.svn# || $path =~ m/(~|.bak|.gif)$/);
310            return if (! $all && -d $path);
311    
312          my $mtime = (stat($path))[9] || -1;          my $mtime = (stat($path))[9] || -1;
313          my $mtime_db = $db->get_doc_attr_by_uri("file:///$path", '@mtime') || -2;          my $mtime_db = eval { $db->get_doc_attr_by_uri("file:///$path", '@mtime') };
314            $mtime_db ||= -2;
315    
316          if ($mtime == $mtime_db) {          if ($mtime == $mtime_db) {
317                  print STDERR "# same: $path $mtime\n" if ($verbose);                  print STDERR "# same: $path $mtime\n" if ($verbose);
# Line 228  sub file { Line 348  sub file {
348          } else {          } else {
349    
350  #               return if (! -f $path || ! m/\.(html*|php|pl|txt|info|log|text)$/i);  #               return if (! -f $path || ! m/\.(html*|php|pl|txt|info|log|text)$/i);
351                  if (-f $path && $type =~ m/html/ ||                  if (-f $path &&
352                          ($path !~ m/\.(php|pl|txt|info|log|text)$/io)                          $type !~ m/html/ &&
353                            $path !~ m/\.(php|pl|txt|info|log|text)$/io
354                  ) {                  ) {
355                          dump_contents($db, '', $mtime, $path, -s $path);                          dump_contents($db, '', $mtime, $path, -s $path) if ($all);
356                          return;                          return;
357                  }                  }
358    
359                  # skip index files                  # skip index files
360                  return if (m/index_[a-z]\.html*/i || m/index_symbol\.html*/i);                  return if ($path =~ m/index_(?:[a-z]+|symbol)\.html*/i);
361    
362                  open(F,"$path") || die "can't open file: $path";                  open(F,"$path") || die "can't open file: $path";
363                  print STDERR "$path ($type)" if ($verbose);                  print STDERR "$path ($type)" if ($verbose);
Legend:
Removed from v.118  
changed lines
  Added in v.181
  ViewVC Help
Powered by ViewVC 1.1.26