/[Grep]/lib/Grep/Search.pm
This is repository of my old source code which isn't updated any more. Go to git.rot13.org for current projects!
ViewVC logotype

Diff of /lib/Grep/Search.pm

Parent Directory Parent Directory | Revision Log Revision Log | View Patch Patch

revision 47 by dpavlin, Wed Feb 21 03:04:48 2007 UTC revision 144 by dpavlin, Tue May 8 14:11:38 2007 UTC
# Line 2  package Grep::Search; Line 2  package Grep::Search;
2    
3  use strict;  use strict;
4  use warnings;  use warnings;
5    use base qw( Class::Accessor );
6    Grep::Search->mk_accessors( qw( invindexer create index_path hits ) );
7    
8  use Data::Dump qw/dump/;  use Data::Dump qw/dump/;
9  use Lucene;  use KinoSearch::InvIndexer;
10    use KinoSearch::Searcher;
11  use Jifty::Util;  use Jifty::Util;
12    
13  my $index_path = Jifty::Util->app_root . '/var/lucene';  my $debug = 0;
14    
15  my ( $analyzer, $store, $writer );  =head1 NAME
16    
17  my $debug = 0;  Grep::Search - full text search using L<KinoSearch>
18    
19  sub reopen_index {  =head1 METHODS
20          my $self = shift;  
21    =head2 new
22    
23          $analyzer ||= new Lucene::Analysis::Standard::StandardAnalyzer();    my $search = Grep::Search->new();
24          my $create = 0;  
25          if (! -e "$index_path/segments") {    my $serach = Grep::Search->new( create => 1 );
26                  $create = 1;  
27                  Jifty->log->debug("creating index $index_path") unless ($store);  =cut
28    
29    sub log { Jifty->web->log }
30    
31    sub new {
32            my $class = shift;        
33            my $self = $class->SUPER::new(@_);
34    
35            my $index_path = Jifty::Util->app_root . '/var/invindex';
36    
37            $self->index_path( $index_path );
38    
39            if ( ! -e "$index_path" || $self->create ) {
40                    $self->log->debug("Creating new index $index_path");
41                    $self->invindexer( KinoSearch::InvIndexer->new( invindex => Grep::Search::Schema->clobber( $index_path ) ) );
42          } else {          } else {
43                  Jifty->log->debug("using index: $index_path") unless ($store);                  $self->log->debug("Opening index: $index_path");
44                    $self->invindexer( KinoSearch::InvIndexer->new( invindex => Grep::Search::Schema->open( $index_path ) ) );
45          }          }
46          $store ||= Lucene::Store::FSDirectory->getDirectory( $index_path, $create );  
47            return $self;
48  }  }
49    
50  =head2 add  =head2 add
51    
52    Grep::Search->add( $record );    $search->add( $record, $owner_id );
53    
54  =cut  =cut
55    
# Line 37  sub add { Line 57  sub add {
57          my $self = shift;          my $self = shift;
58    
59          my $i = shift or die "no record to add";          my $i = shift or die "no record to add";
60            my $uid = shift;
61    
62          die "record not Jifty::Record but ", ref $i unless ($i->isa('Jifty::Record'));          die "record not Jifty::Record but ", ref $i unless ($i->isa('Jifty::Record'));
63    
         $self->reopen_index;  
   
         $writer ||= new Lucene::Index::IndexWriter( $store, $analyzer, 0 );  
   
64          my $pk = { $i->primary_keys };          my $pk = { $i->primary_keys };
65    
66          my $doc = new Lucene::Document;          my $doc;
67    
68          my @columns = map { $_->name } $i->columns;          my @columns = map { $_->name } $i->columns;
69    
# Line 55  sub add { Line 72  sub add {
72                  my $v = $i->$c;                  my $v = $i->$c;
73    
74                  if ( ref($v) ne '' ) {                  if ( ref($v) ne '' ) {
75                          if ($i->$c->can('id')) {  
76                                  $v = $i->$c->id;                          foreach my $f_c ( qw/id name title/ ) {
77                                  warn "  # $c = $v [id]\n" if ($debug);                                  if ( $i->$c->can( $f_c ) ) {
78                                  $doc->add(Lucene::Document::Field->Keyword( $c, $v ));                                          my $f_v = $i->$c->$f_c || $i->$c->{values}->{ $f_c };
79                          } elsif ($v->isa('Jifty::DateTime')) {                                          my $col = $c . '_' . $f_c;
80                                            if ( $f_v ) {
81                                                    warn "  # $col = $f_v\n" if ($debug);
82                                                    $doc->{ $col } = $f_v;
83                                            } else {
84                                                    warn "  . $col is NULL\n" if ($debug);
85                                            }
86                                    }
87                            }
88    
89                            if ($v->isa('Jifty::DateTime')) {
90                                  warn "  d $c = $v\n" if ($debug);                                  warn "  d $c = $v\n" if ($debug);
91                                  $doc->add(Lucene::Document::Field->Keyword( $c, "$v" ));                                  $doc->{$c} = $v;
92                          } else {                          } else {
93                                  warn "  s $c = $v [",ref($v),"]\n" if ($debug);                                  warn "  s $c = $v [",ref($v),"]\n" if ($debug);
94                          }                          }
# Line 73  sub add { Line 100  sub add {
100                  $v =~ s/<[^>]+>/ /gs;                  $v =~ s/<[^>]+>/ /gs;
101    
102                  if ( defined( $pk->{$c} ) ) {                  if ( defined( $pk->{$c} ) ) {
103                          $doc->add(Lucene::Document::Field->Keyword( $c, $v ));                          $doc->{ $c } = $v;
104                          warn "  * $c = $v\n" if ($debug);                          warn "  * $c = $v\n" if ($debug);
105                  } else {                  } else {
106                          $doc->add(Lucene::Document::Field->Text( $c, $v ));                          $doc->{ $c } = $v;
107                          warn "  + $c = $v\n" if ($debug);                          warn "  + $c = ", $self->snippet( 50, $v ), "\n" if ($debug);
108                  }                  }
109          }          }
110    
111          $writer->addDocument($doc);          # add _owner_id to speed up filtering of search results
112            $uid ||= Jifty->web->current_user->id;
113            $doc->{ '_owner_id' } = $uid;
114    
115            $self->invindexer->add_doc( $doc );
116    
117          Jifty->log->debug("added ", $i->id, " to index");          $self->log->debug("added ", $i->id, " for user $uid to index");
118  }  }
119    
120  =head2  =head2 collection
121    
122    my $ItemCollection = Grep::Search->collection( 'search query' );  Return C<Grep::Model::ItemCollection> which is result of C<search query>
123    
124      my $ItemCollection = $search->collection( 'search query' );
125    
126    =head2 hits
127    
128    Return number of results from last C<collection> call
129    
130      my $num_results = $search->hits;
131    
132  =cut  =cut
133    
# Line 97  sub collection { Line 136  sub collection {
136    
137          my $q = shift or die "no q?";          my $q = shift or die "no q?";
138    
139          $self->reopen_index;          my $searcher = KinoSearch::Searcher->new(
140                    invindex => Grep::Search::Schema->open( $self->index_path ), );
141          my $searcher = new Lucene::Search::IndexSearcher($store);          $self->log->debug("$searcher created");
142          my $parser = new Lucene::QueryParser("content", $analyzer);  
143          my $query = $parser->parse( $q );          my $full_q = "($q) AND _owner_id:" . Jifty->web->current_user->id;
144    
145          Jifty->log->debug("searching for '$q'");          $self->log->debug("searching for '$q' using $full_q");
146            my $hits = $searcher->search(
147                    query           => $full_q,
148    #               offset          => $offset,
149    #               num_wanted      => $hits_per_page,
150            );
151    
152          my $hits = $searcher->search($query);          $self->hits( $hits->total_hits );
         my $num_hits = $hits->length();  
153    
154          Jifty->log->debug("found $num_hits results");          $self->log->debug("found ", $self->hits, " results");
155    
156          my $collection = Grep::Model::ItemCollection->new();          my $collection = Grep::Model::ItemCollection->new();
157    
158          my @results;          my @results;
159    
160          for ( my $i = 0; $i < $num_hits; $i++ ) {          my $i = 0;
161            while ( my $hit = $hits->fetch_hit_hashref ) {
162    
163                  my $doc = $hits->doc( $i );                  my $score = $hit->{score};
164                    my $title = $hit->{title};
165                    my $id = $hit->{id};
166    
167                  my $score = $hits->score($i);                  $self->log->debug("result $i [$id] $title $score");
                 my $title = $doc->get("title");  
                 my $id = $doc->get("id");  
   
                 warn "## $i $score $title\n";  
168    
169                  my $item = Grep::Model::Item->new();                  my $item = Grep::Model::Item->new();
170                  my ($ok,$msg) = $item->load_by_cols( id => $id );                  my ($ok,$msg) = $item->load_by_cols( id => $id );
# Line 135  sub collection { Line 177  sub collection {
177    
178          }          }
179    
180          undef $hits;          $self->log->debug("finished search");
         undef $query;  
         undef $parser;  
         undef $searcher;  
181    
182          return $collection;          return $collection;
183  }  }
184    
185  =head2 finish  =head2 finish
186    
187    Grep::Search->finish    $search->finish
188    
189  =cut  =cut
190    
191  sub finish {  sub finish {
192          my $self = shift;          my $self = shift;
193          if ($writer) {          if ($self->invindexer) {
194                  warn "closing index\n";                  $self->log->debug("closing index");
195                  $writer->close;                  $self->invindexer->finish;
196          }          }
197          undef $writer;  
198            $self->log->debug("finish");
199    
200            undef $self;
201    
202            return;
203  }  }
204    
205  sub _signal {  =head2 snippet
206          my $s = shift;  
207          warn "catched SIG $s\n";    my $short = $self->snippet( 50, $text );
208          finish();  
209          exit(0);  =cut
210    
211    sub snippet {
212            my $self = shift;
213    
214            my $len = shift or die "no len?";
215            my $m = join(" ", @_);
216    
217            $m =~ s/\s+/ /gs;
218    
219            if (length($m) > $len) {
220                    return substr($m,0,$len) . '...';
221            } else {
222                    return $m;
223            }
224  }  }
225    
226  $SIG{'__DIE__'} = \&_signal;  package Grep::Search::KeywordField;
227  $SIG{'INT'} = \&_signal;  use base qw( KinoSearch::Schema::FieldSpec );
228  $SIG{'QUIT'} = \&_signal;  sub analyzed { 0 }
229    
230    package Grep::Search::Schema;
231    
232    =head1 NAME
233    
234    Grep::Search::Schema - schema definition for full-text search
235    
236    =cut
237    
238    use base 'KinoSearch::Schema';
239    use KinoSearch::Analysis::PolyAnalyzer;
240    
241    our %fields = (
242            id                              => 'Grep::Search::KeywordField',
243    
244            in_feed_id              => 'Grep::Search::KeywordField',
245            in_feed_url             => 'Grep::Search::KeywordField',
246            in_feed_title   => 'KinoSearch::Schema::FieldSpec',
247            in_feed_owner   => 'Grep::Search::KeywordField',
248            in_feed_created_on      => 'Grep::Search::KeywordField',
249    
250            title                   => 'KinoSearch::Schema::FieldSpec',
251            link                    => 'Grep::Search::KeywordField',
252            content                 => 'KinoSearch::Schema::FieldSpec',
253            summary                 => 'KinoSearch::Schema::FieldSpec',
254            category                => 'KinoSearch::Schema::FieldSpec',
255            author                  => 'KinoSearch::Schema::FieldSpec',
256            issued                  => 'Grep::Search::KeywordField',
257            modified                => 'Grep::Search::KeywordField',
258    
259            _owner_id               => 'Grep::Search::KeywordField',
260    );
261    
262    sub analyzer {
263            return KinoSearch::Analysis::PolyAnalyzer->new( language => 'en' );
264    }
265    
266  1;  1;
Legend:
Removed from v.47  
changed lines
  Added in v.144
  ViewVC Help
Powered by ViewVC 1.1.26