/[webpac2]/trunk/lib/WebPAC/Input.pm
This is repository of my old source code which isn't updated any more. Go to git.rot13.org for current projects!
ViewVC logotype

Diff of /trunk/lib/WebPAC/Input.pm

Parent Directory Parent Directory | Revision Log Revision Log | View Patch Patch

revision 597 by dpavlin, Thu Jul 13 11:54:33 2006 UTC revision 818 by dpavlin, Thu Apr 5 21:53:52 2007 UTC
# Line 7  use blib; Line 7  use blib;
7    
8  use WebPAC::Common;  use WebPAC::Common;
9  use base qw/WebPAC::Common/;  use base qw/WebPAC::Common/;
10  use Text::Iconv;  use Data::Dump qw/dump/;
11  use Data::Dumper;  use Encode qw/from_to/;
12    
13  =head1 NAME  =head1 NAME
14    
# Line 16  WebPAC::Input - read different file form Line 16  WebPAC::Input - read different file form
16    
17  =head1 VERSION  =head1 VERSION
18    
19  Version 0.08  Version 0.17
20    
21  =cut  =cut
22    
23  our $VERSION = '0.08';  our $VERSION = '0.17';
24    
25  =head1 SYNOPSIS  =head1 SYNOPSIS
26    
# Line 43  Perhaps a little code snippet. Line 43  Perhaps a little code snippet.
43    
44          my $db = WebPAC::Input->new(          my $db = WebPAC::Input->new(
45                  module => 'WebPAC::Input::ISIS',                  module => 'WebPAC::Input::ISIS',
                 low_mem => 1,  
46          );          );
47    
48          $db->open( path => '/path/to/database' );          $db->open( path => '/path/to/database' );
# Line 63  Create new input database object. Line 62  Create new input database object.
62    my $db = new WebPAC::Input(    my $db = new WebPAC::Input(
63          module => 'WebPAC::Input::MARC',          module => 'WebPAC::Input::MARC',
64          encoding => 'ISO-8859-2',          encoding => 'ISO-8859-2',
         low_mem => 1,  
65          recode => 'char pairs',          recode => 'char pairs',
66          no_progress_bar => 1,          no_progress_bar => 1,
67    );    );
# Line 75  Optional parametar C<encoding> specify a Line 73  Optional parametar C<encoding> specify a
73  used internally). This should probably be your terminal encoding, and by  used internally). This should probably be your terminal encoding, and by
74  default, it C<ISO-8859-2>.  default, it C<ISO-8859-2>.
75    
 Default is not to use C<low_mem> options (see L<MEMORY USAGE> below).  
   
76  C<recode> is optional string constisting of character or words pairs that  C<recode> is optional string constisting of character or words pairs that
77  should be replaced in input stream.  should be replaced in input stream.
78    
# Line 96  sub new { Line 92  sub new {
92    
93          $log->logconfess("code_page argument is not suppored any more. change it to encoding") if ($self->{lookup});          $log->logconfess("code_page argument is not suppored any more. change it to encoding") if ($self->{lookup});
94          $log->logconfess("lookup argument is not suppored any more. rewrite call to lookup_ref") if ($self->{lookup});          $log->logconfess("lookup argument is not suppored any more. rewrite call to lookup_ref") if ($self->{lookup});
95            $log->logconfess("low_mem argument is not suppored any more. rewrite it to load_row and save_row") if ($self->{low_mem});
96    
97          $log->logconfess("specify low-level file format module") unless ($self->{module});          $log->logconfess("specify low-level file format module") unless ($self->{module});
98          my $module = $self->{module};          my $module_path = $self->{module};
99          $module =~ s#::#/#g;          $module_path =~ s#::#/#g;
100          $module .= '.pm';          $module_path .= '.pm';
101          $log->debug("require low-level module $self->{module} from $module");          $log->debug("require low-level module $self->{module} from $module_path");
   
         require $module;  
         #eval $self->{module} .'->import';  
   
         # check if required subclasses are implemented  
         foreach my $subclass (qw/open_db fetch_rec init/) {  
                 my $n = $self->{module} . '::' . $subclass;  
                 if (! defined &{ $n }) {  
                         my $missing = "missing $subclass in $self->{module}";  
                         $self->{$subclass} = sub { $log->logwarn($missing) };  
                 } else {  
                         $self->{$subclass} = \&{ $n };  
                 }  
         }  
102    
103          if ($self->{init}) {          require $module_path;
                 $log->debug("calling init");  
                 $self->{init}->($self, @_);  
         }  
104    
105          $self->{'encoding'} ||= 'ISO-8859-2';          $self->{'encoding'} ||= 'ISO-8859-2';
106    
         # running with low_mem flag? well, use DBM::Deep then.  
         if ($self->{'low_mem'}) {  
                 $log->info("running with low_mem which impacts performance (<32 Mb memory usage)");  
   
                 my $db_file = "data.db";  
   
                 if (-e $db_file) {  
                         unlink $db_file or $log->logdie("can't remove '$db_file' from last run");  
                         $log->debug("removed '$db_file' from last run");  
                 }  
   
                 require DBM::Deep;  
   
                 my $db = new DBM::Deep $db_file;  
   
                 $log->logdie("DBM::Deep error: $!") unless ($db);  
   
                 if ($db->error()) {  
                         $log->logdie("can't open '$db_file' under low_mem: ",$db->error());  
                 } else {  
                         $log->debug("using file '$db_file' for DBM::Deep");  
                 }  
   
                 $self->{'db'} = $db;  
         }  
   
107          $self ? return $self : return undef;          $self ? return $self : return undef;
108  }  }
109    
# Line 157  sub new { Line 111  sub new {
111    
112  This function will read whole database in memory and produce lookups.  This function will read whole database in memory and produce lookups.
113    
114     my $store;     # simple in-memory hash
115    
116   $input->open(   $input->open(
117          path => '/path/to/database/file',          path => '/path/to/database/file',
118          code_page => '852',          code_page => 'cp852',
119          limit => 500,          limit => 500,
120          offset => 6000,          offset => 6000,
         lookup => $lookup_obj,  
121          stats => 1,          stats => 1,
122          lookup_ref => sub {          lookup_coderef => sub {
123                  my ($k,$v) = @_;                  my $rec = shift;
124                  # store lookup $k => $v                  # store lookups
125          },          },
126          modify_records => {          modify_records => {
127                  900 => { '^a' => { ' : ' => '^b' } },                  900 => { '^a' => { ' : ' => '^b' } },
128                  901 => { '*' => { '^b' => ' ; ' } },                  901 => { '*' => { '^b' => ' ; ' } },
129          },          },
130            modify_file => 'conf/modify/mapping.map',
131            save_row => sub {
132                    my $a = shift;
133                    $store->{ $a->{id} } = $a->{row};
134            },
135            load_row => sub {
136                    my $a = shift;
137                    return defined($store->{ $a->{id} }) &&
138                            $store->{ $a->{id} };
139            },
140    
141   );   );
142    
143  By default, C<code_page> is assumed to be C<852>.  By default, C<code_page> is assumed to be C<cp852>.
144    
145  C<offset> is optional parametar to position at some offset before reading from database.  C<offset> is optional parametar to position at some offset before reading from database.
146    
# Line 182  C<limit> is optional parametar to read j Line 148  C<limit> is optional parametar to read j
148    
149  C<stats> create optional report about usage of fields and subfields  C<stats> create optional report about usage of fields and subfields
150    
151  C<lookup_coderef> is closure to call when adding C<< key => 'value' >> combinations to  C<lookup_coderef> is closure to called to save data into lookups
 lookup.  
152    
153  C<modify_records> specify mapping from subfields to delimiters or from  C<modify_records> specify mapping from subfields to delimiters or from
154  delimiters to subfields, as well as oprations on fields (if subfield is  delimiters to subfields, as well as oprations on fields (if subfield is
155  defined as C<*>.  defined as C<*>.
156    
157    C<modify_file> is alternative for C<modify_records> above which preserves order and offers
158    (hopefully) simplier sintax than YAML or perl (see L</modify_file_regex>). This option
159    overrides C<modify_records> if both exists for same input.
160    
161    C<save_row> and C<load_row> are low-level implementation of store engine. Calling convention
162    is documented in example above.
163    
164  Returns size of database, regardless of C<offset> and C<limit>  Returns size of database, regardless of C<offset> and C<limit>
165  parametars, see also C<size>.  parametars, see also C<size>.
166    
# Line 204  sub open { Line 176  sub open {
176          $log->logconfess("lookup_coderef must be CODE, not ",ref($arg->{lookup_coderef}))          $log->logconfess("lookup_coderef must be CODE, not ",ref($arg->{lookup_coderef}))
177                  if ($arg->{lookup_coderef} && ref($arg->{lookup_coderef}) ne 'CODE');                  if ($arg->{lookup_coderef} && ref($arg->{lookup_coderef}) ne 'CODE');
178    
179            $log->debug( $arg->{lookup_coderef} ? '' : 'not ', "using lookup_coderef");
180    
181          $log->logcroak("need path") if (! $arg->{'path'});          $log->logcroak("need path") if (! $arg->{'path'});
182          my $code_page = $arg->{'code_page'} || '852';          my $code_page = $arg->{'code_page'} || 'cp852';
183    
184          # store data in object          # store data in object
185          $self->{'input_code_page'} = $code_page;          $self->{'input_code_page'} = $code_page;
# Line 213  sub open { Line 187  sub open {
187                  $self->{$v} = $arg->{$v} if ($arg->{$v});                  $self->{$v} = $arg->{$v} if ($arg->{$v});
188          }          }
189    
190          # create Text::Iconv object          if ($arg->{load_row} || $arg->{save_row}) {
191          $self->{iconv} = Text::Iconv->new($code_page,$self->{'encoding'});      ## FIXME remove!                  $log->logconfess("save_row and load_row must be defined in pair and be CODE") unless (
192                            ref($arg->{load_row}) eq 'CODE' &&
193                            ref($arg->{save_row}) eq 'CODE'
194                    );
195                    $self->{load_row} = $arg->{load_row};
196                    $self->{save_row} = $arg->{save_row};
197                    $log->debug("using load_row and save_row instead of in-memory hash");
198            }
199    
200          my $filter_ref;          my $filter_ref;
201          my $recode_regex;          my $recode_regex;
# Line 238  sub open { Line 219  sub open {
219    
220          }          }
221    
222          my $rec_regex = $self->modify_record_regexps(%{ $arg->{modify_records} });          my $rec_regex;
223          $log->debug("rec_regex: ", Dumper($rec_regex));          if (my $p = $arg->{modify_file}) {
224                    $log->debug("using modify_file $p");
225          my ($db, $size) = $self->{open_db}->( $self,                  $rec_regex = $self->modify_file_regexps( $p );
226                  path => $arg->{path},          } elsif (my $h = $arg->{modify_records}) {
227                  filter => sub {                  $log->debug("using modify_records ", sub { dump( $h ) });
228                                  my ($l,$f_nr) = @_;                  $rec_regex = $self->modify_record_regexps(%{ $h });
229                                  return unless defined($l);          }
230            $log->debug("rec_regex: ", sub { dump($rec_regex) }) if ($rec_regex);
                                 ## FIXME remove iconv!  
                                 $l = $self->{iconv}->convert($l) if ($self->{iconv});  
           
                                 $l =~ s/($recode_regex)/$recode_map->{$1}/g if ($recode_regex && $recode_map);  
   
                                 return $l unless ($rec_regex);  
231    
232                                  # apply regexps          my $class = $self->{module} || $log->logconfess("can't get low-level module name!");
                                 if ($rec_regex && defined($rec_regex->{$f_nr})) {  
                                         $log->logconfess("regexps->{$f_nr} must be ARRAY") if (ref($rec_regex->{$f_nr}) ne 'ARRAY');  
                                         my $c = 0;  
                                         foreach my $r (@{ $rec_regex->{$f_nr} }) {  
                                                 while ( eval '$l =~ ' . $r ) { $c++ };  
                                         }  
                                         warn "## field $f_nr triggered $c regexpes\n" if ($c && $self->{debug});  
                                 }  
233    
234                                  return $l;          my $ll_db = $class->new(
235                  },                  path => $arg->{path},
236    #               filter => sub {
237    #                       my ($l,$f_nr) = @_;
238    #                       return unless defined($l);
239    #                       from_to($l, $code_page, $self->{'encoding'});
240    #                       $l =~ s/($recode_regex)/$recode_map->{$1}/g if ($recode_regex && $recode_map);
241    #                       return $l;
242    #               },
243                  %{ $arg },                  %{ $arg },
244          );          );
245    
246          unless (defined($db)) {          unless (defined($ll_db)) {
247                  $log->logwarn("can't open database $arg->{path}, skipping...");                  $log->logwarn("can't open database $arg->{path}, skipping...");
248                  return;                  return;
249          }          }
250    
251            my $size = $ll_db->size;
252    
253          unless ($size) {          unless ($size) {
254                  $log->logwarn("no records in database $arg->{path}, skipping...");                  $log->logwarn("no records in database $arg->{path}, skipping...");
255                  return;                  return;
# Line 305  sub open { Line 281  sub open {
281    
282                  $log->debug("position: $pos\n");                  $log->debug("position: $pos\n");
283    
284                  my $rec = $self->{fetch_rec}->($self, $db, $pos );                  my $rec = $ll_db->fetch_rec($pos, sub {
285                                    my ($l,$f_nr,$debug) = @_;
286    #                               return unless defined($l);
287    #                               return $l unless ($rec_regex && $f_nr);
288    
289                                    return unless ( defined($l) && defined($f_nr) );
290    
291                  $log->debug(sub { Dumper($rec) });                                  warn "-=> $f_nr ## |$l|\n" if ($debug);
292                                    $log->debug("-=> $f_nr ## $l");
293    
294                                    # codepage conversion and recode_regex
295                                    from_to($l, $code_page, $self->{'encoding'});
296                                    $l =~ s/($recode_regex)/$recode_map->{$1}/g if ($recode_regex && $recode_map);
297    
298                                    # apply regexps
299                                    if ($rec_regex && defined($rec_regex->{$f_nr})) {
300                                            $log->logconfess("regexps->{$f_nr} must be ARRAY") if (ref($rec_regex->{$f_nr}) ne 'ARRAY');
301                                            my $c = 0;
302                                            foreach my $r (@{ $rec_regex->{$f_nr} }) {
303                                                    my $old_l = $l;
304                                                    $log->logconfess("expected regex in ", dump( $r )) unless defined($r->{regex});
305                                                    eval '$l =~ ' . $r->{regex};
306                                                    if ($old_l ne $l) {
307                                                            my $d = "|$old_l| -> |$l| "; # . $r->{regex};
308                                                            $d .= ' +' . $r->{line} . ' ' . $r->{file} if defined($r->{line});
309                                                            $d .= ' ' . $r->{debug} if defined($r->{debug});
310                                                            $log->debug("MODIFY $d");
311                                                            warn "*** $d\n" if ($debug);
312    
313                                                    }
314                                                    $log->error("error applying regex: $r") if ($@);
315                                            }
316                                    }
317    
318                                    $log->debug("<=- $f_nr ## |$l|");
319                                    warn "<=- $f_nr ## $l\n" if ($debug);
320                                    return $l;
321                    });
322    
323                    $log->debug(sub { dump($rec) });
324    
325                  if (! $rec) {                  if (! $rec) {
326                          $log->warn("record $pos empty? skipping...");                          $log->warn("record $pos empty? skipping...");
# Line 315  sub open { Line 328  sub open {
328                  }                  }
329    
330                  # store                  # store
331                  if ($self->{low_mem}) {                  if ($self->{save_row}) {
332                          $self->{db}->put($pos, $rec);                          $self->{save_row}->({
333                                    id => $pos,
334                                    row => $rec,
335                            });
336                  } else {                  } else {
337                          $self->{data}->{$pos} = $rec;                          $self->{data}->{$pos} = $rec;
338                  }                  }
# Line 327  sub open { Line 343  sub open {
343                  # update counters for statistics                  # update counters for statistics
344                  if ($self->{stats}) {                  if ($self->{stats}) {
345    
346                            # fetch clean record with regexpes applied for statistics
347                            my $rec = $ll_db->fetch_rec($pos);
348    
349                          foreach my $fld (keys %{ $rec }) {                          foreach my $fld (keys %{ $rec }) {
350                                  $self->{_stats}->{fld}->{ $fld }++;                                  $self->{_stats}->{fld}->{ $fld }++;
351    
# Line 338  sub open { Line 357  sub open {
357                                          if (ref($row) eq 'HASH') {                                          if (ref($row) eq 'HASH') {
358    
359                                                  foreach my $sf (keys %{ $row }) {                                                  foreach my $sf (keys %{ $row }) {
360                                                            next if ($sf eq 'subfields');
361                                                          $self->{_stats}->{sf}->{ $fld }->{ $sf }->{count}++;                                                          $self->{_stats}->{sf}->{ $fld }->{ $sf }->{count}++;
362                                                          $self->{_stats}->{sf}->{ $fld }->{ $sf }->{repeatable}++                                                          $self->{_stats}->{sf}->{ $fld }->{ $sf }->{repeatable}++
363                                                                          if (ref($row->{$sf}) eq 'ARRAY');                                                                          if (ref($row->{$sf}) eq 'ARRAY');
# Line 361  sub open { Line 381  sub open {
381          $self->{max_pos} = $to_rec;          $self->{max_pos} = $to_rec;
382          $log->debug("max_pos: $to_rec");          $log->debug("max_pos: $to_rec");
383    
384            # save for dump
385            $self->{ll_db} = $ll_db;
386    
387          return $size;          return $size;
388  }  }
389    
# Line 400  sub fetch { Line 423  sub fetch {
423    
424          my $rec;          my $rec;
425    
426          if ($self->{low_mem}) {          if ($self->{load_row}) {
427                  $rec = $self->{db}->get($mfn);                  $rec = $self->{load_row}->({ id => $mfn });
428          } else {          } else {
429                  $rec = $self->{data}->{$mfn};                  $rec = $self->{data}->{$mfn};
430          }          }
# Line 456  First record in database has position 1. Line 479  First record in database has position 1.
479    
480  sub seek {  sub seek {
481          my $self = shift;          my $self = shift;
482          my $pos = shift || return;          my $pos = shift;
483    
484          my $log = $self->_get_logger();          my $log = $self->_get_logger();
485    
486            $log->logconfess("called without pos") unless defined($pos);
487    
488          if ($pos < 1) {          if ($pos < 1) {
489                  $log->warn("seek before first record");                  $log->warn("seek before first record");
490                  $pos = 1;                  $pos = 1;
# Line 517  sub stats { Line 542  sub stats {
542                  } sort { $a cmp $b } keys %{ $s->{fld} }                  } sort { $a cmp $b } keys %{ $s->{fld} }
543          );          );
544    
545          $log->debug( sub { Dumper($s) } );          $log->debug( sub { dump($s) } );
546    
547          return $out;          return $out;
548  }  }
549    
550  =head1 modify_record_regexps  =head2 dump_ascii
551    
552    Display humanly readable dump of record
553    
554    =cut
555    
556    sub dump_ascii {
557            my $self = shift;
558    
559            return unless $self->{ll_db};
560    
561            if ($self->{ll_db}->can('dump_rec')) {
562                    return $self->{ll_db}->dump_ascii( $self->{pos} );
563            } else {
564                    return dump( $self->{ll_db}->fetch_rec( $self->{pos} ) );
565            }
566    }
567    
568    =head2 modify_record_regexps
569    
570  Generate hash with regexpes to be applied using L<filter>.  Generate hash with regexpes to be applied using L<filter>.
571    
# Line 533  Generate hash with regexpes to be applie Line 576  Generate hash with regexpes to be applie
576    
577  =cut  =cut
578    
579    sub _get_regex {
580            my ($sf,$from,$to) = @_;
581    
582            # protect /
583            $from =~ s!/!\\/!gs;
584            $to =~ s!/!\\/!gs;
585    
586            if ($from =~ m/^regex:(.+)$/) {
587                    $from = $1;
588            } else {
589                    $from = '\Q' . $from . '\E';
590            }
591            if ($sf =~ /^\^/) {
592                    return
593                            's/\Q'. $sf .'\E([^\^]*?)'. $from .'([^\^]*?)/'. $sf .'$1'. $to .'$2/';
594            } else {
595                    return
596                            's/'. $from .'/'. $to .'/g';
597            }
598    }
599    
600  sub modify_record_regexps {  sub modify_record_regexps {
601          my $self = shift;          my $self = shift;
602          my $modify_record = {@_};          my $modify_record = {@_};
603    
604          my $regexpes;          my $regexpes;
605    
606            my $log = $self->_get_logger();
607    
608          foreach my $f (keys %$modify_record) {          foreach my $f (keys %$modify_record) {
609  warn "--- f: $f\n";                  $log->debug("field: $f");
610    
611                  foreach my $sf (keys %{ $modify_record->{$f} }) {                  foreach my $sf (keys %{ $modify_record->{$f} }) {
612  warn "---- sf: $sf\n";                          $log->debug("subfield: $sf");
613    
614                          foreach my $from (keys %{ $modify_record->{$f}->{$sf} }) {                          foreach my $from (keys %{ $modify_record->{$f}->{$sf} }) {
615                                  my $to = $modify_record->{$f}->{$sf}->{$from};                                  my $to = $modify_record->{$f}->{$sf}->{$from};
616                                  #die "no field?" unless defined($to);                                  #die "no field?" unless defined($to);
617  warn "----- transform: |$from| -> |$to|\n";                                  my $d = "|$from| -> |$to|";
618                                    $log->debug("transform: $d");
                                 if ($sf =~ /^\^/) {  
                                         my $regex =  
                                                 's/\Q'. $sf .'\E([^\^]+)\Q'. $from .'\E([^\^]+)/'. $sf .'$1'. $to .'$2/g';  
                                         push @{ $regexpes->{$f} }, $regex;  
 warn ">>>>> $regex [sf]\n";  
                                 } else {  
                                         my $regex =  
                                                 's/\Q'. $from .'\E/'. $to .'/g';  
                                         push @{ $regexpes->{$f} }, $regex;  
 warn ">>>>> $regex [global]\n";  
                                 }  
619    
620                                    my $regex = _get_regex($sf,$from,$to);
621                                    push @{ $regexpes->{$f} }, { regex => $regex, debug => $d };
622                                    $log->debug("regex: $regex");
623                          }                          }
624                  }                  }
625          }          }
# Line 567  warn ">>>>> $regex [global]\n"; Line 627  warn ">>>>> $regex [global]\n";
627          return $regexpes;          return $regexpes;
628  }  }
629    
630  =head1 MEMORY USAGE  =head2 modify_file_regexps
631    
632    Generate hash with regexpes to be applied using L<filter> from
633    pseudo hash/yaml format for regex mappings.
634    
635    It should be obvious:
636    
637            200
638              '^a'
639                ' : ' => '^e'
640                ' = ' => '^d'
641    
642    In field I<200> find C<'^a'> and then C<' : '>, and replace it with C<'^e'>.
643    In field I<200> find C<'^a'> and then C<' = '>, and replace it with C<'^d'>.
644    
645      my $regexpes = $input->modify_file_regexps( 'conf/modify/common.pl' );
646    
647    On undef path it will just return.
648    
649    =cut
650    
651    sub modify_file_regexps {
652            my $self = shift;
653    
654            my $modify_path = shift || return;
655    
656            my $log = $self->_get_logger();
657    
658            my $regexpes;
659    
660            CORE::open(my $fh, $modify_path) || $log->logdie("can't open modify file $modify_path: $!");
661    
662            my ($f,$sf);
663    
664  C<low_mem> options is double-edged sword. If enabled, WebPAC          while(<$fh>) {
665  will run on memory constraint machines (which doesn't have enough                  chomp;
666  physical RAM to create memory structure for whole source database).                  next if (/^#/ || /^\s*$/);
   
 If your machine has 512Mb or more of RAM and database is around 10000 records,  
 memory shouldn't be an issue. If you don't have enough physical RAM, you  
 might consider using virtual memory (if your operating system is handling it  
 well, like on FreeBSD or Linux) instead of dropping to L<DBM::Deep> to handle  
 parsed structure of ISIS database (this is what C<low_mem> option does).  
   
 Hitting swap at end of reading source database is probably o.k. However,  
 hitting swap before 90% will dramatically decrease performance and you will  
 be better off with C<low_mem> and using rest of availble memory for  
 operating system disk cache (Linux is particuallary good about this).  
 However, every access to database record will require disk access, so  
 generation phase will be slower 10-100 times.  
   
 Parsed structures are essential - you just have option to trade RAM memory  
 (which is fast) for disk space (which is slow). Be sure to have planty of  
 disk space if you are using C<low_mem> and thus L<DBM::Deep>.  
   
 However, when WebPAC is running on desktop machines (or laptops :-), it's  
 highly undesireable for system to start swapping. Using C<low_mem> option can  
 reduce WecPAC memory usage to around 64Mb for same database with lookup  
 fields and sorted indexes which stay in RAM. Performance will suffer, but  
 memory usage will really be minimal. It might be also more confortable to  
 run WebPAC reniced on those machines.  
667    
668                    if (/^\s*(\d+)\s*$/) {
669                            $f = $1;
670                            $log->debug("field: $f");
671                            next;
672                    } elsif (/^\s*'([^']*)'\s*$/) {
673                            $sf = $1;
674                            $log->die("can't define subfiled before field in: $_") unless ($f);
675                            $log->debug("subfield: $sf");
676                    } elsif (/^\s*'([^']*)'\s*=>\s*'([^']*)'\s*$/) {
677                            my ($from,$to) = ($1, $2);
678    
679                            $log->debug("transform: |$from| -> |$to|");
680    
681                            my $regex = _get_regex($sf,$from,$to);
682                            push @{ $regexpes->{$f} }, {
683                                    regex => $regex,
684                                    file => $modify_path,
685                                    line => $.,
686                            };
687                            $log->debug("regex: $regex");
688                    }
689            }
690    
691            return $regexpes;
692    }
693    
694  =head1 AUTHOR  =head1 AUTHOR
695    
# Line 604  Dobrica Pavlinusic, C<< <dpavlin@rot13.o Line 697  Dobrica Pavlinusic, C<< <dpavlin@rot13.o
697    
698  =head1 COPYRIGHT & LICENSE  =head1 COPYRIGHT & LICENSE
699    
700  Copyright 2005 Dobrica Pavlinusic, All Rights Reserved.  Copyright 2005-2006 Dobrica Pavlinusic, All Rights Reserved.
701    
702  This program is free software; you can redistribute it and/or modify it  This program is free software; you can redistribute it and/or modify it
703  under the same terms as Perl itself.  under the same terms as Perl itself.
Legend:
Removed from v.597  
changed lines
  Added in v.818
  ViewVC Help
Powered by ViewVC 1.1.26