/[webpac2]/trunk/lib/WebPAC/Input.pm
This is repository of my old source code which isn't updated any more. Go to git.rot13.org for current projects!
ViewVC logotype

Diff of /trunk/lib/WebPAC/Input.pm

Parent Directory Parent Directory | Revision Log Revision Log | View Patch Patch

revision 761 by dpavlin, Wed Oct 25 17:10:08 2006 UTC revision 800 by dpavlin, Sun Feb 4 23:10:18 2007 UTC
# Line 7  use blib; Line 7  use blib;
7    
8  use WebPAC::Common;  use WebPAC::Common;
9  use base qw/WebPAC::Common/;  use base qw/WebPAC::Common/;
10  use Data::Dumper;  use Data::Dump qw/dump/;
11  use Encode qw/from_to/;  use Encode qw/from_to/;
12    
13  =head1 NAME  =head1 NAME
# Line 16  WebPAC::Input - read different file form Line 16  WebPAC::Input - read different file form
16    
17  =head1 VERSION  =head1 VERSION
18    
19  Version 0.14  Version 0.17
20    
21  =cut  =cut
22    
23  our $VERSION = '0.14';  our $VERSION = '0.17';
24    
25  =head1 SYNOPSIS  =head1 SYNOPSIS
26    
# Line 102  sub new { Line 102  sub new {
102    
103          require $module_path;          require $module_path;
104    
         # check if required subclasses are implemented  
         foreach my $subclass (qw/open_db fetch_rec init dump_rec/) {  
                 # FIXME  
         }  
   
105          $self->{'encoding'} ||= 'ISO-8859-2';          $self->{'encoding'} ||= 'ISO-8859-2';
106    
107          $self ? return $self : return undef;          $self ? return $self : return undef;
# Line 229  sub open { Line 224  sub open {
224                  $log->debug("using modify_file $p");                  $log->debug("using modify_file $p");
225                  $rec_regex = $self->modify_file_regexps( $p );                  $rec_regex = $self->modify_file_regexps( $p );
226          } elsif (my $h = $arg->{modify_records}) {          } elsif (my $h = $arg->{modify_records}) {
227                  $log->debug("using modify_records ", Dumper( $h ));                  $log->debug("using modify_records ", sub { dump( $h ) });
228                  $rec_regex = $self->modify_record_regexps(%{ $h });                  $rec_regex = $self->modify_record_regexps(%{ $h });
229          }          }
230          $log->debug("rec_regex: ", Dumper($rec_regex)) if ($rec_regex);          $log->debug("rec_regex: ", sub { dump($rec_regex) }) if ($rec_regex);
231    
232          my $class = $self->{module} || $log->logconfess("can't get low-level module name!");          my $class = $self->{module} || $log->logconfess("can't get low-level module name!");
233    
# Line 287  sub open { Line 282  sub open {
282                  $log->debug("position: $pos\n");                  $log->debug("position: $pos\n");
283    
284                  my $rec = $ll_db->fetch_rec($pos, sub {                  my $rec = $ll_db->fetch_rec($pos, sub {
285                                  my ($l,$f_nr) = @_;                                  my ($l,$f_nr,$debug) = @_;
286  #                               return unless defined($l);  #                               return unless defined($l);
287  #                               return $l unless ($rec_regex && $f_nr);  #                               return $l unless ($rec_regex && $f_nr);
288    
289                                    warn "-=> $f_nr ## |$l|\n" if ($debug);
290                                  $log->debug("-=> $f_nr ## $l");                                  $log->debug("-=> $f_nr ## $l");
291    
292                                  # codepage conversion and recode_regex                                  # codepage conversion and recode_regex
# Line 303  sub open { Line 299  sub open {
299                                          my $c = 0;                                          my $c = 0;
300                                          foreach my $r (@{ $rec_regex->{$f_nr} }) {                                          foreach my $r (@{ $rec_regex->{$f_nr} }) {
301                                                  my $old_l = $l;                                                  my $old_l = $l;
302                                                  eval '$l =~ ' . $r;                                                  $log->logconfess("expected regex in ", dump( $r )) unless defined($r->{regex});
303                                                    eval '$l =~ ' . $r->{regex};
304                                                  if ($old_l ne $l) {                                                  if ($old_l ne $l) {
305                                                          $log->debug("REGEX on $f_nr eval \$l =~ $r\n## old l: [$old_l]\n## new l: [$l]");                                                          my $d = "|$old_l| -> |$l| "; # . $r->{regex};
306                                                            $d .= ' +' . $r->{line} . ' ' . $r->{file} if defined($r->{line});
307                                                            $d .= ' ' . $r->{debug} if defined($r->{debug});
308                                                            $log->debug("MODIFY $d");
309                                                            warn "*** $d\n" if ($debug);
310    
311                                                  }                                                  }
312                                                  $log->error("error applying regex: $r") if ($@);                                                  $log->error("error applying regex: $r") if ($@);
313                                          }                                          }
314                                  }                                  }
315    
316                                  $log->debug("<=- $f_nr ## $l");                                  $log->debug("<=- $f_nr ## |$l|");
317                                    warn "<=- $f_nr ## $l\n" if ($debug);
318                                  return $l;                                  return $l;
319                  });                  });
320    
321                  $log->debug(sub { Dumper($rec) });                  $log->debug(sub { dump($rec) });
322    
323                  if (! $rec) {                  if (! $rec) {
324                          $log->warn("record $pos empty? skipping...");                          $log->warn("record $pos empty? skipping...");
# Line 474  First record in database has position 1. Line 477  First record in database has position 1.
477    
478  sub seek {  sub seek {
479          my $self = shift;          my $self = shift;
480          my $pos = shift || return;          my $pos = shift;
481    
482          my $log = $self->_get_logger();          my $log = $self->_get_logger();
483    
484            $log->logconfess("called without pos") unless defined($pos);
485    
486          if ($pos < 1) {          if ($pos < 1) {
487                  $log->warn("seek before first record");                  $log->warn("seek before first record");
488                  $pos = 1;                  $pos = 1;
# Line 535  sub stats { Line 540  sub stats {
540                  } sort { $a cmp $b } keys %{ $s->{fld} }                  } sort { $a cmp $b } keys %{ $s->{fld} }
541          );          );
542    
543          $log->debug( sub { Dumper($s) } );          $log->debug( sub { dump($s) } );
544    
545          return $out;          return $out;
546  }  }
547    
548  =head2 dump  =head2 dump_ascii
549    
550  Display humanly readable dump of record  Display humanly readable dump of record
551    
552  =cut  =cut
553    
554  sub dump {  sub dump_ascii {
555          my $self = shift;          my $self = shift;
556    
557          return $self->{ll_db}->dump_rec( $self->{pos} );          return unless $self->{ll_db};
558    
559            if ($self->{ll_db}->can('dump_rec')) {
560                    return $self->{ll_db}->dump_ascii( $self->{pos} );
561            } else {
562                    return dump( $self->{ll_db}->fetch_rec( $self->{pos} ) );
563            }
564  }  }
565    
566  =head2 modify_record_regexps  =head2 modify_record_regexps
567    
568  Generate hash with regexpes to be applied using l<filter>.  Generate hash with regexpes to be applied using L<filter>.
569    
570    my $regexpes = $input->modify_record_regexps(    my $regexpes = $input->modify_record_regexps(
571                  900 => { '^a' => { ' : ' => '^b' } },                  900 => { '^a' => { ' : ' => '^b' } },
# Line 566  Generate hash with regexpes to be applie Line 576  Generate hash with regexpes to be applie
576    
577  sub _get_regex {  sub _get_regex {
578          my ($sf,$from,$to) = @_;          my ($sf,$from,$to) = @_;
579    
580            # protect /
581            $from =~ s!/!\\/!gs;
582            $to =~ s!/!\\/!gs;
583    
584            if ($from =~ m/^regex:(.+)$/) {
585                    $from = $1;
586            } else {
587                    $from = '\Q' . $from . '\E';
588            }
589          if ($sf =~ /^\^/) {          if ($sf =~ /^\^/) {
590                  return                  return
591                          's/\Q'. $sf .'\E([^\^]*?)\Q'. $from .'\E([^\^]*?)/'. $sf .'$1'. $to .'$2/';                          's/\Q'. $sf .'\E([^\^]*?)'. $from .'([^\^]*?)/'. $sf .'$1'. $to .'$2/';
592          } else {          } else {
593                  return                  return
594                          's/\Q'. $from .'\E/'. $to .'/g';                          's/'. $from .'/'. $to .'/g';
595          }          }
596  }  }
597    
# Line 592  sub modify_record_regexps { Line 612  sub modify_record_regexps {
612                          foreach my $from (keys %{ $modify_record->{$f}->{$sf} }) {                          foreach my $from (keys %{ $modify_record->{$f}->{$sf} }) {
613                                  my $to = $modify_record->{$f}->{$sf}->{$from};                                  my $to = $modify_record->{$f}->{$sf}->{$from};
614                                  #die "no field?" unless defined($to);                                  #die "no field?" unless defined($to);
615                                  $log->debug("transform: |$from| -> |$to|");                                  my $d = "|$from| -> |$to|";
616                                    $log->debug("transform: $d");
617    
618                                  my $regex = _get_regex($sf,$from,$to);                                  my $regex = _get_regex($sf,$from,$to);
619                                  push @{ $regexpes->{$f} }, $regex;                                  push @{ $regexpes->{$f} }, { regex => $regex, debug => $d };
620                                  $log->debug("regex: $regex");                                  $log->debug("regex: $regex");
621                          }                          }
622                  }                  }
# Line 606  sub modify_record_regexps { Line 627  sub modify_record_regexps {
627    
628  =head2 modify_file_regexps  =head2 modify_file_regexps
629    
630  Generate hash with regexpes to be applied using l<filter> from  Generate hash with regexpes to be applied using L<filter> from
631  pseudo hash/yaml format for regex mappings.  pseudo hash/yaml format for regex mappings.
632    
633  It should be obvious:  It should be obvious:
# Line 656  sub modify_file_regexps { Line 677  sub modify_file_regexps {
677                          $log->debug("transform: |$from| -> |$to|");                          $log->debug("transform: |$from| -> |$to|");
678    
679                          my $regex = _get_regex($sf,$from,$to);                          my $regex = _get_regex($sf,$from,$to);
680                          push @{ $regexpes->{$f} }, $regex;                          push @{ $regexpes->{$f} }, {
681                                    regex => $regex,
682                                    file => $modify_path,
683                                    line => $.,
684                            };
685                          $log->debug("regex: $regex");                          $log->debug("regex: $regex");
686                  }                  }
687          }          }
Legend:
Removed from v.761  
changed lines
  Added in v.800
  ViewVC Help
Powered by ViewVC 1.1.26