/[webpac2]/trunk/lib/WebPAC/Normalize.pm
This is repository of my old source code which isn't updated any more. Go to git.rot13.org for current projects!
ViewVC logotype

Diff of /trunk/lib/WebPAC/Normalize.pm

Parent Directory Parent Directory | Revision Log Revision Log | View Patch Patch

revision 750 by dpavlin, Sun Oct 8 13:24:46 2006 UTC revision 817 by dpavlin, Thu Apr 5 21:50:14 2007 UTC
# Line 9  use Exporter 'import'; Line 9  use Exporter 'import';
9    
10          tag search display          tag search display
11          marc marc_indicators marc_repeatable_subfield          marc marc_indicators marc_repeatable_subfield
12          marc_compose marc_leader          marc_compose marc_leader marc_fixed
13          marc_duplicate marc_remove          marc_duplicate marc_remove marc_count
14          marc_original_order          marc_original_order
15    
16          rec1 rec2 rec          rec1 rec2 rec
# Line 19  use Exporter 'import'; Line 19  use Exporter 'import';
19          save_into_lookup          save_into_lookup
20    
21          split_rec_on          split_rec_on
22    
23            get set
24            count
25  /;  /;
26    
27  use warnings;  use warnings;
# Line 39  WebPAC::Normalize - describe normalisato Line 42  WebPAC::Normalize - describe normalisato
42    
43  =head1 VERSION  =head1 VERSION
44    
45  Version 0.23  Version 0.28
46    
47  =cut  =cut
48    
49  our $VERSION = '0.23';  our $VERSION = '0.28';
50    
51  =head1 SYNOPSIS  =head1 SYNOPSIS
52    
# Line 164  Return hash formatted as data structure Line 167  Return hash formatted as data structure
167    
168  =cut  =cut
169    
170  my ($out, $marc_record, $marc_encoding, $marc_repeatable_subfield, $marc_indicators, $leader);  my ($out, $marc_record, $marc_encoding, $marc_repeatable_subfield, $marc_indicators, $marc_leader);
171  my ($marc_record_offset, $marc_fetch_offset) = (0, 0);  my ($marc_record_offset, $marc_fetch_offset) = (0, 0);
172    
173  sub _get_ds {  sub _get_ds {
# Line 181  Clean data structure hash for next recor Line 184  Clean data structure hash for next recor
184    
185  sub _clean_ds {  sub _clean_ds {
186          my $a = {@_};          my $a = {@_};
187          ($out,$marc_record, $marc_encoding, $marc_repeatable_subfield, $marc_indicators, $leader) = ();          ($out,$marc_record, $marc_encoding, $marc_repeatable_subfield, $marc_indicators, $marc_leader) = ();
188          ($marc_record_offset, $marc_fetch_offset) = (0,0);          ($marc_record_offset, $marc_fetch_offset) = (0,0);
189          $marc_encoding = $a->{marc_encoding};          $marc_encoding = $a->{marc_encoding};
190  }  }
# Line 286  will return 42th copy record (if it exis Line 289  will return 42th copy record (if it exis
289    
290  =cut  =cut
291    
292    my $fetch_pos;
293    
294  sub _get_marc_fields {  sub _get_marc_fields {
295    
296          my $arg = {@_};          my $arg = {@_};
297          warn "### _get_marc_fields arg: ", dump($arg), $/ if ($debug > 2);          warn "### _get_marc_fields arg: ", dump($arg), $/ if ($debug > 2);
298          my $offset = $marc_fetch_offset;          $fetch_pos = $marc_fetch_offset;
299          if ($arg->{offset}) {          if ($arg->{offset}) {
300                  $offset = $arg->{offset};                  $fetch_pos = $arg->{offset};
301          } elsif($arg->{fetch_next}) {          } elsif($arg->{fetch_next}) {
302                  $marc_fetch_offset++;                  $marc_fetch_offset++;
303          }          }
# Line 301  sub _get_marc_fields { Line 306  sub _get_marc_fields {
306    
307          warn "### full marc_record = ", dump( @{ $marc_record }), $/ if ($debug > 2);          warn "### full marc_record = ", dump( @{ $marc_record }), $/ if ($debug > 2);
308    
309          my $marc_rec = $marc_record->[ $offset ];          my $marc_rec = $marc_record->[ $fetch_pos ];
310    
311          warn "## _get_marc_fields (at offset: $offset) -- marc_record = ", dump( @$marc_rec ), $/ if ($debug > 1);          warn "## _get_marc_fields (at offset: $fetch_pos) -- marc_record = ", dump( @$marc_rec ), $/ if ($debug > 1);
312    
313          return if (! $marc_rec || ref($marc_rec) ne 'ARRAY' || $#{ $marc_rec } < 0);          return if (! $marc_rec || ref($marc_rec) ne 'ARRAY' || $#{ $marc_rec } < 0);
314    
# Line 324  sub _get_marc_fields { Line 329  sub _get_marc_fields {
329    
330          if ($debug) {          if ($debug) {
331                  warn "## marc_repeatable_subfield = ", dump( $marc_repeatable_subfield ), $/ if ( $marc_repeatable_subfield );                  warn "## marc_repeatable_subfield = ", dump( $marc_repeatable_subfield ), $/ if ( $marc_repeatable_subfield );
332                  warn "## marc_record[$offset] = ", dump( $marc_rec ), $/;                  warn "## marc_record[$fetch_pos] = ", dump( $marc_rec ), $/;
333                  warn "## sorted_marc_record = ", dump( \@sorted_marc_record ), $/;                  warn "## sorted_marc_record = ", dump( \@sorted_marc_record ), $/;
334                  warn "## subfield count = ", dump( $u ), $/;                  warn "## subfield count = ", dump( $u ), $/;
335          }          }
# Line 405  sub _get_marc_fields { Line 410  sub _get_marc_fields {
410          return \@m;          return \@m;
411  }  }
412    
413    =head2 _get_marc_leader
414    
415    Return leader from currently fetched record by L</_get_marc_fields>
416    
417      print WebPAC::Normalize::_get_marc_leader();
418    
419    =cut
420    
421    sub _get_marc_leader {
422            die "no fetch_pos, did you called _get_marc_fields first?" unless ( defined( $fetch_pos ) );
423            return $marc_leader->[ $fetch_pos ];
424    }
425    
426  =head2 _debug  =head2 _debug
427    
428  Change level of debug warnings  Change level of debug warnings
# Line 487  sub marc_leader { Line 505  sub marc_leader {
505          my ($offset,$value) = @_;          my ($offset,$value) = @_;
506    
507          if ($offset) {          if ($offset) {
508                  $leader->{ $offset } = $value;                  $marc_leader->[ $marc_record_offset ]->{ $offset } = $value;
509          } else {          } else {
510                  return $leader;                  
511                    if (defined($marc_leader)) {
512                            die "marc_leader not array = ", dump( $marc_leader ) unless (ref($marc_leader) eq 'ARRAY');
513                            return $marc_leader->[ $marc_record_offset ];
514                    } else {
515                            return;
516                    }
517            }
518    }
519    
520    =head2 marc_fixed
521    
522    Create control/indentifier fields with values in fixed positions
523    
524      marc_fixed('008', 00, '070402');
525      marc_fixed('008', 39, '|');
526    
527    Positions not specified will be filled with spaces (C<0x20>).
528    
529    There will be no effort to extend last specified value to full length of
530    field in standard.
531    
532    =cut
533    
534    sub marc_fixed {
535            my ($f, $pos, $val) = @_;
536            die "need marc(field, position, value)" unless defined($f) && defined($pos);
537    
538            my $update = 0;
539    
540            map {
541                    if ($_->[0] eq $f) {
542                            my $old = $_->[1];
543                            if (length($old) < $pos) {
544                                    $_->[1] .= ' ' x ( $pos - length($old) ) . $val;
545                                    warn "## marc_fixed($f,$pos,'$val') append '$old' -> '$_->[1]'\n" if ($debug > 1);
546                            } else {
547                                    $_->[1] = substr($old, 0, $pos) . $val . substr($old, $pos + length($val));
548                                    warn "## marc_fixed($f,$pos,'$val') update '$old' -> '$_->[1]'\n" if ($debug > 1);
549                            }
550                            $update++;
551                    }
552            } @{ $marc_record->[ $marc_record_offset ] };
553    
554            if (! $update) {
555                    my $v = ' ' x $pos . $val;
556                    push @{ $marc_record->[ $marc_record_offset ] }, [ $f, $v ];
557                    warn "## marc_fixed($f,$pos,'val') created '$v'\n" if ($debug > 1);
558          }          }
559  }  }
560    
# Line 621  sub marc_duplicate { Line 686  sub marc_duplicate {
686           my $m = $marc_record->[ -1 ];           my $m = $marc_record->[ -1 ];
687           die "can't duplicate record which isn't defined" unless ($m);           die "can't duplicate record which isn't defined" unless ($m);
688           push @{ $marc_record }, dclone( $m );           push @{ $marc_record }, dclone( $m );
689           warn "## marc_duplicate = ", dump(@$marc_record), $/ if ($debug > 1);           push @{ $marc_leader }, dclone( marc_leader() );
690             warn "## marc_duplicate = ", dump(@$marc_leader, @$marc_record), $/ if ($debug > 1);
691           $marc_record_offset = $#{ $marc_record };           $marc_record_offset = $#{ $marc_record };
692           warn "## marc_record_offset = $marc_record_offset", $/ if ($debug > 1);           warn "## marc_record_offset = $marc_record_offset", $/ if ($debug > 1);
693    
694  }  }
695    
696  =head2 marc_remove  =head2 marc_remove
# Line 635  Remove some field or subfield from MARC Line 702  Remove some field or subfield from MARC
702    
703  This will erase field C<200> or C<200^a> from current MARC record.  This will erase field C<200> or C<200^a> from current MARC record.
704    
705      marc_remove('*');
706    
707    Will remove all fields in current MARC record.
708    
709  This is useful after calling C<marc_duplicate> or on it's own (but, you  This is useful after calling C<marc_duplicate> or on it's own (but, you
710  should probably just remove that subfield definition if you are not  should probably just remove that subfield definition if you are not
711  using C<marc_duplicate>).  using C<marc_duplicate>).
# Line 652  sub marc_remove { Line 723  sub marc_remove {
723    
724          warn "### marc_remove before = ", dump( $marc ), $/ if ($debug > 2);          warn "### marc_remove before = ", dump( $marc ), $/ if ($debug > 2);
725    
726          my $i = 0;          if ($f eq '*') {
727          foreach ( 0 .. $#{ $marc } ) {  
728                  last unless (defined $marc->[$i]);                  delete( $marc_record->[ $marc_record_offset ] );
729                  warn "#### working on ",dump( @{ $marc->[$i] }), $/ if ($debug > 3);                  warn "## full marc_record = ", dump( @{ $marc_record }), $/ if ($debug > 1);
730                  if ($marc->[$i]->[0] eq $f) {  
731                          if (! defined $sf) {          } else {
732                                  # remove whole field  
733                                  splice @$marc, $i, 1;                  my $i = 0;
734                                  warn "#### slice \@\$marc, $i, 1 = ",dump( @{ $marc }), $/ if ($debug > 3);                  foreach ( 0 .. $#{ $marc } ) {
735                                  $i--;                          last unless (defined $marc->[$i]);
736                          } else {                          warn "#### working on ",dump( @{ $marc->[$i] }), $/ if ($debug > 3);
737                                  foreach my $j ( 0 .. (( $#{ $marc->[$i] } - 3 ) / 2) ) {                          if ($marc->[$i]->[0] eq $f) {
738                                          my $o = ($j * 2) + 3;                                  if (! defined $sf) {
739                                          if ($marc->[$i]->[$o] eq $sf) {                                          # remove whole field
740                                                  # remove subfield                                          splice @$marc, $i, 1;
741                                                  splice @{$marc->[$i]}, $o, 2;                                          warn "#### slice \@\$marc, $i, 1 = ",dump( @{ $marc }), $/ if ($debug > 3);
742                                                  warn "#### slice \@{\$marc->[$i]}, $o, 2 = ", dump( @{ $marc }), $/ if ($debug > 3);                                          $i--;
743                                                  # is record now empty?                                  } else {
744                                                  if ($#{ $marc->[$i] } == 2) {                                          foreach my $j ( 0 .. (( $#{ $marc->[$i] } - 3 ) / 2) ) {
745                                                          splice @$marc, $i, 1;                                                  my $o = ($j * 2) + 3;
746                                                          warn "#### slice \@\$marc, $i, 1 = ", dump( @{ $marc }), $/ if ($debug > 3);                                                  if ($marc->[$i]->[$o] eq $sf) {
747                                                          $i--;                                                          # remove subfield
748                                                  };                                                          splice @{$marc->[$i]}, $o, 2;
749                                                            warn "#### slice \@{\$marc->[$i]}, $o, 2 = ", dump( @{ $marc }), $/ if ($debug > 3);
750                                                            # is record now empty?
751                                                            if ($#{ $marc->[$i] } == 2) {
752                                                                    splice @$marc, $i, 1;
753                                                                    warn "#### slice \@\$marc, $i, 1 = ", dump( @{ $marc }), $/ if ($debug > 3);
754                                                                    $i--;
755                                                            };
756                                                    }
757                                          }                                          }
758                                  }                                  }
759                          }                          }
760                            $i++;
761                  }                  }
                 $i++;  
         }  
762    
763          warn "### marc_remove($f", $sf ? ",$sf" : "", ") after = ", dump( $marc ), $/ if ($debug > 2);                  warn "### marc_remove($f", $sf ? ",$sf" : "", ") after = ", dump( $marc ), $/ if ($debug > 2);
764    
765          $marc_record->[ $marc_record_offset ] = $marc;                  $marc_record->[ $marc_record_offset ] = $marc;
766            }
767    
768          warn "## full marc_record = ", dump( @{ $marc_record }), $/ if ($debug > 1);          warn "## full marc_record = ", dump( @{ $marc_record }), $/ if ($debug > 1);
769  }  }
# Line 759  sub marc_original_order { Line 838  sub marc_original_order {
838          warn "## marc_record = ", dump( $marc_record ),$/ if ($debug > 1);          warn "## marc_record = ", dump( $marc_record ),$/ if ($debug > 1);
839  }  }
840    
841    =head2 marc_count
842    
843    Return number of MARC records created using L</marc_duplicate>.
844    
845      print "created ", marc_count(), " records";
846    
847    =cut
848    
849    sub marc_count {
850            return $#{ $marc_record };
851    }
852    
853    
854  =head1 Functions to extract data from input  =head1 Functions to extract data from input
855    
# Line 1022  Easy as pie, right? Line 1113  Easy as pie, right?
1113  sub lookup {  sub lookup {
1114          my ($what, $database, $input, $key, $having) = @_;          my ($what, $database, $input, $key, $having) = @_;
1115    
1116          confess "lookup needs 5 arguments: what, database, input, key, having" unless ($#_ == 4);          confess "lookup needs 5 arguments: what, database, input, key, having\n" unless ($#_ == 4);
1117    
1118          warn "## lookup ($database, $input, $key)", $/ if ($debug > 1);          warn "## lookup ($database, $input, $key)", $/ if ($debug > 1);
1119          return unless (defined($lookup->{$database}->{$input}->{$key}));          return unless (defined($lookup->{$database}->{$input}->{$key}));
# Line 1036  sub lookup { Line 1127  sub lookup {
1127    
1128          foreach my $h ( @having ) {          foreach my $h ( @having ) {
1129                  if (defined($lookup->{$database}->{$input}->{$key}->{$h})) {                  if (defined($lookup->{$database}->{$input}->{$key}->{$h})) {
1130                          warn "lookup for $database/$input/$key/$h return ",dump($lookup->{$database}->{$input}->{$key}->{$h}),"\n";                          warn "lookup for $database/$input/$key/$h return ",dump($lookup->{$database}->{$input}->{$key}->{$h}),"\n" if ($debug);
1131                          $mfns->{$_}++ foreach keys %{ $lookup->{$database}->{$input}->{$key}->{$h} };                          $mfns->{$_}++ foreach keys %{ $lookup->{$database}->{$input}->{$key}->{$h} };
1132                  }                  }
1133          }          }
# Line 1053  sub lookup { Line 1144  sub lookup {
1144          foreach my $mfn (@mfns) {          foreach my $mfn (@mfns) {
1145                  $rec = $load_row_coderef->( $database, $input, $mfn );                  $rec = $load_row_coderef->( $database, $input, $mfn );
1146    
1147                  warn "got $database/$input/$mfn = ", dump($rec), $/;                  warn "got $database/$input/$mfn = ", dump($rec), $/ if ($debug);
1148    
1149                  my @vals = $what->();                  my @vals = $what->();
1150    
1151                  push @out, ( @vals );                  push @out, ( @vals );
1152    
1153                  warn "lookup for mfn $mfn returned ", dump(@vals), $/;                  warn "lookup for mfn $mfn returned ", dump(@vals), $/ if ($debug);
1154          }          }
1155    
1156  #       if (ref($lookup->{$k}) eq 'ARRAY') {  #       if (ref($lookup->{$k}) eq 'ARRAY') {
# Line 1248  sub split_rec_on { Line 1339  sub split_rec_on {
1339          }          }
1340  }  }
1341    
1342    my $hash;
1343    
1344    =head2 set
1345    
1346      set( key => 'value' );
1347    
1348    =cut
1349    
1350    sub set {
1351            my ($k,$v) = @_;
1352            warn "## set ( $k => ", dump($v), " )", $/ if ( $debug );
1353            $hash->{$k} = $v;
1354    };
1355    
1356    =head2 get
1357    
1358      get( 'key' );
1359    
1360    =cut
1361    
1362    sub get {
1363            my $k = shift || return;
1364            my $v = $hash->{$k};
1365            warn "## get $k = ", dump( $v ), $/ if ( $debug );
1366            return $v;
1367    }
1368    
1369    =head2 count
1370    
1371      if ( count( @result ) == 1 ) {
1372            # do something if only 1 result is there
1373      }
1374    
1375    =cut
1376    
1377    sub count {
1378            warn "## count ",dump(@_),$/ if ( $debug );
1379            return @_ . '';
1380    }
1381    
1382  # END  # END
1383  1;  1;

Legend:
Removed from v.750  
changed lines
  Added in v.817

  ViewVC Help
Powered by ViewVC 1.1.26