/[webpac2]/trunk/lib/WebPAC/Normalize.pm
This is repository of my old source code which isn't updated any more. Go to git.rot13.org for current projects!
ViewVC logotype

Diff of /trunk/lib/WebPAC/Normalize.pm

Parent Directory Parent Directory | Revision Log Revision Log | View Patch Patch

revision 433 by dpavlin, Mon Apr 17 16:01:12 2006 UTC revision 813 by dpavlin, Sun Apr 1 21:47:47 2007 UTC
# Line 1  Line 1 
1  package WebPAC::Normalize;  package WebPAC::Normalize;
2    use Exporter 'import';
3    @EXPORT = qw/
4            _set_rec _set_lookup
5            _set_load_row
6            _get_ds _clean_ds
7            _debug
8            _pack_subfields_hash
9    
10            tag search display
11            marc marc_indicators marc_repeatable_subfield
12            marc_compose marc_leader
13            marc_duplicate marc_remove marc_count
14            marc_original_order
15    
16            rec1 rec2 rec
17            regex prefix suffix surround
18            first lookup join_with
19            save_into_lookup
20    
21            split_rec_on
22    
23            get set
24            count
25    /;
26    
27  use warnings;  use warnings;
28  use strict;  use strict;
29  use blib;  
30  use WebPAC::Common;  #use base qw/WebPAC::Common/;
31  use base 'WebPAC::Common';  use Data::Dump qw/dump/;
32  use Data::Dumper;  use Storable qw/dclone/;
33    use Carp qw/confess/;
34    
35    # debugging warn(s)
36    my $debug = 0;
37    
38    
39  =head1 NAME  =head1 NAME
40    
41  WebPAC::Normalize - data mungling for normalisation  WebPAC::Normalize - describe normalisaton rules using sets
42    
43  =head1 VERSION  =head1 VERSION
44    
45  Version 0.09  Version 0.27
46    
47  =cut  =cut
48    
49  our $VERSION = '0.09';  our $VERSION = '0.27';
50    
51  =head1 SYNOPSIS  =head1 SYNOPSIS
52    
53  This package contains code that mungle data to produce normalized format.  This module uses C<conf/normalize/*.pl> files to perform normalisation
54    from input records using perl functions which are specialized for set
55    processing.
56    
57    Sets are implemented as arrays, and normalisation file is valid perl, which
58    means that you check it's validity before running WebPAC using
59    C<perl -c normalize.pl>.
60    
61    Normalisation can generate multiple output normalized data. For now, supported output
62    types (on the left side of definition) are: C<tag>, C<display>, C<search> and
63    C<marc>.
64    
65  It contains several assumptions:  =head1 FUNCTIONS
66    
67  =over  Functions which start with C<_> are private and used by WebPAC internally.
68    All other functions are available for use within normalisation rules.
69    
70  =item *  =head2 data_structure
71    
72  format of fields is defined using C<v123^a> notation for repeatable fields  Return data structure
 or C<s123^a> for single (or first) value, where C<123> is field number and  
 C<a> is subfield.  
73    
74  =item *    my $ds = WebPAC::Normalize::data_structure(
75            lookup => $lookup_hash,
76            row => $row,
77            rules => $normalize_pl_config,
78            marc_encoding => 'utf-8',
79            config => $config,
80            load_row_coderef => sub {
81                    my ($database,$input,$mfn) = shift;
82                    $store->load_row( database => $database, input => $input, id => $mfn );
83            },
84      );
85    
86  source data records (C<$rec>) have unique identifiers in field C<000>  Options C<row>, C<rules> and C<log> are mandatory while all
87    other are optional.
88    
89  =item *  C<load_row_coderef> is closure only used when executing lookups, so they will
90    die if it's not defined.
91    
92  optional C<eval{length('v123^a') == 3}> tag at B<beginning of format> will be  This function will B<die> if normalizastion can't be evaled.
 perl code that is evaluated before producing output (value of field will be  
 interpolated before that)  
93    
94  =item *  Since this function isn't exported you have to call it with
95    C<WebPAC::Normalize::data_structure>.
96    
97  optional C<filter{filter_name}> at B<begining of format> will apply perl  =cut
 code defined as code ref on format after field substitution to producing  
 output  
98    
99  There is one built-in filter called C<regex> which can be use like this:  my $load_row_coderef;
100    
101    filter{regex(s/foo/bar/)}  sub data_structure {
102            my $arg = {@_};
103    
104  =item *          die "need row argument" unless ($arg->{row});
105            die "need normalisation argument" unless ($arg->{rules});
106    
107  optional C<lookup{...}> will be then performed. See C<WebPAC::Lookups>.          no strict 'subs';
108            _set_lookup( $arg->{lookup} ) if defined($arg->{lookup});
109            _set_rec( $arg->{row} );
110            _set_config( $arg->{config} ) if defined($arg->{config});
111            _clean_ds( %{ $arg } );
112            $load_row_coderef = $arg->{load_row_coderef};
113    
114  =item *          eval "$arg->{rules}";
115            die "error evaling $arg->{rules}: $@\n" if ($@);
116    
117  at end, optional C<format>s rules are resolved. Format rules are similar to          return _get_ds();
118  C<sprintf> and can also contain C<lookup{...}> which is performed after  }
 values are inserted in format.  
119    
120  =back  =head2 _set_rec
121    
122  This also describes order in which transformations are applied (eval,  Set current record hash
 filter, lookup, format) which is important to undestand when deciding how to  
 solve your data mungling and normalisation process.  
123    
124      _set_rec( $rec );
125    
126    =cut
127    
128    my $rec;
129    
130  =head1 FUNCTIONS  sub _set_rec {
131            $rec = shift or die "no record hash";
132    }
133    
134  =head2 new  =head2 _set_config
135    
136  Create new normalisation object  Set current config hash
137    
138    my $n = new WebPAC::Normalize::Something(    _set_config( $config );
139          filter => {  
140                  'filter_name_1' => sub {  Magic keys are:
141                          # filter code  
142                          return length($_);  =over 4
143                  }, ...  
144          },  =item _
         db => $db_obj,  
         lookup_regex => $lookup->regex,  
         lookup => $lookup_obj,  
         prefix => 'foobar',  
   );  
145    
146  Parametar C<filter> defines user supplied snippets of perl code which can  Code of current database
 be use with C<filter{...}> notation.  
147    
148  C<prefix> is used to form filename for database record (to support multiple  =item _mfn
 source files which are joined in one database).  
149    
150  Recommended parametar C<lookup_regex> is used to enable parsing of lookups  Current MFN
151  in structures. If you pass this parametar, you must also pass C<lookup>  
152  which is C<WebPAC::Lookup> object.  =back
153    
154  =cut  =cut
155    
156  sub new {  my $config;
         my $class = shift;  
         my $self = {@_};  
         bless($self, $class);  
157    
158          my $r = $self->{'lookup_regex'} ? 1 : 0;  sub _set_config {
159          my $l = $self->{'lookup'} ? 1 : 0;          $config = shift;
160    }
161    
162          my $log = $self->_get_logger();  =head2 _get_ds
163    
164          # those two must be in pair  Return hash formatted as data structure
         if ( ($r & $l) != ($r || $l) ) {  
                 my $log = $self->_get_logger();  
                 $log->logdie("lookup_regex and lookup must be in pair");  
         }  
165    
166          $log->logdie("lookup must be WebPAC::Lookup object") if ($self->{'lookup'} && ! $self->{'lookup'}->isa('WebPAC::Lookup'));    my $ds = _get_ds();
167    
168          $log->warn("no prefix defined. please check that!") unless ($self->{'prefix'});  =cut
169    
170          $log->debug("using lookup regex: ", $self->{lookup_regex}) if ($r && $l);  my ($out, $marc_record, $marc_encoding, $marc_repeatable_subfield, $marc_indicators, $marc_leader);
171    my ($marc_record_offset, $marc_fetch_offset) = (0, 0);
172    
173          if (! $self->{filter} || ! $self->{filter}->{regex}) {  sub _get_ds {
174                  $log->debug("adding built-in filter regex");          return $out;
175                  $self->{filter}->{regex} = sub {  }
176                          my ($val, $regex) = @_;  
177                          eval "\$val =~ $regex";  =head2 _clean_ds
                         return $val;  
                 };  
         }  
178    
179          $self ? return $self : return undef;  Clean data structure hash for next record
180    
181      _clean_ds();
182    
183    =cut
184    
185    sub _clean_ds {
186            my $a = {@_};
187            ($out,$marc_record, $marc_encoding, $marc_repeatable_subfield, $marc_indicators, $marc_leader) = ();
188            ($marc_record_offset, $marc_fetch_offset) = (0,0);
189            $marc_encoding = $a->{marc_encoding};
190  }  }
191    
192  =head2 all_tags  =head2 _set_lookup
193    
194  Returns all tags in document in specified order  Set current lookup hash
195    
196    my $sorted_tags = $self->all_tags();    _set_lookup( $lookup );
197    
198  =cut  =cut
199    
200  sub all_tags {  my $lookup;
         my $self = shift;  
201    
202          if (! $self->{_tags_by_order}) {  sub _set_lookup {
203            $lookup = shift;
204    }
205    
206                  my $log = $self->_get_logger;  =head2 _get_lookup
                 # sanity check  
                 $log->logdie("can't find self->{inport_xml}->{indexer}") unless ($self->{import_xml}->{indexer});  
207    
208                  my @tags = keys %{ $self->{'import_xml'}->{'indexer'}};  Get current lookup hash
                 $log->debug("unsorted tags: " . join(", ", @tags));  
209    
210                  @tags = sort { $self->_sort_by_order } @tags;    my $lookup = _get_lookup();
211    
212                  $log->debug("sorted tags: " . join(",", @tags) );  =cut
213    
214                  $self->{_tags_by_order} = \@tags;  sub _get_lookup {
215          }          return $lookup;
216    }
217    
218    =head2 _set_load_row
219    
220          return $self->{_tags_by_order};  Setup code reference which will return L<data_structure> from
221    L<WebPAC::Store>
222    
223      _set_load_row(sub {
224                    my ($database,$input,$mfn) = @_;
225                    $store->load_row( database => $database, input => $input, id => $mfn );
226      });
227    
228    =cut
229    
230    sub _set_load_row {
231            my $coderef = shift;
232            confess "argument isn't CODE" unless ref($coderef) eq 'CODE';
233    
234            $load_row_coderef = $coderef;
235  }  }
236    
237    =head2 _get_marc_fields
238    
239    Get all fields defined by calls to C<marc>
240    
241  =head2 data_structure          $marc->add_fields( WebPAC::Normalize:_get_marc_fields() );
242    
243  Create in-memory data structure which represents normalized layout from  We are using I<magic> which detect repeatable fields only from
244  C<conf/normalize/*.xml>.  sequence of field/subfield data generated by normalization.
245    
246  This structures are used to produce output.  Repeatable field is created when there is second occurence of same subfield or
247    if any of indicators are different.
248    
249   my $ds = $webpac->data_structure($rec);  This is sane for most cases. Something like:
250    
251  =cut    900a-1 900b-1 900c-1
252      900a-2 900b-2
253      900a-3
254    
255  sub data_structure {  will be created from any combination of:
         my $self = shift;  
256    
257          my $log = $self->_get_logger();    900a-1 900a-2 900a-3 900b-1 900b-2 900c-1
258    
259          my $rec = shift;  and following rules:
         $log->logconfess("need HASH as first argument!") if ($rec !~ /HASH/o);  
260    
261          $log->debug("data_structure rec = ", sub { Dumper($rec) });    marc('900','a', rec('200','a') );
262      marc('900','b', rec('200','b') );
263      marc('900','c', rec('200','c') );
264    
265          $log->logdie("need unique ID (mfn) in field 000 of record " . Dumper($rec) ) unless (defined($rec->{'000'}));  which might not be what you have in mind. If you need repeatable subfield,
266    define it using C<marc_repeatable_subfield> like this:
267    
268          my $id = $rec->{'000'}->[0] || $log->logdie("field 000 isn't array!");    marc_repeatable_subfield('900','a');
269      marc('900','a', rec('200','a') );
270      marc('900','b', rec('200','b') );
271      marc('900','c', rec('200','c') );
272    
273          my $cache_file;  will create:
274    
275          if ($self->{'db'}) {    900a-1 900a-2 900a-3 900b-1 900c-1
276                  my $ds = $self->{'db'}->load_ds( id => $id, prefix => $self->{prefix} );    900b-2
                 $log->debug("load_ds( rec = ", sub { Dumper($rec) }, ") = ", sub { Dumper($ds) });  
                 return $ds if ($ds);  
                 $log->debug("cache miss, creating");  
         }  
277    
278          my $tags = $self->all_tags();  There is also support for returning next or specific using:
279    
280          $log->debug("tags: ",sub { join(", ",@{ $tags }) });    while (my $mf = WebPAC::Normalize:_get_marc_fields( fetch_next => 1 ) ) {
281            # do something with $mf
282      }
283    
284          my $ds;  will always return fields from next MARC record or
285    
286          foreach my $field (@{ $tags }) {    my $mf = WebPAC::Normalize::_get_marc_fields( offset => 42 );
287    
288                  my $row;  will return 42th copy record (if it exists).
289    
290  #print "field $field [",$self->{'tag'},"] = ",Dumper($self->{'import_xml'}->{'indexer'}->{$field}->{$self->{'tag'}});  =cut
291    
292                  foreach my $tag (@{$self->{'import_xml'}->{'indexer'}->{$field}->{$self->{'tag'}}}) {  my $fetch_pos;
                         my $format;  
293    
294                          $log->logdie("expected tag HASH and got $tag") unless (ref($tag) eq 'HASH');  sub _get_marc_fields {
                         $format = $tag->{'value'} || $tag->{'content'};  
295    
296                          my @v;          my $arg = {@_};
297                          if ($self->{'lookup_regex'} && $format =~ $self->{'lookup_regex'}) {          warn "### _get_marc_fields arg: ", dump($arg), $/ if ($debug > 2);
298                                  @v = $self->_rec_to_arr($rec,$format,'fill_in');          $fetch_pos = $marc_fetch_offset;
299                          } else {          if ($arg->{offset}) {
300                                  @v = $self->_rec_to_arr($rec,$format,'parse');                  $fetch_pos = $arg->{offset};
301                          }          } elsif($arg->{fetch_next}) {
302                          if (! @v) {                  $marc_fetch_offset++;
303                                  $log->debug("$field <",$self->{tag},"> format: $format no values");          }
                                 next;  
                         } else {  
                                 $log->debug("$field <",$self->{tag},"> format: $format values: ", join(",", @v));  
                         }  
304    
305                          if ($tag->{'sort'}) {          return if (! $marc_record || ref($marc_record) ne 'ARRAY');
                                 @v = $self->sort_arr(@v);  
                         }  
306    
307                          # use format?          warn "### full marc_record = ", dump( @{ $marc_record }), $/ if ($debug > 2);
                         if ($tag->{'format_name'}) {  
                                 @v = map { $self->apply_format($tag->{'format_name'},$tag->{'format_delimiter'},$_) } @v;  
                         }  
308    
309                          # delimiter will join repeatable fields          my $marc_rec = $marc_record->[ $fetch_pos ];
                         if ($tag->{'delimiter'}) {  
                                 @v = ( join($tag->{'delimiter'}, @v) );  
                         }  
310    
311                          # default types          warn "## _get_marc_fields (at offset: $fetch_pos) -- marc_record = ", dump( @$marc_rec ), $/ if ($debug > 1);
                         my @types = qw(display search);  
                         # override by type attribute  
                         @types = ( $tag->{'type'} ) if ($tag->{'type'});  
   
                         foreach my $type (@types) {  
                                 # append to previous line?  
                                 $log->debug("tag $field / $type [",sub { join(",",@v) }, "] ", $row->{'append'} || 'no append');  
                                 if ($tag->{'append'}) {  
   
                                         # I will delimit appended part with  
                                         # delimiter (or ,)  
                                         my $d = $tag->{'delimiter'};  
                                         # default delimiter  
                                         $d ||= " ";  
   
                                         my $last = pop @{$row->{$type}};  
                                         $d = "" if (! $last);  
                                         $last .= $d . join($d, @v);  
                                         push @{$row->{$type}}, $last;  
312    
313                                  } else {          return if (! $marc_rec || ref($marc_rec) ne 'ARRAY' || $#{ $marc_rec } < 0);
314                                          push @{$row->{$type}}, @v;  
315                                  }          # first, sort all existing fields
316                          }          # XXX might not be needed, but modern perl might randomize elements in hash
317            my @sorted_marc_record = sort {
318                    $a->[0] . ( $a->[3] || '' ) cmp $b->[0] . ( $b->[3] || '')
319            } @{ $marc_rec };
320    
321            @sorted_marc_record = @{ $marc_rec };   ### FIXME disable sorting
322            
323            # output marc fields
324            my @m;
325    
326            # count unique field-subfields (used for offset when walking to next subfield)
327            my $u;
328            map { $u->{ $_->[0] . ( $_->[3] || '')  }++ } @sorted_marc_record;
329    
330            if ($debug) {
331                    warn "## marc_repeatable_subfield = ", dump( $marc_repeatable_subfield ), $/ if ( $marc_repeatable_subfield );
332                    warn "## marc_record[$fetch_pos] = ", dump( $marc_rec ), $/;
333                    warn "## sorted_marc_record = ", dump( \@sorted_marc_record ), $/;
334                    warn "## subfield count = ", dump( $u ), $/;
335            }
336    
337            my $len = $#sorted_marc_record;
338            my $visited;
339            my $i = 0;
340            my $field;
341    
342            foreach ( 0 .. $len ) {
343    
344                    # find next element which isn't visited
345                    while ($visited->{$i}) {
346                            $i = ($i + 1) % ($len + 1);
347                  }                  }
348    
349                  if ($row) {                  # mark it visited
350                          $row->{'tag'} = $field;                  $visited->{$i}++;
351    
352                          # TODO: name_sigular, name_plural                  my $row = dclone( $sorted_marc_record[$i] );
353                          my $name = $self->{'import_xml'}->{'indexer'}->{$field}->{'name'};  
354                          my $row_name = $name ? $self->_x($name) : $field;                  # field and subfield which is key for
355                    # marc_repeatable_subfield and u
356                          # post-sort all values in field                  my $fsf = $row->[0] . ( $row->[3] || '' );
357                          if ($self->{'import_xml'}->{'indexer'}->{$field}->{'sort'}) {  
358                                  $log->warn("sort at field tag not implemented");                  if ($debug > 1) {
359                          }  
360                            print "### field so far [", $#$field, "] : ", dump( $field ), " ", $field ? 'T' : 'F', $/;
361                            print "### this [$i]: ", dump( $row ),$/;
362                            print "### sf: ", $row->[3], " vs ", $field->[3],
363                                    $marc_repeatable_subfield->{ $row->[0] . $row->[3] } ? ' (repeatable)' : '', $/,
364                                    if ($#$field >= 0);
365    
366                    }
367    
368                    # if field exists
369                    if ( $#$field >= 0 ) {
370                            if (
371                                    $row->[0] ne $field->[0] ||             # field
372                                    $row->[1] ne $field->[1] ||             # i1
373                                    $row->[2] ne $field->[2]                # i2
374                            ) {
375                                    push @m, $field;
376                                    warn "## saved/1 ", dump( $field ),$/ if ($debug);
377                                    $field = $row;
378    
379                            } elsif (
380                                    ( $row->[3] lt $field->[-2] )           # subfield which is not next (e.g. a after c)
381                                    ||
382                                    ( $row->[3] eq $field->[-2] &&          # same subfield, but not repeatable
383                                            ! $marc_repeatable_subfield->{ $fsf }
384                                    )
385                            ) {
386                                    push @m, $field;
387                                    warn "## saved/2 ", dump( $field ),$/ if ($debug);
388                                    $field = $row;
389    
390                          $ds->{$row_name} = $row;                          } else {
391                                    # append new subfields to existing field
392                                    push @$field, ( $row->[3], $row->[4] );
393                            }
394                    } else {
395                            # insert first field
396                            $field = $row;
397                    }
398    
399                          $log->debug("row $field: ",sub { Dumper($row) });                  if (! $marc_repeatable_subfield->{ $fsf }) {
400                            # make step to next subfield
401                            $i = ($i + $u->{ $fsf } ) % ($len + 1);
402                  }                  }
403            }
404    
405            if ($#$field >= 0) {
406                    push @m, $field;
407                    warn "## saved/3 ", dump( $field ),$/ if ($debug);
408          }          }
409    
410          $self->{'db'}->save_ds(          return \@m;
411                  id => $id,  }
                 ds => $ds,  
                 prefix => $self->{prefix},  
         ) if ($self->{'db'});  
412    
413          $log->debug("ds: ", sub { Dumper($ds) });  =head2 _get_marc_leader
414    
415          $log->logconfess("data structure returned is not array any more!") if wantarray;  Return leader from currently fetched record by L</_get_marc_fields>
416    
417          return $ds;    print WebPAC::Normalize::_get_marc_leader();
418    
419    =cut
420    
421    sub _get_marc_leader {
422            die "no fetch_pos, did you called _get_marc_fields first?" unless ( defined( $fetch_pos ) );
423            return $marc_leader->[ $fetch_pos ];
424  }  }
425    
426  =head2 parse  =head2 _debug
427    
428  Perform smart parsing of string, skipping delimiters for fields which aren't  Change level of debug warnings
 defined. It can also eval code in format starting with C<eval{...}> and  
 return output or nothing depending on eval code.  
429    
430   my $text = $webpac->parse($rec,'eval{"v901^a" eq "Deskriptor"}descriptor: v250^a', $i);    _debug( 2 );
431    
432  Filters are implemented here. While simple form of filters looks like this:  =cut
433    
434    filter{name_of_filter}  sub _debug {
435            my $l = shift;
436            return $debug unless defined($l);
437            warn "debug level $l",$/ if ($l > 0);
438            $debug = $l;
439    }
440    
441  but, filters can also have variable number of parametars like this:  =head1 Functions to create C<data_structure>
442    
443    filter{name_of_filter(param,param,param)}  Those functions generally have to first in your normalization file.
444    
445  =cut  =head2 tag
446    
447  my $warn_once;  Define new tag for I<search> and I<display>.
448    
449  sub parse {    tag('Title', rec('200','a') );
         my $self = shift;  
450    
         my ($rec, $format_utf8, $i, $rec_size) = @_;  
451    
452          return if (! $format_utf8);  =cut
453    
454          my $log = $self->_get_logger();  sub tag {
455            my $name = shift or die "tag needs name as first argument";
456            my @o = grep { defined($_) && $_ ne '' } @_;
457            return unless (@o);
458            $out->{$name}->{tag} = $name;
459            $out->{$name}->{search} = \@o;
460            $out->{$name}->{display} = \@o;
461    }
462    
463          $log->logconfess("need HASH as first argument!") if ($rec !~ /HASH/o);  =head2 display
464    
465          $i = 0 if (! $i);  Define tag just for I<display>
466    
467          my $format = $self->_x($format_utf8) || $log->logconfess("can't convert '$format_utf8' from UTF-8 to ",$self->{'code_page'});    @v = display('Title', rec('200','a') );
468    
469          my @out;  =cut
470    
471          $log->debug("format: $format [$i]");  sub display {
472            my $name = shift or die "display needs name as first argument";
473            my @o = grep { defined($_) && $_ ne '' } @_;
474            return unless (@o);
475            $out->{$name}->{tag} = $name;
476            $out->{$name}->{display} = \@o;
477    }
478    
479          my $eval_code;  =head2 search
         # remove eval{...} from beginning  
         $eval_code = $1 if ($format =~ s/^eval{([^}]+)}//s);  
480    
481          my $filter_name;  Prepare values just for I<search>
         # remove filter{...} from beginning  
         $filter_name = $1 if ($format =~ s/^filter{([^}]+)}//s);  
482    
483          # did we found any (att all) field from format in row?    @v = search('Title', rec('200','a') );
         my $found_any;  
         # prefix before first field which we preserve it $found_any  
         my $prefix;  
484    
485          my $f_step = 1;  =cut
486    
487          while ($format =~ s/^(.*?)(v|s)(\d+)(?:\^(\w))?//s) {  sub search {
488            my $name = shift or die "search needs name as first argument";
489            my @o = grep { defined($_) && $_ ne '' } @_;
490            return unless (@o);
491            $out->{$name}->{tag} = $name;
492            $out->{$name}->{search} = \@o;
493    }
494    
495                  my $del = $1 || '';  =head2 marc_leader
                 $prefix = $del if ($f_step == 1);  
496    
497                  my $fld_type = lc($2);  Setup fields within MARC leader or get leader
498    
499                  # repeatable index    marc_leader('05','c');
500                  my $r = $i;    my $leader = marc_leader();
                 if ($fld_type eq 's') {  
                         if ($found_any->{'v'}) {  
                                 $r = 0;  
                         } else {  
                                 return;  
                         }  
                 }  
501    
502                  my $found = 0;  =cut
                 my $tmp = $self->get_data(\$rec,$3,$4,$r,\$found,$rec_size);  
503    
504                  if ($found) {  sub marc_leader {
505                          $found_any->{$fld_type} += $found;          my ($offset,$value) = @_;
506    
507                          # we will skip delimiter before first occurence of field!          if ($offset) {
508                          push @out, $del unless($found_any->{$fld_type} == 1);                  $marc_leader->[ $marc_record_offset ]->{ $offset } = $value;
509                          push @out, $tmp;          } else {
510                    
511                    if (defined($marc_leader)) {
512                            die "marc_leader not array = ", dump( $marc_leader ) unless (ref($marc_leader) eq 'ARRAY');
513                            return $marc_leader->[ $marc_record_offset ];
514                    } else {
515                            return;
516                  }                  }
                 $f_step++;  
517          }          }
518    }
519    
520          # test if any fields found?  =head2 marc
         return if (! $found_any->{'v'} && ! $found_any->{'s'});  
521    
522          my $out = join('',@out);  Save value for MARC field
523    
524          if ($out) {    marc('900','a', rec('200','a') );
525                  # add rest of format (suffix)    marc('001', rec('000') );
                 $out .= $format;  
526    
527                  # add prefix if not there  =cut
                 $out = $prefix . $out if ($out !~ m/^\Q$prefix\E/);  
528    
529                  $log->debug("result: $out");  sub marc {
530            my $f = shift or die "marc needs field";
531            die "marc field must be numer" unless ($f =~ /^\d+$/);
532    
533            my $sf;
534            if ($f >= 10) {
535                    $sf = shift or die "marc needs subfield";
536          }          }
537    
538          if ($eval_code) {          foreach (@_) {
539                  my $eval = $self->fill_in($rec,$eval_code,$i) || return;                  my $v = $_;             # make var read-write for Encode
540                  $log->debug("about to eval{$eval} format: $out");                  next unless (defined($v) && $v !~ /^\s*$/);
541                  return if (! $self->_eval($eval));                  my ($i1,$i2) = defined($marc_indicators->{$f}) ? @{ $marc_indicators->{$f} } : (' ',' ');
542                    if (defined $sf) {
543                            push @{ $marc_record->[ $marc_record_offset ] }, [ $f, $i1, $i2, $sf => $v ];
544                    } else {
545                            push @{ $marc_record->[ $marc_record_offset ] }, [ $f, $v ];
546                    }
547          }          }
548            }
549          if ($filter_name) {  
550                  my @filter_args;  =head2 marc_repeatable_subfield
551                  if ($filter_name =~ s/(\w+)\((.*)\)/$1/) {  
552                          @filter_args = split(/,/, $2);  Save values for MARC repetable subfield
553                  }  
554                  if ($self->{'filter'}->{$filter_name}) {    marc_repeatable_subfield('910', 'z', rec('909') );
555                          $log->debug("about to filter{$filter_name} format: $out with arguments: ", join(",", @filter_args));  
556                          unshift @filter_args, $out;  =cut
557                          $out = $self->{'filter'}->{$filter_name}->(@filter_args);  
558                          return unless(defined($out));  sub marc_repeatable_subfield {
559                          $log->debug("filter result: $out");          my ($f,$sf) = @_;
560                  } elsif (! $warn_once->{$filter_name}) {          die "marc_repeatable_subfield need field and subfield!\n" unless ($f && $sf);
561                          $log->warn("trying to use undefined filter $filter_name");          $marc_repeatable_subfield->{ $f . $sf }++;
562                          $warn_once->{$filter_name}++;          marc(@_);
563    }
564    
565    =head2 marc_indicators
566    
567    Set both indicators for MARC field
568    
569      marc_indicators('900', ' ', 1);
570    
571    Any indicator value other than C<0-9> will be treated as undefined.
572    
573    =cut
574    
575    sub marc_indicators {
576            my $f = shift || die "marc_indicators need field!\n";
577            my ($i1,$i2) = @_;
578            die "marc_indicators($f, ...) need i1!\n" unless(defined($i1));
579            die "marc_indicators($f, $i1, ...) need i2!\n" unless(defined($i2));
580    
581            $i1 = ' ' if ($i1 !~ /^\d$/);
582            $i2 = ' ' if ($i2 !~ /^\d$/);
583            @{ $marc_indicators->{$f} } = ($i1,$i2);
584    }
585    
586    =head2 marc_compose
587    
588    Save values for each MARC subfield explicitly
589    
590      marc_compose('900',
591            'a', rec('200','a')
592            'b', rec('201','a')
593            'a', rec('200','b')
594            'c', rec('200','c')
595      );
596    
597    If you specify C<+> for subfield, value will be appended
598    to previous defined subfield.
599    
600    =cut
601    
602    sub marc_compose {
603            my $f = shift or die "marc_compose needs field";
604            die "marc_compose field must be numer" unless ($f =~ /^\d+$/);
605    
606            my ($i1,$i2) = defined($marc_indicators->{$f}) ? @{ $marc_indicators->{$f} } : (' ',' ');
607            my $m = [ $f, $i1, $i2 ];
608    
609            warn "### marc_compose input subfields = ", dump(@_),$/ if ($debug > 2);
610    
611            if ($#_ % 2 != 1) {
612                    die "ERROR: marc_compose",dump($f,@_)," not valid (must be even).\nDo you need to add first() or join() around some argument?\n";
613            }
614    
615            while (@_) {
616                    my $sf = shift;
617                    my $v = shift;
618    
619                    next unless (defined($v) && $v !~ /^\s*$/);
620                    warn "## ++ marc_compose($f,$sf,$v) ", dump( $m ),$/ if ($debug > 1);
621                    if ($sf ne '+') {
622                            push @$m, ( $sf, $v );
623                    } else {
624                            $m->[ $#$m ] .= $v;
625                  }                  }
626          }          }
627    
628          return $out;          warn "## marc_compose current marc = ", dump( $m ),$/ if ($debug > 1);
629    
630            push @{ $marc_record->[ $marc_record_offset ] }, $m if ($#{$m} > 2);
631  }  }
632    
633  =head2 fill_in  =head2 marc_duplicate
634    
635    Generate copy of current MARC record and continue working on copy
636    
637      marc_duplicate();
638    
639    Copies can be accessed using C<< _get_marc_fields( fetch_next => 1 ) >> or
640    C<< _get_marc_fields( offset => 42 ) >>.
641    
642    =cut
643    
644    sub marc_duplicate {
645             my $m = $marc_record->[ -1 ];
646             die "can't duplicate record which isn't defined" unless ($m);
647             push @{ $marc_record }, dclone( $m );
648             push @{ $marc_leader }, dclone( marc_leader() );
649             warn "## marc_duplicate = ", dump(@$marc_leader, @$marc_record), $/ if ($debug > 1);
650             $marc_record_offset = $#{ $marc_record };
651             warn "## marc_record_offset = $marc_record_offset", $/ if ($debug > 1);
652    
653    }
654    
655  Workhourse of all: takes record from in-memory structure of database and  =head2 marc_remove
 strings with placeholders and returns string or array of with substituted  
 values from record.  
656    
657   my $text = $webpac->fill_in($rec,'v250^a');  Remove some field or subfield from MARC record.
658    
659  Optional argument is ordinal number for repeatable fields. By default,    marc_remove('200');
660  it's assume to be first repeatable field (fields are perl array, so first    marc_remove('200','a');
 element is 0).  
 Following example will read second value from repeatable field.  
661    
662   my $text = $webpac->fill_in($rec,'Title: v250^a',1);  This will erase field C<200> or C<200^a> from current MARC record.
663    
664  This function B<does not> perform parsing of format to inteligenty skip    marc_remove('*');
 delimiters before fields which aren't used.  
665    
666  This method will automatically decode UTF-8 string to local code page  Will remove all fields in current MARC record.
 if needed.  
667    
668  There is optional parametar C<$record_size> which can be used to get sizes of  This is useful after calling C<marc_duplicate> or on it's own (but, you
669  all C<field^subfield> combinations in this format.  should probably just remove that subfield definition if you are not
670    using C<marc_duplicate>).
671    
672   my $text = $webpac->fill_in($rec,'got: v900^a v900^x',0,\$rec_size);  FIXME: support fields < 10.
673    
674  =cut  =cut
675    
676  sub fill_in {  sub marc_remove {
677          my $self = shift;          my ($f, $sf) = @_;
678    
679          my $log = $self->_get_logger();          die "marc_remove needs record number" unless defined($f);
680    
681          my ($rec,$format,$i,$rec_size) = @_;          my $marc = $marc_record->[ $marc_record_offset ];
682    
683          $log->logconfess("need data record") unless ($rec);          warn "### marc_remove before = ", dump( $marc ), $/ if ($debug > 2);
         $log->logconfess("need format to parse") unless($format);  
684    
685          # iteration (for repeatable fields)          if ($f eq '*') {
         $i ||= 0;  
686    
687          $log->logdie("infitite loop in format $format") if ($i > ($self->{'max_mfn'} || 9999));                  delete( $marc_record->[ $marc_record_offset ] );
688                    warn "## full marc_record = ", dump( @{ $marc_record }), $/ if ($debug > 1);
689    
690          # FIXME remove for speedup?          } else {
         $log->logconfess("need HASH as first argument!") if ($rec !~ /HASH/o);  
691    
692          if (utf8::is_utf8($format)) {                  my $i = 0;
693                  $format = $self->_x($format);                  foreach ( 0 .. $#{ $marc } ) {
694                            last unless (defined $marc->[$i]);
695                            warn "#### working on ",dump( @{ $marc->[$i] }), $/ if ($debug > 3);
696                            if ($marc->[$i]->[0] eq $f) {
697                                    if (! defined $sf) {
698                                            # remove whole field
699                                            splice @$marc, $i, 1;
700                                            warn "#### slice \@\$marc, $i, 1 = ",dump( @{ $marc }), $/ if ($debug > 3);
701                                            $i--;
702                                    } else {
703                                            foreach my $j ( 0 .. (( $#{ $marc->[$i] } - 3 ) / 2) ) {
704                                                    my $o = ($j * 2) + 3;
705                                                    if ($marc->[$i]->[$o] eq $sf) {
706                                                            # remove subfield
707                                                            splice @{$marc->[$i]}, $o, 2;
708                                                            warn "#### slice \@{\$marc->[$i]}, $o, 2 = ", dump( @{ $marc }), $/ if ($debug > 3);
709                                                            # is record now empty?
710                                                            if ($#{ $marc->[$i] } == 2) {
711                                                                    splice @$marc, $i, 1;
712                                                                    warn "#### slice \@\$marc, $i, 1 = ", dump( @{ $marc }), $/ if ($debug > 3);
713                                                                    $i--;
714                                                            };
715                                                    }
716                                            }
717                                    }
718                            }
719                            $i++;
720                    }
721    
722                    warn "### marc_remove($f", $sf ? ",$sf" : "", ") after = ", dump( $marc ), $/ if ($debug > 2);
723    
724                    $marc_record->[ $marc_record_offset ] = $marc;
725          }          }
726    
727          my $found = 0;          warn "## full marc_record = ", dump( @{ $marc_record }), $/ if ($debug > 1);
728          my $just_single = 1;  }
729    
730          my $eval_code;  =head2 marc_original_order
         # remove eval{...} from beginning  
         $eval_code = $1 if ($format =~ s/^eval{([^}]+)}//s);  
731    
732          my $filter_name;  Copy all subfields preserving original order to marc field.
         # remove filter{...} from beginning  
         $filter_name = $1 if ($format =~ s/^filter{([^}]+)}//s);  
733    
734          {    marc_original_order( marc_field_number, original_input_field_number );
                 # fix warnings  
                 no warnings 'uninitialized';  
735    
736                  # do actual replacement of placeholders  Please note that field numbers are consistent with other commands (marc
737                  # repeatable fields  field number first), but somewhat counter-intuitive (destination and then
738                  if ($format =~ s/v(\d+)(?:\^(\w))?/$self->get_data(\$rec,$1,$2,$i,\$found,$rec_size)/ges) {  source).
                         $just_single = 0;  
                 }  
739    
740                  # non-repeatable fields  You might want to use this command if you are just renaming subfields or
741                  if ($format =~ s/s(\d+)(?:\^(\w))?/$self->get_data(\$rec,$1,$2,0,\$found,$rec_size)/ges) {  using pre-processing modify_record in C<config.yml> and don't need any
742                          return if ($i > 0 && $just_single);  post-processing or want to preserve order of original subfields.
743    
744    
745    =cut
746    
747    sub marc_original_order {
748    
749            my ($to, $from) = @_;
750            die "marc_original_order needs from and to fields\n" unless ($from && $to);
751    
752            return unless defined($rec->{$from});
753    
754            my $r = $rec->{$from};
755            die "record field $from isn't array\n" unless (ref($r) eq 'ARRAY');
756    
757            my ($i1,$i2) = defined($marc_indicators->{$to}) ? @{ $marc_indicators->{$to} } : (' ',' ');
758            warn "## marc_original_order($to,$from) source = ", dump( $r ),$/ if ($debug > 1);
759    
760            foreach my $d (@$r) {
761    
762                    if (! defined($d->{subfields}) && ref($d->{subfields}) ne 'ARRAY') {
763                            warn "# marc_original_order($to,$from): field $from doesn't have subfields specification\n";
764                            next;
765                  }                  }
766          }          
767                    my @sfs = @{ $d->{subfields} };
768    
769                    die "field $from doesn't have even number of subfields specifications\n" unless($#sfs % 2 == 1);
770    
771                    warn "#--> d: ",dump($d), "\n#--> sfs: ",dump(@sfs),$/ if ($debug > 2);
772    
773                    my $m = [ $to, $i1, $i2 ];
774    
775          if ($found) {                  while (my $sf = shift @sfs) {
776                  $log->debug("format: $format");  
777                  if ($eval_code) {                          warn "#--> sf: ",dump($sf), $/ if ($debug > 2);
778                          my $eval = $self->fill_in($rec,$eval_code,$i);                          my $offset = shift @sfs;
779                          return if (! $self->_eval($eval));                          die "corrupted sufields specification for field $from\n" unless defined($offset);
780    
781                            my $v;
782                            if (ref($d->{$sf}) eq 'ARRAY') {
783                                    $v = $d->{$sf}->[$offset] if (defined($d->{$sf}->[$offset]));
784                            } elsif ($offset == 0) {
785                                    $v = $d->{$sf};
786                            } else {
787                                    die "field $from subfield '$sf' need occurence $offset which doesn't exist", dump($d->{$sf});
788                            }
789                            push @$m, ( $sf, $v ) if (defined($v));
790                  }                  }
791                  if ($filter_name && $self->{'filter'}->{$filter_name}) {  
792                          $log->debug("filter '$filter_name' for $format");                  if ($#{$m} > 2) {
793                          $format = $self->{'filter'}->{$filter_name}->($format);                          push @{ $marc_record->[ $marc_record_offset ] }, $m;
                         return unless(defined($format));  
                         $log->debug("filter result: $format");  
794                  }                  }
795                  # do we have lookups?          }
796                  if ($self->{'lookup'}) {  
797                          if ($self->{'lookup'}->can('lookup')) {          warn "## marc_record = ", dump( $marc_record ),$/ if ($debug > 1);
798                                  my @lookup = $self->{lookup}->lookup($format);  }
799                                  $log->debug("lookup $format", join(", ", @lookup));  
800                                  return @lookup;  =head2 marc_count
801    
802    Return number of MARC records created using L</marc_duplicate>.
803    
804      print "created ", marc_count(), " records";
805    
806    =cut
807    
808    sub marc_count {
809            return $#{ $marc_record };
810    }
811    
812    
813    =head1 Functions to extract data from input
814    
815    This function should be used inside functions to create C<data_structure> described
816    above.
817    
818    =head2 _pack_subfields_hash
819    
820     @subfields = _pack_subfields_hash( $h );
821     $subfields = _pack_subfields_hash( $h, 1 );
822    
823    Return each subfield value in array or pack them all together and return scalar
824    with subfields (denoted by C<^>) and values.
825    
826    =cut
827    
828    sub _pack_subfields_hash {
829    
830            warn "## _pack_subfields_hash( ",dump(@_), " )\n" if ($debug > 1);
831    
832            my ($h,$include_subfields) = @_;
833    
834            if ( defined($h->{subfields}) ) {
835                    my $sfs = delete $h->{subfields} || die "no subfields?";
836                    my @out;
837                    while (@$sfs) {
838                            my $sf = shift @$sfs;
839                            push @out, '^' . $sf if ($include_subfields);
840                            my $o = shift @$sfs;
841                            if ($o == 0 && ref( $h->{$sf} ) ne 'ARRAY' ) {
842                                    # single element subfields are not arrays
843    #warn "====> $sf $o / $#$sfs ", dump( $sfs, $h->{$sf} ), "\n";
844    
845                                    push @out, $h->{$sf};
846                          } else {                          } else {
847                                  $log->warn("Have lookup object but can't invoke lookup method");  #warn "====> $sf $o / $#$sfs ", dump( $sfs, $h->{$sf} ), "\n";
848                                    push @out, $h->{$sf}->[$o];
849                          }                          }
850                    }
851                    if ($include_subfields) {
852                            return join('', @out);
853                  } else {                  } else {
854                          return $format;                          return @out;
855                  }                  }
856          } else {          } else {
857                  return;                  if ($include_subfields) {
858                            my $out = '';
859                            foreach my $sf (sort keys %$h) {
860                                    if (ref($h->{$sf}) eq 'ARRAY') {
861                                            $out .= '^' . $sf . join('^' . $sf, @{ $h->{$sf} });
862                                    } else {
863                                            $out .= '^' . $sf . $h->{$sf};
864                                    }
865                            }
866                            return $out;
867                    } else {
868                            # FIXME this should probably be in alphabetical order instead of hash order
869                            values %{$h};
870                    }
871          }          }
872  }  }
873    
874    =head2 rec1
875    
876  =head2 _rec_to_arr  Return all values in some field
877    
878  Similar to C<parse> and C<fill_in>, but returns array of all repeatable fields. Usable    @v = rec1('200')
 for fields which have lookups, so they shouldn't be parsed but rather  
 C<paste>d or C<fill_id>ed. Last argument is name of operation: C<paste> or C<fill_in>.  
879    
880   my @arr = $webpac->fill_in_to_arr($rec,'[v900];;[v250^a]','paste');  TODO: order of values is probably same as in source data, need to investigate that
881    
882  =cut  =cut
883    
884  sub _rec_to_arr {  sub rec1 {
885          my $self = shift;          my $f = shift;
886            warn "rec1($f) = ", dump( $rec->{$f} ), $/ if ($debug > 1);
887            return unless (defined($rec) && defined($rec->{$f}));
888            warn "rec1($f) = ", dump( $rec->{$f} ), $/ if ($debug > 1);
889            if (ref($rec->{$f}) eq 'ARRAY') {
890                    my @out;
891                    foreach my $h ( @{ $rec->{$f} } ) {
892                            if (ref($h) eq 'HASH') {
893                                    push @out, ( _pack_subfields_hash( $h ) );
894                            } else {
895                                    push @out, $h;
896                            }
897                    }
898                    return @out;
899            } elsif( defined($rec->{$f}) ) {
900                    return $rec->{$f};
901            }
902    }
903    
904          my ($rec, $format_utf8, $code) = @_;  =head2 rec2
905    
906          my $log = $self->_get_logger();  Return all values in specific field and subfield
907    
908          $log->logconfess("need HASH as first argument!") if ($rec !~ /HASH/o);    @v = rec2('200','a')
         return if (! $format_utf8);  
909    
910          $log->debug("using $code on $format_utf8");  =cut
911    
912          my $i = 0;  sub rec2 {
913          my $max = 0;          my $f = shift;
914          my @arr;          return unless (defined($rec && $rec->{$f}));
915          my $rec_size = {};          my $sf = shift;
916            warn "rec2($f,$sf) = ", dump( $rec->{$f} ), $/ if ($debug > 1);
917          while ($i <= $max) {          return map {
918                  my @v = $self->$code($rec,$format_utf8,$i++,\$rec_size);                  if (ref($_->{$sf}) eq 'ARRAY') {
919                  if ($rec_size) {                          @{ $_->{$sf} };
                         foreach my $f (keys %{ $rec_size }) {  
                                 $max = $rec_size->{$f} if ($rec_size->{$f} > $max);  
                         }  
                         $log->debug("max set to $max");  
                         undef $rec_size;  
                 }  
                 if (@v) {  
                         push @arr, @v;  
920                  } else {                  } else {
921                          push @arr, '' if ($max > $i);                          $_->{$sf};
922                  }                  }
923          }          } grep { ref($_) eq 'HASH' && $_->{$sf} } @{ $rec->{$f} };
924    }
925    
926    =head2 rec
927    
928          $log->debug("format '$format_utf8' returned ",--$i," elements: ", sub { join(" | ",@arr) }) if (@arr);  syntaxtic sugar for
929    
930      @v = rec('200')
931      @v = rec('200','a')
932    
933    If rec() returns just single value, it will
934    return scalar, not array.
935    
936    =cut
937    
938          return @arr;  sub rec {
939            my @out;
940            if ($#_ == 0) {
941                    @out = rec1(@_);
942            } elsif ($#_ == 1) {
943                    @out = rec2(@_);
944            }
945            if ($#out == 0 && ! wantarray) {
946                    return $out[0];
947            } elsif (@out) {
948                    return @out;
949            } else {
950                    return '';
951            }
952  }  }
953    
954    =head2 regex
955    
956    Apply regex to some or all values
957    
958  =head2 get_data    @v = regex( 's/foo/bar/g', @v );
959    
960    =cut
961    
962    sub regex {
963            my $r = shift;
964            my @out;
965            #warn "r: $r\n", dump(\@_);
966            foreach my $t (@_) {
967                    next unless ($t);
968                    eval "\$t =~ $r";
969                    push @out, $t if ($t && $t ne '');
970            }
971            return @out;
972    }
973    
974  Returns value from record.  =head2 prefix
975    
976   my $text = $self->get_data(\$rec,$f,$sf,$i,\$found,\$rec_size);  Prefix all values with a string
977    
978  Required arguments are:    @v = prefix( 'my_', @v );
979    
980  =over 8  =cut
981    
982  =item C<$rec>  sub prefix {
983            my $p = shift or return;
984            return map { $p . $_ } grep { defined($_) } @_;
985    }
986    
987  record reference  =head2 suffix
988    
989  =item C<$f>  suffix all values with a string
990    
991  field    @v = suffix( '_my', @v );
992    
993  =item C<$sf>  =cut
994    
995  optional subfield  sub suffix {
996            my $s = shift or die "suffix needs string as first argument";
997            return map { $_ . $s } grep { defined($_) } @_;
998    }
999    
1000  =item C<$i>  =head2 surround
1001    
1002  index offset for repeatable values ( 0 ... $rec_size->{'400^a'} )  surround all values with a two strings
1003    
1004  =item C<$found>    @v = surround( 'prefix_', '_suffix', @v );
1005    
1006  optional variable that will be incremeted if preset  =cut
1007    
1008  =item C<$rec_size>  sub surround {
1009            my $p = shift or die "surround need prefix as first argument";
1010            my $s = shift or die "surround needs suffix as second argument";
1011            return map { $p . $_ . $s } grep { defined($_) } @_;
1012    }
1013    
1014  hash to hold maximum occurances of C<field^subfield> combinations  =head2 first
 (which can be accessed using keys in same format)  
1015    
1016  =back  Return first element
1017    
1018  Returns value or empty string, updates C<$found> and C<rec_size>    $v = first( @v );
 if present.  
1019    
1020  =cut  =cut
1021    
1022  sub get_data {  sub first {
1023          my $self = shift;          my $r = shift;
1024            return $r;
1025    }
1026    
1027          my ($rec,$f,$sf,$i,$found,$cache) = @_;  =head2 lookup
1028    
1029          return '' unless ($$rec->{$f} && ref($$rec->{$f}) eq 'ARRAY');  Consult lookup hashes for some value
1030    
1031          if (defined($$cache)) {    @v = lookup(
1032                  $$cache->{ $f . ( $sf ? '^' . $sf : '' ) } ||= scalar @{ $$rec->{$f} };          sub {
1033                    'ffkk/peri/mfn'.rec('000')
1034            },
1035            'ffkk','peri','200-a-200-e',
1036            sub {
1037                    first(rec(200,'a')).' '.first(rec('200','e'))
1038          }          }
1039      );
1040    
1041          return '' unless ($$rec->{$f}->[$i]);  Code like above will be B<automatically generated> using L<WebPAC::Parse> from
1042    normal lookup definition in C<conf/lookup/something.pl> which looks like:
1043    
1044          {    lookup(
1045                  no strict 'refs';          # which results to return from record recorded in lookup
1046                  if (defined($sf)) {          sub { 'ffkk/peri/mfn' . rec('000') },
1047                          $$found++ if (defined($$found) && $$rec->{$f}->[$i]->{$sf});          # from which database and input
1048                          return $$rec->{$f}->[$i]->{$sf};          'ffkk','peri',
1049                  } else {          # such that following values match
1050                          $$found++ if (defined($$found));          sub { first(rec(200,'a')) . ' ' . first(rec('200','e')) },
1051                          # it still might have subfields, just          # if this part is missing, we will try to match same fields
1052                          # not specified, so we'll dump some debug info          # from lookup record and current one, or you can override
1053                          if ($$rec->{$f}->[$i] =~ /HASH/o) {          # which records to use from current record using
1054                                  my $out;          sub { rec('900','x') . ' ' . rec('900','y') },
1055                                  foreach my $k (keys %{$$rec->{$f}->[$i]}) {    )
1056                                          $out .= '$' . $k .':' . $$rec->{$f}->[$i]->{$k}." ";  
1057                                  }  You can think about this lookup as SQL (if that helps):
1058                                  return $out;  
1059                          } else {    select
1060                                  return $$rec->{$f}->[$i];          sub { what }
1061                          }    from
1062            database, input
1063      where
1064        sub { filter from lookuped record }
1065      having
1066        sub { optional filter on current record }
1067    
1068    Easy as pie, right?
1069    
1070    =cut
1071    
1072    sub lookup {
1073            my ($what, $database, $input, $key, $having) = @_;
1074    
1075            confess "lookup needs 5 arguments: what, database, input, key, having\n" unless ($#_ == 4);
1076    
1077            warn "## lookup ($database, $input, $key)", $/ if ($debug > 1);
1078            return unless (defined($lookup->{$database}->{$input}->{$key}));
1079    
1080            confess "lookup really need load_row_coderef added to data_structure\n" unless ($load_row_coderef);
1081    
1082            my $mfns;
1083            my @having = $having->();
1084    
1085            warn "## having = ", dump( @having ) if ($debug > 2);
1086    
1087            foreach my $h ( @having ) {
1088                    if (defined($lookup->{$database}->{$input}->{$key}->{$h})) {
1089                            warn "lookup for $database/$input/$key/$h return ",dump($lookup->{$database}->{$input}->{$key}->{$h}),"\n" if ($debug);
1090                            $mfns->{$_}++ foreach keys %{ $lookup->{$database}->{$input}->{$key}->{$h} };
1091                  }                  }
1092          }          }
 }  
1093    
1094            return unless ($mfns);
1095    
1096            my @mfns = sort keys %$mfns;
1097    
1098  =head2 apply_format          warn "# lookup loading $database/$input/$key mfn ", join(",",@mfns)," having ",dump(@having),"\n" if ($debug);
1099    
1100  Apply format specified in tag with C<format_name="name"> and          my $old_rec = $rec;
1101  C<format_delimiter=";;">.          my @out;
1102    
1103   my $text = $webpac->apply_format($format_name,$format_delimiter,$data);          foreach my $mfn (@mfns) {
1104                    $rec = $load_row_coderef->( $database, $input, $mfn );
1105    
1106  Formats can contain C<lookup{...}> if you need them.                  warn "got $database/$input/$mfn = ", dump($rec), $/ if ($debug);
1107    
1108  =cut                  my @vals = $what->();
1109    
1110                    push @out, ( @vals );
1111    
1112                    warn "lookup for mfn $mfn returned ", dump(@vals), $/ if ($debug);
1113            }
1114    
1115  sub apply_format {  #       if (ref($lookup->{$k}) eq 'ARRAY') {
1116          my $self = shift;  #               return @{ $lookup->{$k} };
1117    #       } else {
1118    #               return $lookup->{$k};
1119    #       }
1120    
1121          my ($name,$delimiter,$data) = @_;          $rec = $old_rec;
1122    
1123          my $log = $self->_get_logger();          warn "## lookup returns = ", dump(@out), $/ if ($debug);
1124    
1125          if (! $self->{'import_xml'}->{'format'}->{$name}) {          if ($#out == 0) {
1126                  $log->warn("<format name=\"$name\"> is not defined in ",$self->{'import_xml_file'});                  return $out[0];
1127                  return $data;          } else {
1128                    return @out;
1129          }          }
1130    }
1131    
1132          $log->warn("no delimiter for format $name") if (! $delimiter);  =head2 save_into_lookup
1133    
1134          my $format = $self->_x($self->{'import_xml'}->{'format'}->{$name}->{'content'}) || $log->logdie("can't find format '$name'");  Save value into lookup. It associates current database, input
1135    and specific keys with one or more values which will be
1136    associated over MFN.
1137    
1138          my @data = split(/\Q$delimiter\E/, $data);  MFN will be extracted from first occurence current of field 000
1139    in current record, or if it doesn't exist from L<_set_config> C<_mfn>.
1140    
1141          my $out = sprintf($format, @data);    my $nr = save_into_lookup($database,$input,$key,sub {
1142          $log->debug("using format $name [$format] on $data to produce: $out");          # code which produce one or more values
1143      });
1144    
1145          if ($self->{'lookup_regex'} && $out =~ $self->{'lookup_regex'}) {  It returns number of items saved.
1146                  return $self->{'lookup'}->lookup($out);  
1147          } else {  This function shouldn't be called directly, it's called from code created by
1148                  return $out;  L<WebPAC::Parser>.
1149    
1150    =cut
1151    
1152    sub save_into_lookup {
1153            my ($database,$input,$key,$coderef) = @_;
1154            die "save_into_lookup needs database" unless defined($database);
1155            die "save_into_lookup needs input" unless defined($input);
1156            die "save_into_lookup needs key" unless defined($key);
1157            die "save_into_lookup needs CODE" unless ( defined($coderef) && ref($coderef) eq 'CODE' );
1158    
1159            warn "## save_into_lookup rec = ", dump($rec), " config = ", dump($config), $/ if ($debug > 2);
1160    
1161            my $mfn =
1162                    defined($rec->{'000'}->[0])     ?       $rec->{'000'}->[0]      :
1163                    defined($config->{_mfn})        ?       $config->{_mfn}         :
1164                                                                                    die "mfn not defined or zero";
1165    
1166            my $nr = 0;
1167    
1168            foreach my $v ( $coderef->() ) {
1169                    $lookup->{$database}->{$input}->{$key}->{$v}->{$mfn}++;
1170                    warn "# saved lookup $database/$input/$key [$v] $mfn\n" if ($debug > 1);
1171                    $nr++;
1172          }          }
1173    
1174            return $nr;
1175  }  }
1176    
1177  =head2 sort_arr  =head2 config
1178    
1179  Sort array ignoring case and html in data  Consult config values stored in C<config.yml>
1180    
1181   my @sorted = $webpac->sort_arr(@unsorted);    # return database code (key under databases in yaml)
1182      $database_code = config();    # use _ from hash
1183      $database_name = config('name');
1184      $database_input_name = config('input name');
1185      $tag = config('input normalize tag');
1186    
1187    Up to three levels are supported.
1188    
1189  =cut  =cut
1190    
1191  sub sort_arr {  sub config {
1192          my $self = shift;          return unless ($config);
1193    
1194            my $p = shift;
1195    
1196          my $log = $self->_get_logger();          $p ||= '';
1197    
1198          # FIXME add Schwartzian Transformation?          my $v;
1199    
1200          my @sorted = sort {          warn "### getting config($p)\n" if ($debug > 1);
1201                  $a =~ s#<[^>]+/*>##;  
1202                  $b =~ s#<[^>]+/*>##;          my @p = split(/\s+/,$p);
1203                  lc($b) cmp lc($a)          if ($#p < 0) {
1204          } @_;                  $v = $config->{ '_' };  # special, database code
1205          $log->debug("sorted values: ",sub { join(", ",@sorted) });          } else {
1206    
1207                    my $c = dclone( $config );
1208    
1209                    foreach my $k (@p) {
1210                            warn "### k: $k c = ",dump($c),$/ if ($debug > 1);
1211                            if (ref($c) eq 'ARRAY') {
1212                                    $c = shift @$c;
1213                                    warn "config($p) taking first occurence of '$k', probably not what you wanted!\n";
1214                                    last;
1215                            }
1216    
1217          return @sorted;                          if (! defined($c->{$k}) ) {
1218                                    $c = undef;
1219                                    last;
1220                            } else {
1221                                    $c = $c->{$k};
1222                            }
1223                    }
1224                    $v = $c if ($c);
1225    
1226            }
1227    
1228            warn "## config( '$p' ) = ",dump( $v ),$/ if ($v && $debug);
1229            warn "config( '$p' ) is empty\n" if (! $v);
1230    
1231            return $v;
1232  }  }
1233    
1234    =head2 id
1235    
1236  =head1 INTERNAL METHODS  Returns unique id of this record
1237    
1238  =head2 _sort_by_order    $id = id();
1239    
1240  Sort xml tags data structure accoding to C<order=""> attribute.  Returns C<42/2> for 2nd occurence of MFN 42.
1241    
1242  =cut  =cut
1243    
1244  sub _sort_by_order {  sub id {
1245          my $self = shift;          my $mfn = $config->{_mfn} || die "no _mfn in config data";
1246            return $mfn . $#{$marc_record} ? $#{$marc_record} + 1 : '';
1247    }
1248    
1249    =head2 join_with
1250    
1251          my $va = $self->{'import_xml'}->{'indexer'}->{$a}->{'order'} ||  Joins walues with some delimiter
                 $self->{'import_xml'}->{'indexer'}->{$a};  
         my $vb = $self->{'import_xml'}->{'indexer'}->{$b}->{'order'} ||  
                 $self->{'import_xml'}->{'indexer'}->{$b};  
1252    
1253          return $va <=> $vb;    $v = join_with(", ", @v);
1254    
1255    =cut
1256    
1257    sub join_with {
1258            my $d = shift;
1259            warn "### join_with('$d',",dump(@_),")\n" if ($debug > 2);
1260            my $v = join($d, grep { defined($_) && $_ ne '' } @_);
1261            return '' unless defined($v);
1262            return $v;
1263  }  }
1264    
1265  =head2 _x  =head2 split_rec_on
1266    
1267  Convert strings from C<conf/normalize/*.xml> encoding into application  Split record subfield on some regex and take one of parts out
 specific encoding (optinally specified using C<code_page> to C<new>  
 constructor).  
1268    
1269   my $text = $n->_x('normalize text string');    $a_before_semi_column =
1270            split_rec_on('200','a', /\s*;\s*/, $part);
1271    
1272  This is a stub so that other modules doesn't have to implement it.  C<$part> is optional number of element. First element is
1273    B<1>, not 0!
1274    
1275    If there is no C<$part> parameter or C<$part> is 0, this function will
1276    return all values produced by splitting.
1277    
1278  =cut  =cut
1279    
1280  sub _x {  sub split_rec_on {
1281          my $self = shift;          die "split_rec_on need (fld,sf,regex[,part]" if ($#_ < 2);
1282          return shift;  
1283            my ($fld, $sf, $regex, $part) = @_;
1284            warn "### regex ", ref($regex), $regex, $/ if ($debug > 2);
1285    
1286            my @r = rec( $fld, $sf );
1287            my $v = shift @r;
1288            warn "### first rec($fld,$sf) = ",dump($v),$/ if ($debug > 2);
1289    
1290            return '' if ( ! defined($v) || $v =~ /^\s*$/);
1291    
1292            my @s = split( $regex, $v );
1293            warn "## split_rec_on($fld,$sf,$regex,$part) = ",dump(@s),$/ if ($debug > 1);
1294            if ($part && $part > 0) {
1295                    return $s[ $part - 1 ];
1296            } else {
1297                    return @s;
1298            }
1299  }  }
1300    
1301    my $hash;
1302    
1303    =head2 set
1304    
1305  =head1 AUTHOR    set( key => 'value' );
1306    
1307  Dobrica Pavlinusic, C<< <dpavlin@rot13.org> >>  =cut
1308    
1309  =head1 COPYRIGHT & LICENSE  sub set {
1310            my ($k,$v) = @_;
1311            warn "## set ( $k => ", dump($v), " )", $/ if ( $debug );
1312            $hash->{$k} = $v;
1313    };
1314    
1315  Copyright 2005 Dobrica Pavlinusic, All Rights Reserved.  =head2 get
1316    
1317  This program is free software; you can redistribute it and/or modify it    get( 'key' );
 under the same terms as Perl itself.  
1318    
1319  =cut  =cut
1320    
1321  1; # End of WebPAC::Normalize  sub get {
1322            my $k = shift || return;
1323            my $v = $hash->{$k};
1324            warn "## get $k = ", dump( $v ), $/ if ( $debug );
1325            return $v;
1326    }
1327    
1328    =head2 count
1329    
1330      if ( count( @result ) == 1 ) {
1331            # do something if only 1 result is there
1332      }
1333    
1334    =cut
1335    
1336    sub count {
1337            warn "## count ",dump(@_),$/ if ( $debug );
1338            return @_ . '';
1339    }
1340    
1341    # END
1342    1;

Legend:
Removed from v.433  
changed lines
  Added in v.813

  ViewVC Help
Powered by ViewVC 1.1.26