/[webpac2]/trunk/lib/WebPAC/Validate.pm
This is repository of my old source code which isn't updated any more. Go to git.rot13.org for current projects!
ViewVC logotype

Diff of /trunk/lib/WebPAC/Validate.pm

Parent Directory Parent Directory | Revision Log Revision Log | View Patch Patch

revision 665 by dpavlin, Mon Sep 11 11:57:30 2006 UTC revision 768 by dpavlin, Fri Nov 3 19:41:28 2006 UTC
# Line 18  WebPAC::Validate - provide simple valida Line 18  WebPAC::Validate - provide simple valida
18    
19  =head1 VERSION  =head1 VERSION
20    
21  Version 0.07  Version 0.10
22    
23  =cut  =cut
24    
25  our $VERSION = '0.07';  our $VERSION = '0.10';
26    
27  =head1 SYNOPSIS  =head1 SYNOPSIS
28    
# Line 41  configuration file in following format: Line 41  configuration file in following format:
41    205! a    205! a
42    # while 210 can have a c or d    # while 210 can have a c or d
43    210 a c d    210 a c d
44      # field which is ignored in validation
45      999-
46    
47  =head1 FUNCTIONS  =head1 FUNCTIONS
48    
# Line 86  sub new { Line 88  sub new {
88    
89                  if ($fld =~ s/!$//) {                  if ($fld =~ s/!$//) {
90                          $self->{must_exist}->{$fld}++;                          $self->{must_exist}->{$fld}++;
91                    } elsif ($fld =~ s/-$//) {
92                            $self->{dont_validate}->{$fld}++;
93                  }                  }
94    
95                  $log->logdie("need field name in line $curr_line: $l") unless (defined($fld));                  $log->logdie("need field name in line $curr_line: $l") unless (defined($fld));
# Line 113  sub new { Line 117  sub new {
117          $self ? return $self : return undef;          $self ? return $self : return undef;
118  }  }
119    
120  =head2 validate_errors  =head2 validate_rec
121    
122  Validate record and return errors  Validate record and return errors
123    
124    my @errors = $validate->validate_errors( $rec, $rec_dump );    my @errors = $validate->validate_rec( $rec, $rec_dump );
125    
126  =cut  =cut
127    
128  sub validate_errors {  sub validate_rec {
129          my $self = shift;          my $self = shift;
130    
131          my $log = $self->_get_logger();          my $log = $self->_get_logger();
132    
133          my $rec = shift || $log->logdie("validate_errors need record");          my $rec = shift || $log->logdie("validate_rec need record");
134          my $rec_dump = shift;          my $rec_dump = shift;
135    
136          $log->logdie("rec isn't HASH") unless (ref($rec) eq 'HASH');          $log->logdie("rec isn't HASH") unless (ref($rec) eq 'HASH');
# Line 142  sub validate_errors { Line 146  sub validate_errors {
146    
147                  next if (!defined($f) || $f eq '' || $f eq '000');                  next if (!defined($f) || $f eq '' || $f eq '000');
148    
149                    next if (defined( $self->{dont_validate}->{$f} ));
150    
151                    # track field usage
152                  $fields->{$f}++;                  $fields->{$f}++;
153    
154                  if ( ! defined($r->{$f}) ) {                  if ( ! defined($r->{$f}) ) {
155                          $errors->{field}->{ $f }->{unexpected} = "this field is not expected";                          $errors->{ $f }->{unexpected} = "this field is not expected";
156                          next;                          next;
157                  }                  }
158    
159    
160                  if (ref($rec->{$f}) ne 'ARRAY') {                  if (ref($rec->{$f}) ne 'ARRAY') {
161                          $errors->{field}->{ $f }->{not_repeatable} = "probably bug in parsing input data";                          $errors->{ $f }->{not_repeatable} = "probably bug in parsing input data";
162                          next;                          next;
163                  }                  }
164    
# Line 160  sub validate_errors { Line 167  sub validate_errors {
167                          if (ref($r->{$f}) eq 'ARRAY') {                          if (ref($r->{$f}) eq 'ARRAY') {
168                                  # are values hashes? (has subfields)                                  # are values hashes? (has subfields)
169                                  if (! defined($v)) {                                  if (! defined($v)) {
170  #                                       $errors->{field}->{$f}->{empty} = undef;  #                                       $errors->{$f}->{empty} = undef;
171  #                                       $errors->{dump} = $rec_dump if ($rec_dump);  #                                       $errors->{dump} = $rec_dump if ($rec_dump);
172                                  } elsif (ref($v) ne 'HASH') {                                  } elsif (ref($v) ne 'HASH') {
173                                          $errors->{field}->{$f}->{missing_subfield} = join(",", @{ $r->{$f} }) . " required";                                          $errors->{$f}->{missing_subfield} = join(",", @{ $r->{$f} }) . " required";
174                                          next;                                          next;
175                                  } else {                                  } else {
176    
# Line 185  sub validate_errors { Line 192  sub validate_errors {
192                                                                  $sf_repeatable->{$sf}++;                                                                  $sf_repeatable->{$sf}++;
193                                                          };                                                          };
194                                                          if (! first { $_ eq $sf } @{ $r->{$f} }) {                                                          if (! first { $_ eq $sf } @{ $r->{$f} }) {
195                                                                  $errors->{field}->{ $f }->{subfield}->{extra}->{$sf}++;                                                                  $errors->{ $f }->{subfield}->{extra}->{$sf}++;
196                                                          }                                                          }
197                                                  }                                                  }
198    
# Line 193  sub validate_errors { Line 200  sub validate_errors {
200                                          if (my @r_sf = sort keys( %$sf_repeatable )) {                                          if (my @r_sf = sort keys( %$sf_repeatable )) {
201    
202                                                  foreach my $sf (@r_sf) {                                                  foreach my $sf (@r_sf) {
203                                                          $errors->{field}->{$f}->{subfield}->{extra_repeatable}->{$sf}++;                                                          $errors->{$f}->{subfield}->{extra_repeatable}->{$sf}++;
204                                                          $errors->{field}->{$f}->{dump} =                                                          $errors->{$f}->{dump} = _pack_subfields_hash( $h, 1 );
                                                                 join('', _pack_subfields_hash( $h, 1 ) );  
205                                                  }                                                  }
206    
207                                          }                                          }
# Line 203  sub validate_errors { Line 209  sub validate_errors {
209                                          if ( defined( $self->{must_exist_sf}->{$f} ) ) {                                          if ( defined( $self->{must_exist_sf}->{$f} ) ) {
210                                                  foreach my $sf (sort keys %{ $self->{must_exist_sf}->{$f} }) {                                                  foreach my $sf (sort keys %{ $self->{must_exist_sf}->{$f} }) {
211  #warn "====> $f $sf must exist\n";  #warn "====> $f $sf must exist\n";
212                                                          $errors->{field}->{$f}->{subfield}->{missing}->{$sf}++                                                          $errors->{$f}->{subfield}->{missing}->{$sf}++
213                                                                  unless defined( $subfields->{$sf} );                                                                  unless defined( $subfields->{$sf} );
214                                                  }                                                  }
215                                          }                                          }
216    
217                                  }                                  }
218                          } elsif (ref($v) eq 'HASH') {                          } elsif (ref($v) eq 'HASH') {
219                                  $errors->{field}->{$f}->{unexpected_subfields}++;                                  $errors->{$f}->{unexpected_subfields}++;
220                                  $errors->{field}->{$f}->{dump} =                                  $errors->{$f}->{dump} = _pack_subfields_hash( $v, 1 );
                                         join('', _pack_subfields_hash( $v, 1 ) );  
221                          }                          }
222                  }                  }
223          }          }
224    
225          foreach my $must (sort keys %{ $self->{must_exist} }) {          foreach my $must (sort keys %{ $self->{must_exist} }) {
226                  next if ($fields->{$must});                  next if ($fields->{$must});
227                  $errors->{field}->{$must}->{missing}++;                  $errors->{$must}->{missing}++;
228                  $errors->{dump} = $rec_dump if ($rec_dump);                  $errors->{dump} = $rec_dump if ($rec_dump);
229          }          }
230    
231          if ($errors) {          if ($errors) {
232                  $log->debug("errors: ", sub { dump( $errors ) } );                  $log->debug("errors: ", $self->report_error( $errors ) );
233    
234                  my $mfn = $rec->{'000'}->[0] || $log->logconfess("record ", dump( $rec ), " doesn't have MFN");                  my $mfn = $rec->{'000'}->[0] || $log->logconfess("record ", dump( $rec ), " doesn't have MFN");
235                  $self->{errors}->{$mfn} = $errors;                  $self->{errors}->{$mfn} = $errors;
# Line 261  sub all_errors { Line 266  sub all_errors {
266          return $self->{errors};          return $self->{errors};
267  }  }
268    
269  =head2 report  =head2 report_error
270    
271  Produce nice humanly readable report of errors  Produce nice humanly readable report of single error
272    
273    print $validate->report;    print $validate->report_error( $error_hash );
274    
275  =cut  =cut
276    
277  sub report {  sub report_error {
278          my $self = shift;          my $self = shift;
279    
280          my $log = $self->_get_logger();          my $h = shift || die "no hash?";
281    
282          sub unroll {          sub _unroll {
283                  my ($tree, $accumulated) = @_;                  my ($self, $tree, $accumulated) = @_;
284    
285                    my $log = $self->_get_logger();
286    
287                  $log->debug("# ",                  $log->debug("# ",
288                          ( $tree                 ? "tree: $tree "                                        : '' ),                          ( $tree                 ? "tree: $tree "                                        : '' ),
# Line 294  sub report { Line 301  sub report {
301    
302                          if ($k eq 'dump') {                          if ($k eq 'dump') {
303                                  $dump = $tree->{dump};                                  $dump = $tree->{dump};
304                                  warn "## dump: $dump\n";  #                               warn "## dump: ",dump($dump),"\n";
305                                  next;                                  next;
306                          }                          }
307    
308                          $log->debug("current: $k");                          $log->debug("current: $k");
309    
310                          my ($new_results, $new_dump) = unroll($tree->{$k},                          my ($new_results, $new_dump) = $self->_unroll($tree->{$k},
311                                  $accumulated ? "$accumulated\t$k" : $k                                  $accumulated ? "$accumulated\t$k" : $k
312                          );                          );
313    
# Line 324  sub report { Line 331  sub report {
331                  }                  }
332          }          }
333    
334    
335            sub _reformat {
336                    my $l = shift;
337                    $l =~ s/\t/ /g;
338                    $l =~ s/_/ /;
339                    return $l;
340            }
341    
342          my $out = '';          my $out = '';
343    
344            for my $f (sort keys %{ $h }) {
345                    $out .= "$f: ";
346                    
347                    my ($r, $d) = $self->_unroll( $h->{$f} );
348                    my $e;
349                    if (ref($r) eq 'ARRAY') {
350                            $e .= join(", ", map { _reformat( $_ ) } @$r);
351                    } else {
352                            $e .= _reformat( $r );
353                    }
354                    $e .= "\n\t$d" if ($d);
355    
356                    $out .= $e . "\n";
357            }
358            return $out;
359    }
360    
361    
362    =head2 report
363    
364    Produce nice humanly readable report of errors
365    
366      print $validate->report;
367    
368    =cut
369    
370    sub report {
371            my $self = shift;
372          my $e = $self->{errors} || return;          my $e = $self->{errors} || return;
373    
374          foreach my $mfn (sort keys %$e) {          my $out;
375                  my ($r, $d) = unroll( $e->{$mfn} );          foreach my $mfn (sort { $a <=> $b } keys %$e) {
376                  $out .= "MFN $mfn\n", dump($r), "\t$d\n\n";                  $out .= "MFN $mfn\n" . $self->report_error( $e->{$mfn} ) . "\n";
377          }          }
378    
379          return $out;          return $out;
380    
381  }  }
382    
383  =head1 AUTHOR  =head1 AUTHOR
Legend:
Removed from v.665  
changed lines
  Added in v.768
  ViewVC Help
Powered by ViewVC 1.1.26