/[socialtext-import]/tamtam/tamtam2socialtext.pl
This is repository of my old source code which isn't updated any more. Go to git.rot13.org for current projects!
ViewVC logotype

Diff of /tamtam/tamtam2socialtext.pl

Parent Directory Parent Directory | Revision Log Revision Log | View Patch Patch

revision 15 by dpavlin, Wed Dec 12 18:14:19 2007 UTC revision 24 by dpavlin, Thu Dec 13 12:42:45 2007 UTC
# Line 10  use Socialtext::Resting; Line 10  use Socialtext::Resting;
10  use Encode;  use Encode;
11  use HTTP::Date;  use HTTP::Date;
12  use POSIX qw/strftime/;  use POSIX qw/strftime/;
13    use File::Slurp;
14    use File::MMagic::XS;
15    use Getopt::Long;
16  use Data::Dump qw/dump/;  use Data::Dump qw/dump/;
17    
18    my $debug = 0;
19  my $max = 999;  my $max = 999;
20    my $attachments = 0;
21    
22    GetOptions(
23            'debug+' => \$debug,
24            'max=i' => \$max,
25            'attachments' => \$attachments,
26    );
27    
28  my $page;  my $page;
29  my $page_date;  my $page_date;
30    
31  my @page_names;  my @page_names;
32    
33    print "Importing $max pages", $attachments ? " with attachments" : "", "...\n";
34    
35  find({  find({
36          wanted => sub {          wanted => sub {
37                  my $path = $File::Find::name;                  my $path = $File::Find::name;
38                  return unless -f $path;                  return unless -f $path;
39    
40                  warn "# $path\n";                  warn "+ $path\n";
41                  my $ref = XMLin( $path ) || die "can't open $path: $!";                  my $ref = XMLin( $path,
42                            KeyAttr => {
43                                    'attachment' => '+name',
44                                    'meta' => 'name',
45                            },
46                            ForceArray => [ 'attachment', 'meta', 'widget' ],
47                    ) || die "can't open $path: $!";
48    
49                    warn "## $path = ",dump( $ref ) if $debug;
50    
51                  my $name = $ref->{name} || die "no name in $path";                  my $name = $ref->{name} || die "no name in $path";
52    
# Line 36  find({ Line 57  find({
57                          warn "SKIP: no LastModified in $path $name";                          warn "SKIP: no LastModified in $path $name";
58                          return;                          return;
59                  }                  }
60                  my $data =  
61                          $ref->{widgets}->{widget}->{data} ||                  my $data;
62                          $ref->{widgets}->{widget}->{Body}->{data} ||  
63                          die "no data in $path ",dump( $ref );                  foreach my $w ( @{ $ref->{widgets}->{widget} } ) {
64    
65                            warn "## w = ",dump( $w ) if $debug;
66    
67                            $data .= "\n----\n" if $data;
68                            $data .= $w->{data} || die "no data?";
69                    }
70    
71                    my $attachments;
72    
73                    if ( my $a = $ref->{attachment} ) {
74                            foreach my $name ( keys %$a ) {
75                                    my $full_path = $path;
76                                    $full_path =~ s,pages/,attachments/,;
77                                    $full_path .= '.' . $name;
78                                    die "$full_path doesn't exist" unless -e $full_path;
79                                    push @$attachments, {
80                                            full_path => $full_path,
81                                            name => ( $name || $a->{$name}->{desc} || 'noname' ),
82                                    };
83                            }
84                    }
85    
86                  $page->{ $name } = {                  $page->{ $name } = {
87                          content => convert_markup( $data ),                          content => convert_markup( $data ),
88                          date => convert_date( $date ),                          date => convert_date( $date ),
89                            attachments => $attachments,
90                  };                  };
91    
                 # strip path from page name  
92                  $name =~ s,^.+/([^/]+)$,$1,;                  $name =~ s,^.+/([^/]+)$,$1,;
93                  push @page_names, $name;                  push @page_names, $name;
94    
 #               warn dump( $ref );  
95          },          },
96            no_chdir=>1,
97  }, shift @ARGV || '.');  }, shift @ARGV || '.');
98    
99  my @pages = ( keys %$page );  my @pages = ( keys %$page );
# Line 64  my $Rester = Socialtext::Resting->new( Line 106  my $Rester = Socialtext::Resting->new(
106          username => 'tamtam',          username => 'tamtam',
107          password => 'import',          password => 'import',
108          server   => 'http://saturn.ffzg.hr/',          server   => 'http://saturn.ffzg.hr/',
109            workspace => 'razmjenavjestina',
110  );  );
 $Rester->workspace('razmjenavjestina');  
111  $Rester->put_workspacetag('TamTam');  $Rester->put_workspacetag('TamTam');
112    
113  sub convert_date {  sub convert_date {
# Line 119  sub convert_markup { Line 161  sub convert_markup {
161          $body =~ s,(\S+)----,$1\n----,gs;          $body =~ s,(\S+)----,$1\n----,gs;
162          $body =~ s,----(\S+),----\n$1,gs;          $body =~ s,----(\S+),----\n$1,gs;
163    
164            # attachments
165            $body =~ s,\[attachment:([^\]]+)(gif|png|jpg|jpeg)\],{image: $1$2},gis;
166            $body =~ s,\[attachment:([^\]]+)\],{file: $1},gs;
167    
168          return $body;          return $body;
169  }  }
170    
171  my $count = 0;  my $count = 0;
172    
173    my $m = File::MMagic::XS->new;
174    
175  foreach my $name ( keys %$page ) {  foreach my $name ( keys %$page ) {
176          last if $count++ == $max;          last if $count++ == $max;
177    
178          my $p = $page->{$name};          my $p = $page->{$name};
179    
180            warn "## $name = ",dump( $p ) if $debug;
181    
182          my $body = $p->{content} || die "no content?";          my $body = $p->{content} || die "no content?";
183          my $date = $p->{date} || die "no date?";          my $date = $p->{date} || die "no date?";
184    
# Line 142  foreach my $name ( keys %$page ) { Line 193  foreach my $name ( keys %$page ) {
193          }          }
194    
195          # link named pages          # link named pages
196          $body =~ s,$page_link_re,[$1],gs;          $body =~ s,\b$page_link_re\b,[$1],gs;
197            $body =~ s,``,,gs;
198    
199          $body .= qq{          $body .= qq{
200    
201  ----  ----
202    
203  Original sa http://www.razmjenavjestina.org/$full_name zadnja promjena {date: $date}  "original"<http://www.razmjenavjestina.org/$full_name> {date: $date}
204  };  };
205    
206          Encode::_utf8_off( $body );          Encode::_utf8_off( $body );
207    
208          $Rester->put_page( $name, {          $Rester->put_page( $name, { content => $body, date => $date });
209                  content => $body,          print "$name $date\n";
                 date => $date,  
         });  
         print "+ $name $date\n";  
210          foreach ( @tags ) {          foreach ( @tags ) {
211                  $Rester->put_pagetag( $name, $_ );                  $Rester->put_pagetag( $name, $_ );
212                  print "+ $name [$_]\n";                  print "+ tag $_\n";
213            }
214    
215            if ( $attachments ) {
216                    foreach my $a ( @{ $p->{attachments} } ) {
217                            my $type = $m->get_mime( $a->{full_path} );
218                            my $content = read_file( $a->{full_path} );
219                            print "+ attachment ", $a->{name}," $type ", length($content), " bytes\n";
220                            $Rester->post_attachment($name, $a->{name}, $content, $type );
221                    }
222          }          }
223    
224  }  }
Legend:
Removed from v.15  
changed lines
  Added in v.24
  ViewVC Help
Powered by ViewVC 1.1.26