/[Sack]/trunk/lib/Sack/Server.pm
This is repository of my old source code which isn't updated any more. Go to git.rot13.org for current projects!
ViewVC logotype

Diff of /trunk/lib/Sack/Server.pm

Parent Directory Parent Directory | Revision Log Revision Log | View Patch Patch

revision 248 by dpavlin, Thu Nov 26 22:18:19 2009 UTC revision 268 by dpavlin, Thu Feb 4 22:36:05 2010 UTC
# Line 41  my $sel = IO::Select->new($lsn); Line 41  my $sel = IO::Select->new($lsn);
41  $sel->add( $www );  $sel->add( $www );
42    
43  my $info;  my $info;
 sub info {  
         my $port = shift;  
         push @{ $info->{node}->{$port} }, [ @_ ];  
 }  
44    
45  sub fork_ssh {  sub fork_ssh {
46          my ( $port, $host ) = @_;          my ( $port, $host ) = @_;
47    
48          if ( my $pid = fork ) {          if ( my $pid = fork ) {
49                  # parent                  # parent
50                  info $port => 'forked', $pid;                  $info->{forked}->{$port} = $pid;
51                    $info->{pending}->{$port} = 'forked';
52                  return $port;                  return $port;
53    
54          } elsif ( ! defined $pid ) {          } elsif ( ! defined $pid ) {
# Line 59  sub fork_ssh { Line 56  sub fork_ssh {
56                  return;                  return;
57          } else {          } else {
58                  # child                  # child
59                    warn "[$port] cpio last version\n";
60                    system "find /srv/Sack/ | cpio --create --dereference | ssh -T -F $cloud_path.ssh $host cpio --extract --make-directories --unconditional";
61    
62                  my $cmd = qq|ssh -F $cloud_path.ssh -R $port:127.0.0.1:$listen_port $host $node_path $port|;                  my $cmd = qq|ssh -F $cloud_path.ssh -R $port:127.0.0.1:$listen_port $host $node_path $port|;
63                  warn "# exec: $cmd\n";                  warn "# exec: $cmd\n";
64                  exec $cmd;                  exec $cmd;
# Line 68  sub fork_ssh { Line 68  sub fork_ssh {
68  my $node_port = 4000;  my $node_port = 4000;
69    
70  foreach my $host ( @cloud ) {  foreach my $host ( @cloud ) {
         system "find /srv/Sack/ | cpio --create --dereference | ssh -T -F $cloud_path.ssh $host cpio --extract --make-directories --unconditional";  
71          fork_ssh( $node_port++, $host );          fork_ssh( $node_port++, $host );
72  }  }
73    
74  my $session;  my $session;
75    
76    sub all_ports { keys %{ $session->{port} } }
77    
78  sub to_all {  sub to_all {
79          my $data = shift;          my $data = shift;
80          foreach my $port ( keys %{ $session->{port} } ) {          foreach my $port ( all_ports ) {
81                  warn ">>>> [$port]\n" if $debug;                  warn ">>>> [$port]\n" if $debug;
82                  Storable::store_fd( $data, $session->{port}->{$port} );                  Storable::store_fd( $data, $session->{port}->{$port} );
83          }          }
# Line 88  sub load_shard { Line 89  sub load_shard {
89    
90          warn "# load_shard $shard\n";          warn "# load_shard $shard\n";
91    
92          my @shards = glob "$shard/*";          $shard .= '/*' if -d $shard;
93    
94            my @shards = glob $shard;
95    
96          if ( ! @shards ) {          if ( ! @shards ) {
97                  warn "no shards for $shard\n";                  warn "no shards for $shard\n";
# Line 96  sub load_shard { Line 99  sub load_shard {
99          }          }
100    
101          foreach my $s ( @shards ) {          foreach my $s ( @shards ) {
102                  next if $info->{shard}->{$s} =~ m{^\d+$};                  if ( my $node = $info->{shard}->{$s} ) {
103                            next if $node =~ m{^\d+$}; # not node number
104                    }
105                  $info->{shard}->{$s} = 'wait';                  $info->{shard}->{$s} = 'wait';
106                  push @shard_load_queue, $s;                  push @shard_load_queue, $s;
107                  warn "queued $s for loading\n";                  warn "queued $s for loading\n";
108          }          }
109    
110            # XXX depriciated but not removed yet
111            if ( 0 ) {
112          to_all { load => $shard };          to_all { load => $shard };
113            $info->{pending}->{$_} = 'load' foreach all_ports;
114            return;
115            }
116    
117            my @nodes = all_ports;
118            my $chunk = int( ( $#shard_load_queue + 1 ) / $#nodes );
119    
120            my $pid_port;
121    
122            foreach my $port ( all_ports ) {
123                    $info->{pending}->{$port} = 'load';
124                    my @shards = splice @shard_load_queue, 0, $chunk;
125    
126                    my $sock = $session->{port}->{$port};
127    
128                    if ( my $pid = fork ) {
129                            $pid_port->{$pid} = $port;
130                            # parent
131                    } elsif ( ! defined $pid ) {
132                            die "can't fork $!";
133                    } else {
134                            # child
135    
136                            warn ">>>> [$port] bulk_load ", $#shards + 1, " shards\n";
137                            Storable::store_fd( { bulk_load => [ @shards ] }, $sock );
138                            foreach my $s ( @shards ) {
139                                    warn ">>>> [$port] bulk_load $s\n";
140                                    Storable::store_fd( Storable::retrieve( $s ), $sock );
141                            }
142                            warn ">>>> [$port] bulk_load finished\n";
143                            exit;
144                    }
145    
146            }
147    
148            foreach my $child ( keys %$pid_port ) {
149                    warn "waitpid $child\n";
150                    waitpid($child, 0);
151                    delete( $info->{pending}->{ $pid_port->{$child} } );
152            }
153    
154            $info->{pending}->{$_} = 'view' foreach all_ports;
155            to_all { code => "# collect back loaded shards\n", view => 'noop' };
156  }  }
157    
158  sub run_view {  sub run_view {
# Line 115  sub run_view { Line 166  sub run_view {
166          delete( $info->{view} );          delete( $info->{view} );
167          delete( $info->{merge} );          delete( $info->{merge} );
168          delete( $info->{shard} );          delete( $info->{shard} );
169            $info->{pending}->{$_} = 'view' foreach all_ports;
170          to_all { code => $code, view => $path };          to_all { code => $code, view => $path };
171  };  };
172    
# Line 164  while (1) { Line 216  while (1) {
216                                          warn "ERROR: $@" if $@;                                          warn "ERROR: $@" if $@;
217                                  }                                  }
218    
219                                  print $send "HTTP/1.0 200 OK\r\nContent-Type: text/html\r\n\r\n";                                  my $refresh = $param->{refresh};
220                                    $refresh = 1 if grep { $info->{pending}->{$_} ne 'forked' } keys %{ $info->{pending} };
221                                    # we don't care about refresh is nodes are stuck in forked state!
222    
223                                    print $send "HTTP/1.0 200 OK\r\nContent-Type: text/html"
224                                            , ( $refresh ? "\r\nRefresh: $refresh" : '' )
225                                            , "\r\n\r\n"
226                                            , ( $refresh ? qq|<span style="color: #888; float:right">$refresh</span>| : '' )
227                                    ;
228    
229                                  print $send qq|                                  print $send qq|
230    
# Line 176  while (1) { Line 236  while (1) {
236    
237    
238  .forked {  .forked {
239          color: #f00;          color: #888;
240  }  }
241    
242  .ping {  .ping {
243          color: #0f0;          color: #0f0;
244  }  }
245    
246    .load {
247            color: #f00;
248    }
249    
250    .view {
251            color: #00f;
252    }
253    
254  .shards {  .shards {
255          font-family: monospace;          font-family: monospace;
256          line-height: 0.8em;  //      line-height: 0.8em;
257          color: #0f0;          color: #0f0;
258  }  }
259    
# Line 202  while (1) { Line 270  while (1) {
270    
271  |;  |;
272    
273                                    my $out = Sack::Merge->out;    
274                                    if ( my $li = join("\n", map { qq|<li><input type=checkbox name=filter value="$_"><a href="/out/$_" target="$_">$_</a>| } keys %$out ) ) {
275                                            print $send qq|<h1>Results</h1><form method="get" target="gnuplot" action="/gnuplot/"><ul>$li</ul><input type=submit value="Show checked"></form><img src="/gnuplot/">\n|;
276                                    }
277    
278                                  print $send qq|<h1>Views</h1><ul>|                                  print $send qq|<h1>Views</h1><ul>|
279                                          , join("\n", map {                                          , join("\n", map {
280                                                  my $view = $_;                                                  my $view = $_;
# Line 233  while (1) { Line 306  while (1) {
306                                          , qq|</ul>|                                          , qq|</ul>|
307                                          ;                                          ;
308    
309                                  my $out = Sack::Merge->out;                                      print $send qq|<h1>Nodes</h1>|;
310                                  if ( my $li = join("\n", map { qq|<li><a href="/out/$_" target="$_">$_</a>| } keys %$out ) ) {                                  foreach my $node ( keys %{ $info->{forked} } ) {
311                                          print $send qq|<h1>Results</h1><ul>$li</ul><img src="/gnuplot/">\n|;                                          my $attr = '';
312                                            if ( my $pending = $info->{pending}->{$node} ) {
313                                                    $attr .= qq| class="$pending"|;
314                                            }
315                                            print $send qq|<tt$attr>$node</tt>\n|;
316                                  }                                  }
317    
318                                  print $send qq|<h1>Nodes</h1>                                  print $send qq|<h1>Shards</h1><ul>|;
                                 |, join("\n", map {  
                                         my $class = join(' ', map { $_->[0] } @{ $info->{node}->{$_} });  
                                         qq|<span class="$class">$_</span>|;  
                                 } sort keys %{ $info->{node} } );  
   
                                 print $send qq|<h1>Data</h1><ul>|;  
319                                  foreach my $path ( glob '/tmp/sack/*' ) {                                  foreach my $path ( glob '/tmp/sack/*' ) {
320                                          print $send qq|<li><a href="$path">$path</a><div class="shards">|;                                          print $send qq|<li><a href="$path">$path</a><div class="shards">|;
321                                          foreach my $s ( sort grep { m/$path/ } keys %{ $info->{shard} } ) {                                          foreach my $s ( sort grep { m/$path/ } keys %{ $info->{shard} } ) {
322                                                  my $i = $info->{shard}->{$s};                                                  my $i = $info->{shard}->{$s};
323                                                  print $send qq|<span class=$i>$i</span> |;                                                  print $send qq|<span class="$i" title="$s">$i</span> |;
324                                          }                                          }
325                                          print $send qq|</div>|;                                          print $send qq|</div>|;
326                                  }                                  }
# Line 310  while (1) { Line 381  while (1) {
381                                          Storable::store_fd( $response, $sock );                                          Storable::store_fd( $response, $sock );
382                                  } elsif ( $data->{ping} ) {                                  } elsif ( $data->{ping} ) {
383                                          my $port = $data->{port};                                          my $port = $data->{port};
384                                          info $port => 'ping', $port;                                          delete( $info->{pending}->{$port} ) if $info->{pending}->{$port} eq 'forked';
385                                          $session->{port}->{ $data->{port} } = $sock;                                          $session->{port}->{ $data->{port} } = $sock;
386                                  } elsif ( defined $data->{load} && $data->{load} eq 'shard' ) {                                  } elsif ( defined $data->{load} && $data->{load} eq 'shard' ) {
387                                          if ( my $path = shift @shard_load_queue ) {                                          if ( my $path = shift @shard_load_queue ) {
# Line 321  while (1) { Line 392  while (1) {
392                                                  Storable::store_fd( { path => $path, shard => $shard }, $sock );                                                  Storable::store_fd( { path => $path, shard => $shard }, $sock );
393                                          } else {                                          } else {
394                                                  warn "no more shards for [", $data->{port}, "]\n";                                                  warn "no more shards for [", $data->{port}, "]\n";
395                                                    delete $info->{pending}->{ $data->{port} };
396                                          }                                          }
397                                  } elsif ( exists $data->{out} ) {                                  } elsif ( exists $data->{out} ) {
398                                          my $added = Sack::Merge->add( $data->{out} ) if defined $data->{out};                                          my $added = Sack::Merge->add( $data->{out} ) if defined $data->{out};
# Line 328  while (1) { Line 400  while (1) {
400                                          $info->{view }->{ $data->{view} }->{ $data->{port} } = $data->{on_shard};                                          $info->{view }->{ $data->{view} }->{ $data->{port} } = $data->{on_shard};
401                                          # refresh shard allocation                                          # refresh shard allocation
402                                          $info->{shard}->{ $_ } = $data->{port} foreach keys %{ $data->{on_shard} };                                          $info->{shard}->{ $_ } = $data->{port} foreach keys %{ $data->{on_shard} };
403                                            delete $info->{pending}->{ $data->{port} };
404                                  } elsif ( exists $data->{port} ) {                                  } elsif ( exists $data->{port} ) {
405                                          push @responses, $data;                                          push @responses, $data;
406                                          warn "# ",dump($data),$/;                                          warn "# ",dump($data),$/;
Legend:
Removed from v.248  
changed lines
  Added in v.268
  ViewVC Help
Powered by ViewVC 1.1.26