/[Sack]/trunk/lib/Sack/Server.pm
This is repository of my old source code which isn't updated any more. Go to git.rot13.org for current projects!
ViewVC logotype

Diff of /trunk/lib/Sack/Server.pm

Parent Directory Parent Directory | Revision Log Revision Log | View Patch Patch

revision 222 by dpavlin, Sun Nov 22 22:57:15 2009 UTC revision 253 by dpavlin, Fri Nov 27 13:48:54 2009 UTC
# Line 5  package Sack::Server; Line 5  package Sack::Server;
5  use warnings;  use warnings;
6  use strict;  use strict;
7    
8    my $debug = 0;
9    
10  use IO::Socket::INET;  use IO::Socket::INET;
11  use IO::Select;  use IO::Select;
12    
# Line 17  use lib '/srv/Sack/lib'; Line 19  use lib '/srv/Sack/lib';
19  use Sack::Merge;  use Sack::Merge;
20  use Sack::Server::HTTP;  use Sack::Server::HTTP;
21  use Sack::Server::HTML;  use Sack::Server::HTML;
22    use Sack::Server::Gnuplot;
23    
24  my @cloud;  my @cloud;
25  my $cloud_path = $ENV{CLOUD} || "etc/cloud";  my $cloud_path = $ENV{CLOUD} || "etc/cloud";
# Line 74  my $session; Line 77  my $session;
77  sub to_all {  sub to_all {
78          my $data = shift;          my $data = shift;
79          foreach my $port ( keys %{ $session->{port} } ) {          foreach my $port ( keys %{ $session->{port} } ) {
80                  warn ">>>> [$port]\n";                  warn ">>>> [$port]\n" if $debug;
81                  Storable::store_fd( $data, $session->{port}->{$port} );                  Storable::store_fd( $data, $session->{port}->{$port} );
82          }          }
83  }  }
# Line 92  sub load_shard { Line 95  sub load_shard {
95                  return;                  return;
96          }          }
97    
98          $info->{shard}->{$_} = 'wait' foreach @shards;          foreach my $s ( @shards ) {
99          warn "loading shard $shard from ", dump( @shards );                  next if $info->{shard}->{$s} =~ m{^\d+$};
100                    $info->{shard}->{$s} = 'wait';
101          push @shard_load_queue, @shards;                  push @shard_load_queue, $s;
102                    warn "queued $s for loading\n";
103            }
104          to_all { load => $shard };          to_all { load => $shard };
105  }  }
106    
107    sub run_view {
108            my ( $path ) = @_;
109            if ( ! -r $path ) {
110                    warn "ERROR view $path: $!";
111                    return;
112            }
113            my $code = read_file $path;
114            Sack::Merge->clean;
115            delete( $info->{view} );
116            delete( $info->{merge} );
117            delete( $info->{shard} );
118            to_all { code => $code, view => $path };
119    };
120    
121    our @responses;
122    
123  while (1) {  while (1) {
124          for my $sock ($sel->can_read(1)) {          for my $sock ($sel->can_read(1)) {
125                  if ($sock == $lsn) {                  if ($sock == $lsn) {
# Line 113  while (1) { Line 134  while (1) {
134                                  my ( $send, $method, $param ) = @_;                                  my ( $send, $method, $param ) = @_;
135    
136                                  if ( $method =~ m{views} ) {                                  if ( $method =~ m{views} ) {
137                                          warn "$method ", -s $method, " bytes";                                          run_view $method;
                                         my $code = read_file $method;  
                                         Sack::Merge->clean;  
                                         to_all { view => $code, path => $method };  
138                                          print $send "HTTP/1.0 302 $method\r\nLocation: /\r\n\r\n";                                          print $send "HTTP/1.0 302 $method\r\nLocation: /\r\n\r\n";
139                                          return 1;                                          return 1;
140                                  } elsif ( $method =~ m{^/tmp/sack} ) {                                  } elsif ( $method =~ m{^/tmp/sack} ) {
# Line 127  while (1) { Line 145  while (1) {
145                                          print $send "HTTP/1.0 200 OK\r\nContent-Type: text/html\r\n\r\n";                                          print $send "HTTP/1.0 200 OK\r\nContent-Type: text/html\r\n\r\n";
146                                          Sack::Server::HTML::send_out( $send, Sack::Merge->out, $1, $param );                                          Sack::Server::HTML::send_out( $send, Sack::Merge->out, $1, $param );
147                                          return 1;                                          return 1;
148                                    } elsif ( $method =~ m{^/gnuplot} ) {
149                                            eval {
150                                                    my $path = Sack::Server::Gnuplot::date( Sack::Merge->out, $param );
151                                                    if ( -e $path ) {
152                                                            print $send "HTTP/1.0 200 OK\r\nContent-Type: image/png\r\n\r\n";
153                                                            open(my $fh, '<', $path) || die $path;
154                                                            my $b;
155                                                            while ( read($fh, $b, 4096) ) {
156                                                                    print $send $b;
157                                                            }
158                                                            return 1;
159                                                    } else {
160                                                            print $send "HTTP/1.0 404 no graph\r\n\r\n";
161                                                            return 1;
162                                                    }
163                                            };
164                                            warn "ERROR: $@" if $@;
165                                  }                                  }
166    
167                                  print $send "HTTP/1.0 200 OK\r\nContent-Type: text/html\r\n\r\n";                                  print $send "HTTP/1.0 200 OK\r\nContent-Type: text/html\r\n\r\n";
168    
169                                  print $send qq|<h1>Views</h1><ul>|                                  print $send qq|
                                         , join("\n", map { qq|<li><a href="$_">$_</a>| } glob '/srv/Sack/views/*/*.pl' )  
                                         , qq|</ul>|  
                                         ;  
   
                                 my $out = Sack::Merge->out;      
                                 print $send qq|<h1>Results</h1><ul>|  
                                         , join("\n", map { qq|<li><a href="/out/$_" target="$_">$_</a>| } keys %$out )  
                                         , qq|</ul>|  
                                         ;  
170    
                                 print $send qq|<h1>Nodes</h1>  
171  <style type="text/css">  <style type="text/css">
172    
173    .running {
174            color: #f00;
175    }
176    
177    
178  .forked {  .forked {
179          color: #f00;          color: #f00;
180  }  }
# Line 154  while (1) { Line 185  while (1) {
185    
186  .shards {  .shards {
187          font-family: monospace;          font-family: monospace;
188          line-height: 0.8em;  //      line-height: 0.8em;
189          color: #0f0;          color: #0f0;
190  }  }
191    
# Line 168  while (1) { Line 199  while (1) {
199    
200    
201  </style>  </style>
202    
203    |;
204    
205                                    print $send qq|<h1>Views</h1><ul>|
206                                            , join("\n", map {
207                                                    my $view = $_;
208                                                    my $html = '';
209                                                    if ( my $s = $info->{view}->{$view} ) {
210                                                            my @nodes = sort keys %$s;
211                                                            my $total = 0;
212                                                            $html .= qq|<table><tr><th>node</th><th>rows</th><th>shards</th><th>&sum;</th><th>merge</th></tr>|;
213                                                            foreach my $node ( @nodes ) {
214                                                                    my $h = '';
215                                                                    my $shard = 0;
216                                                                    foreach my $path ( sort keys %{ $s->{$node} } ) {
217                                                                            my $affected = $s->{$node}->{$path};
218                                                                            my $n = '?';
219                                                                            $n = $1 if $path =~ m{/(\w)\w+/\d+};
220                                                                            my $class = $affected == 0 ? 'style="color: #888"' : '';
221                                                                            $h .= qq|<tt title="$affected $path"$class>$n</tt>|;
222                                                                            $shard += $affected;
223                                                                            $total += $affected;
224                                                                    }
225                                                                    my $merge = $info->{merge}->{$view}->{$node} || '?';
226                                                                    $html .= qq|<tr><td><tt>$node</tt></td><td>$shard</td><td>$h</td><td>$total</td><td>$merge</td></tr>\n|;
227                                                            }
228    
229                                                            $html .= qq|</table>|;
230                                                    };
231                                                    qq|<li><a href="$view">$view</a>$html|
232                                            } glob '/srv/Sack/views/*/*.pl' )
233                                            , qq|</ul>|
234                                            ;
235    
236                                    my $out = Sack::Merge->out;    
237                                    if ( my $li = join("\n", map { qq|<li><input type=checkbox name=filter value="$_"><a href="/out/$_" target="$_">$_</a>| } keys %$out ) ) {
238                                            print $send qq|<h1>Results</h1><form method="get" target="gnuplot" action="/gnuplot/"><ul>$li</ul><input type=submit value="Show checked"></form><img src="/gnuplot/">\n|;
239                                    }
240    
241                                    print $send qq|<h1>Nodes</h1>
242                                  |, join("\n", map {                                  |, join("\n", map {
243                                          my $class = join(' ', map { $_->[0] } @{ $info->{node}->{$_} });                                          my $class = join(' ', map { $_->[0] } @{ $info->{node}->{$_} });
244                                          qq|<span class="$class">$_</span>|;                                          qq|<tt class="$class">$_</tt>|;
245                                  } sort keys %{ $info->{node} } );                                  } sort keys %{ $info->{node} } );
246    
247                                  print $send qq|<h1>Data</h1><ul>|;                                  print $send qq|<h1>Shards</h1><ul>|;
248                                  foreach my $path ( glob '/tmp/sack/*' ) {                                  foreach my $path ( glob '/tmp/sack/*' ) {
249                                          print $send qq|<li><a href="$path">$path</a><div class="shards">|;                                          print $send qq|<li><a href="$path">$path</a><div class="shards">|;
250                                          foreach my $s ( sort grep { m/$path/ } keys %{ $info->{shard} } ) {                                          foreach my $s ( sort grep { m/$path/ } keys %{ $info->{shard} } ) {
251                                                  my $i = $info->{shard}->{$s};                                                  my $i = $info->{shard}->{$s};
252                                                  print $send qq|<span class=$i>$i</span> |;                                                  print $send qq|<span class="$i" title="$s">$i</span> |;
253                                          }                                          }
254                                          print $send qq|</div>|;                                          print $send qq|</div>|;
255                                  }                                  }
256                                  print $send qq|</ul>|;                                  print $send qq|</ul>|;
257    
258  #                               print $send '<pre>', dump($info), '</pre>';                                  if ( $param->{info} ) {
259                                            print $send qq|<a href="?info=0">hide info</a>|;
260                                            print $send '<pre>', dump($info), '</pre>'
261                                    } else {
262                                            print $send qq|<a href="?info=1">show info</a>|;
263                                    }
264                                    return 1;
265                          } );                          } );
266                  } else {                  } else {
267                          my $data = eval { Storable::fd_retrieve( $sock ) };                          my $data = eval { Storable::fd_retrieve( $sock ) };
# Line 195  while (1) { Line 271  while (1) {
271                                  $sel->remove($sock);                                  $sel->remove($sock);
272                                  $sock->close;                                  $sock->close;
273                          } else {                          } else {
274                                  warn "<<<< ", dump($data), $/;                                  warn "<<<< ", dump($data), $/ if $debug;
275    
276                                  if ( my $path = $data->{shard} ) {                                  if ( my $path = $data->{shard} ) {
277                                          $info->{shard}->{ $path } = $data->{port};                                          $info->{shard}->{ $path } = $data->{port};
# Line 211  while (1) { Line 287  while (1) {
287                                          } elsif ( $repl =~ m{load\s*(\S+)?} ) {                                          } elsif ( $repl =~ m{load\s*(\S+)?} ) {
288                                                  load_shard $1;                                                  load_shard $1;
289                                          } elsif ( $repl =~ m{view\s*(\S+)?} ) {                                          } elsif ( $repl =~ m{view\s*(\S+)?} ) {
290                                                  my $path = $1 || '/srv/Sack/views/00.demo.pl';                                                  run_view $1;
                                                 my $code = read_file $path;  
                                                 Sack::Merge->clean;  
                                                 to_all { view => $code, path => $path };  
                                                 $response->{view}->{$path}->{running};  
                                         } elsif ( $repl =~ m{debug\s*(.+)?} ) {  
                                                 to_all { debug => $1 };  
291                                          } elsif ( $repl =~ m{out} ) {                                          } elsif ( $repl =~ m{out} ) {
292                                                  my $out = Sack::Merge->out;                                                      my $out = Sack::Merge->out;    
293                                                  warn "out ",dump( $out );                                                  warn "out ",dump( $out );
# Line 225  while (1) { Line 295  while (1) {
295                                          } elsif ( $repl =~ m{clean} ) {                                          } elsif ( $repl =~ m{clean} ) {
296                                                  delete $info->{shard};                                                  delete $info->{shard};
297                                                  to_all { clean => 1 };                                                  to_all { clean => 1 };
298                                            } elsif ( $repl eq 'exit' ) {
299                                                    to_all { exit => 1 };
300                                                    sleep 1;
301                                                    exit;
302                                            } elsif ( $repl eq '.' ) {
303                                                    $response->{'.'} = [ @responses ];
304                                                    @responses = ();
305                                            } elsif ( $repl =~ m{(\w+)\s*(.+)?} ) {
306                                                    to_all { $1 => $2 };
307                                          } else {                                          } else {
308                                                  $response->{error}->{unknown} = $data;                                                  $response->{error}->{repl} = $repl;
309                                          }                                          }
310                                          Storable::store_fd( $response, $sock );                                          Storable::store_fd( $response, $sock );
311                                  } elsif ( $data->{ping} ) {                                  } elsif ( $data->{ping} ) {
312                                          my $port = $data->{port};                                          my $port = $data->{port};
313                                          info $port => 'ping', $port;                                          info $port => 'ping', $port;
314                                          $session->{port}->{ $data->{port} } = $sock;                                          $session->{port}->{ $data->{port} } = $sock;
315                                  } elsif ( $data->{load} eq 'shard' ) {                                  } elsif ( defined $data->{load} && $data->{load} eq 'shard' ) {
316                                          if ( my $path = shift @shard_load_queue ) {                                          if ( my $path = shift @shard_load_queue ) {
317                                                  $info->{shard}->{$path} = 'read';                                                  $info->{shard}->{$path} = 'read';
318                                                  my $shard = Storable::retrieve $path;                                                  my $shard = Storable::retrieve $path;
# Line 243  while (1) { Line 322  while (1) {
322                                          } else {                                          } else {
323                                                  warn "no more shards for [", $data->{port}, "]\n";                                                  warn "no more shards for [", $data->{port}, "]\n";
324                                          }                                          }
325                                  } elsif ( defined $data->{out} ) {                                  } elsif ( exists $data->{out} ) {
326                                          Sack::Merge->add( $data->{out} );                                          my $added = Sack::Merge->add( $data->{out} ) if defined $data->{out};
327                                            $info->{merge}->{ $data->{view} }->{ $data->{port} } = $added;
328                                            $info->{view }->{ $data->{view} }->{ $data->{port} } = $data->{on_shard};
329                                            # refresh shard allocation
330                                            $info->{shard}->{ $_ } = $data->{port} foreach keys %{ $data->{on_shard} };
331                                    } elsif ( exists $data->{port} ) {
332                                            push @responses, $data;
333                                            warn "# ",dump($data),$/;
334                                  } else {                                  } else {
335                                          warn "UNKNOWN ",dump($data);                                          warn "UNKNOWN ",dump($data);
336                                  }                                  }
Legend:
Removed from v.222  
changed lines
  Added in v.253
  ViewVC Help
Powered by ViewVC 1.1.26