videosite.pl

   1 # autodownload flash videos
   2 #
   3 # (c) 2007-2008 by Ralf Ertzinger <ralf@camperquake.de>
   4 # licensed under GNU GPL v2
   5 #
   6 # Based on youtube.pl by Christian Garbs <mitch@cgarbs.de>
   7 # which in turn is
   8 # based on trigger.pl by Wouter Coekaerts <wouter@coekaerts.be>
   9
  10
  11 BEGIN {
  12     # Get rid of a (possibly old) version of BettIrssi
  13     # This is a hack to prevent having to reload irssi just
  14     # because BettIrssi.pm changed
  15
  16     delete($INC{'BettIrssi.pm'});
  17 }
  18
  19 use strict;
  20 use Irssi 20020324 qw (command_bind command_runsub signal_add_first signal_add_last);
  21 use vars qw($VERSION %IRSSI);
  22 use XML::Simple;
  23 use Data::Dumper;
  24 use File::Spec;
  25 use BettIrssi 101 qw(_bcb _bcs);
  26 use LWP::UserAgent;
  27
  28 my @grabbers;
  29 my @getters;
  30 my $getter;
  31 my $conf;
  32 my $conffile = File::Spec->catfile(Irssi::get_irssi_dir(), 'videosite.xml');
  33 my $scriptdir = File::Spec->catfile(Irssi::get_irssi_dir(), 'scripts');
  34 my $plugindir = File::Spec->catfile($scriptdir, 'videosite');
  35 my @outputstack = (undef);
  36
  37 my $PARAMS = {
  38     'getter' => '',
  39     'mode' => 'download'
  40 };
  41
  42
  43 # activate debug here
  44 my $debug = 0;
  45
  46 # "message public", SERVER_REC, char *msg, char *nick, char *address, char *target
  47 signal_add_last(_bcs("message public" => sub {check_for_link(@_)}));
  48 # "message own_public", SERVER_REC, char *msg, char *target
  49 signal_add_last(_bcs("message own_public" => sub {check_for_link(@_)}));
  50
  51 # "message private", SERVER_REC, char *msg, char *nick, char *address
  52 signal_add_last(_bcs("message private" => sub {check_for_link(@_)}));
  53 # "message own_private", SERVER_REC, char *msg, char *target, char *orig_target
  54 signal_add_last(_bcs("message own_private" => sub {check_for_link(@_)}));
  55
  56 # "message irc action", SERVER_REC, char *msg, char *nick, char *address, char *target
  57 signal_add_last(_bcs("message irc action" => sub {check_for_link(@_)}));
  58 # "message irc own_action", SERVER_REC, char *msg, char *target
  59 signal_add_last(_bcs("message irc own_action" => sub {check_for_link(@_)}));
  60
  61 # For tab completion
  62 # This does not use BettIrssi (yet)
  63 signal_add_first('complete word', \&sig_complete);
  64
  65 sub push_output {
  66     unshift(@outputstack, shift);
  67 }
  68
  69 sub pop_output {
  70     shift(@outputstack);
  71
  72     @outputstack = (undef) unless (@outputstack);
  73 }
  74
  75 my $videosite_commands = {
  76     'save' => sub {
  77         cmd_save();
  78     },
  79
  80     'set' => sub {
  81         cmd_set(@_);
  82     },
  83
  84     'show' => sub {
  85         cmd_show(@_);
  86     },
  87
  88     'help' => sub {
  89         cmd_help(@_);
  90     },
  91
  92     'getter' => sub {
  93         cmd_getter(@_);
  94     },
  95
  96     'enable' => sub {
  97         cmd_enable(@_);
  98     },
  99
 100     'disable' => sub {
 101         cmd_disable(@_);
 102     },
 103
 104     'reload' => sub {
 105         init_videosite(0);
 106     },
 107
 108     'mode' => sub {
 109         cmd_mode(@_);
 110     },
 111
 112     'debug' => sub {
 113         $debug = 1;
 114         foreach (@grabbers, @getters) {
 115             $_->setdebug(1);
 116         }
 117         write_irssi('Enabled debugging');
 118     },
 119
 120     'nodebug' => sub {
 121         $debug = 0;
 122         foreach (@grabbers, @getters) {
 123             $_->setdebug(0);
 124         }
 125         write_irssi('Disabled debugging');
 126     },
 127 };
 128
 129 sub write_irssi {
 130     my @text = @_;
 131     my $output = $outputstack[0];
 132
 133     my $format = "%%mvideosite: %%n" . shift(@text);
 134
 135     # escape % in parameters from irssi
 136     s/%/%%/g foreach @text;
 137
 138     if (defined $output) {
 139         $output->(sprintf($format, @text), MSGLEVEL_CLIENTCRAP);
 140     } else {
 141         Irssi::print(sprintf($format, @text));
 142     }
 143
 144 }
 145
 146 sub write_debug {
 147     if ($debug) {
 148         write_irssi(@_);
 149     }
 150 }
 151
 152 sub expand_url_shortener {
 153     my $s = shift;
 154     my $os = '';
 155     my @urlshortener = (
 156         'is\.gd/[[:alnum:]]+',
 157         'otf\.me/[[:alnum:]]+',
 158         'hel\.me/[[:alnum:]]+',
 159         '7ax\.de/[[:alnum:]]+',
 160         'ow\.ly/[[:alnum:]]+',
 161         'j\.mp/[[:alnum:]]+',
 162         'bit\.ly/[[:alnum:]]+',
 163         'tinyurl\.com/[[:alnum:]]+',
 164         'pop\.is/[[:alnum:]]+',
 165         'post\.ly/[[:alnum:]]+',
 166         '1\.ly/[[:alnum:]]+',
 167         '2\.ly/[[:alnum:]]+',
 168         't\.co/[[:alnum:]]+',
 169         'shar\.es/[[:alnum:]]+',
 170         'goo\.gl/[[:alnum:]]+',
 171         );
 172     my $ua = LWP::UserAgent->new(agent => 'Mozilla', max_redirect => 0);
 173     my $i = 10;
 174
 175     OUTER: while (($os ne $s) and ($i > 0)) {
 176         study($s);
 177         $os = $s;
 178         $i--;
 179
 180         foreach my $pattern (@urlshortener) {
 181             my $p = "https?:\/\/" . $pattern;
 182
 183             write_debug("Matching %s against %s", $p, $s);
 184             if ($s =~ m|($p)|) {
 185                 my $matched = $1;
 186                 my $res;
 187
 188                 write_debug("Found %s", $matched);
 189                 $res = $ua->head($matched);
 190                 if ($res->is_redirect()) {
 191                     my $new = $res->headers()->header("Location");
 192
 193                     write_debug("Replacing %s with %s", $matched, $new);
 194                     $s =~ s/$matched/$new/;
 195                     next OUTER;
 196                 } else {
 197                     write_debug("Error resolving %s", $matched);
 198                 }
 199             }
 200         }
 201     }
 202
 203     if ($i == 0) {
 204         write_debug("Loop terminated by counter");
 205     }
 206
 207     write_debug("Final string: %s", $s);
 208
 209     return $s;
 210 }
 211
 212
 213 sub check_for_link {
 214     my $event = shift;
 215     my $message = $event->message();
 216     my $witem = $event->channel();
 217     my $g;
 218     my $m;
 219     my $p;
 220
 221
 222     # Look if we should ignore this line
 223     if ($message =~ m,(?:\s|^)/nosave(?:\s|$),) {
 224         return;
 225     }
 226
 227     push_output($event->ewpf);
 228     $message = expand_url_shortener($message);
 229
 230     study($message);
 231
 232     # Offer the message to all Grabbers in turn
 233     GRABBER: foreach $g (@grabbers) {
 234         ($m, $p) = $g->get($message);
 235         while (defined($m)) {
 236             write_debug('Metadata: %s', Dumper($m));
 237             if ('download' eq ($conf->{'videosite'}->{'mode'})) {
 238                 write_irssi('%%R>>> %%NSaving %%Y%s%%N %%G%s', $m->{'SOURCE'}, $m->{'TITLE'});
 239                 unless($getter->get($m)) {
 240                     write_irssi('%%R>>> FAILED');
 241                 }
 242             } elsif ('display' eq ($conf->{'videosite'}->{'mode'})) {
 243                 write_irssi('%%M>>> %%NSaw %%Y%s%%N %%G%s', $m->{'SOURCE'}, $m->{'TITLE'});
 244             } else {
 245                 write_irssi('%%R>>> Invalid operation mode');
 246             }
 247
 248             # Remove the matched part from the message and try again (there may be
 249             # more!)
 250             $message =~ s/$p//;
 251             study($message);
 252             last GRABBER if ($message =~ /^\s*$/);
 253
 254             ($m, $p) = $g->get($message);
 255         }
 256     }
 257
 258     pop_output();
 259 }
 260
 261 sub cmd_save {
 262
 263     eval {
 264         open(CONF, '>'.$conffile) or die 'Could not open config file';
 265         print CONF XML::Simple::XMLout($conf, KeepRoot => 1, KeyAttr => {'config' => 'module', 'option' => 'key'});
 266         close(CONF);
 267     };
 268     if ($@) {
 269         write_irssi('Could not save config to %s: %s', ($conffile, $@));
 270     } else {
 271         write_irssi('configuration saved to %s', $conffile);
 272     }
 273 }
 274
 275 sub cmd_set {
 276     my $target = shift;
 277     my $key = shift;
 278     my $val = shift;
 279     my $p;
 280
 281     foreach $p (@getters, @grabbers) {
 282         if ($p->{'NAME'} eq $target) {
 283             $p->setval($key, $val);
 284             return;
 285         }
 286     }
 287     write_irssi('No such module');
 288 }
 289
 290
 291 sub cmd_enable {
 292     my $target = shift;
 293     my $p;
 294
 295     foreach $p (@grabbers) {
 296         if ($p->{'NAME'} eq $target) {
 297             $p->enable();
 298             return;
 299         }
 300     }
 301     write_irssi('No such module');
 302 }
 303
 304
 305 sub cmd_disable {
 306     my $target = shift;
 307     my $p;
 308
 309     foreach $p (@grabbers) {
 310         if ($p->{'NAME'} eq $target) {
 311             $p->disable();
 312             return;
 313         }
 314     }
 315     write_irssi('No such module');
 316 }
 317
 318
 319 sub cmd_show {
 320     my $target = shift;
 321     my $p;
 322     my $e;
 323
 324     if (defined($target)) {
 325         foreach $p (@getters, @grabbers) {
 326             if ($p->{'NAME'} eq $target) {
 327                 write_irssi($p->getconfstr());
 328                 return;
 329             }
 330         }
 331         write_irssi('No such module');
 332     } else {
 333         write_irssi('Loaded grabbers (* denotes enabled modules):');
 334         foreach $p (@grabbers) {
 335             $e = $p->_getval('enabled');
 336             write_irssi(' %s%s', $p->{'NAME'}, $e?'*':'');
 337         };
 338
 339         write_irssi('Loaded getters:');
 340         foreach $p (@getters) {
 341             write_irssi(' %s', $p->{'NAME'});
 342         };
 343     }
 344 }
 345
 346 sub cmd_help {
 347     my $target = shift;
 348     my $p;
 349
 350     if (defined($target)) {
 351         foreach $p (@getters, @grabbers) {
 352             if ($p->{'NAME'} eq $target) {
 353                 write_irssi($p->gethelpstr());
 354                 return;
 355             }
 356         }
 357         write_irssi('No such module');
 358     } else {
 359         write_irssi(<<'EOT');
 360 Supported commands:
 361  save: save the current configuration
 362  help [modulename]: display this help, or module specific help
 363  show [modulename]: show loaded modules, or the current parameters of a module
 364  set modulename parameter value: set a module parameter to a new value
 365  getter [modulename]: display or set the getter to use
 366  enable [modulename]: enable the usage of this module (grabbers only)
 367  disable [modulename]: disable the usage of this module (grabbers only)
 368  reload: reload all modules (this is somewhat experimental)
 369  mode [modename]: display or set the operation mode (download/display)
 370  debug: enable debugging messages
 371  nodebug: disable debugging messages
 372 EOT
 373     }
 374 }
 375
 376 sub cmd_getter {
 377     my $target = shift;
 378     my $p;
 379
 380     if (defined($target)) {
 381         foreach $p (@getters) {
 382             if ($p->{'NAME'} eq $target) {
 383                 $getter = $p;
 384                 $conf->{'videosite'}->{'getter'} = $target;
 385                 write_irssi("Getter changed to %s", $target);
 386                 return;
 387             }
 388         }
 389         write_irssi('No such getter');
 390     } else {
 391         write_irssi('Current getter: %s', $conf->{'videosite'}->{'getter'});
 392     }
 393 }
 394
 395 sub cmd_mode {
 396     my $mode = shift;
 397
 398     if (defined($mode)) {
 399         $mode = lc($mode);
 400         if (('download' eq $mode) or ('display' eq $mode)) {
 401             $conf->{'videosite'}->{'mode'} = $mode;
 402             write_irssi('Now using %s mode', $mode);
 403         } else {
 404             write_irssi('Invalid mode: %s', $mode);
 405         }
 406     } else {
 407         write_irssi('Current mode: %s', $conf->{'videosite'}->{'mode'});
 408     }
 409 }
 410
 411
 412 # save on unload
 413 sub sig_command_script_unload {
 414     my $script = shift;
 415     if ($script =~ /(.*\/)?videosite(\.pl)?$/) {
 416         cmd_save();
 417     }
 418 }
 419
 420 sub ploader {
 421
 422     my $dir = shift;
 423     my $pattern = shift;
 424     my $type = shift;
 425     my @list;
 426     my $p;
 427     my $g;
 428     my @g = ();
 429
 430     opendir(D, $dir) || return ();
 431     @list = grep {/$pattern/ && -f File::Spec->catfile($dir, $_) } readdir(D);
 432     closedir(D);
 433
 434     foreach $p (@list) {
 435         write_debug("Trying to load $p:");
 436         $p =~ s/\.pm$//;
 437         eval qq{ require videosite::$p; };
 438         if ($@) {
 439             write_irssi("Failed to load plugin: $@");
 440             next;
 441         }
 442
 443         $g = eval qq{ videosite::$p->new(); };
 444         if ($@) {
 445             write_irssi("Failed to instanciate: $@");
 446             delete($INC{$p});
 447             next;
 448         }
 449
 450         write_debug("found $g->{'TYPE'} $g->{'NAME'}");
 451         if ($type eq $g->{'TYPE'}) {
 452             push(@g, $g);
 453             $g->setio(\&write_irssi);
 454         } else {
 455             write_irssi('%s has wrong type (got %s, expected %s)', $p, $g->{'TYPE'}, $type);
 456             delete($INC{$p});
 457         }
 458     }
 459
 460     write_debug("Loaded %d plugins", $#g+1);
 461
 462     return @g;
 463 }
 464
 465 sub _load_modules($) {
 466
 467     my $path = shift;
 468
 469     foreach (keys(%INC)) {
 470         if ($INC{$_} =~ m|^$path|) {
 471             write_debug("Removing %s from \$INC", $_);
 472             delete($INC{$_});
 473         }
 474     }
 475     @grabbers = ploader($path, '.*Grabber\.pm$', 'grabber');
 476     @getters = ploader($path, '.*Getter\.pm$', 'getter');
 477 }
 478
 479
 480 sub init_videosite {
 481
 482     my $bindings = shift;
 483     my $p;
 484
 485     unless(-r $conffile && defined($conf = XML::Simple::XMLin($conffile, ForceArray => ['config', 'option'], KeepRoot => 1, KeyAttr => {'config' => 'module', 'option' => 'key'}))) {
 486         # No config, start with an empty one
 487         write_debug('No config found, using defaults');
 488         $conf = { 'videosite' => { }};
 489     }
 490     foreach (keys(%{$PARAMS})) {
 491         unless (exists($conf->{'videosite'}->{$_})) {
 492             $conf->{'videosite'}->{$_} = $PARAMS->{$_};
 493         }
 494     }
 495
 496     _load_modules($plugindir);
 497
 498     unless (defined(@grabbers) && defined(@getters)) {
 499         write_irssi('No grabbers or no getters found, can not proceed.');
 500         return;
 501     }
 502
 503     $getter = $getters[0];
 504     foreach $p (@getters) {
 505         if ($conf->{'videosite'}->{'getter'} eq $p->{'NAME'}) {
 506             $getter = $p;
 507         }
 508     }
 509     write_debug('Selected %s as getter', $getter->{'NAME'});
 510     $conf->{'videosite'}->{'getter'} = $getter->{'NAME'};
 511
 512     # Loop through all plugins and load the config
 513     foreach $p (@grabbers, @getters) {
 514         $conf->{'videosite'}->{'config'}->{$p->{'NAME'}} = $p->mergeconfig($conf->{'videosite'}->{'config'}->{$p->{'NAME'}});
 515     }
 516
 517     if ($bindings) {
 518
 519         Irssi::signal_add_first('command script load', 'sig_command_script_unload');
 520         Irssi::signal_add_first('command script unload', 'sig_command_script_unload');
 521         Irssi::signal_add('setup saved', 'cmd_save');
 522
 523
 524         Irssi::command_bind(_bcb('videosite' => \&cmdhandler));
 525     }
 526
 527     write_irssi('initialized successfully');
 528 }
 529
 530 sub sig_complete {
 531     my ($complist, $window, $word, $linestart, $want_space) = @_;
 532     my @matches;
 533
 534     if ($linestart !~ m|^/videosite\b|) {
 535         return;
 536     }
 537
 538     if ('/videosite' eq $linestart) {
 539         # No command enterd so far. Produce a list of possible follow-ups
 540         @matches = grep {/^$word/} keys (%{$videosite_commands});
 541     } elsif ('/videosite set' eq $linestart) {
 542         # 'set' command entered. Produce a list of modules
 543         foreach (@grabbers, @getters) {
 544             push(@matches, $_->{'NAME'}) if $_->{'NAME'} =~ m|^$word|;
 545         };
 546     } elsif ($linestart =~ m|^/videosite set (\w+)$|) {
 547         my $module = $1;
 548
 549         foreach my $p (@getters, @grabbers) {
 550             if ($p->{'NAME'} eq $module) {
 551                 @matches = $p->getparamlist($word);
 552                 last;
 553             }
 554         }
 555     } elsif ($linestart =~ m|/videosite set (\w+) (\w+)$|) {
 556         my $module = $1;
 557         my $param = $2;
 558
 559         foreach my $p (@getters, @grabbers) {
 560             if ($p->{'NAME'} eq $module) {
 561                 @matches = $p->getparamvalues($param, $word);
 562                 last;
 563             }
 564         }
 565     }
 566
 567
 568     push(@{$complist}, sort @matches);
 569     ${$want_space} = 0;
 570
 571     Irssi::signal_stop();
 572 }
 573
 574 sub cmdhandler {
 575     my $event = shift;
 576     my ($cmd, @params) = split(/\s+/, $event->message());
 577
 578     push_output($event->ewpf);
 579
 580     if (exists($videosite_commands->{$cmd})) {
 581         $videosite_commands->{$cmd}->(@params);
 582     }
 583
 584     pop_output();
 585 }
 586
 587 unshift(@INC, $scriptdir);
 588 init_videosite(1);