Youtube: new video formats, again
[videosite.git] / videosite.pl
1 # autodownload flash videos
2 #
3 # (c) 2007-2008 by Ralf Ertzinger <ralf@camperquake.de>
4 # licensed under GNU GPL v2
5 #
6 # Based on youtube.pl by Christian Garbs <mitch@cgarbs.de>
7 # which in turn is
8 # based on trigger.pl by Wouter Coekaerts <wouter@coekaerts.be>
9
10
11 BEGIN {
12     # Get rid of a (possibly old) version of BettIrssi
13     # This is a hack to prevent having to reload irssi just
14     # because BettIrssi.pm changed
15
16     delete($INC{'BettIrssi.pm'});
17 }
18
19 use strict;
20 use Irssi 20020324 qw (command_bind command_runsub signal_add_first signal_add_last);
21 use vars qw($VERSION %IRSSI);
22 use XML::Simple;
23 use Data::Dumper;
24 use File::Spec;
25 use File::Temp qw(tempfile);
26 use BettIrssi 101 qw(_bcb _bcs);
27 use LWP::UserAgent;
28
29 my @grabbers;
30 my @getters;
31 my $getter;
32 my $conf;
33 my $conffile = File::Spec->catfile(Irssi::get_irssi_dir(), 'videosite.xml');
34 my $scriptdir = File::Spec->catfile(Irssi::get_irssi_dir(), 'scripts');
35 my $plugindir = File::Spec->catfile($scriptdir, 'videosite');
36 my @outputstack = (undef);
37
38 my $PARAMS = {
39     'getter' => '',
40     'mode' => 'download',
41     'connectorlist' => ['direct'],
42     'connectors' => {},
43 };
44
45
46 # activate debug here
47 my $debug = 0;
48
49 # "message public", SERVER_REC, char *msg, char *nick, char *address, char *target
50 signal_add_last(_bcs("message public" => sub {check_for_link(@_)}));
51 # "message own_public", SERVER_REC, char *msg, char *target
52 signal_add_last(_bcs("message own_public" => sub {check_for_link(@_)}));
53
54 # "message private", SERVER_REC, char *msg, char *nick, char *address
55 signal_add_last(_bcs("message private" => sub {check_for_link(@_)}));
56 # "message own_private", SERVER_REC, char *msg, char *target, char *orig_target
57 signal_add_last(_bcs("message own_private" => sub {check_for_link(@_)}));
58
59 # "message irc action", SERVER_REC, char *msg, char *nick, char *address, char *target
60 signal_add_last(_bcs("message irc action" => sub {check_for_link(@_)}));
61 # "message irc own_action", SERVER_REC, char *msg, char *target
62 signal_add_last(_bcs("message irc own_action" => sub {check_for_link(@_)}));
63
64 # For tab completion
65 # This does not use BettIrssi (yet)
66 signal_add_first('complete word', \&sig_complete);
67
68 sub push_output {
69     unshift(@outputstack, shift);
70 }
71
72 sub pop_output {
73     shift(@outputstack);
74
75     @outputstack = (undef) unless (@outputstack);
76 }
77
78 my $videosite_commands = {
79     'save' => sub {
80         cmd_save();
81     },
82
83     'set' => sub {
84         cmd_set(@_);
85     },
86     
87     'show' => sub {
88         cmd_show(@_);
89     },
90
91     'help' => sub {
92         cmd_help(@_);
93     },
94
95     'getter' => sub {
96         cmd_getter(@_);
97     },
98
99     'enable' => sub {
100         cmd_enable(@_);
101     },
102
103     'disable' => sub {
104         cmd_disable(@_);
105     },
106
107     'reload' => sub {
108         init_videosite(0);
109     },
110
111     'mode' => sub {
112         cmd_mode(@_);
113     },
114
115     'connector' => sub {
116         cmd_connector(@_);
117     },
118
119     'debug' => sub {
120         $debug = 1;
121         foreach (@grabbers, @getters) {
122             $_->setdebug(1);
123         }
124         write_irssi('Enabled debugging');
125     },
126
127     'nodebug' => sub {
128         $debug = 0;
129         foreach (@grabbers, @getters) {
130             $_->setdebug(0);
131         }
132         write_irssi('Disabled debugging');
133     },
134 };
135
136 sub write_irssi {
137     my @text = @_;
138     my $output = $outputstack[0];
139
140     my $format = "%%mvideosite: %%n" . shift(@text);
141
142     # escape % in parameters from irssi
143     s/%/%%/g foreach @text;
144
145     if (defined $output) {
146         $output->(sprintf($format, @text), MSGLEVEL_CLIENTCRAP);
147     } else {
148         Irssi::print(sprintf($format, @text));
149     }
150
151 }
152
153 sub write_debug {
154     if ($debug) {
155         write_irssi(@_);
156     }
157 }
158
159 sub expand_url_shortener {
160     my $s = shift;
161     my $os = '';
162     my @urlshortener = (
163         'is\.gd/[[:alnum:]]+',
164         'otf\.me/[[:alnum:]]+',
165         'hel\.me/[[:alnum:]]+',
166         '7ax\.de/[[:alnum:]]+',
167         'ow\.ly/[[:alnum:]]+',
168         'j\.mp/[[:alnum:]]+',
169         'bit\.ly/[[:alnum:]]+',
170         'tinyurl\.com/[[:alnum:]]+',
171         'pop\.is/[[:alnum:]]+',
172         'post\.ly/[[:alnum:]]+',
173         '1\.ly/[[:alnum:]]+',
174         '2\.ly/[[:alnum:]]+',
175         't\.co/[[:alnum:]]+',
176         'shar\.es/[[:alnum:]]+',
177         'goo\.gl/[[:alnum:]]+',
178         );
179     my $ua = LWP::UserAgent->new(agent => 'Mozilla', max_redirect => 0);
180     my $i = 10;
181
182     OUTER: while (($os ne $s) and ($i > 0)) {
183         study($s);
184         $os = $s;
185         $i--;
186
187         foreach my $pattern (@urlshortener) {
188             my $p = "https?:\/\/" . $pattern;
189
190             write_debug("Matching %s against %s", $p, $s);
191             if ($s =~ m|($p)|) {
192                 my $matched = $1;
193                 my $res;
194
195                 write_debug("Found %s", $matched);
196                 $res = $ua->head($matched);
197                 if ($res->is_redirect()) {
198                     my $new = $res->headers()->header("Location");
199
200                     write_debug("Replacing %s with %s", $matched, $new);
201                     $s =~ s/$matched/$new/;
202                     next OUTER;
203                 } else {
204                     write_debug("Error resolving %s", $matched);
205                 }
206             }
207         }
208     }
209
210     if ($i == 0) {
211         write_debug("Loop terminated by counter");
212     }
213
214     write_debug("Final string: %s", $s);
215
216     return $s;
217 }
218
219 sub connectorlist {
220     my @c;
221
222     foreach (@{$conf->{'videosite'}->{'connectorlist'}}) {
223         push(@c, $conf->{'videosite'}->{'connectors'}->{$_});
224     }
225
226     return @c;
227 }
228
229
230 sub check_for_link {
231     my $event = shift;
232     my $message = $event->message();
233     my $witem = $event->channel();
234     my $g;
235     my $m;
236     my $p;
237
238
239     # Look if we should ignore this line
240     if ($message =~ m,(?:\s|^)/nosave(?:\s|$),) {
241         return;
242     }
243
244     push_output($event->ewpf);
245     $message = expand_url_shortener($message);
246
247     study($message);
248
249     # Offer the message to all Grabbers in turn
250     GRABBER: foreach $g (@grabbers) {
251         ($m, $p) = $g->get($message);
252         while (defined($m)) {
253             write_debug('Metadata: %s', Dumper($m));
254             if ('download' eq ($conf->{'videosite'}->{'mode'})) {
255                 write_irssi('%%R>>> %%NSaving %%Y%s%%N %%G%s', $m->{'SOURCE'}, $m->{'TITLE'});
256                 unless($getter->get($m)) {
257                     write_irssi('%%R>>> FAILED');
258                 }
259             } elsif ('display' eq ($conf->{'videosite'}->{'mode'})) {
260                 write_irssi('%%M>>> %%NSaw %%Y%s%%N %%G%s', $m->{'SOURCE'}, $m->{'TITLE'});
261             } else {
262                 write_irssi('%%R>>> Invalid operation mode');
263             }
264
265             # Remove the matched part from the message and try again (there may be
266             # more!)
267             $message =~ s/$p//;
268             study($message);
269             last GRABBER if ($message =~ /^\s*$/);
270
271             ($m, $p) = $g->get($message);
272         }
273     }
274
275     pop_output();
276 }
277
278 sub cmd_save {
279
280
281     eval {
282         my ($tempfile, $tempfn) = tempfile("videosite.xml.XXXXXX", dir => Irssi::get_irssi_dir());
283         print $tempfile XML::Simple::XMLout($conf, KeepRoot => 1, KeyAttr => {'connector' => '+name', 'config' => 'module', 'option' => 'key'});
284         close($tempfile);
285         rename($tempfn, $conffile);
286     };
287     if ($@) {
288         write_irssi('Could not save config to %s: %s', ($conffile, $@));
289     } else {
290         write_irssi('configuration saved to %s', $conffile);
291     }
292 }
293
294 sub cmd_set {
295     my $target = shift;
296     my $key = shift;
297     my $val = shift;
298     my $p;
299
300     foreach $p (@getters, @grabbers) {
301         if ($p->{'NAME'} eq $target) {
302             $p->setval($key, $val);
303             return;
304         }
305     }
306     write_irssi('No such module');
307 }
308
309
310 sub cmd_enable {
311     my $target = shift;
312     my $p;
313
314     foreach $p (@grabbers) {
315         if ($p->{'NAME'} eq $target) {
316             $p->enable();
317             return;
318         }
319     }
320     write_irssi('No such module');
321 }
322
323
324 sub cmd_disable {
325     my $target = shift;
326     my $p;
327
328     foreach $p (@grabbers) {
329         if ($p->{'NAME'} eq $target) {
330             $p->disable();
331             return;
332         }
333     }
334     write_irssi('No such module');
335 }
336
337
338 sub cmd_show {
339     my $target = shift;
340     my $p;
341     my $e;
342
343     if (defined($target)) {
344         foreach $p (@getters, @grabbers) {
345             if ($p->{'NAME'} eq $target) {
346                 write_irssi($p->getconfstr());
347                 return;
348             }
349         }
350         write_irssi('No such module');
351     } else {
352         write_irssi('Loaded grabbers (* denotes enabled modules):');
353         foreach $p (@grabbers) {
354             $e = $p->_getval('enabled');
355             write_irssi(' %s%s', $p->{'NAME'}, $e?'*':'');
356         };
357
358         write_irssi('Loaded getters:');
359         foreach $p (@getters) {
360             write_irssi(' %s', $p->{'NAME'});
361         };
362     }
363 }
364
365 sub cmd_help {
366     my $target = shift;
367     my $p;
368
369     if (defined($target)) {
370         foreach $p (@getters, @grabbers) {
371             if ($p->{'NAME'} eq $target) {
372                 write_irssi($p->gethelpstr());
373                 return;
374             }
375         }
376         write_irssi('No such module');
377     } else {
378         write_irssi(<<'EOT');
379 Supported commands:
380  save: save the current configuration
381  help [modulename]: display this help, or module specific help
382  show [modulename]: show loaded modules, or the current parameters of a module
383  set modulename parameter value: set a module parameter to a new value
384  getter [modulename]: display or set the getter to use
385  enable [modulename]: enable the usage of this module (grabbers only)
386  disable [modulename]: disable the usage of this module (grabbers only)
387  reload: reload all modules (this is somewhat experimental)
388  mode [modename]: display or set the operation mode (download/display)
389  connector [subcommand]: manage connectors (proxies)
390  debug: enable debugging messages
391  nodebug: disable debugging messages
392 EOT
393     }
394 }
395
396 sub cmd_getter {
397     my $target = shift;
398     my $p;
399
400     if (defined($target)) {
401         foreach $p (@getters) {
402             if ($p->{'NAME'} eq $target) {
403                 $getter = $p;
404                 $conf->{'videosite'}->{'getter'} = $target;
405                 write_irssi("Getter changed to %s", $target);
406                 return;
407             }
408         }
409         write_irssi('No such getter');
410     } else {
411         write_irssi('Current getter: %s', $conf->{'videosite'}->{'getter'});
412     }
413 }
414
415 sub cmd_mode {
416     my $mode = shift;
417
418     if (defined($mode)) {
419         $mode = lc($mode);
420         if (('download' eq $mode) or ('display' eq $mode)) {
421             $conf->{'videosite'}->{'mode'} = $mode;
422             write_irssi('Now using %s mode', $mode);
423         } else {
424             write_irssi('Invalid mode: %s', $mode);
425         }
426     } else {
427         write_irssi('Current mode: %s', $conf->{'videosite'}->{'mode'});
428     }
429 }
430
431 sub cmd_connector {
432     my $subcmd = shift;
433     my $connconf = $conf->{'videosite'}->{'connectors'};
434
435     unless(defined($subcmd)) {
436         $subcmd = "help";
437     }
438
439     $subcmd = lc($subcmd);
440
441     if ($subcmd eq 'list') {
442         write_irssi("Defined connectors");
443         foreach (keys(%{$connconf})) {
444             write_irssi($_);
445             my $schemas = $connconf->{$_}->{'schemas'};
446             if (scalar(keys(%{$schemas})) == 0) {
447                 write_irssi(" No schemas defined");
448             } else {
449                 foreach (keys(%{$schemas})) {
450                     write_irssi(' %s: %s', $_, $schemas->{$_});
451                 }
452             }
453         }
454
455         write_irssi();
456         write_irssi("Selected connectors: %s", join(", ", @{$conf->{'videosite'}->{'connectorlist'}}));
457     } elsif ($subcmd eq 'add') {
458         my ($name) = @_;
459
460         unless(defined($name)) {
461             write_irssi("No name given");
462             return;
463         }
464
465         $name = lc($name);
466
467         if (exists($connconf->{$_})) {
468             write_irssi("Connector already exists");
469             return;
470         }
471
472         $connconf->{$name} = {'name' => $name, 'schemas' => {}};
473     } elsif ($subcmd eq 'del') {
474         my ($name) = @_;
475
476         unless(defined($name)) {
477             write_irssi("No name given");
478             return;
479         }
480
481         $name = lc($name);
482
483         if ($name eq 'direct') {
484             write_irssi("Cannot remove direct connector");
485             return;
486         }
487
488         unless (exists($connconf->{$_})) {
489             write_irssi("Connector does not exist");
490             return;
491         }
492
493         delete($connconf->{$name});
494
495         # Remove from list of active connectors
496         $conf->{'videosite'}->{'connectorlist'} =
497             [ grep { $_ ne $name } @{$conf->{'videosite'}->{'connectorlist'}} ];
498
499         if (scalar(@{$conf->{'videosite'}->{'connectorlist'}}) == 0) {
500             write_irssi("List of selected connectors is empty, resetting to direct");
501             $conf->{'videosite'}->{'connectorlist'} = [ 'direct' ];
502         }
503     } elsif ($subcmd eq 'addschema') {
504         my ($conn, $schema, $proxy) = @_;
505
506         unless(defined($conn)) {
507             write_irssi("No connector name given");
508             return;
509         }
510
511         $conn = lc($conn);
512
513         if ($conn eq 'direct') {
514             write_irssi("Connector is not modifiable");
515             return;
516         }
517
518         unless(defined($schema)) {
519             write_irssi("No schema given");
520             return;
521         }
522
523         $schema = lc($schema);
524
525         unless(defined($proxy)) {
526             write_irssi("No proxy given");
527             return;
528         }
529
530         unless(exists($connconf->{$conn})) {
531             write_irssi("Connector does not exist");
532             return;
533         }
534
535         $connconf->{$conn}->{'schemas'}->{$schema} = $proxy;
536     } elsif ($subcmd eq 'delschema') {
537         my ($conn, $schema) = @_;
538
539         unless(defined($conn)) {
540             write_irssi("No connector name given");
541             return;
542         }
543
544         $conn = lc($conn);
545
546         if ($conn eq 'direct') {
547             write_irssi("Connector is not modifiable");
548             return;
549         }
550
551         unless(defined($schema)) {
552             write_irssi("No schema given");
553             return;
554         }
555
556         $schema = lc($schema);
557
558         unless(exists($connconf->{$conn})) {
559             write_irssi("Connector does not exist");
560             return;
561         }
562
563         delete($connconf->{$conn}->{'schemas'}->{$schema});
564     } elsif ($subcmd eq 'select') {
565         my @connlist = map { lc } @_;
566
567         if (scalar(@connlist) == 0) {
568             write_irssi("No connectors given");
569             return;
570         }
571
572         foreach (@connlist) {
573             unless(exists($connconf->{$_})) {
574                 write_irssi("Connector %s does not exist", $_);
575                 return;
576             }
577         }
578
579         $conf->{'videosite'}->{'connectorlist'} = [ @connlist ];
580     } else {
581         write_irssi("connector [list|add|del|addschema|delschema|help] <options>");
582         write_irssi(" help: Show this help");
583         write_irssi(" list: List the defined connectors");
584         write_irssi(" add <name>: Add a connector with name <name>");
585         write_irssi(" del <name>: Delete the connector with name <name>");
586         write_irssi(" addschema <name> <schema> <proxy>: Add proxy to connector for the given schema");
587         write_irssi(" delschema <name> <schema>: Remove the schema from the connector");
588         write_irssi(" select <name> [<name>...]: Select the connectors to use");
589     }
590 }
591
592
593
594
595 # save on unload
596 sub sig_command_script_unload {
597     my $script = shift;
598     if ($script =~ /(.*\/)?videosite(\.pl)?$/) {
599         cmd_save();
600     }
601 }
602
603 sub ploader {
604
605     my $dir = shift;
606     my $pattern = shift;
607     my $type = shift;
608     my @list;
609     my $p;
610     my $g;
611     my @g = ();
612
613     opendir(D, $dir) || return ();
614     @list = grep {/$pattern/ && -f File::Spec->catfile($dir, $_) } readdir(D);
615     closedir(D);
616
617     foreach $p (@list) {
618         write_debug("Trying to load $p:");
619         $p =~ s/\.pm$//;
620         eval qq{ require videosite::$p; };
621         if ($@) {
622             write_irssi("Failed to load plugin: $@");
623             next;
624         }
625
626         $g = eval qq{ videosite::$p->new(); };
627         if ($@) {
628             write_irssi("Failed to instanciate: $@");
629             delete($INC{$p});
630             next;
631         }
632
633         write_debug("found $g->{'TYPE'} $g->{'NAME'}");
634         if ($type eq $g->{'TYPE'}) {
635             push(@g, $g);
636             $g->setio(\&write_irssi);
637             $g->setconn(\&connectorlist);
638         } else {
639             write_irssi('%s has wrong type (got %s, expected %s)', $p, $g->{'TYPE'}, $type);
640             delete($INC{$p});
641         }
642     }
643
644     write_debug("Loaded %d plugins", $#g+1);
645     
646     return @g;
647 }
648
649 sub _load_modules($) {
650
651     my $path = shift;
652
653     foreach (keys(%INC)) {
654         if ($INC{$_} =~ m|^$path|) {
655             write_debug("Removing %s from \$INC", $_);
656             delete($INC{$_});
657         }
658     }
659     @grabbers = ploader($path, '.*Grabber\.pm$', 'grabber');
660     @getters = ploader($path, '.*Getter\.pm$', 'getter');
661 }
662
663
664 sub init_videosite {
665
666     my $bindings = shift;
667     my $p;
668
669     unless(-r $conffile && defined($conf = XML::Simple::XMLin($conffile, ForceArray => ['config', 'option', 'connectorlist'], KeepRoot => 1, KeyAttr => {'connector' => '+name', 'config' => 'module', 'option' => 'key'}))) {
670         # No config, start with an empty one
671         write_debug('No config found, using defaults');
672         $conf = { 'videosite' => { }};
673     }
674     foreach (keys(%{$PARAMS})) {
675         unless (exists($conf->{'videosite'}->{$_})) {
676             $conf->{'videosite'}->{$_} = $PARAMS->{$_};
677         }
678     }
679
680     # Make sure there is a connector called 'direct', which defines no
681     # proxies
682     unless (exists($conf->{'videosite'}->{'connectors'}->{'direct'})) {
683         $conf->{'videosite'}->{'connectors'}->{'direct'} = {
684                 'name' => 'direct',
685                 'schemas' => {},
686         };
687     }
688
689     _load_modules($plugindir);
690
691     unless (defined(@grabbers) && defined(@getters)) {
692         write_irssi('No grabbers or no getters found, can not proceed.');
693         return;
694     }
695
696     $getter = $getters[0];
697     foreach $p (@getters) {
698         if ($conf->{'videosite'}->{'getter'} eq $p->{'NAME'}) {
699             $getter = $p;
700         }
701     }
702     write_debug('Selected %s as getter', $getter->{'NAME'});
703     $conf->{'videosite'}->{'getter'} = $getter->{'NAME'};
704
705     # Loop through all plugins and load the config
706     foreach $p (@grabbers, @getters) {
707         $conf->{'videosite'}->{'config'}->{$p->{'NAME'}} = $p->mergeconfig($conf->{'videosite'}->{'config'}->{$p->{'NAME'}});
708     }
709
710     if ($bindings) {
711
712         Irssi::signal_add_first('command script load', 'sig_command_script_unload');
713         Irssi::signal_add_first('command script unload', 'sig_command_script_unload');
714         Irssi::signal_add('setup saved', 'cmd_save');
715
716
717         Irssi::command_bind(_bcb('videosite' => \&cmdhandler));
718     }
719
720     write_irssi('initialized successfully');
721 }
722
723 sub sig_complete {
724     my ($complist, $window, $word, $linestart, $want_space) = @_;
725     my @matches;
726
727     if ($linestart !~ m|^/videosite\b|) {
728         return;
729     }
730
731     if ('/videosite' eq $linestart) {
732         # No command enterd so far. Produce a list of possible follow-ups
733         @matches = grep {/^$word/} keys (%{$videosite_commands});
734     } elsif ('/videosite set' eq $linestart) {
735         # 'set' command entered. Produce a list of modules
736         foreach (@grabbers, @getters) {
737             push(@matches, $_->{'NAME'}) if $_->{'NAME'} =~ m|^$word|;
738         };
739     } elsif ($linestart =~ m|^/videosite set (\w+)$|) {
740         my $module = $1;
741
742         foreach my $p (@getters, @grabbers) {
743             if ($p->{'NAME'} eq $module) {
744                 @matches = $p->getparamlist($word);
745                 last;
746             }
747         }
748     } elsif ($linestart =~ m|/videosite set (\w+) (\w+)$|) {
749         my $module = $1;
750         my $param = $2;
751
752         foreach my $p (@getters, @grabbers) {
753             if ($p->{'NAME'} eq $module) {
754                 @matches = $p->getparamvalues($param, $word);
755                 last;
756             }
757         }
758     }
759
760
761     push(@{$complist}, sort @matches);
762     ${$want_space} = 0;
763
764     Irssi::signal_stop();
765 }
766
767 sub cmdhandler {
768     my $event = shift;
769     my ($cmd, @params) = split(/\s+/, $event->message());
770
771     push_output($event->ewpf);
772
773     if (exists($videosite_commands->{$cmd})) {
774         $videosite_commands->{$cmd}->(@params);
775     }
776
777     pop_output();
778 }
779
780 unshift(@INC, $scriptdir);
781 init_videosite(1);