- Add GoogleGrabber
authorRalf Ertzinger <sun@lain.camperquake.de>
Thu, 17 Apr 2008 15:19:03 +0000 (17:19 +0200)
committerRalf Ertzinger <sun@lain.camperquake.de>
Thu, 17 Apr 2008 15:19:03 +0000 (17:19 +0200)
videosite/GoogleGrabber.pm [new file with mode: 0644]

diff --git a/videosite/GoogleGrabber.pm b/videosite/GoogleGrabber.pm
new file mode 100644 (file)
index 0000000..c1fe9eb
--- /dev/null
@@ -0,0 +1,86 @@
+# (c) 2007 by Ralf Ertzinger <ralf@camperquake.de>
+# licensed under GNU GPL v2
+#
+# Grabber for video.google.com
+
+package GoogleGrabber;
+
+use GrabberBase;
+@ISA = qw(GrabberBase);
+
+use LWP::Simple qw(!get);
+use HTML::Parser;
+use Data::Dumper;
+
+use strict;
+
+sub new {
+    my $class = shift;
+    my $self = $class->SUPER::new();
+
+    $self->{'NAME'} = 'google';
+    $self->{'PATTERNS'} = ['(http://video\.google\.com/videoplay\?docid=([-\d]+))'];
+
+    bless($self, $class);
+    $self->_prepare_parameters();
+
+    return $self;
+}
+
+sub _parse {
+    my $self = shift;
+    my $url = shift;
+    my $pattern = shift;
+    my $content;
+    my $metadata = {};
+    my $p = HTML::Parser->new(api_version => 3);
+    my @accum;
+    my @text;
+    my $e;
+
+    $url =~ m|$pattern|;
+    $url = $1;
+
+    $metadata->{'URL'} = $url;
+    $metadata->{'ID'} = $2;
+    $metadata->{'TYPE'} = 'video';
+    $metadata->{'SOURCE'} = $self->{'NAME'};
+    $metadata->{'TITLE'} = undef;
+    $metadata->{'DLURL'} = undef;
+
+    unless(defined($content = LWP::Simple::get(sprintf('http://video.google.com/videoplay?docid=%s', $2)))) {
+        $self->error('Could not download %s', $url);
+        return undef;
+    }
+
+    $p->handler(start => \@accum, "tagname, attr");
+    $p->handler(text => \@text, "text");
+    $p->report_tags(qw(embed div));
+    $p->utf8_mode(1);
+    $p->parse($content);
+
+    # Look for the title in the div tags
+    foreach $e (@accum) {
+        if ('div' eq $e->[0]) {
+            if ((exists($e->[1]->{'class'})) and ('title' eq $e->[1]->{'class'})) {
+                $metadata->{'TITLE'} = $e->[1]->{'title'};
+            }
+        }
+
+        if ('embed' eq $e->[0]) {
+            if ((exists($e->[1]->{'src'})) and ($e->[1]->{'src'} =~ m|^/googleplayer.swf\?\&videoUrl=([^&]+)\&|)) {
+                $metadata->{'DLURL'} = $1;
+                $metadata->{'DLURL'} =~ s/%(..)/chr(hex($1))/ge;
+            }
+        }
+    }
+
+    unless(defined($metadata->{'DLURL'}) && defined($metadata->{'TITLE'})) {
+        $self->error('Could not determine download URL');
+        return undef;
+    }
+
+    return $metadata;
+}
+
+1;