- Add bliptv grabber
authorRalf Ertzinger <sun@ryoko.camperquake.de>
Sat, 5 Jan 2008 21:02:13 +0000 (22:02 +0100)
committerRalf Ertzinger <sun@ryoko.camperquake.de>
Sat, 5 Jan 2008 21:02:13 +0000 (22:02 +0100)
- Add myvideo grabber

videosite/BlipTVGrabber.pm [new file with mode: 0644]
videosite/MyVideoGrabber.pm [new file with mode: 0644]

diff --git a/videosite/BlipTVGrabber.pm b/videosite/BlipTVGrabber.pm
new file mode 100644 (file)
index 0000000..aeda2d9
--- /dev/null
@@ -0,0 +1,94 @@
+# (c) 2007 by Ralf Ertzinger <ralf@camperquake.de>
+# licensed under GNU GPL v2
+#
+# Grabber for blip.tv
+
+package BlipTVGrabber;
+
+use GrabberBase;
+@ISA = qw(GrabberBase);
+
+use LWP::Simple qw(!get);
+use HTML::Parser;
+use XML::Simple;
+use Data::Dumper;
+
+use strict;
+
+sub new {
+    my $class = shift;
+    my $self = $class->SUPER::new();
+
+    $self->{'NAME'} = 'bliptv';
+    $self->{'PATTERNS'} = ['(http://(?:[-a-zA-Z0-9_.]+\.)*blip.tv/file/(\d+)(?:\?\S+)?)'];
+
+    bless($self, $class);
+    $self->_prepare_parameters();
+
+    return $self;
+}
+
+sub _parse {
+    my $self = shift;
+    my $url = shift;
+    my $pattern = shift;
+    my $content;
+    my $metadata = {};
+    my $p = HTML::Parser->new(api_version => 3);
+    my @accum;
+    my $e;
+    my $xml = undef;
+
+    $url =~ m|$pattern|;
+    $url = $1;
+
+    $metadata->{'URL'} = $url;
+    $metadata->{'ID'} = $2;
+    $metadata->{'TYPE'} = 'video';
+    $metadata->{'SOURCE'} = $self->{"NAME"};
+    $metadata->{'TITLE'} = undef;
+    $metadata->{'DLURL'} = undef;
+
+    unless(defined($content = LWP::Simple::get(sprintf('http://blip.tv/file/%s', $2)))) {
+        $self->error('Could not download page');
+        return undef;
+    }
+
+    $p->handler(start => \@accum, "tagname, attr");
+    $p->report_tags(qw(div));
+    $p->utf8_mode(1);
+    $p->parse($content);
+
+    # Look for the post id in the div tags
+    foreach $e (@accum) {
+        if (exists($e->[1]->{'pokkariparameters'})) {
+            if ($e->[1]->{'pokkariparameters'} =~ m|posts_id:"(\d+)"|) {
+                $xml = $1;
+            }
+        }
+    }
+
+    unless(defined($xml)) { 
+        $self->error("Could not find post id");
+        return undef;
+    }
+
+    # Download the XML file containing the stream information
+    unless(defined($content = LWP::Simple::get(sprintf('http://blip.tv/rss/flash/%s', $xml)))) {
+        $self->error('Could not download XML metadata');
+        return undef;
+    }
+
+    $xml = XML::Simple::XMLin($content, KeepRoot => 1);
+    $metadata->{'DLURL'} = $xml->{'rss'}->{'channel'}->{'item'}->{'media:group'}->{'media:content'}->{'url'};
+    $metadata->{'TITLE'} = $xml->{'rss'}->{'channel'}->{'item'}->{'media:title'};
+
+    unless(defined($metadata->{'DLURL'}) && defined($metadata->{'TITLE'})) {
+        $self->error('Could not determine download URL');
+        return undef;
+    }
+
+    return $metadata;
+}
+
+1;
diff --git a/videosite/MyVideoGrabber.pm b/videosite/MyVideoGrabber.pm
new file mode 100644 (file)
index 0000000..bd0282b
--- /dev/null
@@ -0,0 +1,87 @@
+# (c) 2007 by Ralf Ertzinger <ralf@camperquake.de>
+# licensed under GNU GPL v2
+#
+# Grabber for myvideo.de
+
+package MyVideoGrabber;
+
+use GrabberBase;
+@ISA = qw(GrabberBase);
+
+use LWP::Simple qw(!get);
+use HTML::Parser;
+use Data::Dumper;
+
+use strict;
+
+sub new {
+    my $class = shift;
+    my $self = $class->SUPER::new();
+
+    $self->{'NAME'} = 'myvideo';
+    $self->{'PATTERNS'} = ['(http://(?:[-a-zA-Z0-9_.]+\.)*myvideo.de/watch/(\d+))'];
+
+    bless($self, $class);
+    $self->_prepare_parameters();
+
+    return $self;
+}
+
+sub _parse {
+    my $self = shift;
+    my $url = shift;
+    my $pattern = shift;
+    my $content;
+    my $metadata = {};
+    my $p = HTML::Parser->new(api_version => 3);
+    my @accum;
+    my @text;
+    my $e;
+
+    $url =~ m|$pattern|;
+    $url = $1;
+
+    $metadata->{'URL'} = $url;
+    $metadata->{'ID'} = $2;
+    $metadata->{'TYPE'} = 'video';
+    $metadata->{'SOURCE'} = $self->{'NAME'};
+    $metadata->{'TITLE'} = undef;
+    $metadata->{'DLURL'} = undef;
+
+    unless(defined($content = LWP::Simple::get(sprintf('http://www.myvideo.de/watch/%s', $2)))) {
+        $self->error('Could not download %s', $url);
+        return undef;
+    }
+
+    $p->handler(start => \@accum, "tagname, attr");
+    $p->handler(text => \@text, "text");
+    $p->report_tags(qw(meta script));
+    $p->utf8_mode(1);
+    $p->parse($content);
+
+    # Look for the title in the meta tags
+    foreach $e (@accum) {
+        if ('meta' eq $e->[0]) {
+            if ('title' eq $e->[1]->{'name'}) {
+                $metadata->{'TITLE'} = $e->[1]->{'content'};
+                $metadata->{'TITLE'} =~ s/\s*-\s*MyVideo$//;
+            }
+        }
+    }
+
+    # Look for the download URL
+    foreach $e (@text) {
+        if ($e->[0] =~ m|SWFObject\(.*?\.swf\?([^\&]+)\&|) {
+            $metadata->{'DLURL'} = $1;
+        }
+    }
+
+    unless(defined($metadata->{'DLURL'}) && defined($metadata->{'TITLE'})) {
+        $self->error('Could not determine download URL');
+        return undef;
+    }
+
+    return $metadata;
+}
+
+1;