Youtube: Simplify regex for scraping
[videosite.git] / videosite / AsyncWgetFileGetter.pm
1 # (c) 2007 by Ralf Ertzinger <ralf@camperquake.de>
2 #     2008-2009,2011-2012 by Christian Garbs <mitch@cgarbs.de>
3 #     2010 by Maximilian Rehkopf <otakon@gmx.net>
4 #
5 # licensed under GNU GPL v2
6 #
7 # A getter which will download the media to a local file storage
8 # in the background using wget
9 #
10
11 package videosite::AsyncWgetFileGetter;
12
13 use videosite::FileGetter;
14 @ISA = qw(videosite::FileGetter);
15
16 use strict;
17 use File::Basename;
18 use File::Temp qw(tempfile);
19 use MIME::Base64;
20
21 sub new {
22     my $class = shift;
23     my $self = $class->SUPER::new();
24
25     $self->{'NAME'} = 'asyncwgetfilegetter';
26
27     bless($self, $class);
28     $self->_prepare_parameters();
29
30     return $self;
31 }
32
33 sub get {
34     my $self = shift;
35     my $video = shift;
36     my $dlfile;
37     my $dirname;
38     my $cookie = "";
39     my $useragent = "--user-agent=Mozilla/5.0";
40
41     $dlfile = sprintf($self->_getval('FILEPATTERN'),
42         $self->_encode($video->{'SOURCE'}),
43         $self->_encode($video->{'ID'}),
44         $self->_encode($video->{'TITLE'}),
45         $self->_encode($video->{'DLURL'}),
46         $self->_encode($video)->{'URL'});
47
48     $dlfile =~ s/([\\"])/\\$1/g;
49
50     $dirname = dirname($dlfile);
51     if ($self->_diskfree($dirname) < $self->_getval('MINFREE')) {
52         $self->error("Not enough free space to download");
53         return 0;
54     }
55
56     $self->debug('Going to download %s to %s', $video->{'DLURL'}, $dlfile);
57
58     my (undef, $tmpfile) = tempfile('videosite.tmp.XXXXXXXXXXXX', DIR => $dirname);
59
60     my %saved_env;
61     
62     if (exists($video->{'CONNECTOR'})) {
63         my $schemas = $video->{'CONNECTOR'}->{'schemas'};
64         foreach my $schemakey(keys(%{$schemas})) {
65             $self->debug("Setting %s_proxy to %s", $schemakey, $schemas->{$schemakey});
66             my $envkey = $schemakey.'_proxy';
67             $saved_env{ $envkey } = $ENV{ $envkey };
68             $ENV{ $envkey } = $schemas->{$schemakey};
69         }
70     }
71     
72     $cookie = "--header=\"Cookie: $video->{'COOKIE'}\"" if (defined $video->{'COOKIE'});
73     my $cmdline = "( wget -q -O\"$tmpfile\" $useragent $cookie \"$video->{'DLURL'}\" && mv \"$tmpfile\" \"$dlfile\" && chmod =rw \"$dlfile\" && touch \"$dlfile\" || rm -f \"$tmpfile\" ) &";
74     $self->debug("Going to execute: %s", $cmdline);
75     system($cmdline);
76
77     # restore environment
78     foreach my $envkey (keys %saved_env) {
79         $self->debug("Restoring environment: %s=%s", $envkey, $saved_env{ $envkey} );
80         $ENV{ $envkey } = $saved_env{ $envkey };
81     }
82
83     return 1;
84 }