Youtube: Simplify regex for scraping
[videosite.git] / videosite / AsyncFileGetter.pm
1 # (c) 2007 by Ralf Ertzinger <ralf@camperquake.de>
2 #     2008-2009,2011-2012 by Christian Garbs <mitch@cgarbs.de>
3 #
4 # licensed under GNU GPL v2
5 #
6 # A getter which will download the media to a local file storage
7 # in the background
8 #
9
10 package videosite::AsyncFileGetter;
11
12 use videosite::FileGetter;
13 @ISA = qw(videosite::FileGetter);
14
15 use strict;
16 use LWP::Simple qw(!get);
17 use File::Basename;
18 use File::Temp qw(tempfile);
19 use MIME::Base64;
20
21 sub new {
22     my $class = shift;
23     my $self = $class->SUPER::new();
24
25     $self->{'NAME'} = 'asyncfilegetter';
26
27     bless($self, $class);
28     $self->_prepare_parameters();
29
30     return $self;
31 }
32
33 sub get {
34     my $self = shift;
35     my $video = shift;
36     my $dlfile;
37     my $dirname;
38     my $cookie = "";
39     my $useragent = "-H \"User-Agent: Mozilla/5.0\"";
40
41     $dlfile = sprintf($self->_getval('FILEPATTERN'),
42         $self->_encode($video->{'SOURCE'}),
43         $self->_encode($video->{'ID'}),
44         $self->_encode($video->{'TITLE'}),
45         $self->_encode($video->{'DLURL'}),
46         $self->_encode($video)->{'URL'});
47
48     $dlfile =~ s/([\\"])/\\$1/g;
49
50     $dirname = dirname($dlfile);
51     if ($self->_diskfree($dirname) < $self->_getval('MINFREE')) {
52         $self->error("Not enough free space to download");
53         return 0;
54     }
55
56     $self->debug('Going to download %s to %s', $video->{'DLURL'}, $dlfile);
57
58     my (undef, $tmpfile) = tempfile('videosite.tmp.XXXXXXXXXXXX', DIR => $dirname);
59
60     my %saved_env;
61     
62     if (exists($video->{'CONNECTOR'})) {
63         my $schemas = $video->{'CONNECTOR'}->{'schemas'};
64         foreach my $schemakey(keys(%{$schemas})) {
65             $self->debug("Setting %s_proxy to %s", $schemakey, $schemas->{$schemakey});
66             my $envkey = $schemakey.'_proxy';
67             $saved_env{ $envkey } = $ENV{ $envkey };
68             $ENV{ $envkey } = $schemas->{$schemakey};
69         }
70     }
71     
72     $cookie = "-H \"Cookie: $video->{'COOKIE'}\"" if (defined $video->{'COOKIE'});
73     my $cmdline = "( GET $useragent $cookie \"$video->{'DLURL'}\" > \"$tmpfile\" && mv \"$tmpfile\" \"$dlfile\" && chmod =rw \"$dlfile\" || rm -f \"$tmpfile\" ) &";
74     $self->debug(encode_base64($cmdline));
75     system($cmdline);
76
77     # restore environment
78     foreach my $envkey (keys %saved_env) {
79         $self->debug("Restoring environment: %s=%s", $envkey, $saved_env{ $envkey} );
80         $ENV{ $envkey } = $saved_env{ $envkey };
81     }
82
83     return 1;
84 }