]> gitweb.pimeys.fr Git - today.git/blob - youtube.py
Dehardcoding du path vers dtc.py
[today.git] / youtube.py
1 #!/usr/bin/python
2 # -*- encoding: utf-8 -*-
3
4 """ Gestion des chaînes Youtube """
5
6 import re
7 from lxml import etree
8 import urllib
9
10 # Config serveur
11 import serverconfig
12
13 def parse_youtube(username, regexp=None, length=False):
14 """Récupère les vidéos d'une chaîne Youtube"""
15 link = "https://gdata.youtube.com/feeds/api/users/%s/uploads?start-index=1&max-results=50" % (username,)
16 entries = []
17 while link:
18 p = urllib.urlopen(link)
19 t = p.read()
20 x = etree.fromstring(t)
21 # lxml ne supporte pas les namespaces vides dans les requêtes XPath
22 ns = x.nsmap
23 ns["default"] = ns[None]
24 ns.pop(None)
25 # Il y a potentiellement une suite
26 nextlinks = x.xpath("//default:link[@rel='next']", namespaces=ns)
27 if nextlinks:
28 link = nextlinks[0].attrib["href"]
29 else:
30 link = False
31 localentries = x.xpath("//default:entry", namespaces=ns)
32 entries.extend(localentries)
33 titles = [e.xpath(".//default:title", namespaces=ns)[0].text for e in entries]
34 if not regexp is None: # On ne garde que les titres qui matchent la regexp
35 titles = [t for t in titles if re.match(regexp, t)]
36 if length: # On n'est intéressés que par le nombre
37 titles = len(titles)
38 return titles
39
40 def load_channels():
41 """Récupère les chaînes à surveiller à partir du fichier de conf."""
42 with open(serverconfig.youtube_channels_file) as f:
43 channels = [l.strip("\n") for l in f.readlines()]
44 channels = [l for l in channels if not (l.startswith("#") or l.strip() == "")]
45 channels = [l.split("\t") for l in channels]
46 # Il peut y avoir plusieurs tabulations de suite, donc on enlève les chaînes vides
47 channels = [[i for i in l if not i == ''] for l in channels]
48 # [id, username, regexp]
49 # channels = [{"id" : l[0], "username" : l[1], "regexp" : l[2]} for l in channels]
50 return channels
51
52
53 def get_parser(username, regexp=None):
54 """ Renvoie un parseur de chaîne youtube prêt à être appelé """
55 def local_parser():
56 return parse_youtube(username, regexp, length=True)
57 return local_parser
58
59 channels = load_channels()
60 functions = {id : get_parser(username, regexp) for (id, username, regexp) in channels}