]> gitweb.pimeys.fr Git - today.git/blob - gather.py
début de modularisation
[today.git] / gather.py
1 #!/usr/bin/env python
2 # -*- encoding: utf-8 -*-
3
4 """ Module chargé de récupérer les nouvelles choses là où il faut et de fournir
5 le dico des derniers numéros """
6
7 import threading
8 import traceback
9 import inspect
10 import pprint
11 #: Gestion des chaînes youtube
12 import youtube
13
14
15 def generate_errmsg(id):
16 errmsg = "Erreur à la récupération de %s :\n" % id
17 errmsg += traceback.format_exc()
18 # On dumpe le contenu local de la mémoire au moment de l'exception
19 fobj = inspect.trace()[-1][0]
20 # On fait un peu de ménage
21 d = {k:v for (k,v) in fobj.f_locals.iteritems() if not k.startswith("_")}
22 # On évite d'envoyer truckLoadsOfShit
23 d = {k: (v if len(str(v)) < 800
24 else str(v)[:400] + "*" * 40 + "TRUNCATED OBJECT" + "*" * 40 + str(v)[-400:])
25 for (k,v) in d.iteritems()}
26 errmsg += "\nContexte : %s\n\n" % (pprint.pformat(d))
27 return errmsg
28
29 def get_storer(key_id, parser):
30 global results
31 """ Encapsuleur. Renvoie une fonction qui, une fois appelée, stockera le résultat
32 de ``parser()`` dans ``results[key_id]``, ``results`` étant global. """
33 def local_storer():
34 # On prend soin de ne pas crasher
35 try:
36 results[key_id] = parser()
37 except Exception as e:
38 # et d'afficher du debugging en cas de problème
39 print generate_errmsg(key_id)
40 return local_storer
41
42 def gather():
43 global results
44 functions = {}
45 functions.update(youtube.functions)
46
47 # On convertit les fonctions en storers
48 functions = {id : get_storer(id, parser) for (id, parser) in functions.items()}
49
50 results = {}
51 threads = []
52 for (id, f) in functions.items():
53 newthread = threading.Thread(name="retrieving-%s" % id, target = f)
54 newthread.start()
55 threads.append(newthread)
56
57 # On attend que tout le monde ait renvoyé son résultat
58 [t.join() for t in threads]
59
60 return results
61
62 if __name__ == "__main__":
63 print gather()