gather.py

   1 #!/usr/bin/env python
   2 # -*- encoding: utf-8 -*-
   3
   4 """ Module chargé de récupérer les nouvelles choses là où il faut et de fournir
   5     le dico des derniers numéros.
   6
   7      * Une "nouvelle chose" doit fournir l'interface suivante :
   8        une fonction qui s'appelle sans argument et renvoie un entier, le dernier id
   9      * On peut avoir envie d'importer un module et de récupérer module.functions
  10        un dictionnaire id → fonctions.
  11
  12 """
  13
  14 import threading
  15 import traceback
  16 import inspect
  17 import pprint
  18
  19
  20 #: Gestion des chaînes youtube
  21 import youtube
  22
  23 #: Interface pour récupérer les quotes DTC
  24 #: essentiellement une coquille qui pointe vers la bonne fonction dans le module dtc, codé par ailleurs
  25 import lastdtc
  26
  27 #: Récupération des webcomics
  28 import comics
  29
  30 #: Récupération des sagas MP3
  31 import sagas
  32
  33 #: Récupération des tumblr
  34 import tumblr
  35
  36 GATHERING_MODULES = [youtube, lastdtc, comics, sagas, tumblr]
  37
  38 def generate_errmsg(id):
  39     errmsg = "Erreur à la récupération de %s :\n" % id
  40     errmsg += traceback.format_exc()
  41     # On dumpe le contenu local de la mémoire au moment de l'exception
  42     fobj = inspect.trace()[-1][0]
  43     # On fait un peu de ménage
  44     d = {k:v for (k,v) in fobj.f_locals.iteritems() if not k.startswith("_")}
  45     # On évite d'envoyer truckLoadsOfShit
  46     d = {k: (v if len(str(v)) < 800
  47              else str(v)[:400] + "*" * 40 + "TRUNCATED OBJECT" + "*" * 40 + str(v)[-400:])
  48          for (k,v) in d.iteritems()}
  49     errmsg += "\nContexte : %s\n\n" % (pprint.pformat(d))
  50     return errmsg
  51
  52 def get_storer(key_id, parser):
  53     global results
  54     """ Encapsuleur. Renvoie une fonction qui, une fois appelée, stockera le résultat
  55         de ``parser()`` dans ``results[key_id]``, ``results`` étant global. """
  56     def local_storer():
  57         # On prend soin de ne pas crasher
  58         try:
  59             results[key_id] = parser()
  60         except Exception as e:
  61             # et d'afficher du debugging en cas de problème
  62             print generate_errmsg(key_id)
  63     return local_storer
  64
  65 def gather():
  66     global results
  67     functions = {}
  68     for mod in GATHERING_MODULES:
  69         functions.update(mod.functions)
  70
  71     # On convertit les fonctions en storers
  72     functions = {id : get_storer(id, parser) for (id, parser) in functions.items()}
  73
  74     results = {}
  75     threads = []
  76     for (id, f) in functions.items():
  77         newthread = threading.Thread(name="retrieving-%s" % id, target = f)
  78         newthread.start()
  79         threads.append(newthread)
  80
  81     # On attend que tout le monde ait renvoyé son résultat
  82     [t.join() for t in threads]
  83
  84     return results
  85
  86 if __name__ == "__main__":
  87     print gather()