début de modularisation

[today.git] / today_server.py

diff --git a/today_server.py b/today_server.py
index 37615d577df5e14f5907a5305e61a7650f47d6d4..ef73747f94dfa130555931a51c0ddd45a240b364 100755 (executable)
--- a/today_server.py
+++ b/today_server.py
@@ -11,22 +11,21 @@ et répondre à un check.
 """
 
 import re
-import BeautifulSoup
 from lxml import etree
 import os
 import sys
 import urllib
 import json
-import traceback
-import inspect
-import pprint
 os.chdir('/home/vincent/scripts/today/')
 sys.path.append("/home/vincent/scripts/dtc/")
 import dtc
 
-# Config serveur
+#: Config serveur
 import serverconfig
 
+#: Récupération de toutes les nouveautés
+import gather
+
 def last_dtc():
     """Vérifie si il y a des quotes DTC non lues"""
     return dtc.last_inserted()
@@ -44,98 +43,6 @@ def last_xantah():
     ids = [int(i) for i in ids]
     return max(ids)
 
-def last_visiteur():
-    p = urllib.urlopen("http://www.levisiteurdufutur.com/episodes.html")
-    t = p.read()
-    # On parse
-    soup = BeautifulSoup.BeautifulSoup(t)
-    # On récupère les différentes saisons
-    saisons = soup.findAll("div", attrs={"id" : "episodes_list"})
-    nsaisons = len(saisons)
-    # La saison en cours est la première dans la liste
-    episodes = saisons[0].findAll("div", attrs={"class" : "thumbCaption"})
-    nepisodes = len(episodes)
-    return nsaisons * 100 + nepisodes
-
-def parse_youtube(username):
-    """Récupère les vidéos d'une chaîne Youtube"""
-    link = "https://gdata.youtube.com/feeds/api/users/%s/uploads?start-index=1&max-results=50" % (username,)
-    entries = []
-    while link:
-        p = urllib.urlopen(link)
-        t = p.read()
-        x = etree.fromstring(t)
-        # lxml ne supporte pas les namespaces vides dans les requêtes XPath
-        ns = x.nsmap
-        ns["default"] = ns[None]
-        ns.pop(None)
-        # Il y a potentiellement une suite
-        nextlinks = x.xpath("//default:link[@rel='next']", namespaces=ns)
-        if nextlinks:
-            link = nextlinks[0].attrib["href"]
-        else:
-            link = False
-        localentries = x.xpath("//default:entry", namespaces=ns)
-        entries.extend(localentries)
-    titles = [e.xpath(".//default:title", namespaces=ns)[0].text for e in entries]
-    return titles
-
-def get_season_episode(title):
-    """Récupère les numéros de la saison et de l'épisode. Crash si ne trouve pas."""
-    ep = int(re.findall("ep([0-9]*)", title)[0])
-    saison = int(re.findall("s([0-9]*)", title)[0])
-    return saison, ep
-
-def last_noob_warpzone():
-    global last_nw
-    # GRUIK
-    if "last_nw" in globals().keys():
-        return last_nw
-    titles = parse_youtube("Funglisoft")
-    noobs = [t.lower().strip() for t in titles if t.lower().strip().startswith("noob")]
-    warpzones = [t.lower().strip() for t in titles if t.lower().strip().startswith("warpzone project")]
-    lasts = []
-    for serie in [noobs, warpzones]:
-        # Les titres sont dans l'ordre antichronologique, on s'arrête donc au premier qu'on comprend
-        for titre in serie:
-            if "noob le film" in titre or "making of" in titre or "noob versus rct" == titre or "extraits ost" in titre:
-                continue
-            try:
-                if DEBUG:
-                    print titre
-                saison, ep = get_season_episode(titre)
-            except (ValueError, IndexError) as e:
-                print "%s sur un season_episode warpzone : %s\n" % (e, titre)
-                continue
-            lasts.append([saison, ep])
-            del saison, ep
-            break
-    last_noob = lasts[0][0]*100 + lasts[0][1]
-    last_warp = lasts[1][0]*100 + lasts[1][1]
-    last_nw = [last_noob, last_warp]
-    return last_nw
-
-def last_noob():
-    return last_noob_warpzone()[0]
-def last_warpzone():
-    return last_noob_warpzone()[1]
-
-def last_hugo():
-    titles = parse_youtube("HugoToutSeul")
-    return len(titles)
-
-def last_norman():
-    titles = parse_youtube("NormanFaitDesVideos")
-    return len(titles)
-
-def last_cyprien():
-    titles = parse_youtube("MonsieurDream")
-    return len(titles)
-
-def last_grenier():
-    titles = parse_youtube("joueurdugrenier")
-    return len(titles)
-
 def last_jl8():
     rss = urllib.urlopen("http://limbero.org/jl8/rss/")
     t = rss.read()
@@ -162,13 +69,6 @@ FETCHS = {
           "xkcd" : last_xkcd,
           "dtc" : last_dtc,
           "xantah" : last_xantah,
-          "visiteur" : last_visiteur,
-          "noob" : last_noob,
-          "warpzone" : last_warpzone,
-          "hugo" : last_hugo,
-          "norman" : last_norman,
-          "cyprien" : last_cyprien,
-          "grenier" : last_grenier,
           "dc" : last_jl8,
          }
 
@@ -179,18 +79,8 @@ def fetch_all():
         try:
             news[k] = f()
         except Exception as e:
-            errmsg = "Erreur à la récupération de %s :\n" % k
-            errmsg += traceback.format_exc()
-            # On dumpe le contenu local de la mémoire au moment de l'exception
-            fobj = inspect.trace()[-1][0]
-            # On fait un peu de ménage
-            d = {k:v for (k,v) in fobj.f_locals.iteritems() if not k.startswith("_")}
-            # On évite d'envoyer truckLoadsOfShit
-            d = {k: (v if len(str(v)) < 800
-                     else str(v)[:400] + "*" * 40 + "TRUNCATED OBJECT" + "*" * 40 + str(v)[-400:])
-                 for (k,v) in d.iteritems()}
-            errmsg += "\nContexte : %s\n\n" % (pprint.pformat(d))
-            print errmsg
+            raise
+    news.update(gather.gather())
     return news
 
 def sync():