last_visiteur

[today.git] / today_server.py

diff --git a/today_server.py b/today_server.py
index 209dd04b0e6bbc39f50c244ddf9feea62e1dcf91..cadb02dc1b331b735e47d8eb1434c1f455f3d3dd 100755 (executable)
--- a/today_server.py
+++ b/today_server.py
@@ -16,6 +16,7 @@ import os
 import sys
 import urllib
 import json
+import traceback
 os.chdir('/home/vincent/scripts/today/')
 sys.path.append("/home/vincent/scripts/dtc/")
 import dtc
@@ -37,14 +38,31 @@ def last_dtc():
     return dtc.last_inserted()
 
 def last_xkcd():
-    try:
-        p = urllib.urlopen("http://xkcd.com")
-    except IOError:
-        return "Impossible de se connecter à xkcd"
+    p = urllib.urlopen("http://xkcd.com")
     t = p.read()
     current_id = int(re.findall("Permanent link to this comic: http://xkcd.com/(.*?)/", t)[0])
     return current_id
 
+def last_xantah():
+    p = urllib.urlopen("http://www.adoprixtoxis.com/lite/download/xantah_downloads.php")
+    t = p.read()
+    ids = re.findall("""<div class="top">Xantah (.*?)</div>""", t)
+    ids = [int(i) for i in ids]
+    return max(ids)
+
+def last_visiteur():
+    p = urllib.urlopen("http://www.levisiteurdufutur.com/episodes.html")
+    t = p.read()
+    # On parse
+    soup = BeautifulSoup.BeautifulSoup(t)
+    # On récupère les différentes saisons
+    saisons = soup.findAll("div", attrs={"id" : "episodes_list"})
+    nsaisons = len(saisons)
+    # La saison en cours est la première dans la liste
+    episodes = saisons[0].findAll("div", attrs={"class" : "thumbCaption"})
+    nepisodes = len(episodes)
+    return nsaisons * 100 + nepisodes
+
 def get_file():
     """Récupère la liste des derniers ids de chaque truc, stockée dans le fichiers."""
     f = open(store_published_file)
@@ -61,12 +79,19 @@ def update_file(news):
 FETCHS = {
           "xkcd" : last_xkcd,
           "dtc" : last_dtc,
+          "xantah" : last_xantah,
+          "visiteur" : last_visiteur,
          }
+
 def fetch_all():
     """Va chercher sur les différents sites les nouveaux trucs."""
     news = {}
     for (k, f) in FETCHS.iteritems():
-        news[k] = f()
+        try:
+            news[k] = f()
+        except Exception as e:
+            print "Erreur à la récupération de %s :" % k
+            traceback.print_exc()
     return news
 
 def sync():
@@ -90,7 +115,9 @@ def sync():
 if __name__ == "__main__":
     if sys.argv[1] == "check":
         news = fetch_all()
-        update_file(news)
+        olds = get_file()
+        olds.update(news)
+        update_file(olds)
     elif sys.argv[1] == "whatsup":
         news = get_file()
         print json.dumps(news)