today_server.py

   1 #!/usr/bin/python
   2 # -*- encoding: utf-8 -*-
   3
   4 """ Codé par 20-100
   5 script qui affiche des trucs à penser, des J-n des conneries
   6 or that kind of stuff.
   7
   8 Partie serveur, prévue pour chercher périodiquement les trucs non lus
   9 et répondre à un check.
  10
  11 """
  12
  13 import time, datetime
  14 import locale
  15 import re
  16 import BeautifulSoup
  17 import os
  18 import sys
  19 import urllib
  20 import json
  21 import traceback
  22 os.chdir('/home/vincent/scripts/today/')
  23 sys.path.append("/home/vincent/scripts/dtc/")
  24 import dtc
  25
  26 #: Fichier où sont stockés les derniers IDs des trucs
  27 store_published_file = "lasts_published"
  28
  29 #: Fichier où est stockée une copie de la liste des derniers IDs *lus*
  30 store_seen_file = "lasts_sync"
  31
  32 def get_now():
  33     """Obtenir la date actuelle sous le bon format"""
  34     timestamp = time.time()
  35     now = datetime.datetime(*time.localtime(timestamp)[:7])
  36     return now
  37
  38 def parse_date(s, french=True):
  39     """Essaye d'obtenir une date à partir du string fourni"""
  40     s = s.lower()
  41     if isinstance(s, unicode):
  42         s = s.encode("utf-8")
  43     if s.startswith("le "):
  44         s = s[3:]
  45     # Y U PARKINSON ?
  46     s = re.sub(" +", " ", s)
  47     # Pour avoir les noms de dates en Français
  48     if french:
  49         locale.setlocale(locale.LC_ALL, 'fr_FR.UTF-8')
  50     for format in ["%d %B %Y"]:
  51         try:
  52             struct = time.strptime(s, format)
  53             return datetime.datetime(*struct[:7])
  54         except ValueError:
  55             pass
  56     raise ValueError("%r : Didn't manage to convert as date, sorry." % (s,))
  57
  58 def last_dtc():
  59     """Vérifie si il y a des quotes DTC non lues"""
  60     return dtc.last_inserted()
  61
  62 def last_xkcd():
  63     p = urllib.urlopen("http://xkcd.com")
  64     t = p.read()
  65     current_id = int(re.findall("Permanent link to this comic: http://xkcd.com/(.*?)/", t)[0])
  66     return current_id
  67
  68 def last_xantah():
  69     p = urllib.urlopen("http://www.adoprixtoxis.com/lite/download/xantah_downloads.php")
  70     t = p.read()
  71     ids = re.findall("""<div class="top">Xantah (.*?)</div>""", t)
  72     ids = [int(i) for i in ids]
  73     return max(ids)
  74
  75 def last_visiteur():
  76     p = urllib.urlopen("http://www.levisiteurdufutur.com/episodes.html")
  77     t = p.read()
  78     # On parse
  79     soup = BeautifulSoup.BeautifulSoup(t)
  80     # On récupère les différentes saisons
  81     saisons = soup.findAll("div", attrs={"id" : "episodes_list"})
  82     nsaisons = len(saisons)
  83     # La saison en cours est la première dans la liste
  84     episodes = saisons[0].findAll("div", attrs={"class" : "thumbCaption"})
  85     nepisodes = len(episodes)
  86     return nsaisons * 100 + nepisodes
  87
  88 def last_noob_warpzone():
  89     p = urllib.urlopen("http://noob-tv.com/agenda01.html")
  90     t = p.read()
  91     # On parse
  92     soup = BeautifulSoup.BeautifulSoup(t)
  93     # On récupère tous les évènements
  94     garbage = soup.findAll("strong")
  95     events = []
  96     for o in garbage:
  97         l = o.findAll("span", attrs={"class":"Style31"})
  98         if l:
  99             events.append([o.text[:o.text.index(":")].strip(), l[0].string.lower().strip()]) # la date, l'event
 100     # On garde que les "sorties"
 101     events = [o for o in events if "sortie" in o[1]]
 102     # Fucking HTML
 103     events = [[o[0].replace(u"&ucirc;", u"û").replace(u"&eacute;", u"é"), o[1]] for o in events]
 104     # Parsing des dates
 105     eventss = []
 106     for i in range(len(events)):
 107         raw_date, event = events[i]
 108         try:
 109             eventss.append([parse_date(raw_date), event])
 110         except ValueError:
 111             pass
 112     events = eventss
 113     del eventss
 114     noobs = [ev for ev in events if "noob" in ev[1]]
 115     warpzones = [ev for ev in events if "warpzone" in ev[1]]
 116     # On prend en considération le dernier évènement qui a eu lieu
 117     now = get_now()
 118     ######
 119     ###### RHÂ, shit, y'a des fuckings trucs du genre "1er" dans les dates… :/
 120     return noobs, warpzones
 121
 122 def get_file():
 123     """Récupère la liste des derniers ids de chaque truc, stockée dans le fichiers."""
 124     f = open(store_published_file)
 125     news = json.load(f)
 126     f.close()
 127     return news
 128
 129 def update_file(news):
 130     """Met à jour la liste des derniers ids dans le fichier."""
 131     f = open(store_published_file, 'w')
 132     json.dump(news, f)
 133     f.close()
 134
 135 FETCHS = {
 136           "xkcd" : last_xkcd,
 137           "dtc" : last_dtc,
 138           "xantah" : last_xantah,
 139           "visiteur" : last_visiteur,
 140          }
 141
 142 def fetch_all():
 143     """Va chercher sur les différents sites les nouveaux trucs."""
 144     news = {}
 145     for (k, f) in FETCHS.iteritems():
 146         try:
 147             news[k] = f()
 148         except Exception as e:
 149             print "Erreur à la récupération de %s :" % k
 150             traceback.print_exc()
 151     return news
 152
 153 def sync():
 154     """Reçoit une requête de synchronisation."""
 155     # On récupère où en est le client sur stdin
 156     t = sys.stdin.read()
 157     on_client = json.loads(t)
 158     # On récupère où en est le serveur dans le fichier idoine
 159     if os.path.isfile(store_seen_file):
 160         on_server = json.load(open(store_seen_file))
 161     else:
 162         on_server = {}
 163     # On garde le maximum
 164     for k in set(on_client.keys() + on_server.keys()):
 165         on_server[k] = max(on_client.get(k, 0), on_server.get(k, 0))
 166     # On enregistre ce nouveau dico
 167     json.dump(on_server, open(store_seen_file, "w"))
 168     # On envoie au client ce nouveau dico
 169     print json.dumps(on_server)
 170
 171 if __name__ == "__main__":
 172     if sys.argv[1] == "check":
 173         news = fetch_all()
 174         olds = get_file()
 175         olds.update(news)
 176         update_file(olds)
 177     elif sys.argv[1] == "whatsup":
 178         news = get_file()
 179         print json.dumps(news)
 180     elif sys.argv[1] == "sync":
 181         sync()