today_server.py

   1 #!/usr/bin/python
   2 # -*- encoding: utf-8 -*-
   3
   4 """ Codé par 20-100
   5 script qui affiche des trucs à penser, des J-n des conneries
   6 or that kind of stuff.
   7
   8 Partie serveur, prévue pour chercher périodiquement les trucs non lus
   9 et répondre à un check.
  10
  11 """
  12
  13 import re
  14 import BeautifulSoup
  15 from lxml import etree
  16 import os
  17 import sys
  18 import urllib
  19 import json
  20 import traceback
  21 os.chdir('/home/vincent/scripts/today/')
  22 sys.path.append("/home/vincent/scripts/dtc/")
  23 import dtc
  24
  25 #: Fichier où sont stockés les derniers IDs des trucs
  26 store_published_file = "lasts_published"
  27
  28 #: Fichier où est stockée une copie de la liste des derniers IDs *lus*
  29 store_seen_file = "lasts_sync"
  30
  31 #: Afficher du garbage pour débuguer
  32 DEBUG = False
  33
  34 def last_dtc():
  35     """Vérifie si il y a des quotes DTC non lues"""
  36     return dtc.last_inserted()
  37
  38 def last_xkcd():
  39     p = urllib.urlopen("http://xkcd.com")
  40     t = p.read()
  41     current_id = int(re.findall("Permanent link to this comic: http://xkcd.com/(.*?)/", t)[0])
  42     return current_id
  43
  44 def last_xantah():
  45     p = urllib.urlopen("http://www.adoprixtoxis.com/lite/download/xantah_downloads.php")
  46     t = p.read()
  47     ids = re.findall("""<div class="top">Xantah (.*?)</div>""", t)
  48     ids = [int(i) for i in ids]
  49     return max(ids)
  50
  51 def last_visiteur():
  52     p = urllib.urlopen("http://www.levisiteurdufutur.com/episodes.html")
  53     t = p.read()
  54     # On parse
  55     soup = BeautifulSoup.BeautifulSoup(t)
  56     # On récupère les différentes saisons
  57     saisons = soup.findAll("div", attrs={"id" : "episodes_list"})
  58     nsaisons = len(saisons)
  59     # La saison en cours est la première dans la liste
  60     episodes = saisons[0].findAll("div", attrs={"class" : "thumbCaption"})
  61     nepisodes = len(episodes)
  62     return nsaisons * 100 + nepisodes
  63
  64 def parse_youtube(username):
  65     """Récupère les vidéos d'une chaîne Youtube"""
  66     link = "https://gdata.youtube.com/feeds/api/users/%s/uploads?start-index=1&max-results=50" % (username,)
  67     entries = []
  68     while link:
  69         p = urllib.urlopen(link)
  70         t = p.read()
  71         x = etree.fromstring(t)
  72         # lxml ne supporte pas les namespaces vides dans les requêtes XPath
  73         ns = x.nsmap
  74         ns["default"] = ns[None]
  75         ns.pop(None)
  76         # Il y a potentiellement une suite
  77         nextlinks = x.xpath("//default:link[@rel='next']", namespaces=ns)
  78         if nextlinks:
  79             link = nextlinks[0].attrib["href"]
  80         else:
  81             link = False
  82         localentries = x.xpath("//default:entry", namespaces=ns)
  83         entries.extend(localentries)
  84     titles = [e.xpath(".//default:title", namespaces=ns)[0].text for e in entries]
  85     return titles
  86
  87 def get_season_episode(title):
  88     """Récupère les numéros de la saison et de l'épisode. Crash si ne trouve pas."""
  89     ep = int(re.findall("ep([0-9]*)", title)[0])
  90     saison = int(re.findall("s([0-9]*)", title)[0])
  91     return saison, ep
  92
  93 def last_noob_warpzone():
  94     global last_nw
  95     # GRUIK
  96     if "last_nw" in globals().keys():
  97         return last_nw
  98     titles = parse_youtube("Funglisoft")
  99     noobs = [t.lower().strip() for t in titles if t.lower().strip().startswith("noob")]
 100     warpzones = [t.lower().strip() for t in titles if t.lower().strip().startswith("warpzone project")]
 101     lasts = []
 102     for serie in [noobs, warpzones]:
 103         # Les titres sont dans l'ordre antichronologique, on s'arrête donc au premier qu'on comprend
 104         for titre in serie:
 105             try:
 106                 if DEBUG:
 107                     print titre
 108                 saison, ep = get_season_episode(titre)
 109             except ValueError:
 110                 pass
 111             lasts.append([saison, ep])
 112             del saison, ep
 113             break
 114     last_noob = lasts[0][0]*100 + lasts[0][1]
 115     last_warp = lasts[1][0]*100 + lasts[1][1]
 116     last_nw = [last_noob, last_warp]
 117     return last_nw
 118
 119 def last_noob():
 120     return last_noob_warpzone()[0]
 121 def last_warpzone():
 122     return last_noob_warpzone()[1]
 123
 124 def last_hugo():
 125     titles = parse_youtube("HugoToutSeul")
 126     return len(titles)
 127
 128 def last_norman():
 129     titles = parse_youtube("NormanFaitDesVideos")
 130     return len(titles)
 131
 132 def last_cyprien():
 133     titles = parse_youtube("MonsieurDream")
 134     return len(titles)
 135
 136 def last_grenier():
 137     titles = parse_youtube("joueurdugrenier")
 138     return len(titles)
 139
 140
 141 def get_file():
 142     """Récupère la liste des derniers ids de chaque truc, stockée dans le fichier."""
 143     f = open(store_published_file)
 144     news = json.load(f)
 145     f.close()
 146     return news
 147
 148 def update_file(news):
 149     """Met à jour la liste des derniers ids dans le fichier."""
 150     f = open(store_published_file, 'w')
 151     json.dump(news, f)
 152     f.close()
 153
 154 FETCHS = {
 155           "xkcd" : last_xkcd,
 156           "dtc" : last_dtc,
 157           "xantah" : last_xantah,
 158           "visiteur" : last_visiteur,
 159           "noob" : last_noob,
 160           "warpzone" : last_warpzone,
 161           "hugo" : last_hugo,
 162           "norman" : last_norman,
 163           "cyprien" : last_cyprien,
 164           "grenier" : last_grenier,
 165          }
 166
 167 def fetch_all():
 168     """Va chercher sur les différents sites les nouveaux trucs."""
 169     news = {}
 170     for (k, f) in FETCHS.iteritems():
 171         try:
 172             news[k] = f()
 173         except Exception as e:
 174             print "Erreur à la récupération de %s :" % k
 175             traceback.print_exc()
 176     return news
 177
 178 def sync():
 179     """Reçoit une requête de synchronisation."""
 180     # On récupère où en est le client sur stdin
 181     t = sys.stdin.read()
 182     on_client = json.loads(t)
 183     # On récupère où en est le serveur dans le fichier idoine
 184     if os.path.isfile(store_seen_file):
 185         on_server = json.load(open(store_seen_file))
 186     else:
 187         on_server = {}
 188     # On garde le maximum
 189     for k in set(on_client.keys() + on_server.keys()):
 190         on_server[k] = max(on_client.get(k, 0), on_server.get(k, 0))
 191     # On enregistre ce nouveau dico
 192     json.dump(on_server, open(store_seen_file, "w"))
 193     # On envoie au client ce nouveau dico
 194     print json.dumps(on_server)
 195
 196 if __name__ == "__main__":
 197     if "--debug" in sys.argv or "--verbose" in sys.argv:
 198         DEBUG = True
 199     if sys.argv[1] == "check":
 200         news = fetch_all()
 201         olds = get_file()
 202         olds.update(news)
 203         update_file(olds)
 204     elif sys.argv[1] == "whatsup":
 205         news = get_file()
 206         print json.dumps(news)
 207     elif sys.argv[1] == "sync":
 208         sync()