today_server.py

   1 #!/usr/bin/python
   2 # -*- encoding: utf-8 -*-
   3
   4 """ Codé par 20-100
   5 script qui affiche des trucs à penser, des J-n des conneries
   6 or that kind of stuff.
   7
   8 Partie serveur, prévue pour chercher périodiquement les trucs non lus
   9 et répondre à un check.
  10
  11 """
  12
  13 import re
  14 import BeautifulSoup
  15 from lxml import etree
  16 import os
  17 import sys
  18 import urllib
  19 import json
  20 import traceback
  21 os.chdir('/home/vincent/scripts/today/')
  22 sys.path.append("/home/vincent/scripts/dtc/")
  23 import dtc
  24
  25 #: Fichier où sont stockés les derniers IDs des trucs
  26 store_published_file = "lasts_published"
  27
  28 #: Fichier où est stockée une copie de la liste des derniers IDs *lus*
  29 store_seen_file = "lasts_sync"
  30
  31 #: Afficher du garbage pour débuguer
  32 DEBUG = False
  33
  34 def last_dtc():
  35     """Vérifie si il y a des quotes DTC non lues"""
  36     return dtc.last_inserted()
  37
  38 def last_xkcd():
  39     p = urllib.urlopen("http://xkcd.com")
  40     t = p.read()
  41     current_id = int(re.findall("Permanent link to this comic: http://xkcd.com/(.*?)/", t)[0])
  42     return current_id
  43
  44 def last_xantah():
  45     p = urllib.urlopen("http://www.adoprixtoxis.com/lite/download/xantah_downloads.php")
  46     t = p.read()
  47     ids = re.findall("""<div class="top">Xantah (.*?)</div>""", t)
  48     ids = [int(i) for i in ids]
  49     return max(ids)
  50
  51 def last_visiteur():
  52     p = urllib.urlopen("http://www.levisiteurdufutur.com/episodes.html")
  53     t = p.read()
  54     # On parse
  55     soup = BeautifulSoup.BeautifulSoup(t)
  56     # On récupère les différentes saisons
  57     saisons = soup.findAll("div", attrs={"id" : "episodes_list"})
  58     nsaisons = len(saisons)
  59     # La saison en cours est la première dans la liste
  60     episodes = saisons[0].findAll("div", attrs={"class" : "thumbCaption"})
  61     nepisodes = len(episodes)
  62     return nsaisons * 100 + nepisodes
  63
  64 def parse_youtube(username):
  65     """Récupère les vidéos d'une chaîne Youtube"""
  66     link = "https://gdata.youtube.com/feeds/api/users/%s/uploads?start-index=1&max-results=50" % (username,)
  67     entries = []
  68     while link:
  69         p = urllib.urlopen(link)
  70         t = p.read()
  71         x = etree.fromstring(t)
  72         # lxml ne supporte pas les namespaces vides dans les requêtes XPath
  73         ns = x.nsmap
  74         ns["default"] = ns[None]
  75         ns.pop(None)
  76         # Il y a potentiellement une suite
  77         nextlinks = x.xpath("//default:link[@rel='next']", namespaces=ns)
  78         if nextlinks:
  79             link = nextlinks[0].attrib["href"]
  80         else:
  81             link = False
  82         localentries = x.xpath("//default:entry", namespaces=ns)
  83         entries.extend(localentries)
  84     titles = [e.xpath(".//default:title", namespaces=ns)[0].text for e in entries]
  85     return titles
  86
  87 def get_season_episode(title):
  88     """Récupère les numéros de la saison et de l'épisode. Crash si ne trouve pas."""
  89     ep = int(re.findall("ep([0-9]*)", title)[0])
  90     saison = int(re.findall("s([0-9]*)", title)[0])
  91     return saison, ep
  92
  93 def last_noob_warpzone():
  94     global last_nw
  95     # GRUIK
  96     if "last_nw" in globals().keys():
  97         return last_nw
  98     titles = parse_youtube("Funglisoft")
  99     noobs = [t.lower().strip() for t in titles if t.lower().strip().startswith("noob")]
 100     warpzones = [t.lower().strip() for t in titles if t.lower().strip().startswith("warpzone project")]
 101     lasts = []
 102     for serie in [noobs, warpzones]:
 103         # Les titres sont dans l'ordre antichronologique, on s'arrête donc au premier qu'on comprend
 104         for titre in serie:
 105             if "noob le film" in titre or "making of" in titre:
 106                 continue
 107             try:
 108                 if DEBUG:
 109                     print titre
 110                 saison, ep = get_season_episode(titre)
 111             except ValueError:
 112                 pass
 113             lasts.append([saison, ep])
 114             del saison, ep
 115             break
 116     last_noob = lasts[0][0]*100 + lasts[0][1]
 117     last_warp = lasts[1][0]*100 + lasts[1][1]
 118     last_nw = [last_noob, last_warp]
 119     return last_nw
 120
 121 def last_noob():
 122     return last_noob_warpzone()[0]
 123 def last_warpzone():
 124     return last_noob_warpzone()[1]
 125
 126 def last_hugo():
 127     titles = parse_youtube("HugoToutSeul")
 128     return len(titles)
 129
 130 def last_norman():
 131     titles = parse_youtube("NormanFaitDesVideos")
 132     return len(titles)
 133
 134 def last_cyprien():
 135     titles = parse_youtube("MonsieurDream")
 136     return len(titles)
 137
 138 def last_grenier():
 139     titles = parse_youtube("joueurdugrenier")
 140     return len(titles)
 141
 142
 143 def get_file():
 144     """Récupère la liste des derniers ids de chaque truc, stockée dans le fichier."""
 145     f = open(store_published_file)
 146     news = json.load(f)
 147     f.close()
 148     return news
 149
 150 def update_file(news):
 151     """Met à jour la liste des derniers ids dans le fichier."""
 152     f = open(store_published_file, 'w')
 153     json.dump(news, f)
 154     f.close()
 155
 156 FETCHS = {
 157           "xkcd" : last_xkcd,
 158           "dtc" : last_dtc,
 159           "xantah" : last_xantah,
 160           "visiteur" : last_visiteur,
 161           "noob" : last_noob,
 162           "warpzone" : last_warpzone,
 163           "hugo" : last_hugo,
 164           "norman" : last_norman,
 165           "cyprien" : last_cyprien,
 166           "grenier" : last_grenier,
 167          }
 168
 169 def fetch_all():
 170     """Va chercher sur les différents sites les nouveaux trucs."""
 171     news = {}
 172     for (k, f) in FETCHS.iteritems():
 173         try:
 174             news[k] = f()
 175         except Exception as e:
 176             print "Erreur à la récupération de %s :" % k
 177             traceback.print_exc()
 178     return news
 179
 180 def sync():
 181     """Reçoit une requête de synchronisation."""
 182     # On récupère où en est le client sur stdin
 183     t = sys.stdin.read()
 184     on_client = json.loads(t)
 185     # On récupère où en est le serveur dans le fichier idoine
 186     if os.path.isfile(store_seen_file):
 187         on_server = json.load(open(store_seen_file))
 188     else:
 189         on_server = {}
 190     # On garde le maximum
 191     for k in set(on_client.keys() + on_server.keys()):
 192         on_server[k] = max(on_client.get(k, 0), on_server.get(k, 0))
 193     # On enregistre ce nouveau dico
 194     json.dump(on_server, open(store_seen_file, "w"))
 195     # On envoie au client ce nouveau dico
 196     print json.dumps(on_server)
 197
 198 if __name__ == "__main__":
 199     if "--debug" in sys.argv or "--verbose" in sys.argv:
 200         DEBUG = True
 201     if sys.argv[1] == "check":
 202         news = fetch_all()
 203         olds = get_file()
 204         olds.update(news)
 205         update_file(olds)
 206     elif sys.argv[1] == "whatsup":
 207         news = get_file()
 208         print json.dumps(news)
 209     elif sys.argv[1] == "sync":
 210         sync()