today_server.py

   1 #!/usr/bin/python
   2 # -*- encoding: utf-8 -*-
   3
   4 """ Codé par 20-100
   5 script qui affiche des trucs à penser, des J-n des conneries
   6 or that kind of stuff.
   7
   8 Partie serveur, prévue pour chercher périodiquement les trucs non lus
   9 et répondre à un check.
  10
  11 """
  12
  13 import re
  14 import BeautifulSoup
  15 from lxml import etree
  16 import os
  17 import sys
  18 import urllib
  19 import json
  20 import traceback
  21 os.chdir('/home/vincent/scripts/today/')
  22 sys.path.append("/home/vincent/scripts/dtc/")
  23 import dtc
  24
  25 #: Fichier où sont stockés les derniers IDs des trucs
  26 store_published_file = "lasts_published"
  27
  28 #: Fichier où est stockée une copie de la liste des derniers IDs *lus*
  29 store_seen_file = "lasts_sync"
  30
  31 def last_dtc():
  32     """Vérifie si il y a des quotes DTC non lues"""
  33     return dtc.last_inserted()
  34
  35 def last_xkcd():
  36     p = urllib.urlopen("http://xkcd.com")
  37     t = p.read()
  38     current_id = int(re.findall("Permanent link to this comic: http://xkcd.com/(.*?)/", t)[0])
  39     return current_id
  40
  41 def last_xantah():
  42     p = urllib.urlopen("http://www.adoprixtoxis.com/lite/download/xantah_downloads.php")
  43     t = p.read()
  44     ids = re.findall("""<div class="top">Xantah (.*?)</div>""", t)
  45     ids = [int(i) for i in ids]
  46     return max(ids)
  47
  48 def last_visiteur():
  49     p = urllib.urlopen("http://www.levisiteurdufutur.com/episodes.html")
  50     t = p.read()
  51     # On parse
  52     soup = BeautifulSoup.BeautifulSoup(t)
  53     # On récupère les différentes saisons
  54     saisons = soup.findAll("div", attrs={"id" : "episodes_list"})
  55     nsaisons = len(saisons)
  56     # La saison en cours est la première dans la liste
  57     episodes = saisons[0].findAll("div", attrs={"class" : "thumbCaption"})
  58     nepisodes = len(episodes)
  59     return nsaisons * 100 + nepisodes
  60
  61 def parse_youtube(username):
  62     """Récupère les vidéos d'une chaîne Youtube"""
  63     link = "https://gdata.youtube.com/feeds/api/users/%s/uploads?start-index=1&max-results=50" % (username,)
  64     entries = []
  65     while link:
  66         p = urllib.urlopen(link)
  67         t = p.read()
  68         x = etree.fromstring(t)
  69         # lxml ne supporte pas les namespaces vides dans les requêtes XPath
  70         ns = x.nsmap
  71         ns["default"] = ns[None]
  72         ns.pop(None)
  73         # Il y a potentiellement une suite
  74         nextlinks = x.xpath("//default:link[@rel='next']", namespaces=ns)
  75         if nextlinks:
  76             link = nextlinks[0].attrib["href"]
  77         else:
  78             link = False
  79         localentries = x.xpath("//default:entry", namespaces=ns)
  80         entries.extend(localentries)
  81     titles = [e.xpath(".//default:title", namespaces=ns)[0].text for e in entries]
  82     return titles
  83
  84 def get_season_episode(title):
  85     """Récupère les numéros de la saison et de l'épisode. Crash si ne trouve pas."""
  86     ep = int(re.findall("ep([0-9]*)", title)[0])
  87     saison = int(re.findall("s([0-9]*)", title)[0])
  88     return saison, ep
  89
  90 def last_noob_warpzone():
  91     global last_nw
  92     # GRUIK
  93     if "last_nw" in globals().keys():
  94         return last_nw
  95     titles = parse_youtube("Funglisoft")
  96     noobs = [t.lower().strip() for t in titles if t.lower().strip().startswith("noob")]
  97     warpzones = [t.lower().strip() for t in titles if t.lower().strip().startswith("warpzone project")]
  98     lasts = []
  99     for serie in [noobs, warpzones]:
 100         # Les titres sont dans l'ordre antichronologique, on s'arrête donc au premier qu'on comprend
 101         for titre in serie:
 102             try:
 103                 saison, ep = get_season_episode(titre)
 104             except ValueError:
 105                 pass
 106             lasts.append([saison, ep])
 107             del saison, ep
 108             break
 109     last_noob = lasts[0][0]*100 + lasts[0][1]
 110     last_warp = lasts[1][0]*100 + lasts[1][1]
 111     last_nw = [last_noob, last_warp]
 112     return last_nw
 113
 114 def last_noob():
 115     return last_noob_warpzone()[0]
 116 def last_warpzone():
 117     return last_noob_warpzone()[1]
 118
 119 def last_hugo():
 120     titles = parse_youtube("HugoToutSeul")
 121     return len(titles)
 122
 123 def last_norman():
 124     titles = parse_youtube("NormanFaitDesVideos")
 125     return len(titles)
 126
 127 def last_cyprien():
 128     titles = parse_youtube("MonsieurDream")
 129     return len(titles)
 130
 131 def last_grenier():
 132     titles = parse_youtube("joueurdugrenier")
 133     return len(titles)
 134
 135
 136 def get_file():
 137     """Récupère la liste des derniers ids de chaque truc, stockée dans le fichier."""
 138     f = open(store_published_file)
 139     news = json.load(f)
 140     f.close()
 141     return news
 142
 143 def update_file(news):
 144     """Met à jour la liste des derniers ids dans le fichier."""
 145     f = open(store_published_file, 'w')
 146     json.dump(news, f)
 147     f.close()
 148
 149 FETCHS = {
 150           "xkcd" : last_xkcd,
 151           "dtc" : last_dtc,
 152           "xantah" : last_xantah,
 153           "visiteur" : last_visiteur,
 154           "noob" : last_noob,
 155           "warpzone" : last_warpzone,
 156           "hugo" : last_hugo,
 157           "norman" : last_norman,
 158           "cyprien" : last_cyprien,
 159           "grenier" : last_grenier,
 160          }
 161
 162 def fetch_all():
 163     """Va chercher sur les différents sites les nouveaux trucs."""
 164     news = {}
 165     for (k, f) in FETCHS.iteritems():
 166         try:
 167             news[k] = f()
 168         except Exception as e:
 169             print "Erreur à la récupération de %s :" % k
 170             traceback.print_exc()
 171     return news
 172
 173 def sync():
 174     """Reçoit une requête de synchronisation."""
 175     # On récupère où en est le client sur stdin
 176     t = sys.stdin.read()
 177     on_client = json.loads(t)
 178     # On récupère où en est le serveur dans le fichier idoine
 179     if os.path.isfile(store_seen_file):
 180         on_server = json.load(open(store_seen_file))
 181     else:
 182         on_server = {}
 183     # On garde le maximum
 184     for k in set(on_client.keys() + on_server.keys()):
 185         on_server[k] = max(on_client.get(k, 0), on_server.get(k, 0))
 186     # On enregistre ce nouveau dico
 187     json.dump(on_server, open(store_seen_file, "w"))
 188     # On envoie au client ce nouveau dico
 189     print json.dumps(on_server)
 190
 191 if __name__ == "__main__":
 192     if sys.argv[1] == "check":
 193         news = fetch_all()
 194         olds = get_file()
 195         olds.update(news)
 196         update_file(olds)
 197     elif sys.argv[1] == "whatsup":
 198         news = get_file()
 199         print json.dumps(news)
 200     elif sys.argv[1] == "sync":
 201         sync()