]> gitweb.pimeys.fr Git - today.git/blob - today_server.py
Typos
[today.git] / today_server.py
1 #!/usr/bin/python
2 # -*- encoding: utf-8 -*-
3
4 """ Codé par 20-100
5 script qui affiche des trucs à penser, des J-n des conneries
6 or that kind of stuff.
7
8 Partie serveur, prévue pour chercher périodiquement les trucs non lus
9 et répondre à un check.
10
11 """
12
13 import re
14 import BeautifulSoup
15 from lxml import etree
16 import os
17 import sys
18 import urllib
19 import json
20 import traceback
21 os.chdir('/home/vincent/scripts/today/')
22 sys.path.append("/home/vincent/scripts/dtc/")
23 import dtc
24
25 #: Fichier où sont stockés les derniers IDs des trucs
26 store_published_file = "lasts_published"
27
28 #: Fichier où est stockée une copie de la liste des derniers IDs *lus*
29 store_seen_file = "lasts_sync"
30
31 #: Afficher du garbage pour débuguer
32 DEBUG = False
33
34 def last_dtc():
35 """Vérifie si il y a des quotes DTC non lues"""
36 return dtc.last_inserted()
37
38 def last_xkcd():
39 p = urllib.urlopen("http://xkcd.com")
40 t = p.read()
41 current_id = int(re.findall("Permanent link to this comic: http://xkcd.com/(.*?)/", t)[0])
42 return current_id
43
44 def last_xantah():
45 p = urllib.urlopen("http://www.adoprixtoxis.com/lite/download/xantah_downloads.php")
46 t = p.read()
47 ids = re.findall("""<div class="top">Xantah (.*?)</div>""", t)
48 ids = [int(i) for i in ids]
49 return max(ids)
50
51 def last_visiteur():
52 p = urllib.urlopen("http://www.levisiteurdufutur.com/episodes.html")
53 t = p.read()
54 # On parse
55 soup = BeautifulSoup.BeautifulSoup(t)
56 # On récupère les différentes saisons
57 saisons = soup.findAll("div", attrs={"id" : "episodes_list"})
58 nsaisons = len(saisons)
59 # La saison en cours est la première dans la liste
60 episodes = saisons[0].findAll("div", attrs={"class" : "thumbCaption"})
61 nepisodes = len(episodes)
62 return nsaisons * 100 + nepisodes
63
64 def parse_youtube(username):
65 """Récupère les vidéos d'une chaîne Youtube"""
66 link = "https://gdata.youtube.com/feeds/api/users/%s/uploads?start-index=1&max-results=50" % (username,)
67 entries = []
68 while link:
69 p = urllib.urlopen(link)
70 t = p.read()
71 x = etree.fromstring(t)
72 # lxml ne supporte pas les namespaces vides dans les requêtes XPath
73 ns = x.nsmap
74 ns["default"] = ns[None]
75 ns.pop(None)
76 # Il y a potentiellement une suite
77 nextlinks = x.xpath("//default:link[@rel='next']", namespaces=ns)
78 if nextlinks:
79 link = nextlinks[0].attrib["href"]
80 else:
81 link = False
82 localentries = x.xpath("//default:entry", namespaces=ns)
83 entries.extend(localentries)
84 titles = [e.xpath(".//default:title", namespaces=ns)[0].text for e in entries]
85 return titles
86
87 def get_season_episode(title):
88 """Récupère les numéros de la saison et de l'épisode. Crash si ne trouve pas."""
89 ep = int(re.findall("ep([0-9]*)", title)[0])
90 saison = int(re.findall("s([0-9]*)", title)[0])
91 return saison, ep
92
93 def last_noob_warpzone():
94 global last_nw
95 # GRUIK
96 if "last_nw" in globals().keys():
97 return last_nw
98 titles = parse_youtube("Funglisoft")
99 noobs = [t.lower().strip() for t in titles if t.lower().strip().startswith("noob")]
100 warpzones = [t.lower().strip() for t in titles if t.lower().strip().startswith("warpzone project")]
101 lasts = []
102 for serie in [noobs, warpzones]:
103 # Les titres sont dans l'ordre antichronologique, on s'arrête donc au premier qu'on comprend
104 for titre in serie:
105 if "noob le film" in titre or "making of" in titre:
106 continue
107 try:
108 if DEBUG:
109 print titre
110 saison, ep = get_season_episode(titre)
111 except ValueError:
112 pass
113 lasts.append([saison, ep])
114 del saison, ep
115 break
116 last_noob = lasts[0][0]*100 + lasts[0][1]
117 last_warp = lasts[1][0]*100 + lasts[1][1]
118 last_nw = [last_noob, last_warp]
119 return last_nw
120
121 def last_noob():
122 return last_noob_warpzone()[0]
123 def last_warpzone():
124 return last_noob_warpzone()[1]
125
126 def last_hugo():
127 titles = parse_youtube("HugoToutSeul")
128 return len(titles)
129
130 def last_norman():
131 titles = parse_youtube("NormanFaitDesVideos")
132 return len(titles)
133
134 def last_cyprien():
135 titles = parse_youtube("MonsieurDream")
136 return len(titles)
137
138 def last_grenier():
139 titles = parse_youtube("joueurdugrenier")
140 return len(titles)
141
142
143 def get_file():
144 """Récupère la liste des derniers ids de chaque truc, stockée dans le fichier."""
145 f = open(store_published_file)
146 news = json.load(f)
147 f.close()
148 return news
149
150 def update_file(news):
151 """Met à jour la liste des derniers ids dans le fichier."""
152 f = open(store_published_file, 'w')
153 json.dump(news, f)
154 f.close()
155
156 FETCHS = {
157 "xkcd" : last_xkcd,
158 "dtc" : last_dtc,
159 "xantah" : last_xantah,
160 "visiteur" : last_visiteur,
161 "noob" : last_noob,
162 "warpzone" : last_warpzone,
163 "hugo" : last_hugo,
164 "norman" : last_norman,
165 "cyprien" : last_cyprien,
166 "grenier" : last_grenier,
167 }
168
169 def fetch_all():
170 """Va chercher sur les différents sites les nouveaux trucs."""
171 news = {}
172 for (k, f) in FETCHS.iteritems():
173 try:
174 news[k] = f()
175 except Exception as e:
176 print "Erreur à la récupération de %s :" % k
177 traceback.print_exc()
178 return news
179
180 def sync():
181 """Reçoit une requête de synchronisation."""
182 # On récupère où en est le client sur stdin
183 t = sys.stdin.read()
184 on_client = json.loads(t)
185 # On récupère où en est le serveur dans le fichier idoine
186 if os.path.isfile(store_seen_file):
187 on_server = json.load(open(store_seen_file))
188 else:
189 on_server = {}
190 # On garde le maximum
191 for k in set(on_client.keys() + on_server.keys()):
192 on_server[k] = max(on_client.get(k, 0), on_server.get(k, 0))
193 # On enregistre ce nouveau dico
194 json.dump(on_server, open(store_seen_file, "w"))
195 # On envoie au client ce nouveau dico
196 print json.dumps(on_server)
197
198 if __name__ == "__main__":
199 if "--debug" in sys.argv or "--verbose" in sys.argv:
200 DEBUG = True
201 if sys.argv[1] == "check":
202 news = fetch_all()
203 olds = get_file()
204 olds.update(news)
205 update_file(olds)
206 elif sys.argv[1] == "whatsup":
207 news = get_file()
208 print json.dumps(news)
209 elif sys.argv[1] == "sync":
210 sync()