]> gitweb.pimeys.fr Git - today.git/blob - today_server.py
[server] On ne prend pas trop de place dans les messages de début.
[today.git] / today_server.py
1 #!/usr/bin/python
2 # -*- encoding: utf-8 -*-
3
4 """ Codé par 20-100
5 script qui affiche des trucs à penser, des J-n des conneries
6 or that kind of stuff.
7
8 Partie serveur, prévue pour chercher périodiquement les trucs non lus
9 et répondre à un check.
10
11 """
12
13 import re
14 import BeautifulSoup
15 from lxml import etree
16 import os
17 import sys
18 import urllib
19 import json
20 import traceback
21 import inspect
22 import pprint
23 os.chdir('/home/vincent/scripts/today/')
24 sys.path.append("/home/vincent/scripts/dtc/")
25 import dtc
26
27 #: Fichier où sont stockés les derniers IDs des trucs
28 store_published_file = "lasts_published"
29
30 #: Fichier où est stockée une copie de la liste des derniers IDs *lus*
31 store_seen_file = "lasts_sync"
32
33 #: Afficher du garbage pour débuguer
34 DEBUG = False
35
36 def last_dtc():
37 """Vérifie si il y a des quotes DTC non lues"""
38 return dtc.last_inserted()
39
40 def last_xkcd():
41 p = urllib.urlopen("http://xkcd.com")
42 t = p.read()
43 current_id = int(re.findall("Permanent link to this comic: http://xkcd.com/(.*?)/", t)[0])
44 return current_id
45
46 def last_xantah():
47 p = urllib.urlopen("http://www.adoprixtoxis.com/lite/download/xantah_downloads.php")
48 t = p.read()
49 ids = re.findall("""<div class="top">Xantah (.*?)</div>""", t)
50 ids = [int(i) for i in ids]
51 return max(ids)
52
53 def last_visiteur():
54 p = urllib.urlopen("http://www.levisiteurdufutur.com/episodes.html")
55 t = p.read()
56 # On parse
57 soup = BeautifulSoup.BeautifulSoup(t)
58 # On récupère les différentes saisons
59 saisons = soup.findAll("div", attrs={"id" : "episodes_list"})
60 nsaisons = len(saisons)
61 # La saison en cours est la première dans la liste
62 episodes = saisons[0].findAll("div", attrs={"class" : "thumbCaption"})
63 nepisodes = len(episodes)
64 return nsaisons * 100 + nepisodes
65
66 def parse_youtube(username):
67 """Récupère les vidéos d'une chaîne Youtube"""
68 link = "https://gdata.youtube.com/feeds/api/users/%s/uploads?start-index=1&max-results=50" % (username,)
69 entries = []
70 while link:
71 p = urllib.urlopen(link)
72 t = p.read()
73 x = etree.fromstring(t)
74 # lxml ne supporte pas les namespaces vides dans les requêtes XPath
75 ns = x.nsmap
76 ns["default"] = ns[None]
77 ns.pop(None)
78 # Il y a potentiellement une suite
79 nextlinks = x.xpath("//default:link[@rel='next']", namespaces=ns)
80 if nextlinks:
81 link = nextlinks[0].attrib["href"]
82 else:
83 link = False
84 localentries = x.xpath("//default:entry", namespaces=ns)
85 entries.extend(localentries)
86 titles = [e.xpath(".//default:title", namespaces=ns)[0].text for e in entries]
87 return titles
88
89 def get_season_episode(title):
90 """Récupère les numéros de la saison et de l'épisode. Crash si ne trouve pas."""
91 ep = int(re.findall("ep([0-9]*)", title)[0])
92 saison = int(re.findall("s([0-9]*)", title)[0])
93 return saison, ep
94
95 def last_noob_warpzone():
96 global last_nw
97 # GRUIK
98 if "last_nw" in globals().keys():
99 return last_nw
100 titles = parse_youtube("Funglisoft")
101 noobs = [t.lower().strip() for t in titles if t.lower().strip().startswith("noob")]
102 warpzones = [t.lower().strip() for t in titles if t.lower().strip().startswith("warpzone project")]
103 lasts = []
104 for serie in [noobs, warpzones]:
105 # Les titres sont dans l'ordre antichronologique, on s'arrête donc au premier qu'on comprend
106 for titre in serie:
107 if "noob le film" in titre or "making of" in titre or "noob versus rct" == titre:
108 continue
109 try:
110 if DEBUG:
111 print titre
112 saison, ep = get_season_episode(titre)
113 except (ValueError, IndexError) as e:
114 print "%s sur un season_episode warpzone : %s\n" % (e, titre)
115 continue
116 lasts.append([saison, ep])
117 del saison, ep
118 break
119 last_noob = lasts[0][0]*100 + lasts[0][1]
120 last_warp = lasts[1][0]*100 + lasts[1][1]
121 last_nw = [last_noob, last_warp]
122 return last_nw
123
124 def last_noob():
125 return last_noob_warpzone()[0]
126 def last_warpzone():
127 return last_noob_warpzone()[1]
128
129 def last_hugo():
130 titles = parse_youtube("HugoToutSeul")
131 return len(titles)
132
133 def last_norman():
134 titles = parse_youtube("NormanFaitDesVideos")
135 return len(titles)
136
137 def last_cyprien():
138 titles = parse_youtube("MonsieurDream")
139 return len(titles)
140
141 def last_grenier():
142 titles = parse_youtube("joueurdugrenier")
143 return len(titles)
144
145 def last_jl8():
146 rss = urllib.urlopen("http://limbero.org/jl8/rss/")
147 t = rss.read()
148 x = etree.fromstring(t)
149 links = x.xpath("//link")
150 maxnum = links[1].text.split("/")[-1]
151 maxnum = int(maxnum)
152 return maxnum
153
154 def get_file():
155 """Récupère la liste des derniers ids de chaque truc, stockée dans le fichier."""
156 f = open(store_published_file)
157 news = json.load(f)
158 f.close()
159 return news
160
161 def update_file(news):
162 """Met à jour la liste des derniers ids dans le fichier."""
163 f = open(store_published_file, 'w')
164 json.dump(news, f)
165 f.close()
166
167 FETCHS = {
168 "xkcd" : last_xkcd,
169 "dtc" : last_dtc,
170 "xantah" : last_xantah,
171 "visiteur" : last_visiteur,
172 "noob" : last_noob,
173 "warpzone" : last_warpzone,
174 "hugo" : last_hugo,
175 "norman" : last_norman,
176 "cyprien" : last_cyprien,
177 "grenier" : last_grenier,
178 "dc" : last_jl8,
179 }
180
181 def fetch_all():
182 """Va chercher sur les différents sites les nouveaux trucs."""
183 news = {}
184 for (k, f) in FETCHS.iteritems():
185 try:
186 news[k] = f()
187 except Exception as e:
188 errmsg = "Erreur à la récupération de %s :\n" % k
189 errmsg += traceback.format_exc()
190 # On dumpe le contenu local de la mémoire au moment de l'exception
191 fobj = inspect.trace()[-1][0]
192 # On fait un peu de ménage
193 d = {k:v for (k,v) in fobj.f_locals.iteritems() if not k.startswith("_")}
194 # On évite d'envoyer truckLoadsOfShit
195 d = {k: (v if len(str(v)) < 800
196 else str(v)[:400] + "*" * 40 + "TRUNCATED OBJECT" + "*" * 40 + str(v)[-400:])
197 for (k,v) in d.iteritems()}
198 errmsg += "\nContexte : %s\n\n" % (pprint.pformat(d))
199 print errmsg
200 return news
201
202 def sync():
203 """Reçoit une requête de synchronisation."""
204 # On récupère où en est le client sur stdin
205 t = sys.stdin.read()
206 on_client = json.loads(t)
207 # On récupère où en est le serveur dans le fichier idoine
208 if os.path.isfile(store_seen_file):
209 on_server = json.load(open(store_seen_file))
210 else:
211 on_server = {}
212 # On garde le maximum
213 for k in set(on_client.keys() + on_server.keys()):
214 on_server[k] = max(on_client.get(k, 0), on_server.get(k, 0))
215 # On enregistre ce nouveau dico
216 json.dump(on_server, open(store_seen_file, "w"))
217 # On envoie au client ce nouveau dico
218 print json.dumps(on_server)
219
220 if __name__ == "__main__":
221 if "--debug" in sys.argv or "--verbose" in sys.argv:
222 DEBUG = True
223 if sys.argv[1] == "check":
224 news = fetch_all()
225 if "--init" in sys.argv:
226 olds = news
227 else:
228 olds = get_file()
229 olds.update(news)
230 update_file(olds)
231 elif sys.argv[1] == "whatsup":
232 news = get_file()
233 print json.dumps(news)
234 elif sys.argv[1] == "sync":
235 sync()