]> gitweb.pimeys.fr Git - today.git/blob - today_server.py
Merge branch 'master' of /git/today
[today.git] / today_server.py
1 #!/usr/bin/python
2 # -*- encoding: utf-8 -*-
3
4 """ Codé par 20-100
5 script qui affiche des trucs à penser, des J-n des conneries
6 or that kind of stuff.
7
8 Partie serveur, prévue pour chercher périodiquement les trucs non lus
9 et répondre à un check.
10
11 """
12
13 import re
14 import BeautifulSoup
15 from lxml import etree
16 import os
17 import sys
18 import urllib
19 import json
20 import traceback
21 os.chdir('/home/vincent/scripts/today/')
22 sys.path.append("/home/vincent/scripts/dtc/")
23 import dtc
24
25 #: Fichier où sont stockés les derniers IDs des trucs
26 store_published_file = "lasts_published"
27
28 #: Fichier où est stockée une copie de la liste des derniers IDs *lus*
29 store_seen_file = "lasts_sync"
30
31 def last_dtc():
32 """Vérifie si il y a des quotes DTC non lues"""
33 return dtc.last_inserted()
34
35 def last_xkcd():
36 p = urllib.urlopen("http://xkcd.com")
37 t = p.read()
38 current_id = int(re.findall("Permanent link to this comic: http://xkcd.com/(.*?)/", t)[0])
39 return current_id
40
41 def last_xantah():
42 p = urllib.urlopen("http://www.adoprixtoxis.com/lite/download/xantah_downloads.php")
43 t = p.read()
44 ids = re.findall("""<div class="top">Xantah (.*?)</div>""", t)
45 ids = [int(i) for i in ids]
46 return max(ids)
47
48 def last_visiteur():
49 p = urllib.urlopen("http://www.levisiteurdufutur.com/episodes.html")
50 t = p.read()
51 # On parse
52 soup = BeautifulSoup.BeautifulSoup(t)
53 # On récupère les différentes saisons
54 saisons = soup.findAll("div", attrs={"id" : "episodes_list"})
55 nsaisons = len(saisons)
56 # La saison en cours est la première dans la liste
57 episodes = saisons[0].findAll("div", attrs={"class" : "thumbCaption"})
58 nepisodes = len(episodes)
59 return nsaisons * 100 + nepisodes
60
61 def parse_youtube(username):
62 """Récupère les vidéos d'une chaîne Youtube"""
63 link = "https://gdata.youtube.com/feeds/api/users/%s/uploads?start-index=1&max-results=50" % (username,)
64 entries = []
65 while link:
66 p = urllib.urlopen(link)
67 t = p.read()
68 x = etree.fromstring(t)
69 # lxml ne supporte pas les namespaces vides dans les requêtes XPath
70 ns = x.nsmap
71 ns["default"] = ns[None]
72 ns.pop(None)
73 # Il y a potentiellement une suite
74 nextlinks = x.xpath("//default:link[@rel='next']", namespaces=ns)
75 if nextlinks:
76 link = nextlinks[0].attrib["href"]
77 else:
78 link = False
79 localentries = x.xpath("//default:entry", namespaces=ns)
80 entries.extend(localentries)
81 titles = [e.xpath(".//default:title", namespaces=ns)[0].text for e in entries]
82 return titles
83
84 def get_season_episode(title):
85 """Récupère les numéros de la saison et de l'épisode. Crash si ne trouve pas."""
86 ep = int(re.findall("ep([0-9]*)", title)[0])
87 saison = int(re.findall("s([0-9]*)", title)[0])
88 return saison, ep
89
90 def last_noob_warpzone():
91 global last_nw
92 # GRUIK
93 if "last_nw" in globals().keys():
94 return last_nw
95 titles = parse_youtube("Funglisoft")
96 noobs = [t.lower().strip() for t in titles if t.lower().strip().startswith("noob")]
97 warpzones = [t.lower().strip() for t in titles if t.lower().strip().startswith("warpzone project")]
98 lasts = []
99 for serie in [noobs, warpzones]:
100 # Les titres sont dans l'ordre antichronologique, on s'arrête donc au premier qu'on comprend
101 for titre in serie:
102 try:
103 saison, ep = get_season_episode(titre)
104 except ValueError:
105 pass
106 lasts.append([saison, ep])
107 del saison, ep
108 break
109 last_noob = lasts[0][0]*100 + lasts[0][1]
110 last_warp = lasts[1][0]*100 + lasts[1][1]
111 last_nw = [last_noob, last_warp]
112 return last_nw
113
114 def last_noob():
115 return last_noob_warpzone()[0]
116 def last_warpzone():
117 return last_noob_warpzone()[1]
118
119 def last_hugo():
120 titles = parse_youtube("HugoToutSeul")
121 return len(titles)
122
123 def last_norman():
124 titles = parse_youtube("NormanFaitDesVideos")
125 return len(titles)
126
127 def last_cyprien():
128 titles = parse_youtube("MonsieurDream")
129 return len(titles)
130
131 def last_grenier():
132 titles = parse_youtube("joueurdugrenier")
133 return len(titles)
134
135
136 def get_file():
137 """Récupère la liste des derniers ids de chaque truc, stockée dans le fichier."""
138 f = open(store_published_file)
139 news = json.load(f)
140 f.close()
141 return news
142
143 def update_file(news):
144 """Met à jour la liste des derniers ids dans le fichier."""
145 f = open(store_published_file, 'w')
146 json.dump(news, f)
147 f.close()
148
149 FETCHS = {
150 "xkcd" : last_xkcd,
151 "dtc" : last_dtc,
152 "xantah" : last_xantah,
153 "visiteur" : last_visiteur,
154 "noob" : last_noob,
155 "warpzone" : last_warpzone,
156 "hugo" : last_hugo,
157 "norman" : last_norman,
158 "cyprien" : last_cyprien,
159 "grenier" : last_grenier,
160 }
161
162 def fetch_all():
163 """Va chercher sur les différents sites les nouveaux trucs."""
164 news = {}
165 for (k, f) in FETCHS.iteritems():
166 try:
167 news[k] = f()
168 except Exception as e:
169 print "Erreur à la récupération de %s :" % k
170 traceback.print_exc()
171 return news
172
173 def sync():
174 """Reçoit une requête de synchronisation."""
175 # On récupère où en est le client sur stdin
176 t = sys.stdin.read()
177 on_client = json.loads(t)
178 # On récupère où en est le serveur dans le fichier idoine
179 if os.path.isfile(store_seen_file):
180 on_server = json.load(open(store_seen_file))
181 else:
182 on_server = {}
183 # On garde le maximum
184 for k in set(on_client.keys() + on_server.keys()):
185 on_server[k] = max(on_client.get(k, 0), on_server.get(k, 0))
186 # On enregistre ce nouveau dico
187 json.dump(on_server, open(store_seen_file, "w"))
188 # On envoie au client ce nouveau dico
189 print json.dumps(on_server)
190
191 if __name__ == "__main__":
192 if sys.argv[1] == "check":
193 news = fetch_all()
194 olds = get_file()
195 olds.update(news)
196 update_file(olds)
197 elif sys.argv[1] == "whatsup":
198 news = get_file()
199 print json.dumps(news)
200 elif sys.argv[1] == "sync":
201 sync()