X-Git-Url: http://gitweb.pimeys.fr/?p=today.git;a=blobdiff_plain;f=today_server.py;h=ec60fe4ee9da16af02ca44b5266cc654507257d0;hp=98e484481a65bf5ae894bed1693ad3351dd19758;hb=HEAD;hpb=18dc797478ece73aaf30c5322303d05006474d28 diff --git a/today_server.py b/today_server.py index 98e4844..ec60fe4 100755 --- a/today_server.py +++ b/today_server.py @@ -10,145 +10,33 @@ et répondre à un check. """ -import time, datetime -import locale import re -import BeautifulSoup +from lxml import etree import os import sys import urllib import json -import traceback os.chdir('/home/vincent/scripts/today/') -sys.path.append("/home/vincent/scripts/dtc/") -import dtc -#: Fichier où sont stockés les derniers IDs des trucs -store_published_file = "lasts_published" +#: Config serveur +import serverconfig -#: Fichier où est stockée une copie de la liste des derniers IDs *lus* -store_seen_file = "lasts_sync" +#: Récupération de toutes les nouveautés +import gather -def get_now(): - """Obtenir la date actuelle sous le bon format""" - timestamp = time.time() - now = datetime.datetime(*time.localtime(timestamp)[:7]) - return now - -def parse_date(s, french=True): - """Essaye d'obtenir une date à partir du string fourni""" - s = s.lower() - if isinstance(s, unicode): - s = s.encode("utf-8") - if s.startswith("le "): - s = s[3:] - # Y U PARKINSON ? - s = re.sub(" +", " ", s) - # Pour avoir les noms de dates en Français - if french: - locale.setlocale(locale.LC_ALL, 'fr_FR.UTF-8') - for format in ["%d %B %Y"]: - try: - struct = time.strptime(s, format) - return datetime.datetime(*struct[:7]) - except ValueError: - pass - raise ValueError("%r : Didn't manage to convert as date, sorry." % (s,)) - -def last_dtc(): - """Vérifie si il y a des quotes DTC non lues""" - return dtc.last_inserted() - -def last_xkcd(): - p = urllib.urlopen("http://xkcd.com") - t = p.read() - current_id = int(re.findall("Permanent link to this comic: http://xkcd.com/(.*?)/", t)[0]) - return current_id - -def last_xantah(): - p = urllib.urlopen("http://www.adoprixtoxis.com/lite/download/xantah_downloads.php") - t = p.read() - ids = re.findall("""
Xantah (.*?)
""", t) - ids = [int(i) for i in ids] - return max(ids) - -def last_visiteur(): - p = urllib.urlopen("http://www.levisiteurdufutur.com/episodes.html") - t = p.read() - # On parse - soup = BeautifulSoup.BeautifulSoup(t) - # On récupère les différentes saisons - saisons = soup.findAll("div", attrs={"id" : "episodes_list"}) - nsaisons = len(saisons) - # La saison en cours est la première dans la liste - episodes = saisons[0].findAll("div", attrs={"class" : "thumbCaption"}) - nepisodes = len(episodes) - return nsaisons * 100 + nepisodes - -def last_noob_warpzone(): - p = urllib.urlopen("http://noob-tv.com/agenda01.html") - t = p.read() - # On parse - soup = BeautifulSoup.BeautifulSoup(t) - # On récupère tous les évènements - garbage = soup.findAll("strong") - events = [] - for o in garbage: - l = o.findAll("span", attrs={"class":"Style31"}) - if l: - events.append([o.text[:o.text.index(":")].strip(), l[0].string.lower().strip()]) # la date, l'event - # On garde que les "sorties" - events = [o for o in events if "sortie" in o[1]] - # Fucking HTML - events = [[o[0].replace(u"û", u"û").replace(u"é", u"é"), o[1]] for o in events] - # Parsing des dates - eventss = [] - for i in range(len(events)): - raw_date, event = events[i] - try: - eventss.append([parse_date(raw_date), event]) - except ValueError: - pass - events = eventss - del eventss - noobs = [ev for ev in events if "noob" in ev[1]] - warpzones = [ev for ev in events if "warpzone" in ev[1]] - # On prend en considération le dernier évènement qui a eu lieu - now = get_now() - ###### - ###### RHÂ, shit, y'a des fuckings trucs du genre "1er" dans les dates… :/ - return noobs, warpzones - def get_file(): - """Récupère la liste des derniers ids de chaque truc, stockée dans le fichiers.""" - f = open(store_published_file) + """Récupère la liste des derniers ids de chaque truc, stockée dans le fichier.""" + f = open(serverconfig.store_published_file) news = json.load(f) f.close() return news def update_file(news): """Met à jour la liste des derniers ids dans le fichier.""" - f = open(store_published_file, 'w') + f = open(serverconfig.store_published_file, 'w') json.dump(news, f) f.close() -FETCHS = { - "xkcd" : last_xkcd, - "dtc" : last_dtc, - "xantah" : last_xantah, - "visiteur" : last_visiteur, - } - -def fetch_all(): - """Va chercher sur les différents sites les nouveaux trucs.""" - news = {} - for (k, f) in FETCHS.iteritems(): - try: - news[k] = f() - except Exception as e: - print "Erreur à la récupération de %s :" % k - traceback.print_exc() - return news def sync(): """Reçoit une requête de synchronisation.""" @@ -156,23 +44,27 @@ def sync(): t = sys.stdin.read() on_client = json.loads(t) # On récupère où en est le serveur dans le fichier idoine - if os.path.isfile(store_seen_file): - on_server = json.load(open(store_seen_file)) + if os.path.isfile(serverconfig.store_seen_file): + on_server = json.load(open(serverconfig.store_seen_file)) else: on_server = {} # On garde le maximum for k in set(on_client.keys() + on_server.keys()): on_server[k] = max(on_client.get(k, 0), on_server.get(k, 0)) # On enregistre ce nouveau dico - json.dump(on_server, open(store_seen_file, "w")) + json.dump(on_server, open(serverconfig.store_seen_file, "w")) # On envoie au client ce nouveau dico print json.dumps(on_server) if __name__ == "__main__": + DEBUG = ("--debug" in sys.argv) or ("--verbose" in sys.argv) or serverconfig.DEBUG if sys.argv[1] == "check": - news = fetch_all() - olds = get_file() - olds.update(news) + news = gather.gather() + if "--init" in sys.argv: + olds = news + else: + olds = get_file() + olds.update(news) update_file(olds) elif sys.argv[1] == "whatsup": news = get_file()