Mise à jour du flux RSS de dtc

[dtc.git] / fetch_dtc.py

diff --git a/fetch_dtc.py b/fetch_dtc.py
new file mode 100755 (executable)
index 0000000..de84884
--- /dev/null
+++ b/fetch_dtc.py
@@ -0,0 +1,52 @@
+#!/usr/bin/env python
+# -*- encoding: utf-8 -*-
+
+"""Pour récupérer les quotes DTC à partir du flux RSS"""
+
+import BeautifulSoup
+import feedparser
+import re
+
+import html2text
+
+#: Regexp permettant de matcher l'id d'une quote et de virer le garbage qui traîne en bas
+endquote_regexp = ur"\n\[#(\d+)\]\(http://danstonchat.com/\1\) - \[Voir les.commentaires\]\(http://danstonchat.com/\1#c\)"
+endreg = re.compile(endquote_regexp, flags=re.DOTALL)
+
+def properquote(quote):
+    """Prend la quote tirée RSS et la renvoie dans un format lisible."""
+    quote = str(quote).decode("utf-8")
+    quote = html2text.html2text(quote)
+    # Ce truc génère bêtement des lignes vides
+    quote = quote.replace(u"\n\n", u"\n")
+    return quote
+
+def parsequote(quote):
+    """Parse la quote. Renvoie ``(<id>, <quote nettoyée>)`` ou ``None`` si il n'y a pas d'id.
+       (C'est-à-dire, si ce n'est en fait pas une quote)
+       Renvoie aussi ``None`` sur un commentaire ``"_(A propos de)_"``"""
+    ids = endreg.findall(quote)
+    if quote.startswith(u"_(A propos de)_"):
+        return None
+    if ids:
+        return {"id" : int(ids[0]), "quote" : endreg.sub("", quote)}
+    else:
+        return None
+
+def getquotes():
+    """Récupère toutes les quotes, avec date de publication et id."""
+    flux = feedparser.parse("http://danstonchat.com/rss.xml")
+    allquotes = []
+    for entry in flux["entries"]:
+        content = entry["summary"]
+        soup = BeautifulSoup.BeautifulSoup(content)
+        quotes = soup.findChildren(name="p")
+        quotes = [properquote(q) for q in quotes]
+        # Attention, en vrai il n'y a pas que des quotes là-dedans,
+        # mais aussi des top comments et autre random shit
+        # donc on vire les None
+        quotes = [parsequote(q) for q in quotes]
+        quotes = [q for q in quotes if not q is None]
+        [q.update({"date": entry["published"]}) for q in quotes]
+        allquotes.extend(quotes)
+    return allquotes