src/AtomFeed.py

   1 # -*- coding: utf-8 -*-
   2 # CurlyTx Atom feed parser
   3 # Copyright (C) 2011 Christian Weiske <cweiske@cweiske.de>
   4 # License: GPLv3 or later
   5
   6 from twisted.web.client import getPage
   7 from xml.etree.cElementTree import fromstring
   8
   9 class AtomFeed:
  10     """ Simple XML parser that extracts pages from a atom feed """
  11     ns = "{http://www.w3.org/2005/Atom}"
  12     def __init__(self, url, callback):
  13         """ Fetches the URL
  14
  15         Parsed pages are sent back to callback by parse()
  16         """
  17         getPage(url).addCallback(self.parse, callback).addErrback(self.fail)
  18
  19
  20     def fail(self, msg):
  21         print("CurlyTx", msg)
  22
  23     def parse(self, data, callback):
  24         """ Parse atom feed data into pages list and run callback """
  25         xml = fromstring(data)
  26         pages = []
  27         for entry in xml.findall("{0}entry".format(self.ns)):
  28             titleE = entry.find("{0}title".format(self.ns))
  29             url   = self.bestLink(entry.findall("{0}link".format(self.ns)))
  30             if titleE != None and titleE.text != "" and url != None:
  31                 pages.append({"title": titleE.text, "url": url})
  32
  33         callback(pages)
  34
  35     def bestLink(self, list):
  36         """ Fetch the best matching link from an atom feed entry """
  37         foundLevel = -1
  38         foundHref = None
  39         for link in list:
  40             if link.get("rel") != "alternate" and link.get("rel") != "":
  41                 continue
  42             level = self.level(link)
  43             if foundLevel > level:
  44                 continue
  45             foundLevel = level
  46             foundHref = link.get("href")
  47         return foundHref
  48
  49     def level(self, link):
  50         """ Determines the level of a link
  51
  52         "text/plain" type links are best, links without type are second.
  53         All others have the lowest level 1.
  54         """
  55         type = link.get("type")
  56         if type == "text/plain":
  57             return 3
  58         elif type == "":
  59             return 2
  60         return 1