Fix #43: gist.github.com URLs with usernames
[phorkie.git] / src / phorkie / HtmlParser.php
1 <?php
2 namespace phorkie;
3
4 class HtmlParser
5 {
6     /**
7      * Contains error message when parse() failed
8      */
9     public $error;
10
11     /**
12      * Array with keys (URL title) and values (arrays of urls)
13      * Only supported URLs are included.
14      *
15      * @var array
16      */
17     protected $arGitUrls;
18
19
20
21     /**
22      * Extract git URLs from the given URL, eventually fetching
23      * HTML and extracting URLs from there.
24      *
25      * Sets $error and $arGitUrls class variables
26      *
27      * @param string $url  Git or HTTP URL
28      * @param string $html HTML content of $url
29      *
30      * @return boolean True when all went well, false in case of an error
31      * @uses   $error
32      * @uses   $arGitUrls
33      */
34     public function extractGitUrls($url, $html = null)
35     {
36         if ($url == '') {
37             $this->error = 'Empty fork URL';
38             return false;
39         }
40
41         $arUrl  = parse_url($url);
42         $scheme = isset($arUrl['scheme']) ? $arUrl['scheme'] : '';
43
44         if ($scheme == 'https' && isset($arUrl['host'])
45             && $arUrl['host'] == 'gist.github.com'
46         ) {
47             //https://gist.github.com/maddy2101/5764473
48             $parts = explode('/', ltrim($arUrl['path'], '/'));
49             if (count($parts == 2)) {
50                 //we only want the number, not the user name
51                 $path = $parts[1];
52             } else {
53                 $path = ltrim($arUrl['path'], '/');
54             }
55             //FIXME: title
56             $this->arGitUrls[][] = 'git://gist.github.com/'
57                 . $path . '.git';
58             return true;
59         }
60
61         switch ($scheme) {
62         case 'git':
63             //clearly a git url
64             $this->arGitUrls = array(array($url));
65             return true;
66
67         case 'ssh':
68             //FIXME: maybe loosen this when we know how to skip the
69             //"do you trust this server" question of ssh
70             $this->error = 'ssh:// URLs are not supported';
71             return false;
72
73         case 'http':
74         case 'https':
75             return $this->extractUrlsFromHtml($url, $html);
76         }
77
78         $this->error = 'Unknown URLs scheme: ' . $scheme;
79         return false;
80     }
81
82     protected function extractUrlsFromHtml($url, $html = null)
83     {
84         //HTML is not necessarily well-formed, and Gitorious has many problems
85         // in this regard
86         //$sx = simplexml_load_file($url);
87
88         libxml_use_internal_errors(true);
89         if ($html === null) {
90             $sx = simplexml_import_dom(\DOMDocument::loadHTMLFile($url));
91         } else {
92             $sx = simplexml_import_dom(\DOMDocument::loadHTML($html));
93         }
94
95         $elems = $sx->xpath('//*[@rel="vcs-git"]');
96         $titles = $sx->xpath('/html/head/title');
97         $pageTitle = $this->cleanPageTitle((string) reset($titles));
98
99         $count = $anonymous = 0;
100         foreach ($elems as $elem) {
101             if (!isset($elem['href'])) {
102                 continue;
103             }
104             $str = (string)$elem;
105             if (isset($elem['title'])) {
106                 //<link href=".." rel="vcs-git" title="title" />
107                 $title = (string)$elem['title'];
108             } else if ($str != '') {
109                 //<a href=".." rel="vcs-git">title</a>
110                 $title = $str;
111             } else if ($pageTitle != '') {
112                 $title = $pageTitle;
113             } else {
114                 $title = 'Unnamed repository #' . ++$anonymous;
115             }
116             $url = (string)$elem['href'];
117             if ($this->isSupported($url)) {
118                 ++$count;
119                 $this->arGitUrls[$title][] = $url;
120             }
121         }
122
123         if ($count > 0) {
124             return true;
125         }
126
127         $this->error = 'No git:// clone URL found';
128         return false;
129     }
130
131     public function getGitUrls()
132     {
133         return $this->arGitUrls;
134     }
135
136     /**
137      * Remove application names from HTML page titles
138      *
139      * @param string $title HTML page title
140      *
141      * @return string Cleaned HTML page title
142      */
143     protected function cleanPageTitle($title)
144     {
145         $title = trim($title);
146         if (substr($title, -9) == '- phorkie') {
147             $title = trim(substr($title, 0, -9));
148         }
149
150         return $title;
151     }
152
153     public function isSupported($url)
154     {
155         $scheme = parse_url($url, PHP_URL_SCHEME);
156         return $scheme == 'git'
157             || $scheme == 'http' || $scheme == 'https';
158     }
159
160 }
161 ?>