Respect <meta name="robots" content="noindex"/>
authorChristian Weiske <cweiske@cweiske.de>
Mon, 29 Aug 2016 20:59:16 +0000 (22:59 +0200)
committerChristian Weiske <cweiske@cweiske.de>
Mon, 29 Aug 2016 20:59:16 +0000 (22:59 +0200)
Fixes: #1

bin/index.php

index 5a55427..5985a3e 100755 (executable)
@@ -90,6 +90,17 @@ if ($xbase) {
     );
 }
 
+$meta = $dx->evaluate('/html/head/meta[@name="robots" and @content]')
+    ->item(0);
+if ($meta) {
+    $robots = $meta->attributes->getNamedItem('content')->textContent;
+    foreach (explode(',', $robots) as $value) {
+        if (trim($value) == 'noindex') {
+            echo "URL does not want to be indexed: $url\n";
+            exit(0);
+        }
+    }
+}
 
 //remove script tags
 removeTags($doc, 'script');