bin/crawl.php

   1 #!/usr/bin/env php
   2 <?php
   3 namespace phinde;
   4 require_once __DIR__ . '/../src/init.php';
   5
   6 if ($argc < 2) {
   7     echo "No URL given\n";
   8     exit(1);
   9 }
  10
  11 $url = $argv[1];
  12 $url = Helper::addSchema($url);
  13 if (!Helper::isUrlAllowed($url)) {
  14     echo "Domain is not allowed; not crawling\n";
  15     exit(2);
  16 }
  17
  18 try {
  19     $crawler = new Crawler();
  20     $crawler->crawl($url);
  21 } catch (\Exception $e) {
  22     echo $e->getMessage() . "\n";
  23     exit(10);
  24 }
  25 ?>