bin/crawl.php

   1 #!/usr/bin/env php
   2 <?php
   3 namespace phinde;
   4 require_once __DIR__ . '/../src/init.php';
   5
   6 $cc = new \Console_CommandLine();
   7 $cc->description = 'phinde URL crawler';
   8 $cc->version = '0.0.1';
   9 $cc->addOption(
  10     'showLinksOnly',
  11     array(
  12         'short_name'  => '-s',
  13         'long_name'   => '--show-links',
  14         'description' => 'Only show which URLs were found',
  15         'action'      => 'StoreTrue',
  16         'default'     => false
  17     )
  18 );
  19 $cc->addArgument(
  20     'url',
  21     array(
  22         'description' => 'URL to crawl',
  23         'multiple'    => false
  24     )
  25 );
  26 try {
  27     $res = $cc->parse();
  28 } catch (\Exception $e) {
  29     $cc->displayError($e->getMessage());
  30 }
  31
  32 $url = $res->args['url'];
  33 $url = Helper::addSchema($url);
  34 if (!Helper::isUrlAllowed($url)) {
  35     echo "Domain is not allowed; not crawling\n";
  36     exit(2);
  37 }
  38
  39 try {
  40     $crawler = new Crawler();
  41     $crawler->setShowLinksOnly($res->options['showLinksOnly']);
  42     $crawler->crawl($url);
  43 } catch (\Exception $e) {
  44     echo $e->getMessage() . "\n";
  45     exit(10);
  46 }
  47 ?>