加入收藏 | 设为首页 | 会员中心 | 我要投稿 广西网 (https://www.guangxiwang.cn/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 编程 > 正文

PHP采集静态页面并让页面下载css,img,js保存

发布时间:2022-02-19 00:21:09 所属栏目:编程 来源:互联网
导读:这是一个可以获取网页的html代码以及css,js,font和img资源的小工具,主要用来快速获取模板,如果你来不及设计UI或者看到不错的模板,则可以使用这个工具来抓取网页和提取资源文件,提取的内容会按相对路径来保存资源,因此你不必担心资源文件的错误url导入. 首页
  这是一个可以获取网页的html代码以及css,js,font和img资源的小工具,主要用来快速获取模板,如果你来不及设计UI或者看到不错的模板,则可以使用这个工具来抓取网页和提取资源文件,提取的内容会按相对路径来保存资源,因此你不必担心资源文件的错误url导入.
 
  首页 index.php,代码如下:
 
  <!DOCTYPE html>
  <html>
  <head>
  <meta name="author" content="flute" />
  <meta http-equiv="Content-Type" content="text/html; charset=utf-8" />
  <title>网页抓取器</title>
  <link rel="stylesheet" href="main.css" media="all" />
  <script type="text/javascript" src="jquery.js"></script>
  <script type="text/javascript" src="main.js"></script>
  </head>
  <body>
  <h1>Web Grabber</h1>
  <hr />
  <div class="box">
    <h2>Url</h2>
    <div class="form">
      <input type="text" id="project" value="projectname" />
      <input type="text" id="url" value="http://" size="60" />
      <button class="submit" type="button">Get</button><span id="tip"></span>
    </div> www.Cuoxin.com
  </div>
  <div class="box">
    <span class="all" id="saveall">Save All</span>
    <h2>List</h2>
    <ul id="list">
    </ul>
  </div>
  </body>
  </html>
  抓取页面代码 grab.php,代码如下:
 
  <?PHP
   /*
   * flute
   * 2014/03/31
   */
  
   if(isset($_POST['url'])) {
    if(isset($_POST['project']) && !is_dir($_POST['project'])) mkdir($_POST['project'], 0777);
    echo json_encode(grab($_POST['url']));
   }
  
   function grab($url) {
    //$url = 'http://ldixing-wordpress.stor.sinaapp.com/uploads/leaves/test.html';
    $data = array();
    $file = preg_replace('/^.*//', '', $url);
  
    if(($content = file_get_contents($url)) !== false) {
  
     if(isset($_POST['project'])) file_put_contents($_POST['project'].'/'.$file, $content);
  
     $pattern = '/<link.*?href=('|")(.*?.css)1.*?>/i';
     if(preg_match_all($pattern, $content, $matches)) {
      $data['css'] = $matches[2];
     }
  
     $pattern = '/<script.*?src=('|")(.*?.js)1.*?>/i';
     if(preg_match_all($pattern, $content, $matches)) {
      $data['js'] = $matches[2];
     }
  
     $pattern = '/<img.*?src=('|")(.*?)1.*?>/i';
     if(preg_match_all($pattern, $content, $matches)) {
      $data['img'] = $matches[2];
     }
  
     $pattern = '/url(('|"|s)(.*?)1)/i';
     if(preg_match_all($pattern, $content, $matches)) {
      $data['src'] = $matches[2];
     }
    }
  
    
    if($domain == 'http') {
     $dir = $root.'/http';
     if(!is_dir($dir)) mkdir($dir, 0777);
    } else {
     $file = $domain.'/'.$url;
     for($i = 0; $i < $length -1; $i++) {
      if(!emptyempty($arr[$i])) {
       $dir .= '/'.$arr[$i];
       if(!is_dir($dir)) mkdir($dir, 0777);
      }//开源代码Cuoxin.com
     }
    }
    if(!file_exists($dir.'/'.$filename) || filesize($dir.'/'.$filename) == 0) {
     $content = file_get_contents($file);
     file_put_contents($dir.'/'.$filename, $content);
    }
   }
  ?>
  使用方法:
 
  1. 打开index页,输入项目名和要抓取的网址,网址必须是文件名结尾,如index.html;
 
  2. 点Get按钮,得到当前页面所有的css,js,img等资源列表;
 
  3. 点击css链接会获取css文件中的背景资源图片,附加在列表后头;
 
  4. 点击Save All即可保存列表中所有的文件,并按相对路径生成;
 
  5. 如果网页上有http远程文件,将会直接保存在http文件夹下;
 
  6. Get和Save有时会失败,没关系重试几次即可。

(编辑:广西网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!