php获取网页标题和内容函数(不包含html标签)

yipeiwu_com5年前PHP代码库
复制代码 代码如下:

function getPageContent($url) {  

        //$url='http://www.ttphp.com;  

        $pageinfo = array();  
        $pageinfo[content_type] = '';  
        $pageinfo[charset] = '';  
        $pageinfo[title] = '';  
        $pageinfo[description] = '';  
        $pageinfo[keywords] = '';  
        $pageinfo[body] = '';  
        $pageinfo['httpcode'] = 200;  
        $pageinfo['all'] = '';   

        $ch = curl_init();  
        curl_setopt($ch, CURLOPT_USERAGENT, "Mozilla/4.0 (compatible; MSIE 5.01; Windows NT 5.0)");  
        curl_setopt($ch, CURLOPT_RETURNTRANSFER,1);  
        curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, 0);  
        curl_setopt($ch, CURLOPT_SSL_VERIFYPEER,0);  
        curl_setopt($ch, CURLOPT_TIMEOUT, 8);  
        curl_setopt($ch, CURLOPT_FILETIME, 1);  
        curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);  
        //curl_setopt($ch, CURLOPT_HEADER, 1);        
        curl_setopt($ch, CURLOPT_URL,$url);  

        $curl_start = microtime(true);  
        $store = curl_exec ($ch);  

        $curl_time = microtime(true) - $curl_start;  
        if( curl_error($ch) ) {  
            $pageinfo['httpcode'] = 505;  //gate way error  
            echo 'Curl error: ' . curl_error($ch) ."/n";  
            return $pageinfo;  
        }  

        //print_r(curl_getinfo($ch));  
        $pageinfo['httpcode'] = curl_getinfo($ch,CURLINFO_HTTP_CODE);  
        //echo curl_getinfo($ch,CURLINFO_CONTENT_TYPE)."/n";  
        $pageinfo[content_type] = curl_getinfo($ch,CURLINFO_CONTENT_TYPE);  
        if(intval($pageinfo['httpcode']) <> 200 or !preg_match('@text/html@',curl_getinfo($ch,CURLINFO_CONTENT_TYPE) )   ) {  
                //print_r(curl_getinfo($ch) );  
                //exit;  
                return $pageinfo;  
        }  
        preg_match('/charset=([^/s/n/r]+)/i',curl_getinfo($ch,CURLINFO_CONTENT_TYPE),$matches); //从header 里取charset  
        if( trim($matches[1]) ) {  
            $pageinfo[charset] = trim($matches[1]);  
        }  
        //echo $pageinfo[charset];  
        //exit;  
        curl_close ($ch);  
        //echo $store;  

 
        //remove javascript  
        $store = preg_replace("/<mce:script.*><!--
(.*)<//script>/smUi",'',$store);  
        //remove link   
        $store = preg_replace("/<link/s+[^>]+>/smUi",'',$store);  
        //remove <!--  -->  
        $store = preg_replace("/<!--.*-->/smUi",'',$store);  
        //remove <style  </<style>  
        $store = preg_replace("/<style.*>(.*)<//style>/smUi",'',$store);  
        //remove 中文空格  
        $store = preg_replace("/ /",'',$store);  
        //remove 标点符号  
        //$store = preg_replace("/[/~`!@#$%^&*()_/-+={}|/[/]//;':"/</>/?/,/.//]/",'',$store);  

          
        //preg_match("/<head.*>(.*)<//head>/smUi",$store, $matches);  
        //$head = $matches[1];  
        //echo $head. "/n";  

        //charset  
        if($pageinfo[charset] == '' ) { 
            preg_match('@<meta.+charset=([/w/-]+)[^>]*>@i',$store,$matches); 
            $pageinfo[charset] = trim($matches[1]); 
        } 
        //desctiption 
        preg_match('@<meta/s+name=/"*description/"*/s+content/s*=/s*([^/>]+)/*>@i',$store,$matches); 
        //print_r($matches); 
        $desc = trim($matches[1]); 
        $pageinfo[description] = str_replace("/"", '',$desc); 

 
        preg_match('@<meta/s+name=/"*keywords/"*/s+content/s*=/s*([^/>]+)/*>@i',$store,$matches); 
        //print_r($matches); 
        $keywords = trim($matches[1]); 
        $pageinfo[keywords] = str_replace("/"", '',$keywords); 

         
        preg_match("/<title>(.*)<//title>/smUi",$store, $matches); 
        $pageinfo[title] = trim($matches[1]); 

        preg_match("/<body.*>(.*)<//body>/smUi",$store, $matches); 
        $pageinfo[body] = addslashes( replaceHtmlAndJs($matches[1]) ) ; 
        $pageinfo['all'] = addslashes( replaceHtmlAndJs($store) ) ; 

        //echo "charset = " . $pageinfo[charset] . "/n"; 

        //print_r($pageinfo); 
        //exit; 

         
        return $pageinfo; 



/** 
 * 去掉所有的HTML标记和JavaScript标记 
 */ 
function replaceHtmlAndJs($document)  
{  
         $document = trim($document);  
         if (strlen($document) <= 0)  
         {  
          return $document;  
         }  
         $search = array (        
                                            "'<script[^>]*?>.*?
// --></mce:script>'si",  // 去掉 javascript  
                          "'<[///!]*?[^<>]*?>'si",          // 去掉 HTML 标记  
                          "'[/r/n/s+]'",                // 去掉空白字符  
                          "'&(/w+);'i"              // 替换 HTML 实体  
                         );                    // 作为 PHP 代码运行  

         $replace = array ( "", "", "", ""  );  

         return @preg_replace ($search, $replace, $document);  




使用例子

复制代码 代码如下:

$a = getPageContent(www.ttphp.com);  
print_r($a);

相关文章

php实现无限级分类查询(递归、非递归)

php实现无限级分类查询(递归、非递归)

做PHP这么长时间,发现后台管理系统不可少的一个应用模块就是对栏目的分类,一般情况下栏目都要做成是无限级的,也就是说每个栏目理论上都可以添加子栏目。在我看来这种情况处理起来整体上说也不是...

php ci框架中加载css和js文件失败的解决方法

在将html页面整合到ci框架里面的时候,加载css和js失败,弄了半天发现ci框架是入口的框架,对框架中文件的所有请求都需要经过index.php处理完成,当加载外部的css和js文件...

php更新cookie内容的详细方法

cookie 是由服务器发送到浏览器的变量。cookie 通常是服务器嵌入到用户计算机中的小文本文件。 每当计算机通过浏览器请求一个页面,就会发送这个 cookie。 (推荐学习:PHP...

php循环语句 for()与foreach()用法区别介绍

for 循环是 PHP 中最复杂的循环结构。它的行为和 C 语言的相似。 for 循环的语法是: for (expr1; expr2; expr3) statement 第一个表达式(e...

php使用pdo连接sqlite3的配置示例

本文实例讲述了php使用pdo连接sqlite3的配置方法。分享给大家供大家参考,具体如下: 刚刚开始使用php+sqlite 的时候,一直以为自己使用的是sqlite3 ,其实不是,p...