python实现网页链接提取的方法分享

yipeiwu_com6年前Python基础

复制代码 代码如下:

#encoding:utf-8
import socket
import htmllib,formatter
def open_socket(host,servname):
    s=socket.socket(socket.AF_INET,socket.SOCK_STREAM)
    port=socket.getservbyname(servname)
    s.connect((host,port))
    return s
host=''
host=input('请输入网址\n')
mysocket=open_socket(host,'http')
message='GET http://%s/\n\n'%(host,)
mysocket.send(message)
file=mysocket.makefile()
htmldata=file.read()
file.close()
parser=htmllib.HTMLParser(formatter.NullFormatter()) 
parser.feed(htmldata)
print '\n'.join(parser.anchorlist)
parser.close()

相关文章

Python文件和目录操作详解

Python文件和目录操作详解

一、文件的打开和创建 1、打开 复制代码 代码如下: open(file,mode): >>>fo = open('test.txt', 'r') >>&g...

Python学习笔记之列表推导式实例分析

本文实例讲述了Python学习笔记之列表推导式。分享给大家供大家参考,具体如下: 列表推导式 列表推导式可以快速简练地创建列表 之前的复杂写法: capitalized_cities...

python中字符串前面加r的作用

本文实例讲述了python中字符串前面加r的作用。分享给大家供大家参考。具体分析如下: 字符串前面加r,表示的意思是禁止字符串转义 >>> print "asfd...

Python自定义scrapy中间模块避免重复采集的方法

本文实例讲述了Python自定义scrapy中间模块避免重复采集的方法。分享给大家供大家参考。具体如下: from scrapy import log from scrapy.htt...

对python数据切割归并算法的实例讲解

当一个 .txt 文件的数据过于庞大,此时想要对数据进行排序就需要先将数据进行切割,然后通过归并排序,最终实现对整体数据的排序。要实现这个过程我们需要进行以下几步:获取总数据行数;根据行...