python获取指定网页上所有超链接的方法

yipeiwu_com5年前Python基础

本文实例讲述了python获取指定网页上所有超链接的方法。分享给大家供大家参考。具体如下:

这段python代码通过urllib2抓取网页,然后通过简单的正则表达式分析网页上的全部url地址

import urllib2
import re
#connect to a URL
website = urllib2.urlopen(url)
#read html code
html = website.read()
#use re.findall to get all the links
links = re.findall('"((http|ftp)s?://.*?)"', html)
print links

希望本文所述对大家的python程序设计有所帮助。

相关文章

python flask实现分页的示例代码

结合mysql数据库查询,实现分页效果 @user.route("/user_list",methods=['POST','GET']) def user_list(): p =...

下载python中Crypto库报错:ModuleNotFoundError: No module named ‘Crypto’的解决

下载python中Crypto库报错:ModuleNotFoundError: No module named ‘Crypto’的解决

前言 最近在网上找了很多下载Crypto的方法,感觉作用都不算很大,然后自己瞎搞瞎搞就搞好了😅,所以打算分享出来。 直接pip下载或者Anaconda下载,Anacond...

Python解惑之整数比较详解

前言 在 Python 中一切都是对象,毫无例外整数也是对象,对象之间比较是否相等可以用==,也可以用is。 ==和is操作的区别是: is比较的是两个对象的id值是否相等,也就是...

shell命令行,一键创建 python 模板文件脚本方法

写 python 文件时,每个文件开头都必须注明版本和编码。每次我 touch 文件之后粘贴这两句话让我不胜其烦。 由于我没有安装 python 的 IDE 工具,也没有为 vim 安装...

Python中index()和seek()的用法(详解)

1、index() 一般用处是在序列中检索参数并返回第一次出现的索引,没找到就会报错,比如: >>> t=tuple('Allen') >>> t...