python获取指定网页上所有超链接的方法

yipeiwu_com5年前Python基础

本文实例讲述了python获取指定网页上所有超链接的方法。分享给大家供大家参考。具体如下:

这段python代码通过urllib2抓取网页,然后通过简单的正则表达式分析网页上的全部url地址

import urllib2
import re
#connect to a URL
website = urllib2.urlopen(url)
#read html code
html = website.read()
#use re.findall to get all the links
links = re.findall('"((http|ftp)s?://.*?)"', html)
print links

希望本文所述对大家的python程序设计有所帮助。

相关文章

Python中使用hashlib模块处理算法的教程

Python的hashlib提供了常见的摘要算法,如MD5,SHA1等等。 什么是摘要算法呢?摘要算法又称哈希算法、散列算法。它通过一个函数,把任意长度的数据转换为一个长度固定的数据串(...

Python3下错误AttributeError: ‘dict’ object has no attribute’iteritems‘的分析与解决

引言 目前Python2和Python3存在版本上的不兼容性,这里将列举dict中的问题之一。下面话不多说,来看看详细的介绍: 1. Python 2  vs python 3...

python multiprocessing模块用法及原理介绍

一 multiprocessing模块介绍 python中的多线程无法利用多核优势,如果想要充分地使用多核CPU的资源(os.cpu\_count\(\)查看),在python中大部分...

详解Python中break语句的用法

详解Python中break语句的用法

 在Python中的break语句终止当前循环,继续执行下一个语句,就像C语言中的break一样。 break最常见的用途是当一些外部条件被触发,需要从一个循环中断退出。 br...

flask中使用SQLAlchemy进行辅助开发的代码

安装方法 1)、apt-ge安装复制代码 代码如下:sudo apt-get install Flask-SQLAlchemy 2)、下载安装包进行安装复制代码 代码如下:# 安装后可直...