python获取指定网页上所有超链接的方法

yipeiwu_com6年前Python基础

本文实例讲述了python获取指定网页上所有超链接的方法。分享给大家供大家参考。具体如下:

这段python代码通过urllib2抓取网页,然后通过简单的正则表达式分析网页上的全部url地址

import urllib2
import re
#connect to a URL
website = urllib2.urlopen(url)
#read html code
html = website.read()
#use re.findall to get all the links
links = re.findall('"((http|ftp)s?://.*?)"', html)
print links

希望本文所述对大家的python程序设计有所帮助。

相关文章

Python Pandas数据中对时间的操作

Python Pandas数据中对时间的操作

Pandas中对 时间 这个属性的处理有非常非常多的操作。 而本文对其中一个大家可能比较陌生的方法进行讲解。其他的我会陆续上传。 应用情景是这样的:考虑到有一个数据集,数据集中有用户注...

java中的控制结构(if,循环)详解

前几天在看一个camera CTS bug时,结果在一个java for循环上有点蒙。正好赶上这个点总结一下。 java中的控制结构: 条件结构 这里主要是一些if,...

Python中利用sorted()函数排序的简单教程

排序算法 排序也是在程序中经常用到的算法。无论使用冒泡排序还是快速排序,排序的核心是比较两个元素的大小。如果是数字,我们可以直接比较,但如果是字符串或者两个dict呢?直接比较数学上的大...

理解Python中函数的参数

 定义函数的时候,我们把参数的名字和位置确定下来,函数的接口定义就完成了。对于函数的调用者来说,只需要知道如何传递正确的参数,以及函数将返回什么样的值就够了,函数内部的复杂逻辑...

Python 装饰器原理、定义与用法详解

本文实例讲述了Python 装饰器原理、定义与用法。分享给大家供大家参考,具体如下: Python 装饰器 一、何为装饰器 1、在函数中定义函数 在函数中定义另外的函数,就是说可以创建嵌...