python使用BeautifulSoup分页网页中超链接的方法

yipeiwu_com6年前Python基础

本文实例讲述了python使用BeautifulSoup分页网页中超链接的方法。分享给大家供大家参考。具体如下:

python通过BeautifulSoup分页网页中的超级链接,这段python代码输出www.jb51.net主页上所有包含了jb51的url链接

from BeautifulSoup import BeautifulSoup
import urllib2
import re
url = urllib2.urlopen("//www.jb51.net")
content = url.read()
soup = BeautifulSoup(content)
for a in soup.findAll('a',href=True):
  if re.findall('sharejs', a['href']):
    print "Found the URL:", a['href']

希望本文所述对大家的Python程序设计有所帮助。

相关文章

浅谈python for循环的巧妙运用(迭代、列表生成式)

介绍 我们可以通过for循环来迭代list、tuple、dict、set、字符串,dict比较特殊dict的存储不是连续的,所以迭代(遍历)出来的值的顺序也会发生变化。 迭代(遍历)...

python贪婪匹配以及多行匹配的实例讲解

1 非贪婪flag >>> re.findall(r"a(\d+?)", "a23b") ['2'] >>> re.findall(r...

Python SELENIUM上传文件或图片实现过程

Python SELENIUM上传文件或图片实现过程

逛网站的时候经常会遇到需要上传图片的操作,这里主要来说下selenium操作上传文件的操作。 前提条件:定位的元素必须是type 属性是file类型。即type="file",如下图:...

Python编写简单的HTML页面合并脚本

最近写一个BootStrap页面...因为功能需要所以决定一个页面解决所有问题,然后用jQuery来动态显示功能....然而这样做的话页面会相当庞大,一堆隐藏模态窗口和功能div都堆在一...

Python安装Numpy和matplotlib的方法(推荐)

Python安装Numpy和matplotlib的方法(推荐) 注意: 下载的库名中cp27代表python2.7,其它同理。 在shell中输入import pip; print(p...