python使用BeautifulSoup分页网页中超链接的方法

yipeiwu_com7年前Python基础

本文实例讲述了python使用BeautifulSoup分页网页中超链接的方法。分享给大家供大家参考。具体如下:

python通过BeautifulSoup分页网页中的超级链接,这段python代码输出www.jb51.net主页上所有包含了jb51的url链接

from BeautifulSoup import BeautifulSoup
import urllib2
import re
url = urllib2.urlopen("//www.jb51.net")
content = url.read()
soup = BeautifulSoup(content)
for a in soup.findAll('a',href=True):
  if re.findall('sharejs', a['href']):
    print "Found the URL:", a['href']

希望本文所述对大家的Python程序设计有所帮助。

相关文章

python3对拉勾数据进行可视化分析的方法详解

python3对拉勾数据进行可视化分析的方法详解

前言 上回说到我们如何把拉勾的数据抓取下来的,既然获取了数据,就别放着不动,把它拿出来分析一下,看看这些数据里面都包含了什么信息。 (本次博客源码地址:https://github.co...

查看django执行的sql语句及消耗时间的两种方法

下面介绍两种查看django 执行的sql语句的方法。 方法一: queryset = Apple.objects.all() print queryset.query SELEC...

twilio python自动拨打电话,播放自定义mp3音频的方法

twilio python自动拨打电话,播放自定义mp3音频的方法

有个小项目,需求是某事件发生时,给客户打电话,提醒客户。需要事先录制好一段音频,客户接通电话后,自动播放。 这里用到了twilio:https://www.twilio.com/ ,分享...

python使用paramiko模块通过ssh2协议对交换机进行配置的方法

该代码用的是paramiko模块,python版本是python2.7 下面上源码 # -*- coding: utf-8 -*- import paramiko import t...

django模型层(model)进行建表、查询与删除的基础教程

django模型层(model)进行建表、查询与删除的基础教程

前言 在django的框架设计中采用了mtv模型,即Model,template,viewer Model相对于传统的三层或者mvc框架来说就相当对数据处理层,它主要负责与数据的交互,在...