利用Pyhton中的requests包进行网页访问测试的方法

yipeiwu_com7年前Python基础

为了测试一组网页是否能够访问,采取python中的requests包进行批量的访问测试,并输出访问结果。

一、requests包的安装

打开命令行(win+r输入cmd启动);

打开pythion安装目录下的Python\Python36-32\Scripts,将其中的pip文件拖动到命令行中;

在之后输入install requests命令;

Pyhton requests包进行网页访问测试

二、访问方法

import requests
fin = open('urls.txt', 'r')
fout = open('result.txt', 'w')
urllist = fin.readlines()
for url in urllist:
 try:
  url='http://'+url.strip()
  r=requests.post(url)
  fout.write(url+' : OK with status_code: '+str(r.status_code))
  print(url+' : OK with status_code: '+str(r.status_code))
 except:
  fout.write(url+' : error\n')
  print(url+' : error\n')
fin.close()
fout.close()

通过读取文件中的url进行访问;

由于文件中url缺少一些信息,因此统一加上http://;

.strip()方法是为了去掉末尾的\n,否则会访问错误;

之所以采用try/except是因为经过测试发现,有些网站打不开会直接导致程序中断,而有些网站则是能够进去,但是网站本身没有内容或再报一些其他错,所以对于能访问的网站还会进一步检查状态码进行鉴别。

以上这篇利用Pyhton中的requests包进行网页访问测试的方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持【听图阁-专注于Python设计】。

相关文章

手机使用python操作图片文件(pydroid3)过程详解

手机使用python操作图片文件(pydroid3)过程详解

起因 前几天去国图拍了一本书,一本心理学方面的书,也许你问我为什么不去买一本,或者去网上找pdf。 其实吧,关于心理学方面的书可以说在市面上一抓就是一堆,至于拍这本书两个原因,一个是...

python3+PyQt5实现文档打印功能

python3+PyQt5实现文档打印功能

本文通过Python3+PyQt5实现《python Qt Gui 快速编程》这本书13章文档打印功能。本文共通过三种方式: 1、使用HTML和QTextDOcument打印文档...

使用Python编写一个简单的tic-tac-toe游戏的教程

 这个教程,我们将展示如何用python创建一个井字游戏。 其中我们将使用函数、数组、if条件语句、while循环语句和错误捕获等。 首先我们需要创建两个函数,第一个函数用来显...

简单介绍Python的Tornado框架中的协程异步实现原理

Tornado 4.0 已经发布了很长一段时间了, 新版本广泛的应用了协程(Future)特性. 我们目前已经将 Tornado 升级到最新版本, 而且也大量的使用协程特性. 很长时间没...

Python使用PDFMiner解析PDF代码实例

Python使用PDFMiner解析PDF代码实例

近期在做爬虫时有时会遇到网站只提供pdf的情况,这样就不能使用scrapy直接抓取页面内容了,只能通过解析PDF的方式处理,目前的解决方案大致只有pyPDF和PDFMiner。因为据说P...