利用Pyhton中的requests包进行网页访问测试的方法

yipeiwu_com6年前Python基础

为了测试一组网页是否能够访问,采取python中的requests包进行批量的访问测试,并输出访问结果。

一、requests包的安装

打开命令行(win+r输入cmd启动);

打开pythion安装目录下的Python\Python36-32\Scripts,将其中的pip文件拖动到命令行中;

在之后输入install requests命令;

Pyhton requests包进行网页访问测试

二、访问方法

import requests
fin = open('urls.txt', 'r')
fout = open('result.txt', 'w')
urllist = fin.readlines()
for url in urllist:
 try:
  url='http://'+url.strip()
  r=requests.post(url)
  fout.write(url+' : OK with status_code: '+str(r.status_code))
  print(url+' : OK with status_code: '+str(r.status_code))
 except:
  fout.write(url+' : error\n')
  print(url+' : error\n')
fin.close()
fout.close()

通过读取文件中的url进行访问;

由于文件中url缺少一些信息,因此统一加上http://;

.strip()方法是为了去掉末尾的\n,否则会访问错误;

之所以采用try/except是因为经过测试发现,有些网站打不开会直接导致程序中断,而有些网站则是能够进去,但是网站本身没有内容或再报一些其他错,所以对于能访问的网站还会进一步检查状态码进行鉴别。

以上这篇利用Pyhton中的requests包进行网页访问测试的方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持【听图阁-专注于Python设计】。

相关文章

Win10系统下安装labelme及json文件批量转化方法

Win10系统下安装labelme及json文件批量转化方法

一、安装环境:windows10,anaconda3,python3.6 由于框架maskrcnn需要json数据集,在没安装labelme环境和跑深度学习之前,我安装的是anacond...

Python中的作用域规则详解

Python是静态作用域语言,尽管它自身是一个动态语言。也就是说,在Python中变量的作用域是由它在源代码中的位置决定的,这与C有些相似,但是Python与C在作用域方面的差异还是非常...

python 生成器生成杨辉三角的方法(必看)

用Python写趣味程序感觉屌屌的,停不下来 #生成器生成展示杨辉三角 #原理是在一个2维数组里展示杨辉三角,空的地方用0,输出时,转化为' ' def yang(line):...

python:按行读入,排序然后输出的方法

题目描述 给定n个字符串,请对n个字符串按照字典序排列。 输入描述: 输入第一行为一个正整数n(1≤n≤1000),下面n行为n个字符串(字符串长度≤100),字符串中只含有大小写字母。...

关于Python核心框架tornado的异步协程的2种方法详解

关于Python核心框架tornado的异步协程的2种方法详解

什么是异步? 含义 :双方不需要共同的时钟,也就是接收方不知道发送方什么时候发送,所以在发送的信息中就要有提示接收方开始接收的信息,如开始位,同时在结束时有停止位 现象:没有共同的时钟,...