python检查URL是否正常访问的小技巧

yipeiwu_com5年前Python基础

今天,项目经理问我一个问题,问我这里有2000个URL要检查是否能正常打开,其实我是拒绝的,我知道因为要写代码了,正好学了点Python,一想,python处理起来容易,就选了python,开始把思路想好:

1.首先2000个URL。可以放在一个txt文本内
2.通过python 把内容内的URL一条一条放进数组内
3.打开一个模拟的浏览器,进行访问。
4.如果正常访问就输出正常,错误就输出错误

直接简单粗暴甩代码。因为涉及到隐私,图片打了码

import urllib.request 
import time 
 
opener = urllib.request.build_opener() 
opener.addheaders = [('User-agent', 'Mozilla/49.0.2')] 
#这个是你放网址的文件名,改过来就可以了 
file = open('test.txt') 
lines = file.readlines() 
aa=[] 
for line in lines: 
  temp=line.replace('\n','') 
  aa.append(temp) 
print(aa) 
 
print('开始检查:') 
for a in aa: 
  tempUrl = a 
  try : 
    opener.open(tempUrl) 
    print(tempUrl+'没问题') 
  except urllib.error.HTTPError: 
    print(tempUrl+'=访问页面出错') 
    time.sleep(2) 
  except urllib.error.URLError: 
    print(tempUrl+'=访问页面出错') 
    time.sleep(2) 
  time.sleep(0.1) 

效果图:

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持【听图阁-专注于Python设计】。

相关文章

Ubuntu安装Jupyter Notebook教程

Ubuntu安装Jupyter Notebook教程

一.Jupyter介绍 Jupyter Notebook是一个交互式笔记本,支持运行40多种编程语言。Jupyter Notebook 的本质是一个 Web 应用程序,便于创建和共享文学...

python 随机数生成的代码的详细分析

以下的文章主要是以介绍python随机数生成的代码来介绍Python随机数生成在实际操作过程中的具体应用,如果你对其的相关内容感兴趣的话,你就可以点击以下的文章。希望你会对它有所收获。...

用Python实现命令行闹钟脚本实例

前言: 这篇文章给大家介绍了怎样用python创建一个简单的报警,它可以运行在命令行终端,它需要分钟做为命令行参数,在这个分钟后会打印”wake-up”消息,并响铃报警,你可以用0分钟来...

编写Python脚本使得web页面上的代码高亮显示

做了一个在线代码高亮的项目,强大的Python一如既往没让我失望,一个强大的Pygments模块可以对多种(很多)语言进行代码高亮 下面来介绍一下它: 首先安装很简单,使用easy_in...

简单解决Python文件中文编码问题

简单解决Python文件中文编码问题

读写中文 需要读取utf-8编码的中文文件,先利用sublime text软件将它改成无DOM的编码,然后用以下代码: with codecs.open(note_path, 'r+...