Python使用urllib模块的urlopen超时问题解决方法

yipeiwu_com6年前Python基础

在新的公司开始上班,今天工作的主题内容是市场部门需要抓取一些论坛用户的邮箱,以便发送营销邮件。

于是用了一个python脚本来执行,前面抓了几个都没有什么问题,后来碰到一个论坛,在执行urlopen的地方总是提示超时,百度了一下,因为我使用的是urllib不是urllib2,所以无法直接在urlopen里面加timeout参数,只能是设置全局脚本的超时时间

首先:

复制代码 代码如下:

import socket

然后:

复制代码 代码如下:

socket.setdefaulttimeout(60)

设置全局的超时时间为60s。

之后再执行脚本的时候就没有什么大问题了。

相关文章

flask/django 动态查询表结构相同表名不同数据的Model实现方法

1.问题 为了控制数据的增长,经常需要分表,数据库中存在多张结构相同,表名相关的表,如: table_201706 table_201707 table_201708 怎么通过SQL...

Python获取指定字符前面的所有字符方法

在用C和python编程时遇到的一个问题是: 用网口发送过来1k数据,数据格式是json,但是发送时不知道需要的大小,因为不同任务大小不一样,所以统一发送1024字节,统一接收1024了...

Python中的sort()方法使用基础教程

一、基本形式 sorted(iterable[, cmp[, key[, reverse]]]) iterable.sort(cmp[, key[, reverse]]) &nbs...

使用python为mysql实现restful接口

最近在做游戏服务分层的时候,一直想把mysql的访问独立成一个单独的服务DBGate,原因如下: 请求收拢到DBGate,可以使DBGate变为无状态的,方便横向扩展 当请求量或者存储量...

Python标准库之随机数 (math包、random包)介绍

我们已经在Python运算中看到Python最基本的数学运算功能。此外,math包补充了更多的函数。当然,如果想要更加高级的数学功能,可以考虑选择标准库之外的numpy和scipy项目,...