Python使用urllib模块的urlopen超时问题解决方法

yipeiwu_com6年前 (2020-03-06)Python基础

在新的公司开始上班，今天工作的主题内容是市场部门需要抓取一些论坛用户的邮箱，以便发送营销邮件。

于是用了一个python脚本来执行，前面抓了几个都没有什么问题，后来碰到一个论坛，在执行urlopen的地方总是提示超时，百度了一下，因为我使用的是urllib不是urllib2，所以无法直接在urlopen里面加timeout参数，只能是设置全局脚本的超时时间

首先：

复制代码代码如下:

import socket

然后：

复制代码代码如下:

socket.setdefaulttimeout(60)

设置全局的超时时间为60s。

之后再执行脚本的时候就没有什么大问题了。

返回列表

最近工作转型到数据开发领域，想在本地搭建一个数据开发环境。自己有三年python开发经验，马上想到使用numpy、scipy、sklearn、pandas搭建一套数据开发环境。 ubun...

本文介绍机器学习中的Logistic回归算法，我们使用这个算法来给数据进行分类。Logistic回归算法同样是需要通过样本空间学习的监督学习算法，并且适用于数值型和标称型数据，例如，我们...

所谓类属性的延迟计算就是将类的属性定义成一个property，只在访问的时候才会计算，而且一旦被访问后，结果将会被缓存起来，不用每次都计算。优点构造一个延迟计算属性的主要目的是为了提...

本文实例讲述了Python自定义scrapy中间模块避免重复采集的方法。分享给大家供大家参考。具体如下： from scrapy import log from scrapy.htt...

数据处理版本1 #数据处理 import os import torch from torch.utils import data from PIL import Image im...

宜配屋