Python中为feedparser设置超时时间避免堵塞

yipeiwu_com6年前Python基础

python有一个用于解析feed的模块:feedparser,feedparser解析各种feed是非常方便的,唯一比较恼火的是遇到一些badurl,经常会导致堵塞,因此需要为feedparser设置一个超时时间。

可是feedparser并没有提供这个功能,只好采用其他方法了,具体办法请参看feedparser项目的issue221。

其实也很简单,按照上面文档的说明

developers have had the ability to set a global timeout for over seven years by importing the socket library and setting the timeout in this way:

复制代码 代码如下:

import socket
socket.setdefaulttimeout(<timeout in floating seconds>)

相关文章

Python 基础教程之闭包的使用方法

Python 基础教程之闭包的使用方法 前言: 闭包(closure)是函数式编程的重要的语法结构。函数式编程是一种编程范式 (而面向过程编程和面向对象编程也都是编程范式)。在面向过程编...

Python实现base64编码的图片保存到本地功能示例

Python实现base64编码的图片保存到本地功能示例

本文实例讲述了Python实现base64编码的图片保存到本地功能。分享给大家供大家参考,具体如下: # -*- coding:utf-8 -*- #!python3 import...

Pycharm+Scrapy安装并且初始化项目的方法

Pycharm+Scrapy安装并且初始化项目的方法

前言 Scrapy是一个开源的网络爬虫框架,Python编写的。最初设计用于网页抓取,也可以用来提取数据使用API或作为一个通用的网络爬虫。是数据采集不可必备的利器。 安装 pip...

python区分不同数据类型的方法

python区分不同数据类型的方法

python怎么区分不同数据类型? Python判断变量的数据类型的两种方法 一、Python中的数据类型有数字、字符串,列表、元组、字典、集合等。有两种方法判断一个变量的数据类型 1、...

python 读取.csv文件数据到数组(矩阵)的实例讲解

利用numpy库 (缺点:有缺失值就无法读取) 读: import numpy my_matrix = numpy.loadtxt(open("1.csv","rb"),delim...