Python urlopen 使用小示例

yipeiwu_com6年前Python基础

一、打开一个网页获取所有的内容

from urllib import urlopen
doc = urlopen("http://www.baidu.com").read()
print doc

二、获取Http头

from urllib import urlopen
doc = urlopen("http://www.baidu.com")
print doc.info()
print doc.info().getheader('Content-Type')

 三、使用代理

    1. 查看环境变量

print ""n".join(["%s=%s" % (k, v) for k, v in os.environ.items()])
print os.getenv("http_proxy")

    2. 设置环境变量

import   os 
os.putenv("http_proxy",   "http://proxyaddr:<port>")

     3. 使用代理

# Use http://www.someproxy.com:3128 for http proxying
proxies = {'http': 'http://www.someproxy.com:3128'}
filehandle = urllib.urlopen(some_url, proxies=proxies)
# Don't use any proxies
filehandle = urllib.urlopen(some_url, proxies={})
# Use proxies from environment - both versions are equivalent
filehandle = urllib.urlopen(some_url, proxies=None)
filehandle = urllib.urlopen(some_url)

相关文章

Python中的map()函数和reduce()函数的用法

Python中的map()函数和reduce()函数的用法

Python内建了map()和reduce()函数。 如果你读过Google的那篇大名鼎鼎的论文“MapReduce: Simplified Data Processing on Lar...

python构建深度神经网络(DNN)

本文学习Neural Networks and Deep Learning 在线免费书籍,用python构建神经网络识别手写体的一个总结。 代码主要包括两三部分: 1)、数据调用和预处理...

将字典转换为DataFrame并进行频次统计的方法

将字典转换为DataFrame并进行频次统计的方法

首先将一个字典转化为DataFrame,然后以DataFrame中的列进行频次统计。 代码如下: import pandas as pd a={'one':['A','A','B',...

python装饰器的特性原理详解

这篇文章主要介绍了python装饰器的特性原理详解,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下 今天发现了装饰器的另一种用法,下面就...

Python Web开发模板引擎优缺点总结

做 Web 开发少不了要与模板引擎打交道。我陆续也接触了 Python 的不少模板引擎,感觉可以总结一下了。 一、首先按照我的熟悉程度列一下:pyTenjin:我在开发 Doodle 和...