Python urlopen()函数 示例分享

yipeiwu_com6年前Python基础

好了,废话少说,我们先看看几个示例吧

一、打开一个网页获取所有的内容

复制代码 代码如下:

from urllib import urlopen
doc = urlopen("http://www.baidu.com").read()
print doc

二、获取Http头

复制代码 代码如下:

from urllib import urlopen
doc = urlopen("http://www.baidu.com")
print doc.info()
print doc.info().getheader('Content-Type')

三、使用代理

1. 查看环境变量

复制代码 代码如下:

print ""n".join(["%s=%s" % (k, v) for k, v in os.environ.items()])
print os.getenv("http_proxy")

2. 设置环境变量

复制代码 代码如下:

import os
os.putenv("http_proxy", "http://proxyaddr:<port>")

3. 使用代理

复制代码 代码如下:

# Use http://www.someproxy.com:3128 for http proxying
proxies = {'http': 'http://www.someproxy.com:3128'}
filehandle = urllib.urlopen(some_url, proxies=proxies)
# Don't use any proxies
filehandle = urllib.urlopen(some_url, proxies={})
# Use proxies from environment - both versions are equivalent
filehandle = urllib.urlopen(some_url, proxies=None)
filehandle = urllib.urlopen(some_url)

相关文章

python中报错"json.decoder.JSONDecodeError: Expecting value:"的解决

在学习python语言中用json库解析网络数据时,我遇到了两个编译错误:json.decoder.JSONDecodeError: Expecting property name en...

python远程登录代码

在 python 中有一个 telnetlib,它的作用就是建立一个通到主机的 telnet连线实体, 然后向主机传送命令 (就...

python实现图片批量剪切示例

复制代码 代码如下:import osfrom PIL import Image #批量剪切目录下图片for j in range(10,121):   ...

浅谈Python的异常处理

 Python的异常处理能力是很强大的,可向用户准确反馈出错信息。在Python中,异常也是对象,可对它进行操作。所有异常都是基类Exception的成员。所有异常都从基类Ex...

Pycharm编辑器技巧之自动导入模块详解

Pycharm编辑器技巧之自动导入模块详解

前言 pycharm可以很方便的管理Python的解释器(如果安装了多个的话),以及第三方模块,包。Pycharm是很多Python开发者的首选IDE,如果能把一个工具熟练运用,往往有事...