Python urlopen 使用小示例

yipeiwu_com5年前Python基础

一、打开一个网页获取所有的内容

from urllib import urlopen
doc = urlopen("http://www.baidu.com").read()
print doc

二、获取Http头

from urllib import urlopen
doc = urlopen("http://www.baidu.com")
print doc.info()
print doc.info().getheader('Content-Type')

 三、使用代理

    1. 查看环境变量

print ""n".join(["%s=%s" % (k, v) for k, v in os.environ.items()])
print os.getenv("http_proxy")

    2. 设置环境变量

import   os 
os.putenv("http_proxy",   "http://proxyaddr:<port>")

     3. 使用代理

# Use http://www.someproxy.com:3128 for http proxying
proxies = {'http': 'http://www.someproxy.com:3128'}
filehandle = urllib.urlopen(some_url, proxies=proxies)
# Don't use any proxies
filehandle = urllib.urlopen(some_url, proxies={})
# Use proxies from environment - both versions are equivalent
filehandle = urllib.urlopen(some_url, proxies=None)
filehandle = urllib.urlopen(some_url)

相关文章

Python实现将不规范的英文名字首字母大写

例如 输入:['adam', 'LISA', 'barT'],输出:['Adam', 'Lisa', 'Bart']。 方法一 def wgw(x): return [x[0]...

用Python3创建httpServer的简单方法

看到有些帖子讲创建httpserver的方式很简单,如下: import SimpleHTTPServer SimpleHTTPServer.test() 但是在Python3*...

Python程序暂停的正常处理方法

将进程挂起(Suspend) 而非 阻塞(Block) 如果用sleep() 进程将阻塞 假设进程下有两个线程 那么这两个线程会继续运行 要使进程挂起 可以考虑使用psutil im...

python 用opencv调用训练好的模型进行识别的方法

此程序为先调用opencv自带的人脸检测模型,检测到人脸后,再调用我自己训练好的模型去识别人脸,使用时更改模型地址即可 #!usr/bin/env python import cv2...

Python类的多重继承问题深入分析

正文 首先得说明的是,Python的类分为经典类 和 新式类 经典类是python2.2之前的东西,但是在2.7还在兼容,但是在3之后的版本就只承认新式类了 新式类在python2.2之...