检测python爬虫时是否代理ip伪装成功的方法

yipeiwu_com6年前Python爬虫

有时候我们的爬虫程序添加了代理,但是我们不知道程序是否获取到了ip,尤其是动态转发模式的,这时候就需要进行检测了,以下是一种代理是否伪装成功的检测方式,这里推介使用亿牛云提供的代码示例。

Python¶
requests
 #! -*- encoding:utf-8 -*-
 import requests
 import random
 
 # 要访问的目标页面
 targetUrl = "http://httpbin.org/ip"
 # 要访问的目标HTTPS页面
 # targetUrl = "https://httpbin.org/ip"
 # 代理服务器
 proxyHost = "t.16yun.cn"
 proxyPort = "31111"
 # 代理隧道验证信息
 proxyUser = "16ZKBRLB"
 proxyPass = "234076"
 proxyMeta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % {
 "host" : proxyHost,
 "port" : proxyPort,
 "user" : proxyUser,
 "pass" : proxyPass,
 }
 # 设置 http和https访问都是用HTTP代理
 proxies = {
 "http" : proxyMeta,
 "https" : proxyMeta,
 }
 # 设置IP切换头
 tunnel = random.randint(1,10000)
 headers = {"Proxy-Tunnel": str(tunnel)}
 resp = requests.get(targetUrl, proxies=proxies, headers=headers)
 print resp.status_code
 print resp.text

要检测代理是否获取到,直接在配置代理后访http://httpbin.org/ip网站,获取到ip后再访问www.ip138.com就知道是否获取到了ip。

相关文章

Python爬取数据保存为Json格式的代码示例

python爬取数据保存为Json格式 代码如下: #encoding:'utf-8' import urllib.request from bs4 import Beautiful...

Python抓取框架Scrapy爬虫入门:页面提取

前言 Scrapy是一个非常好的抓取框架,它不仅提供了一些开箱可用的基础组建,还能够根据自己的需求,进行强大的自定义。本文主要给大家介绍了关于Python抓取框架Scrapy之页面提取的...

Python使用正则表达式抓取网页图片的方法示例

本文实例讲述了Python使用正则表达式抓取网页图片的方法。分享给大家供大家参考,具体如下: #!/usr/bin/python import re import urllib #获...

详解Python爬取并下载《电影天堂》3千多部电影

详解Python爬取并下载《电影天堂》3千多部电影

不知不觉,玩爬虫玩了一个多月了。 我愈发觉得,爬虫其实并不是什么特别高深的技术,它的价值不在于你使用了什么特别牛的框架,用了多么了不起的技术,它不需要。它只是以一种自动化搜集数据的小工具...

Python爬虫爬取煎蛋网图片代码实例

Python爬虫爬取煎蛋网图片代码实例

这篇文章主要介绍了Python爬虫爬取煎蛋网图片代码实例,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下今天,试着爬取了煎蛋网的图片。用到...