Python 爬虫之超链接 url中含有中文出错及解决办法

yipeiwu_com6年前Python爬虫

Python 爬虫之超链接 url中含有中文出错及解决办法

python3.5 爬虫错误:

UnicodeEncodeError: 'ascii' codec can't encode characters

这个错误是由于超链接中含有中文引起的,超链接默认是用ascii编码的,所以不能直接出现中文,若要出现中文,

解决方法如下:

import urllib 
from urllib.request import urlopen

link="http://list.jd.com/list.html?cat=9987,653,655&ev=exbrand%5F9420&trans=1&JL=3_品牌_金立(Gionee)"  #含有中文的超链接

# 需要用 urllib.parse.quote 转换
link=urllib.parse.quote(link)

html=urlopen(link).read() #就可以访问了,不会报异常

以上就是 Python 爬虫出现错误解决办法的详解,如有疑问请留言或者到本站的社区交流讨论,感谢阅读,希望能帮助到大家,谢谢大家对本站的支持!

相关文章

通过Python爬虫代理IP快速增加博客阅读量

写在前面 题目所说的并不是目的,主要是为了更详细的了解网站的反爬机制,如果真的想要提高博客的阅读量,优质的内容必不可少。 了解网站的反爬机制 一般网站从以下几个方面反爬虫: 1. 通过H...

Python使用Beautiful Soup爬取豆瓣音乐排行榜过程解析

Python使用Beautiful Soup爬取豆瓣音乐排行榜过程解析

前言 要想学好爬虫,必须把基础打扎实,之前发布了两篇文章,分别是使用XPATH和requests爬取网页,今天的文章是学习Beautiful Soup并通过一个例子来实现如何使用Beau...

Python爬虫包 BeautifulSoup 递归抓取实例详解

Python爬虫包 BeautifulSoup  递归抓取实例详解 概要: 爬虫的主要目的就是为了沿着网络抓取需要的内容。它们的本质是一种递归的过程。它们首先需要获得网页的内容...

python爬虫中多线程的使用详解

queue介绍 queue是python的标准库,俗称队列.可以直接import引用,在python2.x中,模块名为Queue。python3直接queue即可 在python中,多个...

Python使用urllib2模块抓取HTML页面资源的实例分享

先把要抓取的网络地址列在单独的list文件中 //www.jb51.net/article/83440.html //www.jb51.net/article/83437.html...