python爬取网易云音乐评论

yipeiwu_com7年前Python爬虫

本文实例为大家分享了python爬取网易云音乐评论的具体代码,供大家参考,具体内容如下

import requests
import bs4
import json
 
def get_hot_comments(res):
   comments_json = json.loads(res.text)
   hot_comments = comments_json['hotComments']
   
   with open("hotcmments.txt", 'w', encoding = 'utf-8') as f:
      for each in hot_comments:
         f.write(each['user']['nickname']+':\n')
         f.write(each['content']+'\n\n')
         f.write("-------------------------------------\n")
 
def open_url(url):
   rname_id = url.split('=')[1]
   headers={"User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36",
        "referer": "http://music.163.com/song?id=4466775&market=baiduqk"}
 
   params = "PWXGrRPQKqZfgF4QTEivQ9eZfrCscY2YtKA60Xw6P6kL6v4J09c/g+PNwzks+mpwUDmjDWvJ0CNfV/Vzeh0iLNIVyWZ+9wezTESdC2/lpPKgcSgFo8au3evlS5OpciLmVG7YGhEFiocZQ/ccGaFdG4WdqStjPDEIoBfzeGZJZIsixW0SG4zVhBrfgKTi0i22"
   encSecKey = "61be0f8c5305c919985b294069695d2ba84746c75ed902e8157b6b595a920c57cfedf552f5c764fed37be84bfd1cce31e05eb364644930fbe6bc074747ed8e670933aef4d8b8841209c6956f4b532f8a3caadfaffb61f233a42e53dc5795183b9c6ccb30b8aa56d656466cc6523e8213560bb3e476ab95d58755f47f91cf7f53"
 
   data ={
      "params": params,
      "encSecKey": encSecKey
      }
   target_url = "http://music.163.com/weapi/v1/resource/comments/R_SO_4_{}??csrf_token=".format(rname_id)
   res = requests.post(target_url, headers = headers,data = data)
 
   return res
 
def main():
   #url = input("请输入您需要获取的歌曲地址:")
   url = "http://music.163.com/#/song?id=4466775"
 
   res = open_url(url)
 
   get_hot_comments(res)
   #with open("res.txt",'w', encoding = 'utf-8') as f:
    #   f.write(res.text)
   
 
if __name__ == "__main__":
   main()

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持【听图阁-专注于Python设计】。

相关文章

Python爬虫DOTA排行榜爬取实例(分享)

Python爬虫DOTA排行榜爬取实例(分享)

1、分析网站 打开开发者工具,我们观察到排行榜的数据并没有在doc里   doc文档 在Javascript里我么可以看到下面代码: ajax的post方法异步请求数据 在...

Python 多线程抓取图片效率对比

目的: 是学习python 多线程的工作原理,及通过抓取400张图片这种IO密集型应用来查看多线程效率对比 import requests import urlparse imp...

Python视频爬虫实现下载头条视频功能示例

Python视频爬虫实现下载头条视频功能示例

本文实例讲述了Python视频爬虫实现下载头条视频功能。分享给大家供大家参考,具体如下: 一、需求分析 抓取头条短视频 思路: 分析网页源码,查找解析出视频资源url(查看源代码,搜mp...

python利用beautifulSoup实现爬虫

以前讲过利用phantomjs做爬虫抓网页 /post/55789.htm 是配合选择器做的 利用 beautifulSoup(文档 :http://www.crummy.com/sof...

Python3网络爬虫之使用User Agent和代理IP隐藏身份

Python3网络爬虫之使用User Agent和代理IP隐藏身份

本文介绍了Python3网络爬虫之使用User Agent和代理IP隐藏身份,分享给大家,具体如下: 运行平台:Windows Python版本:Python3.x IDE...