python解析中国天气网的天气数据

yipeiwu_com7年前Python基础

使用方法:terminal中输入

复制代码 代码如下:
python weather.py http://www.weather.com.cn/weather/101010100.shtml

北京6天的天气数据 json格式

复制代码 代码如下:
#coding=utf-8 
#weather.py 
import urllib 
import re 
import simplejson 
import sys 

if len(sys.argv) != 2: 
    print 'please enter: python ' + sys.argv[0] + '  <url>' 
    exit(0)  
url = sys.argv[1]; 
def readurlPageContent(url):#获取页面的所有数据 逐行读取 
    webpage = urllib.urlopen(url); 
    line = webpage.readline(); 
    data = '' 
    while line: 
        data = data + line.strip(); #去除每行两边的的空格 
        line = webpage.readline();  
    return data 

def getDatabody(data): 
    reg = re.compile(r'(<div class=\"weatherYubaoBox\">(?:(?!<div)(?!</div).)*</div>)'); 
    matchs = reg.findall(data,re.I); 
    if len(matchs) > 0: 
        return matchs[0] 
    return None 

def getSixDayWeather(data): 
    regs = re.compile(r'>((?:(?!<)(?!>)(?!var).)+)<'); 
    datas = regs.findall(data) 
    if len(datas) > 12: 
        datas = datas[12:len(datas)-7];#提取其中的78项 即后面6天的天气数据 每天相关的信息有13个 

        return datas     
    return None 

 
data = readurlPageContent(url); 
match_data = getDatabody(data) 
if match_data == None : 
    print 'get weather data fail' 
    exit(0) 

weathers_data = getSixDayWeather(match_data) 
if weathers_data == None: 
    print 'get six day info fail' 
    exit(0) 

count = len(weathers_data); 
groups_item_count = count / 6; 
weathers = {}; 
groups = []; 

start = 0 
for item in weathers_data : 
    if (start % groups_item_count) == 0: 
        groups = []; 
        weathers[('day'+str(start/groups_item_count + 1))] = groups; 

    groups.append(item) 
    start = start + 1 

 
print simplejson.dumps(weathers, encoding='UTF-8', ensure_ascii=False) 

注:本文中使用了第三方JSON库simplejson,安装方法参考下面:
1.下载:http://pypi.python.org/pypi/simplejson/ ,文件为压缩文件
2.解压:可以直接右键:解压文件.例如:D:/simplejson
3.开始---运行---输入命令:cmd
4.进入到目录(如:D:/simplejson)

复制代码 代码如下:
    cd D:/simplejson

5.运行安装文件:setup.py install

相关文章

R vs. Python 数据分析中谁与争锋?

R vs. Python 数据分析中谁与争锋?

当我们想要选择一种编程语言进行数据分析时,相信大多数人都会想到R和Python——但是从这两个非常强大、灵活的数据分析语言中二选一是非常困难的。 我承认我还没能从这两个数据科学家喜爱的语...

关于Python中定制类的比较运算实例

Python中的比较运算有几种:小于、小于等于、等于、大于等于、大于、不等于等。如果我们的数据对象具有明确的物理含义,比如说数值是带有数字与物理单位的字符串组合,那么进行大小比较的时候就...

Python面向对象基础入门之设置对象属性

前言 前面我们已经介绍了 python面向对象入门教程之从代码复用开始(一) ,这篇文章主要介绍的是关于Python面向对象之设置对象属性的相关内容,下面话不多说了,来一起看看...

Django如何自定义model创建数据库索引的顺序

首先这是一个先有鸡还是先有蛋的问题,大部分时候数据都来自excel的整理,当数据越来越多,需要分析的点也越来越多的时候,通过excel来管理显然有些吃力了。 这时候就需要将excel导入...

Python数据结构与算法之链表定义与用法实例详解【单链表、循环链表】

本文实例讲述了Python数据结构与算法之链表定义与用法。分享给大家供大家参考,具体如下: 本文将为大家讲解: (1)从链表节点的定义开始,以类的方式,面向对象的思想进行链表的设计 (2...