拨开荷叶行,寻梦已然成。仙女莲花里,翩翩白鹭情。
IMG-LOGO
主页 文章列表 手把手教你用Python获取新冠疫情资料并进行可视化

手把手教你用Python获取新冠疫情资料并进行可视化

白鹭 - 2022-01-23 2028 0 0

前言

不知道大伙有没有看到过这一句话:“中国(疫苗研发)非常困难,因为在中国我们没有办法做第三期临床试验,因为没有病人了,”这句话是中国工程院院士钟南山在上海科技大学2021届毕业典礼上提出的,这句话在全网流传,被广大网友称之为“凡尔赛”发言,

今天让我们用资料来看看这句话是不是“凡尔赛”本赛,在开始之前我们先来说说今天要用到的python库吧!

1.资料获取部分

requests lxml json openpyxl

2.资料可视化部分

pandas  pyecharts(可视化库)

以上的库都可以通过在线下载:

pip instll xx  

ps:如果下载速度太慢的话也可以用国内镜像,使用命令,例如:

pip install xx(库名) -i https://pypi.tuna.tsinghua.edu.cn/simple gevent(清华镜像)

现在一起进入今天的代码部分吧!!!

资料获取

目标地址:

https://voice.baidu.com/act/newpneumonia/newpneumonia

进入目标地址我们可以看到如下所示:
在这里插入图片描述
现在让我们一起去决议网页结构找到我们要爬取到的资料如下所示:
在这里插入图片描述

现在我们找到想要的页面资料接下来就是通过Python来获取这些资料了,上代码:

1 import requests
2 from lxml import etree
3 import json
4 import openpyxl
5 
6 #通用爬虫
7 url = 'https://voice.baidu.com/act/newpneumonia/newpneumonia'
8 headers = {
9    "User-Agent": ".....(换成自己的)"
10 }
11 response = requests.get(url=url,headers=headers).text
12 #在使用xpath的时候要用树形态
13 html = etree.HTML(response)
14 #用xpath来获取我们之前找到的页面json资料  并列印看看
15 json_text = html.xpath('//script[@type="application/json"]/text()')
16 json_text = json_text[0]
17 print(json_text)

之后我们来决议一下json资料,上代码:

1 #用python本地自带的库转换一下json资料
2 result = json.loads(json_text)
3 print(result)
4 #通过打印出转换的物件我们可以看到我们要的资料都要key为component对应5 的值之下  所以现在我们将值拿出来
6 result = result["component"]
7 #再次打印看看结果
8 print(result)
9 获取国内当前资料
10 result = result[0]['caseList']
11 print(result)

接着我们将获取到的资料保存到excel中,上代码:

1 #创建作业簿
2 wb = openpyxl.Workbook()
 3 创建作业表
4 ws = wb.active
5 设定表的标题
6 ws.title = "国内疫情"
7  写入表头
8 ws.append(["省份","累计确诊","死亡","治愈"])
9 #获取各省份的资料并写入
10 for line in result:
11     line_name = [line["area"],line["confirmed"],line["died"],line["crued"]]
12     for ele in line_name:
13         if ele == '':
14             ele = 0
15     ws.append(line_name)
16 #保存到excel中
17 wb.save('./china.xlsx')

最后我们查看一下获取到的资料是什么样的,如图:
在这里插入图片描述
emmmm,终于我们把资料获取部分完成了,第二部分的资料可视化来了!!!

资料可视化

这次我们用到的库是pyecharts里面的Map,我们先展示一下本次可视化用到的库

1 #可视化部分
2 import pandas  as pd
3 from pyecharts.charts import Map,Page
4 from pyecharts import options as opts

首先我们要先通过pandas库来获取到刚才我们爬取到的资料,上代码:

1  设定列对齐
2 pd.set_option('display.unicode.ambiguous_as_wide', True)
3  pd.set_option('display.unicode.east_asian_width', True)
4   打开档案
5 df = pd.read_excel('china.xlsx')
6 对省份进行统计
7  data2 = df['省份']
8 data2_list = list(data2)
9 data3 = df['累计确诊']
10  data3_list = list(data3)
11  data4 = df['死亡']
12  data4_list = list(data4)
13 data5 = df ['治愈']
14 data5_list = list(data5)

接着我们来做资料可视化,将在我国地图上的各个省份显示出对应的数值

我们以疫情发生以来治愈数为例,上代码:

1 c = (
2    Map()
3       .add("治愈", [list(z) for z in zip(data2_list, data5_list)], "china")
4      .set_global_opts(
5         title_opts=opts.TitleOpts(),
6         visualmap_opts=opts.VisualMapOpts(max_=200),
7     )
8 )
9 c.render()

在这里插入图片描述
当然仅仅一个治愈情况当然说明不了什么,所以我们将三种情况都以这种形式显示出来,上代码:

1 a = (
2     Map()
3     .add("累计确诊", [list(z) for z in zip(data2_list, data3_list)], "china")
4        .set_global_opts(
5       title_opts=opts.TitleOpts(),
6        visualmap_opts=opts.VisualMapOpts(max_=200),
7    )
8 )
9 
10 b = (
11     Map()
12       .add("死亡", [list(z) for z in zip(data2_list, data4_list)], "china")
13       .set_global_opts(
14         title_opts=opts.TitleOpts(),
15         visualmap_opts=opts.VisualMapOpts(max_=200),
16     )
17 )
18 
19 c = (
20     Map()
21        .add("治愈", [list(z) for z in zip(data2_list, data5_list)], "china")
22         .set_global_opts(
23      title_opts=opts.TitleOpts(),
24       visualmap_opts=opts.VisualMapOpts(max_=200),
25     )
26 )
27 
28 page = Page(layout=Page.DraggablePageLayout)
29 page.add(
30     a,
31     b,
32     c,
33 )
34  先生成render.html档案
35 page.render()

在这里插入图片描述
当然如果是直接运行代码的话展现出来的地图不是这样的,这个是通过后期的排版来完成的,那么在最后我们来说说是怎么排版的吧,

首先你先将上面的代码运行之后会产生一个render.html的档案然后你打开档案之后可以调整整个页面的布局,根据自己的喜欢来调整,接着点击左上角的“Save Config”将这个json档案保存到跟render.html这个档案同一个路径之下,最后运行一下代码:

1 #完成上一步之后把 page.render()这行注释掉
2 #然后循行这下面
3 Page.save_resize_html("render.html",
4     cfg_file="chart_config.json",
5     dest="my_test.html")

这样以后会产生一个my_test.html这个档案就是我们上面展示的那样啦,以上就是我们这次的结果,从资料的获取到资料可视化,怎么说呢pyecharts还具有其他强大的可视化功能,

python的特色

? 简单
? 易于学习
? 自由开放
? 跨平台
? 可嵌入
? 丰富的库

学习资源

学习资源是学习质量和速度的保证,因此找到高质量的学习资源对我们来说也是非常重要的,网上资源浩如烟海,我只有一条建议,那就是不要只依靠一个来源,充分利用那些型别各异的采用了不同交付方式的资源,以此来深化你的学习,以下是我用来学习Python的一些资源;

一、Python所有方向的学习路线

Python所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照上面的知识点去找对应的学习资源,保证自己学得较为全面,
在这里插入图片描述

二、学习软件

工欲善其事必先利其器,学习Python常用的开发软件都在这里了,给大家节省了很多时间,
在这里插入图片描述

三、全套PDF电子书

书籍的好处就在于权威和体系健全,刚开始学习的时候你可以只看视频或者听某个人讲课,但等你学完之后,你觉得你掌握了,这时候建议还是得去看一下书籍,看权威技术书籍也是每个程序员必经之路,
在这里插入图片描述

四、入门学习视频

我们在看视频学习的时候,不能光动眼动脑不动手,比较科学的学习方法是在理解之后运用它们,这时候练手项目就很适合了,

在这里插入图片描述
在这里插入图片描述

五、实战案例

如果不把所学知识付诸应用,你是不会知道自己有几斤几两的,项目是评估你所掌握知识的一种好方法,并且绝对是简历的重要加分项,找到一个感兴趣的项目去鉆研,你学到的很有可能会比看网络课程更多,实践始终是学习一门技术的最佳方法,所以光学理论是没用的,要学会跟着一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习,
在这里插入图片描述

六、面试资料

我们学习Python必然是为了找到高薪的作业,下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料,并且有阿里大佬给出了权威的解答,刷完这一套面试资料相信大家都能找到满意的作业,
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

这份完整版的Python全套学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码【免费获取】

请添加图片描述

标签:

0 评论

发表评论

您的电子邮件地址不会被公开。 必填的字段已做标记 *