分类： 数据分析挖掘

前几天小编写了两篇利用Python采集网易云歌词和采集网易云音乐歌曲文章，相信小伙伴们经过实践之后都能够顺利的采集到自己想要听的歌曲。下面的歌词是小编去年11月份采集的民谣歌词，经过统计，歌词量达到将近15万。

用Python采集的民谣歌词

心血来潮，想利用Python来分析一下民谣歌手们到底在唱些什么鬼~~

首先运用jieba库进行分词和词频统计分析，得到歌词中的词频统计，部分主要代码如下图所示：

运用jieba库进行分词和词频统计分析

得到的词频后将其导入到Excel表格中，详情如下图：

民谣歌手词频统计表

利用词云将其进行可视化，得到效果图如下：

歌词词云可视化

歌词词云可视化

从词频中，我们可以感受到民谣歌手们时常提及青春，感叹韶华易逝，青春小鸟一去不回来。他们会觉得很孤单，但是并不沉浸在忧伤之中，而是心中向往着远方，对整个世界充满希望、对未来充满阳光。嘿嘿，民谣歌手们在传递正能量咧~~

之后通过词频统计分析歌手们喜欢的季节，得到的数据统计如下图所示：

民谣歌手们喜欢的季节

由饼图可以看出，民谣歌手们比较喜欢春天~~等待下一个春天回来；飘在异乡的雪 覆盖了春天~~

继续分析民谣歌手的歌词，探索民谣歌手们到底喜欢活在哪一天，详情如下图所示：

民谣歌手们到底喜欢活在哪一天

由柱状图可以看出，民谣歌手们更加喜欢明天，对于明天充满希望。大家都说我拿青春赌明天，看来是有道理滴。爱人你可感到明天已经来临；却不知明天的船舶停靠在何方~~

通过城市地点词频统计，探索民谣歌手们最喜欢哪个城市，得到的统计图如下所示：

民谣歌手们最喜欢哪个城市

可以很明显的看出，北京直接开挂，完胜其他城市。在南方城市中，民谣歌手念叨最多的还是成都，和我在成都的街头走一走，喔喔喔~~~当然，南京、上海、昆明也有提及，但是分量不大。

那么民谣歌手们到底喜欢南方还是北方呢？看看下图你就知道了。

南方or北方？

可以看出来，民谣歌手们还是蛮喜欢南方菇凉的。北方的村庄住着一个南方的姑娘；南方姑娘 你是否习惯北方的秋凉；南方姑娘 你是否喜欢北方人的直爽~~~赵雷歌曲《南方姑娘》送给你^_^

最后利用SnowNLP对每一位民谣歌手的歌词进行情感分析，得到的统计图如下所示：

民谣歌手的情感分析

可以看的出来，许巍的歌曲中表达的情绪是比较嗨的，充满正能量；而赵雷、逃跑计划等人唱的歌曲所表达的情绪比较平缓，像是在不慌不忙的给你讲故事；尧十三等人的歌曲相对忧伤一些。不过话说回来，民谣歌手们的情绪总的来说还是比较开心的。

最后小编总结一下民谣歌手到底在唱什么，唱的是寂寞么？当然不是~~~

通过15万民谣歌词的分析，我们可以得出民谣歌手们时常感叹青春，觉得韶华易逝。通常呢，他们会觉得很孤单，但是并不沉浸在忧伤之中，而是心中向往着远方，对整个世界充满希望、对未来充满阳光。他们喜欢春天和冬天，喜欢生活在明天，对未来充满着信心和希望。他们喜欢北方的城市，尤其是首都北京，但同时呢，他们又惦记着南方姑娘，最希望和女票去的南方城市是成都、南京、香港和昆明~~

以上观点仅供大家参考，欢迎大家来181125776扣扣群内交流探讨~~

^_^最后小编祝大家周末愉快^_^

——————— End ———————

往期精彩文章推荐：

• 网络爬虫过程中5种网页去重方法简要介绍

• 浅谈网络爬虫中深度优先算法和简单代码实现

• 浅谈网络爬虫中广度优先算法和代码实现

• Python环境搭建—安利Python小白的Python和Pycharm安装详细教程

• Python大佬分析了15万歌词，告诉你民谣歌手们到底在唱什么

• 如何利用Python词云和wordart可视化工具对朋友圈数据进行可视化展示

看完本文有收获？请转发分享给更多的人

Python爬虫与数据挖掘

入群请在微信后台回复【入群】

在公众号后台回复下列关键词可以免费获取相应的学习资料：

Python、网络爬虫 、书籍、数据分析、机器学习、数据结构、

大数据、服务器、Spark、Redis、C++、C、php、

mysql、java、Android、面试题、课堂、其他

前几天给大家分享了如何利用Python网络爬虫抓取微信好友数量以及微信好友的男女比例，感兴趣的小伙伴可以点击链接进行查看。今天小编给大家介绍如何利用Python网络爬虫抓取微信好友的省位和城市，并且将其进行可视化，具体的教程如下。

爬取微信好友信息，不得不提及这个itchat库，简直太神奇了，通过它访问微信好友基本信息可谓如鱼得水。下面的代码是获取微信好友的省位信息：

程序运行之后，需要扫描进行授权登录，之后在Pycharm的控制台上会出现如下图的红色提示，这些红色的字体并不是我们通常遇到的Python程序运行报错，属于正常的状态，不用太理会。大意是提示你要用手机扫描下载过来的二维码；确认授权；加载通讯录好友信息；登录成功。之后就会将程序中所需要的内容打印出来，如下图所示：

将打印出来的内容放到记事本中，如下图所示：

可以看到小编的大部分好友都是在中国，而且辽宁的朋友最多，其次是广东省和湖南省的好友居多，可以知道小编是和这三个地方结缘了。下图中展示的省位好友数量并没有那么多，除了青海之外，全部都是国外的城市或国家名称，说明小编的青海朋友并不多，希望可以多交几位青海省的朋友。另外经过统计，小编还发现自己并没有云南、海南和甘肃的朋友，希望可以和这几个地方的伙伴们做个朋友 ~

下图展示的是对好友的地图可视化，具体的实现可以参考这篇文章：Python大佬批量爬取中国院士信息，告诉你哪个地方人杰地灵，在此就不再赘述。

可以看到颜色较深的省位是辽宁省、广东省和湖南省，说明这三个省位小编的好友较多。

接下来继续写代码，抓取微信好友所在的城市，如下图所示：

这里代码和程序运行的截图都放到一起了，在此对于红色字体就不再赘述了。就打印出来的信息可以看到，小编的微信好友中大连的朋友最多，其实是广东省的朋友，如广州和深圳，再就是湖南省的朋友了，如衡阳和长沙。

将微信好友城市分布拷贝到记事本中，可以更加清楚的看到好友的分布，如下图所示：

还有部分城市如下图所示：

还有一些地区就不再多粘贴出来了。另外，感兴趣的小伙伴可以将城市统计汇总，之后将其做个地图可视化，可以尝试一下噢~~

^_^小编最后祝大家周末愉快^_^

——————- End ——————-

往期精彩文章推荐：

手把手用Python教你如何发现隐藏wifi

手把手教你用Python做个可视化的“剪刀石头布”小游戏

手把手用Python网络爬虫带你爬取全国著名高校附近酒店评论

看完本文有收获？请转发分享给更多的人

Python爬虫与数据挖掘

入群请在微信后台回复【入群】

前几天给大家分享了如何利用Python词云和wordart可视化工具对朋友圈数据进行可视化，利用Python网络爬虫抓取微信好友数量以及微信好友的男女比例，以及利用Python网络爬虫抓取微信好友的所在省位和城市分布及其可视化，感兴趣的小伙伴可以点击进去看看详情，内容方面不是很难，即使你是小白，也可以通过代码进行实现抓取。今天，小编继续给大家分享如何利用Python网络爬虫抓取微信好友的签名及其可视化展示，具体的教程如下所示。

1、代码实现还是基于itchat库，关于这个神奇的库，在之前的文章中有提及， 再次不多赘述。下图的代码的功能是实现签名的抓取和数据提取。之后将抓取到的数据写入到本地文件中去。

2、程序运行完成之后，得到了一个文本文件，内容如下图所示。

第一行中最开始的那条签名是小编自己的，博学，审问，慎思，明辨，笃行。之后的签名是根据微信通讯录上的名片列序来进行呈现的。如果好友有微信签名的话，都会抓取下来，如果没有签名的话，则忽略。

3、随机的验证一下微信好友的签名，再此以小编对象的微信签名为例，她的签名是“得之安然、失之坦然、处之泰然、顺其自然、争其必然！”，之后在TXT文件中进行搜索，可以看到其签名确实是存在里边的，如下图所示。

4、接下来就要对这个文件文件进行词云可视化呈现了。继续写代码，如下图所示。

代码的关键部分是需要底图和字体，底图小编用的是路飞，注意要使用白色底图的图片，不然词云可视化的时候效果不佳。

字体的话需要自己提前去下载，对于可视化呈现也可以参考这篇文章：如何利用Python词云和wordart可视化工具对朋友圈数据进行可视化。

5、运行程序之后，仍然需要进行扫码授权，程序运行如下图所示。

红色代码部分，上一篇文章已经详细讲解过了，再次不多赘述了。

6、之后我们可以看到漂亮的词云图就展示在我们面前了，如下图所示。

根据词云的可视化效果来看，关键词：人生、努力、时间、我们、哈哈哈……等词语，出现的频率较高。可以感受得到小编的微信好友的签名基本上都突显出积极乐观，珍惜时间，努力奋斗的特征。

劝君吸取金缕衣，劝君惜取少年时。花开堪折直须折，莫待无花空折枝。祝福大家周末愉快，人生苦短，我用Python~~

往期精彩文章推荐：

• 利用Python网络爬虫抓取微信好友的所在省位和城市分布及其可视化

• 如何利用Python网络爬虫爬取微信朋友圈动态–附代码（下）

• 利用Python词云和wordart可视化工具对朋友圈数据进行可视化展示

• Python环境搭建—安利Python小白的Python和Pycharm安装详细教程

看完本文有收获？请转发分享给更多的人

Python爬虫与数据挖掘

入群请在微信后台回复【入群】

大前天我们通过Python网络爬虫对朋友圈的数据进行了抓取，感兴趣的朋友可以点击进行查看，如何利用Python网络爬虫抓取微信朋友圈的动态（上）和如何利用Python网络爬虫爬取微信朋友圈动态——附代码（下）。今天小编带大家通过词云去将其进行可视化，具体的教程如下。

1、在Python中做词云，需要用到wordcloud库和jieba分词库，没有安装的伙伴可以直接pip安装即可。

2、之后你可能还需要一些字体，如simhei.ttf等，这些字体在网上都有，可以直接进行下载，在做词云的时候会用得到，如下图所示。

3、在items.py的同级目录下建立analyse.py文件，定义analyse_words方法，用于实现词云可视化，jieba.cut用于得到分词结果，具体的代码实现，如下图所示。因为得到的moment.json数据是以JSON格式存储的，所以需要在该文件中导入JSON模块对其进行解析。

这个地方需要注意一下，由于我们的memoent.json文件中是中文字符，如果在open()函数中没有加入encoding=’utf-8’的话会导致gbk编码错误，记得将编码加上即可。

4、之后运行程序，得到keys.png图片文件，程序运行的效果如下图所示。可以看到keys.png已经在items.py目录下了。

5、双击keys.png，如下图所示。

6、不得不承认，这个词云图片内容确实丰富，不过也十分的丑。小编利用wordart（一个词云网站）将朋友圈数据进行更加美化的可视化。

7、比方说用动物的图案进行可视化，效果图如下图所示。

8、如果直接将数据进行导入的话，wordart会直接将整段话进行可视化，这样显得十分冗余，看上去也不太友好，因此还需要通过Python对数据进行分频统计，之后再导入到wordart中就可以看到想要的效果了。首先，我们需要对json文件进行处理一下，将文本全部导出来，形成一个moment.txt文件。内容如下图所示。

9、编写代码，将文本进行分词，代码实现如下所示。

10、程序运行完成之后，得到的moment_outputs.txt文件，内容如下图所示，可以很清楚的看到分词情况。红色部分是程序运行的过程。

11、继续编写代码，将词频进行统计汇总，代码实现如下图所示。

12、程序运行之后，得到一个txt和Excel文件，里边是关于词频统计的信息，如下图所示。红色部分是程序运行的结果，并没有报错。

13、将这些关键字导入到wordart中进行可视化，如下图所示。

14、设置一下图案、字体、排版、颜色等等，就可以生成绚丽的词云图了，下图是汪星人词云图。

15、下图是小云朵词云图，可以给视觉带来一场饕餮盛宴。

小伙伴们，你们有没有觉得很神奇呢？喜欢的话欢迎收藏和转载噢~~

看完本文有收获？请转发分享给更多的人

Python爬虫与数据挖掘

入群请在微信后台回复【入群】