一篇文章教会你用Python抓取抖音app热点数据

今天给大家分享一篇简单的安卓app数据分析及抓取方法。以抖音为例,我们想要抓取抖音的热点榜数据。

要知道,这个数据是没有网页版的,只能从手机端下手。

首先我们要安装charles抓包APP数据,它是一款收费的抓包修改工具,易上手,数据请求容易控制,修改简单,抓取数据的开始暂停方便等优势,网上也有汉化版,下载地址为http://www.zdfans.com/html/42074.html,一路默认安装就ok了。

安装完成后要设置代理,依次点击代理——代理设置。

然后在手机端设置代理,如下图所示:

在保证手机和电脑在同一局域网的情况下,代理服务器主机名设为电脑的ip地址,端口设为8888。

最后在电脑端和手机端分别安装证书。

电脑端安装方法:依次点击帮助——ssl代理——安装charles root证书 ,按下图进行安装。

手机端安装方式:帮助——ssl代理——在移动设备或远程浏览器上安装charles root证书。

再在模拟器浏览器中输入chls.pro/ssl,会自动下载手机端证书

最后再手机端依次点击设置——安全——从SD卡安装。

为证书命名,点击确认就安装成功了。

打开charles,然后打开抖音app的热点榜界面,在charles很容易就找到了数据接口,一次就返回了50条数据,如下图所示。

它的url信息如下图所示。

此接口只能返回这一时刻的热点数据,要想返回新的数据,就要变换参数信息,但是App端的数据接口参数都比较复杂,这里我们不再深入分析。

为了解决这一问题,我们可以用appium定时模拟操控手机,然后用mitmproxy把数据拦截下来(关于appium、mitmproxy的简介与安装网上有很多教程,这里不再赘述)

Appium脚本如下图所示:

这个自动化测试脚本比较简单,主要是重复获取热点最新信息。

Mitmproxy脚本如图:

有4点需要注意的地方:

1.用mitmproxy抓包前,先把手机代理ip端口设置为8080,设置方法同上;

2.要想在此脚本运行外置函数,必须加上前两行,要不然会出错;

3.脚本中if url in flow.request.url为数据流判断条件,如果url在该数据流的url请求数据中,则判断该数据为抖音app热点数据;

4.最后在脚本所在路径运行以下程序:

最后再运行appium自动化测试脚本,就大功告成了。

——————- End ——————-

往期精彩文章推荐:

看完本文有收获?请转发分享给更多的人

Python爬虫与数据挖掘

入群请在微信后台回复【入群】

在公众号后台回复下列关键词可以免费获取相应的学习资料:

Python、网络爬虫 、书籍、数据分析、机器学习、数据结构、

大数据、服务器、Spark、Redis、C++、C、php、

mysql、java、Android、面试题、课堂、其他

手把手教你使用Python操控手机微信app(最新教程)

/1 前言/

最近在做手机APP自动化测试,需要安appium,并配置环境变量,网上虽然有很多教程,但是随着版本的更新总有各种各样的坑,本文以亲身踏坑经历给大家详细介绍一下如何正确安装appium。

/2 第一步:安装Adroid SDK/

1、按照网上的教程,先下载Adroid SDK,网址为https://www.androiddevtools.cn/,如下图所示。

手把手教你使用Python操控手机微信app(最新教程)

2、下载过程很顺利,如下图所示。

手把手教你使用Python操控手机微信app(最新教程)

3、之后点击SDK Manager.exe文件,发现没反应。

手把手教你使用Python操控手机微信app(最新教程)

4、遂百度寻找答案,大多解决办法如下图所示:

手把手教你使用Python操控手机微信app(最新教程)

5、然而按照上述步骤并没有“神奇”的打开,这个问题让我纠结了一下午,最后我不得不跳出这个坑,选择安装Android Studio,因为在它里面也可以安装Adroid SDK,下载地址为http://www.android-studio.org/,整个下载过程很顺利,安装过程也很顺利,但是到最后弹出如下错误:

手把手教你使用Python操控手机微信app(最新教程)

6、原因是第一次安装,启动后,检测到电脑没有SDK。第一个解决办法是在安装的目录下找到:bin\idea.properties打开(用记事本)这个文件末尾添加一行disable.android.first.run=true,然后就可以打开Android Studio了,但是这个方法治标不治本,只能顺利打开这个软件,但是不能安装SDK。

7、第二个解决办法是,不翻墙的情况下,一般都是修改host文件:C:\Windows\System32\drivers\etc\hosts,如下图所示。

手把手教你使用Python操控手机微信app(最新教程)

8、在最下面加如上两行命令,再打开Android Studio就能用了,在Android Studio软件下面这个界面可以下载安装所需的Android版本,这一步到此就大功告成了。

手把手教你使用Python操控手机微信app(最新教程)

/3 第二步:下载安装JAVA/

网址为https://www.oracle.com/technetwork/java/javase/downloads/index.html,我安装的是jdk-13.0.1,按照如下配置环境变量:

1、系统变量名:JAVA_HOME,变量值:C:\Program Files\Java\jdk-13.0.1;

2、系统变量名:CLASSPATH,变量值:%java_home%\lib。

但是网上很多教程CLASSPATH的变量值为:

手把手教你使用Python操控手机微信app(最新教程)

这是老版本的环境变量配置方式,新版本jdk-13.0.1文件夹下是没有dt.jar和tools.jar的,大家一定要注意。

/4 第三步:安装appium/

1、这一步比较简单,基本没有坑,直接在appium官网下载安装即可,打开后如下图所示。

手把手教你使用Python操控手机微信app(最新教程)

2、点击Start Server v1.8.1,进入如下界面,如下图所示。

手把手教你使用Python操控手机微信app(最新教程)

我已经配置好了参数,platformName为系统类型,deviceName为手机型号,appPackage和appActivity都代表手机app的标志,此处代表微信app,点击Start Session。

3、手机界面就显示出来了,已经打开了微信,到这一步appium安装及环境搭建已经全部完成,如下图所示。

手把手教你使用Python操控手机微信app(最新教程)

/5 第四步:撸代码/

1、部分代码截图如下图所示。

手把手教你使用Python操控手机微信app(最新教程)

2、执行此代码也可以如第三步一样打开微信登录界面,下面就可以像selenium操作网页一样用appium对微信app界面的元素执行点击、输入等操作了,如果不知道某个按键的元素,可以在appium客户端点击某按钮,然后它的元素信息就在右侧显示出来了,如下图所示。

手把手教你使用Python操控手机微信app(最新教程)

现在你就可以随心所欲的对微信进行自动化测试了。

/6 结语/

本文主要介绍了使用Python代码实现操控手机微信app,教程写的相对基础一些,但是部分细节方面还是节省了很多,大家在尝试的过程中肯定还会有各种问题。

另外本文涉及的Pyhton代码,我已经上传到Github了,感兴趣的小伙伴们,可以去看看,觉得不错,记得给个Star噢!

感谢大家的阅读!

——————— End ———————

往期精彩文章推荐:

看完本文有收获?请转发分享给更多的人

Python爬虫与数据挖掘

入群请在微信后台回复【入群】

在公众号后台回复下列关键词可以免费获取相应的学习资料:

Python、网络爬虫 、书籍、数据分析、机器学习、数据结构、

大数据、服务器、Spark、Redis、C++、C、php、

mysql、java、Android、面试题、课堂、其他