服务器之间实现免密登录的简易教程

今天这篇文章主要是教会大家如何实现服务器之间的免密登录。

1、先在所有服务器上执行命令:

ssh-keygen -t dsa -P ” -f ~/.ssh/id_dsa

master服务器

slave1服务器

slave2服务器

2、而后在所有服务器上执行命令:

cat ~/.ssh/id_dsa.pub >>~/.ssh/authorized_keys

master服务器

slave1服务器

slave2服务器

3、之后将每台服务器上的id_dsa.pub公钥发送到其他机器的/tmp文件夹下,如在master上执行

scp ~/.ssh/id_dsa.pub slave1:/tmp/

scp ~/.ssh/id_dsa.pub slave2:/tmp/

master服务器

4、之后在其他的机器上将公钥追加到各自的authorized_keys里,执行以下命令:

cat /tmp/id_dsa.pub >>~/.ssh/authorized_keys

cat /tmp/id_dsa.pub >>~/.ssh/authorized_keys

slave1服务器

slave2服务器

5、同样的,在其他的机器上将公钥发送到其他服务器上,然后在其他服务器上将公钥追加到各自的authorized_keys即可。

slave1服务器

slave2服务器

6、最后是测试免密钥连接。

master服务器

slave1服务器

slave2服务器

至此,免密钥登录已经设置完成。这里是以三台服务器为例进行说明,如果有三台服务器及以上都可以参考该方法进行设置。

——————- End ——————-

往期精彩文章推荐:

看完本文有收获?请转发分享给更多的人

Python爬虫与数据挖掘

入群请在微信后台回复【入群】

在公众号后台回复下列关键词可以免费获取相应的学习资料:

Python、网络爬虫 、书籍、数据分析、机器学习、数据结构、

大数据、服务器、Spark、Redis、C++、C、php、

mysql、java、Android、面试题、课堂、其他

关于水晶易表的简介及水晶易表安装初识

这几天看到了一个高大上的东东,它的名字叫水晶易表,名字超好听,它其实大有来头。

水晶易表是全球领先的商务智能软件商SAP Business Objects的最新产品,通常我们只需要简单的进行点击和拖拽操作,Crystal Xcelsius就可以令您静态的Excel电子表格充满生动的数据展示、动态表格、图像和可交互的可视化分析。

哇!看到这里,小编一下子就被吸粉了。以前我们总是看到旋转的仪表盘,动态的数据线等,而且还可以进行交互,但是不知道怎么实现,但是现在已经有答案了,可以通过水晶易表来实现。水晶易表确实高大上,但是其安装过程却是让人抓狂,在此小编分享一下自己的经验给大家,希望日后用到水晶易表的伙伴们少走弯路。

水晶易表目前适用于主流的Windows操作系统,其安装的时候需要依赖Excel和Adobe Flash Player,因为里边的动画仅支持Adobe Flash Player,所以必须要安装Adobe Flash Player。水晶易表兼容的Excel版本为Excel2003/2007和2010,对Adobe Flash Player的版本要求在10.0及其以上。所以除了必备的水晶易表安装包之外,还必须要提前在本机上安装好Excel和Adobe Flash Player。目前水晶易表的安装包很难找到到,小编历经千辛万苦才找到了一个2008版本的水晶易表,但是亲测是好用的,如果有需要的小伙伴可以通过站内联系我。

Excel大家通常都有,而且都安装在本机,十分稳定,但是Adobe Flash Player不一定每个人都可以顺利的安装上,首先要确保自己的电脑上没有Adobe Flash Player的安装包残留。

彻底卸载Adobe Flash Player的方法:

1、使用本机中的控制面板先删除之前的Adobe Flash Player;

2、再使用360安全卫士软件中再次全盘清除残余的文件;

3、在cmd进入命令行,输入regedit,在注册表中找到HKEY_LOCAL_MACHINE\SOFTWARE\Macromedia\FlashPlayer\SafeVersions,SafeVersions里面存在的是Flash player的版本信息,删除掉已安装的版本信息;

4、把C:\WINDOWS\system32\Macromed整个文件夹删除。

至此,本机上残留的Adobe Flash Player的安装包已经彻底删除,关于Adobe Flash Player的安装和删除可以参考这篇文章:在Windows上如何安装和彻底卸载Adobe Flash Player教程。

之后,进入Adobe Flash Player官方网站,如下图所示:

关于水晶易表的简介及水晶易表安装初识

Adobe Flash Player官方网站

之后点击立即安装即可,注意要关闭自己所有的浏览器,不然安装程序会停滞的。

尔后Adobe Flash Player边可以顺利安装上了,出现finished字样表示Adobe Flash Player安装成功。

找到水晶易表安装包,右键以管理员身份运行,建议自定义安装,之后安装程序会检验系统环境和Adobe Flash Player的版本,一般会顺利通过检查,之后便可以在桌面上看到水晶易表的logo啦!

下面这张图是小编利用水晶易表做的2012年中国各地区居民消费价格指数模型,在水晶易表中可以进行互动的,只要点击不同的省位,便可以查看其每个月份的消费价格,在仪表盘中可以查看最高值和最低值~~有没有觉得很高大上呢?

关于水晶易表的简介及水晶易表安装初识

2012年中国各地区居民消费价格指数模型

水晶易表可以令您静态的Excel表格充满生动的数据展示、动态表格、图像和可交互的可视化分析,而且分析结果就可以轻松的嵌入到PowerPoint、PDF 文档、Outlook和网页上了,在工作汇报的时候拿出来肯定让老板大吃一鲸。

——————- End ——————-

往期精彩文章推荐:

看完本文有收获?请转发分享给更多的人

Python爬虫与数据挖掘

入群请在微信后台回复【入群】

在公众号后台回复下列关键词可以免费获取相应的学习资料:

Python、网络爬虫 、书籍、数据分析、机器学习、数据结构、

大数据、服务器、Spark、Redis、C++、C、php、

mysql、java、Android、面试题、课堂、其他

如何在VMware虚拟机中安装CentOS6.7系统(下篇)

上一篇文章讲到了CentOS6.7的安装教程,安装步骤到时区选择这块了,这篇文章接上篇文章,继续讲述CentOS6.7的安装教程,直至安装完成。

17、设置root的登录密码,日后登录虚拟机,用户名就是root,密码就是现在设定的这个,当然密码后期是可以更改的,这点不用操心。

如何在VMware虚拟机中安装CentOS6.7系统(下篇)

18、当密码设置的过于简单,系统会弹出下列提示。如果你想更改密码的话,就点击Cancel,然后选择Back,不想更改的话直接选择UseAnyway,如下图所示。然后继续下一步的安装。

如何在VMware虚拟机中安装CentOS6.7系统(下篇)

19、这一步建议选择最后一项,Create Custom Layout。接下来的步骤比较关键,也是容易出错的地方。

如何在VMware虚拟机中安装CentOS6.7系统(下篇)

20、在这里可以看到自己的磁盘大小情况,之后选择Create。这个磁盘的存储大小在虚拟机创建的时候就已经设定好了。

![]()

21、之后选择StandardPartition(标准分区),点击Create。标准分区主要包括/boot、/swap和根目录/的分区大小,也有的伙伴们习惯多创建一个/data分区,用于专门存储数据。

如何在VMware虚拟机中安装CentOS6.7系统(下篇)

22、这一步需要注意四个地方,小编用红色框框标注出来了。选择挂载点Mount Point下拉框中的/boot,然后设定为200MB,这个数值是标准的,基本上默认即可。当然也可以更改,因为小编的系统要求较高,这里设为400MB。设定好之后,选择OK进行确定。

如何在VMware虚拟机中安装CentOS6.7系统(下篇)

22、设置好之后会在磁盘中看到如下显示,继续点击create。

如何在VMware虚拟机中安装CentOS6.7系统(下篇)

23、接下来进行/swap的分区。继续选择Create,然后选择StandardPartition,再选择第二项下拉框中的/swap。关于/swap的分区,基本上都是默认设为2048MB(2GB)。当然也可以更改,因为小编的系统要求较高,这里设为4096MB(4GB)。之后点击OK确认,继续安装。

如何在VMware虚拟机中安装CentOS6.7系统(下篇)

24、同之前的步骤一致,最后是给根目录分区。一般设为200MB,不过小编的系统要求高些,这里设为400MB。不过在AdditionalSize Options中选择第三项,意思是把剩下的磁盘区间全部分配给根目录。之后选择OK,继续下一步。

![]()

25、设置完分区之后,可以看到如下界面,之后选择Next,进行下一步安装。

如何在VMware虚拟机中安装CentOS6.7系统(下篇)

26、这一步是格式化磁盘,直接选择Format即可。

如何在VMware虚拟机中安装CentOS6.7系统(下篇)

27、之后选择“writechanges to disk”,将变化写入磁盘,之后选择Next。

如何在VMware虚拟机中安装CentOS6.7系统(下篇)

28、等待格式化完成,如下图所示。

如何在VMware虚拟机中安装CentOS6.7系统(下篇)

29、下一步直接默认,选择Next即可。

如何在VMware虚拟机中安装CentOS6.7系统(下篇)

30、之后就可以看到安装在进行了,然后等待两三分钟就可以了。

如何在VMware虚拟机中安装CentOS6.7系统(下篇)

31、CentOS安装进行中。

如何在VMware虚拟机中安装CentOS6.7系统(下篇)

32、安装完成之后,点击下图右下方的“Reboot”。

如何在VMware虚拟机中安装CentOS6.7系统(下篇)

33、重启过程中会出现部分的界面,等待即可。

34、等待重启完成。

如何在VMware虚拟机中安装CentOS6.7系统(下篇)

35、成功安装系统。输入用户名(root)和之前设定的密码,进入Centos系统。Congratulations!

如何在VMware虚拟机中安装CentOS6.7系统(下篇)

至此,在VMware虚拟机中安装CentOS系统已经完成,希望对大家的学习有帮助~~

看完本文有收获?请转发分享给更多的人

Python爬虫与数据挖掘

入群请在微信后台回复【入群】

在公众号后台回复下列关键词可以免费获取相应的学习资料:

Python、网络爬虫 、书籍、数据分析、机器学习、数据结构、

大数据、服务器、Spark、Redis、C++、C、php、

mysql、java、Android、面试题、课堂、其他

如何在VMware虚拟机中安装CentOS6.7系统(上篇)

之前给大家分享了在VMware中如何创建CentOS虚拟机,今天给大家分享一下如何在虚拟机中安装CentOS系统,以CentOS6.7系统为例,其他的系统版本也可以参考该教程进行类似处理,具体的流程如下。

1、进入VMware,然后找到新创建的那台虚拟机,点击“开启此虚拟机”,如下图所示。

2、之后弹出下图的启动界面,这并不是报错,不用慌张。

3、如下图所示,点击左下方的光碟logo,然后弹出两个选项,选择“设置”选项。

4、弹出下图虚拟机设置界面,选择“使用ISO映像文件”,如下图所示。

5、尔后点击“浏览”,从本地找到CentOS6.7的ISO映像文件,如下图所示,然后载入到虚拟机即可。

6、稍等片刻,弹出下图界面,等待系统反应即可。

7、选择“Installor upgrade an existing system”,意思是直接安装或更新现有的系统。我们的虚拟机十分纯洁,所以直接安装即可。选择第一项,然后直接enter。如果没有选择的话,系统在60秒之后会自动在你所选的目录下进行安装。

8、之后系统初始化进行中,只需要等待即可。

9、这一步选择skip,通过键盘的左右方向键,可以进行选定,然后需要等待一小会儿。

10、选择Next,继续。

11、安装语言建议选择English,不容易出错。虽然汉字看上去理解方便些,但是有时候生僻一些的汉字或者中文字符就会出现乱码,影响心情。

12、为系统选择键盘,这一步仍然选择English,也就是我们常用的键盘形式。

13、接下来是选择设备安装类型,这里一般选择基本存储设备类型即可,如果不确定选择哪种类型,就选择第一种就可以啦。

14、这一步选择”Yes,discardany data”,有点儿像格式化。之后选择下一步继续安装。

15、这一步设定主机名,可以DIY,自己起名字即可,这里直接起名master。等系统安装完成之后,将会出现你设定的主机名。

16、选择时区。直接在世界地图上找到中国上海(找不到的小伙伴去市场上买豆腐砸寄几脑袋),或者在下拉框中选择Asia/Shanghai即可。

介于文章篇幅过长,配图太多,CentOS6.7的安装手册上篇先到这里,下一篇文章将继续补充,直至完成CentOS6.7的安装。

看完本文有收获?请转发分享给更多的人

IT共享之家

入群请在微信后台回复【入群】

—————— End ——————

往期精彩文章推荐:

一篇文章教会你使用Python定时抓取微博评论

【Part1——理论篇】

试想一个问题,如果我们要抓取某个微博大V微博的评论数据,应该怎么实现呢?最简单的做法就是找到微博评论数据接口,然后通过改变参数来获取最新数据并保存。首先从微博api寻找抓取评论的接口,如下图所示。

一篇文章教会你使用Python定时抓取微博评论

但是很不幸,该接口频率受限,抓不了几次就被禁了,还没有开始起飞,就凉凉了。

一篇文章教会你使用Python定时抓取微博评论

接下来小编又选择微博的移动端网站,先登录,然后找到我们想要抓取评论的微博,打开浏览器自带流量分析工具,一直下拉评论,找到评论数据接口,如下图所示。

一篇文章教会你使用Python定时抓取微博评论

之后点击“参数”选项卡,可以看到参数为下图所示的内容:

一篇文章教会你使用Python定时抓取微博评论

可以看到总共有4个参数,其中第1、2个参数为该条微博的id,就像人的身份证号一样,这个相当于该条微博的“身份证号”,max_id是变换页码的参数,每次都要变化,下次的max_id参数值在本次请求的返回数据中。

一篇文章教会你使用Python定时抓取微博评论

 

【Part2——实战篇】

有了上文的基础之后,下面我们开始撸代码,使用Python进行实现。

一篇文章教会你使用Python定时抓取微博评论

1、首先区分url,第一次不需要max_id,第二次需要用第一次返回的max_id。

一篇文章教会你使用Python定时抓取微博评论

2、请求的时候需要带上cookie数据,微博cookie的有效期比较长,足够抓一条微博的评论数据了,cookie数据可以从浏览器分析工具中找到。

一篇文章教会你使用Python定时抓取微博评论

3、然后将返回数据转换成json格式,取出评论内容、评论者昵称和评论时间等数据,输出结果如下图所示。

一篇文章教会你使用Python定时抓取微博评论

4、为了保存评论内容,我们要将评论中的表情去掉,使用正则表达式进行处理,如下图所示。

一篇文章教会你使用Python定时抓取微博评论

5、之后接着把内容保存到txt文件中,使用简单的open函数进行实现,如下图所示。

一篇文章教会你使用Python定时抓取微博评论

6、重点来了,通过此接口最多只能返回16页的数据(每页20条),网上也有说返回50页的,但是接口不同、返回的数据条数也不同,所以我加了个for循环,一步到位,遍历还是很给力的,如下图所示。

一篇文章教会你使用Python定时抓取微博评论

7、这里把函数命名为job。为了能够一直取出最新的数据,我们可以用schedule给程序加个定时功能,每隔10分钟或者半个小时抓1次,如下图所示。

一篇文章教会你使用Python定时抓取微博评论

8、对获取到的数据,做去重处理,如下图所示。如果评论已经在里边的话,就直接pass掉,如果没有的话,继续追加即可。

一篇文章教会你使用Python定时抓取微博评论

这项工作到此就基本完成了。

 

【Part3——总结篇】

这种方法虽然抓不全数据,但在这种微博的限制条件下,也是一种比较有效的方法。

最后如果您需要本文代码的话,请在后台回复“微博”二字,觉得不错,记得给个star噢~

看完本文有收获?请转发分享给更多的人

IT共享之家

入群请在微信后台回复【入群】

一篇文章教会你使用Python定时抓取微博评论

在公众号后台回复下列关键词可以免费获取相应的学习资料:

Python、网络爬虫 、书籍、数据分析、机器学习、数据结构、

大数据、服务器、Spark、Redis、C++、C、php、

mysql、java、Android、面试题、课堂、其他

如何在VMware中进行创建CentOS虚拟机

今天给大家分享如何在VMware中创建CentOS虚拟机,CentOS6.7为例进行说明,CentOS7版本亦可以参考该教程,具体的教程如下。

1、之后打开VMware,主页面如下图所示。点击第一个框框,“创建新的虚拟机”。

2、弹出下图界面,选择第二个“自定义(高级)”,之后“下一步”。

3、这一步默认即可,直接点击“下一步”。

4、这里点击“稍后安装操作系统”,之后选择“下一步”。

5、这一步是选择版本。客户机操作系统默认选择为Linux系统,而版本则根据电脑的位数来进行选择,如果电脑是64位系统的话,就选择CentOS64位,如果是32位的话,就直接选择CentOS即可。这里如果选择不正确的话,后面在安装Ubuntu系统的时候重启会报系统不兼容的错误。选择好版本之后,点击选择“下一步”。

6、弹出虚拟机的名称和安装位置。

7、虚拟机名称可以自定义,不多赘述,这里将其命名为master,后期作为集群的管理节点用的。虚拟机蛮占内存的,所以安装位置不建议放到C盘,建议放到其他的盘内,且要保证该磁盘的空间至少要大于虚拟机的大小。这里,小编将虚拟机放到E盘。

8、处理器的配置。如果只是想拿虚拟机练练手,要求不高的话,就直接默认,选择“下一步”即可。

9、如果对处理要求较高,则需要按需进行分配。这里小编将配置给的比较高,因为后期有其他的用途,如下图所示。

10、虚拟机内存默认为2G。同上一步一致,要求不高的话直接默认即可。在这里小编选择了20G,大家可以根据自己的要求进行选择,要保证磁盘大小够用噢,之后选择“下一步”。

11、网络连接部分,直接默认即可,选择NAT模式,之后选择“下一步”。

12、选择I/O控制器类型,这一步默认即可,选择推荐的类型,之后选择“下一步”。

13、磁盘类型一般选择推荐的就可以,SCSI和SATA都是比较受欢迎的磁盘类型,之后选择“下一步”。

14、选择磁盘。建议选择第一项,“创建新虚拟磁盘”,之后选择“下一步”。下一步最大磁盘大小默认设为20G,默认即可。这里选择“将虚拟磁盘存储为单个文件”,也有的伙伴选择“将虚拟磁盘拆分为多个文件”,也是可以的。

15、指定磁盘文件。这一步默认即可,之后选择“下一步”。

16、之后弹出下图的界面,之后再选择“完成”。

17、至此,CentOS虚拟机创建完成,如下图所示。

接下来你就可以在VMware虚拟机中安装CentOS系统了,Linux搞起来。

—————— End ——————

往期精彩文章推荐:

看完本文有收获?请转发分享给更多的人

Python爬虫与数据挖掘

入群请在微信后台回复【入群】

在公众号后台回复下列关键词可以免费获取相应的学习资料:

Python、网络爬虫 、书籍、数据分析、机器学习、数据结构、

大数据、服务器、Spark、Redis、C++、C、php、

mysql、java、Android、面试题、课堂、其他

手把手教你安装Ubuntu系统增强工具

如果你不安装VMware增强工具的话,VMware经常会给你弹出下图的界面,提示你安装增强工具。

手把手教你安装Ubuntu系统增强工具

那么VMware增强工具到底有啥特别之处咧?其实在VMware虚拟机中安装好VMwareTools之后,就可以实现主机与虚拟机之间的文件共享,可以自由的拖拽文件,十分的方便,再也不用通过Filezilla、Xftp等远程文件传输辅助工具进行传输文件了。此外,鼠标也可在虚拟机与主机之间自由移动,省去按ctrl+alt组合键的功夫,而且虚拟机屏幕也可实现全屏化。

手把手教你安装Ubuntu系统增强工具

VMware增强工具的具体安装过程如下。

1、在Ubuntu虚拟机处于关机状态的时候,当看到界面弹出VMware增强工具的安装提示,此时点击“安装Tools”,尔后点击“开启虚拟机”,进入Ubuntu系统。

手把手教你安装Ubuntu系统增强工具

2、除了上述方法之外,也可以在Ubuntu虚拟机处于关机状态的时候,点击VMwareWorkstation中的“虚拟机”选项卡,然后选中“安装VMwareTools(T)”如下图所示,尔后再点击“开启虚拟机”,进入Ubuntu系统。

手把手教你安装Ubuntu系统增强工具

3、如果弹出下图的界面,点击“是”即可。

手把手教你安装Ubuntu系统增强工具

4、进入Ubuntu系统之后,点击光盘这个选项卡,然后点击VMwareTools,在右侧找到VMware增强工具安装包,如下图所示。

手把手教你安装Ubuntu系统增强工具

5、在VMware增强工具安装包上点击右键,选择“复制(copy)”,如下图所示。

手把手教你安装Ubuntu系统增强工具

6、然后进入到Ubuntu系统的home目录下,如下图所示,然后右键,选择“粘贴(paste)”,将VMware增强工具安装包复制到home目录下。

手把手教你安装Ubuntu系统增强工具

7、选中VMware增强工具安装包,然后选择“Extracthere(解压到当前文件夹)”,表示解压到当前文件夹下,如下图所示。

手把手教你安装Ubuntu系统增强工具

8、解压进行中,如下图所示。

手把手教你安装Ubuntu系统增强工具

9、此时在home目录下多了一个名为vmware-tools-distrib的文件夹,如下图所示。

手把手教你安装Ubuntu系统增强工具

10、选择下图中的logo(Ubuntu左侧界面中的第一个),然后输入terminal,选择弹出来的界面,如下图所示。

手把手教你安装Ubuntu系统增强工具

11、再点击terminal这个黑色框框之后,将进入到命令行终端,如下图所示。

手把手教你安装Ubuntu系统增强工具

12、系统默认进入的是home目录,所以直接输入“ls”命令查看当前路径下的文件夹,可以看到VMware增强工具文件夹,如下图所示。

手把手教你安装Ubuntu系统增强工具

13、尔后通过cd命令,打开VMware增强工具文件夹,如下图所示,可以看到有个可执行文件,名为vmware-install.pl,这个文件就是VMware增强工具的安装文件。

手把手教你安装Ubuntu系统增强工具

14、执行安装命令“sudo./ vmware-install.pl”,输入密码,赋予执行权限,等待VMware增强工具进行安装,如下图所示。如果弹出询问的界面,输入“yes”默认安装即可,如下图红色框框所示。

手把手教你安装Ubuntu系统增强工具

15、在后面的安装过程中,出现询问的时候,可以直接按下Enter键,默认表示“Yes(确认)”,如下图所示。

手把手教你安装Ubuntu系统增强工具

16、网速稳定的话,VMware增强工具安装过程大概3分钟左右,最后会有一个enjoy的提示,如下图所示,表示安装成功。

手把手教你安装Ubuntu系统增强工具

17、此时,你可以将增强工具包删除掉,可以节省点内存空间,尔后reboot(重启)虚拟机,记得务必重启,不然不能生效。现在你可以将Windows下的文件或者文件夹自由的拖拽到Ubuntu系统,也可以将Ubuntu系统中的文件或者文件夹拖拽到Windows下面,十分方便,如下图所示。

手把手教你安装Ubuntu系统增强工具

18、至此,VMware增强工具的安装详细教程已经完成,希望对大家的学习有帮助。诚然,这种安装方式并不是唯一的,不过这种方式肯定是蛮接地气的,对于新手来说还是蛮好上手的。

——————- End ——————-

往期精彩文章推荐:

看完本文有收获?请转发分享给更多的人

Python爬虫与数据挖掘

入群请在微信后台回复【入群】

在公众号后台回复下列关键词可以免费获取相应的学习资料:

Python、网络爬虫 、书籍、数据分析、机器学习、数据结构、

大数据、服务器、Spark、Redis、C++、C、php、

mysql、java、Android、面试题、课堂、其他

手把手教你进行Scrapy中item类的实例化操作

接下来我们将在爬虫主体文件中对Item的值进行填充。

1、首先在爬虫主体文件中将Item模块导入进来,如下图所示。

手把手教你进行Scrapy中item类的实例化操作

2、第一步的意思是说将items.py中的ArticleItem类导入到爬虫主体文件中去,将两个文件串联起来,其中items.py的部分内容如下图所示。

手把手教你进行Scrapy中item类的实例化操作

3、将这个ArticleItem类导入之后,接下来我们就可以对这个类进行初始化,并对其进行相应值的填充。首先去parse_detail函数下对其进行实例化,实例化的方法也十分简单,如下图所示。

手把手教你进行Scrapy中item类的实例化操作

4、接下来,我们将填充对应的值。实际上我们在之前通过Xpath或者CSS选择器已经获取到了目标数据,如下图所示,现在要做的就是依次填充目标字段的值。

手把手教你进行Scrapy中item类的实例化操作

5、我们可以像字典一样来给目标字段传值,例如item[“title”]= title,其他的目标字段的填充也是形如该格式,填充完成之后如下图所示。

手把手教你进行Scrapy中item类的实例化操作

其中,目标字段可以参考items.py中定义的item,这样可以加快填充的速度。

6、到这里,我们已经将需要填充的字段全部填充完成了,之后我们需要调用yield,这点十分重要。再调用yield之后,实例化后的item就会自动传递到pipeline当中去。可以看到下图中的pipelines.py中默认给出的代码,说明pipeline其实是可以接收item的。

手把手教你进行Scrapy中item类的实例化操作

7、到这里,关于实例化item的步骤就已经完成了,是不是比较简单呢?我们后面把pipeline配置起来,一步一步的将Scrapy串起来。

—————— End ——————

往期精彩文章推荐:

看完本文有收获?请转发分享给更多的人

Python爬虫与数据挖掘

入群请在微信后台回复【入群】

在公众号后台回复下列关键词可以免费获取相应的学习资料:

Python、网络爬虫 、书籍、数据分析、机器学习、数据结构、

大数据、服务器、Spark、Redis、C++、C、php、

mysql、java、Android、面试题、课堂、其他

如何在交互式环境中执行Python程序

如何在交互式环境中执行Python程序

相信接触过Python的小伙伴们都知道运行Python脚本程序的方式有多种,目前主要的方式有:交互式环境运行、命令行窗口运行、开发工具上运行等,其中在不同的操作平台上还互不相同。今天,小编讲些Python基础的内容,以Windows下交互式环境为依托,演示Python程序的运行。

一般来说,顺利安装Python之后,有两种方式可以进入Python交互性环境。一种是在Python自带的IDLE中直接打开交互式窗口,如下图所示:

如何在交互式环境中执行Python程序

另一种是打开开始菜单,输入cmd之后,进入命令行窗口,之后输入Python,回车之后便可以进入到交互式环境中去,如下图所示:

如何在交互式环境中执行Python程序

在>>>提示符后边输入编程语句,然后回车进行执行,就会得到运行的结果。简单来看,这个交互式环境有点类似计算器,一次执行一条语句,而且还可以保存结果。下图是部分操作实例:

如何在交互式环境中执行Python程序

需要注意的是特殊变量“_”,它在Python交互式环境中的意思是前面运算的结果,一般在程序中使用其构造成新的表达式,在此基础上做进一步计算。在交互式环境中,我们可以直接使用常量,也可以定义变量,但是必须要事先先定义好变量,不然的就会出现命名错误,如例子中的最后一行代码中的a没有定义,所以报错了,但是length和width都没有报错,因为他有定义。

在Python交互式环境中,如果存在语法错误,程序在运行之后会报错,而且会得到错误信息,可以帮助我们很轻松的找到报错的行数和报错内容,只要我们对症下药就可以药到病除啦,bug分分钟解决掉~~

在交互式环境中,输入的代码不会被保存下来,当关闭Python得到运行窗口之后,之前输入的代码将不会被保存。但是在交互式环境中按下键盘中的上下键,可以寻找历史命令,但是它是短暂性的记忆,当退出程序之后,这些命令将不复存在。

如果你需要编写较长程序的时候,使用命令行就不太方便了。此时你可以利用文本编辑器进行编辑脚本。在IDLE中点击左上方的file,然后选择New window菜单,就可以新建一个窗口了,如下图所示:

如何在交互式环境中执行Python程序

在这里,你可以编写你的代码,但是务必要注意缩进,否则会经常出现indentation(缩进)错误,语句的缩进在Python中相当重要,因为不同的缩进反映了语句块的不同层次之间的关系。编写好的文件需要进行保存(Ctrl+s),之后以.py的拓展名进行保存。保存好之后,按下快捷键F5就可以运行程序了,之后在IDLE的窗口中便可以看到运行的结果。当然你也可以右键,然后点击run,就可以运行程序了。

想学习更多Python网络爬虫与数据挖掘知识,可前往专业网站:http://pdcfighting.com/

—————— End ——————

往期精彩文章推荐:

看完本文有收获?请转发分享给更多的人

Python爬虫与数据挖掘

入群请在微信后台回复【入群】

在公众号后台回复下列关键词可以免费获取相应的学习资料:

Python、网络爬虫 、书籍、数据分析、机器学习、数据结构、

大数据、服务器、Spark、Redis、C++、C、php、

mysql、java、Android、面试题、课堂、其他

Python大佬用20行代码带你打造一个微信聊天机器人(附代码)

近来,打开微信群发消息,就会秒收到一些活跃分子的回复,有的时候感觉对方回答很在理,但是有的时候发现对方的回答其实是驴唇不对马嘴,仔细深究发现,原来对方是机器人。今天,小编就带大家用20行代码,带你一起打造一个微信聊天机器人,让你的微信群一直嗨不停~~

首先我们需要安装一个微信相关的第三方库,itchat,在Windows上通过命令:pip install itchat,就可以将其安装。

其二,我们需要去图灵机器人官网:http://www.tuling123.com,注册一下,即可获得一个机器人API。过程很简单,小伙伴不用担心,两分钟就可以搞定了,在如下的界面进行机器人名称、应用领域、终端进行设置即可。

Python大佬用20行代码带你打造一个微信聊天机器人(附代码)

创建机器人

之后就会得到一个机器人API,如下图所示:

Python大佬用20行代码带你打造一个微信聊天机器人(附代码)

机器人API

当然你也可以绑定微信号、微信公众号或者扣扣、微博等。其实很多的淘宝店、京东商城也都是这种套路,只不过那些机器人更加“聪明”些,比较是高价买入的,而我们使用的只是免费的版本,但是对于我们本着玩玩的心态来说,已经非常不错了。

Python大佬用20行代码带你打造一个微信聊天机器人(附代码)

上述准备工作完成之后,我们就要开始写代码了。打开pycharm,具体代码如下图所示:

import itchat
import requests
def get_response(msg):
apiUrl = 'http://www.tuling123.com/openapi/api'
data = {
'key': '180b4304b4b647d3b1920caf60f', # Tuling Key,API的值
'info': msg, # 发出去的消息
'userid': 'xuebaobao', # 用户名。随意设置
}
r = requests.post(apiUrl, data=data).json() # post请求
return r.get('text')
@itchat.msg_register(itchat.content.TEXT) # 用于接收来自朋友间的对话消息
def print_content(msg):
return get_response(msg['Text'])
@itchat.msg_register([itchat.content.TEXT], isGroupChat=True) # 用于接收群里面的对话消息
def print_content(msg):
return get_response(msg['Text'])
itchat.auto_login(hotReload==True) # 通过微信扫描二维码登录
itchat.run()

之后右键运行程序,尔后会弹出二维码,之后在手机上进行扫码授权,让机器人登录即可。这个过程需要耐心的等待一小会,接下来只要你的微信好友或者微信群发来任何消息,你都会立马自动进行回复,根本停不下来。如果只需要在微信群中回复的话,那么只需要把微信好友接收消息的方法进行注释即可,同理,微信群也是如此。

Python大佬用20行代码带你打造一个微信聊天机器人(附代码)

图灵机器人

最后安利一下,itchat.auto_login()方法。这个方法的意思是通过微信扫描二维码登录。但是这种登录的方式确实短时间的登录,并不会保留登录的状态,也就是下次登录时还是需要扫描二维码,如果加上hotReload==True的话,那么就会保留登录的状态,至少在后面的几次登录过程中不会再次扫描二维码,该参数生成一个静态文件itchat.pkl,和实现机器人这个代码在同一个目录下,其作用是用于存储登录状态。

Python大佬用20行代码带你打造一个微信聊天机器人(附代码)

机器人聊天图

小编亲测之后是非常好使滴,大家都可以尝试一下,感受一下机器人神回答,灰常好玩,哈哈哈~~~

——————- End ——————-

往期精彩文章推荐:

看完本文有收获?请转发分享给更多的人

Python爬虫与数据挖掘

入群请在微信后台回复【入群】

在公众号后台回复下列关键词可以免费获取相应的学习资料:

Python、网络爬虫 、书籍、数据分析、机器学习、数据结构、

大数据、服务器、Spark、Redis、C++、C、php、

mysql、java、Android、面试题、课堂、其他