CentOS – Python爬虫与数据挖掘

2020年6月26日

服务器之间实现免密登录的简易教程

今天这篇文章主要是教会大家如何实现服务器之间的免密登录。

1、先在所有服务器上执行命令：

ssh-keygen -t dsa -P ” -f ~/.ssh/id_dsa

master服务器

slave1服务器

slave2服务器

2、而后在所有服务器上执行命令：

cat ~/.ssh/id_dsa.pub >>~/.ssh/authorized_keys

master服务器

slave1服务器

slave2服务器

3、之后将每台服务器上的id_dsa.pub公钥发送到其他机器的/tmp文件夹下，如在master上执行

scp ~/.ssh/id_dsa.pub slave1:/tmp/

scp ~/.ssh/id_dsa.pub slave2:/tmp/

master服务器

4、之后在其他的机器上将公钥追加到各自的authorized_keys里，执行以下命令：

cat /tmp/id_dsa.pub >>~/.ssh/authorized_keys

slave1服务器

slave2服务器

5、同样的，在其他的机器上将公钥发送到其他服务器上，然后在其他服务器上将公钥追加到各自的authorized_keys即可。

slave1服务器

slave2服务器

6、最后是测试免密钥连接。

master服务器

slave1服务器

slave2服务器

至此，免密钥登录已经设置完成。这里是以三台服务器为例进行说明，如果有三台服务器及以上都可以参考该方法进行设置。

——————- End ——————-

往期精彩文章推荐：

看完本文有收获？请转发分享给更多的人

Python爬虫与数据挖掘

入群请在微信后台回复【入群】

在公众号后台回复下列关键词可以免费获取相应的学习资料：

Python、网络爬虫、书籍、数据分析、机器学习、数据结构、

大数据、服务器、Spark、Redis、C++、C、php、

mysql、java、Android、面试题、课堂、其他

2020年6月19日2020年7月8日

如何在VMware虚拟机中安装CentOS6.7系统(下篇)

上一篇文章讲到了CentOS6.7的安装教程，安装步骤到时区选择这块了，这篇文章接上篇文章，继续讲述CentOS6.7的安装教程，直至安装完成。

17、设置root的登录密码，日后登录虚拟机，用户名就是root，密码就是现在设定的这个，当然密码后期是可以更改的，这点不用操心。

18、当密码设置的过于简单，系统会弹出下列提示。如果你想更改密码的话，就点击Cancel，然后选择Back，不想更改的话直接选择UseAnyway，如下图所示。然后继续下一步的安装。

19、这一步建议选择最后一项，Create Custom Layout。接下来的步骤比较关键，也是容易出错的地方。

20、在这里可以看到自己的磁盘大小情况，之后选择Create。这个磁盘的存储大小在虚拟机创建的时候就已经设定好了。

![]()

21、之后选择StandardPartition（标准分区），点击Create。标准分区主要包括/boot、/swap和根目录/的分区大小，也有的伙伴们习惯多创建一个/data分区，用于专门存储数据。

22、这一步需要注意四个地方，小编用红色框框标注出来了。选择挂载点Mount Point下拉框中的/boot，然后设定为200MB，这个数值是标准的，基本上默认即可。当然也可以更改，因为小编的系统要求较高，这里设为400MB。设定好之后，选择OK进行确定。

22、设置好之后会在磁盘中看到如下显示，继续点击create。

23、接下来进行/swap的分区。继续选择Create，然后选择StandardPartition，再选择第二项下拉框中的/swap。关于/swap的分区，基本上都是默认设为2048MB（2GB）。当然也可以更改，因为小编的系统要求较高，这里设为4096MB（4GB）。之后点击OK确认，继续安装。

24、同之前的步骤一致，最后是给根目录分区。一般设为200MB，不过小编的系统要求高些，这里设为400MB。不过在AdditionalSize Options中选择第三项，意思是把剩下的磁盘区间全部分配给根目录。之后选择OK，继续下一步。

![]()

25、设置完分区之后，可以看到如下界面，之后选择Next，进行下一步安装。

26、这一步是格式化磁盘，直接选择Format即可。

27、之后选择“writechanges to disk”，将变化写入磁盘，之后选择Next。

28、等待格式化完成，如下图所示。

29、下一步直接默认，选择Next即可。

30、之后就可以看到安装在进行了，然后等待两三分钟就可以了。

31、CentOS安装进行中。

32、安装完成之后，点击下图右下方的“Reboot”。

33、重启过程中会出现部分的界面，等待即可。

34、等待重启完成。

35、成功安装系统。输入用户名（root）和之前设定的密码，进入Centos系统。Congratulations！

至此，在VMware虚拟机中安装CentOS系统已经完成，希望对大家的学习有帮助~~

看完本文有收获？请转发分享给更多的人

Python爬虫与数据挖掘

入群请在微信后台回复【入群】

在公众号后台回复下列关键词可以免费获取相应的学习资料：

Python、网络爬虫、书籍、数据分析、机器学习、数据结构、

大数据、服务器、Spark、Redis、C++、C、php、

mysql、java、Android、面试题、课堂、其他

2020年6月18日

如何在VMware虚拟机中安装CentOS6.7系统(上篇)

之前给大家分享了在VMware中如何创建CentOS虚拟机，今天给大家分享一下如何在虚拟机中安装CentOS系统，以CentOS6.7系统为例，其他的系统版本也可以参考该教程进行类似处理，具体的流程如下。

1、进入VMware，然后找到新创建的那台虚拟机，点击“开启此虚拟机”，如下图所示。

2、之后弹出下图的启动界面，这并不是报错，不用慌张。

3、如下图所示，点击左下方的光碟logo，然后弹出两个选项，选择“设置”选项。

4、弹出下图虚拟机设置界面，选择“使用ISO映像文件”，如下图所示。

5、尔后点击“浏览”，从本地找到CentOS6.7的ISO映像文件，如下图所示，然后载入到虚拟机即可。

6、稍等片刻，弹出下图界面，等待系统反应即可。

7、选择“Installor upgrade an existing system”，意思是直接安装或更新现有的系统。我们的虚拟机十分纯洁，所以直接安装即可。选择第一项，然后直接enter。如果没有选择的话，系统在60秒之后会自动在你所选的目录下进行安装。

8、之后系统初始化进行中，只需要等待即可。

9、这一步选择skip，通过键盘的左右方向键，可以进行选定，然后需要等待一小会儿。

10、选择Next，继续。

11、安装语言建议选择English，不容易出错。虽然汉字看上去理解方便些，但是有时候生僻一些的汉字或者中文字符就会出现乱码，影响心情。

12、为系统选择键盘，这一步仍然选择English，也就是我们常用的键盘形式。

13、接下来是选择设备安装类型，这里一般选择基本存储设备类型即可，如果不确定选择哪种类型，就选择第一种就可以啦。

14、这一步选择”Yes,discardany data”，有点儿像格式化。之后选择下一步继续安装。

15、这一步设定主机名，可以DIY，自己起名字即可，这里直接起名master。等系统安装完成之后，将会出现你设定的主机名。

16、选择时区。直接在世界地图上找到中国上海（找不到的小伙伴去市场上买豆腐砸寄几脑袋），或者在下拉框中选择Asia/Shanghai即可。

介于文章篇幅过长，配图太多，CentOS6.7的安装手册上篇先到这里，下一篇文章将继续补充，直至完成CentOS6.7的安装。

看完本文有收获？请转发分享给更多的人

IT共享之家

入群请在微信后台回复【入群】

—————— End ——————

往期精彩文章推荐：

2020年6月13日

如何在VMware中进行创建CentOS虚拟机

今天给大家分享如何在VMware中创建CentOS虚拟机，CentOS6.7为例进行说明，CentOS7版本亦可以参考该教程，具体的教程如下。

1、之后打开VMware，主页面如下图所示。点击第一个框框，“创建新的虚拟机”。

2、弹出下图界面，选择第二个“自定义（高级）”，之后“下一步”。

3、这一步默认即可，直接点击“下一步”。

4、这里点击“稍后安装操作系统”，之后选择“下一步”。

5、这一步是选择版本。客户机操作系统默认选择为Linux系统，而版本则根据电脑的位数来进行选择，如果电脑是64位系统的话，就选择CentOS64位，如果是32位的话，就直接选择CentOS即可。这里如果选择不正确的话，后面在安装Ubuntu系统的时候重启会报系统不兼容的错误。选择好版本之后，点击选择“下一步”。

6、弹出虚拟机的名称和安装位置。

7、虚拟机名称可以自定义，不多赘述，这里将其命名为master，后期作为集群的管理节点用的。虚拟机蛮占内存的，所以安装位置不建议放到C盘，建议放到其他的盘内，且要保证该磁盘的空间至少要大于虚拟机的大小。这里，小编将虚拟机放到E盘。

8、处理器的配置。如果只是想拿虚拟机练练手，要求不高的话，就直接默认，选择“下一步”即可。

9、如果对处理要求较高，则需要按需进行分配。这里小编将配置给的比较高，因为后期有其他的用途，如下图所示。

10、虚拟机内存默认为2G。同上一步一致，要求不高的话直接默认即可。在这里小编选择了20G，大家可以根据自己的要求进行选择，要保证磁盘大小够用噢，之后选择“下一步”。

11、网络连接部分，直接默认即可，选择NAT模式，之后选择“下一步”。

12、选择I/O控制器类型，这一步默认即可，选择推荐的类型，之后选择“下一步”。

13、磁盘类型一般选择推荐的就可以，SCSI和SATA都是比较受欢迎的磁盘类型，之后选择“下一步”。

14、选择磁盘。建议选择第一项，“创建新虚拟磁盘”，之后选择“下一步”。下一步最大磁盘大小默认设为20G，默认即可。这里选择“将虚拟磁盘存储为单个文件”，也有的伙伴选择“将虚拟磁盘拆分为多个文件”，也是可以的。

15、指定磁盘文件。这一步默认即可，之后选择“下一步”。

16、之后弹出下图的界面，之后再选择“完成”。

17、至此，CentOS虚拟机创建完成，如下图所示。

接下来你就可以在VMware虚拟机中安装CentOS系统了，Linux搞起来。

—————— End ——————

往期精彩文章推荐：

看完本文有收获？请转发分享给更多的人

Python爬虫与数据挖掘

入群请在微信后台回复【入群】

在公众号后台回复下列关键词可以免费获取相应的学习资料：

Python、网络爬虫、书籍、数据分析、机器学习、数据结构、

大数据、服务器、Spark、Redis、C++、C、php、

mysql、java、Android、面试题、课堂、其他

2020年4月11日

虚拟机创建后该如何获取IP地址并访问互联网实用教程

之前在做项目的时候主机IP地址、网关、DNS、子网掩码等都是公司或者对方直接给提供的，但是如果我们自己想搭建一台虚拟机或者一台集群的话，手头又没有IP地址，该肿么办呢？

白慌，这里介绍一个小技巧，亲测是好使的，给大家分享一下。

首先，保证你的虚拟机或者服务器安装好了系统，这里以CentOS6.7版本进行说明，具体的操作教程如下。

1、当我们创建好虚拟机之后，直接在命令行中输入命令查看IP地址，得到的往往如下图所示，即便是你怎么调整NAT模式亦或是桥接模式，不会起到太大的作用。

2、此时就需要更改虚拟机的网络配置文件，在CentOS6.7中，该网络配置文件在/etc/sysconfig/network-scripts/ifcfg-eth0里边，具体内容如下图所示。

3、需要改动的地方只有一个，你没有看错，就只有一个，只需将ONBOOT的值由之前的“no”改为现在的“yes”即可，如下图所示，而且wq保存退出即可。

4、可以通过cat命令查看文件内容是否更改成功，如下图所示。

5、关闭防火墙，如下图所示。

6、之后重启网络，“service netwowrk restart”即可，如下图所示。

7、之后再次输入“ifconfig -a”查看IP地址的命令，便可以看到此时虚拟机已经自动获取到IP了，如下图所示。

8、并且该IP还可以ping通互联网，如下图所示。

如此一来，我们就可以顺利的获取IP地址，可以继续我们后续的操作，如搭建分布式、CDH集群等操作了。

——————— End ———————

往期精彩文章推荐：

看完本文有收获？请转发分享给更多的人

Python爬虫与数据挖掘

入群请在微信后台回复【入群】

在公众号后台回复下列关键词可以免费获取相应的学习资料：

Python、网络爬虫、书籍、数据分析、机器学习、数据结构、

大数据、服务器、Spark、Redis、C++、C、php、

mysql、java、Android、面试题、课堂、其他

2020年4月5日2020年4月6日

PuTTY是一款开源(Open Source Software)的连接软件，主要由Simon Tatham维护，使用MIT许可证授权。包含的组件有：PuTTY, PuTTYgen,PSFTP, PuTTYtel, Plink, PSCP, Pageant,默认登录协议是SSH，默认的端口为22。Putty是用来远程连接服务器的，支持SSH、Telnet、Serial等协议的连接。其中最常用的是SSH。用它来远程管理Linux十分好用，其主要优点如下：

◆ 完全免费;

◆ 在Windows 9x/NT/2000下运行的都非常好;

◆ 全面支持SSH1和SSH2；

◆绿色软件，无需安装，下载后在桌面建个快捷方式即可使用；

◆ 体积很小，不到1M；

◆ 操作简单，所有的操作都在一个控制面板中实现。

Putty的下载安装教程如下：

1、去putty官网下载对应位数的软件到本地，下载地址：https://www.chiark.greenend.org.uk/~sgtatham/putty/latest.html

putty的下载安装和基本使用方法教程

2、下载得到的直接是一个文件名为putty.exe的可执行文件，不需要安装即可使用。

putty的下载安装和基本使用方法教程

双击打开后，进入Putty的主界面。

putty的基本使用方法如下：

1、打开需要连接的目标服务器（虚拟机），本例中以虚拟机VM_CDH_dcp4_master01为例，其IP为：202.118.86.79。

putty的下载安装和基本使用方法教程

2、打开putty，在面板中输入你要连接的目标的IP地址或者主机名（本例中目标IP为202.118.86.79），然后在下方的Saved Sessions方框内输入会话名（本例中命名为：VM_CDH_dcp4_master01），并点击“Save”即可保存当前设置以方便下次登录，如下图所示。

putty的下载安装和基本使用方法教程

3、在Default Settings栏目中选中你保存的会话（本例中需要连接的是： VM_CDH_dcp4_master01），之后点击打开，即可打开会话，如下图所示。

putty的下载安装和基本使用方法教程

4、之后putty页面会跳转，在跳转的页面中输入你连接的目标的用户账号，之后回车，再输入密码，验证通过之后即可远程登录，如下图所示。点击Open后，有时候会有一个提示，需要生成一个Key，点击确认即可。

putty的下载安装和基本使用方法教程

5、远程登录成功之后，就可以在Putty里进行操作了。操作方式和在虚拟机（或服务器）上操作一样了，甚至还要方便。因为Putty里支持复制和粘贴，可以很便捷的操作。

putty的下载安装和基本使用方法教程

最后需要注意一点，Putty的登录信息一般会保存在本机上，所以在使用公用电脑的时候，务必要注意清除登录信息。

看完本文有收获？请转发分享给更多的人

Python爬虫与数据挖掘

入群请在微信后台回复【入群】

2020年4月5日2020年4月6日

Centos7.4系统的虚拟机网络配置教程

前几天小编给大家分享了如何给Centos6.7版本的虚拟机配置网络，感兴趣的小伙伴可以点击进去看看。小编按照Centos6.7版本的虚拟机网络配置教程来配置Centos7.4的虚拟机网络，发现行不通啊，在踩坑之后，再勇敢的爬出来，整理了这一篇Centos7.4的虚拟机网络配置教程，希望小伙伴们在利用Centos7版本的路上少踩一些坑。话不多说，直接上教程。

一、静态网络配置

1、打开虚拟机，输入账号和密码进行登录。之后输入cd /etc/sysconfig/network-scripts/，进入到网络配置的界面，通过命令ls查看网络配置文件。如下图所示。

发现和Centos6.7版本的配置文件有点儿差异，在Centos6.7版本中网络配置文件在ifcfg-eth0中，但是在Centos7.4版本中网络配置文件在ifcfg-ens160中。

2、通过vi ifcfg-ens160或者vim ifcfg-ens160命令，进入到网络配置文件中去。下图是原生态的网络配置文件，内容比Centos6.7版本多些。

3、但是我们需要更改的地方只有两处，还需要增加IP地址、网关、掩码和DNS1以及备用DNS2。具体配置如下图所示。

将ONBOOT设置为yes，将BOOTPROTO设置为static（静态），尔后在后边添加IP地址、网关、掩码和DNS1以及备用DNS2。

修改完之后按下Esc，再输入:wq!，以保存退出。

如果不确定是否已经修改成功，可以通过cat /etc/sysconfig/network-scripts/ ifcfg-ens160进行查看。

4、重启网络，在命令行中输入service network restart。重启网卡成功之后右边会出现绿色的ok字样，如下图所示。如果出现红色的Failed，说明网络配置出现问题了，常见的错误是IP不可用或者ONBOOT和BOOTPROTO未更改。

之后通过ping www.baidu.com进行网络ping通测试。如果IP可用的话，服务器会有响应的，如下图所示。如果要终止运行，使用Ctrl+C强制退出即可。

至此，此时虚拟机连接互联网成功。

5、可以通过ip addr命令可以查看IP地址，如下图所示。一开始小编想使用ipconfig查看IP地址，但是系统却提示command not found（找不到命令），这点也是和Centos6.7版本的不同之处。

操作步骤如下：

1) 在命令行中输入：

vi /etc/sysconfig/network-scripts/ifcfg-ens160

2)之后修改ONBOOT=yes即可，其他的默认，也不需要增添任何的IP、网关等，修改完成之后保存退出。

3)之后输入 service network restart ，重启网卡。

4）最后输入ip addr查看IP地址。

至此，centos7.4系统的虚拟机网络配置过程已经完成~~~

看完本文有收获？请转发分享给更多的人

Python爬虫与数据挖掘

入群请在微信后台回复【入群】