分享一次实用的爬虫经验

大家好,我是Python进阶者。

前言

前几天铂金群有个叫【艾米】的粉丝在问了一道关于Python网络爬虫的问题,如下图所示。

不得不说这个粉丝的提问很详细,也十分的用心,给他点赞,如果大家日后提问都可以这样的话,想必可以节约很多沟通时间成本。

其实他抓取的网站是爱企查,类似企查查那种。

一、思路

一开始我以为很简单,我照着他给的网站,然后一顿抓包操作,到头来竟然没有找到响应数据,不论是在ALL还是XHR里边都没有找到任何符合要求的数据,真是纳闷。讲到这里,【杯酒】大佬一开始也放大招,吓得我不敢说话。

其实是想复杂了,一会儿你就知道了。

怀着一颗学习的心,我看了杯酒的代码,发现他构造的URL中有下图这个:

然后我再去网页中去找这个URL,可是这个URL在原网页中根本就找不到???这就离谱了,总不能空穴来风吧,事出必有因!

二、分析

原来这里有个小技巧,有图有真相。

之后根据抓包情况,就可以看到数据了。

在里边可以看到数据:

这里【杯酒】大佬查询的关键词是:数据,所以得到了好几页数据,而我和【艾米】都是直接查的:上海手术器械厂,这个只有一页,不太好观察规律,所以一直卡住了。

之后将得到的代码中的URL的关键词,改为:上海手术器械厂,就可以顺利的得到数据,是不是很神奇呢?

三、代码

下面就奉上本次爬虫的代码,欢迎大家积极尝试。

# -*- coding: utf-8 -*-
import requests
import user_agent
from urllib import parse




def search(key_word):
    for page_num in range(1, 2):
        url = f'https://aiqicha.baidu.com/s/advanceFilterAjax?q={parse.quote(key_word)}&t=&p={str(page_num)}&s=10&o=0&f=%7B%7D'
        headers = {
            'User-Agent': user_agent.generate_user_agent(),
            'Referer': 'https://aiqicha.baidu.com/s?q=%E6%95%B0%E6%8D%AE&t=0',
        }
        print(url)
        response = requests.get(url=url, headers=headers)
        print(requests)
        print(response.json())
        # break




if __name__ == '__main__':
    search('上海手术器械厂')

只需要将关键词换成你自己想要搜索的就可以了。

下图是运行的结果:

下图是原网页的截图,可以看到数据可以对的上:

四、总结

我是Python进阶者。本文基于粉丝提问,针对一次有趣的爬虫经历,分享一个实用的爬虫经验给大家。下次再遇到类似这种首页无法抓取的网页,或者看不到包的网页,不妨试试看文中的“以退为进,投机取巧”方法,说不定有妙用噢!

最后感谢【艾米】提问,感谢【杯酒】大佬解惑,感谢小编精心整理,也感谢【磐奚鸟】积极尝试。

针对本文中的网页,除了文章这种“投机取巧”方法外,用selenium抓取也是可行的,速度慢一些,但是可以满足要求。小编相信肯定还有其他的方法的,也欢迎大家在评论区谏言。

手把手教你搭建集中式版本控制系统SVN服务器

大家好,我是IT共享者,人称皮皮。

一、前言

我们前段日子学过了分布式版本控制系统git,相信大家都领略到了它的强大,今天我们来说说集中式版本控制系统svn,跟分布式版本控制系统不同的是,集中式版本控制系统旨在用于多个人协同开发一个项目,而且它的版本控制系统都是存放在中央服务器上的,如果你需要使用就得从中央服务器上调用,它不像git,每个用户都可以有自己的版本控制系统而且互通。而且它采用的是c/s的运行机制,下面就让我们来使用svn吧。

二、搭建svn服务器

要想在集中式版本控制系统上访问资源,首先得搭建一个svn服务器,这里我们得下载一个可以创建svn服务的软件——VisualSVN server,下载地址:

https://u062.com/file/7715018-470258146

下载好后直接双击安装即可,如图:

手把手教你搭建集中式版本控制系统SVN服务器

手把手教你搭建集中式版本控制系统SVN服务器

这里我们需要设置端口号,紧接着点击next,如图:

手把手教你搭建集中式版本控制系统SVN服务器

然后一直next即可进行安装。成功安装后如图:

手把手教你搭建集中式版本控制系统SVN服务器

是不是有点iis服务器的即视感。安装好了之后我们先开启服务,如果你想开启vdfs服务,直接点击Enable,然后我们需要激活软件好获得45天的免费使用权,如图:

手把手教你搭建集中式版本控制系统SVN服务器

如果不想开启这个服务,这里选择否,然后我们会看到

手把手教你搭建集中式版本控制系统SVN服务器

点击第二项,输入安全钥匙,如图:

手把手教你搭建集中式版本控制系统SVN服务器

选择红色箭头所指处,然后按要求填写,如图:

手把手教你搭建集中式版本控制系统SVN服务器

然后把这个密钥填写进去即可,如图:

手把手教你搭建集中式版本控制系统SVN服务器

完成后可以看到它会提示你多久会到期,如图:

手把手教你搭建集中式版本控制系统SVN服务器

三、创建资源库

这里我们需要先创建一个资源库,如图:

手把手教你搭建集中式版本控制系统SVN服务器

手把手教你搭建集中式版本控制系统SVN服务器

然后我们选择第一个,因为第二个没有安装。然后设置代码仓库名字,如图:

手把手教你搭建集中式版本控制系统SVN服务器

设置好了之后,创建一个仓库目录,如图:

手把手教你搭建集中式版本控制系统SVN服务器

一般选择第一种就可以了,然后给使用这分配权限,如图:

手把手教你搭建集中式版本控制系统SVN服务器

这里,创建成功,如图:

手把手教你搭建集中式版本控制系统SVN服务器

此时访问该url是需要用户名和密码的,我们需要在server端设置用户名和密码,如图:

手把手教你搭建集中式版本控制系统SVN服务器

手把手教你搭建集中式版本控制系统SVN服务器

然后去浏览器中输入用户名和密码,如图:

手把手教你搭建集中式版本控制系统SVN服务器

登陆成功。我们可以看到visualsvn的目录下已经出现了一个hello的文件夹,如图:

手把手教你搭建集中式版本控制系统SVN服务器

于是乎,这里已经创建好了一个资源库。创建好资源仓库后我们需要添加子文件夹,可以通过服务端来完成,如图:

手把手教你搭建集中式版本控制系统SVN服务器

手把手教你搭建集中式版本控制系统SVN服务器

经过这一番操作,即可添加文件夹,不过需要注意的是,此时的hello这个仓库中能看到的子文件夹在本地磁盘中的仓库目录中并没有,也就是说我们是无法自行在这个文件夹下添加文件的,即使添加了,visualsvn也不承认这是属于它的一部分,所以这个时候需要我们使用集中版本控制系统的客户端来进行代码文件的上传了。

四、总结

本文主要带大家入门集中式版本控制系统,如果大家有做大型项目的话,使用这个相当方便管理。

盘点CSV文件在Excel中打开后乱码问题的两种处理方法

大家好,我是Python进阶者。前几天给大家分享了一些乱码问题的文章,阅读量还不错,感兴趣的小伙伴可以前往:盘点3种Python网络爬虫过程中的中文乱码的处理方法,UnicodeEncodeError: ‘gbk’ codec can’t encode character解决方法,今天基于粉丝提问,给大家介绍CSV文件在Excel中打开后乱码问题的两种处理方法,希望对大家的学习有所帮助。

前言

前几天有个叫【RSL】的粉丝在Python交流群里问了一道关于CSV文件在Excel中打开后乱码的问题,如下图所示。

在Excel中直接打开csv文件,如下图所示:

群中提问:

看上去确实头大,对于爬虫初学者来说,这个乱码摆在自己面前,犹如拦路虎一般难顶。不过别慌,小编在这里给大家整理了两种方法,专门用于针对CSV文件乱码的,希望大家在后面再次遇到这样乱码的问题,在此处可以得到灵感!

一、思路

其实解决问题的关键点就是在于一点,就是编码的转换。这里例举两种方法,肯定还有其他的方法的,也欢迎大家在评论区谏言。

二、解决方案

方法一:notepad++打开

因为csv文件本质上也是文本文件,本身用notepad++打开csv文件是可以直接打开,不会乱码的。如果在网络爬虫的时候,指定了存储格式为utf-8编码,那么该csv文件用notepad++打开是没啥问题的。

f = open('filename.csv', mode='a', encoding="utf-8")
csvwriter = csv.writer(f)

如下图所示:

因为我源文件本身就是韩语和日本语,所以看到的就是这个了,上图绝不是乱码哈,别误导了大家,嘻嘻!

方法二:Excel转换

这个方法稍微复杂一些,但是比较好理解,对于初学者来说,还是比较好接受的,直接在Excel中进行操作,步骤如下。

1)打开一个Excel文件,之后依次点击“数据”–>“从文本/CSV”,如下图所示。

2)之后选择需要加载的CSV文件,然后会自动弹出下图

从这里看的是原始文件,确实是乱码的存在,接下来需要稍微设置下就可以了。

3)文件原始格式设置为“无”或者你的原始编码“UTF-8”;分隔符默认是逗号;数据类型检测选择基于整个数据集,最后选择右下方的加载,如下图所示。

4)之后稍等片刻,CSV文件就会自动加载到Excel,如下图所示。

因为我源文件本身就是韩语和日本语,所以看到的就是这个了。

5)在Excel中的显示,如下图所示:

看上去还是比较清爽的,如此一来,中文乱码的问题就迎刃而解了。之后你就可以进行进一步的转存为标准的Excel文件或者进行数据处理都可以。

三、总结

我是Python进阶者。本文基于粉丝提问,针对CSV文件在Excel中打开后乱码问题,给出了两种乱码解决方法,顺利帮助粉丝解决了问题。虽然文中例举了两种方法,但是小编相信肯定还有其他的方法的,也欢迎大家在评论区谏言。

小伙伴们,快快用实践一下吧!如果在学习过程中,有遇到任何问题,欢迎加我好友,我拉你进Python学习交流群共同探讨学习。

服装打版界的扛把子——ET自定义操作

大家好,我是IT共享者,人称皮皮。

前言

今天要跟大家介绍的是关于服装设计所经常性使用的软件—–ET,这个ET可不是外星人,而是一款软件。这款软件在国内是最受欢迎的,其优点多多,这里不一一讲述,下面来看看它的具体操作过程,让小编带着大家一起做漂亮的服装版型,人人都可以成为服装设计师。

前面3篇文章已经给大家讲述了ET软件的基本操作,盘点服装设计所经常性使用的软件—–ET(上篇),盘点服装设计所经常性使用的软件—–ET(中篇),盘点服装设计所经常性使用的软件—–ET(下篇)

,这篇文章主要是给大家讲一下自定义的操作,这样自己可以实现更多的花样,一起来看看吧~

十、其它工具

1.端移动

这个工具的使用场景非常广泛,可以用来绘制任意图形,并且移动位置改变大小,首先我们需要绘制一个线段,然后选择端移动,并用鼠标左键选择线段,然后右键结束选择,如图:

此时就会变成一条绿色的线段,我们可以按住某一个端点并进行拖动,想拖多长的线段就拖多长的线段,如图:

最后的线段就是红色的那条,而且绿色的那条线段会消失。

2.平行线

顾名思义,就是能够生成多条平行的线段,我们可以先绘制一条线段,然后点击平行线,并右击鼠标然后左键拖动线段即可,如图:

3.等分线

我们可以使用等分线绘制一个雪花图案,如图:

我们首先绘制一条线段,然后选中等分线图标并且输入省量,然后使用左键拖动即可,如图:

4.测量两点的长度

这里我们需要使用两点测量这一功能,首先准备好两条线段,然后再点击两点测量,如图:

接着我们分别点击两条线段的端点,如图:

这时候它会弹出一个对话框,如图:

不管它,关闭即可。

5.旋转形状

有些时候我们需要将我们绘制的图形的方位进行旋转,这时我们可以借助旋转工具,如图:

选择旋转后,我们来框选需要旋转的部分,如图:

选中后右击鼠标,然后选择一个旋转的中心点,再用鼠标拖动旋转,如图:

6.半径圆、椭圆

1).半径圆

点击绘图菜单,选择半径圆,通过设置半径或者周长来绘制圆,如图:

如果我们不设置半径或者周长就可以自由绘制不同规格的圆。

2).椭圆

点击选用工具,选择椭圆,设置长直径和短直径,如图:

如果你不设置这两个参数的值,你就可以随意设置不同大小的椭圆。

7.省的操作

1).单向省

可以在曲线上添加一条直线,选择图标工具菜单,然后找到单向省,如图:

然后在曲线上单击某一点,即可添加一条直线,如图:

2).枣弧省

就是可以绘制一个菱形,打开图标工具菜单,选择打版图标工具,找到枣弧省,如图:

然后选中绘制枣弧省的点,然后设置参数,如图:

3).省道

省道可以在线段上开辟一个特殊的形状,如图:

打开省道后,我们只需要点击线段的中心点,然后往下拉,即可生成一个指定省长和省量的省道,如图:

这里小编设置了不同的省道和省量,所以效果不同。

4).省折线

我们可以通过省折线来将使用省道后所产生的缺口缝补好,我们先打开省折线,如图:

然后我们框选两个点,如图:

这样就可以了,是不是很漂亮了。

总结

ET可以说是服装打版软件中的佼佼者了,不仅功能丰富多样,而且操作方法简单易懂,学会了它你可以轻松做出服装版型,然后使用电脑排版打印,提高工作效率,目前百分之95都是电脑打版了,人工打版很少见了。

盘点服装设计所经常性使用的软件—–ET(下篇)

大家好,我是IT共享者,人称皮皮。

前言

今天要跟大家介绍的是关于服装设计所经常性使用的软件—–ET,这个ET可不是外星人,而是一款软件。这款软件在国内是最受欢迎的,其优点多多,这里不一一讲述,下面来看看它的具体操作过程,让小编带着大家一起做漂亮的服装版型,人人都可以成为服装设计师。

上两篇文章已经给大家讲了软件的安装和基本操作,盘点服装设计所经常性使用的软件—–ET(上篇),盘点服装设计所经常性使用的软件—–ET(中篇),这篇文章继续往下进行介绍,一起来看看吧~

八、线段调整

1.延长线段

我们可以在原先的线段基础上延长线段,如图:

盘点服装设计所经常性使用的软件-----ET(下篇)

设置偏移,如图:

盘点服装设计所经常性使用的软件-----ET(下篇)

可以看到,没有任何变化,只需要右击鼠标即可,如图:

盘点服装设计所经常性使用的软件-----ET(下篇)

2.连接线段

我们现在有两条线段,然后这两条线段没有连接,我们现在需要将两条线段进行连接,如图:

盘点服装设计所经常性使用的软件-----ET(下篇)

这里有种很方便的做法,直接先选择一条线段,左键框选,如图:

盘点服装设计所经常性使用的软件-----ET(下篇)

然后左键单击另一条线段,如图:

盘点服装设计所经常性使用的软件-----ET(下篇)

然后我们直接右键单击即可,如图:

盘点服装设计所经常性使用的软件-----ET(下篇)

3.修剪线段

如果我们不小心把线段弄长了,那么如何修剪了,很简单。首先我们画一个线段,如图:

盘点服装设计所经常性使用的软件-----ET(下篇)

这个时候我们只需要选择变长的两端,然后右键单击即可,如图:

盘点服装设计所经常性使用的软件-----ET(下篇)

注:框选的时候千万不要选到太多的不需要删除的部分,否则会把整个线段全部删除。

4.测量线段长度

这个也是非常简单,我们只需要使用智能笔右键单击线段即可显示它的线段长度,如图:

盘点服装设计所经常性使用的软件-----ET(下篇)

5.绘制指定长度和角度的线段

我们可以设置线段的指定长度并截取,如图:

盘点服装设计所经常性使用的软件-----ET(下篇)

修改这三个数值即可改变我们的线段的长度和宽度。那么角度如何实现了,这里需要用到角度线啦,如图:

盘点服装设计所经常性使用的软件-----ET(下篇)

找到角度线后,我们就可以选中线段的端点,然后进行拖动,即可绘制一条长度为30角度为90的线段了,如图:

盘点服装设计所经常性使用的软件-----ET(下篇)

九、画十字架

正常情况下我们可以直接画两条线段,如图:

盘点服装设计所经常性使用的软件-----ET(下篇)

可以看到,十字架画出来了,不过很容易画歪,接下来教大家一种方法,使用水平垂直补正即可解决这一问题,如图:

盘点服装设计所经常性使用的软件-----ET(下篇)

选择水平垂直补正,左键单击线段,此时线段为红色,然后右键单击后选择最后的端点,如图:

盘点服装设计所经常性使用的软件-----ET(下篇)

这样就实现了一个十字架了,如图:

盘点服装设计所经常性使用的软件-----ET(下篇)

总结

ET可以说是服装打版软件中的佼佼者了,不仅功能丰富多样,而且操作方法简单易懂,学会了它你可以轻松做出服装版型,然后使用电脑排版打印,提高工作效率,目前百分之95都是电脑打版了,人工打版很少见了。

盘点服装设计所经常性使用的软件—–ET(中篇)

大家好,我是IT共享者,人称皮皮。

前言

今天要跟大家介绍的是关于服装设计所经常性使用的软件—–ET,这个ET可不是外星人,而是一款软件。这款软件在国内是最受欢迎的,其优点多多,这里不一一讲述,下面来看看它的具体操作过程,让小编带着大家一起做漂亮的服装版型,人人都可以成为服装设计师。

上一篇文章已经带大家安装了ET软件,并且对该软件有了个初步的认识,这篇文章继续往下进行介绍。

四、附件的操作

系统集成了很多优秀的样版,我们可以通过设置来进行查看并修改,如图:

盘点服装设计所经常性使用的软件-----ET(中篇)

盘点服装设计所经常性使用的软件-----ET(中篇)

盘点服装设计所经常性使用的软件-----ET(中篇)

这样就可以把选择的样版展示在窗口中了,这件衣服看起来还不错。我们还可以将自己所制作的样本导入到系统中,以备以后不时之需,首先我们需要选择附件登录,如图:

盘点服装设计所经常性使用的软件-----ET(中篇)

然后选中我们要添加到附件的版型,一般选中就是红色的状态,如图:

盘点服装设计所经常性使用的软件-----ET(中篇)

当版型为红色时,我们右击鼠标,然后就会弹出附件对话框,如图:

盘点服装设计所经常性使用的软件-----ET(中篇)

按照上面要求即可将版型添加到附件中去,以后我们制衣时就可以调用我们自己的版型了。

五、复制

这里我们可以通过平移和镜像来复制,首先选中平移功能,如图:

盘点服装设计所经常性使用的软件-----ET(中篇)

首先我们选择平移图标,然后框选住需要平移的目标版型,然后按住Ctrl键使用左键拖动即可,如图:

盘点服装设计所经常性使用的软件-----ET(中篇)

接下来就是镜像,镜像其实就是相当于复制了一部分重合的数据,选择两点镜像,如图:

盘点服装设计所经常性使用的软件-----ET(中篇)

然后框选镜像目标,然后设置镜像轴起点和终点即可,如图:

盘点服装设计所经常性使用的软件-----ET(中篇)

还可以使用水平垂直镜像,如图:

盘点服装设计所经常性使用的软件-----ET(中篇)

选中该图标后,左键单击线段选中,然后右击结束选择,此时按住鼠标左键拖动不放,如图:

盘点服装设计所经常性使用的软件-----ET(中篇)

拖动完毕即可形成一个长度相同的线段,如图:

盘点服装设计所经常性使用的软件-----ET(中篇)

注:如果是水平线段的话拖动的幅度不要太大即可。

我们还可以使用要素镜像来进行复制操作,如下:

盘点服装设计所经常性使用的软件-----ET(中篇)

选中我们需要镜像的部分,使用左键单击选中,然后右键取消选择,如图:

盘点服装设计所经常性使用的软件-----ET(中篇)

接下来我们需要按住Ctrl键,然后选择镜像的重合部分,如图:

盘点服装设计所经常性使用的软件-----ET(中篇)

这样就把上面选中的部分给复制下来了。

六、添加标注

我们可以在版型中添加适量的标注来提醒打样的师傅有哪些需要注意的,所以标注很有必要,我们只需要点击ABC图标,如图:

盘点服装设计所经常性使用的软件-----ET(中篇)

点击ABC后然后按住左键拖动一个线段,然后就会弹出文字输入对话框,如图:

盘点服装设计所经常性使用的软件-----ET(中篇)

输入完点击确定即可在屏幕上显示。

七、曲线

如果我们现在有个矩形的版型,我们现在要在它的某一端进行调整,让它变更为以下形状,如图:

盘点服装设计所经常性使用的软件-----ET(中篇)

那么这个该怎么办了?首先我们来创建一个矩形,然后我们选中矩形需要更改形状的那一端,然后框选它,此时那一端被选中的会是红色线段,如图:

盘点服装设计所经常性使用的软件-----ET(中篇)

不过此时是无法在它上面进行操作的,我们需要按住Shift键然后一个个点击,然后每个点击处都会出现一个小点点,这样就可以将一个线段拆分成多个可以自由变换的形状了。如图:

盘点服装设计所经常性使用的软件-----ET(中篇)

然后我们框选那一端,即为红色时,用鼠标按住这些绿色的点然后往下拉,即可。如图:

盘点服装设计所经常性使用的软件-----ET(中篇)

这里小编做了一些处理,首先你拖动的时候上面的线段不会消除,需要你使用删除工具删除那些多余的线段,其次拖动这些绿点很可能会比较乱,所以我们可以在删除那些线段后右击选择这些曲线,然后用鼠标左键拖动这些绿点以达到任意形状的目的。其实我们还有一种特别简单的方法,非常方便,我们先右击线段,如图:

盘点服装设计所经常性使用的软件-----ET(中篇)

然后按住Ctrl点选一个个绿点,最后松开Ctrl键,然后拖动那些绿点即可,如图:

盘点服装设计所经常性使用的软件-----ET(中篇)

或者设置点数也是一种非常方便的方法,还是右键选中线段,如图:

盘点服装设计所经常性使用的软件-----ET(中篇)

然后回车并右键单击即可设置十个点,然后我们右击可看到十个点,分别拖动它们即可,如图:

盘点服装设计所经常性使用的软件-----ET(中篇)

注:点数设置是平均分配,故而使用场景最广泛。

总结

ET可以说是服装打版软件中的佼佼者了,不仅功能丰富多样,而且操作方法简单易懂,学会了它你可以轻松做出服装版型,然后使用电脑排版打印,提高工作效率,目前百分之95都是电脑打版了,人工打版很少见了。