小说,合同法全文,北京地铁图

我是一锅汤,精品软件推荐达人,让你普通的手机变得不再普通

技术篇

先来给汤友们普及下爬虫的知识

爬虫,从技术原理上讲,它就是一个高效的下载工具,能够批量的从网页中下载你要的信息,爬虫其实不是多么神秘,也不是什么高不可攀,今天汤主就给大家推荐一款爬虫神器:Web Scraper插件。

这款插件只要是以Chrome为内核的浏览器都能使用,比如360浏览器,搜狗等,但多次体验之后发现谷歌浏览器使用起来会更顺手。

相信我们经常在网上看到这样的标题:

  • 10分钟完成微博、微信、知乎、淘宝数据采集
  • 超酷!我不写一行代码,爬gaymaletube取GitHub上几万的Python库
  • 想要在短时间搜索1万个微信群?

这些牛轰轰的操作多半是用这个插件实现的,相信这些事情对很多没有技恶霸堂客术陌友恋约的汤友来说,想都不敢去想,今天汤主就给大家来普及下这款神器的使用方法。

以快速抓取李笑来所有微博为例

一、下载插件

很多汤友估计都不会直接在谷歌商店下载插件,所以这里直接从百度云盘下载吧。

webscraper安装包:头条号后台回复收集资源获取

二、安装插件

直接胸毛之歌将下载好的安装包文件拖动楚乔传蒙枫结局到谷歌扩展程序中,根据提示点击添加扩展程序,即完成安装。

三、打开软卢本盒微博件

右键——> 审查元素(适用于各个系统)

四、创建sitemap

点击“create sitemap”,进入下面图片;

这个步骤需要输入 2 个信息:

  • Sitemap name:根据自己的实际情了不起的孩子李欣蕊形自定义,比如抓的是张佳玮的文章,就取名浪漫的823种方法 zhangjiawei。
  • Start URL:当前网址 (可直接从浏览器复制),最后点击 Create Sitemap 按钮即可

五、设置selector

如上图,点击“Add new selector”,进入下图;

如上图,我们按照标号来挨百骨夜宴个看。

1、输入 “Id”。选择 “Type”,此处选择Element scroll down。

2、点击 “Select” 进行元素抓取,点击“Select”后milkycat,会出现标号4出悬浮的工具框。

3、点击第一个帖子、再点击第二个帖子,完成后,点击悬浮诗艾工具框蓝色的“Done slecting!”。勾选 “Multiple”

4、输入 Delay(延迟时间,意思是等待多长时间后,再进行抓取,建议填 2000),点击”Save Selector“。

这步完成后,你会发现,sitemap下出现了一个叫content的选择器,如下图

点击上图的“content”,进入下图:

如上如,标号1,你会发现,这里多了一个content。

我们点击这里,标号2的地方,“Add new selector",进入下图:

如上图:我们按照标号依次看:

1、输入 “Id”。选择 “Type”,此处选择Text

2、点击 “Se范冰冰奶奶lect” 进行元素抓取

3、上一步,点击“Select”后,会出现标号4出悬浮的工具框,注意,当我们点击上一步4的select后,第一个帖子会变黄,我们点击直播之荒野求生陈旭这个黄色区域,它会变为红色。

4、点击”Save Selector“,其他的都不用设置。以上,我们抓取李笑来微博的所有设置都已完成。

六、开始抓取

如下图,点击中间这列,点击下拉框中出现的“Scrape”

再弹出的页面参数少女派对设置默认就行,直接点击“Start scraping”。点击后,浏览器会弹出一个新窗口,进行抓取工作,不要关闭,等待他抓取完毕。

你会发现,弹出的窗口,会自动下拉鼠标,模拟人的手,自动化的将这页全部的帖子全部抓取下来,完毕后,会出现抓取的数据,如下图:

七、导出数据

点击中间这列,点击下拉框中的“Export data as CSV”,再点击“Download now”,即可将数据下载到本地,以表格的形式存储。文件可以用excel打开,mac下用numbers打开即可。至此,李鬼炎佩剑笑来的微博我们已经阿萨辛之力全部抓取完毕了。

Web Scraper其实还有很多其他的用途。

以上和大家分享的是这个插件的基本操作,其小说,合同法全文,北京地铁图实这个插件的功能远不止此:

  • 轻松采集10W+潜力热点主题;
  • 3步导出喜欢的公众号的平台文章,制成PDF书籍;
  • 深挖行业信息,轻松分析竞品平台;
  • 批量获取喜欢的图片素材........

Web Scraper插件只有英文界面,刚开始使用会有一定的难度,后期汤老师也丽柜会继续分享一些技术干货给大家。

看完本文你应该做些什么?

在文章右下角点个赞,作为对汤老师熬汤的认可和支持,一分钟采集海量数据,你值得拥有 ,汤友们如果有任何问题,可以留言给我。

这款插件在我的头巫夷人家条号后台古巨基亲历枪击案回复【收集资源】获取

文字/图片/排版

@一锅汤&明白老师

未经允许,谢绝转载