在线客服
扫描二维码
下载博学谷APP
扫描二维码
关注博学谷微信公众号
作为一名合格的运营，很多时候需要掌握数据分析能力。⽐如你新进到⼀家公司做新媒体内容编辑，那你需要盘点公司已有的内容资产，避免重复⽣产内容。这时候就需要把⽹页上的数据给扒下来，放在⼀起才会⼀⽬了然。从⽹页上爬取数据，最好⽤的⽅法当然是爬⾍⼯具啦~本文将为手把手教大家如何使用Web Scraper爬取数据，帮助运营小白快速上手爬虫工具！
第一步：下载 Web Scraper
Web Scraper是Chrome浏览器上的⼀个插件，你需要翻墙进⼊Chrome应⽤商店，下载Web Scraper插件。
第二步：打开Web Scraper
先打开⼀个你想爬数据的⽹页，⽐如我想爬今⽇头条上「吴晓波频道」这个账户的⽂章标题、时间、 评论数，那我就先打开它，再⼀⼀进⾏操作。然后⽤快捷键 Ctrl + Shift + I / F12 打开 Web Scraper。
第三步：新建⼀个 Sitemap
点击Create New Sitemap，⾥⾯有两个选项，import sitemap是指导⼊⼀个现成的sitemap，运营⼩⽩⼀般没有现成的，所以⼀般不选这个，选create sitemap就好。然后进⾏这两个操作：
Sitemap Name：代表你这个Sitemap是适⽤于哪⼀个⽹页的，所以你可以根据⽹页来⾃命名，不过需要使⽤英⽂字母，⽐如我抓的是今⽇头条的数据，那我就⽤toutiao来命名；Sitemap URL：把⽹页链接复制到Star URL这⼀栏，⽐如图⽚⾥我把「吴晓波频道」的主页链接复制到了这⼀栏。
第四步：设置这个Sitemap
整个Web Scraper的抓取逻辑是这样：设置⼀级Selector，选定定抓取范围；在⼀级Selector 下设置⼆级Selector，选定抓取字段，然后抓取。
再举个例⼦，假如你要获取福建⼈的姓名、性别和年龄这三个要素，那么你得这么做：⾸先要定位到福建省，然后再在福建省⾥⾯去定位姓名、性别、年龄。在这⾥，⼀级Selector表⽰你要在中国这个⼤的国家圈出福建省，⼆级Selector 表⽰你要在福建省的⼈⼜中圈定姓名、性别、年龄这三个要素。对于⽂章⽽⾔，⼀级Selector就是你要把这⼀块⽂章的要素圈出来，这个要素可能包含了标题、作者、发布时间、评论数等等，然后我们再在⼆级Selector 中挑出我们要的要素，⽐如标题、作者、阅读数。
（1）点击Add new selector创建⼀级Selector，按照以下步骤操作：
a.输⼊id ： id代表你抓取的整个范围，⽐如这⾥是⽂章，我们可以命名为 126 wuxiaobo-articles；
b.选择 Type ： type 代表你抓取的这部分的类型，⽐如元素／⽂本／链接，因为这个是整个⽂章要素范围选取，我们需要⽤Element来先整体选取（如果这个⽹页需要滑动加载更多，那就选Element Scroll Down）；
c.勾选Multiple ：勾选 Multiple 前⾯的⼩框，因为你要选的是多个元素⽽不是单个元素，当我们勾选的时候，爬⾍插件会帮助我们识别多篇同类的⽂章；
d.保留设置：其余未提及部分保留默认设置。
（2）点击select选择范围，按照以下步骤操作：
a.选择范围：⽤⿏标选择你要爬取数据的范围，绿⾊是待选区域，⽤⿏标点击后变为红⾊，才是选中了这块区域；
b.多选：不要只选⼀个，下⾯的也要选，否则爬出来的数据也只有⼀⾏；
c.完成选择： 记得点Done Selecting；
d.保存：点击Save Selector。
（3）设置好了这个⼀级的Selector之后，点进去设置⼆级的Selector，按照以下步骤操作：
a.新建Selector：点击Add new selector ；
b.输⼊id ：id代表你抓取的是哪个字段，所以可以取该字段的英⽂，⽐如我要选「作者」，我就写「writer」；
c.选择Type：选Text ，因为你要抓取的是⽂本；
d.勿勾选Multiple：不要勾选Multiple前⾯的⼩框，因为我们在这⾥要抓取的是单个元素； 保留设置：其余未提及部分保留默认设置。
（4）点击select，再点击你要爬取的字段，按照以下步骤作：
a.选择字段：这⾥爬取的字段是单个的，⽤⿏标点击该字段即可选定，⽐如要爬标题，那就⽤⿏标点击某篇⽂章的标题，当字段所在区域变红即为选中；
c.完成选择：记得点 Done Selecting ；
d.保存：点击 Save Selector 。
（5）重复以上操作，指导选完你想爬去的字段。
第五步：爬取数据
之所以说Web Scraper是运营小白必会的爬⾍⼯具，就是因为只需要设置完所有的Selector，就可以开始爬数据了，怎么样是不是很简单？那么怎么开始爬数据呢？只需要⼀个简单的操作：点击 Scrape ，然后点 Start Scraping ， 会弹出⼀个⼩窗，然后⾟勤的⼩爬⾍就开始⼯作了。你会得到⼀个列表，上⾯有你想要的所有数据。
以上就是运营小白必会的爬虫工具使用教程，怎么样，你是不是已经快速上⼿Web Scraper的所有操作过程了？相信即使是不会编程语言的小白，也可以掌握在5分钟之内爬取数据的爬虫工具！
— 申请免费试学名额 —
在职想转行提升，担心学不会？根据个人情况规划学习路线，闯关式自适应学习模式保证学习效果
讲师一对一辅导，在线答疑解惑，指导就业！
上一篇：
流量比较多的五大自媒体平台盘点
下一篇：
老带新营销方式的核心逻辑解析
相关推荐 更多
新媒体运营零基础小白入门指南
互联网对大众生活和工作方式的改变，造就了新媒体的诞生。而新媒体运营作为入门门槛低但薪资待遇好的新兴岗位，受到了不少人的青睐和关注。然而对于刚刚想要入门的零基础小白来讲，大家首先应该明白新媒体运营的工作职责和必备能力。小编在这里为大家准备了一份新媒体运营零基础小白入门指南，希望对那些还在学习路上迷茫的小伙伴一点方向的指引。
5071
2019-11-05 18:34:46
自媒体如何打造爆文？爆文写作的三大技巧
自媒体如何打造爆文？我们都知道写作能力是内容运营的一个重要技能，要写出一篇阅读量高的爆文，其实有时候并不需要多么深度的内容和文采，更多是需要了解一些自媒体写作的技巧和套路。本文为大家总结了爆文打造秘籍，分别是标题制造悬念或冲突；内容有小情绪以及观点引起共鸣或认可。下面我们来一起详细分析一下吧！
5186
2019-11-11 11:23:20
做运营有必要参加培训吗？需要掌握哪些技能？
做运营有必要参加培训吗？要回答这个问题其实很简单。任何工作在毫无经验的情况下，都是难以上手的，因此需要从最基层做起。培训的目的就是让大家少走弯路，用更短的时间掌握更多的经验和技能。那么做运营需要掌握哪些技能呢？简单来说，就是运营核心竞争力的培养，即运营思维的构建很重要。下面我们来具体看看做运营需要掌握的知识和技能。
7113
2019-11-28 19:21:02
网络与新媒体专业就业前景如何？
网络与新媒体专业的就业前景广阔，许多从事新媒体行业的人不是专业出身，不具备专业新媒体理论体系，而社会上对新媒体专业的人才越需求越来越大。数字时代新媒体传播快，是有潜力的媒介，新媒体运营是具有潜力的职业之一。新媒体运营是在运营的基础上加上新媒体手段，通过新媒体的手段帮助用户完成产品使用目的的过程。
7337
2020-01-07 10:39:18
新媒体运营培训都有哪些内容？
互联网的飞速发展使媒体行业兴起，新媒体运营行业近几年的热度一直居高不下。导致很多大学生毕业都从事新媒体行业，但很多并没有真正接触过新媒体，什么都不懂。作为新兴行业，抓住机遇，多积累，勤思考，重实操，就可以掌管你的互联网小天地啦
6753
2020-06-16 17:15:46
