电商数据分析专家分享怎么用Excel收集淘宝庞大的搜索数据，从收集数据的找数、采数和洗数三个过程分别讲解

SEP技术支持 | 05-19 13:51

推荐使用：Excel数据采集软件(免费下载，像Excel一样极速上手，可灵活自定义的企业管理软件)

大家好，我是电子商务数据分析专家，让我们从一则广告开始。我是做最权威的电子商务数据分析社群，每周原创蓝海产品信息开始帮助企业了解商业机会，并欢迎感兴趣的人。
进入主题，用Excel收集数据并不难，可以用VBA或Power Query实现。从淘宝，收集100页的搜索数据并不难，但要指定Excel就有点困难了。因为在淘宝反爬虫机制的作用下，100页，即连续100次访问搜索结果页面，并不像想象中那么简单，但也不像想象中那么困难。理解这两个重要的操作并不难。
那么，我最好从头开始，否则文章会沉下去(每个人都无法理解)。
简而言之，收集数据的三个过程是找数、采数和洗数。

“查找号码”是指从网页或软件包的源代码中查找数据，并且只有在找到数据时才查找目标网址。
以淘宝搜索为例，在浏览器的网址上搜索到关键词茶烟后。
https://s.taobao.com/search?q=tea smoke img file=comment=all ssid=S5-esearch _ type=items ourceid=TB . indexspm=a21bo . 2017.201856-obao-item . 1ie=utf 8 initiative _ id=tbindexz _ 2017 0306
点击页面上的鼠标右键，查看源代码或在菜单中查看源代码等。只要是表达这个意思，因为不同的浏览器有不同的名称。
一个重要的步骤是，源代码页搜索前景看到的目标信息，如标题或价格。
从搜索中获得的描述数据在这个网址中，所以上面的网址是目标地址。
但是，此时只有一页数据，目标是100页。这将如何构建？
s=44
s=88
s=132
通过观察2-4页的网址之间的差异，不难发现该页是一个从0开始的44步的算术级数。因此，Excel是非常好的实现，生成一个100页的网址。

这样，下一步可以使用目标网址进入。
取样编号是下载文件的目标网址。
将链接加载到超级查询(查询编辑器)

有两个关键操作。首先是添加饼干。如果没有cookie，将需要登录。
在开发人员模式下找到文档的cookie(在网页上按F12)，并复制cookie的内容。

将cookie的内容添加到超级查询。

之后，是时候下载数据了。下载数据使用网络。内容，文本。从二进制文件转换成文本，这是我们在前台看到的HTML。
短信。从二进制(网络。内容([网址)，[标题=[#'cookie'=[cookie]]))
但还没有。即使使用cookie，在一定时间内过于频繁地访问淘宝搜索页面也会受到限制。因此，操作的第二个关键点是增加延迟。
功能。InvokeAfter(()=采集过程，持续时间. fromtext ('003360336005 '))
显然，延迟设置为5秒。正常人每页至少要停留20秒。5秒的设置是为了避免cookie过期。
总的来说，整个功能是
功能。invokeAfter(()=文本。从二进制(网络。内容([网址)，[标题=[#'cookie'=[cookie]]))，持续时间。从文本(' 00:00:05 '))

这样，可以下载100个网页文件，每个文件都以文本的形式存在。

清洗号是从下载的文件中提取目标数据。
这不是我今天要讨论的。提取数据的过程可能比下载网页更困难，而且可能需要两倍的时间。

1376

上一篇：excel抓取数据方法分享（附详细案例和操作步骤），有需要的小伙伴可以一起学习下一篇：如何快速得到网页中的Excel表格，并能实现数据的自动刷新？举例说明并配有详细的步骤图片

好用的Excel服务器

基层员工极速上手，动态统计数据报表；
企业运营情况一目了然；可灵活自定义...

4分钟快速了解
点击播放视频