淘宝商品采集,难点不在抓标题,在SKU价格。
同一个商品有多个规格,价格从9.9到99.9不等,直接抓主价格会出错。我用影刀RPA做淘宝采集时,一开始就是栽在这里。
其实核心就五步:搜商品、进详情、抓SKU、洗价格、写表格。
下面把完整流程拆开讲,新手跟着做就能跑通。
淘宝搜索页与商品列表的采集方法
场景:在淘宝搜索关键词,批量获取商品列表。
方法:用“打开网页”+“获取相似元素列表”指令,配合XPath模糊匹配。
操作步骤:
- 在右侧指令面板搜索“打开网页”,URL填
https://s.taobao.com/search?q=关键词
2. 加“等待元素出现”,捕获商品列表第一个商品卡片
- 拖入“获取相似元素列表”指令,捕获所有商品链接
- 输出变量设为
goods_list,循环遍历
# 捕获元素:淘宝搜索页商品卡片
//div[contains(@class,'item')]//a[contains(@class,'title')]

# 捕获元素:商品链接
//div[contains(@class,'item')]//a[contains(@class,'title')]/@href
# 用“获取相似元素列表”指令,一次性拿到所有商品链接
# 输出变量:goods_url_list,再循环遍历
注意:淘宝搜索页需要登录态,提前在浏览器管理里配置好Cookie。社区版30分钟/天,调试时尽量用创业版。
进入商品详情页获取SKU信息
场景:从搜索页拿到商品链接后,逐个进入详情页抓SKU。
方法:用“循环列表”遍历链接,每次用“打开网页”打开新标签页。
操作步骤:
- 拖入“循环列表”指令,遍历
goods_url_list - 循环体内用“打开网页”打开当前链接
- 加“等待元素出现”,捕获SKU选择区域
- 用“获取相似元素列表”抓取所有SKU名称和价格
| 字段 | XPath示例 | 说明 |
|---|---|---|
| SKU名称 | //div[contains(@class,'sku')]//span | 规格文字 |
| SKU价格 | //div[contains(@class,'price')]//em | 价格数字 |
| 商品标题 | //h1[contains(@class,'title')] | 主标题 |
SKU价格的提取与清洗实战
场景:抓到的SKU价格带“¥”符号和“起”字,不能直接计算。
方法:用影刀RPA的“正则提取”指令或Python清洗。
# 影刀Python指令:清洗SKU价格
import re
# 原始价格文本
raw_price = "¥29.90 - ¥99.90"
# 提取所有数字
prices = re.findall(r'\d+\.?\d*', raw_price)
# 结果:['29.90', '99.90']
# 转成浮点数
price_list = [float(p) for p in prices]
# 结果:[29.9, 99.9]
# 取最低价作为主价格
min_price = min(price_list)
重点:淘宝SKU价格有时是区间,有时是单个。统一提取所有数字,取最低价和最高价分别存储。
防限流与翻页策略
场景:连续采集几十个商品后,淘宝弹出验证码。
方法:控制采集速度,配合代理IP轮换。
- 每个商品采集后加“等待时间”2~3秒
- 每采集20个商品,切换一次代理IP
- 翻页用“循环条件”判断“下一页”按钮是否可点击
- 设置最大页数30页,防止死循环
# 捕获元素:淘宝下一页按钮
//*[contains(text(),'下一页')]
# 判断按钮是否可点击
//*[contains(text(),'下一页') and not(@disabled)]
# 如果XPath返回空,说明已到最后一页,退出循环
避坑:淘宝对频繁请求很敏感,社区版30分钟额度有限,建议分批采集,每次不超过50个商品。
数据写入Excel的完整流程
场景:采集完SKU数据,要写入Excel保存。
方法:用“写入行数据到表格”指令,按商品逐行写入。
操作步骤:
- 用“读取Excel”创建表格对象
- 循环遍历采集结果
- 用“写入行数据到表格”追加数据
- 循环结束后用“保存Excel”保存文件
# 行数据格式:[商品标题, SKU名称, 最低价, 最高价, 商品链接]
row_data = [title, sku_name, min_price, max_price, url]
# 影刀RPA中直接传给“写入行数据到表格”指令
# 勾选“追加到末尾”,不要覆盖
常见问题速查
| 问题 | 原因 | 解决 |
|---|---|---|
| 搜索页打不开 | 登录态过期 | 重新配置Cookie |
| SKU价格抓不到 | 元素未加载 | 加“等待元素出现” |
| 采集到重复商品 | 翻页位置没变 | 记录已采集的商品ID |
| 弹出验证码 | 请求太频繁 | 加等待+代理轮换 |
| 社区版额度不够 | 30分钟/天 | 创业版无限制 |
Q:魔法指令能生成淘宝采集流程吗?
A:影刀3.0的魔法指令可以生成框架,但SKU的XPath要手动调。
Q:淘宝和天猫的采集有什么区别?
A:天猫商品详情页结构略有不同,SKU区域要单独适配。建议用条件判断区分平台。
推荐资源
- 影刀RPA官方学院“淘宝自动化”专题课,免费
- 影刀社区搜索“淘宝采集”,有现成模板可下载
- Chrome插件XPath Helper,实时验证SKU的XPath
#影刀RPA #RPA自动化 #淘宝采集 #SKU价格 #电商自动化
作者:林焱
本文为《影刀RPA学习手册》系列文章之一,内容源于实操经验的整理与分享。
