当前位置:AIGC资讯 > 数据采集 > 正文

拼多多数据采集

-------------------------分割线------------------------------------------------

2020.12.09更新
因为拼多多反爬升级,之前的方案已废弃。若有新的方案,会在博客这边更新消息o(╥﹏╥)o

-----------------------------------------------------------------------------------

千辛万苦,总算把新的拼多多采集方案弄出来了,回想起几个月的尝试和摸索,真心觉得不容易。

前期尝试的方案包括但不限于:

1、H5,PDDAccessToken+anticontent


这个方案很明显,需要处理两个问题:

1)账号问题

你采集的量越大,需要的账号数就越多。因为采集到一定的数量,拼多多会对你的账号进行标记,标记之后,会进行投毒或验证码拦截。

2)anticontent参数破解

网络上有很多文章详细聊到,这里就不赘述了。

方案最后还是被我放弃了,因为要满足公司的业务需求,需要用到太多账号。

2、APP,accessToken

这里的accessToken是通过APP登录来换取的,包括手机号,微信,QQ号登录。

通过调用API接口进行,APP端的请求量是要比H5端要多的。但和H5一样,还是避免不了账号因为请求量过高而被限制的问题。

方案依旧被pass掉了。

3、APP,Etag+4G IP代理池

大家仔细观察拼多多的APP,在你刚开始使用APP的时候,你是不需要进行登录就能浏览商品的详情页的。只是这些访问动作如果稍加频繁,就会被拼多多进行登录拦截。经过测试,只要是新设备+新IP,就能不被拼多多限制(在一定访问次数内)。

设想,如果你有足够多的设备+IP,是不是就能达到无账号采集数据的目的。

这里提一下IP的问题。用4G 代理IP是因为IP质量,不容易被拼多多拦截。市面上的大部分代理,用来采集基本没戏。

经过攻关,拼多多对某一个设备的识别依赖于Etag这个参数,如果能批量生成这个参数,那么采集就有希望了。

可惜的是,在攻克了Etag批量生成的问题之后,发现这些生成的Etag是获取不了数据的。想来应该是Etag的生成方式有纰漏,被拼多多识别出了。

这个方案花费的时间最多,但最后还是放弃了。

在攻克拼多多采集的过程中,尝试的方法其实远不止上面的这几种,但回过头来看,要想大批量的持续采集,必须避免两个问题:

A.账号登录
B.代理IP限制

账号登录,那请求头带上登录的token,拼多多在后端就太容易对你账号进行风控了。所以,无账号方案是必须的。

代理IP市面上有大量的第三方服务方提供,如果不能使用这些IP,自行搭建代理池,搭建和维护的成本就会挺高,而且还不能保证质量。


当然最后经过攻关,我自己还是找到了解决方案,这里给大家透露,方案的采集端是H5,无需登录,可以结合代理IP(芝麻,极光,阿布云 etc.)进行大量采集,采集成本还是比较低的。
我自己测试的,一天采集50w的商品详情,代理消耗的成本大约在30元左右,还算是可以接受的范围。

以上,谢谢自己的坚持,也谢谢同行路上好基友们给的支持。

更新时间 2023-11-08