職位名稱：電商數(shù)據(jù)采集工程師（全職/兼職/API合作）有數(shù)據(jù)源也可以合作

職位類型：技術(shù)開發(fā)｜遠(yuǎn)程｜薪資面議（根據(jù)經(jīng)驗(yàn)及合作方式具體洽談）

職位描述：

我們致力于搭建多平臺電商商品數(shù)據(jù)監(jiān)測系統(tǒng)，現(xiàn)需高效獲取以下平臺商品詳情數(shù)據(jù)：

覆蓋平臺：淘寶/天貓（TB）、京東（JD）、拼多多（PDD）、抖音電商（DY）、快手小店（KS）、美團(tuán)（MT）、餓了么（ELM）等。

數(shù)據(jù)用途：價(jià)格動態(tài)監(jiān)控、競品分析、市場趨勢預(yù)測等深度數(shù)據(jù)挖掘場景。

崗位職責(zé)：

設(shè)計(jì)并開發(fā)高穩(wěn)定性、高精度的電商平臺數(shù)據(jù)采集系統(tǒng)，支持日均百萬級數(shù)據(jù)請求；

攻克平臺反爬機(jī)制（加密參數(shù)、IP封禁、行為驗(yàn)證等），保障數(shù)據(jù)獲取連續(xù)性；

實(shí)現(xiàn)多維度數(shù)據(jù)解析：商品基礎(chǔ)信息、SKU價(jià)格、促銷活動、用戶評價(jià)、銷量等；

構(gòu)建數(shù)據(jù)清洗及校驗(yàn)機(jī)制，確保字段完整性與準(zhǔn)確性（誤差率≤0.1%）；

提供標(biāo)準(zhǔn)化數(shù)據(jù)輸出接口（JSON/MySQL），支持業(yè)務(wù)團(tuán)隊(duì)實(shí)時(shí)調(diào)用。

任職要求：

技術(shù)能力：

精通Python/Java，熟悉Scrapy、Selenium、MitmProxy等爬蟲框架；

掌握分布式爬蟲架構(gòu)（Redis/Kafka/集群部署），具備高并發(fā)場景優(yōu)化經(jīng)驗(yàn)；

熟悉JS逆向、字體反爬、驗(yàn)證碼破解等技術(shù)難點(diǎn)；

了解APP端數(shù)據(jù)抓取方案（Charles/Fiddler抓包、Xposed框架等）。

經(jīng)驗(yàn)要求：

3年以上電商數(shù)據(jù)采集實(shí)戰(zhàn)經(jīng)驗(yàn)，需提供成功案例（如商品詳情頁完整字段抓?。?；

熟悉各平臺API調(diào)用限制政策及法律合規(guī)邊界。

協(xié)作要求：

兼職/合作需承諾響應(yīng)時(shí)效（如系統(tǒng)故障2小時(shí)內(nèi)修復(fù)）；

API供應(yīng)商需提供歷史穩(wěn)定性報(bào)告（如99.9%可用性證明）。

加分項(xiàng)：

自研成熟電商數(shù)據(jù)API接口，支持多平臺即接即用；

擁有抖音/快手等直播電商數(shù)據(jù)獲取經(jīng)驗(yàn)；

熟悉價(jià)格監(jiān)測模型構(gòu)建及數(shù)據(jù)可視化方案。