【崗位職責(zé)】

1、參與軟件的全周期開發(fā)，包括需求分析、設(shè)計(jì)、編碼、維護(hù)等，重點(diǎn)負(fù)責(zé)手機(jī)App爬蟲系統(tǒng)的模塊設(shè)計(jì)與實(shí)現(xiàn)，高效抓取、解析并結(jié)構(gòu)化處理App內(nèi)的內(nèi)容數(shù)據(jù)（如商品信息、app直播間相關(guān)信息等）。

2、設(shè)計(jì)并優(yōu)化爬蟲策略，解決App反爬機(jī)制（如加密協(xié)議、驗(yàn)證碼、IP封禁），確保數(shù)據(jù)采集的穩(wěn)定性和高效性；與App端技術(shù)團(tuán)隊(duì)協(xié)作，分析并應(yīng)對(duì)動(dòng)態(tài)加載、JS渲染、混淆加密等技術(shù)挑戰(zhàn)。

3、開發(fā)與維護(hù)數(shù)據(jù)處理pipeline，包括數(shù)據(jù)清洗、去重、存儲(chǔ)（如MySQL/Redis）及API接口封裝，為業(yè)務(wù)團(tuán)隊(duì)提供高質(zhì)量的結(jié)構(gòu)化數(shù)據(jù)支持。

4、與產(chǎn)品、算法、測(cè)試團(tuán)隊(duì)密切溝通，理解業(yè)務(wù)需求，確保爬蟲系統(tǒng)的功能與性能符合預(yù)期；定期輸出技術(shù)報(bào)告，反饋數(shù)據(jù)質(zhì)量與采集效率。

5、對(duì)新技術(shù)保持敏感度，主動(dòng)研究并落地前沿技術(shù)（如App自動(dòng)化測(cè)試框架、分布式爬蟲、無頭瀏覽器、OCR識(shí)別），持續(xù)提升數(shù)據(jù)采集的效率與穩(wěn)定性。

【任職要求】

1、扎實(shí)的Java基礎(chǔ)，深入理解Java多線程、集合、IO、網(wǎng)絡(luò)通信等核心技術(shù)；熟悉設(shè)計(jì)模式，具備良好的面向?qū)ο缶幊棠芰Α?/p>

2、熟悉主流Java開發(fā)框架（如SpringBoot、SpringCloud），了解微服務(wù)架構(gòu)設(shè)計(jì)；有分布式系統(tǒng)開發(fā)經(jīng)驗(yàn)者優(yōu)先。

3、具備App爬蟲開發(fā)經(jīng)驗(yàn)，熟悉以下技術(shù)棧之一：

App逆向分析：能使用工具（如Frida、Xposed、Charles）分析App通信協(xié)議，破解數(shù)據(jù)加密邏輯；

4、App自動(dòng)化測(cè)試：熟悉UIAutomator、Appium等框架，實(shí)現(xiàn)App界面元素的自動(dòng)識(shí)別與交互；

5、掌握常見反爬應(yīng)對(duì)策略，如IP代理池管理、請(qǐng)求頭偽裝、驗(yàn)證碼識(shí)別（如OCR、機(jī)器學(xué)習(xí)）、分布式爬蟲架構(gòu)設(shè)計(jì)。

6、具備良好的問題解決能力：能快速定位并解決爬蟲運(yùn)行中的各類異常（如請(qǐng)求超時(shí)、數(shù)據(jù)解析失敗、賬號(hào)封禁）；有大規(guī)模數(shù)據(jù)采集與處理經(jīng)驗(yàn)者優(yōu)先。

7、具備良好的溝通協(xié)作能力，能與跨團(tuán)隊(duì)成員高效協(xié)作，清晰表達(dá)技術(shù)方案與建議；有責(zé)任心，對(duì)代碼質(zhì)量嚴(yán)格要求，注重代碼的可維護(hù)性與可擴(kuò)展性。