崗位職責(zé)：

1、設(shè)計分布式網(wǎng)絡(luò)爬蟲系統(tǒng)，支持多平臺廣告素材的抓取（如網(wǎng)頁、APP、API接口）。

2、開發(fā)廣告素材解析模塊，提取關(guān)鍵信息

3、優(yōu)化爬蟲算法，提升抓取效率、數(shù)據(jù)處理與清洗

4、對抓取的廣告素材進(jìn)行結(jié)構(gòu)化處理（如分類、去重、標(biāo)簽化）

5、清洗低質(zhì)量數(shù)據(jù)（如模糊圖片、重復(fù)文案），確保數(shù)據(jù)準(zhǔn)確性。

任職標(biāo)準(zhǔn)

1、編程語言：精通Python（主流選擇）或Java，熟悉異步編程（如asyncio）及多線程/多進(jìn)程技術(shù)。

2、爬蟲框架：熟練使用Scrapy、WebMagic等開源框架，或具備自主研發(fā)框架經(jīng)驗(yàn)。

3、數(shù)據(jù)處理：掌握Pandas、NumPy等庫，熟悉MySQL、MongoDB、Redis等數(shù)據(jù)庫操作。

4、反爬技術(shù)：了解TCP/IP、HTTP協(xié)議，熟悉JS逆向、加密算法破解（如RSA、AES）、驗(yàn)證碼識別（如OCR、深度學(xué)習(xí)模型）。

5、分布式系統(tǒng)：熟悉消息隊(duì)列（如Kafka、RabbitMQ）、分布式調(diào)度（如Celery、Airflow）及緩存技術(shù)（如Redis）。