【崗位職責(zé)】：

1、負(fù)責(zé)設(shè)計(jì)和開(kāi)發(fā)網(wǎng)絡(luò)信息收集系統(tǒng)，完成關(guān)鍵信息的數(shù)據(jù)抽取、清洗、去重、分析等；

2、負(fù)責(zé)相關(guān)技術(shù)的研究和實(shí)現(xiàn)工作，比如驗(yàn)證碼、JS分析等等；

3、負(fù)責(zé)公司相關(guān)系統(tǒng)的核心算法以及策略?xún)?yōu)化，熟悉收集系統(tǒng)的調(diào)度策略；

4、設(shè)計(jì)收集策略和防屏蔽規(guī)則，提升網(wǎng)頁(yè)抓取的效率和質(zhì)量；

5、負(fù)責(zé)現(xiàn)有部分系統(tǒng)的完善、維護(hù)工作，實(shí)時(shí)監(jiān)控的進(jìn)度和警報(bào)反饋，提升系統(tǒng)穩(wěn)定性、可擴(kuò)展性；

6、能獨(dú)立解決實(shí)際開(kāi)發(fā)過(guò)程碰到的各類(lèi)問(wèn)題。

【任職要求】：

1、本科及以上學(xué)歷，計(jì)算機(jī)相關(guān)專(zhuān)業(yè)；

2、至少3年及以上相關(guān)經(jīng)驗(yàn)；

3、精通golang語(yǔ)言，具有扎實(shí)的計(jì)算機(jī)基礎(chǔ)和編程能力，熟悉常見(jiàn)的算法與數(shù)據(jù)結(jié)構(gòu)，具有優(yōu)秀的邏輯思維能力；

4、熟悉Mysql,redis，有過(guò)數(shù)據(jù)庫(kù)調(diào)優(yōu)和海量數(shù)據(jù)存儲(chǔ)經(jīng)驗(yàn)優(yōu)先；

5、熟悉常見(jiàn)的反爬機(jī)制，并對(duì)反爬具有一定的應(yīng)對(duì)措施策略且有一定研究；

6、熟悉APP逆向、JS逆向、驗(yàn)證碼破解、圖像識(shí)別等技術(shù)；

7、熟悉常用網(wǎng)絡(luò)協(xié)議、數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)處理技術(shù)；

8、熟悉linux系統(tǒng)環(huán)境、命令，shell、python腳本編寫(xiě)；