崗位職責(zé)

1、配合模型應(yīng)用和模型訓(xùn)練同事，上線大模型推理服務(wù)，推動(dòng)大模型相關(guān)算法的落地；

2、持續(xù)跟進(jìn)前沿技術(shù)，優(yōu)化大模型推理性能，提升線上模型服務(wù)吞吐量，降低模型推理延遲，控制推理機(jī)器成本；

3、開發(fā)和優(yōu)化大模型推理系統(tǒng)，提升模型推理系統(tǒng)的性能，穩(wěn)定性，可觀測(cè)性，易用性等；

4、使用GPU編程和系統(tǒng)優(yōu)化手段實(shí)現(xiàn)高性能的推理優(yōu)化算法，并將其落地于大模型推理系統(tǒng)中。

崗位要求

1、計(jì)算機(jī)科學(xué)、人工智能等相關(guān)教育背景，本科以上學(xué)歷；

2、熟悉Python，掌握常見的LLM推理加速框架，如vllm/onnx/TensorRT/TensorRT-LLM/sglang等，能夠根據(jù)業(yè)務(wù)需求優(yōu)化；

3、熟悉CPU/GPU下性能優(yōu)化基本原理和方式方法，有服務(wù)端GPU程序加速經(jīng)驗(yàn)；

4、熟悉分布式推理常用加速方法，有分布式系統(tǒng)開發(fā)經(jīng)驗(yàn)或大模型分布式部署經(jīng)驗(yàn)者優(yōu)先；

5、有國產(chǎn)芯片適配經(jīng)驗(yàn)優(yōu)先；

6、具備嚴(yán)謹(jǐn)細(xì)致的工作態(tài)度，較強(qiáng)的團(tuán)隊(duì)協(xié)作能力。