職位描述
崗位職責1、參與LLM推理服務框架分布式架構設計,關鍵技術驗證,參與相關模塊的工程化實現;2、參與大模型推理引擎的研發和優化,包括推理系統優化、模型量化壓縮和模型部署;3、參與LLM分布式推理的性能優化,包括基礎設施系統優化,綜合平衡算法效果和推理速度,加快算法迭代速度;任職條件1、本科及以上學歷,計算機相關專業優先;2、3年以上軟件開發經驗,有推理引擎開發經驗,工程能力強的候選人優先;3、熟悉主流的大模型推理框架Vllm/Sglang/TensorRT-LLM等;4、必須熟悉Python,有具有扎實的C++能力優先,具有良好的編程習慣,熟悉Pytorch、Tensorfl ow等一個或多個深度學習框架開發;5、有大模型項目落地經驗優先。
企業介紹
網宿科技(300017)成立于2000年,2009年于深交所創業板首批上市(300017),是全球化的信息基礎設施平臺服務提供商,業務遍及全球70多個國家和地區。公司始終致力于助力產業數字化轉型升級,滿足用戶隨時隨地、安全、可靠的數據處理及交互需求。公司專注于邊緣計算、云分發、云安全、云計算、云服務及綠色數據中心業務,幫助企業技術創新實踐,是產業數字化轉型升級值得信賴的合作伙伴。