搜索職位:
-
職位描述
-
崗位職責:
1、負責NLP大模型分布式訓練框架維護,能夠在多個超算平臺實現模型的穩定性訓練;
2、負責NLP大模型無監督預訓練、指令微調、RLHF等算法的研究與訓練策略優化;
3、負責instruction tuning核心數據的構建和相關技術的探索;
崗位要求:
1. 自然語言處理、計算機等相關專業碩士生及以上(博士生優先);
2. 優秀的編程能力,熟練使用python, 熟悉主流深度學習工具Pytorch等;
3. 熟悉NLP領域的前沿研究,在ACL、EMNLP、NAACL、TASLP、TACL等學術會議和期刊上發表過NLP相關論文的優化;
4. 熟悉NLP大模型的背景知識,具有指令微調經驗優先;
5. 熟悉分布式深度學習訓練技術,具有Megatron-deepspeed調試訓練5B以上模型經驗優先;
6. 善于團隊合作,具有強烈的自我驅動力和良好的溝通能力;
-
企業介紹
-
工作地址
-
蘇州