人工智能大语言模型(LLM)在海量预训练后,往往具备一定的通用能力,而在特定细致划分领域的表现不尽如人意。
为了提升模型在细致划分领域的针对性功能,传统的微调方法需要借助大量领域数据来进行特定训练,如何在大模型的应用过程中解决高昂的算力需求和数据稀缺等问题,仍然是行业面临的巨大挑战。
在此情境下,陈敏教授科研团队提出的自然语言微调技术(NLFT)为解决这一问题提供了新的可能。
细粒度反馈机制:通过目标模型本身的自然语言理解能力,精准标注每个token的得分点和失分点,避免了传统方法对外部指导的需求。
零预热学习:NLFT省去ReFT中必需的多轮预训练阶段,直接进行相对有效微调。
充分发挥语言模型能力:科研团队利用目标模型本身作为自然语言评价器,发挥其对语言的深刻理解能力,用可解释性强的方式精准标注,帮助模型迭代进步。
陈敏,现任华南理工大学计算机科学与工程学院教授,博导;长期致力于数据驱动型通信、计算和AI领域的研究。凭借其在学术界的杰出贡献,当选为国际电气与电子工程师学会(IEEE)会士,并连续多年入选全球高被引学者。
目前,陈敏教授已发表SCI论文200余篇,出版学术著作12本,Google Scholar引用超过49,500次,H指数达101,屡获IEEE等国际学术奖项。
华南理工大学始终致力于推动科学技术创新和成果转化,尤其在人工智能、数据科学等前沿领域取得了诸多突破。依托交叉学科平台和强大的科研团队,学校不断攻克技术难题,将前沿科技与产业需求紧密对接。此次NLFT技术的成功研发,是学校在技术创新与人才教育培训方面的又一重要成就。
近年来,学校加大了对创新科研项目的支持力度,优化科研管理机制,提升整体科研水平。与此同时,学校积极推动产学研合作,深化科学技术创新与产业高质量发展的融合,加速科技成果的转化应用。NLFT技术的推出,不仅是学校科研创新的重要成果,也展示了华南理工大学在推动科技与产业融合、技术应用转化方面的领先优势。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
6名以上将官或遭解雇,数万文职雇员可能被裁,大裁员传闻令五角大楼人心惶惶
华中科技大学2025转专业795人,转入电气占11%,真的是太火爆了呀
同时开球!CCTV5直播天津女排VS上海女排,U20国足踢沙特迎生死战
太突然!知名品牌宣布:关闭上海黄金地段2家门店…去年利润暴跌,卖不动了?
《编码物候》展览开幕 北京时代美术馆以科学艺术解读数字与生物交织的宇宙节律