封面训越训越傻

封面：训，越训越傻

白交发自凹非寺量子位|公众号QbitAIAI训练AI，可能会让AI变傻？！来自牛津、剑桥等学校机构的研究人员最新发现，使用合成数据训练，大模型可能会崩溃。其研究成果被选为最新的Nature封面。直接一个：GARBAGEOUT！要知道，现在绝大部分科技公司的大模型都在用合成数据来缓解“数据荒”。这下无疑是整个行业浇了一波冷水。研究团队给了这样一个例子。他们测试了Meta的OPT-125m模型，询问了关于中世纪建筑的相关信息。每一次微调都是由上一次生成的数据来训练。结果前面几轮回答还好。结果就在第九次，就开始胡说八道…...