Amazon Science 介绍的研究发现，机器学习研究智能体的优化策略可压缩为短提示词，为其不易过拟合提供解释。在8个数据集上，32个模型 token 的提示词足以让新智能体在大多数问题上复现探索智能体的表现；刻意诱导过拟合后，依赖验证集的优势在压缩复现中消失。该框架要求验证集信息只能经提示词传递，研究尚未使用模型训练截止后采集的新数据集排除预训练记忆的影响。
阅读原文