小Transformer学会飞boids群体后能否读出其规则

Reddit r/MachineLearning 用户分享了一项实验：作者用 Python 与 PyTorch 从零训练了一个约 414k 参数、两层 attention 的 Transformer，让它在没有任何 boids 规则先验知识的前提下，以逐 token 预测的方式预测 12 只鸟下一步动作，从而让模型自发学会 boids 的群体飞行行为。训练完成后，作者尝试用探针（probing）等可解释性方法去读取模型内部是否编码了类似“对齐、聚合、分离”的 boids 规则。当前报道为初步分享阶段，尚未公布完整训练细节、损失曲线、探针读出的具体规则条目，也未与符号化 boids 实现或更大模型做对比。该实验属于“可解释性＋涌现行为”交叉方向，动机是检验小模型能否仅通过观测数据学到群体动力学规则，并被人为解读出来。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。