名词-动词-连接词三元组构建神经网络内部语言

一种神经网络结构提案让每个 attention head 持有一个由名词、动词和连接词组成的三元组，以结构化内部语言形成并组合思想。网络按组处理三元组，在逐层延续相关信息的同时按需生成新三元组，理论上可用互联图表示整本书。