AI 模型接下来会有哪些值得期待的新架构？

有网友在 r/LocalLLaMA 讨论 AI 模型架构的下一步走向，指出中国各大实验室已采用 conditional engram memory、hyper connections、attention residuals、sparse attention 等前沿架构。