论文解读

Matthew DeLorenzo · Kevin Tieu · Prithwish Jana · 4+

大语言模型（LLM）的进展提升了 Verilog 生成能力，但多数训练流程蒸馏的是自然语言推理轨迹，其设计决策结构松散，且主要依据最终 RTL 的正确性来筛选。MCTS-SFT 是一个验证器引导的框架，用于整理 Verilog 生成模型监督微调（SFT）所需的推理轨迹。该框架将轨迹构建建模为对中间推理状态的搜索，并用蒙特卡洛树搜索（MCTS）把完整 Verilog 输出的功能反馈回传到更早的设计决策。在此框架内，Plan-MCTS 在紧凑的硬件设计计划上搜索，这些计划显式表示接口、时序、状态、行为和更新规则。研究还考察了保留计划的监督方式，即将搜索得到的结构化状态保留为下游 SFT 目标的一部分。实验发现，Plan-MCTS 的功能性轨迹产出率最高，正确轨迹占 84.2%，而一次性结构化规划为 81.9%，无引导树搜索为 82.0%。在相同的 Plan-MCTS 轨迹和 Verilog 输出下，SFT 时保留显式搜索计划使 pass@10 从 52.56% 提升到 57.7%，表明中间设计决策的表示会实质影响下游学习。另一项 6,000 条轨迹的研究中，MCTS 整理的监督在 VerilogEval-v2 上比全响应思维链蒸馏的 pass@10 最多提升 3.7 个百分点，同时将下游生成长度缩短约 50%。这些结果表明，结构化硬件规划、验证器引导搜索和显式中间状态监督为构建更有效、更省 token 的 Verilog 生成训练数据提供了互补机制。

Faraz Tahmasebi · Haocheng Xu · Andrew Trauger · 4+

仅权重量化使 LLM 激活保持浮点、权重存为低位整数，将主要负载转为浮点-整数(FP-INT)通用矩阵乘法。近期量化器采用混合精度可达到平均 2–3 bit，但硬件进展滞后：GPU 在张量核心乘加前将权重量化解至 FP16；位并行 FP-INT 加速器则使用单一权重精度，低位宽仅节省内存，未减少计算。FIGFLEX 是算法-硬件协同设计的混合精度加速器，其位并行数据通路可随精度降低而扩展吞吐。设计包含：其一，将 FP-INT 乘法重构为移位加法、基数4形式，把乘加融合为精度可调的统一部分积归约，并将部分积约减半；针对 INT3 的新优化利用空闲的基数4叶节点。其二，混合精度量化器依据 GPTQ 无法补偿的误差为各通道组分配位宽，并按输入通道列缩放，以 2 的幂归一化使缩放后激活避开 FP16 次正规范围，使量化模型可直接映射至 FIGFLEX 数据通路，且精度与 GPU 相同。在 LLaMA-2-7B 上，平均 3 bit 和 2 bit 时，WikiText-2 困惑度分别为 5.85 和 8.77，优于未经微调的 GPTQ、AWQ、SliM-LLM、AMQ 和 QuIP#；3-bit 混合精度模型的线性 GEMM 全芯片单位面积吞吐较 AxCore 和 FIGLUT 分别高 1.56 倍和 1.42 倍。

Patrik Drazic · Benaoumeur Senouci · Boualem Benatallah

数字电路复杂度快速增长，亟需创新型硬件设计自动化方法。大语言模型(LLM)已推动软件开发，但其在硬件描述语言(HDL)生成领域的应用仍鲜有探索，尤其是 VHDL。研究面向 AI 辅助数字电路设计，填补当前电子设计自动化(EDA)工作流的空白。数据集包含来自开源代码仓库及转换后 Verilog 设计的 18,500 余个经语法验证的 VHDL 示例。研究采用参数高效 QLoRA 技术微调 5 个 7B 参数 LLM，以便在资源受限环境中部署。评测采用严格的三级流程：语法与综合验证、基于 testbench 的功能仿真，以及在 Zynq SoC 上的 FPGA 原型验证。结果表明，微调模型在常见设计任务上的语法正确率最高达 92%，功能准确率达 73%；DeepSeek-Coder 的性能提升最为显著。生成的设计已成功部署到真实硬件，验证了其语法有效性与实际运行可行性。研究说明，结合领域专用数据与轻量级微调，LLM 能够为生成式 EDA 工作流的发展作出实质贡献。

Yudong Pan · Lian Liu · Shixin Zhao · 4+

混合专家（Mixture-of-Experts, MoE）通过仅激活少量专家降低大语言模型推理成本，但其解码阶段受限于内存带宽且专家负载呈时变偏斜分布。3D 堆叠 DRAM 近存处理（NMP）虽提供高带宽，但片上网络（NoC）的瓦片化组织导致负载均衡代价高昂：专家并行（EP）保持局部性却易产生热点，分布式策略则增加通信开销。针对此局部性与均衡性的冲突，研究观察到领域专用令牌路由在解码步骤间产生互补的专家负载波动。据此提出 3D-MoE 系统，采用离线互补性引导分组与局部性感知映射实现粗粒度均衡，通过轻量级协作内存网络（CMN）将热点专家权重瓦片从主机 DRAM 通道流式传输至辅助核心以处理组内热点，并利用成本感知在线重映射应对负载漂移。在多个 MoE 模型上，3D-MoE 相比 EP 实现平均 4.63 倍的 MoE 层加速，端到端吞吐量较最强 NMP 基线提升 1.58 至 1.86 倍，逻辑芯片面积仅增加 2.11%。

Leandro Fiorin · Luigi Altamura · Cristina Silvano

qGAMMA 是一个用于探索和优化混合精度深度神经网络（DNN）模型在支持多种定点和浮点精度通用空间加速器上映射的灵活框架。该框架利用基于硬件综合结果的解析性能模型和领域特定遗传算法来导航设计空间，从而确定能最小化目标指标的最优映射和加速器配置。在广泛的 DNN 工作负载评估中，qGAMMA 为设计混合精度应用提供了有价值的见解，有助于在性能、能效和资源利用率之间实现更优的权衡。

Oliver Busemann (Osnabr\"uck University · CLAAS E-Systems GmbH) · Torben T\"oniges (CLAAS E-Systems GmbH) · 3+

基于查询的分割模型在工作站 GPU 上实时推理表现优异，但在边缘设备上，其 Transformer 解码器受限于内存带宽，该瓶颈在标准 FLOP 分析中不可见，且随输入分辨率增加和 DRAM 带宽限制而恶化。FP16 屋顶线模型分析显示，FastInst 和 Mask2Former 的非张量核心部分仅达到 CUDA 核心脊线的 2.5% 至 6%，却占据解码器 53% 至 70% 的时间及 61% 至 71% 的字节数。最大内核可持续达到 90% 的标称峰值 DRAM 带宽。瓶颈主要源于跨内核激活流量而非低 GEMM 强度。CompactInst 采用无参数 4 倍空间池化减少解码器内移动字节数，并通过双卷积细化头恢复细节。在 Jetson Orin Nano 上，解码器加速 2.35 至 4.74 倍，模型加速 1.57 至 2.62 倍，精度损失极小（COCO val2017 AP -0.4，Cityscapes test AP +0.2）。

Amit Sharma

在紧密耦合的时序、电气和物理约束下，布线后功耗恢复会改变单元选择，且每次修改的价值取决于修复其副作用的成本。该AI驱动框架利用学习模型驱动优化两个阶段：对功耗恢复编辑及后续修复动作进行排序，同时由确定性电子设计自动化(EDA)分析决定所有接受决策。框架记录基线约束裕度，识别恢复事务在各分析视图中引入的损伤，将既有违规保持在基线水平而非在功耗步骤中处理，并将修复开销限制在实测节省的一定比例内。梯度提升模型集成从动作和时序上下文特征预测功耗变化、归一化损伤减少和约束回归风险；校准后的保守估计为恢复和修复提供独立的获取分数，模型不确定时采用确定性回退。恢复和修复保持推测状态，直至物理实现和新分析确认基线保持及正净节省。论文规定了契约、学习策略、事务流程及在开放设计上的预注册公开评估协议。公开设计的伴随研究证据支持该契约，学习策略为提议方案，未报告训练模型结果或专有设计测量数据。

Minghan Jiang · Jiayi Wang · Shuaiting Li · 2+

基于扩散机制的大语言模型(dLLMs)通过支持双向并行优化,缓解了自回归(AR)生成中的串行解码瓶颈,近年来成为 AR LLM 的一种有前景的替代方案。然而,其并行迭代优化与针对串行解码优化的 AR 加速器不匹配,且离散令牌生成也与面向连续去噪的 DiT 加速器不同。已有 dLLM 加速器探索了面向负载的特定优化,以降低词表处理开销和去噪迭代间的冗余计算,但这些方法仍保留全部令牌的并行执行,未考虑不同令牌在优化效用和执行需求上的差异。提出 DynaTE,一种软硬件协同设计架构,可在 dLLM 解码过程中使加速器执行动态适配不断变化的令牌状态。DynaTE 首先通过跳过低效用令牌计算实现自适应令牌执行,同时采用维度可重构的 PE 阵列在变化的活跃令牌模式下保持高利用率。其次,DynaTE 通过 FLDD 挖掘动态令牌依赖,在当前迭代内优化少量局部相关令牌,从而减少整体去噪迭代次数,并配合 Merge–Split–Merge 数据流隐藏由此产生的串行开销。第三,流式词表引擎将来自 LM head 的多条令牌流交织调度,以适应由选择性令牌计算和不均匀词表选择需求引起的输出变化。在两种代表性 dLLM 上的评估表明,DynaTE 相对于当前最优 dLLM 加速器实现了 2.05–2.78× 加速和 2.99–3.93× 能效提升,相对 Jetson AGX Orin 实现 2.55× 加速和 6.07× 能效提升。

Harun Bayraktar · John Gunnels · Peter Caday

"FP8 is All You Need (Part 1)" 中的 Tensor-Memory Equilibrium (TME) 模型将 fp64 的 Ozaki Scheme II 模拟执行时间建模为张量核心项与高带宽内存 (HBM) 流量项的最大值，再加上每个输出的重构项。然而该模型遗漏了每个输入的解构代价：每个流式 fp64 操作数都必须在 SIMT 流水线上经过缩放、取整以及对 $r$ 个模数取模，才能发起矩阵乘法。本文补上这一第四项，依据 cuBLAS 模拟路径标定其常数，并推导出闭式运算强度阈值 $\mathrm{OI}^{*} = c_q r P_{\mathrm{fp64}}/(8P_{\mathrm{int}})$，低于该阈值时模拟性能无法匹配原生 fp64，无论张量核心吞吐多高。在 NVIDIA B300 GPU 上该阈值约为 $\mathrm{OI}^{*}\approx 0.56$ FLOP/B。结果显示，原始论文声称可加速的内存受限 kernel——GEMV、SpMV 和低 batch GEMV——仅能达到原生性能的 0.3-0.9 倍，7 点 stencil 仅为 1.8 倍而非声称的 3.1 倍。稠密 GEMM 不受影响，符合预期。还证明预计算并存储残差会把同一代价转移到带宽项中，并给出使该上界失效所需达到的指令数。

Awani Khodkumbhe · Yunfei Feng · Raj Rangarajan · 2+

模拟/射频电路是数字计算与物理世界之间的关键接口,从 Wi-Fi 7 到 6G 等新兴标准对其提出了严苛要求,但模拟/射频设计仍是芯片开发中人力最密集的环节之一。该工作提出 RFChipAgent,这是首个端到端模拟/射频电路设计自动化的多智能体大语言模型(LLM)流程,由多个 AI 智能体在人工监督下协同编排完整设计流程。RFChipAgent 围绕四项技术支柱构建:其一,基于多模态检索增强生成(RAG)的子系统对每份文档建立私有 FAISS 索引,从既有工程文档中提取设计知识;其二,拓扑智能体负责拓扑选型,原理图与测试台智能体自动完成电路与测试台搭建;其三,闭环混合电路尺寸调整引擎融合树结构 Parzen 估计器(TPE)与 CMA-ES 优化,在仿真器在环(simulator-in-the-loop)框架下评估每个候选;其四,带信任评分的仿真数据库累积经验证的性能数据,构建自适应优化模型以指导后续试验。RFChipAgent 在一组 GF22FDSOI 60 GHz 宽带毫米波低噪声放大器(LNA)拓扑上完成验证,展示了自动化拓扑生成、按规格的设计空间探索以及仿真器引导的优化能力。实验结果表明,设计工作量大幅降低,同时保持签核(signoff)质量级别的验证。

Hao Zheng · Jaime Rafael Imperial · Bardia Nadimi · 1+

大语言模型(LLMs)正越来越多地集成到硬件验证流程中,用于自动化规约解读、验证工件生成、调试、形式化推理,以及工具编排。本综述系统回顾了 LLM 辅助的硬件功能验证研究,涵盖 SystemVerilog 断言生成、激励与测试平台生成、缺陷定位与设计修复、模型检查与等价性检查、SAT/SMT(布尔可满足性/可满足性模理论)求解优化,以及新兴的智能体驱动验证工作流。沿方法论、验证目标、工具交互、基准测试与评估准则对现有文献进行梳理,同时考察推理时技术(包括提示工程、检索增强、结构化推理与智能体工作流)与训练时适配方法。各研究方向呈现出共同模式:LLM 作为语义推理、搜索与编排组件嵌入到验证感知的工作流中效果最佳,而仿真器、形式化引擎、覆盖率工具与求解器提供可执行反馈与正确性证据。然而,工具被接受并不等同于验证正确,因为断言、测试、修复或证明可能通过既有检查,却未完整覆盖设计意图。由此,核心挑战在于规约与验证证据之间的语义对齐、与确定性工具的可扩展集成、对未见设计的泛化能力,以及对正确性、成本、鲁棒性与人力的严格评估。最后讨论向以规约为中心、神经-符号融合、持续运行的智能体验证系统等新兴方向,使 LLM 的灵活性与独立可校验的验证证据相结合。

Geetha Prasuna Yarramneni · Surya Selvam · Wilfried Haensch · 1+

现代边缘系统级芯片(SoC)集成了异构处理单元(PU),如 CPU、GPU、NPU,各自具有不同的性能与能耗特征。在实时延迟与能耗约束下部署 AI 推理负载,需要同时将负载映射到合适的 PU 并配置每个 PU(例如选择活跃核心数与运行频率)。这一联合空间呈组合爆炸,穷举搜索不可行。既有设计空间探索(DSE)工作大多采用黑盒优化(BBO),如进化搜索,每次评估仅返回延迟、能耗等聚合指标;近期基于大语言模型(LLM)的 DSE 也依赖同样稀疏的反馈。这种反馈既不揭示设计空间的内在结构,也不解释某一设计选择为何表现如此,使 LLM 的推理能力未被充分利用。本文提出 TraceDSE,一种面向异构 SoC 上 AI 推理负载的智能体 DSE 流程,通过迭代的提议-批评环路进行联合工作负载映射与 PU 配置选择,并以更丰富的系统执行轨迹(trace)作为反馈。LLM 提议智能体生成候选映射与 PU 配置以供硬件评估;LLM 批评智能体配备可编程的轨迹分析工具,用于定位瓶颈并提出有针对性的优化建议。该环路对每个设计点提供更深层洞察,从而实现更高质量的决策与更高效的搜索。在 Intel Meteor Lake SoC 上针对四个 AI 推理负载(复杂度各异的模型以及一个多模型流水线)的实验中,TraceDSE 稳定优于两种当前最优的 BBO 工具:相比 NSGA-II 帕累托前沿超体积提升最多 35%,相比贝叶斯优化提升最多 68%,同时所需硬件评估次数减少约 6 至 9 倍。

Aniseh Dorostkar · Hamed Farbeh · Hamid R. Zarandi

基于阻变随机存取存储器(ReRAM)的存内处理(PIM)加速器凭借其模拟计算能力、超高密度、近乎零的漏电流以及非易失性,成为在并行域中处理神经网络海量访存密集型矩阵-向量乘法的有前景的平台。尽管具有诸多优势,基于ReRAM的加速器由于工艺制造限制导致的工艺偏差与缺陷而极易出错,这些限制会降低在PIM加速器上运行的深度卷积神经网络(Deep CNN)的精度。这类CNN加速器广泛部署于安全关键系统中,但其故障脆弱性尚未得到充分研究。本研究开发了一个故障注入框架,用于在推理阶段的软件层和硬件层两个层面探索大规模CNN的脆弱性。故障型ReRAM器件带来另一项可靠性挑战:当CNN参数被映射到加速器上时,分类精度会显著下降。为研究该挑战,将CNN学习参数映射到ReRAM交叉阵列,并向交叉阵列注入故障。所提框架分析了固定1(SaH)与固定0(SaL)故障模型对CNN学习参数不同层与不同位置的影响。通过大量故障注入,结果表明基于ReRAM的CNN PIM加速器的脆弱性行为极大地受到层的类型与深度、学习参数在每层中的位置、以及故障的取值与类型的影响。观察显示,不同模型对故障具有不同的脆弱性,具体而言,SaL相较SaH会进一步降低分类精度。

Kwanhee Lee · Namhoon Lee · Dan Alistarh

专家混合(MoE)架构使前沿语言模型能够扩展到数万亿参数，但其部署受到巨大内存占用和内存带宽限制的约束。尽管现代加速器提供稀疏张量核心(SpTCs)通过低精度半结构化稀疏性来减少权重存储和提高吞吐量，但由于严重的模型质量下降和缺乏分组稀疏GEMM原语，利用它们进行MoE仍然具有挑战性。我们提出了一个端到端的硬件-软件协同设计框架，将专家权重压缩成硬件原生的低精度稀疏表示，并在SpTCs上加速执行。在算法上，我们的框架通过连续重参数化放松了离散半结构化支持选择，使得在路由器加权重建目标下可进行可微分的联合优化，并实现可扩展的专家并行压缩。我们开发了一种针对低精度稀疏MoE推理而定制的分组稀疏GEMM内核。在30亿到1万亿参数的MoE模型上，我们的框架将最先进的联合稀疏量化精度提高了4.35个百分点，同时保留96.09%的原始模型性能。在NVIDIA B200 GPU上，我们的内核比厂商基线性能提升1.65倍，吞吐量提升1.18倍，端到端延迟降低4.03倍。这些结果确立了硬件-软件协同设计作为实现可扩展且高效的MoE部署的实用路径。

Shuxin Liu · Qing Liu · Yi Du · 1+

长上下文解码日益受到键值(KV)缓存内存和带宽的约束。现有的固定预算压缩方法通常将保留与补偿分离，而保留排序既不能指定淘汰的注意力质量也不能指示诱导输出误差的方向。从一个精确分解出发：淘汰误差等于淘汰的注意力质量乘以淘汰质心与保留输出之间的方向差距，强调了集合级覆盖在保留和质量保持内存写入中的重要性。引入CORE——KV缓存的覆盖校准与淘汰质量重分配，它将结合查询效用和对数行列式覆盖的离线分配蒸馏成一个轻量级缓存感知索引器。推理时，一个校准分布驱动两个通道：其Top-B排序保留互补的KV状态，而其排除的分配质量和条件权重参数化潜在内存写入，无需单独的重预测器或在线对数行列式评估。分析提供了一个四 term 预补偿误差证书，描述了非加性覆盖交互，并通过递归和查询自适应归一化建立了与质量无关的写入稳定性。在三个骨干网络上，CORE在90%压缩率下比最强RULER基线高出3.78分；LongBench和重复淘汰评估进一步证明了其强大的有效性和解码效率。

Haeyong Kang · Chang D. Yoo

跨上下文KV-cache重用是在新前缀下预测共享段的keys和values而非重新计算，报告称可无质量损失实现。我们发现并非如此，并识别出两个问题。(1)隐藏成本：在MMLU和GSM8K上，重用造成显著精度损失。(2)决策单位错误：没有规则决定是否重用缓存来消除该成本。真正有帮助的是选择缓存的哪些部分重新计算，且选择的价值随选择单位增大而下降：单行（一个token的keys和values）的信息选择比随机多消除49.5%的缓存错误，64-token块消除10.6%，整个调用级别则nothing。预算缓存修复(BCR)在选择仍有价值的单位上操作。它从组装的缓存中草拟两个token，按这些token对缓存行的注意力对行排序，并精确重新计算固定预算的行，采用三种布局之一。成本是被支付而非预测消除，作为门控失败的草稿作为选择器成功。BCR将GSM8K恢复到密集预填充精度，同时仍从缓存服务大多数调用，其最佳布局在参考网格中优于每个重用基准的平均值。草稿还在相同预算下击败抛硬币选择器——这是先前评估缺乏的对照。

Mikolaj Walczak · Edward Humes · Chao Fang · 2+

由于传统加速器对张量内异构精度的支持有限，神经网络量化仍然主要局限于按张量分配精度。提出ShatterQuant，一个软硬件协同设计框架，通过为权重投影的块分配独立位宽来实现每个张量内的混合精度量化。ShatterQuant将精度粒度与PE配置耦合，使得每个精度决定有效的块高度。提出(1)一种硬件感知的训练后量化方法，基于块级标准差和权重敏感度为张量内分配精度；(2)支持1/2/4/8-bit权重精度、精度依赖的PE配置、块重缩放以及集成softmax和分段线性非线性的ShatterQuant Transformer加速器；以及(3)使用TSMC 16nm PDK在1GHz下实现的模型-硬件权衡评估，达到1.5 TOPS、760 GOPS/mm²面积效率和2.8 TOPS/W能源效率。在DeiT和ImageNet-1K上，ShatterQuant实现与最先进的混合精度技术相比精度差距在3.3%以内的同时，使用了2位更低的有效位宽，而在PixelDiT上展示了相当的生成质量。ShatterQuant展示了如何通过软硬件协同实现细粒度张量内混合精度。