PyTorch Profiling 教程（三）：如何分析注意力机制性能

本教程演示如何使用 PyTorch profiler 分析 Transformer 架构中的注意力机制，展示了 naive attention 的 5 个核心 kernel：matmul、mul（缩放）、masked_fill、softmax 和 matmul。