柯雨恒这张璧韧卡是周五下午拆开包装的。我第一件事不是跑benchmark，而是把自己最熟的一个ResNet推理脚本丢上去，心想换个后端也就几条环境变量的事。结果等来的是惨到没法看的延迟——同样batch size，比平时在用的参考卡慢了快一个数量级。驱动装了，环境也配了，一度怀疑是卡本身有问题。后来花了两天时间一路追到算子层，才反应过来：模型跑得动和跑得快，根本是两码事。
GPU算子这个词，做AI的人天天挂在嘴边，但真正被逼着去逐行抠算子的，往往是换了硬件平台之后。璧韧系列这篇“01”，我决定不装高深，从最基础的算子概念讲起，再完整记录一次从环境准备、算子编写、性能调优到踩坑排错的实跑过程。后面每一篇会围绕一个具体算子展开，这篇先把路子趟平。
1. 为什么先聊算子：一张卡能不能打，先看这层“螺丝钉”
1.1 算子到底是个什么东西
我把算子拆成一句大白话：给定若干张量输入，做一次确定性的数学运算，输出若干张量。 卷积是算子，矩阵乘是算子，LayerNorm、Softmax、ReLU都是算子。AI框架里的神经网络，本质是一张有向无环图，节点是算子，边是流动的张量。
看起来很简单。但难点在于：同一个数学逻辑，在不同硬件上怎么写、怎么优化，性能可以差一个数量级以上。你用PyTorch写一个torch.matmul(a, b)，NVIDIA平台上会路由到cuBLAS里经过几十年调优的kernel；在璧韧这类非NVIDIA平台上，这条调用链会走到哪里，取决于算子生态覆盖了多少、每个kernel优化到什么程度。
很多做AI应用的同学不直接感知算子的存在，是因为框架帮你把底层屏蔽了。一旦换了硬件平台，这个“屏蔽层”厚度立刻打回原形。算子数量大不大？非常大。一个常用深度学习模型涉及的算子类型大概几十种，但加上各种特殊shape、数据类型、融合模式，实际需要维护的kernel数量是几百上千的规模。这就是为什么“能跑”容易，“跑得快”很难。
1.2 一张GPU卡能跑模型，不代表就能跑得快
我举一个真实观察。很多人第一次拿到非NVIDIA的GPU卡，流程通常是：装驱动、装框架的适配版本、跑脚本。如果模型能正常出结果，就会觉得“适配得还挺好”。但如果你顺手打印一下各层耗时，会发现Conv、MatMul这类大算子往往还好，反而是LayerNorm、Softmax、各种elementwise小算子占比高得离谱。
原因很直接：大算子通常是各家芯片厂商优先优化的对象，会专门手写汇编级kernel；而小算子如果只是简单编译映射，没有针对内存布局和并行度做优化，访存效率会非常差。算子的性能不是“能不能算”的问题，而是“数据搬得快不快、计算单元等没等数据”的问题。 这句话是理解后面所有优化动作的钥匙。
1.3 为什么要单独写璧韧系列
市面上的算子优化文章，绝大多数以NVIDIA CUDA为背景。但璧韧这类芯片的编程模型、工具链、算子生态成熟度，和CUDA相比有明显差距。刚上手时，很多CUDA上的经验可以平移，但也有不少地方“看起来一样，跑起来不一样”。
我写这个系列的核心目的很朴素：把璧韧算子开发的真实过程记录下来，包括硬件特性、编程接口、性能分析思路、实际踩过的坑。不是抄官方文档，是拿一个算子一个算子地跑出数据，说实话，给后来的人省点时间。
需要模型API调用？ 免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 璧韧芯片的硬件底子：动手写算子前先看懂这几件事
写算子如果只盯着代码不看硬件，等于闭着眼开车。璧韧的底层架构我不展开讲太多细节，因为不同型号差异不小，但几个核心设计思想是通用的。
2.1 计算单元与线程组织方式
璧韧GPU采用典型的GPGPU设计思路：大量简单计算核心组成多级并行结构，以SIMT方式执行。你写的一个kernel函数，会被实例化成成千上万个线程同时跑。线程的层级关系也遵循常见模型：
- 线程：最小的执行单元，每个线程跑同一份代码、处理不同数据。
- 线程束：硬件调度和执行的单位，一批线程作为一个整体被派发到计算核心上执行。这个大小通常和SIMD宽度相关。
- 线程块：编程层面的线程集合，块内线程可以协作、同步，共享一块片上内存。
- 线程网格：整个kernel启动时创建的全部线程集合。
这个组织方式和CUDA非常接近，所以从CUDA迁移过来的开发者会觉得熟悉。但熟悉不等于照搬，因为具体到计算核心数量、线程束大小、片上内存容量，璧韧各型号都可能有自己的参数，这些参数直接决定了你该怎么设计kernel的形状。
2.2 访存结构：芯片性能的胜负手
芯片的存储体系是金字塔结构，离计算单元越近，容量越小、速度越快。璧韧的存储层次大致可以分为：
| 存储层级 | 容量量级 | 速度特点 | 使用方式 |
|---|---|---|---|
| 寄存器文件 | 每线程若干KB | 极快，无延迟 | 线程私有 |
| 片上内存 | 每块若干KB到上百KB | 快，有共享访问和bank冲突问题 | 线程块内共享 |
| 二级缓存 | 几十MB量级 | 中等 | 自动化，可优化命中率 |
| 显存 | 几十GB量级 | 最慢，带宽是硬指标 | 所有线程可访问 |
矩阵乘这类计算密集型算子，理论计算量很大，但你实际能达到的速度往往不取决于算得多快，而取决于数据从显存搬到计算单元的速度。这就是经典的roofline模型：计算密度低时是访存瓶颈，计算密度高时才是算力瓶颈。
2.3 硬件视角下算子优化的两个出发点
看懂硬件之后，算子优化的方向其实就两条：让计算单元别等数据、让数据在片上尽量多复用。 无论你是调卷积、调矩阵乘还是调LayerNorm，做的一切动作最终都落在这两句话