FPGA手写数字识别：用暴力美学实现微秒级实时推理

三天前，我在一块入门级FPGA开发板上，把手写数字识别器完整跑通了。项目目标很明确：摄像头或者串口送进一张28×28灰度图，在纯可编程逻辑里完成0到9的识别，整个处理链路不靠嵌入式软核，也不依赖电脑上的模型推理。这活儿如果交给CPU，是一层层卷积、池化、全连接的流水账；放到FPGA上，我选择了一个看起来有点“笨”的思路——把像素全部晾出来，同时和所有候选模板做距离比较，用并行加法器树把所有差异加起来，谁离得最近谁就是结果。朋友看完总结了一句：这是暴力美学。我觉得说得很准。

这里要写的东西，不是单纯展示一张结果图，而是把从算法选型、模板生成、RTL设计到上板调试的完整链路摊开讲。无论你是FPGA新手，还是想给毕业设计找一个能落地、能演示、还能往外扩展的题目，这篇应该都能给你省下不少弯路。我会尽量把每个设计决策背后的“为什么”也讲清楚，因为这类项目真正的坑，从来不在代码能不能编译过，而在你选的架构到底适不适合硬件。

1. 项目定位：为什么手写数字识别适合在FPGA上“硬算”

1.1 把识别问题压缩成“找最近模板”

先说我对这个问题的理解。手写数字识别，本质是两件事：从图像里找特征，再做分类。软件世界里，大家会训练神经网络，让模型自动学特征；在FPGA上，我们面对的是另一套约束：没有操作系统，没有浮点单元，一切计算都要翻译成寄存器、查找表和加法器。

所以我在一开始就放弃了一个诱惑——把完整卷积网络移植到FPGA里。不是说不行，而是对于新手、对于验证思路、对于想把延迟压到微秒级这个目标来说，先把问题压缩成“找最近模板”更划算。具体来说：提前准备若干类别的标准模板，每个模板是一张28×28的二值图或者灰度图；新来一张未知图像，就把它和所有模板逐像素求差，累计差异；差异最小的模板对应的数字，就是识别结果。

这个路线本质上是最近邻分类，朴素到令人发指，但它在硬件里的映射极其漂亮。逐像素求差对应一堆异或门或者减法器，累计差异对应加法器树，找最小值对应比较器网络。每一块逻辑都能找到明确归宿，不会出现“这块DSP到底该配给谁”的纠结。

1.2 “暴力”体现在哪三个地方

很多人把暴力美学当成夸张修辞，但从工程角度看，这个项目里确实有三个实打实的“暴力”行为。

第一是并行度不客气。图片的784个像素不是逐个慢慢过，而是尽可能在同一时刻送进10个甚至更多独立比较通道，每个通道对应一个候选类别。你要算10个类别的距离，我就搭10份距离计算电路，谁也不耽误谁。

第二是用粗颗粒度换确定性低延迟。软件里跑KNN要遍历样本、维护堆、排序，时间抖动大；硬件里距离计算完全展开，从数据进来到结果出来，时钟周期数基本固定，误差只来自流水线的边界。对那些需要实时响应的场景，这种确定感比绝对精度更值钱。

第三是把乘法和浮点运算全部省掉。二值特征下的绝对差等价于异或，累加就是纯加法器树，不需要动DSP资源。这让整个项目可以在资源很少的入门级芯片上跑起来。很多没有DSP的小FPGA也能手写数字识别，靠的就是这个“笨办法”。

2. 顶层架构与资源预算

2.1 从像素到分类结果的完整数据流

我开始搭架构时，把整个系统分成五个模块，彼此独立，方便单测。

首先是最前面的图像输入模块。我在调试阶段用串口把图片发进FPGA，后来接摄像头模组。这个模块只负责接收像素，按行列号写入一块BRAM，构成28×28的帧缓存。接着是预处理模块，做两件事：中值滤波去掉孤立的噪点，再用阈值二值化把灰度值压成0或者1。二值化这一步很关键，后面模板全部是二进制，输入如果还是8bit灰度，距离计算就失去意义了。

帧缓存后面就是核心识别引擎。它包含10个并行距离通道，每个通道对应一个数字类别。引擎把帧缓存里的像素广播出去，每个通道同时读取自己的模板ROM，逐像素比较并累加。比较结束后，裁决单元从10个累加结果里找出最小值，再算出次小值，用这两个值的差值判断置信度。如果差距太小，说明图像太模糊，干脆输出一个“无法识别”的标记。最后的结果通过七段数码管显示，同时回传串口方便上位机查看。

整个数据流里没有一处需要软件介入。启动信号一来，硬件自动完成取像素、求距离、选最小、给结论，一条直线走完。

2.2 模板选择与存储规划

模板不是随便截图生成的，它的来源直接决定识别率。我采用的方法是离线的类平均法：准备一批已标注的训练样本，把每个类别所有样本的同一位置像素值取平均，再按0.5的阈值变成0/1模板。这种做法比随机挑一个样本稳定得多，因为它把书写风格的变化揉进了平均结果，抗噪能力更强。

模板的位宽我推荐先用1bit，也就是每像素一个bit。这样逐像素比较可以精简成异或门，距离值最大只有784，用10bit寄存器就能装下。如果想提升抗干扰能力，可以给模板和输入都保留4bit灰度，距离变成带权累加，但资源消耗会明显上涨。我的建议是先烧一版1bit跑通，再回来决定要不要加位宽。

存储上，模板全部固化在ROM里。10个类别各配一块单端口ROM，每个ROM容量784bit，初始化文件用MIF格式在综合时直接注入FPGA。这种做法的好处之一是启动过程中不需要额外加载，上电即用。

2.3 时钟频率与资源预算表

实际开发板提供50MHz系统时钟。识别引擎加了两级流水，把关键路径切开，所以可以稳定跑在50MHz上。我整理了不同模板配置下的资源情况，方便你评估自己的芯片够不够用。

这里有个细节值得注意：单张识别周期并没有因为模板数量增加而显著变长。原因是每个通道内部把K个模板的ROM做交错读取，用同一套距离累加器分时处理，本质上是用时间换模板容量。你真正烧掉的是存储资源和一点控制逻辑，而不是重复生成的加法器阵列。这个取舍背后是成本意识：FPGA的LUT资源比BRAM宝贵，能用BRAM堆的容量就别用LUT硬肝。

3. 核心电路：并行距离引擎的RTL实战

3.1 像素广播与10通道并行累加

核心思路是把帧缓存当作一个广播源，所有类别的距离通道同时挂在这条数据总线上。二值化后的图像，每个像素只占1bit，所以一次可以打包多个像素并行读出。

我在RTL里的实现方式是：每个时钟从帧缓存读出2个像素，同时从10个模板ROM读出对应位置的2个模板值。每个通道内部做2次异或、2次累加，这样784个像素只需要392个时钟周期就能全部处理完。代码结构大致长这样：

verilog复制module distance_channel #(
    parameter PIXEL_CNT = 784,
    parameter ACC_WIDTH = 11
)(
    input  wire clk,
    input  wire rst_n,
    input  wire start,
    input  wire [1:0] sample_pixels,   // 当前输入的2个像素位
    input  wire [1:0] tmpl_pixels,     // 模板对应位置的2个bit
    output reg  [ACC_WIDTH-1:0] dist,  // 该通道累计距离
    output reg  done
);

    reg [9:0] cnt;
    reg [ACC_WIDTH-1:0] acc;

    always @(posedge clk or negedge rst_n) begin
        if (!rst_n) begin
            acc <= 0;
            cnt <= 0;
            done <= 0;
        end else if (start) begin
            acc <= 0;
            cnt <= 0;
            done <= 0;
        end else if (cnt < PIXEL_CNT) begin
            acc <= acc + (sample_pixels[0] ^ tmpl_pixels[0])
                       + (sample_pixels[1] ^ tmpl_pixels[1]);
            cnt <= cnt + 2;
            if (cnt == PIXEL_CNT - 2)
                done <= 1;
        end
    end

    always @(posedge clk or negedge rst_n) begin
        if (!rst_n)
            dist <= 0;
        else if (done)
            dist <= acc;
    end
endmodule

这段代码是演示逻辑，实际工程里把累加器位宽、像素并行度都参数化了，方便后续调整。关键点在于累加表达式里的两个异或直接产生0或1，天然就是距离。连减法器都省了，这就是二值化带来的好处。

3.2 裁决单元的“次小值”置信度判定

10个通道并行跑完以后，裁决单元开始工作。它不能只负责找最小值，那样会出现一种尴尬情况：图片本身是乱涂乱画，和所有模板距离都很大，但依然会被强行分到一个数字上。

所以我的裁决模块同时记录两个信息：最小距离和次小距离。如果最小距离超过一个阈值，比如64，直接判定输入不合法。如果在阈值以内，再看次小距离与最小距离的差值，这个差值就是置信度。差值越大，说明最优类别领先优势越明显。比如一张工整的“5”，它的距离可能是23，而次近的“8”有67，差值44很大；一张潦草的“2”，最小距离42，次近的“3”才55，差值13，可信度就低了许多。

我在板上用两个LED灯显示置信度区间：绿灯表示高置信度，黄灯表示低置信度。这比单纯看数码管直观得多，调试胶带贴在纸上对着摄像头写字时，能立刻知道当前预处理效果到底行不行。

3.3 一个时钟周期的流水线切分和性能核算

如果把784个像素的累加结果用一个超长的组合逻辑一次性算完，时序大概率崩。我实际跑下来，关键路径在加法器树上，50MHz勉强能过，但余量只有不到2ns，换个温度可能就红灯。解决办法是加流水寄存器。

我把距离计算切成三段。第一级完成像素异或，第二级完成各自累加，第三级做裁决。每个阶段都在时钟边沿打一拍。这样关键路径长度从整个加法器树变成单个加法器的宽度，主频可以轻松推到100MHz以上。我带注释的工程版本最后跑在100MHz，识别性能核算如下：

• 串口演示模式：392个时钟完成一次识别，在100MHz下约3.92微秒，每秒可识别25万张图。
• 摄像头实时模式：受限于摄像头帧率和图像输入速度，实际吞吐降到每秒60帧左右，但识别本身依然是微秒级。

这个延迟数字在CPU上很难想象。同样一张图，我写了个软件基线做同样的模板匹配，大概要几毫秒，中间还牵扯访存和数据转换。FPGA这边就是从数据稳定到结果出来，几个微秒搞定，而且没有操作系统抖动、没有缓存缺失，这就是把算法彻底“焊”进电路里的效果。

4. 离线训练与参数固化：把“聪明”预制成“规矩”

4.1 用Python离线生成模板

模板生成的完整流程在电脑上离线完成。我用Python读取训练样本目录，把每张图统一缩放到28×28，再按像素坐标累加求平均。最后对每个位置的平均灰度做阈值切割，得到0/1模板。核心代码就几行：

python复制import numpy as np

templates = []
for digit in range(10):
    samples = load_samples(digit)   # 返回N张28x28的灰度图
    avg = np.mean(samples, axis=0)
    binary = (avg > 127).astype(np.uint8)
    templates.append(binary.flatten())

这里有一个重要的直觉：单个模板本质上捕捉的是某一类数字的“平均笔画形态”。如果训练集的写法变体很多，比如有人写带尾巴的7，有人写没有交叉的7，平均值会把两种风格都糅淡，导致匹配效果一般。解决办法也很简单：给每个类别准备多个模板，比如每类8个，不再做平均，而是直接从训练集里挑典型样本，运行时对同一类的多个模板都求距离，最后在该类内取最小。这样相当于硬件KNN，识别率有明显提升。

4.2 把模板写入ROM并实例化

模板生成后，下一步是转成MIF文件。我写了一个小脚本，把10个模板的二进制数据按地址连续排列，生成初始化文件。地址规则很简单：class_idx * 784 + pixel_idx。这样识别引擎里ROM读地址就是“当前类别号”与“像素计数”的组合，控制逻辑极其顺手。

ROM例化时位宽设为32bit，一次性读出32个像素对应的模板位，配合帧缓存那边同样的32bit位宽，每个时钟可以比32像素。于是单张图的处理周期从784降到了25个时钟左右。当然这要求帧缓存也展开成32bit宽度，BRAM读写宽度要足够。这个改动一下子把识别延迟压缩到理论极限。

我在这个环节踩过一个小坑：MIF文件的地址和模板通道的类别顺序搞反过一次，导致所有测试图片都识别成“9”。排查时用工具查看ROM在线内容，发现地址开头全是9的模板数据，这才意识到脚本里digit遍历顺序写错了。这类问题靠眼睛看波形很难发现，最后是从数据本身反推定位的。

4.3 预处理标准化：别让二值化毁了整条链路

模板匹配对输入预处理非常敏感。同样是固定阈值二值化，光照好是清晰的笔画，光照差可能一团黑或者一片白。我后来改成自适应阈值：统计整张28×28图像的灰度均值，用均值乘以一个系数作为二值化阈值。这个改动简单但有效，摄像头拍摄角度变化时，识别稳定性提升了一大截。

另一个容易忽略的预处理是位置归一化。同一个数字写在采集区域左上角和正中间，像素偏移会让距离剧增。我加了一道重心校准：先算出二值图像的重心坐标，和图像中心对比，把整副图像整体平移，让重心落在中心附近。这是软件里很容易做的操作，在FPGA上多花一个扫描周期实现，非常值。

5. 工程落地与调试实录

5.1 先跑玩具版，再谈并行优化

我强烈建议第一次做这个项目的朋友不要一上来就上32模板、多级流水。路径太复杂会让调试变成一场灾难。我自己的推进方式分成三个阶段。

第一阶段，串口输入固定图片，单模板单类，板上的数码管只要能显示正确数字就算过。此时所有信号都可以慢慢单步看，时钟也可以分频到很低。第二阶段，接入摄像头，这时开始遇到光照、抖动、模糊问题，逼着我去完善二值化和重心校准。第三阶段，才是把模板数增加、把像素并行度拉满，做性能优化。

这样每步都只会出现这类问题中的一个变量。如果你把所有复杂度一次性堆上板，出了问题根本分不清是预处理不好、模板选坏了、还是时序没过。

5.2 高频故障与排查方法速查表

其中“在线读取ROM内容”这个操作，我用的是芯片自带的逻辑分析仪IP，信号通过JTAG实时传回电脑。调试这种数据密集项目，靠示波器一根线一根线去点已经不够用了，必须学会用这类工具做内部观测。

5.3 实测效果和我自己的经验判断

把整条链路调通之后，我做了两轮测试。第一轮用标准测试集图片通过串口逐张送入，整体识别率在96%左右。第二轮用摄像头拍纸上手写数字，光照均匀时能达到94%；遇到笔迹极潦草的情况会掉到90%上下，但置信度判定也会帮你遮掉一部分错误识别。

这个数字比不上现在随便一个CPU卷积模型的精度，但请记住，这套方案在FPGA上消耗的资源不到入门级芯片的一半，而且单张推理延迟只有几微秒。它在成本和速度上的优势，正好对应了那些不需要超强精度但要求实时响应的场景。后来我又花了一周时间把方案扩展成二值量化神经网络，识别率还能再往上走一些，这是后话。

6. 还能怎么继续“暴力”下去

6.1 从模板匹配走向二值神经网络

模板匹配距离计算虽然好用，但模板是静态的，不会根据输入动态调整。一个自然的进阶方向是把模板换成一组二值化的神经网络权重。训练阶段在电脑上完成，把权重限制为+1或者-1；推理阶段，原本的卷积乘累加操作就退化成了符号判断和加法，硬件里依然不需要乘法器。

我在扩展版里实现了一个隐藏层32节点的二值网络。思路跟前面模板匹配完全一致：输入像素广播到32个并行神经元，每个神经元用异或和加法器树计算内积，第二层再做符号判决。整个RTL框架几乎没变，变的只是ROM里的权重。这就是暴力算法的好处——你不必引入新的电路范式，只要换数据内容，就能提升智力水平。

6.2 位平面哈希：完全放弃“距离”的思路

还有一种更极端的设计方向，是在预处理阶段把图像炸成位平面，然后对每个位平面做哈希分桶。比如把784bit的图像特征看成一个大整数，用若干个随机投影函数把它映射到哈希桶，桶号相近就认为数字相近。这种方式连加法器树都省了，主要资源变成哈希运算和比较表。它牺牲了一些可解释性，但换来了更小的面积和更低的功耗。

我并没有把这条路走到demo阶段，因为对大多数学习场景来说，距离计算已经是心智负担最低的方案。但如果你手头的芯片资源特别紧张，或者想挑战一下创新路线，位平面哈希值得琢磨。

把整个项目做完，我最深的体会是：FPGA上的智能感，常常不是来自复杂的算法，而是来自“把简单的事情做到极致并行”。手写数字识别本身无非是求距离、比大小，可一旦所有比较都在同一时刻铺开，那种成千上万逻辑门同时翻转的场面，确实有种粗糙又凶悍的美感。如果你现在正卡在某个模块出不来，我的建议是先拿最简模板跑通全链路，再往回加细节，这个顺序能帮你躲开一大半调试陷阱。