每个 AIoT 项目都会走到同一个岔路口：模型跑在设备上，还是把数据送到有更大 GPU 的地方。答案很少取决于模型精度，而取决于四个约束 —— 这四个都可以量出来，不必靠争论。
1. 一次往返到底要花掉你多少时间？
先写下系统必须满足的时限。刷脸开门可以容忍一秒；机械臂决定要不要合上夹爪不行。然后测你需要的那次往返 —— 不是推理耗时，是往返耗时，而且要按网络最差的那一天算。如果最差的那天超过了时限，决定已经替你做好了。
2. 这些视频，你打算一直付费到什么时候？
一路 1080p、中等码率，一个月大约一 TB。乘以摄像头数量，再乘以系统预计运行的月数。边缘推理会彻底改变这个数字的形状，因为离开设备的是一个事件 —— 几百字节 —— 而不是每一帧什么都没发生的画面。
3. 谁有权看到这些画面？
在办公场所、学校或住宅楼里，「图像会不会离开这栋楼」经常是决定项目成败的问题，而且拍板的人往往不是工程师。端侧推理让你可以诚实地回答：没有视频离开这栋楼。这比解释一套数据留存政策容易得多。
4. 断网的时候会怎样？
云端推理意味着连接一断功能就停。如果你的系统必须在断网期间继续工作 —— 而大多数控制实体动作的系统都必须 —— 模型就得在本地，哪怕云端也跑一份用于分析。
通常的答案是两者都要
实际部署大多是混合的：检测与控制在设备上，汇总与长期分析在云端。这个切分要早点设计进去。等到选完一块跑不动你模型的算力模组再回头补，代价最高。
算力怎么选
确定推理在本地跑之后，先把模型量化到 INT8 并实测，再决定买哪颗。精度损失通常很小，吞吐差异却很大 —— 而且一个实测数字胜过规格书上的 TOPS，后者是在一个多半不是你的模型上测出来的。