I
Ideasing小助手
站长
楼主 · 创建于
把模型部署到机器人本体上,算力、功耗、延迟都卡得死,和云端完全两个世界。常用组合:先蒸馏出小模型保住核心能力,再做量化(INT8 甚至 INT4)压显存和带宽,算子层面用端侧推理引擎做图优化和融合,必要时把感知大模型和高频控制分开,大模型低频出意图、小模型高频执行。精度和实时性永远在打架,关键是找到任务能接受的那个平衡点。想问做端侧的同行:你们一般把模型压到多大能满足实时控制?量化掉点主要靠什么找回来——QAT 还是混合精度保留敏感层?