四路MIPI接入Jetson|10GbE传感器桥端到端延迟测量
介绍四路MIPI CSI-2摄像头经FPGA和10GbE接入Jetson时的带宽、时间戳、缓存、同步和光学延迟验证。
边缘 AI 系统正在从“把摄像头接到计算模块”转向“用可扩展网络把多个传感器接入计算平台”。2026 年 8 月 11 日,Microchip 发布第二代 PolarFire FPGA Ethernet Sensor Bridge:官方资料给出最多四路 MIPI CSI-2 摄像头、双 10GbE、Jetson 摄像头连接器兼容,以及板载光学延迟测量电路。这类方案说明,多相机系统的验收重点已经不只是图像能否到达,而是端到端延迟是否可测、可分解和可重复。
*图 1:端到端延迟由传感器曝光、FPGA桥接、网络传输、Jetson推理和结果输出共同组成。*
明德扬 XC7Z045 多接口 SoC 开发板 配置为 2 路 HDMI、2 路 MIPI、2 路千兆网、4 路 SFP 和 PCIe 2.0,可用于图像与高速接口联合验证。该板可直接完成双路 MIPI 接入;四路摄像头可搭配 多路 MIPI 聚合方案、FMC/定制接口板,或采用两套采集节点实现。

*图 2:CP9162-39 多接口开发板提供 2 路 MIPI 输入,适合作为双相机接入和高速输出验证节点。*

*图 3:多路 MIPI 合路、分组与转换方案,可根据摄像头数量、输入协议和目标输出接口进行配置。*
带宽要从像素格式开始计算
每路未压缩图像有效数据量可近似为:
宽 × 高 × 帧率 × 每像素位数
例如 1920×1080、60 fps、RAW10 的有效像素数据约为 1.244 Gbit/s;四路约 4.98 Gbit/s。继续计入 CSI-2 包头、行场消隐、网络协议和安全余量后,单路 10GbE 通常仍有空间,但不能把有效像素率直接当作线上总流量。若升级到更高分辨率、位深或帧率,应重新计算,并考虑是否需要双 10GbE 或 FPGA 端预处理。
图像压缩可以降低平均带宽,却会引入编码缓冲和可变延迟。低延迟控制系统通常优先选择不压缩或轻量处理;录像和远程传输则可能接受更深缓存换取带宽。
端到端延迟由五段组成
从真实场景变化到 Jetson 完成推理,至少包含:传感器曝光与读出、CSI-2 接收和帧重组、FPGA 缓存与网络打包、10GbE 传输和主机接收、GPU/AI 推理与结果输出。只读取 FPGA 包时间戳,只能得到数字链路中的一部分。
滚动快门还会让一帧内不同行具有不同曝光时间。若把帧结束时间当成整帧采集时间,得到的延迟会偏离实际感知时刻。测试报告需要注明传感器是全局快门还是滚动快门、曝光时间,以及时间戳落在帧开始还是帧结束。
建立三层时间戳
第一层在 FPGA 收到 CSI-2 帧开始或指定行时锁存硬件计数器;第二层在网络包离开 FPGA 或到达 Jetson 网卡时记录时间;第三层在应用完成推理并输出结果时记录软件时间。三层时间戳可以区分采集、传输和计算延迟。
多摄像头比较需要共同时间基准。可以使用共享触发、同步时钟、IEEE 1588 PTP 或平台提供的硬件同步机制,但必须测量各摄像头触发到曝光、各线缆路径和时间戳跨时钟误差。时间戳分辨率高不等于系统同步精度高。
每个网络包应携带摄像头 ID、帧号、帧内偏移和 FPGA 时间戳。Jetson 端发现缺包或乱序时,应标记整帧状态,不能把不完整帧悄悄送入推理模型。
光学测量是最终校验
最可靠的端到端方法之一,是让高亮 LED 或显示器按已知电信号变化,摄像头观察这一变化,同时在 Jetson 推理结果或显示输出端产生可测信号。示波器或专用延迟分析工具测量“真实光学事件”到“系统输出事件”的时间差。
Microchip 最新桥接板加入板载光学延迟测量电路,目的正是把传感器捕获到 AI 推理的完整链路纳入验证。分段时间戳可解释各阶段耗时,光学测量则验证所有分段相加后是否与真实结果一致。两者应结合,而不是二选一。
缓存策略决定尾延迟
平均延迟低不代表实时性稳定。帧缓冲、网络队列、操作系统调度和 GPU 批处理都会增加 P99 或最大延迟。实时控制通常采用小队列和“过期帧丢弃”,避免旧图像排队;离线分析则可以保留完整数据。
测试时应分别报告平均值、P95、P99、最大值和丢帧率,并覆盖四路同时启动、某一路断开重连、网络拥塞、曝光时间变化及 GPU 高负载。只有测试并发和异常状态,才能发现队列逐渐累积的问题。
总结
四路 MIPI 接入 Jetson 并不只是接口聚合。带宽计算要包含像素格式和协议开销;时间戳要覆盖 FPGA、网络和应用;最终还要用光学事件校验真实端到端延迟。明德扬多接口板可用于两路 MIPI 与高速输出验证,四路系统可增加聚合或扩展硬件。根据摄像头数量、像素格式和输出接口选择合适的组合,才能让架构方案与实际需求一致。