HawkVision：低延迟无模式边缘人工智能服务

HawkVision：低延迟无模式边缘人工智能服务 HawkVision: Enabling Latency-sensitive Applications on Resource-constrained Devices via Tiered Inference

页面：15,作者/机构:HawkVision

简介:这份报告介绍了 HawkVision，这是一个专为边缘计算环境设计的低延迟、无模式人工智能服务系统。HawkVision 针对当前边缘人工智能服务面临的多样化模型和精度要求、不稳定的网络环境以及终端计算成本上升等挑战，采用创新的无模式架构，结合按需模型切换、双模型服务、置信度感知缩放与回退机制等关键设计，实现了低延迟、高吞吐量和高资源效率。该报告内容详实，数据丰富，论证严谨，实验结果令人印象深刻，是了解边缘人工智能服务最新进展和未来趋势的宝贵资料。

报告重点

HawkVision 采用无模式架构，根据请求动态加载模型，并利用 FPGA 的并行处理能力同时服务两个模型，最大程度地减少延迟。
系统引入置信度感知缩放与回退机制，根据模型置信度动态调整输入图像分辨率，并在必要时切换至轻量级模型，以平衡性能和资源消耗。
HawkVision 提出了一种基于差异的无损图像传输方案，通过压缩前端和后端之间交换的网络数据包大小，并利用先前接收到的信息恢复丢失的数据包，显著降低网络延迟和信息丢失的影响。
系统采用分层推理方法，前端使用轻量级模型实现低延迟，后端使用大型模型实现最佳精度，并通过置信度评分动态调整推理路径，以在延迟和准确率之间取得平衡。
实验结果显示，HawkVision 在多种网络条件下，能将延迟降低至现有系统的 3.34 倍，99% 的请求延迟保持在 30 毫秒以内，同时保持高吞吐量和低资源消耗。

参考图示

下载链接

扫描二维码关注微信，回复报告或者 baogao ，即可获取密码