时代在召唤更智能、更安全、更可靠的监控摄像机，而Hailo-15视觉处理器，以AI之力，为行业提供更强大的算力，引领智能视觉新革命，帮助新一代监控摄像机实现更多可能性。
无处不在的摄像头
处于技术驱动的世界，监控摄像机已成为我们日常生活中不可或缺的一部分。网络摄像机在住宅、商业和公共场所以及工业领域的加速部署推动了市场增长——据ABI Research估计，到2027年，摄像机市场规模将达到2亿台摄像机，创造350亿美元的收入。网络摄像机市场的增长驱动力就是通过视频监控增强安全和安保能力。不管是加强家庭安全还是监控公共安全或优化交通管理，智能监控摄像机都为建设一个更智能、更安全的世界带来了诸多好处和机会。
AI，不止于云端
摄像机部署的激增对于自动化、监控视频流及从中检测关键信息的能力提出了更高的要求，同时也对提高视频流和存储的效率和成本效益有了更高的追求。这便是人工智能发挥作用的地方。基于云端的传统AI模型除了涉及隐私问题和网络依赖性的问题外，常因延迟问题无法实现实时检测和警报。因此，智能摄像机市场的发展势必会增加对边缘人工智能的需求。边缘人工智能可以保证实时的视频分析、视频信息监测和警报，实现高水平的安全性。此外，边缘人工智能还可以只针对视频中的元数据及信息进行流处理，降低了传输、计算和云储存的成本，同时增强了隐私保护，消除了网络依赖性。
更强大的人工智能
大部分网络摄像机的计算能力非常有限，而下一代智能摄像机的独特之处在于它们同时拥有很强的计算能力和人工智能处理能力，不仅可以处理复杂的高级视频分析任务，也可以通过人工智能进行视频增强，提供高质量的视频图像。由于提高视频质量和实现高水平视频分析都需要单独的人工智能表达能力预算，现今的智能摄像机都需要配备适量的人工智能能力以满足各自的需求。
人工智能驱动的视频增强
人工智能可以被用来提升图像质量，即使是质量较差的视频也可以呈现出清晰的图像。人工智能可以处理一系列的图像增强任务，如低光条件下的降噪、高动态范围（HDR），以及经典3A（自动曝光、自动白平衡、自动对焦）的一些任务。
人工智能还可以纠正图像失真，稳定图像，运动补偿和数字变焦。比如，亮度低可能会导致视觉距离的缩短、图像质量差以及色彩捕捉不佳。噪点还会降低对图像细节的分辨能力，导致压缩过程中数据体积增大，降低在云端传输和存储视频数据的效率。如图1所示，可以利用人工智能来去除噪点，同时保留重要的图像细节和纹理，从而得到通过信噪比(SNR)和结构相似性指数(SSIM)测试的更高的图像质量。例如，在约5 Lux的低光条件下拍摄的4K图像的噪点去除将需要每帧大约每秒1千亿次运算（100 GOPS），对于 30 FPS 的实时视频流来说，相当于每秒3万亿次运算 （3TOPS）。
图1：人工智能降噪效果
人工智能驱动的视频分析
随着更高分辨率的视频流越来越普及，对处理大量数据、检测和识别复杂粒状对象，执行更多任务和复杂流水线技术的需求也在逐步提升。当一个摄像机有足够的AI表达能力，它就可以在AI驱动的视频增强基础上支持高级视频分析。这包括在同一视频流上运行多个拥有复杂流水线技术的人工智能任务和模型，以更高的准确性和更低的误报率识别更小更远的物体，以及在高分辨率下更快探测物体。一个道路监控摄像机就可以运行一个复杂的流水线。拿自动车牌识别举例，它需要先进行物体检测任务来识别道路上的每一个车辆，再进行车牌检测任务识别每个车辆的车牌，最终以确定车牌上的每个字符结束整个流水线的任务。
图2：人工智能识别视频中的车牌
如果拥有合适的计算能力，同一台摄像机就可以处理额外的任务和流水线技术，比如视觉分割模型SAM（Segment Anything Model）就可以在拥有高分辨率和低误检率的情况下清晰地识别视频中的物体，且可以通过执行分类任务识别异常、违法和危险行为，比如越线、超速、危险超车、逆行、与前车未保持安全距离、在非行驶区域内行驶等。当此类异常行为被识别，系统将检索违规车辆的车牌并向执法人员发出警报。
图3：视觉分割模型SAM在拥有高分辨率和低误检率的情况下清晰地识别视频中的物体
人工智能的上限在哪里？
如果既想获取高质量图像又想实现高精度分析，智能摄像机就需要足够的AI能力并行执行视频增强和分析任务。为了准确识别车牌号和人员，摄像机的视觉处理器需要运用语义感知能力根据每帧元素的语义进行选择性的降噪处理，并根据感兴趣区执行不同的视频处理。处理降噪的同时需要保护重点图像细节和纹理，达到更高的SNR（图像信噪比）和SSIM（结构相似性）。降噪和物体检测的处理需要同时进行，尤其是高分辨率视频，从而实现更快的输入和更高的FPS（画面每秒传输帧数）。
图4：智能摄像机既想获取高质量图像又想实现高精度分析
对于降噪等基本视觉任务，200 万像素的摄像机需要达到约 0.5 万亿次操作（0.5 TOPS），而对于如物体检测或人员计数等基本视频分析流水线任务则需要额外1 万亿次操作（1 TOPS）。如果要添加如 HDR 或 4倍数字变焦等高级视频增强功能，则还需要额外的 1 万亿次操作（1 TOPS）。对于LPR（车牌识别技术）或面部识别等需要3-5 个阶段的高级分析多级流水线任务，则需要额外的 2 万亿次操作（2 TOPS），总计 4.5 万亿次操作（4.5 TOPS）。如果800 万像素传感器或 2x400 万像素的摄像机需要在此基础上再乘 4 倍的万亿次操作（TOPS）。
Hailo-15系统级芯片
满足多样化摄像机需求
2023年春季，Hailo推出了功能强大的人工智能视觉处理器系列。Hailo的第二代处理器Hailo-15™包含了三种适用于不同摄像机类型的变体。具有20万亿次操作（20 TOPS）高算力的Hailo-15H是Hailo特别为高端摄像机打造的处理器，可以运行所有基础和高级的视频增强和分析的流水线任务，同时为未来可能扩展的摄像机功能预留了额外的算力。Hailo-15M和Hailo-15L可分别提供11万亿次操作（11 TOPS）和7万亿次操作（7 TOPS），支持匹配多型号的相机且具有价格竞争力。Hailo-15系统级芯片实现了低能耗同时处理多个机器学习模型，且满足摄像机的设计要求。
图5：Hailo-15处理器包含三种适用于不同摄像机类型的变体
结语
人工智能与智能监控摄像机的结合为视觉智能带来了大量的机遇。从提升视频质量到推动高级分析，边缘AI正在掀起一场在安防、工业自动化和零售等行业的革命。我们正在见证人们在获取、处理和解释视觉信息方式的范式转移，而智能摄像机领域的人工智能革命无疑将重塑更多的行业，增强安全性、效率和整体用户体验。
来源：Hailo
