1.ITS视觉监控技术的发展现况

随着经济发展，人民生活水平的提高，私家车保有量大幅度上升，虽然城市道路建设取得了前所未有的发展，但是各大城市的交通压力依然很大，拥堵依然越来越突出；中国是公路交通事故发生率最高的国家；政府加大边远地区公路运输基础设施的建设。为了提高道路交通能力，保障道路交通安全，加强道路管理，智能交通监控系统应运而生。如果我们将宽广的道路比作是计算机的“硬件”的话，那么架设在这些道路上的各种智能交通系统就是运行在计算机硬件上的“软件”，对于保障行车安全，提高道路的运行效率，加强监管等发挥着越来越重要的作用。并且随着交通网络的不断延伸扩展，智能交通技术的不断突破，对于这种“软件”功能的升级和完善是永无止境的。而视觉监控是智能交通系统中必不可少的环节。
 

1.1 视频监控

ITS视觉监控技术属于视频监控技术的一个重要应用，所以先介绍一下视频监控技术的发展过程：

第一阶段，全模拟时代，即闭路电视监控系统，采集、传输、存储，都是采取模拟的方式。全模拟视频监控的核心技术是模拟视频矩阵，以及磁带式录像设备。

第二阶段，数字化阶段。由于数字传输比模拟传输距离更远，能够非常方便进行硬盘存储，模拟视频矩阵被数字视频矩阵取代，磁带录像机被数字硬盘录像机（DVR）取代。这一阶段，主要是解决了数字图像传输和硬盘录像中要用到的核心技术：视频编码（即视频A/D也称为为Video Decoder）、视频压缩（MJPEG、MPEG4、H264）。这个阶段，前端成像系统更多的还是模拟相机。

第三阶段，网络监控阶段。21世纪初，宽带网络的普及，能够满足人们对远程视频监控需求，所以出现了以网络视频服务器为核心技术的远程监控，也就是将视频编码、视频压缩、IP应用结合在一起，解决了远程传输的问题。这个阶段，前段成像系统逐渐从模拟相机转换为低成本的CMOS数字相机，但是模拟相机还是占有非常大的比重。

第四阶段，全数字高清智能时代。随着CMOS技术的成熟，以及CCD技术被一些监控相机厂商所掌握，而一些传统的机器视觉厂家也开始涉足视频监控领域，视频监控技术渐渐进入了全数字时代，随着广电行业的高清概念越来越火爆，人们对视频图像分辨率的要求也越来越高；数字化的监控技术也让人们开始畅想并开始逐步实现智能监控，通过数字技术协助人采集分析视频监控数据，达到智能视觉监控的目的。
从第二阶段到第四阶段发展非常迅速，目前整个视频监控行业正急速的朝着第四阶段发展。

1.2 ITS视觉监控

对ITS监控相机的需求大约出现在2004年，其同样经历了视频监控技术的几个发展阶段。最早采用的也是模拟监控的形式，后来甚至出现过用数码相机来进行监控的形式，后来渐渐采用稳定、可靠、分辨率较高的工业数字相机来进行ITS监控。在2008年前后增长非常迅猛，目前开始大步迈进全数字化、高清智能化的阶段。

图1是一个典型的数字视频监控系统结构图，ITS视觉监控系统的拓扑结构大致也是如此，只是将监控摄像机安装在了道路上。

从图中可以看到，整个数字视频监控系统由下面几个部分组成：
1. 现场监控设备：

• 摄像机
• 视频编解码设备（IP摄像机内部集成一体化的编解码器）
• 存储设备（DVR）

2. 传输网络

• 目前最广泛使用的就是Internet

3. 管理控制中心

• 控制中心：视频解码、视频浏览、摄像机控制。图中的分控中心其实也是一个控制中心，相当于市公安局下面有各个派出所，各个派出所就是分控中心，市公安局就是主控制中心。
• 数据中心：数据存储、数据管理

 
图1 典型的数字视频监控系统结构图

2 ITS视觉监控的核心技术

2.1  成像技术

视觉监控最关键的当然是视觉技术，视觉技术中，最关键的就是CCD/CMOS成像技术；同时与一般工业视觉需求不同，视觉监控技术对于图像的预处理技术有非常高的要求，以满足视觉监控的全天候能力。

2.1.1  CCD/CMOS成像技术

a) ITS监控相机大部分是全天候室外应用，不管白天黑夜、风吹日晒、雷雨交加，ITS监控相机都必须输出稳定的图像质量，保证道路交通的安全管理。因此ITS监控相机的成像必须具备高可靠性、高稳定性、高信噪比、高灵敏度、高动态范围。
b) 其次，对于CCD/CMOS分辨率的要求，不同的应用要求是不一样的：

•  收费站：140w、200w即可，只需要实现对单辆汽车的车牌、车型、司乘人员脸部信息的捕获。
• 治安卡口：200w、500w，单车道、多车道（一般单方向至少三车道）车辆信息的监控，实现对车牌、车型、司乘人员脸部信息捕获。
• 闯红灯抓拍：200w、500w、800w：多车道十字路口车辆闯红灯的监控，实现对车牌、车型、闯灯过程、红绿灯状态等信息的扑火。

c) 高帧频的需求：
ITS监控相机专门针对高速运行的交通工具进行抓拍，因此需要其有较高的帧频。目前最基本的帧频要求为25fps，当然越高的帧频越能提供更高的抓拍效率。某些应用已经提出了60fps的要求，由于CCD本身的缺陷，要输出较高的帧频相对来说是比较困难的，目前在ITS监控中使用的200w CCD相机最高25fps左右，500w CCD相机15fps左右，但是，CMOS在这方面就有着天生的优势。

当然帧频的高低，还跟后端压缩编码能力和传输网络相关，因此，要提供高帧频的监控相机，必须具备以下几点：

•  高帧频的成像系统
•  高帧频的压缩算法
•  高带宽的输出接口

2.1.2  图像预处理技术

从CCD/CMOS出来的数据必须经过预处理，才能保证画面更清晰、画面色彩更真实，与人眼看到的原始图像相近；同时还需要具备3A（即自动曝光 /增益、自动调焦、自动白平衡）、背光补偿、强光抑制等技术，通过图像预处理，保证输出的图像有超宽的动态范围，才能适应不同的环境应用，实现全天候的监控应用。

比如，现在的ITS监控相机应用中，经常出现白天日光、夜间补光过曝，夜间噪点过多，红灯变黄（如图2所示），车辆颜色失真，逆光成像时物体过暗，夜间发光物体过曝等情况。这些问题就需要通过合理的自动曝光、自动增益，让画面曝光正常，解决噪点过多的情况；通过对图像数据进行一定的数字校正，解决不同颜色的响应度不一致的问题；通过合理的白平衡技术，保证在不同的光照条件下，图像色彩真实；通过背光补偿、强光抑制实现明暗对比较强的场景的宽动态成像（如图3、图4所示）。

图2  红灯变黄

图3  背光补偿

图4  强光抑制

实际应用如图5所示，图中左边的是原始图片，右边是经过预处理之后的图片，可以明显看到预处理之后的图片所有绿叶的细节、以及左上方的电线（画面中较暗的部分）更加明显，而左下方的摩托车反光镜（画面中亮的部分）并没有什么太大的变化。这样就能够获得更多的细节信息。

图5   预处理前后成像对比

图像预处理技术的作用，简单一句话，就是让ITS监控相机具备数码相机、单板相机一样的图像效果，而且还是自动的。
 

2.2  图像压缩编码技术

ITS相机中的图像压缩，一般都需要高质量、低时延的图片压缩（JPEG）和低码流的视频压缩（H264）这两种压缩技术同时存在，为了符合交通管理的取证要求，后者是为了满足传输带宽和连续视频存储的要求。抓拍的时候用JPEG实现高清晰度、低压缩比、低时延的图片压缩，不抓拍的情况下用H264进行高压缩比、根据带宽码流可变的视频录像。

图6是不同压缩标准在不同码流（也就是压缩比，码流越小，压缩比越大，即压缩之后的数据越小）。由图6可知，同样压缩比的情况下，H264的画质（PSNR）是最好的，图7是相同码流下不同压缩标准压缩出来的图片。也就是说，同样的存储空间，在画质一样的情况下，H264可存储的时间是最长的。

图6  PSNR-BitRate图

图7  相同码流不同压缩标准下图片的画质对比

2.3  智能视觉技术

智能技术简单来说就是事件监测和图像识别。

2.3.1  事件监测

事件监测主要是监测违章事件，如：闯红灯、超速等。

早期，事件监测都不是通过视觉技术来实现的。比如闯红绿灯系统中，主要是通过地感线圈来判断车辆是否闯红灯的，即在停车线前后埋下地感线圈，红灯时，线圈开始工作，如果有车辆闯红灯，必然会触发停车线前后的线圈，于是就会触发相机进行抓拍，记录下车辆整个闯红灯的过车：过线过程中，过线后1、过线后2，如图8所示。

图8   不同压缩标准下图片的画质对比

很多闯红绿灯监控系统都是在道路已经修好后进行安装的，这样为了埋线圈就需要挖地，破坏路面，而且维护也很不方便。另外，现在很多车辆通过右拐车道闯红灯，地感线圈就很难发挥优势了。

超速则是通过雷达或激光等外部设备进行测速，在固定测速区域也会使用线圈的方式来实现，这样整个系统的复杂性和成本都会非常高。
最近，开始要求对车辆逆行、压实线、占用非机动车道等违规行为进行抓拍录像，如何判断车辆是否逆行、是否压实线、是否占用非机动车道？如果采用地感线圈或者别的辅助设备来实现的话，难度是非常大的。

利用智能视觉技术实现事件监测，只需要监控相机便能实现各种事件判断，如判断红灯情况下是否有车辆压线闯红灯，判断是否有车辆逆行或占用非机动车道等，对这些违章行为进行记录。这种方式可以省去大量外部辅助设备，降低系统复杂性，节省维护成本。

同时，在道路监控录像中，其实大部分时间是没有违章行为的，对这些视频数据是没有必要进行存储和处理的，因此图像监测技术还有一个重要的应用就是只记录关键的图像数据，也就是说只对出现事件的场景进行录像，这样就可以减少传输带宽和存储容量，这样就可以提高图像分辨率，降低录像视频片段的压缩比，从而提高图像清晰度和质量。

2.3.2  视觉图像识别

主要是车牌识别技术，之前人们对车牌的识别是靠人眼来实现的，也就是说需要专人专门对抓拍到的违规图片一张一张的用眼睛来查看，然后再通过人来打印罚单。这样不仅效率低，而且劳民伤财。

利用视觉图像识别技术，可以在相机里面就将车牌识别出来，和抓拍的图片一起传输到控制中心存储备份。如图9所示，将车牌打印在特定的位置，监控中心软件即可在固定的位置找到车牌信息，就可以同时将违章罚单与违规图片一一对应打印出来了。

图9  车牌识别后提取车牌数据并叠加到图上

目前也开始对人脸识别有了要求，即能够将图像中，车辆的车牌信息、人脸信息提取出来，方便有关管理部门进行取证分析。

2.4  嵌入式系统应用技术

ITS视觉监控系统简单来说，存在两种方式：监控相机+工控机，嵌入式相机。嵌入式相机将工控机所要实现的各种功能都集成在一个低功耗，高稳定性的嵌入式系统里面，降低了ITS监控系统的成本和工程施工难度，提高了系统的灵活性、可靠性、稳定性。

嵌入式操作系统具备以下的功能：

•  对智能技术的支持
  智能技术必然需要实现的平台，就像我们写的各种视觉软件必须在操作系统上运行一样，ITS监控相机的智能技术必需在嵌入式系统中实现。
• 对多任务的实时管理
  ITS相机本身就是一个对实时性要求很高的多任务系统，要实现成像控制、视频监测识别、多码流输出等多种任务，并且需要实时响应外部触发事件（如闯红灯、超速等），利用嵌入式操作系统可以非常合理的实现多任务控制，并且嵌入式系统相对于工控机系统来说，其实时性更高，更稳定。
• 对IP网络的支持
  前面提到过，监控领域里，为了远程监控，会使用到IP技术，在刚刚应用网络进行远程监控的时候，很多视频监控前端的实现模式都是多台模拟相机+嵌入式网络视频服务器的方式。而网络视频服务器的功能就是通过嵌入式操作系统实现的，主要是因为在嵌入式操作系统中实现网络传输更加方便，不管是嵌入式Linux还是嵌入式的Windows都对网络传输进行非常完美的支持。
• 对传输协议栈的支持
  目前ITS相机实现远程传输都是利用了电信、计算机、有线电视的有线网络，甚至开始利用无线网络进行远距离无线传输。不管使用哪种网络，不管三网什么时候能够实现真正的“三网合一”，要传输必然需要实现各种网络的协议栈，使用嵌入式作系统另一个关键点就是能非常方便的实现传输数据的各种协议栈。比如，手机中的各种操作系统，除了提供更友好的用户使用外，最核心的工作之一就是各种通信制式协议栈的灵活实现。在ITS监控系统中，主要是应用了流媒体的各种传输协议，如，TCP/IP、RTP、RTCP、RTSP等。
• 更直接面向硬件的二次开发
  嵌入式系统为用户提供了更直接的对相机硬件资源的二次开发。用户可以在工控机环境上使用自己熟悉的语言进行编程，利用嵌入式系统提供的各种软硬件资源，实现各种智能算法，通过相机嵌入式系统提供的编译环境，实现对相机的功能开发。

3 ITS视觉监控产品的发展趋势

ITS视觉监控产品，简单来说就是ITS相机的用户类型很多，有的具备很强的图像编解码技术；有的具备很强的图像识别技术；有的具备非常强的工程实施能力。同时，相同的技术的实现方式也不一样，比如，有在工控机上实现图像识别的；有在嵌入式平台上实现图像识别的。

这样就导致对ITS相机的需求不尽相同。因此ITS视觉监控产品存在几种形态：

纯粹的相机：就是工业视觉相机，其输出经过预处理的原始图像数据，供用户进行二次开发并将数据编码传输。
带压缩编解码能力的相机：输出编解码后的图像数据，可直接利用传输网络传输或进行智能处理后传输。
可供用户嵌入式开发的智能相机：相机提供开放的二次开发平台。用户可直接在相机内部对相机提供的经过预处理的高质量的图像数据进行各种智能算法的开发和编码。

我们认为，未来整个监控行业的视觉产品的终极目标，是高清、智能，并且完全脱离工控机，嵌入式的相机。我们希望能够提供的高清智能化相机，具备数码相机一样在不同环境下逼真的色彩效果，同时还能够针对不同应用环境进行自动切换；我们自己或者用户，可以在这个相机上进行二次开发，针对不同的监控应用，甚至机器视觉应用，实现不同的智能算法。