网络摄像机将图像转换为基于TCP/IP网络标准的数据包,使摄像机所摄的画面通过RJ-45以太网接口或WIFI WLAN无线接口直接传送到网络上,通过网络即可远端监视画面。
一、网络摄像机的基本原理
网络摄像机的基本原理是:图像信号经过镜头输入及声音信号经过麦克风输入后,由图像传感器的声音传感器转化为电信号,A/D转换器将模拟电信号转换为数字电信号,再经过编码器按一定的编码标准进行编码压缩,再控制器的控制下,由网络服务器按一定的网络协议送上局域网或INTERNET,控制器还可以接收报警信号及向外发送报警信号,且按要求发出控制信号。
网络摄像机是真正全数字化的产品,视频信号从图像传感器(如CCD、CMOS等)采集并数字化后,后继的处理全部采用数字信号,保证了图像的清晰度,并采用网络打包和传输这些多媒体数据(视频、音频、文本信息等)。
(一)视频采集技术
视频采集部分的核心器件--图像传感器,主要有CCD和CMOS两种,传感器性能的高低直接决定了摄像机的级别。
(二)编码算法
1.MPEG-1、MPEG-2、MPEG-4
随着视频编码与处理算法研究的进展,针对不同应用需求,相继发布过多个图像和视频编码压缩标准。例如,MPEG为多媒体存储媒体和数字电视应用制定的MPEG-1、MPEG-2、MPEG-4。所谓MPEG标准就是指由ISO的活动图像专家组制定的一系列关于音视频信号以及多媒体信号的压缩与解压缩技术的标准。到目前为止,已经制定完成并批准执行的有:1991年批准的MPEG1、MP3;1994年批准的MPEG2;1999年批准的MPEG4和MP4。正在制定的标准有:MPEG7和MEPG21。M-JPEG技术即运动静止图像压缩技术,它把运动的视频序列作为连续的静止图像来处理,这种压缩技术方式单独完整地压缩每一帧,在编辑过程中可随机存储每一帧,可进行精确到帧地编辑。但M-JPEG只对帧内地空间冗余进行压缩,不对帧间的时间冗余进行压缩,故压缩效率不高。
2.H.263、H.264、H.265
面向低码率的实时视频通信;ITU-T应用制定了H.261、H.263、H.263+、H.264、H.265。
H.263是ITU-T提出的作为H.324终端使用的视频编解码建议,H.263经过不断地完善和多次的升级已经日臻成熟,如今已经大部分代替了H.261,而且H.263由于能在低带宽上传输高质量的视频流而日益受到欢迎。H.263是基于运动补偿的DPCM的混合编码,在运动补偿的DPCM混合编码,在运动搜索的基础上进行运动补偿,然后运用DCT变换和“之”字形扫描编码,从而得到输出码流。H.263在H.261建议的基础上,将运动矢量的搜索增加为半象素点搜索;同时又增加了无限制运动矢量、基于语法的算术编码、高级预测技术和PB帧编码等四个高级选项;从而达到了进一步降低码速率和提高编码质量的目的。
H.264是ITU-T的VCEG和ISO/IEC的MPEG的联合视频组开发的一个新的数字视频编码标准,它既是ITU-T的H.264,又是ISO/IEC的MPEG4的第十部分。在相同的重建图像质量下,H.264能够比H.263节约50%左右的码率,比目前根据MPEG4实现的视频格式在性能方面提高33%左右。
H.265是ITU-T VCEG 继H.264之后所制定的新的视频编码标准。H.265标准围绕着现有的视频编码标准H.264,保留原来的某些技术,同时对一些相关的技术加以改进。新技术使用先进的技术用以改善码流、编码质量、延时和算法复杂度之间的关系,达到最优化设置。具体的研究内容包括:提高压缩效率、提高鲁棒性和错误恢复能力、减少实时的时延、减少信道获取时间和随机接入时延、降低复杂度等。H264由于算法优化,可以低于1Mbps的速度实现标清数字图像传送;H265则可以实现利用1~2Mbps的传输速度传送720P(分辨率1280*720)普通高清音视频传送。
3.数字音视频编解码技术标准AVS-S
面对当前及未来兴起的安防应用领域,我国AVS(Audio Videocoding Standard)工作组自主制定的先进数字音视频编解码技术标准AVS-S。可以说视频监控编码标准的选择有很多种,但目前网络摄像机主要采用的标准有MJPEG、MPEG4、H.264等。M-JPEG即运动静止图像压缩技术,但M-JPEG只对帧内空间冗余进行压缩,不对帧间的时间冗余进行压缩,因此压缩效率不高。MPEG-4的着眼点在于解决低带宽上音视频的传输问题,使它成为当前网络产品生产厂商开发的重要趋势之一H.264是目前主流的解决方案,具有高压缩比、高图像质量、良好的网络适应性,其应用范围较广,能适应不同场合,但算法复杂度较高,需要强劲的硬件支持。
当前行业主流的编码算法有MPEG-4和H.264,MPEG-4和H.264谁将主导网络摄像机的视频编码?
MPEG-4压缩技术可获取清晰度较高的视频图像,而且可灵活设置每路的视频清晰度和压缩帧数,并且压缩后的画面还可任意剪接。但它的缺陷也非常明显:一是丢帧现象严重、实时性差,在保证每路都必须是高清晰的前提下,很难完成实时压缩;二是压缩效率低,传输带宽和存储空间占用大。而H.264引入了面向IP包的编码机制,有利于网络中的分组传输,支持网络中视频的流媒体传输,支持不同网络资源下的分级编码传输,从而获得平稳的图像质量。H.264可以在更低的带宽下实现720P、1080i/Pd的广播级高清视频分辨率。
目前,网络摄像机基本上都采用的是H.264编码芯片。但这不是说任何厂家网络摄像机的H.264算法都是好的。因此,要对网络摄像机编码算法有一个清晰的认识和理解,以免进入误区。如果仅关心是否采用了H.264,认为两个厂家的MPEG编码模块都实现了H.264,那么它们就会一样好。事实是,H.264标准包含一个很大的算法集合,如MPEG-1、MPEG-2、MPEG-4都是它的子集。要实现所有的算法计算量很大,目前还没有一个芯片能实现所有算法。而设计H.264编码芯片的过程实际上是要根据芯片的运算能力,在H.264算法集合中选择算法子集的一个过程。因此,我们可以使用图像领域里面的主观评价法来判别编码芯片和编码算法的好坏,如通过调低码率(比如几十kbps或一两百Kbps),调整图像的运动量,察看图像有没有丢帧、有没有马赛克等现象,根据这些现象的程度来判断芯片的好坏。
(三)编码与网络
当前出于带宽和成本的考虑,用户要求在目前所能承受的成本下使用较高的码流来实现;这就对网络摄像机的编码效率提出了较高的要求。网络摄像机通过网络传输数据,在网络传输上实现方式有所不间,但过大的数据包则会导致网络堵塞,因此对编码器的内部控制非常严格,要求不能影响图像质量。随着网络摄像机实际应用需求不断发展和变化,其对芯片编码要求越来越苛刻,在更高压缩比的前提下实现更贴近现实的场景。如海思提供的压缩解决方案就可以实现720P@2Mbps的压缩率,比一般产品动辄要3-4Mbps才提升了了至少50%压缩比,2Mbps的码率还有另外一个含义,就是用户可以不增加网络和存储成本的情况下升级到720P的体验。未来随着3G\4G网络的快速应用,支持各种网络的编码方式也成为重要发展方向。
二、网络摄像机的核心部件
一台IP网摄像机主要由视频采集、视频编码、网络传输等几部分组成。它通过CMOS/CCD感光器进行逐行扫描,将光信号直接能够捕获影像并通过SoC单芯片处理,直接通过IP网络进行传输,从而使用户能够通过标准的基于IP网络基础构架在本地或者远程地点实现观看、存储和管理高清视频数据。
CMOS图像传感器具有低带宽,固有的防光晕特性,同时能保持体积小、重量轻、功耗低、集成度高、价位低等优点。CCD图像传感器由于灵敏度高、噪声低,应用较广。随着CCD与CMOS传感器技术的进步,两者的差异将逐渐减小,在较长一段时间内二者将长期共存。目前,各式CCD和CMOS竞相推出,各厂家都有自己的接口标准,即使表面上物理接口一样,内部数据仍有不同,所以需要与传感器原厂对接。在这方面需要芯片厂商与传感器厂商进行协调合作才会有比较好的效果。这也是网络摄像机编解码芯片必须要做的功课,如Hi3515和Hi3520就把SONY的720PCCD这种原来需要CPLD转接的接口直接定义到了芯片里面,由干该CPLD的实现需要SONY原厂提供帮助,这样就直接帮助一些客户解决了原来不可获取的问题。
(一)图像传感器
IP高清摄像机以核心部件的图像传感器(Image Sensor)做分类的话,主要有CCD和CMOS两种。其中CMOS又细分为传统的CMOS和Exmor CMOS即背照式CMOS。CCD和CMOS就基本结构和工作原理来说,区别如下:
CCD是 Charge Coupled Device(电荷耦合器件)的缩写,它是一种半导体成像器件,CCD电荷耦合器存储的电荷信息,需在同步信号控制下一位一位地实施转移后读取,电荷信息转移和读取输出需要有时钟控制电路和三组不同的电源相配合,整个电路较为复杂。
CMOS是Complementary Metal-Oxide Semiconductor(互补性氧化金属半导体)的缩写,和CCD一样同为在高清摄像机中可记录光线变化的半导体,CMOS光电传感器经光电转换后直接产生电流(或电压)信号,信号读取十分简单,两者的特点如下:
CCD电荷耦合器需在同步时钟的控制下,以行为单位一位一位地输出信息,速度较慢; CMOS光电传感器采集光信号的同时就可以取出电信号,还能同时处理各单元的图像信息,速度比CCD电荷耦合器快很多。
CCD电荷耦合器大多需要三组电源供电,耗电量较大;CMOS光电传感器只需使用一个电源,耗电量非常小,CMOS光电传感器在节能方面具有很大优势。
(二)处理芯片
高清IPC的设计方案很多,但从架构上来看,主要包括两种:其一,采用CCD/CMOS传感器作为图像采集设备,配套提供实现图像处理和编码功能的SoC芯片;其二,采用前端摄影机模块,作为图像采集设备,和一个通用的ASIC或DSP进行编码和传输。由于第一种架构设计灵活,广泛被厂家采用。
在图像处理方面有三种实现方案:第一种方案采用专用的ISP处理芯片和编码处理部分,该方案较灵活,采用专用的ISP芯片稳定性好,能够保证图像的质量;第二种方案采用集成ISP的编码芯片,该方案灵活性次于第一种方案,且专用的ISP处理芯片稳定性虽高,但图像质量一般、成本较高;第三种方案采用FPGA等芯片实现信号处理及编码功能,该方案灵活性最强,但是稳定性差、成本最高、图像质量难于保证。专用ISP方案设计灵活、性价比高、可以保证图像的质量,适用于高清IPC的设计。
三、网络摄像机的技术术语
(一)CPU
CPU即中央处理器,是网络摄像机最核心的部件之一,是网络摄像机的大脑,大部分的数据信息都是由它来完成的。它的工作速度快慢直接影响到摄像机的运行速度。CPU可分为控制单元(Control Unit;CU)、逻辑单元(Arithmetic Logic Unit;ALU)、存储单元(Memory Unit;MU)三大部分,从应用角度可以分为X86式、嵌入式和其他高性能式三大类。网络摄像机一般用的都是嵌入式的CPU。
(二)Flash Memory
Flash Memory即快擦型存储器,在断电情况下仍能保持所存储的数据信息,但是数据删除不是以单个的字节为单位而是以固定的区块为单位。区块大小一般由256KB到20MB。FLASH这个词最初由东芝因为该芯片的瞬间清除能力而提出。闪存源于EPROM,芯片价格不高,存储容量大。闪存正在成为EPROM的替代品,因为它们很容易被升级。闪存被用于PCMCIA卡,PCMCIA闪存盘,其它形式硬盘,嵌入式控制器和SMART MEDIA。如果闪存或其它相关的衍生技术能够在一定的时间内清除一个字节,那将导致永久性的(不易失)RAM的到来。
(三)DRAM
DRAM(Dynamic Random-Access Memory),即动态随机存储器最为常见的系统内存。DRAM 只能将数据保持很短的时间。为了保持数据,DRAM 必须隔一段时间刷新(refresh)一次。如果存储单元没有被刷新,数据就会丢失。
(四)操作系统
操作系统(Operating System,简称OS)传统上是负责对计算机硬件直接控制及管理的系统软件。操作系统的功能一般包括处理器管理、存储管理、文件管理、设备管理和作业管理等。当多个程序同时运行时,操作系统负责规划以优化每个程序的处理时间。在网络摄像机是了常见的操作系统是Linux。 一个操作系统可以在概念上分割成两部分:内核(Kernel)以及壳(shell)。一个壳程序包裹了与硬件直接交流的内核:硬件<->内核<->壳<->应用程序。但有些操作系统上内核与壳完全分开(例如Unix、Linux等),这样用户就可以在一个内核上使用不同的壳;而另一些的内核与壳关系紧密(例如Microsoft Windows),内核及壳只是操作层次上不同而已。
(五)网络协议
对于网络摄像机来说就是传输所摄图像时所要遵守的一些规范,由于现有的网络都是在TCP/IP协议下的,所以大部分网络摄像机都遵守这个协议。下面主要介绍一下什么叫协议,和现有的几种常用的网络协议。网络协议就是网络中(包括互联网)传递、管理信息的一些规范。如同人与人之间相互交流是需要遵循一定的规矩一样,计算机之间的相互通信需要共同遵守一定的规则,这些规则就称为网络协议。 一台计算机只有在遵守网络协议的前提下,才能在网络上与其他计算机进行正常的通信。网络协议通常被分为几个层次,每层完成自己单独的功能。通信双方只有在共同的层次间才能相互联系。常见的协议有:TCP/IP协议、IPX/SPX协议、NetBIOS协议等等。在互联网上被广泛采用的是TCP/IP协议,在局域网中用得的比较多的是IPX/SPX.。用户如果访问Internet,则必须在网络协议中添加TCP/IP协议。
(六)LAN接口
LAN接口同时也可分为广域网(WAN)接口和局域网接口,我们常用的广域网(WAN)接口有:V.35、RS232、ISDN、BRI、PRI、E1接口等。网络摄像机一般是以RJ-45接口和网络相连接的。网络接口有多种下面是网络摄像机有可能用到的几种接口的介绍。
1.AUI端口
AUI端口是用来与粗同轴电缆连接的接口,它是一种“D”型15针接口,这在令牌环网或总线型网络中是一种比较常见的端口之一。路由器可通过粗同轴电缆收发器实现与10Base-5网络的连接,但更多的是借助于外接的收发转发器(AUI-to-RJ-45),实现与10Base-T以太网络的连接。当然也可借助于其他类型的收发转发器实现与细同轴电缆(10Base-2)或光缆(10Base-F)的连接。这里所讲的路由器AUI接口主要是用粗同轴电缆作为传输介质的网络进行连接用的。
2. RJ-45端口
RJ-45端口是我们最常见的端口了,它是我们常见的双绞线以太网端口,因为在快速以太网中也主要采用双绞线作为传输介质,所以根据端口的通信速率不同RJ-45端口又可分为10Base-T网RJ-45端口和100Base-TX网RJ-45端口、1000Base-TX三类。其中,10Base-T网的RJ-45端口在路由器中通常是标识为“ETH”,而100Base-TX 网的RJ-45端口则通常标识为“10/100bTX”,这主要是现在快速成以太网路由器产品多数还是采用10Mbps/100Mbps带宽自适应的。
3.SC端口
SC端口也就是我们常说的光纤端口,它是用于与光纤的连接,一般来说这种光纤端口是不太可能直接用光纤连接至工作站,一般是通过光纤连接到快速以太网或千兆以太网等具有光纤端口的交换机。这种端口现在大多数比较高端的产品上都有,都以“100b FX”标注。
4.红外线接口
IrDA是Infrared Data Association(红外线数据标准协会)的英文缩写,IrDA红外接口是一种红外线无线传输协议以及基于该协议的无线传输接口。支持IrDA接口的数码相机,可以无线地向支持IrDA通信的其它设备如笔记本电脑或打印机传输数码照片。
(七)图像分辨率
图像分辨率的概念简单说就是指屏幕水平和方向垂直方向所显示的点数。比如1024×768,其中“1024”表示屏幕上水平方向显示的点数,“768”表示垂直方向显示的点数。分辨率越高,图像也就越清晰,且能增加屏幕上的信息容量。分辨率越高说明网络摄像机对图像的显示越清晰。