CN1226880C - 值得注意图像显示方法与装置以及远程图像监视*** - Google Patents

Abstract

本发明提供值得注意图像显示方法与装置以及远程图像监视***。其中经传输路径接收运动图像编码的压缩数据。根据接收的运动图像压缩数据检测该压缩数据的画面类型，当此类型为画面内类型时，将预定的图像数据输出并显示于监视器上，并存储于存储器中。当该检测出的压缩数据的画面类型是画面间类型时，将此接收的压缩数据译码处理的图像数据与上述存储器中存储的图像数据相加，将相加求得的数据输出并显示于上述监视器上并存储于上述存储器中，由此可将应专注的监视对象图像显示于监视器上。

Description

值得注意图像显示方法与装置 以及远程图像监视***

发明领域

本发明涉及将图像压缩传送的方法与装置，特别涉及到能够只显示变化的图像等值得注意图像的方法与装置以及远程图像监视***。

背景技术

当前在远程图像监视***中，如以因特网为代表，由于传输线路的数字化飞速发展，对于将图像数字化进行传送的装置，其需要量正急剧扩大。另一方面，将图像数字化时，由于其信息量庞大，必需采用运动图像的压缩技术，这里所需的运动图像压缩方式，基本上是MPEG-2、MPEG-4等世界标准方式。这些方式基本上涉及以正确地压缩输入到传送装置的图像为目的且最大程度减少像质因压缩而恶化的技术。

图像监视***注意的主要是所拍摄的监视对象图像中的变化区域。例如监视有嫌疑的人入侵禁区，对车流等进行交通监视、监视存在于目标区域(如展览室等存贮有贵重物品而禁止人接触等场所)的人物动态等。这样，图像监视***并非必需以MPEG-2、MPEG-4为目的监视对象图像精确的整个区域。

在这种图像监视***之中，作为用于值得注意图像变化区域的已有技术，通常是对于禁区设置应用红外线等传感器，由该传感器检测入侵者，传送禁区的所摄图像并将该传感器的检测信号传送给接收侧，向观察人员(监视传送来的图像的人)报警。

发明内容

在已有技术中是一定需要传感器的，但当应检测的区域复杂时，由于不能将传感器设置于最佳检测位置，故有不能进行恰当检测的缺点。

此外，对于检测区域的界限不明确的车流等的交通监视或区域内的物体是否已移动过等的监视，也是已有技术不能适应的。

本发明的目的在于提供消除上述已有技术存在的问题的值得注意图像的显示方法与装置以及远程图像监视***。

本发明的另一目的在于提供不需设置特别的传感器等，能只显示监视对像图像整个区域中变化部分的值得注意图像的显示方法与装置以及远程图像监视***。

即，依据本发明的一个方面，考虑到上述已有技术中存在的问题，着眼于运动图像压缩方式的时基压缩技术，于接收部的处理中，相应于相对各画面的压缩方式，通过强制清除存储运动图像压缩数据译码处理中所用基准图像的画面存储器内的数据，就能只显示监视对象图像整个区域中的变化部分，不必设置特别的传感器等而可消除上述缺点/

这里所谓的画面是指构成运动图像的一个画面，有时也称之为帧。

根据本发明的另一方面，为了达到上述目的，本发明提供一种值得注意图像的显示方法，包括下述步骤：

通过传输路径接收运动图像的编码后的运动图像压缩数据；

从所接收的上述运动图像压缩数据检测该运动图像压缩数据的画面类型；

当该检测出的运动图像压缩数据的画面类型是画面内类型的情形，将预定的固定图像数据输出并显示于监视器上，并且将其存储于存储器中；

当上述检测出的运动图像压缩数据的画面类型的是画面间类型时，反复进行如下动作，直到检测出下一个画面内类型，即将对该运动图像压缩数据进行译码处理后所得的图像数据与上述存储器中存储的预定的固定图像数据相加，将该相加所求得的图像数据输出并显示于上述监视器上，并存储于上述存储器中。

本发明提供一种值得注意图像的处理显示装置，包括：

检测通过传输路径接收的将运动图像编码后所得到的运动图像压缩数据的画面类型的检测部；

将上述所接收的运动图像压缩数据进行译码处理的译码处理部；

将预定的固定图像数据进行存储的存储器；

切换部，当上述检测部所检测出的运动图像压缩数据的画面类型是画面内类型的情形，选择上述存储器所输出的预定的固定图像数据进行输出，当上述检测部所检测出的运动图像压缩数据的画面类型是画面间类型时，选择上述译码处理部进行译码后所得到的译码图像数据进行输出；

加法部，当从上述切换部输入了上述预定的固定图像数据时，将该预定的固定图像数据输出到监视器进行显示并且存储到上述存储器中，每当从上述切换部输入上述译码图像数据时，将存储在上述存储器中的图像数据和上述译码图像数据相加并输出到上述监视器进行显示并且存储到上述存储器中。

本发明提供一种远程图像监视***，它包括：

将已编码的运动图像压缩数据经传输路径进行传送的发送部；

将通过该传输路径传送的上述运动图像压缩数据进行译码，将该译码后的运动图像压缩数据进行显示的接收部；

该接收部包括：

检测通过传输路径接收的将运动图像编码后所得到的运动图像压缩数据的画面类型的检测部；

将上述所接收的运动图像压缩数据进行译码处理的译码处理部；

将预定的固定图像数据进行存储的存储器；

切换部，当上述检测部所检测出的运动图像压缩数据的画面类型是画面内类型的情形，选择上述存储器所输出的预定的固定图像数据进行输出，当上述检测部所检测出的运动图像压缩数据的画面类型的是画面间类型时，选择上述译码处理部进行译码后所得到的译码图像数据进行输出；

加法部，当从上述切换部输入了上述预定的固定图像数据时，将该预定的固定图像数据输出到监视器进行显示并且存储到上述存储器中，每当从上述切换部输入上述译码图像数据时，将存储在上述存储器中的图像数据和上述译码图像数据相加并输出到上述监视器进行显示并且存储到上述存储器中。

根据本发明的一个例子，从压缩数据的标题信息检测压缩数据的画面类型。

即，本发明考虑的是远程图像监视***中所必需的运动图像压缩方式利用的时间轴方向的压缩技术。时间基方向的压缩技术是将作为对象的画面压缩数据中其画面能完全译码的画面内压缩数据进行再生，并且将作为对象的图像压缩数据的帧间画面压缩数据与在时基上先后译码的画面相加进行再生。

这样，在本发明中，当通过编码画面类型检测部检测出，由传输路径输入的压缩数据是画面内压缩数据时，即将预先设定的固定图像数据输出给监视器，同时也输入给基准画面存储器。当由编码画面类型检测部检测出压缩数据是画面间压缩数据时，则进行通常的译码处理。这里作为固定图像数据的例子可以考虑全灰色图像等。

由此，在监视对象图像的整个区域内，有关不运动的部分便成为固定图像数据(例如灰色图像)，而只是运动的区域对应于时基上当前画面的差分信息的画面间数据输出，故可实现能专注变化部分的远程图像监视***。

附图说明

图1是示明本发明相关技术的远程图像监视***结构的框图；

图2是用于说明图1中图像数据处理的定时图；

图3是示明本发明的远程图监视***一实施例的结构的框图；

图4是用于说明图3中图像数据处理的定时图。

具体实施形式

在说明本发明之前，先用图1说明不具有检测入侵者的传感器的通常远程图像传送***中译码处理的结构例及其动作。

图1例示将摄像机2-1的图像数据经传输路径2-5显示于视频监视器2-8之上。在摄像机2-1一侧有图像发送部2-3，输入图像信号2-2，压缩图像，将压缩数据2-4输出到传输路径2-5上。于视频监视器2-8一侧有图像接收部2-7，从传输路径2-5输入压缩数据2-6，进行译码处理，将图像信号2-18输出到视频监视器2-8。

现在说明压缩数据2-4、2-6。有关图像压缩已说明于国际标准ISO/IEC 13818-2：2000，“Information technology，Generie Coding ofmoving pictures and associated audio information：Video(文献1)。至于图1的结构中的译码处理则描述于该文献1的”ITU-T Rec.H.262(2000E)，p61中。

一般，压缩数据是将画面单位的压缩数据顺次排列构成。这里，作为画面的种类有内编码(I)画面(在此称为画面内)与画面间两种，作为画面间画面有预测编码(p)画面和双向预测编码(B)画面(参看上述文献1的“ITU-T Rec.H.262(2000E)Intro.4.1.1瞬时处理以及p12，16)。

于是，画面的压缩数据包括两种数据：画面内压缩数据与画面间压缩数据。画面内压缩数据是由其能再生对象画面的压缩数据。画面间压缩数据是将此压缩数据译码后通过与时基上先后译码的画面相加，能再生对象画面的压缩数据。这就是说，画面间压缩数据中的预测编码(P)画面是将与先前(过去)的画面之间的差分数据压缩后的结果，双向预测编码(B)画面是将前后(过去和/或将来)的画面之间的差分数据压缩后结果。通常，将画面内压缩数据记为“I”，将对应于时基上先前画面的差分信息的压缩数据即画面间压缩数据记为“P”，而将对应于时基上前后(过去和/或将来)画面的差分信息的压缩数据即画面间压缩数据记为“B”。

以下的说明中，为简单起见，对于画面间情形只就预测编码(P)画面进行说明，但本发明显然容易应用于包括预测编码(P)画面与双向预测编码(B)画面的画面间情形。

压缩数据序列的一例如以下

I(1)P(2)P(3)...P(N)I(N+1)P(N+2)P(N+3)...其中，I：画面内压缩数据，P：画面间压缩数据，而( )内数字表示画面顺序。

这样，在此压缩数据中在周期的画面内压缩数据间排列画面间数据。这些数据与再生的画面的关系如以下所示。

F(1)＝D(I(1))

F(2)＝D(P(2))+F(1)＝D(P(2))+D(I(1))

F(3)＝D(P(3))+F(2)＝D(P(3))+D(P(2))+D(I(1))

F(N)＝D(P(N))+F(N-1)＝D(P(N))+D(P(N-1))+...+D(P(3))+D(P(2))+D(I(1))

D( )：已译码的数据，F( )：再生画面。

也就是说，上例中由P表示的画面间压缩数据是在时基上将与前一画面的差分信息压缩后的数据。由此可知，F(2)～F(N-1)可以以D(I(1))或F(1)为基准，将译码处理顺次差分信息后的数据进行相加而再生。

这里用上述压缩数据的例子，参照说明图1各单元中数据的定时图，说明图1的图像接收部2-7的内部动作。首先，图像内压缩数据I(1)从传输路径2-5输入后，由编码画面类型检测部2-9检测画面内压缩数据。具体地说，由于通常在各画面单位压缩数据始端附加有表明压缩数据种类的标题信息，故可通过这种标题信息进行检测。此种标题信息描述于文献1的“ITU-T Rec.H.262(2000E)，p27的6.23画面标题中，是其p47的表6-12中所描述的画面编码类型。然后，画面译码处理部2-12对画面内压缩数据I(1)进行译码处理，将译码处理过的D(I(1))或F(1)作为数据2-13，输出给加法器2-15。如前上述，画面内压缩数据由于成为只是此压缩数据的再生图像，这时，为使加法器2-15一方的输入2-19的值成为零，可根据编码画面类型检测部2-9的控制信息2-10来控制切换部2-17。也就是说，编码画面类型检测部2-9检测出所接收的压缩数据是画面内压缩数据后，将控制信号2-10设定为例如低电平(L)，使切换部2-17的端子T3与端子T1连接，以零值作为数据2-19给予加法器2-15。在此将作为加法器2-15的输出的前一个画面压缩数据2-18输入基准画面存储器2-14的输入端。这种情形下，数据2-13与数据2-18为相同数据，是前述的D(I(1))或F(1)，显示于视频监视器2-8上，而前述的D(I(1))或F(1)存储于参考画面存储器2-14中。

然后当P(2)输入后，编码画面类型检测部2-9检测出画面间压缩数据后，由控制信号2-10控制切换部2-17，使之选择与画面内压缩数据的情形相反的一方。也即当编码画面类型检测部2-9检测出所接收的压缩数据是画面间压缩数据时，将控制信号2-10例如设为高电平(H)，使切换部2-17的端子T3与端子T2连接，将存储器2-14中存储的画面数据作为数据2-19而给予加法器2-15。

画面编码处理部2-12对p(2)作译码处理，作为D(P(2))，将数据2-13输出给加法器2-15。由于切换部2-17根据上述控制信号2-10，选择基准画面存储器2-14的输出。因而数据2-18成为D(P(2))+D(I(1))，作为再生画面F(2)而显示于视频监视器2-18之上。这时，还由于基准画存储器2-14的输入是数据2-18，D(P(2))+D(I(1))便存储于基准画面存储器2-14之中。

同样，输入P(3)后，编码画面类型检测部2-9检测出画面间压缩数据，控制信号为高电平，控制切换部2-17以选择与画面内压缩数据的情形相反的一方，即选择端子T2。画面译码处理部2-12的P(3)进行译码处理，作为D(P(3))将数据2-13输出给加法器2-15。切换部2-17根据上述控制信号2-10选择基准画面存储器2-14的输出，因而数据2-18成为D(P(3))+D(P(2))+D(I(1))，作为再生画面F(3)而显示于视频监视器2-8。此时基准画面存储器2-14的输入是数据2-18，于是D(P(3))+D(P(2))+D(I(1))存储于基准画面存储器2-14中。

如上上述，重复同样的动作一直到P(N)，当I(N+1)输入后，成为与前述I(1)情形相同的动作。至此说明了不具有检测入侵者的传感器的通常远程图像传送***中译码处理的结构与动作。这样，在不具备传感器的图像传送***中，就不能检测入侵者等应专注的监视对象图像而不能输出报警信号，监视人员必须时刻特别注意地监视显示于监视器上的图像。

本发明实现了不用传感器而能于监视器上只显示应专注入侵者等的监视对象图像的图像监视***，它的一个实施例的结构示明并说明于图3中。图3的结构与图1的结构对比，除图像接收部1-1外都相同，图3中与图1有相同功能的部件采用相同的标号而略去其说明。图像接收部1-1中，编码画面类型检测部2-9输入压缩数据2-6，输出压缩数据2-11与控制信号1-2。画面译码处理部2-12输入压缩数据2-11而输出数据2-13。此外，在图3的结构下，于编码画面类型检测部2-9的后级虽设有画面编码处理部2-12，但相反，也可于画面译码处理部2-12的后级设置编码画面类型检测部2-9。这样也可在译码处理后进行画面类型的检测。此编码画面类型检测部2-9与画面译码处理部2-12构成接收数据处理部。切换部1-3根据控制信号1-2选择固定图像(背景图像)数据存储器1-7的输出即固定图像(背景图像)数据F(1-8)或上述数据2-13，生成数据1-4，加法器1-14输入数据1-4与数据1-13，将相加结果作为数据1-9，输出给视频监视器2-8。数据1-9也输入基准画面存储器1-10。

另一方面，切换部1-12根据控制信号1-2选择基准画面存储器1-10的输出即数据1-11或值零，生成数据1-13。

在以上的结构中，对于与图1说明中所用相同的压缩数据输入时的图像接收部11的操作，参看示明图3各部中数据的定明图的图4进行说明。首先，当从传输路径2-5输入I(1)后，编码画面类型检测部2-9检测画面内压缩数据。具体地说，如上上述，通常于各画面单位的压缩数据的起始处附加有示明压缩数据种类的标题信息(画面编码类型)，于是可借助此标题信息进行检测。画面译码处理部2-12对I(1)进行译码处理，输出数据2-13作为上述译码的数据D(I(1))或F(1)。

这里，当数据2-13是画面内压缩数据时，切换部1-3进行控制使控制信号1-2成为例如低电平(L)，将端子T6与端子T5连接，亦即进行控制以选择固定图像(背景图像)数据F1-8，作为数据1-4而输入加法器1-14。此时，同样地，切换部1-12根据控制信号1-2(低电平)使端子T3与端子T1连接，即进行控制以选择值零，从而使值零的数据1-13输出给加法器1-14。在从切换部1-12将值零输入到加法器1-14后，加法器1-14的输出数据1-9仍然是数据1-4，于是这时的视频监控器2-8上显示上述固定图像数据F(1-8)。作为固定图像数据F(1-8)的一个例子可以考虑全面单色(例如灰色)的图像等。固定图像数据F并不局限于上述图像，也可以是由任一种颜色构成的图像，或也可以不是不随时间变动的恒定图像，而是缓慢地改变其颜色和/或图案的图像。重要的是，只要是容易识别变化的图像区域的图像即可。

这时，由于参考画面存储器1-10的输入是数据1-9，前述固定图像数据存储器1-7的灰色图像数据便存储于参考画面存储器1-10中。

然后，当与先前的画面的差分数据P(2)输入后，编码画面类型检测部2-9检测画面间压缩数据，由控制信号1-2控制各切换部1-3、1-12，以选择与画面内压缩数据相反的情形。也就是说，控制信号1-2成为例如高电平(H)，控制端子T6与端子T4连接，以及控制端子T3与端子T2连接。画面译码处理部2-12对P(2)作译码处理，作为已译码的数据D(P(2))而输出数据2-13。切换部1-3根据控制信号1-2选择数据2-13，于是数据1-4成为数据2-13即与先前的画面的差分数据D(P(2))，输入加法器1-14。另一方面，切换部1-12根据控制信号1-2选择基准画面存储器1-10的输出即灰色图像数据F，于是数据1-9成为D(P(2))+灰色图像而供给视频监示器2-8。这时的视频监视器2-8的灰色背景中重叠地显示出作与前后画面的差分数据的变化的图像。此时，由于基准画面存储器1-10的输入为数据1-9，此D(P(21))+灰色图像便存储于基准画面存储器10中。

同样，当P(3)输入后，编码画面类型检测部2-9检测出它是画面间压缩数据，通过控制信号1-2控制各切换部1-3、1-12以选择与画面内压缩数据情形相反的一方。画面译码处理部2-12对P(3)进行译码处理，作为D(P(3))输出数据2-13。切换部1-3根据控制信号1-2选择数据2-13，于是数据1-4成为数据2-13即与前后画面的差分数据D(P(3))，输入加法器1-14。另一方面，切换部1-12根据上述控制信号1-2选择基准画面存储器1-10的输出D(P(2))+灰色图像F，因而数据1-9成为D(P(3))+D(P(2))+灰色图像，提供给视频监视器2-8。这时便于视频监视器2-8上在灰色背景中重叠地显示作为与前后画面的差分数据的变化图像。

此时，由于基准画面存储器1-10的输入是数据1-9，D(P(3))+D(P(2))+灰色图像F便存储于基准画面存储器1-10中。

如上上述，重复相同的动作直至P(N)，到输入I(N+1)后即成为与前述I(1)情形相同的动作。这就是说，在本发明中输入P(N)时视频监视器2-8上的显示即如以下所示。

G(N)＝D(P(N))+G(N-1)

＝D(P(N))+D(P(N-1))+...+D(P(3))+D(P(2))+灰色图像

D( )：经译码处理的数据。GC)：表明显示画面

由上式可知，本发明能以背景图像(固定图像，例如全灰色图像)作为背景而只显示差分信息。结果在整个画面上，运动的区域显示该差分信息，不运动的区域则显示灰色图像，从而能实现用于利用专注监视对象图像内活动区域的最佳图像的远程图像监视***。

此外，在上述说明中是把灰色图像作为固定图像数据1-7的一个例子，但其他图像数据也可用于本发明中。

本发明由于能在监视对象图像中特别重要的活动区域中接收显示该运动的差分信息，因而监视人员由接受的图像容易掌握应注意的状态。

此外，在处理画面内压缩数据时，即使在一瞬时发生运动的区域也能有与固定图像数据不同的显示，也就能防止发生漏看现象。

再有，由于本发明是有关图像接收部的发明，故能原样地利用已有的压缩数据，因而即使是对于由已由技术编档的压缩数据，也能取得相同的效果。

这样，在专注对象图像内运动状态的监视方面，可以实现最适当的远程图像监视***。

Claims (9)

1.一种值得注意图像的显示方法，包括下述步骤：

通过传输路径接收运动图像的编码后的运动图像压缩数据；

从所接收的上述运动图像压缩数据检测该运动图像压缩数据的画面类型；

当该检测出的运动图像压缩数据的画面类型是画面内类型的情形，将预定的固定图像数据输出并显示于监视器上，并且将其存储于存储器中；

当上述检测出的运动图像压缩数据的画面类型是画面间类型时，反复进行如下动作，直到检测出下一个画面内类型，即将对该运动图像压缩数据进行译码处理后所得的图像数据与上述存储器中存储的预定的固定图像数据相加，将该相加所求得的图像数据输出并显示于上述监视器上，并存储于上述存储器中。

2.权利要求1的值得注意图像的显示方法，其中检测上述运动图像压缩数据的画面类型的步骤从上述运动图像压缩数据的标题信息检测该运动图像压缩数据的画面类型。

3.权利要求1的值得注意图像的显示方法，其中上述预定的固定图像数据是全面地取预定颜色的图像数据。

4.一种值得注意图像的处理显示装置，包括：

检测通过传输路径接收的将运动图像编码后所得到的运动图像压缩数据的画面类型的检测部(2-9)；

将上述所接收的运动图像压缩数据进行译码处理的译码处理部(2-12)；

将预定的固定图像数据进行存储的存储器(1-7)；

切换部(1-3)，当上述检测部所检测出的运动图像压缩数据的画面类型是画面内类型的情形，选择上述存储器所输出的预定的固定图像数据进行输出，当上述检测部所检测出的运动图像压缩数据的画面类型是画面间类型时，选择上述译码处理部进行译码后所得到的译码图像数据进行输出；

加法部(1-14)，当从上述切换部输入了上述预定的固定图像数据时，将该预定的固定图像数据输出到监视器进行显示并且存储到上述存储器中，每当从上述切换部输入上述译码图像数据时，将存储在上述存储器中的图像数据和上述译码图像数据相加并输出到上述监视器进行显示并且存储到上述存储器中。

5.权利要求4的值得注意图像的处理显示装置，其中上述检测部(2-9)从上述运动图像压缩数据的标题信息检测该运动图像压缩数据的画面类型。

6.权利要求4的值得注意图像的处理显示装置，其中上述预定的固定图像数据是全面地取预定颜色的图像数据。

7.一种远程图像监视***，它包括：

将已编码的运动图像压缩数据经传输路径进行传送的发送部(2-3)；

将通过该传输路径传送的上述运动图像压缩数据进行译码，将该译码后的运动图像压缩数据进行显示的接收部；

该接收部包括：

检测通过传输路径接收的将运动图像编码后所得到的运动图像压缩数据的画面类型的检测部(2-9)；

将上述所接收的运动图像压缩数据进行译码处理的译码处理部(2-12)；

将预定的固定图像数据进行存储的存储器(1-7)；

切换部(1-3)，当上述检测部所检测出的运动图像压缩数据的画面类型是画面内类型的情形，选择上述存储器所输出的预定的固定图像数据进行输出，当上述检测部所检测出的运动图像压缩数据的画面类型的是画面间类型时，选择上述译码处理部进行译码后所得到的译码图像数据进行输出；

加法部(1-14)，当从上述切换部输入了上述预定的固定图像数据时，将该预定的固定图像数据输出到监视器进行显示并且存储到上述存储器中，每当从上述切换部输入上述译码图像数据时，将存储在上述存储器中的图像数据和上述译码图像数据相加并输出到上述监视器进行显示并且存储到上述存储器中。

8.权利要求7的远程图像监视***，其中上述检测部(2-9)从上述运动图像压缩数据的标题信息检测该运动图像压缩数据的画面类型。

9.权利要求7的远程图像监视***，其中上述预定的固定图像数据是全面地取预定颜色的图像数据。

Images