CN112017214A - 前景及背景影像判断方法 - Google Patents
前景及背景影像判断方法 Download PDFInfo
- Publication number
- CN112017214A CN112017214A CN201910455514.9A CN201910455514A CN112017214A CN 112017214 A CN112017214 A CN 112017214A CN 201910455514 A CN201910455514 A CN 201910455514A CN 112017214 A CN112017214 A CN 112017214A
- Authority
- CN
- China
- Prior art keywords
- image
- sub
- images
- region
- parent
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/254—Analysis of motion involving subtraction of images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20224—Image subtraction
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Analysis (AREA)
Abstract
一种前景及背景影像判断方法,包含产生N个母影像中关注区域内的N个子区域影像的特征数据、根据该N个子区域影像的特征数据,将该N个子区域影像分类至M个影像群组中的影像群组、根据该N个子区域影像内的移动区域,得到该M个影像群组的移动程度值,以及根据该M个影像群组的移动程度值以及各影像群组内的影像的数量,判断各影像群组属于背景影像群组或前景影像群组,其中M以及N皆表示正整数。利用本发明所提供的方法,即使有前景物件停止移动并停留在影像装置的视野范围,仍可正确地判断出前景影像及背景影像,带给使用者更大的方便。
Description
技术领域
本发明有关于一种前景及背景影像判断方法,尤其是有关于一种可于前景物件停止移动时,仍可正确判断出影像是前景影像的方法。
背景技术
在影像装置所产生的影像序列中,移动进入至影像装置的视野范围内的物件被视为前景物件。当影像存在有前景物件时,影像属于前景影像;当影像中没有前景物件时,影像属于背景影像。
在现有技术中,前景及背景影像判断方法可分为注册背景的判断方法,以及自适应背景的判断方法。注册背景的判断方法包含预先选择特定影像为注册背景、以及根据影像与注册背景的特征数据之间的差距,判断该影像属于前景影像或背景影像。然而,需要预先选择影像作为注册背景对使用者较为不便,举例而言,当影像装置监控室外环境时,由于室外场景经常有光影变化或是场景内的物件可能会改变,而造成使用者难以选出适当的影像作为注册背景,或者是使用者需要经常更新注册背景。当影像装置监控室内环境时,室内场景也会有灯源开关造成注册背景影像不适用的情形。
自适应背景的判断方法是根据影像序列中的影像的特征数据,将各影像分类于各数据区段、当数据区段内具有最多的影像数量时,判断分类于该数据区段的影像属于背景影像。以下用亮度值作为特征数据来举例,以更进一步地说明自适应背景的判断方法。请参照图1,图1为当黑色物件从右至左移动进入白底背景时,影像装置所撷取的影像VF1~VF30的示意图。在影像VF1~VF10中,影像皆为白底背景,属于背景影像。在影像VF11~VF15,黑色物件移动进入影像。在影像VF16中,黑色物件已经完全进入至影像装置的视野范围中。在影像VF17~VF30中,黑色物件停止移动。请参照图2,图2为影像VF1~VF30的特征数据的统计表,以及将影像VF1~VF30分类至各数据区段后,各数据区段的影像数量的统计表。在图2中,设定特定数据为亮度值且亮度值的范围为0~255,0代表最暗,255代表最亮,并且依据亮度值的大小来等分数据区段SEC1~SEC8。因此,数据区段SEC1对应于亮度值0~31的范围,数据区段SEC2对应于亮度值32~63的范围,依此类推,可得到数据区段SEC8对应于亮度值224~255的范围。影像VF1~VF10皆为白底背景,其亮度值为255,因此影像VF1~VF10分类至数据区段SEC8。在影像VF11~VF15中,黑色物件正在移动进入影像装置的视野范围中,影像VF11、VF12、VF13、VF14、VF15的亮度值分别为213、191、170、149、128,因此,影像VF11、VF12、VF13、VF14、VF15分别分类到数据区段SEC7、SEC6、SEC6、SEC5、SEC5。在影像VF16中,黑色物件已经完全进入影像装置的视野范围内,其亮度值为120,因此分类到数据区段SEC4。在影像VF17~VF30中,黑色物件停止移动。因此,影像VF16~VF30亮度值皆为120,且对应的数据区段为SEC4。由上述说明可知,分类至数据区段SEC4~SEC8的影像的数量分别为15、2、2、1、10。利用现有技术的自适应背景的判断方法,由于分类至数据区段SEC4的影像的数量最多,因此会判断属于数据区段SEC4的影像是背景影像。然而,属于数据区段SEC4的影像VF16~VF30中具有前景物件,因此影像VF16~VF30其实是前景影像。换句话说,当前景物件停止移动并停留在影像装置的视野范围时,现有技术的自适应背景的判断方法会误判,造成使用者极大的不便。
发明内容
本发明提供一种前景及背景影像判断方法。该方法包含产生N个母影像中关注区域内的N个子区域影像的特征数据、根据该N个子区域影像的特征数据,将该N个子区域影像分类至M个影像群组中的影像群组、根据该N个子区域影像内的移动区域,得到该M个影像群组的移动程度值,以及根据该M个影像群组的移动程度值以及各影像群组内的影像的数量,判断各影像群组属于背景影像群组或前景影像群组,其中M以及N皆表示正整数。
附图说明
图1为当黑色物件从右至左移动进入白底背景时,影像装置所撷取的影像的示意图。
图2为影像的特征数据的统计表,以及将影像分类至各数据区段后各数据区段的影像数量的统计表。
图3为本发明的前景及背景影像判断方法的一实施例的流程图。
图4为可应用本发明的前景及背景影像判断方法的影像装置的一实施例的结构示意图。
图5为母影像以及关注区域内的子区域影像的示意图。
图6为说明关注区域内的子区域影像的示意图。
图7为各影像群组的影像的数量以及移动程度值的统计表。
图8为子区域影像的移动区域的示意图。
图9为子区域影像的移动区块数量以及影像群组的影像的数量以及移动程度值的统计表。
图10为可应用本发明的前景及背景影像判断方法的影像装置的另一实施例的结构示意图。
图11及图12为用来说明影像处理器根据移动向量讯号,得到物件信息的示意图。
图13为影像处理器所侦测的物件的示意图。
图14为影像群组的影像数量以及移动程度值的统计表。
图15为假设关注区域中有静止的人形立牌时的子区域影像。
图16为图15的子区域影像分类至各影像群组的影像数量、移动程度值以及行人特征值的统计表。
图17为假设关注区域中有行人移动进入白底背景时的子区域影像。
图18为图17的子区域影像分类至各影像群组的影像数量、移动程度值以及行人特征值的统计表。
附图标号说明
300 方法
310~340 步骤
400、1000 影像装置
410、1010 影像处理器
420、1020 影像传感器
430、1030 影像压缩电路
GP1~GP8 影像群组
IMG1~IMGN 后处理影像
SFB 前景及背景讯号
SOUT 输出讯号
SMV 移动向量讯号
SEC1~SEC8 数据区段
VF1~VF30、VFN、VFX 母影像
VF1_A~VF31_A、VFN_A、VFX_A、VFX_B、 子区域影像
VFX_C、VF1_C~VF30_C、VF1_D~VF30_D
具体实施方式
请参照图3以及图4,图3为本发明的前景及背景影像判断方法300的一实施例的流程图,图4为可应用本发明的方法300的影像装置400的结构示意图。影像装置400包含影像传感器420、影像处理器410,以及影像压缩电路430。影像传感器420收光以于时段T1~TN分别产生母影像VF1~VFN。在母影像VF1~VFN中,部分的区域范围被选择作为关注区域(ROI,Region of Interest)ROI1~ROIB,其中N以及B皆代表正整数。请参照图5,图5为母影像以及关注区域内的子区域影像的示意图。在图5中,以母影像VFX为例,关注区域ROI1内的影像为子区域影像VFX_1,关注区域ROIA内的影像为子区域影像VFX_A,关注区域ROIB内的影像为子区域影像VFX_B,其他可依此类推。关注区域ROI1~ROIB的范围没有特别限制,可以交错或重迭,甚至是关注区域也可以是囊括整个母影像的范围。影像处理器410利用方法300判断母影像VF1~VFN中的关注区域内的子区域影像为前景影像或背景影像,并据以产生前景背景讯号SFB。此外,影像处理器410后处理母影像VF1~VFN,以产生后处理影像IMG1~IMGN。影像压缩电路430根据前景背景讯号SFB调整各关注区域的码率后,压缩后处理影像IMG1~IMGN,以产生输出讯号SOUT。其中输出讯号SOUT举例而言可以是H.264、H.265或MJPEG格式压缩的视讯,或是以JPEG格式压缩的照片。当前景背景讯号SFB表示后处理影像中的关注区域ROIA内的影像为背景影像时,影像压缩处理电路430可用更低的码率来压缩关注区域ROIA的范围内的影像。以下以关注区域ROIA作为举例来说明,方法300的步骤说明如下:
步骤310:产生母影像VF1~VFN中关注区域ROIA内的子区域影像VF1_A~VFN_A的特征数据;
步骤320:根据子区域影像VF1_A~VFN_A的特征数据,将子区域影像VF1_A~VFN_A分类至影像群组GP1~GPM中的的影像群组;
步骤330:根据子区域影像VF1_A~VFN_A内移动区域,得到影像群组GP1~GPM的移动程度值;
步骤340:根据影像群组GP1~GPM的移动程度值以及各影像群组内的影像的数量,分类各影像群组属于背景影像群组或前景影像群组。
在步骤310中,母影像VF1~VFN中的关注区域ROIA内的影像为分别为子区域影像VF1_A~VFN_A。影像处理器410根据子区域影像VF1_A~VFN_A的像素数据,产生子区域影像VF1_A~VFN_A对应的特征数据。特征数据可为亮度平均值、色坐标平均值,或是亮度分布数据,但不以此为限。以下以N等于30且特征数据为亮度平均值作为举例来更进一步地说明。请参照图6,图6为关注区域ROIA的子区域影像VF1_A~VFN_A的示意图。图6类似于图1,在关注区域ROIA所对应的视野范围内有黑色物件从右至左移动进入白底背景,因此图6中子区域影像VF1_A~VF30_A类似于图1中的影像VF1~VF30。影像处理器410根据关注区域ROIA的子区域影像VF1_A~VF30_A的像素数据,产生对应于关注区域ROIA的子区域影像VF1_A~VF30_A的亮度平均值。其中亮度平均值范围为0~255,0代表最暗,255代表最亮。子区域影像VF1_A~VF10_A皆为白底背景,因此子区域影像VF1_A~VF10_A的亮度平均值为255。在子区域影像VF11_A~VF15_A中,黑色物件逐渐移动进入关注区域ROIA内,因此子区域影像VF11_A~VF15_A的亮度平均值分别为213、191、170、149、128。在子区域影像VF16_A~VF30_A中,由于黑色物件已经完全进入关注区域ROIA的范围之内,因此子区域影像VF16_A~VF30_A的亮度平均值皆为120。
请参照图7,图7为子区域影像VF1_A~VF30_A的亮度平均值的统计表,以及子区域影像VF1_A~VF30_A分类至影像群组GP1~GPM后,各影像群组GP1~GPM的影像数量以及移动程度值的统计表。设定M等于8,将亮度平均值0~255切分为8个数据区段SEC1~SEC8,且影像群组GP1~GP8分别对应于数据区段SEC1~SEC8。数据区段SEC1对应于亮度值0~31的范围,数据区段SEC2对应于亮度值32~63的范围,依此类推,可得到数据区段SEC3~SEC8对应的亮度值的范围。在步骤320中,影像处理器410根据子区域影像VF1_A~VF30_A的特征数据,分别将子区域影像VF1_A~VF30_A分类至影像群组GP1~GP8中的其各自对应的影像群组。更明确地说,子区域影像VF1_A~VF10~A的亮度平均值为255,在数据区段SEC8所对应的亮度值范围内,因此子区域影像VF1_A~VF10_A被分类至影像群组GP8。依此类推,子区域影像VF11_A、VF12_A、VF13_A、VF14_A VF15_A被分类至影像群组GP7、GP6、GP6、GP5、GP5,且子区域影像VF16_A~VF30_A被分类至影像群组GP4。
在步骤320中,假设特征数据是Lab色坐标,则影像处理器410可根据子区域影像VF1_A~VF30_A的特征数据分别与数据区段GP1~GP8的代表性特征数据之间的欧式距离,将子区域影像VF1_A~VF30_A分类至影像群组GP1~GP8中的影像群组。举例而言,可选择8个特定色坐标点分别为数据区段SEC1~SEC8的代表性特征数据。如此,影像处理器410即可计算子区域影像VF1_A~VF30_A的色坐标平均值和数据区段SEC1~SEC8的代表性特征数据之间的欧式距离。当子区域影像和数据区段的代表性特征数据之间的欧式距离最短时,分类该子区域影像至对应于该数据区段的影像群组。
在步骤330中,影像处理器410根据子区域影像VF1_A~VF30_A内移动区域,更新影像群组GP1~GP8的移动程度值。更详细地说,影像处理器410比较母影像VF1以及母影像VF2,得到子区域影像VF2_A的移动区域;影像处理器410比较母影像VF2以及母影像VF3,以得到子区域影像VF3_A的移动区域,其他可依此类推,故不再赘述。请参照图8及图9,图8为子区域影像VF1_A~VF30_A的移动区域的示意图,图9为子区域影像VF1_A~VF30_A的移动区块数量以及影像群组GP1~GP8的影像数量以及移动程度值的统计表。在图8中,以虚线将子区域影像VF1_A~VF30_A等分为12个区块,且斜线区域表示子区域影像VF2_A~VF30_A中的移动区域。影像处理器410根据图8中子区域影像VF1_A~VF30_A中有被移动区域覆盖的区块,得到图9中对应于子区域影像VF1_A~VF30_A内的移动区块的数量的统计表。各子区域影像中移动区块的数量可作为子区域影像的移动程度值。更详细地说,当影像处理器410接收子区域影像VF1_A~VF10_A时,由于子区域影像VF1_A~VF10_A属于影像群组GP8,且子区域影像VF1_A~VF10_A的移动区块的数量为0,因此影像处理器410将影像群组GP8的移动程度值加上子区域影像VF1_A~VF10_A的移动程度值,以更新影像群组GP8的移动程度值为0。当影像处理器410接收子区域影像VF11_A时,将影像群组GP7的移动程度值加上子区域影像VF11_A的移动程度值,以更新影像群组GP7的移动程度值为3。当影像处理器410接收子区域影像VF12_A时,将影像群组GP6的移动程度值加上子区域影像VF12_A的移动程度值,以更新影像群组GP6的移动程度值为6。当影像处理器410接收子区域影像VF13_A时,将影像群组GP6的移动程度值加上子区域影像VF13_A的移动程度值,以更新影像群组GP6的移动程度值为12。其他可依此类推而得到图9中影像群组GP1~GP8的移动程度值的统计表。
针对子区域影像的移动程度值,除了上述说明的计算方式外,本发明提供其他实施例如下。请参考图10,图10为本发明的影像装置的另一实施例1000的结构示意图。影像装置1000包含影像传感器1020、影像处理器1010,以及影像压缩电路1030。影像装置1000与影像装置400的差异在于影像压缩电路1030比较母影像VF1~VF30中的相邻的母影像,以产生移动向量讯号SMV。移动向量讯号SMV包含母影像中各区块的移动向量的信息,其中区块可为H.264的宏区块或者是H.265的最大编码单元(Largest coding unit,LCU)。在本实施例中,影像处理器1010根据移动向量讯号SMV,可得到子区域影像V1_A~V30_A的复数个区块的非静止移动向量个数,而子区域影像V1_A~V30_A的复数个区块的非静止移动向量个数可作为子区域影像V1_A~V30_A的移动程度值。
在另一实施例中,子区域影像的移动程度值则是根据影像处理器1010侦测的物件的信息所得到。更进一步地说,影像处理器1010根据移动向量讯号SMV,侦测母影像中的物件,以得到母影像中的物件信息。举例而言,请参照图11及图12,图11及图12为用来说明影像处理器1010根据移动向量讯号SMV,得到物件信息的示意图。影像处理器1010比较图11中的母影像VF11以及VF10,以得到如图12中以箭头表示的移动向量。在图12中,母影像VF11被虚线切分为复数个区块,而母影像VF11中的区块中箭头指向母影像VF10中邻近范围内最相似的区块。请参照图13,图13为影像处理器1010所侦测的物件的示意图。影像处理器1010根据移动向量讯号SMV得到图12中各区块的移动向量的信息。影像处理器1010将母影像VF11中具有足够大的移动向量的区块群组化之后,可侦测出图13中斜线区域所表示的物件。更进一步地说,当群组化的移动区块所占的区域大小大于移动阀值时,影像处理器1010判断该群组化的区块是物件;当群组化的移动区块所占的区域大小小于该移动阀值时,影像处理器1010判断该群组化的区块是噪声,而不是移动物件。由上述说明可知,影像处理器1010比较母影像VF1~VF30中的相邻的母影像中各区块的移动向量并且将具有足够大的移动向量的区块群组化之后,即可侦测得到母影像VF1~VF30中物件的大小以及移动的信息。如此一来,影像处理器1010根据母影像VF11于关注区域ROIA内的物件的大小以及移动的信息,即可得到关注区域ROIA于时段T11内属于有物件移动的区块的数量,以作为子区域影像VF11_A的移动程度值。
在步骤340中,影像处理器410根据影像群组GP1~GPM的移动程度值以及各影像群组内的影像的数量,分类各影像群组属于背景影像群组或前景影像群组。请参照图9,图9为影像群组GP1~GP8的影像数量以及移动程度值的统计表。当影像群组为背景影像群组时,该影像群组有较多的影像数量,且其移动程度值会较小。当影像群组不是背景影像群组时,即可判断该影像群组为前景影像群组。更进一步地说,影像处理器410比较影像群组GP1~GP8的影像数量与数量阀值,以及比较影像群组GP1~GP8的移动程度值与移动阀值,当影像群组的影像数量大于该数量阀值时,且该影像群组的移动程度值小于该移动阀值时,影像处理器410判断该影像群组为背景影像群组。举例而言,在图9中,设定数量阀值为8以及移动阀值等于5,可得到影像群组GP8为背景影像群组,其他影像群组GP1~GP7则为前景影像群组。此外,当影像属于背景影像群组时,该影像为背景影像;当该影像属于前景影像群组时,该影像为前景影像。因此子区域影像VF1_A~VF10_A为背景影像,其他子区域影像VF11_A~VF30_A则为前景影像。由上述说明可知,即使有前景物件停止移动并停留在影像装置的视野范围,藉由本发明所提供的方法300仍可正确地判断出子区域影像VF1_A~VF10_A为背景影像,以及子区域影像VF11_A~VF30_A为前景影像及,带给使用者更大的方便。
此外,在方法300中,影像处理器410可选择是以最新接收到连续的N个母影像,来判断最新的子区域影像为前景影像或背景影像。举例而言,当影像处理器410接收母影像VN时,影像处理器410是以最新接收到连续的N个母影像VF1~VFN,来判断最新的子区域影像VFN_A为前景影像或背景影像。当影像处理器410接收母影像V(N+1)时,影像处理器410是以最新接收到连续的N个母影像VF2~V(N+1),来判断最新的子区域影像V(N+1)_A为前景影像或背景影像。举例而言,请参照图14,图14为假设黑色物件没有移动且母影像V(N+1)的画面与母影像VN相同的情况下,影像群组GP1~GP8的影像数量以及移动程度值的统计表。在图14中,以N等于30为例,当影像处理器410接收母影像V31时,影像处理器410产生子区域影像V31_A的特征数据。影像处理器410根据子区域影像V31_A的特征数据,将子区域影像V31_A分类至影像群组GP1~GP8中的对应的影像群组。由于子区域影像V31_A的亮度值等于子区域影像V30_A的亮度值,因此影像处理器410将子区域影像V31_A分类至影像群组GP4,且将影像群组GP4的移动程度值加上子区域影像V31_A的移动程度值0。此外,由于影像处理器410是以最新接收到连续的N个母影像来判断前景影像或背景影像,因此影像处理器410将子区域影像VF1_A从影像群组中移除。如此,影像处理器410将子区域影像VF1_A所属的影像群组GP8的移动程度值减去子区域影像VF1_A的移动程度值,并且将影像群组GP8的影像数量减1。此时,由于影像群组GP4属于前景影像群组,因此子区域影像V31_A为前景影像。在一实施例中,当子区域影像V31_A属于前景影像群组时,影像压缩电路430压缩根据子区域影像V31_A所产生的已处理过的影像IMG31_A,以产生输出讯号SOUT2。其中输出讯号SOUT2为包含有前景物件的照片或视讯,可通知使用者确认前景物件。在另一实施例中,影像压缩电路430根据各关注区域ROI1~ROIB内的子区域影像属于背景影像群组或前景影像群组的信息,产生输出讯号SOUT2,如此,当显示装置接收到输出讯号SOUT以及SOUT2时,该显示装置解压缩输出讯号SOUT以得到后处理影像,并且可根据输出讯号SOUT2中的各子区域影像属于背景影像群组或前景影像群组的信息,以决定显示后处理影像的方式。举例而言,显示装置局部放大显示具有最多前景影像的范围,或者是在显示的影像上标示具有前景影像的区域。在另一实施例中,影像压缩电路430根据母影像VF31于关注区域ROIA内的子区域影像VF31_A属于背景影像群组或前景影像群组,调整压缩母影像VF31时,于关注区域ROIA的码率,并据以产生输出讯号SOUT。更进一步地说,当影像压缩电路430压缩母影像时,影像压缩电路430可根据各关注区域ROI1~ROIB内的子区域影像属于背景影像群组或前景影像群组,以调整各关注区域ROI1~ROIB内的码率,并据以产生输出讯号SOUT。
此外,为了避免将环境的光影变化、灯源开关误判为前景物件,在方法300中,当影像处理器410接收母影像VF(N+1)时,影像处理器410可根据母影像VFN以及VF(N+1)之间的差异大于影像差异阀值,决定忽略母影像VF(N+1)及其子区域影像VF(N+1)_1~VF(N+1)_B,以维持影像群组GP1~GP8的移动程度值以影像的数量不变。举例而言,影像处理器410计算母影像VF31以及VF30各像素数据之间的绝对差值,当累加各像素的绝对差值大于该影像差异阀值时,影像处理器410决定忽略母影像VF31以及其中的子区域影像VF31_1~VF31_B,以维持影像群组GP1~GP8的移动程度值以及影像数量不变。另外,由于当物件正在移动进入至关注区域ROIA时,子区域影像的特征数据以及移动程度值会比较不稳定,较容易造成误判,因此当影像处理器410接收母影像VF(N+1)且侦测到母影像VF(N+1)于关注区域ROIA的边界有移动的区块时,影像处理器410可忽略子区域影像VF(N+1)_A,以维持影像群组GP1~GP8的移动程度值以影像的数量不变。如此可更进一步地降低误判率。
此外,本发明也可与目标物件侦测方法整合,藉由本发明的方法可提高各种目标前景物件侦测的正确率。举例而言,影像处理器410或1010藉由不同的目标物件侦测方法可侦测关注区域的子区域影像中不同的物件类别,如行人侦测、车辆侦测等,以得到各子区域影像的目标物件特征值。以下以目标物件为行人的实施例作更进一步地说明。
请参照图15以及图16,图15为假设关注区域ROIC于时段T1~T30中有静止的人形立牌时的子区域影像VF1_C~VF30_C,图16为子区域影像VF1_C~VF30_C分类至各影像群组的影像数量、移动程度值以及行人特征值的统计表。假设行人侦测方法针对每张子区域影像中的人形立牌所计算得到的行人特征值是1,因此影像群组GP6累计子区域影像VF1_C~VF30_C的行人特征值是30。传统的行人侦测方法比较行人特征值30以及目标物件阀值,以判断关注区域ROIC是否有前景行人,假设目标物件阀值为5,则此时传统的行人侦测方法会因静止的人形立牌误判关注区域ROIC中分类于影像群组GP4的子区域影像VF1_C~VF30_C皆有行人,也就是说,传统的行人侦测方法会误判子区域影像VF1_C~VF30_C皆有目标前景物件。相较于传统的行人侦测方法,本发明所提供的方法除了影像群组的行人特征值之外,会同时比较该影像群组的移动程度值与移动阀值。当该影像群组的行人特征值大于目标物件阀值且该影像群组的移动程度值大于移动阀值时,本发明所提供的方法判断分类至该影像群组的子区域影像中有目标前景物件;当该影像群组的行人特征值大于目标物件阀值且该影像群组的移动程度值小于或等于移动阀值时,本发明所提供的方法判断分类至该影像群组的子区域影像中无目标前景物件。由于人形立牌于时段T1~T30中皆静止不动,因此影像群组GP6的移动程度值是0。设定移动阀值等于5,由于影像群组GP6的移动程度值0小于移动阀值5,因此本发明所提供的方法判断所有的影像群组皆没有行人。由上述说明可知,传统的行人侦测方法对于画面中静止的人形立牌容易产生误判,然而,由于本发明的方法考虑了移动程度值的信息,因此本发明的方法可以真正分出在影像中行走的行人。
此外,请参照图17以及图18,图17为假设关注区域ROID于时段T1~T30中有行人移动进入白底背景时的子区域影像VF1_D~VF30_D,图18为子区域影像VF1_D~VF30_D分类至各影像群组的影像数量、移动程度值以及行人特征值的统计表。由图17可看出,在时段T1~T10所对应的子区域影像VF1_D~VF10_D中,行人在关注区域ROID的范围之外,此时,子区域影像VF1_D~VF10_D皆为白底背景,因此影像群组GP8的移动程度值以及行人特征值皆为0。在时段T11~T12所对应的子区域影像VF11_D~VF12_D中,行人正在移动中,且有少部分开始进入关注区域ROID的范围,但是不具备足够的行人特征,因此影像群组GP7的移动程度值为3且的行人特征值为0。在时段T13~T16所对应的子区域影像VF13_D~VF15_D中,行人已完全关注区域ROID的范围之内,但行人仍在移动,在时段T16~T30所对应的子区域影像VF16_D~VF30_D中,行人完全在关注区域ROID的范围之内且停止不动,因此影像群组GP6的移动程度值为12且行人特征值为18。设定移动阀值等于5,由于影像群组GP6的移动程度值12大于移动阀值5,且行人特征值18大于目标物件阀值5,因此本发明所提供的方法判断影像群组GP6为具有目标前景物件的影像群组。也就是说,即使目标前景物件移动进入关注范围后静止不动,本发明所提供的方法可正确地判断关注区域ROID的各子区域影像是否有前景行人。
值得注意的是,当本发明所提供的方法正确地判断各关注区域内的子区域影像是否有前景物件时,可根据此信息作更进一步地利用。举例而言,因为使用者往往更关注画面中动的人,因此影像压缩电路430的码率也可以根据关注区域内是否有前景行人调整,当关注区域内的子区域影像分类至具有前景行人的影像群组时,针对母影像的压缩处理,会增加该关注区域的码率;当该关注区域内的子区域影像分类至不具有前景行人的影像群组时,会减少该关注区域的码率。此外,上面实施例中的物件侦测并不限于一种,本发明的方法可同时运行多种目标物件侦测,只要把目标物件侦测的种类扩充即可。同时运行多种的目标物件侦测可以让使用者对于母影像中各个关注区域可以有不同的关注的目标物件种类,或者使用者可以在串流中动态切换关注的目标物件种类而使此***会自适应调整分配串流的码率至使用所关注的目标物件种类的部分,带给使用者极大的便利。
综上所述,本发明提供一种前景及背景影像判断方法。该方法包含产生N个母影像中关注区域内的N个子区域影像的特征数据、根据该N个子区域影像的特征数据,将该N个子区域影像分类至M个影像群组中的影像群组、根据该N个子区域影像内的移动区域,得到该M个影像群组的移动程度值,以及根据该M个影像群组的移动程度值以及各影像群组内的影像的数量,判断各影像群组属于背景影像群组或前景影像群组。藉由本发明所提供的方法,即使有前景物件停止移动并停留在影像装置的视野范围,仍可正确地判断出前景影像及背景影像,带给使用者更大的方便。
以上所述仅为本发明的较佳实施例,凡依本发明权利要求所做的均等变化与修饰,皆应属本发明的涵盖范围。
Claims (21)
1.一种判断前景及背景影像的方法,其特征在于,包含:
产生N个母影像中关注区域内的N个子区域影像的特征数据;
根据该N个子区域影像的特征数据,将该N个子区域影像分类至M个影像群组中的影像群组;
根据该N个子区域影像内的移动区域,得到该M个影像群组的移动程度值;以及
根据该M个影像群组的移动程度值以及各影像群组内的影像的数量,判断各影像群组属于背景影像群组或前景影像群组;
其中M以及N皆表示正整数。
2.根据权利要求1所述的方法,其特征在于,分类至背景影像群组的子区域影像为背景影像,且分类至前景影像群组的子区域影像为前景影像。
3.根据权利要求1所述的方法,其特征在于,该M个影像群组分别对应于M个数据区段。
4.根据权利要求3所述的方法,其特征在于,根据该N个子区域影像的特征数据,将该N个子区域影像分类至该M个影像群组中的影像群组包含:
根据该N个子区域影像的特征数据分别与该M个数据区段的代表性特征数据之间的欧式距离,将该N个子区域影像分类至该M个影像群组中的影像群组。
5.根据权利要求1所述的方法,其特征在于,产生该N个母影像中该关注区域内的N个子区域影像的特征数据包含:
根据该N个子区域影像的复数个像素数据,产生该N个子区域影像的亮度平均值、色坐标平均值,或是亮度分布数据。
6.根据权利要求1所述的方法,其特征在于,另包含:
根据该N个子区域影像的复数个区块的移动向量,得到该N个子区域影像中移动的区块的数量,以作为该N个子区域影像的移动程度值。
7.根据权利要求6所述的方法,其特征在于,另包含:
比较该N个母影像中的相邻的母影像,以得到该N个子区域影像的该复数个区块的移动向量。
8.根据权利要求1所述的方法,其特征在于,另包含:
当接收第(N+1)母影像时,产生该第(N+1)母影像的该关注区域内的第(N+1)子区域影像的特征数据;
根据该第(N+1)子区域影像的特征数据,将该第(N+1)子区域影像分类至该M个影像群组中的第一影像群组;以及
将该第一影像群组的移动程度值加上该第(N+1)子区域影像的移动程度值。
9.根据权利要求8所述的方法,其特征在于,另包含:
将该N个子区域影像中的第一子区域影像所属的影像群组的移动程度值减去该第一子区域影像的移动程度值。
10.根据权利要求1所述的方法,其特征在于,根据该M个影像群组的移动程度值以及各影像群组内的影像的数量,判断各影像群组属于背景影像群组或前景影像群组包含:
比较该M个影像群组的影像数量与数量阀值,以及比较该M个影像群组的移动程度值与移动阀值,以判断各影像群组属于背景影像群组或前景影像群组。
11.根据权利要求1所述的方法,其特征在于,另包含:
根据该N个母影像中的第一母影像的复数个区块的移动向量以及第二母影像的复数个区块的移动向量,产生该第一母影像中的物件信息;以及
根据该第一母影像于该关注区域内的物件的大小以及移动的信息,得到该N个子区域影像中的第一子区域影像的移动程度值。
12.根据权利要求11所述的方法,其特征在于,根据该第一母影像于该关注区域内的物件的大小以及移动的信息,得到该N个子区域影像中的该第一子区域影像的移动程度值包含:
根据该第一母影像中的物件于该关注区域内所占的移动的区块的数量,得到该第一关注区域于第一时段内属于有物件移动的区块的数量,以作为该第一子区域影像的移动程度值。
13.根据权利要求1所述的方法,其特征在于,另包含:
当接收第(N+1)母影像时,根据该N个母影像中的第N母影像以及该第(N+1)母影像的差异,决定维持该M个影像群组的移动程度值以及各影像群组内的影像的数量不变。
14.根据权利要求13所述的方法,其特征在于,当接收该第(N+1)母影像时,根据该N个母影像中的该第N母影像以及该第(N+1)母影像的差异,决定维持该M个影像群组的移动程度值以及各影像群组内的影像的数量不变包含:
当该N个母影像中的该第N母影像以及该第(N+1)母影像的特征数据的差异大于影像差异阀值,决定维持该M个影像群组的移动程度值以及各影像群组内的影像的数量不变。
15.根据权利要求1所述的方法,其特征在于,另包含:
当接收第(N+1)母影像且该第(N+1)母影像的该关注区域的边缘有移动的区块时,决定维持该M个影像群组的移动程度值以及各影像群组内的影像的数量不变。
16.根据权利要求1所述的方法,其特征在于,另包含:
当接收第(N+1)母影像时,根据该第(N+1)母影像于该关注区域内的子区域影像属于背景影像群组或前景影像群组,调整压缩该第(N+1)母影像时的码率;以及
根据该码率,压缩该第(N+1)母影像,以产生第一输出讯号。
17.根据权利要求1所述的方法,其特征在于,另包含:
当第(N+1)母影像于该关注区域内的子区域影像属于前景影像群组时,压缩该第(N+1)母影像于该关注区域内的子区域影像,产生第二输出讯号。
18.根据权利要求1所述的方法,其特征在于,另包含:
根据第(N+1)母影像于该关注区域内的子区域影像属于前景影像群组的信息,产生第二输出讯号。
19.根据权利要求1所述的方法,其特征在于,另包含:
在该N个母影像的该关注区域的子区域影像中,侦测目标物件,以得到各子区域影像的目标物件特征值;
根据各子区域影像的目标物件特征值,得到各影像群组的目标物件特征值;以及
根据各影像群组的移动程度值以及目标物件特征值,得到各影像群组中属于具有目标前景物件的影像群组。
20.根据权利要求19所述的方法,其特征在于,根据各影像群组的移动程度值以及目标物件特征值,得到各影像群组中属于具有目标前景物件的影像群组包含:
当该M个影像群组中的第一影像群组的目标物件特征值大于目标物件阀值,且该第一影像群组的移动程度值大于移动阀值时,判断该第一影像群组为属于具有目标前景物件的影像群组。
21.根据权利要求19所述的方法,其特征在于,另包含:
当该关注区域内子区域影像分类至具有目标前景物件的影像群组时,增加压缩该关注区域的码率。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910455514.9A CN112017214A (zh) | 2019-05-29 | 2019-05-29 | 前景及背景影像判断方法 |
TW108126871A TWI716049B (zh) | 2019-05-29 | 2019-07-30 | 前景及背景影像判斷方法 |
US16/882,770 US11328431B2 (en) | 2019-05-29 | 2020-05-26 | Method for determining a foreground image and a background image |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910455514.9A CN112017214A (zh) | 2019-05-29 | 2019-05-29 | 前景及背景影像判断方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112017214A true CN112017214A (zh) | 2020-12-01 |
Family
ID=73500910
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910455514.9A Pending CN112017214A (zh) | 2019-05-29 | 2019-05-29 | 前景及背景影像判断方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11328431B2 (zh) |
CN (1) | CN112017214A (zh) |
TW (1) | TWI716049B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115190311B (zh) * | 2022-09-08 | 2022-11-15 | 湖北工业大学 | 一种安防监控视频压缩存储方法 |
Family Cites Families (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4552296B2 (ja) * | 2000-09-08 | 2010-09-29 | ソニー株式会社 | 情報処理装置および情報処理方法、並びに記録媒体 |
US7865015B2 (en) * | 2006-02-22 | 2011-01-04 | Huper Laboratories Co. Ltd. | Method for video object segmentation |
TW201028964A (en) * | 2009-01-23 | 2010-08-01 | Ind Tech Res Inst | Depth calculating method for two dimension video and apparatus thereof |
TWI475882B (zh) * | 2009-12-30 | 2015-03-01 | Altek Corp | Motion detection method using the adjusted digital camera of the shooting conditions |
TWI493963B (zh) * | 2011-11-01 | 2015-07-21 | Acer Inc | 影像產生裝置及影像調整方法 |
TWI483612B (zh) * | 2011-12-22 | 2015-05-01 | Nat Univ Chung Cheng | Converting the video plane is a perspective view of the video system |
US9681125B2 (en) * | 2011-12-29 | 2017-06-13 | Pelco, Inc | Method and system for video coding with noise filtering |
US10462365B1 (en) * | 2013-03-14 | 2019-10-29 | Hrl Laboratories, Llc | Low power surveillance system |
US9158985B2 (en) * | 2014-03-03 | 2015-10-13 | Xerox Corporation | Method and apparatus for processing image of scene of interest |
US9286690B2 (en) * | 2014-03-14 | 2016-03-15 | National Taipei University Of Technology | Method and apparatus for moving object detection using fisher's linear discriminant based radial basis function network |
US9123133B1 (en) * | 2014-03-26 | 2015-09-01 | National Taipei University Of Technology | Method and apparatus for moving object detection based on cerebellar model articulation controller network |
US9349193B2 (en) * | 2014-03-31 | 2016-05-24 | National Taipei University Of Technology | Method and apparatus for moving object detection using principal component analysis based radial basis function network |
US9917988B2 (en) * | 2014-04-09 | 2018-03-13 | Mediatek Inc. | Method for detecting occlusion areas |
TWI617194B (zh) * | 2016-11-16 | 2018-03-01 | 晨星半導體股份有限公司 | 用來控制影像擷取裝置的電路及相關的方法 |
WO2018105112A1 (ja) * | 2016-12-09 | 2018-06-14 | 株式会社日立国際電気 | 水上侵入検知システムおよびその方法 |
US10210392B2 (en) * | 2017-01-20 | 2019-02-19 | Conduent Business Services, Llc | System and method for detecting potential drive-up drug deal activity via trajectory-based analysis |
US10839520B2 (en) * | 2017-03-03 | 2020-11-17 | The United States Of America, As Represented By The Secretary, Department Of Health & Human Services | Eye tracking applications in computer aided diagnosis and image processing in radiology |
US9965865B1 (en) * | 2017-03-29 | 2018-05-08 | Amazon Technologies, Inc. | Image data segmentation using depth data |
US10552962B2 (en) * | 2017-04-27 | 2020-02-04 | Intel Corporation | Fast motion based and color assisted segmentation of video into region layers |
KR20190004010A (ko) * | 2017-07-03 | 2019-01-11 | 삼성에스디에스 주식회사 | 전경 추출 방법 및 장치 |
US10860836B1 (en) * | 2018-11-15 | 2020-12-08 | Amazon Technologies, Inc. | Generation of synthetic image data for computer vision models |
KR102008482B1 (ko) * | 2018-11-21 | 2019-08-07 | 제주대학교 산학협력단 | Cctv 영상 스마트 감시 시스템 및 그 방법 |
CN113228101B (zh) * | 2018-12-25 | 2024-05-10 | 浙江大华技术股份有限公司 | 用于图像分割的***和方法 |
KR102597518B1 (ko) * | 2019-02-20 | 2023-11-03 | 삼성전자주식회사 | 영상에 보케 효과를 적용하는 전자 장치 및 그 제어 방법 |
US10909349B1 (en) * | 2019-06-24 | 2021-02-02 | Amazon Technologies, Inc. | Generation of synthetic image data using three-dimensional models |
US11109586B2 (en) * | 2019-11-13 | 2021-09-07 | Bird Control Group, Bv | System and methods for automated wildlife detection, monitoring and control |
US11354940B2 (en) * | 2020-03-31 | 2022-06-07 | Konica Minolta Business Solutions U.S.A., Inc. | Method and apparatus for foreground geometry and topology based face anti-spoofing |
-
2019
- 2019-05-29 CN CN201910455514.9A patent/CN112017214A/zh active Pending
- 2019-07-30 TW TW108126871A patent/TWI716049B/zh active
-
2020
- 2020-05-26 US US16/882,770 patent/US11328431B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
TW202044197A (zh) | 2020-12-01 |
TWI716049B (zh) | 2021-01-11 |
US11328431B2 (en) | 2022-05-10 |
US20200380698A1 (en) | 2020-12-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7254268B2 (en) | Object extraction | |
JP3862140B2 (ja) | ピクセル化されたイメージをセグメント化する方法および装置、並びに記録媒体、プログラム、イメージキャプチャデバイス | |
US9179071B2 (en) | Electronic device and image selection method thereof | |
Karaman et al. | Comparison of static background segmentation methods | |
JP2003058894A (ja) | ピクセル化された画像をセグメント化するための方法および装置 | |
KR20170088227A (ko) | 영상에서의 전경 검출 장치 및 방법 | |
US10354352B2 (en) | Image processing apparatus, image processing method, and storage medium | |
CN115298638A (zh) | 用于基于手势控制设备的方法和*** | |
KR20180011215A (ko) | 이미지를 위한 깊이 맵을 결정하기 위한 방법 및 장치 | |
EP1958451B1 (en) | Motion vector field correction | |
CN112001853A (zh) | 图像处理设备、图像处理方法、摄像设备和存储介质 | |
US20110085026A1 (en) | Detection method and detection system of moving object | |
WO2003102872A2 (en) | Unit for and method of estimating a motion vector | |
JP2006509292A (ja) | セグメント化されたイメージから偽エッジを除去するための装置及び方法 | |
US11328431B2 (en) | Method for determining a foreground image and a background image | |
JP4537794B2 (ja) | 画像処理装置及び画像処理プログラム | |
JPS6376578A (ja) | 自動2値化方式 | |
CN113727176B (zh) | 一种视频运动字幕检测方法 | |
JP2009296284A (ja) | 映像処理装置及びそれを用いた映像表示装置 | |
US20060158513A1 (en) | Recognizing film and video occurring in parallel in television fields | |
CN114567794B (zh) | 一种直播视频背景替换方法 | |
KR101706347B1 (ko) | 샷 경계 검출 방법, 그리고 이를 구현한 영상 처리 장치 및 방법 | |
CN111623810A (zh) | 移动侦测方法及其电路 | |
KR101537282B1 (ko) | 국부 조명변화에 강인한 모션블롭 검출방법 | |
CN111294548B (zh) | 画面翻转方法、装置、设备与计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |