CN1222897C - 视频序列中产生标记对象图像的设备和方法 - Google Patents
视频序列中产生标记对象图像的设备和方法 Download PDFInfo
- Publication number
- CN1222897C CN1222897C CNB011252383A CN01125238A CN1222897C CN 1222897 C CN1222897 C CN 1222897C CN B011252383 A CNB011252383 A CN B011252383A CN 01125238 A CN01125238 A CN 01125238A CN 1222897 C CN1222897 C CN 1222897C
- Authority
- CN
- China
- Prior art keywords
- fragment
- frame
- inquiry
- image
- frames
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/73—Querying
- G06F16/732—Query formulation
- G06F16/7335—Graphical querying, e.g. query-by-region, query-by-sketch, query-by-trajectory, GUIs for designating a person/face/object as a query predicate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S707/00—Data processing: database and file management or data structures
- Y10S707/99941—Database schema or data structure
- Y10S707/99944—Object-oriented database structure
- Y10S707/99945—Object-oriented database structure processing
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S707/00—Data processing: database and file management or data structures
- Y10S707/99941—Database schema or data structure
- Y10S707/99948—Application of database or data structure, e.g. distributed, multimedia, or image
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Library & Information Science (AREA)
- Databases & Information Systems (AREA)
- Human Computer Interaction (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
- Studio Circuits (AREA)
- Television Signal Processing For Recording (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种基于询问对象的图像来标记视频序列中的询问对象的方法,包括步骤:接收所述视频序列以及所述询问对象的图像;将所述视频序列划分为一个或多个片段,每个所述片段是具有类似画面的一系列帧,并且从每个所述片段中选出一个或多个关键帧;确定在每个所述关键帧中是否存在对应于所述询问对象的图像的对象,并且如果在所述关键帧中存在着对应的对象,则提取由对应于询问对象的所述对象的区域所形成的初始对象区域;基于所述初始对象区域,跟踪每个所述片段的所有帧的对象区域;基于所述询问对象中的信息,标记在每个所述帧中跟踪的对象区域。这样,应用产生标记对象图像的方法而无须考虑对象的运动程度并且提取询问对象的时间可减少。
Description
技术领域
本发明是关于由视频序列提取出询问对象的设备和方法及为询问对象产生标记对象图像。
背景技术
在传统技术中,为了在运动图像中产生对象标记,询问对象是在运动视频序列中由手工从每幅图像提取出来的。最近,公布了无需多余操作的自动提取对象方法。
图像自动提取对象方法包括了基于运动的提取方法和基于特征的提取方法。基于运动的提取方法又包含了基于帧差的提取法,背景删减提取法,运动分析提取法。帧差提取法,如美国专利第5,500,904和5,109,435号中披露,由计算一幅图像中连续的帧的不同亮度来提取运动对象。背景删减提取法,如美国专利第5,748,775号中披露,背景图像是由该图像的特征参数的暂短改变而得以恢复,而对象区域是根据原图像和背景的不同而提取的。在运动分析提取法中,如美国联邦专利第5,862,508号中披露,运动区域是通过计算运动对象的运动方向及速度而被提取的。
然而,上述对象区域提取法只适用于对象的运动速度在一定范围内。如果对象为静止,或以很慢速度运动,或以很高速度运动,上述方法就很难应用。
利用对象区域的特征值来解决问题包括了模板匹配提取法,如美国联邦专利第5,943,442号中披露,多值阈值提取法,如美国专利第5,138,671号中披露,为一种特征值对照方法。为了利用这些方法从运动图像数据中提取出询问对象,上述方法必须对所有询问对象的帧进行解算,这样就需要大量时间。
发明内容
为了解决上述问题,本发明的目的在于提供了一种设备和方法,用于在运动图像中产生标记对象图像,其中询问对象区域可基于关键帧而在每一帧中自动被提取,而无需进行任何手工操作,也无需考虑对象的运动程度,且在各帧中产生基于相应的询问对象的信息而得到标记的对象图像。
根据本发明的一个方面,提供了一种基于询问对象的图像来标记视频序列中的询问对象的方法,所述标记的视频序列被用于基于对象的交互式服务中,所述方法包括步骤:
(a)接收所述视频序列以及所述询问对象的图像;
(b)将所述视频序列划分为一个或多个片段,每个所述片段是具有类似画面的一系列帧,并且从每个所述片段中选出一个或多个关键帧;
(c)确定在每个所述关键帧中是否存在对应于所述询问对象的图像的对象,并且如果在所述关键帧中存在着对应的对象,则提取由对应于询问对象的所述对象的区域所形成的初始对象区域;
(d)基于所述初始对象区域,跟踪每个所述片段的所有帧的对象区域;
(e)基于所述询问对象中的信息,标记在每个所述帧中跟踪的对象区域。
根据本发明的另一个方面,提供了一种基于询问对象的图像来标记视频序列中的询问对象的设备,所述标记的视频序列被用于基于对象的交互式服务中,所述设备包括:
用于接收所述视频序列的视频序列接收单元;
用于接收所述询问对象的图像的询问图像接收单元;
片段及关键帧设定单元,用于将所述视频序列划分为一个或多个片段,并且用于从每个所述片段中选出一个或多个关键帧,其中每个所述片段是具有类似画面的一系列帧;
用于确定在每个所述关键帧中是否存在对应于所述询问对象的图像的对象,并且如果在所述关键帧中存在着对应的对象,则提取由对应于询问对象的所述对象的区域所形成的初始对象区域的初始对象区域提取器;
用于基于所述初始对象区域,跟踪每个所述片段的所有帧的对象区域的对象区域追踪器;
用于基于所述询问对象中的信息,标记在每个所述帧中跟踪的对象区域的标记对象图像发生器。
附图说明
参照附图,并通过描述优选实施例,上述目标及本发明的优点将更为显而易见。
图1为应用本发明的基于对象的交互式服务***的框图。
图2为根据本发明的用于产生标记对象图像的设备的框图。
图3中3A和3B为本发明的用于产生标记对象图像的方法的流程图。
图4为分解为p段片段及每段片段的关键帧的视频序列的,实例。
图5为分解为9段片段及每段片段的关键帧的视频列的,实例。
图6为一个图像帧及在此图像帧中的询问对象的,实例。
图7对象标记和相应的标记号的,实例。
图8为对象被标记并标出质心及包含对象的最小矩形的实例。
图9为利用图8中对象标记的质心及包含对象的最小矩形的坐标值。
图10显示了应用本发明的基于对象的交互式服务的,实施例。
具体实施方式
图1为应用于本发明的基于对象的交互式服务***的流程示意图。该基于对象的交互式服务***包括用户终端100,服务器120,用于视频序列的图像数据库(DB)130,和用于感兴趣对象的对象数据库DB 140。
作为本发明的一个应用实例,为基于对象交互式服务***的服务,如图1中所示,在运动图像数据中的一个或多个对象区域-它们相应于一个或多个询问对象-将作为标记对象图像而得到产生。
参照图1,每一用户终端100包括基于对象的对象交互图像放映机或MPEG4放映机,并通过网络100运用远程手段而连接到服务器120上。当用户终端100与服务器120连接时,用户可操作该交互放映设备,而在用户终端的屏幕上观看由服务器120提供的运动图像(视频序列)。在通过基于图像的交互放映设备观看的同时,用户可在任意视频序列帧中选择任何对象(即感兴趣的对象)。
服务器120给每台用户终端提供储存在图像数据库DB130的视频序列,并通过引用对象数据库DB 140提供该用户选定的该对象的详细信息。此时,用户可在观看终端的RGB(或YUV)帧的同时,在另一帧观看被选定对象的信息。
图1中,服务器120管理着储存各种视频序列的图像数据库DB130,也同时管理着储存着感兴趣对象(如某一产品或人物)的对象数据库DB 140,DB 140亦包括储存的视频序列的一些特殊图像。DB130和140可在服务器120中实施。图1中所示交互式服务***可在互联网环境下实现。在此情况下,服务器120可作为网络服务器,每一用户终端100包括一个网络浏览器,并通过互联网110联接到网络服务器120上。
下文中,将描述本发明由视频序列中对产生标记对象图像的装置和方法。
图2为根据本发明的用于产生标记对象图像的设备的框图。标记对象图像产生设备包括了视频序列接收单元200、询问图像接收单元210、片段及关键帧设定单元220、初始对象区域提取器230、对象区域追踪器240和标记对象图像发生器250。
参照图2,视频序列接收单元200接收某一视频序列,即一系列三原色帧数据,如RGB(或YUV)图像,并将接收到的视频序列输出到片段及关键帧设定单元220。这里,视频序列为一系列帧。每一帧可能是包含了询问对象的图像或是不包含询问对象的图像。
摄影片段及关键帧设定单元220将输入的视频序列分解为一段或几段片段,每段片段为一系列有相似画面的帧,并将分解的片段的信息,如构成每段片段的帧的信息,输出到对象区域追踪器240。同样,摄影片段及关键帧设定单元220选出关键帧(代表帧(R))作为该段片段的代表。这里,每段片段中的关键帧数为一个或多个。
初始对象提取器230依次地接收询问图像,各询问图像包括从询问图像接收单元210输出的询问对象及从摄影片段及关键帧设定单元220输出的每段片段的关键帧。初始对象区域提取器230判定每段片段的关键帧是否包括从询问图像接收单元210输入的相应于询问图像的询问对象的对象,提取与每段片段关键帧的询问对象对应的初始对象区域,并将初始对象区域转换为二值化图像、灰度图像等等,以产生一段遮蔽(mask)图像。在对所有的关键帧的每一询问对象制成遮蔽图像后,遮蔽(mask)图像被输出到对象区域追踪器240。
对象区域追踪器240接收由原始视频序列分割的片段,各个询问图像却包括一个询问对像,及片段遮蔽图像。对象区域追踪器240根据初始对象区域对每一片段的所有帧中的对象区域进行跟踪。特别是,对每一片段的所有帧的对象区域都根据相应的根据有询问对象而提取的初始对象区域而得到跟踪。如果某一帧中存在对象区域,帧中对象区域的位置和区域被确定,初始对象区域被转换为二值化图像,灰度图像等,以产生片段遮蔽图像帧。这种对象区域跟踪在每一片段的所有帧中得到进行和重复,直至产生所有询问对象的帧遮蔽图像。
标记对象图像产生器250根据每一帧中询问对象而合并被跟踪的帧遮蔽图像。特别是,每一帧中的基于询问对象的帧遮蔽图像被合并为单一标记对象图像帧,其中所有的对象都被标记。例如,假设一个帧包含三个询问对象,相应于三个询问对象的对象区域可以被标上一位于1和255之间的像素值,而无询问对象的其它像素区域可标为“0”(关)。
标记对象图像帧的信息由标记对象图像发生器250产生,相应于被标记对象图像的真实对象的信息被储存在图1所示的对象数据库DB 140中。
图3A和3B为本发明的标记对象图像产生方法的流程图。图2中标记对象图像产生设备的操作将在图3A和3B详细描述。
从中将提取询问对象的视频序列被分割为一段或几段片段,每段片段包含有相似画面的一系列帧,每段片段中选出一个或几个关键帧(步骤300到304)。通常,一段视频序列可根据镜头的角度、人物或主题、地点、和亮度的变化,而被分解为多段片段。例如,就色彩而言,每段片段之间的变化程度大于构成每段片段的帧之间的变化程度,感兴趣的片段的两个帧之间(如关键帧)的色彩的不同会被辨别出。
构成每段片段的帧的某一帧被选为关键帧。每段片段的第一或中间的帧被选为关键帧。在本发明中只有每段片段的关键帧被用于决定每段片段中是否存在询问对象。例如,如果有p段片段,则关键帧数等于p。
具体的来说,在图3中,视频序列和询问对象(1到n)被输入(步骤300)。视频序列被分解为一段或多段(1到p)片段,每段片段中选中关键帧(步骤302)。然后,p个关键帧被缓存(步骤304)。图4显示了分解为p段片段的视频序列的一个实例及它们的关键帧。图4中,每段片段的第一个帧被选为关键帧,如关键帧KF-1,KF-2,KF-3,....,和KF-p。图5显示了从一段肥皂剧中提取的视频序列被分解为8段片段及选择每段片段的关键帧的实例。图5中,视频序列共由619个帧组成并被分为9段片段,每段片段的关键帧由帧数来确定。
根据询问对象从每一关键帧中提取出对象区域(步骤306到312)。更可取的是,根据彩色直方图或诸如构成对象的多色区的组构或结构,判定在各询问对象中是否存在与询问对象相似的对象。
具体的来说,n个询问对象一一被输入。第一个询问对象被装载(步骤306)。且检查p个关键帧的每一帧中是否有与第一个询问对象相似的一个对象,且如果这样的对象存在,该对象作为相应的关键帧的一个初始对象区域而得到提取(步骤308)。属于该关键帧的初始对象区域的像素转到开(“1”),其余的像素转到关(“0”),并对此关键帧产生一段片段遮蔽图像(步骤310)。判断询问对象数是否大于n(步骤312)。如果不是,下一个询问对象被装载(步骤314)。对n个询问对象重复上述步骤。具体的来说,相应于p个关键帧和n个询问对象共产生n×p个片段遮蔽图像(无对象区域的片段遮蔽图像的像素都转到关(“0”))。
基于初始对象区域,每段片段的所有帧的对象区域都被跟踪(步骤316到330)。在前面步骤中基于询问区域而从片段的每一关键帧中提取出的初始对象区域被延伸到每段片段的其余帧。特别是,将片段中每一关键帧中提取出的片段遮蔽图像作为最初遮蔽图像,在每段片段的所有帧中,根据相应于询问对象的询问图像的色彩信息,相应于询问对象的对象区域的位置和面积(范围)得到跟踪。通过检查被跟踪对象区域的相似性和利用运动模型及色彩信息,通过考虑对象图像面积和位置的变化,更精确的对象区域会被提取。
具体的来说,在装载了第一个询问对象(步骤316)的状态下,装载了第一询问对象的片段遮蔽图像时(步骤318)。当装载的片段遮蔽图像的像素转到关(“0”)时,即,当确定装载的片段遮蔽图像不包括一个相应于第一询问图像的对象区域时(步骤320),下一段片段遮蔽图像被装载(步骤328)。特别是,如果确定装载的片段遮蔽图像不包括相应于第一询问图像的对象区域时,将确定该片段数是否大于p(步骤326)。如果该片段数不大于p,下一片段遮蔽图像被装载(步骤328)。同时,当确定对象区域存在于装载的片段遮蔽图像中,对象区域在对应的片段的所有帧中被跟踪(步骤322),从而根据第一个询问对象为该相应片段产生帧遮蔽图像(步骤324)。对所有片段和所有询问对象重复上述操作(步骤330和332)。
在每帧中,基于询问对象的帧图像遮蔽被合并,并且存在于每帧的询问对象区域被标记(步骤334)。当输入视频序列由m个帧组成并每帧包含n个询问对象时,n-乘-m个帧遮蔽图像可通过上述过程生成并被合并为m个帧。然而,并非所有帧都包含n个询问对象,所以产生的帧遮蔽图像数少于n-乘-m个。每个询问对象具有介于0与255之间的特定色值,存在于这些合并帧中的询问对象区域的像素对应于这些询问对象,并且具有分配给对应询问对象的唯一色值。
图6为一帧图像及在此帧图像中的询问对象的实例。图6中,左边显示的任意帧图像有多个询问对象,如办公笔记本552、项链553、杯子554、衣服555、和背景551。
图7为用标记数对象标记的实例。如图7所示,每一询问对象具有唯一标记数。这样,当每一帧中根据询问对象产生的帧遮蔽图像被合并时,每一帧遮蔽图像被标记了相应的唯一标记数,如图7右边所示。
图8为对象被标记并标出质心及包含对象的最小矩形的实例。作为代表对象区域的另外一种方法,对象区域的质心,由“X”标志,包含对象区域的最小矩形或包含在一个帧中的对象区域内的最小矩形可用于代替唯一标记数。这里,P1和P2代表矩形的两个对角。图9为利用图8中包含对象的最小矩形的质心和坐标值对象标记的实例。
根据本发明,视频序列被分解为多段片段,每片段由一系列有相似画面的帧组成,通过判定片段的关键帧中是否存在对象图像从每段片段中提取出一个最初对象图像。基于从每一关键帧提取出的最初对象图像,对象区域在该片段的所有帧中被跟踪。然后,对象区域被标记以产生标记对象图像。
因此,与传统提取对象并产生标记对象图像的方法相比,本发明的应用无须考虑对象的运动程度而且提取询问对象的时间减少。再者,本发明无须多余的手工操作即可提供对象交互式服务。
图10显示应用本发明的基于对象的交互式服务的一个实施例。存在于每一帧的对象图像被标记为标记对象图像并储存在对象数据库DB 140,参见图1的描述。例如,当用户点击任意帧中妇女罩衫的任意部分时,如图10右边所示,利用基于对象的交互播放器,用户浏览器被提供相应于点击的对象图像的对象信息,该信息被存储在对象数据库DB 140中。图10的右边显示对象信息的实例。
通过运行来自计算机可用介质的程序,本发明可在通用的数据计算机上实现,该介质包括但不限于存储介质,如磁存储介质(如ROM,软盘,硬盘,等)、光学可读介质(如CD-ROM,DVD,等)和载波(如,互联网上的传输)。在通过网络连接的分布式计算机***中,有可读程序编码单元的计算机可用介质亦可实现本发明。
如上所述,在根据本发明的在视频序列中产生标记对象图像的设备和方法中,根据询问对象所产生的帧遮蔽图像在每一帧中被合并,这样,比较传统的对象提取方法,由一个帧中提取多个询问对象的时间可减少。因此,本发明可很容易的用于产生、编辑、和编码基于对象的运动图像数据。本发明可广泛地用于交互的互联网传播中,亦可用于准备互联网下的广告材料,互联网内容,和作为书写工具。
虽然结合本发明的优选实施例对本发明进行了具体的描述,但本领域的技术人员应当理解的是,在不脱离如所附权利要求书限定的本发明的范围的前提下,可进行各种形式和细节上的改动。
Claims (8)
1、一种基于询问对象的图像来标记视频序列中的询问对象的方法,所述标记的视频序列被用于基于对象的交互式服务中,所述方法包括步骤:
(a)接收所述视频序列以及所述询问对象的图像;
(b)将所述视频序列划分为一个或多个片段,每个所述片段是具有类似画面的一系列帧,并且从每个所述片段中选出一个或多个关键帧;
(c)确定在每个所述关键帧中是否存在对应于所述询问对象的图像的对象,并且如果在所述关键帧中存在着对应的对象,则提取由对应于询问对象的所述对象的区域所形成的初始对象区域;
(d)基于所述初始对象区域,跟踪每个所述片段的所有帧的对象区域;
(e)基于所述询问对象中的信息,标记在每个所述帧中跟踪的对象区域。
2、根据权利要求1的方法,其中步骤(c)包括:
将从每个所述关键帧中提取的所述初始对象区域的像素设定为第一数值,将每个所述关键帧中的剩余像素设定为第二数值,以便对于每个所述帧中的所有关键帧生成片段遮蔽图像。
3、根据权利要求2所述的方法,其中步骤(d)包括:
(d1)基于所述询问对象的片段遮蔽图像以及视频特征值,跟踪每个所述片段的所有帧中的对象区域;
(d2)将在每个所述帧中跟踪的对象区域的像素设定为所述第一数值,将每个所述帧的剩余像素设定为所述第二数值,以便对于每个所述片段的所有帧生成片段遮蔽图像。
4、根据权利要求1所述的方法,其中在步骤(e)中,在每个所述帧中,都利用为所述询问对象所设定的唯一编号来标记每个所述对象区域。
5、一种基于询问对象的图像来标记视频序列中的询问对象的设备,所述标记的视频序列被用于基于对象的交互式服务中,所述设备包括:
用于接收所述视频序列的视频序列接收单元;
用于接收所述询问对象的图像的询问图像接收单元;
片段及关键帧设定单元,用于将所述视频序列划分为一个或多个片段,并且用于从每个所述片段中选出一个或多个关键帧,其中每个所述片段是具有类似画面的一系列帧;
用于确定在每个所述关键帧中是否存在对应于所述询问对象的图像的对象,并且如果在所述关键帧中存在着对应的对象,则提取由对应于询问对象的所述对象的区域所形成的初始对象区域的初始对象区域提取器;
用于基于所述初始对象区域,跟踪每个所述片段的所有帧的对象区域的对象区域追踪器;
用于基于所述询问对象中的信息,标记在每个所述帧中跟踪的对象区域的标记对象图像发生器。
6、根据权利要求5所述的设备,其中所述初始对象区域提取器将从每个所述关键帧中提取的所述初始对象区域的像素设定为第一数值,将每个所述关键帧中的剩余像素设定为第二数值,以便对于每个所述帧中的所有关键帧生成片段遮蔽图像。
7、根据权利要求6所述的设备,其中所述对象区域追踪器基于所述询问对象的片段遮蔽图像以及视频特征值,跟踪每个所述片段的所有帧中的对象区域;并且将在每个所述帧中跟踪的对象区域的像素设定为所述第一数值,将每个所述帧的剩余像素设定为所述第二数值,以便对于每个所述片段的所有帧生成片段遮蔽图像。
8、根据权利要求5所述的设备,其中所述标记对象图像发生器利用为所述询问对象设定的唯一编号来标记每个帧中的每个对象区域。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020010003423A KR100355382B1 (ko) | 2001-01-20 | 2001-01-20 | 영상 시퀀스에서의 객체 레이블 영상 생성장치 및 그 방법 |
KR3423/2001 | 2001-01-20 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN1367616A CN1367616A (zh) | 2002-09-04 |
CN1222897C true CN1222897C (zh) | 2005-10-12 |
Family
ID=19704920
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNB011252383A Expired - Fee Related CN1222897C (zh) | 2001-01-20 | 2001-08-31 | 视频序列中产生标记对象图像的设备和方法 |
Country Status (6)
Country | Link |
---|---|
US (1) | US7024020B2 (zh) |
EP (1) | EP1225518B1 (zh) |
JP (1) | JP4370387B2 (zh) |
KR (1) | KR100355382B1 (zh) |
CN (1) | CN1222897C (zh) |
DE (1) | DE60116717T2 (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101420595B (zh) * | 2007-10-23 | 2012-11-21 | 华为技术有限公司 | 一种描述和捕获视频对象的方法及设备 |
CN110119650A (zh) * | 2018-02-06 | 2019-08-13 | 优酷网络技术(北京)有限公司 | 信息展示方法及装置 |
Families Citing this family (63)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6774908B2 (en) | 2000-10-03 | 2004-08-10 | Creative Frontier Inc. | System and method for tracking an object in a video and linking information thereto |
US20030098869A1 (en) * | 2001-11-09 | 2003-05-29 | Arnold Glenn Christopher | Real time interactive video system |
KR100486709B1 (ko) * | 2002-04-17 | 2005-05-03 | 삼성전자주식회사 | 객체기반 대화형 동영상 서비스 시스템 및 그 방법 |
JP4300767B2 (ja) | 2002-08-05 | 2009-07-22 | ソニー株式会社 | ガイドシステム、コンテンツサーバ、携帯装置、情報処理方法、情報処理プログラム、及び記憶媒体 |
US7647301B2 (en) * | 2003-08-08 | 2010-01-12 | Open-Circuit, Ltd. | Information provision apparatus, format separation apparatus, information provision method and program |
US7299126B2 (en) * | 2003-11-03 | 2007-11-20 | International Business Machines Corporation | System and method for evaluating moving queries over moving objects |
US7664292B2 (en) * | 2003-12-03 | 2010-02-16 | Safehouse International, Inc. | Monitoring an output from a camera |
US7697026B2 (en) * | 2004-03-16 | 2010-04-13 | 3Vr Security, Inc. | Pipeline architecture for analyzing multiple video streams |
US20050229227A1 (en) * | 2004-04-13 | 2005-10-13 | Evenhere, Inc. | Aggregation of retailers for televised media programming product placement |
GB2414615A (en) | 2004-05-28 | 2005-11-30 | Sony Uk Ltd | Object detection, scanning and labelling |
US20080177640A1 (en) | 2005-05-09 | 2008-07-24 | Salih Burak Gokturk | System and method for using image analysis and search in e-commerce |
US7660468B2 (en) * | 2005-05-09 | 2010-02-09 | Like.Com | System and method for enabling image searching using manual enrichment, classification, and/or segmentation |
US7809722B2 (en) * | 2005-05-09 | 2010-10-05 | Like.Com | System and method for enabling search and retrieval from image files based on recognized information |
US7945099B2 (en) | 2005-05-09 | 2011-05-17 | Like.Com | System and method for use of images with recognition analysis |
US7542610B2 (en) * | 2005-05-09 | 2009-06-02 | Like.Com | System and method for use of images with recognition analysis |
US7519200B2 (en) | 2005-05-09 | 2009-04-14 | Like.Com | System and method for enabling the use of captured images through recognition |
US7760917B2 (en) | 2005-05-09 | 2010-07-20 | Like.Com | Computer-implemented method for performing similarity searches |
US7783135B2 (en) * | 2005-05-09 | 2010-08-24 | Like.Com | System and method for providing objectified image renderings using recognition information from images |
US7657126B2 (en) * | 2005-05-09 | 2010-02-02 | Like.Com | System and method for search portions of objects in images and features thereof |
US8732025B2 (en) * | 2005-05-09 | 2014-05-20 | Google Inc. | System and method for enabling image recognition and searching of remote content on display |
WO2006122164A2 (en) * | 2005-05-09 | 2006-11-16 | Riya, Inc. | System and method for enabling the use of captured images through recognition |
US7809192B2 (en) * | 2005-05-09 | 2010-10-05 | Like.Com | System and method for recognizing objects from images and identifying relevancy amongst images and information |
US7657100B2 (en) | 2005-05-09 | 2010-02-02 | Like.Com | System and method for enabling image recognition and searching of images |
US8494951B2 (en) * | 2005-08-05 | 2013-07-23 | Bgc Partners, Inc. | Matching of trading orders based on priority |
US8600832B2 (en) | 2006-03-03 | 2013-12-03 | The Invention Science Fund I, Llc | Considering selling exemplar-based goods, items, or services |
US20070208629A1 (en) * | 2006-03-02 | 2007-09-06 | Jung Edward K Y | Shopping using exemplars |
US9690979B2 (en) | 2006-03-12 | 2017-06-27 | Google Inc. | Techniques for enabling or establishing the use of face recognition algorithms |
US8571272B2 (en) * | 2006-03-12 | 2013-10-29 | Google Inc. | Techniques for enabling or establishing the use of face recognition algorithms |
US8233702B2 (en) * | 2006-08-18 | 2012-07-31 | Google Inc. | Computer implemented technique for analyzing images |
US8341152B1 (en) | 2006-09-12 | 2012-12-25 | Creatier Interactive Llc | System and method for enabling objects within video to be searched on the internet or intranet |
CN100413327C (zh) * | 2006-09-14 | 2008-08-20 | 浙江大学 | 一种基于轮廓时空特征的视频对象标注方法 |
KR100853267B1 (ko) * | 2007-02-02 | 2008-08-20 | 전남대학교산학협력단 | 스테레오 시각 정보를 이용한 복수 인물 추적 방법 및 그시스템 |
CN100568958C (zh) * | 2007-02-14 | 2009-12-09 | 成都索贝数码科技股份有限公司 | 一种基于网络的节目远程编辑方法 |
AU2008260048B2 (en) * | 2007-05-30 | 2012-09-13 | Creatier Interactive, Llc | Method and system for enabling advertising and transaction within user generated video content |
US7929764B2 (en) * | 2007-06-15 | 2011-04-19 | Microsoft Corporation | Identifying character information in media content |
US8416981B2 (en) * | 2007-07-29 | 2013-04-09 | Google Inc. | System and method for displaying contextual supplemental content based on image content |
US9189794B2 (en) * | 2008-02-11 | 2015-11-17 | Goldspot Media, Inc. | Method and apparatus for maximizing brand exposure in a minimal mobile display |
WO2009154597A1 (en) * | 2008-06-19 | 2009-12-23 | Thomson Licensing | Adaptive video key frame selection |
CN103632288A (zh) * | 2008-07-14 | 2014-03-12 | 谷歌股份有限公司 | 在展示网络内容时提供补充内容的***和计算机硬件*** |
US8239359B2 (en) * | 2008-09-23 | 2012-08-07 | Disney Enterprises, Inc. | System and method for visual search in a video media player |
US9715701B2 (en) * | 2008-11-24 | 2017-07-25 | Ebay Inc. | Image-based listing using image of multiple items |
CN102075689A (zh) * | 2009-11-24 | 2011-05-25 | 新奥特(北京)视频技术有限公司 | 一种快速制作动画的字幕机 |
JP4784709B1 (ja) * | 2011-03-10 | 2011-10-05 | オムロン株式会社 | 対象物追跡装置、対象物追跡方法、および制御プログラム |
WO2012171839A1 (en) * | 2011-06-17 | 2012-12-20 | Thomson Licensing | Video navigation through object location |
US8798362B2 (en) * | 2011-08-15 | 2014-08-05 | Hewlett-Packard Development Company, L.P. | Clothing search in images |
CN102930887A (zh) * | 2012-10-31 | 2013-02-13 | 深圳市宜搜科技发展有限公司 | 一种音频文件处理方法及*** |
US9626567B2 (en) * | 2013-03-13 | 2017-04-18 | Visible Measures Corp. | Automated video campaign building |
US9378556B2 (en) * | 2014-04-25 | 2016-06-28 | Xerox Corporation | Method for reducing false object detection in stop-and-go scenarios |
CN103970906B (zh) * | 2014-05-27 | 2017-07-04 | 百度在线网络技术(北京)有限公司 | 视频标签的建立方法和装置、视频内容的显示方法和装置 |
WO2017164640A1 (en) * | 2016-03-22 | 2017-09-28 | Jam2Go, Inc. | System and method for editing video contents automatically technical field |
KR101717014B1 (ko) * | 2016-04-21 | 2017-03-15 | (주)노바빈 | 비디오 컨텐츠 자동 편집 시스템 및 자동 편집 방법 |
CN107798272B (zh) * | 2016-08-30 | 2021-11-02 | 佳能株式会社 | 快速多目标检测与跟踪*** |
KR101751863B1 (ko) * | 2017-03-08 | 2017-06-28 | (주)잼투고 | 비디오 컨텐츠 자동 편집 시스템 및 자동 편집 방법 |
CN108629224B (zh) * | 2017-03-15 | 2019-11-05 | 北京京东尚科信息技术有限公司 | 信息呈现方法和装置 |
KR101827985B1 (ko) * | 2017-05-19 | 2018-03-22 | (주)잼투고 | 비디오 컨텐츠 자동 편집 시스템 및 자동 편집 방법 |
JP6856914B2 (ja) | 2017-07-18 | 2021-04-14 | ハンジョウ タロ ポジショニング テクノロジー カンパニー リミテッドHangzhou Taro Positioning Technology Co.,Ltd. | インテリジェントな物体追跡 |
TWI666595B (zh) * | 2018-02-26 | 2019-07-21 | 財團法人工業技術研究院 | 物件標示系統及方法 |
CN109284404A (zh) * | 2018-09-07 | 2019-01-29 | 成都川江信息技术有限公司 | 一种将实时视频中的场景坐标与地理信息相匹配的方法 |
JP7121277B2 (ja) * | 2018-09-28 | 2022-08-18 | 日本電信電話株式会社 | 情報同期装置、情報同期方法及び情報同期プログラム |
KR102604937B1 (ko) | 2018-12-05 | 2023-11-23 | 삼성전자주식회사 | 캐릭터를 포함하는 동영상을 생성하기 위한 전자 장치 및 그에 관한 방법 |
KR101997799B1 (ko) * | 2018-12-17 | 2019-07-08 | 엘아이지넥스원 주식회사 | 관심영역 연관 영상 제공시스템 |
KR102028319B1 (ko) * | 2018-12-17 | 2019-11-04 | 엘아이지넥스원 주식회사 | 연관 영상 제공장치 및 방법 |
US11823476B2 (en) | 2021-05-25 | 2023-11-21 | Bank Of America Corporation | Contextual analysis for digital image processing |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5109435A (en) | 1988-08-08 | 1992-04-28 | Hughes Aircraft Company | Segmentation method for use against moving objects |
JPH07104921B2 (ja) | 1989-11-17 | 1995-11-13 | 松下電器産業株式会社 | 画像閾値決定方法 |
JPH0766448B2 (ja) * | 1991-06-25 | 1995-07-19 | 富士ゼロックス株式会社 | 画像信号分析装置 |
US5500904A (en) | 1992-04-22 | 1996-03-19 | Texas Instruments Incorporated | System and method for indicating a change between images |
JP3329408B2 (ja) * | 1993-12-27 | 2002-09-30 | 日本電信電話株式会社 | 動画像処理方法および装置 |
JP3123587B2 (ja) | 1994-03-09 | 2001-01-15 | 日本電信電話株式会社 | 背景差分による動物体領域抽出方法 |
JP3569992B2 (ja) | 1995-02-17 | 2004-09-29 | 株式会社日立製作所 | 移動体検出・抽出装置、移動体検出・抽出方法及び移動体監視システム |
JPH09282456A (ja) * | 1996-04-18 | 1997-10-31 | Matsushita Electric Ind Co Ltd | 画像ラベリング装置および画像検索装置 |
US5943442A (en) | 1996-06-12 | 1999-08-24 | Nippon Telegraph And Telephone Corporation | Method of image processing using parametric template matching |
KR20010012261A (ko) * | 1997-05-05 | 2001-02-15 | 더 트러스티스 오브 컬럼비아 유니버시티 인 더 시티 오브 뉴욕 | 객체 지향형 콘텐트에 기초한 비디오 탐색용 알고리즘 및시스템 |
JP3787019B2 (ja) * | 1997-07-18 | 2006-06-21 | 日本放送協会 | 画像の領域分割処理用ラベルマーカ生成装置および画像の領域分割処理装置 |
KR100304662B1 (ko) * | 1998-01-21 | 2001-09-29 | 윤종용 | 2차원 영상 시퀀스를 이용한 스테레오 영상 생성장치 및 방법 |
KR100361939B1 (ko) * | 1999-07-27 | 2002-11-22 | 학교법인 한국정보통신학원 | 객체 움직임을 이용한 mpeg 비디오 시퀀스의 데이터 베이스 구축 및 검색 방법과 그 기록 매체 |
KR100331050B1 (ko) * | 2000-06-01 | 2002-04-19 | 송종수 | 동영상 데이터상의 객체 추적 방법 |
-
2001
- 2001-01-20 KR KR1020010003423A patent/KR100355382B1/ko not_active IP Right Cessation
- 2001-08-30 EP EP20010307388 patent/EP1225518B1/en not_active Expired - Lifetime
- 2001-08-30 DE DE2001616717 patent/DE60116717T2/de not_active Expired - Lifetime
- 2001-08-31 JP JP2001263656A patent/JP4370387B2/ja not_active Expired - Fee Related
- 2001-08-31 CN CNB011252383A patent/CN1222897C/zh not_active Expired - Fee Related
- 2001-09-04 US US09/944,600 patent/US7024020B2/en not_active Expired - Lifetime
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101420595B (zh) * | 2007-10-23 | 2012-11-21 | 华为技术有限公司 | 一种描述和捕获视频对象的方法及设备 |
US8687064B2 (en) | 2007-10-23 | 2014-04-01 | Huawei Technologies Co., Ltd. | Method and device for describing and capturing video object |
CN110119650A (zh) * | 2018-02-06 | 2019-08-13 | 优酷网络技术(北京)有限公司 | 信息展示方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
US20020097893A1 (en) | 2002-07-25 |
JP2002232839A (ja) | 2002-08-16 |
CN1367616A (zh) | 2002-09-04 |
KR100355382B1 (ko) | 2002-10-12 |
EP1225518B1 (en) | 2006-01-18 |
US7024020B2 (en) | 2006-04-04 |
KR20020062429A (ko) | 2002-07-26 |
JP4370387B2 (ja) | 2009-11-25 |
DE60116717D1 (de) | 2006-04-06 |
EP1225518A3 (en) | 2003-01-02 |
EP1225518A2 (en) | 2002-07-24 |
DE60116717T2 (de) | 2006-11-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN1222897C (zh) | 视频序列中产生标记对象图像的设备和方法 | |
CN1207924C (zh) | 取决于图像的面部检测方法 | |
CN1311388C (zh) | 表示图像组的方法和装置 | |
CN1102783C (zh) | 视频显示*** | |
CN1213610C (zh) | 产生摘要视频的方法和*** | |
US6259828B1 (en) | Sprite-based video coding system with automatic segmentation integrated into coding and sprite building processes | |
TW530498B (en) | Object segmentation method using MPEG-7 | |
US20070030396A1 (en) | Method and apparatus for generating a panorama from a sequence of video frames | |
CN1462416A (zh) | 图像变换和编码技术 | |
CN1391676A (zh) | 视频流中运动对象的标记 | |
US20060050791A1 (en) | Scene change detection method using two-dimensional DP matching, and image processing apparatus for implementing the method | |
US20120063681A1 (en) | Minimal artifact image sequence depth enhancement system and method | |
CN1601531A (zh) | 用于为视听演示内容制作摘要和索引的方法与设备 | |
CN1534521A (zh) | 利用形状进行目标表示与检索的方法和装置 | |
JP3853450B2 (ja) | 輪郭線トレーシング方法 | |
CN1223203C (zh) | 提取对象区域的方法 | |
CN1150769C (zh) | 静态图象产生方法和装置 | |
CN111462164A (zh) | 一种前景分割方法以及基于图像合成的数据增强方法 | |
US20020156775A1 (en) | Image processing apparatus and its method and server apparatus | |
RU2004121993A (ru) | Сегментация изображений с использщованием метода водораздела | |
CN1214644C (zh) | 方法、***和装置 | |
CN111191658A (zh) | 基于广义局部二值模式的纹理描述方法及图像分类方法 | |
EP1569169A1 (en) | Video system | |
CN1955964A (zh) | 视频检索方法 | |
CN1228987C (zh) | 分段匹配中的优先顺序划分 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20051012 Termination date: 20190831 |