CN1875378A - 图像中的对象检测 - Google Patents

图像中的对象检测 Download PDF

Info

Publication number
CN1875378A
CN1875378A CNA200480032722XA CN200480032722A CN1875378A CN 1875378 A CN1875378 A CN 1875378A CN A200480032722X A CNA200480032722X A CN A200480032722XA CN 200480032722 A CN200480032722 A CN 200480032722A CN 1875378 A CN1875378 A CN 1875378A
Authority
CN
China
Prior art keywords
prospect
pel
pixel
split
shade
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA200480032722XA
Other languages
English (en)
Other versions
CN1875378B (zh
Inventor
许利群
乔斯-洛伊丝·兰达瓦索
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
British Telecommunications PLC
Original Assignee
British Telecommunications PLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by British Telecommunications PLC filed Critical British Telecommunications PLC
Publication of CN1875378A publication Critical patent/CN1875378A/zh
Application granted granted Critical
Publication of CN1875378B publication Critical patent/CN1875378B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/273Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion removing elements interfering with the pattern to be recognised
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/28Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/14Image acquisition
    • G06V30/148Segmentation of character regions
    • G06V30/153Segmentation of character regions using recognition of characters or words
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20036Morphological image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30236Traffic on road, railway or crossing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)

Abstract

本发明对输入图像施加分割操作以识别关注的前景对象,随后施加阴影去除操作以从前景分割中去除所有检测到的阴影。然而,阴影去除算法可能在分割图中留下空洞和截断,这在随后会影响使用连通分量分析执行的对象检测步骤。为了规避此问题,本发明对分割图施加有条件形态膨胀操作,以使得分割块“生长”从而填充任何的空洞和截断,但不会使分割中的阴影像素“重新生长”。结果是得到对于导致阴影和/或高亮部分的照明变化健壮的对象检测方法和***。

Description

图像中的对象检测
技术领域
本发明涉及用于检测图像中的对象的方法和***,具体地但非排他地,涉及考虑运动对象的照明阴影和高亮部分来检测这些对象的方法和***。
背景技术
对场景的视频图像内的诸如人或车辆的运动对象进行自动检测已经是许多研究人员的目标,并且是提供自动分类或者跟踪应用的前提。此外,自动对象检测***本身用于监视和检测应用。在图像中的表示前景或者所关注运动对象和背景场景的图元(picture element)(像素)之间进行区分的实际步骤是本领域内广泛公知的,并且在此称为“分割(segmentation)”
在关于对象自动检测的领域内公知的问题之一是如何补偿照明条件的变化,具体地,如何在实际对象与该对象可能投射的或者另外包含的阴影或高亮部分之间进行辨别。特别地,在对象分类或者追踪***中,需要适当地确定检测的是对象而不是该对象的阴影,这对于后续的匹配步骤是非常重要的,因此,在本领域中已经提出了检测并去除由阴影和高亮部分引起的分割像素的技术。
更具体地,Mckenna等人在“Tracking Groups of People”,ComputerVision and Image Understanding,80,42-56,2000中描述了一种采用自适应背景图像的像素分割技术,其递归地调整背景图像以将照明的变化(假设照明变化与对象运动相比较为缓慢)纳入考虑范围。随后执行颜色通道(channel)背景减除技术,其中对于任何特定的输入图像,将输入图像像素的RGB通道与自适应背景相比较,并且依据各个输入与背景R、G、或B值的逻辑比较的结果,将像素设置为“前景”或者“背景”。“前景”像素的图构成随后用于进一步处理的掩模(mask)。
由于前景像素的掩模是使用颜色差背景减除技术产生的,所以其包含表示对象阴影和/或高亮部分的像素。因此,McKenna等人也描述了第二像素分割技术,其中使用像素梯度和色度信息来检测阴影。更具体地,并且如在Horpraset等人的“A Statistical Approach for Real-timeRobust Background Subtraction and Shadow Detection”IEEE ICCV’99FRAME_RATE workshop中所述,已知阴影展示出颜色恒定性:阴影中的像素的色度与该像素不在阴影中时的色度没有显著差别。相反,仅有的变化在于像素的亮度。因此McKenna等人使用这种颜色恒定性作为第一辨别器:他们假设与背景相比具有显著的亮度变化但没有显著的色度变化的任一像素可能是由阴影引起的。
然而,McKenna等人也注意到,在前景对象与背景为相同色度时,例如当黑色裤子穿过灰色人行道时,上述颜色恒定性辨别器将失效。因此McKenna等人还描述了如下技术:基于如果输入像素是阴影像素则其纹理信息与其背景值不应有很大变化,使用输入图像和背景图像的像素梯度信息来在它们之间进行比较。因此,如果色度信息或者梯度信息中的任一个支持这种分类,则将像素标记为前景。
使用上述技术执行了像素分割,McKenna等人随后执行连通分量分析以识别连通的对象。他们注意到:由于色度和梯度辨别,连通对象可能包含“空洞(hole)”:完全位于连通像素的边界之内并且应该被分割为前景的像素被错误地分割为背景,并且因此不是连通对象的一部分。为了对此进行弥补,参照通过先前描述的RGB减除方法产生的“掩模”,其中,如果来自RGB减除的掩模表示作为连通对象中的空洞的一部分的各个“背景”像素是前景,则将该像素设置为前景。由此,可以去除连通对象中的空洞,并且执行考虑阴影的前景和背景分割。
虽然McKenna等人描述的颜色恒定性和梯度技术在识别阴影以进行前景-背景像素分割方面是有效的,但是McKenna等人所描述的技术当在实际情况中应用时存在一些问题,因为连通分量分析是在考虑由于分割产生的“空洞”之前执行的。例如,如果由于分割产生的“空洞”实际上交叠并且将对象完全截断,则连通分量分析将无法将两块(blob)识别为单个对象,而是将其识别为两个单独的对象。因而,无法原样地识别出交叠的“空洞”,从而无法通过参照RGB减除掩模对其进行填充。相反地,直到执行了连通分量分析,尚未对“空洞”本身进行识别并由此对其进行填充。这种矛盾的结果是在一些情况下可能识别出两个较小的连通对象而实际上仅存在一个对象。
发明内容
在本发明的第一方面,提出了一种用于检测输入图像中的对象的图像处理方法,该图像由图元组成,所述方法包括以下步骤:
a)使用第一分割技术,将输入图像内的表示前景对象的图元从形成图像背景的那些图元分割出来,其中,被分割为前景的图元包括表示对象的阴影或者高亮部分的元素;以及
b)使用适于检测阴影和/或高亮部分的至少一种其他分割技术,将具有对象的阴影或者高亮部分的特性的图元从表示前景对象的那些图元中分割出来;
所述方法的特征在于进一步包括如下步骤:
c)将前景周围的图元分割到已经被分割为前景的那些图元中;
d)重复步骤c),直到在步骤a)之后没有被分割为前景的图元要被或者已被分割为前景为止;以及随后
e)检测已被分割为前景的相邻图元作为对象组。
通过在使用连通分量分析等来检测任意对象之前执行附加的分割步骤c),于是可以通过去除来补偿由于阴影去除处理而引起的表示对象的相邻分割像素组中的诸如空洞、截断等的任何伪缺陷(artefact)。事实上,分割步骤c)是形态膨胀(morphological dilation)操作,其在对象检测步骤之前使在阴影去除处理操作之后剩下的骨架块“生长”,以使得这些块合并回一个块(在截断的情况下)或者填充块内的所有空洞。因此,本发明的整体效果是确保当执行对象检测步骤时随后对场景中的各个对象检测到单个对象,而对象中的任何阴影或者高亮部分不会影响对象检测。因此,本发明的对象检测技术对于引起阴影的亮度变化非常健壮。
在本发明的优选实施例中,分割步骤a)优选地进一步包括以下步骤:
对于输入图像的要分割为前景的各个图元,通过将该图元与关于周围图元的概率模型进行比较来验证前景分割,其中,如果模型的至少一半表示该图元是前景,则前景分割得到确认。这有助于防止可能由输入图像中的噪声或者诸如摄像机的图像捕获装置不稳定而引起的像素的“虚假前景”分割。
根据本发明的第二方面,还提供了一种计算机程序或者程序组,被设置为当在计算机***上执行时,该程序或者程序组使得计算机***执行第一方面的方法。此外,从另一方面,还提供了一种存储根据第三方面的计算机程序或者程序组的计算机可读存储介质。该计算机可读存储介质可以是本领域中公知的任何合适的数据存储装置或者介质,作为非限制性示例,例如有磁盘、DVD、固态存储器、光盘、磁光盘等中的任一种。
根据第四方面,本发明还提供了一种用于检测输入图像内的对象的图像处理***,所述图像由图元组成,所述***包括:
图像处理装置,被设置为接收要处理的输入图像,并且对该图像施加下列图像处理操作:
a)使用适于检测输入图像与一般背景图像的差别的第一分割技术,将输入图像内的表示前景或者运动对象的图元从形成图像背景的那些图元分割出来,其中,被分割为前景的图元包括表示对象的阴影或者高亮部分的元素;
b)使用适于检测阴影和/或高亮部分的至少一种其他分割技术,将具有对象的阴影或者高亮部分的特性的图元从表示前景对象的那些图元中分割出来;
并且其特征在于进一步施加下列操作:
c)重复地将前景周围的图元分割到已经被分割为前景的那些图元,直到在步骤a)之后没有被分割为前景的图元要被或者已被分割为前景为止;并且随后
e)检测己被分割为前景的相邻图元作为对象组。
在第四方面中,获得了与先前参照第一方面所描述的相同的优点,以及相同的进一步特征和优点。
通过提供改进的像素分割技术,本发明的实施例对上述的现有技术有所改进,所述改进的像素分割技术在执行连通分量分析来对连通对象进行识别之前解决了由于阴影处理而在分割中留下的“空洞”。这是如下实现的:应用本领域已知的前景分割技术来对所有分割块(“块”是一组相邻的分割像素)的边界给出“掩模”,并且应用与McKenna等人描述的阴影处理技术相似的阴影处理技术来识别输入图像中的阴影和高亮部分。如McKenna等人还提到的,阴影处理导致留下“骨架”分割块,与从背景减除获得的块相比,这些“骨架”分割块可能包含空洞、尺寸有所减小、或者甚至出现截断。在对这些骨架块应用连通分量分析以找出连通对象之前,对它们应用形态膨胀操作以使其中的像素膨胀,重复地应用膨胀操作以重构骨架块,直到重构块接触到从背景减除获得的对应块(与正在重构的块位于图像中大致相同的位置)的掩模的相应边界。通过使用形态膨胀操作使块“生长”,于是可以大体上填充从阴影处理获得的“骨架”块中的所有空洞或者截断从而提供重构块,之后执行连通分量分析以将该重构块识别为对象。此外,通过有条件地针对任一块仅仅在与从背景减除步骤获得的相应块掩模相接触或者恰好交叠之前执行膨胀操作,可以确保重构块中不包括阴影,因为阴影通常是原始对象形状沿着一定方向的延伸区域。
附图说明
根据对仅仅作为示例而给出并且参照附图的本发明实施例的下列描述,本发明的进一步特征和优点将变得显而易见,在附图中:
图1是根据本发明的实施例的***的示意性框图;
图2是例示出本发明的实施例执行的步骤的流程图;
图3是例示出在本发明的实施例中使用的颜色恒定原理的矢量图;
图4是本发明的实施例中使用的形态算子的图;
图5是本发明的实施例中使用的示例性经调整背景图像;
图6是可以用作对本发明实施例的输入的、阴影被加亮的示例性输入图像;
图7是在示例中用作对本发明实施例的输入的示例性视频图像;
图8是应用于本实施例中的图7的第一分割技术产生的分割掩模图像;
图9是通过本实施例去除了阴影和高亮部分而产生的分割图;以及
图10是应用了本发明的形态膨胀操作之后的与图7的图像对应的分割图。
具体实施方式
现在将参照附图描述本发明的实施例,并给出实施例的操作示例。
图1例示出提供本发明的实施例的示例性***体系结构。更具体地,因为本发明总体上涉及用于检测输入图像内的对象的图像处理技术,所以本发明主要实施为要在计算机上运行的软件。因此,本发明的***体系结构包括本领域公知的通用计算机16。计算机16设置有可以在其上将计算机产生的输出图像显示给用户的显示器20,并且进一步设置有诸如键盘、鼠标等的各种用户输入装置18。通用计算机16还设置有存储程序和数据的诸如硬盘、存储器、光盘等的数据存储介质22。
更具体地,在数据存储介质22上存储有:对应于自适应背景图像的数据24;对应于输入图像的数据28;以及对应于在本发明操作期间用作中间存储的诸如图像数据、分割图等的工作数据的数据30。此外,在数据存储介质22上存储有程序形式的可执行程序代码,例如控制程序31、背景调整程序32、前景分割程序36、连通分量程序26、阴影检测程序34、以及块重构程序38。稍后将依次描述这些程序的各自的操作。
计算机16被设置为从诸如摄像机等的图像捕获装置12接收图像。图像捕获装置12可以直接连接到计算机16,或者另选地,可以通过诸如因特网的网络14逻辑连接到计算机16。图像捕获装置12被设置为提供要在其中检测对象的场景的顺序视频图像,这些视频图像由采取特定值从而具有特定亮度和色度特性的图元(像素)组成。用于从图像捕获装置12输出的像素的颜色模型可以是本领域的任何已知模型,例如RGB、YUV等。
在操作中,通用计算机16经由网络或者直接从图像捕获装置12接收图像,随后运行存储在数据存储介质22上的各种程序以处理所接收的输入图像,从而检测其中的对象。现在将参照图2更详细地描述本实施例的操作。
图2例示出本发明的实施例的操作的流程图。在步骤2.2开始,在此,通用计算机16从经由网络14或者直接来自图像捕获装置12的图像接收要使用本发明进行分析的输入图像。本发明的实施例随后运作来分析所接收的输入图像的内容,以检测其中所关注的前景对象。在本实施例中,认为“前景”对象是运动对象或者所关注的其他对象。检测前景对象的处理依赖于有效地将图像中的代表前景对象的像素从代表场景背景的像素分割(即,辨别)出来,并且随后对分割出的前景图像执行连通分量分析,以将其表征为对象。
通用计算机在控制程序31的控制下进行操作以对所接收的图像进行处理。即,控制程序31控制要对所接收的输入图像施加的处理的顺序,并且,依次运行其他程序以执行其各自的处理操作,根据需要将输入数据传递给这些其他程序并从它们接收经处理的数据。鉴于这一点,一旦接收到输入图像就要执行的第一处理是对不属于背景场景的那些图像执行分割。在本实施例中,采用Stauffer和Grimson在“Learning Patternsof Activity Using Real Time Tracking”,IEEE Trans on PatternAnalysis And Machine Intelligence,22(8),2000年8月提出的自适应背景减除方法。在此,使用多个K高斯分布的混合来对形成图像的场景中的各个像素位置在时间上的颜色变化进行建模。利用各个输入帧对这些高斯分布进行更新,随后使用这些高斯分布来确定哪些像素最可能来自背景处理。该模型使得可以恰当地表现经历缓慢的照明和场景变化而不是诸如在风中摇摆的树木或旗帜的瞬时变化的背景场景。
鉴于上述情况,在本实施例中,在步骤2.4使用Stauffer和Grimson技术从输入图像28分割出前景像素,并且在步骤2.6考虑所接收的输入图像来更新自适应背景图像24,并将经更新的图像存储在数据存储介质22中。在Stauffer和Grimson的上文的3.1和3.2节中描述了执行步骤2.4的必需过程的全部细节。关于步骤2.6,如下地获得背景像素:如果在步骤2.4中将输入图像分类为背景,则背景图像中的像素颜色采取输入图像的像素颜色。在将输入像素分类为前景的情况下,则选择权重最大、方差最小的高斯分布的均值(像素中的最可能的背景颜色)作为背景像素颜色。结果,可以针对每个输入帧获得经更新的背景图像。在本实施例中,分割步骤2.4是由前景分割程序36执行的,背景调整步骤2.6是由背景调整程序32执行的,这二者都处于控制程序28的控制下。图5示出了来自用于产生在此示出的示例性图像的输入图像序列的示例性背景图像。图6示出了具有对象投射的圈出阴影的示例输入图像。
步骤2.4执行的分割的结果是对于图7所示的示例性输入图像获得了如图8所示的分割像素的图。然而,由此获得的前景像素不能免除由于背景中的噪声或者摄像机的震动而导致的错误检测。因此,在步骤2.8,引入虚假前景像素抑制处理来缓解此问题。在此,当一像素初始被步骤2.6执行的分割分类为前景像素时,对该像素的八个连通相邻像素模型进行检验。如果这些模型中的大部分应用于该像素时认为该像素是背景像素,则认为该像素是错误检测并从前景分割中将其去除。对在步骤2.4使用Stauffer和Grimson技术分割的每个像素都应用该“虚假前景”测试,由此对这些像素中的每一个的被分割为前景进行了验证。
在“虚假前景”验证之后,在步骤2.10存储如例如图8所示的分割像素的图,以稍后在处理中用作分割像素的“掩模”。分割像素的该图存储在数据存储介质22的工作数据区30中。
一旦识别出了前景像素,就应用进一步的检测技术以找出这些前景像素中是否有一部分对应于可能是投射阴影或者高亮部分的区域。如在Horprasert等人的“A Statistical Approach for Real Time RobustBackground Subtraction and Shadow Detection”,ICCV’99 FRAME RATEworkshop的4.2节中所说明的,如果一像素具有与背景图像中的同一像素的色度相似的色度但比其亮度低的亮度,则可以认为该像素是阴影像素,或者,如果一像素具有与背景图像中的对应像素的色度相似的色度但比其亮度高的亮度,则可以认为该像素是高亮像素。阴影像素或者高亮像素的这种特性称为“颜色恒定性”,这是因为输入图像中的阴影像素或者高亮像素的色度与背景图像中的对应像素相似或相同,仅有的差别在于输入图像像素的亮度。因此,作为检测阴影和/或高亮部分的第一步骤,在步骤2.12,如Horprasert等人所述并如本文的图3所示,计算各个前景像素与在步骤2.6存储的自适应背景图像的对应像素之间的颜色畸变(“CD”)和亮度畸变(“BD”),并检测可能的阴影。更具体地,在步骤2.12,对颜色畸变和亮度畸变使用激进阈值(aggressive threshold),更具体地应用如下的逻辑条件:
IF CD<10 THEN
IF 0.5<BD<1.0->阴影
IF 1.0<BD<1.25->高亮部分
ELSE 前景
在本发明的其他实施例中,阈值可以与上面给出的不同;应该通过任一具体实施方式的标定来找出阈值的精确值。
随后,对由上述逻辑条件识别为阴影像素或者高亮像素的那些分割像素进行标记以从前景分割图中将其去除。注意在本实施例中,上述步骤是阴影检测程序34在控制程序28的控制下执行的。
虽然上述颜色恒定性测试对检测阴影是有效的,但是观察到该处理在所关注对象的颜色与假定阴影的颜色相似的情况下效果较差。为了纠正这一点,按与McKenna等人在上文引用的其文章“Tracking Groups ofPeople”的3.2节中所述的方式相似的方式,还使用对分割像素的多个区域的梯度/纹理进行比较的第二处理。更具体地,在本发明的实施例内的步骤2.14,阴影检测程序34运行以根据当前分割图来计算输入图像的被标记为已分割的那些像素的空间梯度,随后将计算出的梯度与来自自适应背景的各对应像素的对应地计算出的梯度进行比较(如McKenna等人在其文章的3.2节中详细描述)。随后将输入图像中的被发现与自适应背景具有相似梯度的分割像素标记为从前景分割图去除的候选者。
步骤2.12和步骤2.14的操作的结果是标记出阴影像素和高亮像素以将其从分割图中去除,但是在该阶段,尚未从分割图去除分割像素。因此,在步骤2.16,阴影检测程序34识别出在步骤2.12和步骤2.14被识别为阴影像素或者高亮像素的候选者的那些像素,并将那些像素从分割图中去除。因此,将展示出与背景的颜色和梯度都相似的颜色和梯度的那些像素检测为阴影或者高亮部分,并且将它们从对象分割中去除。
作为一方面,虽然在优选实施例中,只有在一像素在步骤2.12和2.14两者都被标记为可能是阴影/高亮像素的情况下才在步骤2.16将其从分割结果中去除,但是在另选实施例中并不需要如此,如果在步骤2.12和2.14执行的测试中的一个或另一个、或者全部的两个都指示一像素是阴影/高亮像素,就可以将该像素从分割结果中去除。与必须满足两个测试的优选实施例相比,这可能导致更多的像素被识别为阴影/高亮像素并且被从前景分割中去除。
回到主实施例,因为过度应用了阴影去除技术(由于对逻辑条件选择的阈值),所以还会发现许多恰当表示所关注对象的分割像素也被从分割图中去除。图9示出了应用步骤2.12到2.16而产生的示例性分割图,从图9可见,与示出在执行这些步骤之前的分割图的对应图8相比,表示所关注对象的分割像素大大减少了,并且在表示对象的分割像素组中既显示出空洞又显示出截断。然而,也应该注意到,在图9中已经完全去除了在图8中非常明显的表示阴影像素的分割像素。
然而,如从图9可看出,在步骤2.16存储的分割像素的图在其中包含错误分割像素的瑕点,因此,在步骤2.17执行对分割图的瑕点噪声去除,以抑制孤立的噪声前景像素。使用如式1所示的形态算子来执行该瑕点噪声去除技术:
M ~ = M &cap; ( M &CirclePlus; N ) 式1
其中N是图4所示的构造因子。从图4可见,N是包括原点的四连通邻元素但不包括原点的3×3构造因子。此外,式1中的项(MN)标识出M的像素的四连通(即与M的像素相邻)的全部像素。因此,
Figure A20048003272200141
标识出M中的并且还具有四连通邻元素(因此这些点对应于M中的除了孤立点之外的所有点)的全部像素。随后将从该瑕点过滤步骤获得的无瑕点分割图存储在存储介质22的工作数据区30中。
如果在阴影去除之后要对图9的块执行找出对象的连通分量分析,则由于像素组中的各种空洞和截断,将检测到各种错误对象。因此,本发明的实施例提供了如下方法:去除像素分割块中的各种空洞和截断,这是在步骤2.18通过对分割图中的分割像素重复应用形态膨胀操作以将周围像素分割到已有分割像素而进行的。重复执行该形态膨胀操作,直到分割块与在步骤2.4的分割所产生的分割像素的对应各块(即图8)的边界相接触或者恰好交叠,于是随即停止膨胀操作。这样的效果是使得阴影去除处理之后剩下的分割块“生长”以填充分割像素的块内的全部空洞或者截断。
更具体地,在步骤2.18,通过块重构程序38对与图9对应的分割图的前景分割像素执行使用9×9块构造因子(该因子的各块设置为“1”)的膨胀操作,以将周围像素分割到已分割的像素中作为前景像素。随后,在步骤2.20,将由此获得的分割图中的分割块的区域与所存储掩模中的分割块进行比较,所述所存储掩模是在步骤2.4的分割步骤(即Stauffer和Grimson分割)获得的分割图。在步骤2.22,进行评估以确定由于形态膨胀而获得的任一分割块是否与掩模分割图的分割块相接触或者交叠。如果该评估确定没有与掩模分割块相接触或者交叠,则处理循环地返回到形态膨胀步骤2.18,再次执行步骤2.18。重复执行包括步骤2.18、2.20和2.22的循环,直到步骤2.22的评估返回肯定结果,在这种情况下随即结束循环。因此正式地,根据式2重构分割图中的分割块:
R = M s &cap; ( M ~ &CirclePlus; SE ) 式2
其中Ms是从步骤2.3的分割获得的掩模图像,
Figure A20048003272200143
是在步骤s.2.12到2.16的阴影/高亮部分去除步骤之后的分割像素,SE是其大小通常取决于对象大小的构造因子;如上所述,9×9方块因子被证明为适用于我们的全部测试,但也可以使用引起膨胀的其他大小的构造因子。该形态膨胀步骤的基本理念在于去除了阴影的块至少保留了大量对错误的阴影去除健壮的点。只要这些健壮点形成从步骤2.4的分割获得的原始块中的轮廓的一部分,它们就适用于引导对相邻点的重构。
一旦处理循环结束,块重构程序38输出的结果分割图应该类似于如10示出的示例,通过图10示出的示例可见,与图9相比已经重构了分割像素块,并且已经去除了其中的所有空洞或者截断。此外,还可以看出,图10的重构分割像素块在分割结果中不包含任何实质的阴影像素。因此,可以将由此获得的图10中的分割像素块分别用作对经典的八连通的连通分量分析算法的输入,以将估计可能属于一个对象的全部像素链合到检测对象。因此,在步骤2.24,通过连通分量程序26对从处理循环获得的分割图执行连通分量分析,以从分割图中包含的分割块检测对象。随后将标识检测出的对象的数据存储在存储介质22的工作数据区30中,随后可以将其用作对象分类应用、对象追踪应用等的输入。另选地,可以将本发明的实施例本身单独地用于检测对象并且在显示器20上将所述对象显示给用户。
在其他实施例中,如果在输入图像中检测到一个或更多个对象,则可以执行进一步的动作,例如,计算机16使得输出装置向用户给出检测到对象的音频或者视频的指示。因此,本发明的实施例特别适用于监视应用等。
除非上下文明确地要求,否则在整个的说明书和权利要求书中,应该将词语“包含”、“包括”等理解为与排他或者穷举意义相反的包括;即“包括但不限于”的意思。

Claims (6)

1、一种用于检测输入图像内的对象的图像处理方法,所述图像由图元组成,所述方法包括以下步骤:
a)使用第一分割技术,将输入图像内的表示前景对象的图元从形成图像背景的那些图元分割出来,其中,被分割为前景的图元包括表示对象的阴影或者高亮部分的元素;以及
b)使用适于检测阴影和/或高亮部分的至少一种其他分割技术,将具有对象的阴影或者高亮部分的特性的图元从表示前景对象的那些图元中分割出来;
所述方法的特征在于进一步包括以下步骤:
c)将前景周围的图元分割到已被分割为前景的那些图元中;
d)重复步骤c),直到在步骤a)后没有被分割为前景的图元要被或者已被分割为前景为止;以及随后
e)检测已被分割为前景的相邻图元作为对象组。
2、根据权利要求1所述的图像处理方法,进一步的特征在于,分割步骤a)进一步包括以下步骤:
对于输入图像的要分割为前景的各个图元,通过将该图元与关于周围图元的多个概率模型进行比较来验证前景分割,其中,如果所述多个模型中的至少一半表示该图元是前景,则前景分割得到确认。
3、一种计算机程序或者计算机程序组,被设置为当由计算机执行时其控制计算机以执行前述权利要求中的任一项所述的方法。
4、一种计算机可读存储介质,存储有根据权利要求3所述的计算机程序、或者计算机程序组中的至少一个。
5、一种用于检测输入图像内的对象的图像处理***,所述图像由图元组成,所述***包括:
图像处理装置,被设置为接收要处理的输入图像,并且对该图像施加下列图像处理操作:
a)使用适于检测输入图像与一般背景图像的差别的第一分割技术,将输入图像内的表示前景或者运动对象的图元从形成图像背景的那些图元分割出来,其中,被分割为前景的图元包括表示对象的阴影或者高亮部分的元素;
b)使用适于检测阴影和/或高亮部分的至少一种其他分割技术,将具有对象的阴影或者高亮部分的特性的图元从表示前景对象的那些图元中分割出来;
并且其特征在于,进一步施加下列操作:
c)重复地将前景周围的图元分割到已经被分割为前景的那些图元中,直到在步骤a)后没有被分割为前景的图元要被或者已被分割为前景为止;并且随后
e)检测已被分割为前景的相邻图元作为对象组。
6、根据权利要求5所述的图像处理***,进一步的特征在于,图像处理装置被进一步设置为:对于输入图像的由于分割步骤a)而要被分割为前景的各个图元,通过将该图元与关于周围图元的多个概率模型进行比较来验证前景分割,其中,如果所述多个模型中的至少一半表示该图元是前景,则前景分割得到确认。
CN200480032722XA 2003-11-12 2004-11-08 图像中的对象检测 Expired - Fee Related CN1875378B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GB0326374.6 2003-11-12
GBGB0326374.6A GB0326374D0 (en) 2003-11-12 2003-11-12 Object detection in images
PCT/GB2004/004685 WO2005048191A2 (en) 2003-11-12 2004-11-08 Object detection in images

Publications (2)

Publication Number Publication Date
CN1875378A true CN1875378A (zh) 2006-12-06
CN1875378B CN1875378B (zh) 2010-05-05

Family

ID=29726402

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200480032722XA Expired - Fee Related CN1875378B (zh) 2003-11-12 2004-11-08 图像中的对象检测

Country Status (9)

Country Link
US (1) US7742650B2 (zh)
EP (1) EP1683105B1 (zh)
JP (1) JP4668921B2 (zh)
CN (1) CN1875378B (zh)
AT (1) ATE357030T1 (zh)
CA (1) CA2543871A1 (zh)
DE (1) DE602004005358T2 (zh)
GB (1) GB0326374D0 (zh)
WO (1) WO2005048191A2 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101282461B (zh) * 2007-04-02 2010-06-02 财团法人工业技术研究院 图像处理方法
CN102446346A (zh) * 2010-09-30 2012-05-09 北京中电兴发科技有限公司 快速去除运动图像阴影的方法
CN101482968B (zh) * 2008-01-07 2013-01-23 日电(中国)有限公司 图像处理方法和设备
CN103971135A (zh) * 2014-05-05 2014-08-06 中国民航大学 基于头肩深度信息特征的人体目标检测方法
CN105103187A (zh) * 2013-02-26 2015-11-25 高通股份有限公司 用于阴影检测和减弱的多光谱成像***
CN108154491A (zh) * 2018-01-26 2018-06-12 上海觉感视觉科技有限公司 一种图像反光消除方法
CN108957530A (zh) * 2018-05-23 2018-12-07 电子科技大学 一种基于地震相干体切片的裂缝自动检测方法
CN111161268A (zh) * 2019-12-12 2020-05-15 科大讯飞股份有限公司 图像处理方法、装置、电子设备及计算机存储介质

Families Citing this family (69)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8913830B2 (en) * 2005-01-18 2014-12-16 Siemens Aktiengesellschaft Multilevel image segmentation
GB0510792D0 (en) * 2005-05-26 2005-06-29 Bourbay Ltd Assisted selections with automatic indication of blending areas
US8126268B2 (en) * 2005-12-30 2012-02-28 Telecom Italia S.P.A. Edge-guided morphological closing in segmentation of video sequences
US8379957B2 (en) * 2006-01-12 2013-02-19 Siemens Corporation System and method for segmentation of anatomical structures in MRI volumes using graph cuts
JP4187011B2 (ja) * 2006-06-01 2008-11-26 ソニー株式会社 情報処理システム、情報処理装置および方法、並びにプログラム
US7916944B2 (en) * 2007-01-31 2011-03-29 Fuji Xerox Co., Ltd. System and method for feature level foreground segmentation
US8280106B2 (en) * 2007-09-29 2012-10-02 Samsung Electronics Co., Ltd. Shadow and highlight detection system and method of the same in surveillance camera and recording medium thereof
CN101399968B (zh) 2007-09-29 2012-07-18 三星电子株式会社 单色监视相机中阴影和高光检测方法
JP2009098925A (ja) * 2007-10-17 2009-05-07 Sony Corp 画像処理装置、画像処理方法、および、プログラム
US8265380B1 (en) * 2008-08-14 2012-09-11 Adobe Systems Incorporated Reuse of image processing information
JP2010092199A (ja) * 2008-10-07 2010-04-22 Sony Corp 情報処理装置および方法、プログラム、並びに記録媒体
JP5218168B2 (ja) * 2009-03-11 2013-06-26 ソニー株式会社 撮像装置、動体検知方法、動体検知回路、プログラム、及び監視システム
TWI413024B (zh) * 2009-11-19 2013-10-21 Ind Tech Res Inst 物件偵測方法及系統
US9628722B2 (en) 2010-03-30 2017-04-18 Personify, Inc. Systems and methods for embedding a foreground video into a background feed based on a control input
US9036861B2 (en) * 2010-04-22 2015-05-19 The University Of North Carolina At Charlotte Method and system for remotely inspecting bridges and other structures
US8649592B2 (en) 2010-08-30 2014-02-11 University Of Illinois At Urbana-Champaign System for background subtraction with 3D camera
AU2010241260B2 (en) * 2010-10-29 2013-12-19 Canon Kabushiki Kaisha Foreground background separation in a scene with unstable textures
TR201101980A1 (tr) * 2011-03-01 2012-09-21 Ulusoy İlkay Bir nesne temelli bölütleme yöntemi.
US9916662B2 (en) * 2015-03-17 2018-03-13 Lyrical Labs Video Compression Technology, LLC Foreground detection using fractal dimensional measures
US20140160155A1 (en) * 2011-08-30 2014-06-12 Hewlett-Packard Development Company, L.P. Inserting an Object into an Image
US10146795B2 (en) 2012-01-12 2018-12-04 Kofax, Inc. Systems and methods for mobile image capture and processing
US9158967B2 (en) 2012-01-12 2015-10-13 Kofax, Inc. Systems and methods for mobile image capture and processing
WO2013184215A2 (en) * 2012-03-22 2013-12-12 The University Of North Carolina At Chapel Hill Methods, systems, and computer readable media for simulating sound propagation in large scenes using equivalent sources
JP6056319B2 (ja) * 2012-09-21 2017-01-11 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
US9124762B2 (en) 2012-12-20 2015-09-01 Microsoft Technology Licensing, Llc Privacy camera
US9846707B2 (en) 2013-01-31 2017-12-19 Bluebeam, Inc. Method for color and size based pre-filtering for visual object searching of documents
US9213896B2 (en) * 2013-03-05 2015-12-15 Mitsubishi Electric Research Laboratories, Inc. Method for detecting and tracking objects in image sequences of scenes acquired by a stationary camera
US10140511B2 (en) 2013-03-13 2018-11-27 Kofax, Inc. Building classification and extraction models based on electronic forms
US9355312B2 (en) 2013-03-13 2016-05-31 Kofax, Inc. Systems and methods for classifying objects in digital images captured using mobile devices
US9235890B2 (en) * 2013-03-15 2016-01-12 Yahoo! Inc. Identifying regions characterized by labeled measurements
US9191643B2 (en) * 2013-04-15 2015-11-17 Microsoft Technology Licensing, Llc Mixing infrared and color component data point clouds
US20140316841A1 (en) 2013-04-23 2014-10-23 Kofax, Inc. Location-based workflows and services
US9560439B2 (en) 2013-07-01 2017-01-31 The University of North Carolina at Chapel Hills Methods, systems, and computer readable media for source and listener directivity for interactive wave-based sound propagation
JP2016538783A (ja) 2013-11-15 2016-12-08 コファックス, インコーポレイテッド モバイル映像データを用いて長尺文書の合成画像を生成するためのシステムおよび方法
US9485433B2 (en) 2013-12-31 2016-11-01 Personify, Inc. Systems and methods for iterative adjustment of video-capture settings based on identified persona
US9414016B2 (en) 2013-12-31 2016-08-09 Personify, Inc. System and methods for persona identification using combined probability maps
US10679407B2 (en) 2014-06-27 2020-06-09 The University Of North Carolina At Chapel Hill Methods, systems, and computer readable media for modeling interactive diffuse reflections and higher-order diffraction in virtual environment scenes
US9977644B2 (en) 2014-07-29 2018-05-22 The University Of North Carolina At Chapel Hill Methods, systems, and computer readable media for conducting interactive sound propagation and rendering for a plurality of sound sources in a virtual environment scene
US9760788B2 (en) 2014-10-30 2017-09-12 Kofax, Inc. Mobile document detection and orientation based on reference object characteristics
US9916668B2 (en) 2015-05-19 2018-03-13 Personify, Inc. Methods and systems for identifying background in video data using geometric primitives
US9563962B2 (en) 2015-05-19 2017-02-07 Personify, Inc. Methods and systems for assigning pixels distance-cost values using a flood fill technique
US10242285B2 (en) * 2015-07-20 2019-03-26 Kofax, Inc. Iterative recognition-guided thresholding and data extraction
US9607397B2 (en) 2015-09-01 2017-03-28 Personify, Inc. Methods and systems for generating a user-hair-color model
CN106488204B (zh) * 2015-09-02 2018-06-15 财团法人工业技术研究院 具备自身校准的深度摄影装置以及自身校准方法
US10742961B2 (en) 2015-09-02 2020-08-11 Industrial Technology Research Institute Depth sensing apparatus with self-calibration and self-calibration method thereof
WO2017048491A1 (en) 2015-09-16 2017-03-23 Thermo Electron Scientific Instruments Llc Image analysis system and method
US20170083790A1 (en) * 2015-09-23 2017-03-23 Behavioral Recognition Systems, Inc. Detected object tracker for a video analytics system
CN106611406B (zh) * 2015-10-27 2019-08-16 富士通株式会社 图像校正方法和图像校正设备
US9883155B2 (en) 2016-06-14 2018-01-30 Personify, Inc. Methods and systems for combining foreground video and background video using chromatic matching
CN107662872B (zh) * 2016-07-29 2021-03-12 奥的斯电梯公司 乘客运输机的监测***及其监测方法
US9881207B1 (en) 2016-10-25 2018-01-30 Personify, Inc. Methods and systems for real-time user extraction using deep learning networks
US10248744B2 (en) 2017-02-16 2019-04-02 The University Of North Carolina At Chapel Hill Methods, systems, and computer readable media for acoustic classification and optimization for multi-modal rendering of real-world scenes
IT201700021559A1 (it) * 2017-02-27 2018-08-27 St Microelectronics Srl Procedimento per il controllo di raggi laser, dispositivo, apparecchiatura e prodotto informatico corrispondenti
DE102017113799A1 (de) * 2017-06-22 2018-12-27 Connaught Electronics Ltd. Fahrassistenz für eine einspurige Straße
US10803350B2 (en) 2017-11-30 2020-10-13 Kofax, Inc. Object detection and image cropping using a multi-detector approach
CN108416354A (zh) * 2018-03-09 2018-08-17 国电南瑞科技股份有限公司 基于直升机巡检输电线路的杆塔编号提取方法
US10699477B2 (en) 2018-03-21 2020-06-30 Zoox, Inc. Generating maps without shadows
WO2019182782A1 (en) * 2018-03-21 2019-09-26 Zoox, Inc. Generating maps without shadows
US10504282B2 (en) 2018-03-21 2019-12-10 Zoox, Inc. Generating maps without shadows using geometry
US11048973B1 (en) 2018-07-31 2021-06-29 Objectvideo Labs, Llc Action classification using aggregated background subtraction images
US10740901B2 (en) * 2018-12-17 2020-08-11 Nvidia Corporation Encoder regularization of a segmentation model
US11093749B2 (en) 2018-12-20 2021-08-17 L'oreal Analysis and feedback system for personal care routines
EP3809314A1 (en) 2019-10-15 2021-04-21 Bentley Systems, Incorporated 3d object detection from calibrated 2d images background
CN110782409B (zh) * 2019-10-21 2023-05-09 太原理工大学 一种去除多运动物体阴影的方法
WO2021247603A1 (en) * 2020-06-02 2021-12-09 Cape Analytics, Inc. Method for property feature segmentation
CN116569207A (zh) * 2020-12-12 2023-08-08 三星电子株式会社 用于管理图像的伪影的方法和电子装置
US11800056B2 (en) 2021-02-11 2023-10-24 Logitech Europe S.A. Smart webcam system
DE102021103537A1 (de) 2021-02-16 2022-08-18 Gestigon Gmbh Verfahren und Vorrichtung zur Rekonstruktion von Segmenten des Vordergrunds eines Bildes
US11800048B2 (en) 2021-02-24 2023-10-24 Logitech Europe S.A. Image generating system with background replacement or modification capabilities

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62279480A (ja) * 1986-05-28 1987-12-04 Kubota Ltd 果実認識装置
JPH0335399A (ja) * 1989-06-30 1991-02-15 Toshiba Corp 変化領域統合装置
US5201011A (en) * 1991-11-19 1993-04-06 Xerox Corporation Method and apparatus for image hand markup detection using morphological techniques
JP3679512B2 (ja) * 1996-07-05 2005-08-03 キヤノン株式会社 画像抽出装置および方法
JP2984652B2 (ja) * 1997-08-22 1999-11-29 富士通株式会社 領域抽出装置及び領域抽出方法並びにコンピュータで実現可能なプログラムが記憶された記録媒体
JP3423889B2 (ja) * 1998-11-16 2003-07-07 日本電信電話株式会社 パターン認識方法およびパターン認識プログラムを記録した記録媒体
US7116800B2 (en) * 2001-05-30 2006-10-03 Eaton Corporation Image segmentation system and method
US20030199739A1 (en) 2001-12-17 2003-10-23 Gordon Tim H. Printing device for personal medical monitors
CN1139898C (zh) * 2002-03-25 2004-02-25 北京工业大学 基于k-均值聚类及信息融合的角膜病灶图像分割方法

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101282461B (zh) * 2007-04-02 2010-06-02 财团法人工业技术研究院 图像处理方法
CN101482968B (zh) * 2008-01-07 2013-01-23 日电(中国)有限公司 图像处理方法和设备
CN102446346A (zh) * 2010-09-30 2012-05-09 北京中电兴发科技有限公司 快速去除运动图像阴影的方法
CN105103187A (zh) * 2013-02-26 2015-11-25 高通股份有限公司 用于阴影检测和减弱的多光谱成像***
CN103971135A (zh) * 2014-05-05 2014-08-06 中国民航大学 基于头肩深度信息特征的人体目标检测方法
CN108154491A (zh) * 2018-01-26 2018-06-12 上海觉感视觉科技有限公司 一种图像反光消除方法
CN108154491B (zh) * 2018-01-26 2021-04-23 上海觉感视觉科技有限公司 一种图像反光消除方法
CN108957530A (zh) * 2018-05-23 2018-12-07 电子科技大学 一种基于地震相干体切片的裂缝自动检测方法
CN108957530B (zh) * 2018-05-23 2019-08-23 电子科技大学 一种基于地震相干体切片的裂缝自动检测方法
CN111161268A (zh) * 2019-12-12 2020-05-15 科大讯飞股份有限公司 图像处理方法、装置、电子设备及计算机存储介质
CN111161268B (zh) * 2019-12-12 2024-04-30 科大讯飞股份有限公司 图像处理方法、装置、电子设备及计算机存储介质

Also Published As

Publication number Publication date
US20070036432A1 (en) 2007-02-15
ATE357030T1 (de) 2007-04-15
EP1683105A2 (en) 2006-07-26
WO2005048191A3 (en) 2005-07-07
GB0326374D0 (en) 2003-12-17
DE602004005358D1 (de) 2007-04-26
EP1683105B1 (en) 2007-03-14
DE602004005358T2 (de) 2007-08-23
JP4668921B2 (ja) 2011-04-13
CA2543871A1 (en) 2005-05-26
US7742650B2 (en) 2010-06-22
CN1875378B (zh) 2010-05-05
WO2005048191A2 (en) 2005-05-26
JP2007510993A (ja) 2007-04-26

Similar Documents

Publication Publication Date Title
CN1875378B (zh) 图像中的对象检测
CN111104903B (zh) 一种深度感知交通场景多目标检测方法和***
Hosseinzadeh et al. Fast shadow detection from a single image using a patched convolutional neural network
Kalsotra et al. Background subtraction for moving object detection: explorations of recent developments and challenges
JP4991923B2 (ja) 画像処理方法及び装置
CN112395957B (zh) 一种针对视频目标检测的在线学习方法
JP4626886B2 (ja) デジタル画像におけるキャプションを位置特定及び抽出する方法及び装置
CN107316016A (zh) 一种基于Hadoop和监控视频流的车辆轨迹统计方法
KR101436369B1 (ko) 적응적 블록 분할을 이용한 다중 객체 검출 장치 및 방법
KR101130963B1 (ko) 형태와 특징 정보를 이용한 비정형 객체 추적 장치 및 그 방법
CN110705412A (zh) 一种基于运动历史图像的视频目标检测方法
WO2019197021A1 (en) Device and method for instance-level segmentation of an image
Wang et al. Semantic segmentation of sewer pipe defects using deep dilated convolutional neural network
Nguyen et al. An improved real-time blob detection for visual surveillance
KR101106448B1 (ko) 지능 영상 감시를 위한 이동 객체 실시간 검출 방법
Santiago et al. Efficient 2× 2 block-based connected components labeling algorithms
CN110580706A (zh) 一种视频背景模型的提取方法及装置
Qiu et al. A methodology review on multi-view pedestrian detection
Li et al. An integration text extraction approach in video frame
Li Fast multi-level connected component labeling for large-scale images
KR20220143119A (ko) 인지 시스템용 훈련 데이터 후보의 자동 식별
CN111597917B (zh) 一种基于帧差分法的目标检测方法
Trung et al. Automatic blotch removal using a perceptual approach
KR20110009596A (ko) 지능 영상 감시를 위한 이동 객체 실시간 검출 방법
Zheng Detection and Localization of Root Damages in Underground Sewer Systems using Deep Neural Networks and Computer Vision Techniques

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20100505

Termination date: 20211108

CF01 Termination of patent right due to non-payment of annual fee