CN103871049A - 非均匀背景光下的边缘检测方法 - Google Patents

非均匀背景光下的边缘检测方法 Download PDF

Info

Publication number
CN103871049A
CN103871049A CN201410017034.1A CN201410017034A CN103871049A CN 103871049 A CN103871049 A CN 103871049A CN 201410017034 A CN201410017034 A CN 201410017034A CN 103871049 A CN103871049 A CN 103871049A
Authority
CN
China
Prior art keywords
image
gradient
distribution
gradient direction
direction distribution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410017034.1A
Other languages
English (en)
Other versions
CN103871049B (zh
Inventor
王彦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hong Kong Applied Science and Technology Research Institute ASTRI
Original Assignee
Hong Kong Applied Science and Technology Research Institute ASTRI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hong Kong Applied Science and Technology Research Institute ASTRI filed Critical Hong Kong Applied Science and Technology Research Institute ASTRI
Publication of CN103871049A publication Critical patent/CN103871049A/zh
Application granted granted Critical
Publication of CN103871049B publication Critical patent/CN103871049B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/174Segmentation; Edge detection involving the use of two or more images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Signal Processing (AREA)
  • Geometry (AREA)

Abstract

本发明披露了一种确定数字图像序列中物体边缘的方法,包括:确定所述数字图像序列中第一图像的第一梯度方向分布;确定所述数字图像序列中第二图像的第二梯度方向分布;根据所述第一梯度方向分布和第二梯度方向分布计算的差值分布;根据所述差值分布判定物体的边缘;其中所述差值分布由所述第二梯度方向分布的梯度幅值以及所述第一梯度方向分布和所述第二梯度方向分布之间的角度差来表示。本发明也公开了其***。

Description

非均匀背景光下的边缘检测方法
【技术领域】
本发明涉及检测领域,尤其是检测数字图象中物体的边缘。
【背景技术】
边缘检测是计算机图形学和图像处理中一个基本的且重要的过程。它是用来检测数字图像中一个物体的边界。因此,对于任何高层次的目标识别或类似的图像处理任务来说,一个可靠的边缘检测算法是非常必要的。几乎所有的边缘检测方法基本上都是微分算子。他们计算一个像素周围小邻域内某一方向上的强度差,如果绝对差值超过某阈值,就声称找到了边缘。在许多图像处理/物体识别任务中,边缘边界的一侧通常是背景照明,而另一侧是待检测的物体。当背景光的强度有变化时,这会影响到绝对差值。如果绝对差值小于阈值,则物体的有效边缘将不会被检测到。如果它高于阈值,噪声信号将被检测为边缘,产生许多伪边缘。因此,在非均匀背景照明条件下开发一个可靠的边缘检测算法,在技术上是具有挑战性的。
一种方法是中和(neutralize)背景强度的变化,例如通过获得的非均匀背景强度的分布,然后进行某种形式的“均衡”操作,以抵消非均匀性的效果。但是,当背景光的强度随时间变化和/或不在该图像处理***的控制下,该方法就需要周期性地重新校准背景强度。这显然是不可取的。
【发明概述】
在上述背景情况下,本发明的一个目的是提供一种替代的方法和***用于检测屏幕上物体的边缘,而不管背景亮度变化。本发明的方法和***是简单、准确、和容易实现的。
因此,在一个方面,本发明是一种确定数字图像序列中物体边缘的方法,包括:确定所述数字图像序列中第一图像的第一梯度方向分布;确定数字图像序列中第二图像的第二梯度方向分布;根据所述第一梯度方向分布和第二梯度方向分布计算差值分布;根据差值分布确定所述物体的边缘,其中所述差值分布表示为第二个梯度方向分布的梯度幅值以及所述第一梯度方向分布和第二梯度方向分布之间的角度差。该方法的物理意义是在最不可能是背景边缘的方向上检测物体的边缘。
在一个实施例中,所述方法还包括:拍摄所述第一图像,其中所述物体并不出现在数字图像中;拍摄所述第二图像,其中所述物体出现在数字图像中。
在另一个实施例中,第一梯度方向分布和第二梯度方向分布是通过计算第一梯度向量和第二梯度向量而确定的,第一梯度向量表示所述第一图像中每个像素的亮度变化,第二梯度向量表示第二图像中每个像素的亮度变化。
在另一个实施例中,计算所述第一梯度向量和第二梯度向量的步骤还包括:为相应图像中的每个像素,获得第一方向强度导数和第二方向强度导数的向量和,其中第一方向强度导数和第二方向强度导数是相互垂直的。
在另一个实施例中,第一方向强度导数是对相应图像中每个像素以第一边缘算子进行卷积计算得到的,第二方向强度导数是对相应图像中每个像素以第二边缘算子进行卷积计算得到的。
在另一个实施例中,第一方向强度导数是x-方向导数,第一边缘算子是x-方向边缘检测器;第二方向强度导数是y-方向导数,第二边缘算子是y-方向边缘检测器。
在另一个实施例中,获得差值分布的步骤还包括:计算第一梯度向量的切线;将第二梯度向量投影在切线上;计算投影在切线上的绝对幅值。
在另一个实施例中,投影步骤还包括:通过将第二梯度向量的x分量投影到切线上,找到第一分量值;通过将第二梯度向量的y分量投影到切线上,找到第二分量值,其中通过计算第一分量值和第二分量值的绝对差,而计算得到所述绝对幅值。
在另一个实施例中,物体的边缘包括多个边缘像素,确定所述物体的边缘还包括:如果在该像素上计算的绝对幅值大于预定阈值,就断定第二图像的该像素是一个边缘像素。
在另一个实施例中,预定阈值是所述第二图像中所有像素平均亮度的八分之一。
在另一个实施例中,该方法还包括:校正所述第一图像和所述第二图像的几何失真,以及降采样第一图像和第二图像。
根据本发明的另一个方面,一个交互式投影***包括:用于照亮一个平面的至少一个光源;用于拍摄平面的至少一个图像的光检测器;连接到光检测器的微处理器;以及连接到所述微处理器的非临时性计算机可读存储介质。非临时性计算机可读存储介质中,编码有计算机可读指令,用于使所述微处理器执行以下步骤:使用该光检测器拍摄第一图像和第二图像;确定所述第一图像的第一梯度方向分布;确定所述第二图像的第二梯度方向分布;根据所述第一梯度方向分布和第二梯度方向分布计算差值分布;根据差值分布确定物体的边缘,其中所述差值分布由第二梯度方向分布的梯度幅值以及所述第一梯度方向分布和第二梯度方向分布之间的角度差来表示。
在一个实施例中,交互式投影***还包括:用于投影一个显示屏在平面上的投影模块。
在另一个实施例中,所述至少一个光源是发射红外光以照明平面的红外发光二极管。
在另一个实施例中,红外光的波长是在845nm至855nm的范围内。
在另一个实施例中,所述光检测器还包括一个红外带通滤波器。
在另一个实施例中,红外带通滤光器允许波长在845nm到855nm的范围内的光穿过。
在另一个实施例中,所述第一图像包括背景,所述第二图像包括背景和物体。
在另一个实施例中,非临时性计算机可读存储介质,还编码有用于使所述微处理器执行以下步骤的计算机可读指令:校正所述第一图像和第二图像的几何失真;降采样所述第一图像和所述第二图像。
在另一个实施例中,光源和光检测器基本上是彼此相邻的。
本发明有许多优点。特别是,本发明对背景光强的变化是自适应的。例如,对于汽车应用,温度的急剧增加或减少可以引起照明的变化。有了本发明,不再需要定期重新校准。此外,计算被大大简化,释放出宝贵的计算资源用于随后的高层次任务。最后但同样重要的,本发明边缘检测算法在检测有效边缘边界时有较好的精度。几乎不再需要进行任何腐蚀和/或扩张操作来平滑边缘边界或消除误测。
【附图说明】
图1是本发明实施例之一的边缘检测***的示意图。
图2显示本发明一个实施例的平面上物体边缘检测方法的初始化步骤的流程图。
图3a显示本发明实施例之一的在初始化步骤中由光检测器拍摄的一个背景图像。
图3b显示本发明一个实施例的背景图像上光强变化的等高线图表。
图4a显示本发明一个实施例的背景图像中一个像素的背景梯度方向N和背景切线方向T。
图4b显示本发明一个实施例的等高线图表中一个像素的背景梯度方向N和背景切线方向T。
图5显示本发明一个实施例的背景图像中多个像素的背景梯度方向N和背景切线方向T。
图6显示本发明第一实施例的平面上物体边缘检测方法的在线步骤的流程图。
图7是本发明实施例之一的前景图像中物体边缘的前景梯度方向,和背景图像中相应像素的背景梯度方向的对比示意图。
图8a显示物体边缘的同一像素的前景梯度方向向量Gf,背景梯度方向向量N和切线方向向量T之间的关系示意图。
图8b显示物体边缘的同一像素的前景梯度方向向量Gf,背景梯度方向向量N和切线方向向量T之间的另一关系示意图。和图8a相比,前景梯度方向矢量Gf,是在背景梯度方向向量N的另一侧。
图9显示本发明第二实施例的平面上物体边缘检测方法的在线步骤的流程图。
图10a显示本发明一个实施例的背景图像在不同光强下的背景梯度方向分布的差别。
图10b显示本发明一个实施例的在不同光强下的背景图像中一个像素的背景梯度方向的差异。
图11是本发明实施例之一的有不同模块的边缘检测***的示意图。
图12是一个安装有物体检测***的图像投影仪的示意图。特别地,该图像投影仪是一个安装有手指触摸检测***的交互式投影仪。
图13a显示的图像是背景图象暗淡但当手指出现时光强突然增加,而图13b是本发明边缘检测***对图13a完成的相应边缘边界分布。
图13c显示了另一个图像,背景图像是明亮的,但当手指出现时光强突然减小,图13d是由边缘检测***对图13c完成的相应的边缘边界分布。
【具体实施方式】
本发明公开了一种图像处理***,其能够识别一个数字图像序列中一个物体的边缘边界,而该数字图像序列是从同一视角拍摄的。数字图像序列包括至少两个图像类别。第一类是背景图像,其中所述物体不在场景中,称为第一图像。第二类是所述物体出现在场景中的图像,称为第二图像或前景图像。在一个实施例中,背景是一个平面,所述物体则在平面上。此外,物体可能或可能没有接触到物体。
图1显示本发明实施例之一的边缘检测***20的示意图。边缘检测***20包括:一个用于照亮平面24的光源22、一个用于拍摄平面24至少一个图像的光检测器26、一个连接到光源22和光检测器26的微型计算机28。因为光源22和平面24上每个点之间的距离是不同的,所以平面24上的各点光强是不同的。微型计算机28还包括一个微处理器28a和一个非临时性计算机可读存储介质28b。微型计算机28根据非临时性计算机可读存储介质28b内编码的计算机可读指令,通过微处理器28a来控制光源22和光检测器26。这些指令促使微处理器28a和微计算机28执行将在下面详细讨论的边缘检测方法步骤。在一个实施例中,光源22是一个红外(IR)光源,光检测器26是一相机,用于捕获照射在平面24上并被其反射的红外(IR)光。在另一个实施例中,红外光在845nm至855nm范围内,光检测器26包括一个红外带通滤光片,以允许波长在845nm到855nm的光穿过。在另一个实施例中,边缘检测***20包括多个光源。在又一个实施例中,光源22和光检测器26基本上是彼此相邻的。
现在来看上述边缘检测***20的运作。应当指出的是,这里所披露的边缘检测算法,可以适应任何非均匀的背景光强。但是,为了简化讨论,下面只使用单个光源来描述,该光源的强度分布如图3a和3b所示。检测一个平面上物体的边缘有两个主要步骤,即初始化步骤100和在线步骤200。初始化步骤100是在***初始化时执行一次。其目的是获得背景强度梯度(下面详细讨论),并在在线步骤200开始之前执行。图2显示了初始化步骤100的流程图,从步骤30开始:拍摄具有不均匀光强的平面24的背景图像。之后在步骤32,对于每个像素,找到一个背景梯度方向(或梯度向量)N和一个背景切线方向(或切线向量)T。这将在下面进行详细说明。
图3a和3b分别显示在步骤30中的由光检测器26拍摄的背景图像和平面24背景图像上光强变化的等高线图表。在本实施例中,其中有一个单光源22,最高光强位于背景图像/平面24的上部中心部分。这是因为和平面24的其它部分相比,平面24的这部分到光源22有最短距离。背景图像/平面24的光强朝着背景图像/平面24的边缘逐步减小。在这里描述的所有梯度方向、切线方向、x-方向导数和y-方向导数都是基于光强的。
在拍摄步骤30后,计算每个像素的背景x-方向强度导数Gxb和背景y-方向强度导数Gyb。图4a中的x-坐标和y-坐标分别是背景图像的垂直方向和背景图像的水平方向上的延伸。在步骤32a,一个关键像素的背景x-方向导数Gxb是通过计算该关键像素以及该关键像素的紧邻像素与边缘算子的卷积而确定的。在一个实施例中,它是通过计算关键像素以及其紧邻的8个像素与边缘算子的卷积而确定的。在另一个实施例中,关键像素的背景x-方向导数Gxb是通过下面的等式(1)得到:
G x ( i , j ) = - a - b - a 0 0 0 a b a * p i - 1 , j - 1 p i - 1 , j p i - 1 , j + 1 p i , j - 1 p i , j p i , j + 1 p i + 1 , j - 1 p i + 1 , j p i + 1 , j + 1 - - - ( 1 )
其中a和b是任意整数。在又一个实施例中,a和b分别是1和2。等式(1)右侧的第一个矩阵通常称为x-方向边缘检测器。Pi,j是关键像素,Pi-1,j-1,Pi-1,j,Pi-1,j+1,Pi,j-1,Pi,j+1,Pi+1,j-1,Pi+1,j和Pi+1,j+1是关键像素Pi,j的紧邻像素。
类似地,在步骤32b,每个像素的背景y-方向导数Gyb是通过计算每个像素和其紧邻像素与边缘算子的卷积而确定的。在一个实施例中,它是通过计算关键像素和其紧邻的8个像素与边缘算子的卷积而确定的。在另一个实施例中,关键像素的背景y-方向导数Gyb是通过下面的等式(2)得到:
G y ( i , j ) = - a 0 a - b 0 b - a 0 a * p i - 1 , j - 1 p i - 1 , j p i - 1 , j + 1 p i , j - 1 p i , j p i , j + 1 p i + 1 , j - 1 p i + 1 , j p i + 1 , j + 1 - - - ( 2 )
其中a和b是任意整数。在又一个实施例中,a和b分别是1和2。等式(2)右侧的第一个矩阵通常称为y-方向边缘检测器。Pi,j是关键像素,Pi-1,j-1,Pi-1,j,Pi-1,j+1,Pi,j-1,Pi,j+1,Pi+1,j-1,Pi+1,j和Pi+1,j+1是关键像素Pi,j的紧邻像素。
在步骤32a和32b之后,步骤32c计算背景梯度方向N和背景切线方向T。背景梯度方向N是Gxb和Gyb的向量和,背景切线方向T垂直于N。每个像素的背景切线方向T和x-坐标之间的角度θ可以通过每个相应像素的背景x-方向导数Gxb和背景y-方向导数Gyb由以下等式确定:
θ=tan(Gxb/Gyb)   (3)
图4b显示等高线图呈现的一个像素的背景梯度方向N和背景切线方T。角度θ是该边缘检测算法中的一个重要参数。然后这个角度本身的值,或该角度的一些函数值,被记录/保存并转送到在线步骤200用于后续使用。在背景图像上所有像素的背景梯度方向N被确定之后,就形成一个梯度方向分布。同样,也可以在类似的方式获得背景切线方向分布。图5显示背景图像上一些像素的背景梯度方向N和背景切线方向T。
图6显示本发明第一实施例的在线步骤200的流程图。术语“在线”在这里意思是边缘检测***20已准备好处理一个或一系列由光检测器26拍摄的数字图像。在一个实施例中,在初始化步骤100之后运行的在线步骤200,开始于一帧帧地拍摄平面24的图像。当有一个物体出现在平面24上时,平面24和物体都在步骤34被拍摄下来。有物体出现的图像以下称为前景图像。
之后,在步骤36设置一阈值,用于确定一个像素是否是物体的边缘。该阈值由下式确定:
Figure BDA0000456786540000091
其中,m的范围是6到14。在一个实施例中,m等于8。此阈值是一个全局值,用来检验一个像素是否是一个潜在的边缘边界点。
此后,分别在步骤38a和38b获得前景x-方向导数Gxf和前景y-方向导数Gyf。具体而言,一个关键像素的x-方向导数Gxf是通过等式(1)确定,所述关键像素的前景y-方向导数Gyf是通过等式(2)来确定。以类似的方式,前景梯度方向(或梯度向量)Gf计算为Gxf和Gyf的向量和。在处理完前景图像中的所有像素后,就形成了前景梯度分布。
图7显示了当一个物体30(在此例子中是用户的手)出现在平面24上的情况。向量N和T,分别表示背景梯度方向和背景切线方向,它们是在初始化步骤100中获得的。当比较背景图像和前景图像时,由于物体与平面24之间的反射率的差别,前景图像上一些像素的前景梯度方向Gf不同于背景图像的背景梯度方向N。这在图7中有显示,在边缘边界(在此例子中是指尖),该像素的Gf的大小和方向都不同于N。
在一个实施例中,参照图8a和8b,在步骤38g,为每个像素获得前景梯度方向Gf和背景梯度方向N之间的角度γ,在步骤38h,计算值GT,这是Gf的幅值和sin(γ)的绝对值的乘积。在本说明书中这个值GT被称为差分值,换言之:
GT=|Gf|·|sinγ|   (5)
可以看出,该值GT是Gf离N的向量拒影(vector rejection)的绝对值,即前景梯度方向Gf和其在背景梯度方向N上投影之间的向量差的绝对幅值。通过计算前景图像中所有像素的GT,可以获得一个差分分布。实际上,差分分布就是整个前景图像的差分值GT的分布。
然后在步骤38i,对于每个像素,将值GT和在等式(4)得到的阈值进行比较。如果GT高于阈值,那么该像素被确认为一个潜在的边缘像素点。否则,它不是边缘像素。
等式(5)可以进一步简化。参考图8a,
G T = | G f | · | sin γ | = | G f | · | sin [ θ - ( θ - γ ) ] | = | G f cos ( θ - γ ) sin θ - G f sin ( θ - γ ) cos θ | = | G yf sin θ - G xf cos θ | = | G yT - G xT | - - - ( 6 a )
其中GyT=Gyfsinθ,GxT=Gxfcosθ,θ是为初始化步骤100中相应像素在步骤32c中找到的角度。
当前景梯度方向Gf在背景梯度方向N的另一侧时,如图8b所示,等式(5)可以重写为:
G T = | G f | · | sin γ | = | G f | · | sin ( - γ ) | = | G f | · | sin [ θ - ( θ + γ ) ] | = | G f cos ( θ + γ ) sin θ - G f sin ( θ + γ ) cos θ | = | G yf sin θ - G xf cos θ | = | G yT - G xT | - - - ( 6 b )
在任一种情况下,我们有
GT=|GyT-GxT|   (7)
再次参考图8a和8b,值GyT是Gyf在背景切线方向向量T上的投影,而值GxT是Gxf在背景切线方向向量T上的投影。因此,值GT是Gyf和Gxf在相同背景切线方向向量T上的投影之间的绝对差值。
因此,在另一实施例中,使用如图9的一个更改的流程图来实施在线步骤200。在此流程图中,步骤34、36、38a和38b和图6的是相同的,这里不再重复。步骤38c是计算GxT,这是Gxf在背景切线方向向量T上的投影,如下:
GxT=Gxf·cosθ   (8)
类似地,步骤38d是计算GyT,这是Gyf在背景切线方向向量T上的投影,如下:
GyT=Gyf·sinθ   (9)
然后,在步骤38e得到总梯度GT
GT=|GyT-GxT|   (10)
类似于图6所示的流程图,最后步骤38f是比较GT和阈值,并确定检查的像素是否是一个潜在的边缘像素。
本发明方法有几个优点。一个优点是,本发明方法的边缘检测不受平面24上光强变化的影响,或不受光源22在一段时间内产生噪声的影响。当由光源22产生的亮度受环境影响时,问题更加凸显。例如,如果边缘检测***20安装在汽车中,由汽车产生的热量可能会降低光强输出。如图10a和10b所示,低光强下的背景梯度方向N和高光强下的背景梯度方向N'大多保持不变。结果是,低光强下的背景切线方向T和高光强下的背景切线方向T’也大多保持不变。因此,本发明的检测物体边缘的方法不受背景光强任何变化的影响。
图11显示本发明一个实施例的边缘检测***20的另一个方面。在这个方面,边缘检测***20包括一个初始化图像拍摄模块40、初始化模块42、在线图像拍摄模块44和在线模块46。初始化图像拍摄模块40用于执行步骤30,而初始化模块42用于执行步骤32(即步骤32a–32c)。此外,在线图像拍摄模块44用于执行步骤34和36,而在线模块46用于执行图6中的步骤38a、38b、38g、38h和38i或在图9中的步骤38a至38f。
在一个实施中,边缘检测***20安装在图像投影仪48中,如图12所示。图像投影仪48包括一个将图像投影到平面24上的投影机50、一个红外光源54、一个红外相机52和一个微计算机56。在一个应用中,图像投影仪48投射一个静止图像或一个视频图像序列到平面24上。同时,IR光源54用红外光照射平面,红外相机52则捕获从平面24反射的红外光强。在另一实施例中,投影的图像是人眼可见的,可以包含可点击的图标,在平面24上为用户选择。然后,用户可以使用他/她的手指指向图标。IR相机过滤掉可见光图像,只处理那些IR光谱的光强。然后边缘检测***20可以从红外图像中识别出人手和手指的边界,然后将这些信息转发给图像投影仪48中更高级别的图像处理模块,以确定用户点击的是哪个图标。
图13a至13d显示了本发明边缘检测***的实验结果。图13a显示的图像是背景图象暗淡但前景图像的光强突然由于一些意想不到的原因(如温度下降)而突然增加,而图13b是本发明边缘检测***对图13a完成的相应边缘边界分布。类似地,图13c显示了另一个图像,背景图像是明亮的,但前景图像的光强变小(如由于温度上升)。图13d是由边缘检测***对图13c完成的相应的边缘边界分布。
已经充分地描述了本发明的示例性实施例。虽然描述中涉及到特定实施例,但是本领域普通技术人员将理解,这些具体细节即使有变化,本发明也可以实施。因此,本发明不应该被解释为限于本文所阐述的实施例。

Claims (21)

1.一种在同一视角的数字图像序列中确定物体边缘的方法,包括:
a)从所述数字图像序列获得第一图像,从所述数字图像序列获得第二图像,所述物体出现在所述第二图像中;
b)确定所述数字图像序列中所述第一图像的第一梯度方向分布;
c)确定所述数字图像序列中所述第二图像的第二梯度方向分布;
d)根据所述第一梯度方向分布和所述第二梯度方向分布计算一个差值分布;
e)根据所述差值分布确定所述物体的所述边缘;
其中所述差值分布由所述第二梯度方向分布的梯度幅值以及所述第一梯度方向分布和所述第二梯度方向分布之间的角度差来表示。
2.如权利要求1所述的方法,其中所述差值分布是所述第二梯度方向分布的梯度幅值和所述第一梯度方向分布和所述第二梯度方向分布之间的角度差的正弦值的乘积的绝对值。
3.如权利要求1所述的方法,其中所述第一梯度方向分布和所述第二梯度方向分布是通过计算第一梯度向量和第二梯度向量而确定的,其中所述第一梯度向量表示所述第一图像中每个像素的亮度变化,所述第二梯度向量表示所述第二图像中每个像素的亮度变化。
4.如权利要求3所述的方法,其中所述计算第一梯度向量和第二梯度向量的步骤还包括:
对相应图像里的每个像素,获得第一方向强度导数和第二方向强度导数的向量和;
其中所述第一方向强度导数和所述第二方向强度导数是相互垂直的。
5.如权利要求4所述的方法,其中所述第一方向强度导数的计算是以第一边缘算子与所述相应图像里每个所述像素进行卷积运算,所述第二方向强度导数的计算是以第二边缘算子与所述相应图像里每个所述像素进行卷积运算。
6.如权利要求5所述的方法,其中所述第一方向强度导数是一个x-方向导数,所述第一边缘算子是一个x-方向边缘检测器;所述第二方向强度导数是一个y-方向导数,所述第二边缘算子是一个y-方向边缘检测器。
7.如权利要求3所述的方法,其中计算所述差值分布的步骤还包括:
a)计算所述第一梯度向量的切线;
b)将所述第二梯度向量投影在所述切线上;
c)计算在所述切线上的所述投影的绝对幅值。
8.如权利要求7所述的方法,其中所述投影步骤还包括:
a)通过将所述第二梯度向量的x-分量投影在所述切线上,找到第一分量值;
b)通过将所述第二梯度向量的y-分量投影在所述切线上,找到第二分量值;
其中所述绝对幅值是通过计算所述第一分量值和所述第二分量值的绝对差值而得到的。
9.如权利要求7所述的方法,其中所述物体的所述边缘包括多个边缘像素,所述确定所述物体的边缘的步骤还包括:
如果所述像素的所述绝对幅值高于一个预定阈值,那么就确定所述第二图像中的该像素是一个边缘像素。
10.如权利要求9所述的方法,其中所述预定阈值是所述第二图像中所有像素的平均亮度的八分之一。
11.如权利要求1所述的方法,还包括步骤:
a)校正所述第一图像和所述第二图像的几何失真;
b)降采样所述第一图像和所述第二图像。
12.一种交互式投影***,包括:
a)至少一个光源,用于照射一个平面;
b)一个光检测器,用于拍摄所述平面的至少一个图像;
c)一个微处理器,其与所述光检测器连接;
d)一个非暂时性计算机可读存储介质,其与所述微处理器连接,所述非暂时性计算机可读存储介质里编码有计算机可读指令,用于指示所述微处理器执行以下步骤:
i)使用所述光检测器拍摄第一图像和第二图像,其中所述第一图像是所述平面的一个图像,所述第二图像是一个物体在所述平面上的一个图像;
ii)确定所述第一图像的第一梯度方向分布;
iii)确定所述第二图像的第二梯度方向分布;
iv)根据所述第一梯度方向分布和所述第二梯度方向分布,计算一个差值分布;
v)根据所述差值分布,确定所述物体的所述边缘;其中所述差值分布由所述第二梯度方向分布的梯度幅值以及所述第一梯度方向分布和所述第二梯度方向分布之间的角度差来表示。
13.如权利要求12所述的交互式投影***,其中所述差值分布是所述第二梯度方向分布的梯度幅值和所述第一梯度方向分布和所述第二梯度方向分布之间的角度差的正弦值的乘积的绝对值。
14.如权利要求12所述的交互式投影***,还包括一个投影模块,用于投影一个显示屏在所述平面上。
15.如权利要求12所述的交互式投影***,其中所述至少一个光源是一个红外发光二极管,用于发射红外光以照射所述平面。
16.如权利要求15所述的交互式投影***,其中所述红外光的波长在845nm到855nm的范围内。
17.如权利要求12所述的交互式投影***,其中所述光检测器还包括一个红外带通滤波器。
18.如权利要求17所述的交互式投影***,其中所述红外带通滤波器允许波长在845nm到855nm范围内的光通过。
19.如权利要求12所述的交互式投影***,其中所述第一图像包括一个背景,所述第二图像包括所述背景和所述物体。
20.如权利要求12所述的交互式投影***,其中所述非暂时性计算机可读存储介质里还编码有计算机可读指令,用于指示所述微处理器执行以下步骤:
a)校正所述第一图像和所述第二图像的几何失真;
b)降采样所述第一图像和所述第二图像。
21.如权利要求12所述的交互式投影***,其中所述光源和所述光检测器是相互靠近的。
CN201410017034.1A 2014-01-08 2014-01-14 非均匀背景光下的边缘检测方法 Active CN103871049B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/149,839 2014-01-08
US14/149,839 US9519975B2 (en) 2014-01-08 2014-01-08 Method of detecting edge under non-uniform lighting background

Publications (2)

Publication Number Publication Date
CN103871049A true CN103871049A (zh) 2014-06-18
CN103871049B CN103871049B (zh) 2017-01-18

Family

ID=50909554

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410017034.1A Active CN103871049B (zh) 2014-01-08 2014-01-14 非均匀背景光下的边缘检测方法

Country Status (2)

Country Link
US (1) US9519975B2 (zh)
CN (1) CN103871049B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105323419A (zh) * 2014-07-25 2016-02-10 能晶科技股份有限公司 产生方位图像的方法
CN107111756A (zh) * 2015-01-14 2017-08-29 萨罗尼科斯贸易与服务人有限公司 用于检测图像中的实体的设备和方法
CN107917920A (zh) * 2016-10-11 2018-04-17 株式会社东芝 边缘检测设备、边缘检测方法以及物体保持设备
CN109146904A (zh) * 2018-08-13 2019-01-04 合肥英睿***技术有限公司 在可见光图像中显示红外图像目标物轮廓的方法及设备

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9519975B2 (en) * 2014-01-08 2016-12-13 Hong Kong Applied Science And Technology Research Institute Co. Ltd. Method of detecting edge under non-uniform lighting background
DE102014224552A1 (de) * 2014-12-01 2016-06-02 Robert Bosch Gmbh Projektionsvorrichtung und Verfahren zum pixelweisen Projizieren eines Bildes
CN106611406B (zh) * 2015-10-27 2019-08-16 富士通株式会社 图像校正方法和图像校正设备
US10963742B2 (en) * 2018-11-02 2021-03-30 University Of South Florida Leveraging smart-phone cameras and image processing techniques to classify mosquito genus and species
CN113139953B (zh) * 2021-05-10 2022-11-04 宁波永新光学股份有限公司 检测识别图像中的颗粒污染物的方法及计算机可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1926497A (zh) * 2003-12-09 2007-03-07 雷阿卡特瑞克斯***公司 自主交互式视频显示***
CN101074932A (zh) * 2006-05-16 2007-11-21 三菱电机株式会社 图像检查方法以及使用了该方法的图像检查装置
CN101950352A (zh) * 2010-05-31 2011-01-19 北京智安邦科技有限公司 一种去除光照影响的目标检测方法及装置
CN103072537A (zh) * 2013-02-05 2013-05-01 湖南大学 基于红外图像处理的汽车防撞安全保护装置及保护方法
CN103093228A (zh) * 2013-01-17 2013-05-08 上海交通大学 一种在自然场景图像中基于连通域的中文检测方法

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3040896B2 (ja) * 1993-06-16 2000-05-15 シャープ株式会社 画像処理装置
US6418238B1 (en) * 1997-09-22 2002-07-09 Olympus Optical Co., Ltd. Image detection apparatus and image detection method capable of detecting roundish shape
DE10043460C2 (de) * 2000-09-04 2003-01-30 Fraunhofer Ges Forschung Auffinden von Körperpartien durch Auswerten von Kantenrichtungsinformation
US7022073B2 (en) * 2003-04-02 2006-04-04 Siemens Medical Solutions Usa, Inc. Border detection for medical imaging
JP4517872B2 (ja) * 2005-02-10 2010-08-04 ソニー株式会社 画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体
WO2007076891A1 (en) * 2005-12-30 2007-07-12 Telecom Italia S.P.A. Average calculation in color space, particularly for segmentation of video sequences
US8565525B2 (en) * 2005-12-30 2013-10-22 Telecom Italia S.P.A. Edge comparison in segmentation of video sequences
WO2007076894A1 (en) * 2005-12-30 2007-07-12 Telecom Italia S.P.A. Contour finding in segmentation of video sequences
EP1969562B1 (en) * 2005-12-30 2016-11-09 Telecom Italia S.p.A. Edge-guided morphological closing in segmentation of video sequences
US20090028432A1 (en) * 2005-12-30 2009-01-29 Luca Rossato Segmentation of Video Sequences
TWI304187B (en) * 2006-01-03 2008-12-11 Realtek Semiconductor Corp Method and apparatus for image edge detection
KR101375665B1 (ko) * 2007-08-08 2014-03-18 삼성전자주식회사 배경 변화 추정 방법 및 장치, 및 이를 이용한 움직임 검출 방법 및 장치
US20100110209A1 (en) * 2008-10-31 2010-05-06 Border John N Fast motion measurement device for gaming
US8928763B2 (en) * 2008-12-09 2015-01-06 Abbyy Development Llc Detecting and correcting blur and defocusing
EP2293247B1 (en) * 2009-07-29 2012-09-05 Harman Becker Automotive Systems GmbH Edge detection with adaptive threshold
JP5655355B2 (ja) * 2009-11-02 2015-01-21 ソニー株式会社 画素欠陥補正装置、撮像装置、画素欠陥補正方法、およびプログラム
US8638993B2 (en) * 2010-04-05 2014-01-28 Flashfoto, Inc. Segmenting human hairs and faces
JP5658963B2 (ja) * 2010-09-29 2015-01-28 オリンパス株式会社 画像処理装置、画像処理方法、および画像処理プログラム
US8681223B2 (en) * 2011-06-24 2014-03-25 Honeywell International Inc. Video motion detection, analysis and threat detection device and method
US9030445B2 (en) * 2011-10-07 2015-05-12 Qualcomm Incorporated Vision-based interactive projection system
US8774508B2 (en) * 2012-02-27 2014-07-08 Denso It Laboratory, Inc. Local feature amount calculating device, method of calculating local feature amount, corresponding point searching apparatus, and method of searching corresponding point
US9025823B2 (en) * 2013-03-12 2015-05-05 Qualcomm Incorporated Tracking texture rich objects using rank order filtering
US9519975B2 (en) * 2014-01-08 2016-12-13 Hong Kong Applied Science And Technology Research Institute Co. Ltd. Method of detecting edge under non-uniform lighting background
US20150199572A1 (en) * 2014-01-16 2015-07-16 Qualcomm Incorporated Object tracking using occluding contours

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1926497A (zh) * 2003-12-09 2007-03-07 雷阿卡特瑞克斯***公司 自主交互式视频显示***
CN101074932A (zh) * 2006-05-16 2007-11-21 三菱电机株式会社 图像检查方法以及使用了该方法的图像检查装置
CN101950352A (zh) * 2010-05-31 2011-01-19 北京智安邦科技有限公司 一种去除光照影响的目标检测方法及装置
CN103093228A (zh) * 2013-01-17 2013-05-08 上海交通大学 一种在自然场景图像中基于连通域的中文检测方法
CN103072537A (zh) * 2013-02-05 2013-05-01 湖南大学 基于红外图像处理的汽车防撞安全保护装置及保护方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
王娜 等: "一种新的改进Canny边缘检测算法", 《深圳大学学报理工版》 *
贺强 等: "基于LOG和Canny算子的边缘检测算法", 《计算机工程》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105323419A (zh) * 2014-07-25 2016-02-10 能晶科技股份有限公司 产生方位图像的方法
CN105323419B (zh) * 2014-07-25 2018-07-31 能晶科技股份有限公司 产生方位图像的方法
CN107111756A (zh) * 2015-01-14 2017-08-29 萨罗尼科斯贸易与服务人有限公司 用于检测图像中的实体的设备和方法
CN107111756B (zh) * 2015-01-14 2021-11-02 萨罗尼科斯贸易与服务一人有限公司 用于检测图像中的实体的设备和方法
CN107917920A (zh) * 2016-10-11 2018-04-17 株式会社东芝 边缘检测设备、边缘检测方法以及物体保持设备
CN107917920B (zh) * 2016-10-11 2021-03-12 株式会社东芝 边缘检测设备、边缘检测方法以及物体保持设备
CN109146904A (zh) * 2018-08-13 2019-01-04 合肥英睿***技术有限公司 在可见光图像中显示红外图像目标物轮廓的方法及设备

Also Published As

Publication number Publication date
US9519975B2 (en) 2016-12-13
CN103871049B (zh) 2017-01-18
US20150193941A1 (en) 2015-07-09

Similar Documents

Publication Publication Date Title
CN103871049A (zh) 非均匀背景光下的边缘检测方法
US9098148B2 (en) Detecting and tracking touch on an illuminated surface using a machine learning classifier
US7973779B2 (en) Detecting ambient light levels in a vision system
CN101617271B (zh) 使用闪烁电磁辐射的增强输入
US20160266722A1 (en) Operation detection device, operation detection method and projector
KR20140125713A (ko) 카메라 어레이에 기반하여 시선을 추적하는 방법 및 장치
CN114746905A (zh) 通过显示器的深度测量
US11694399B2 (en) Systems and methods for generating augmented reality environments from two-dimensional drawings
US9146640B2 (en) Apparatus and system for correcting touch signal and method thereof
US20160247286A1 (en) Depth image generation utilizing depth information reconstructed from an amplitude image
US9014426B2 (en) Method and device for the detection of moving objects in a video image sequence
WO2017141730A1 (ja) 画像処理装置および方法、並びにプログラム
CN111754575B (zh) 对象定位方法、投影方法、装置和投影仪
KR101476503B1 (ko) 착용형 디스플레이 장치를 위한 인터랙션 제공 장치 및 방법
US11935261B2 (en) Determining dimensions for providing a precut window film
KR101673694B1 (ko) 시선추적장치 및 그의 반사점 검출 방법
US10365770B2 (en) Information processing apparatus, method for controlling the same, and storage medium
US10007857B2 (en) Method for the three-dimensional detection of objects
US9842406B2 (en) System and method for determining colors of foreground, and computer readable recording medium therefor
JP2014035294A (ja) 情報取得装置および物体検出装置
TW201800719A (zh) 物體辨識系統及辨識物體的方法
CN112912931A (zh) 对使用近红外照明器的多个相机的自动校准
KR101481082B1 (ko) 투과 스크린을 이용한 적외선 터치 시스템 및 그 방법
JP2015046111A (ja) 視点検出装置および視点検出方法
KR101994358B1 (ko) 오브젝트 센싱 장치 및 방법, 오브젝트 센싱 장치의 캘리브레이션 패턴 식별 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant