CN101221476B - 图像匹配效果的评估方法 - Google Patents

图像匹配效果的评估方法 Download PDF

Info

Publication number
CN101221476B
CN101221476B CN2007101710559A CN200710171055A CN101221476B CN 101221476 B CN101221476 B CN 101221476B CN 2007101710559 A CN2007101710559 A CN 2007101710559A CN 200710171055 A CN200710171055 A CN 200710171055A CN 101221476 B CN101221476 B CN 101221476B
Authority
CN
China
Prior art keywords
matching
value
matching error
image
accumulated value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2007101710559A
Other languages
English (en)
Other versions
CN101221476A (zh
Inventor
林豹
肖勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apexone Microelectronics Co., Ltd.
Apexone Microelectronics Ltd
Original Assignee
APEXONE MICROELECTRONICS Co Ltd
Apexone Microelectronics Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by APEXONE MICROELECTRONICS Co Ltd, Apexone Microelectronics Ltd filed Critical APEXONE MICROELECTRONICS Co Ltd
Priority to CN2007101710559A priority Critical patent/CN101221476B/zh
Publication of CN101221476A publication Critical patent/CN101221476A/zh
Application granted granted Critical
Publication of CN101221476B publication Critical patent/CN101221476B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

本发明揭示了一种图像匹配效果的评估方法，用于计算机或视频***指示装置上，其通过光敏检测器阵列获取外部物体的两帧图像形成参考帧与目标帧，并在参考帧中选择一参考块，并在目标帧中选取多个搜索块，依次对参考块与每一个搜索块进行相关性计算，得到多个匹配误差值，之后计算最小匹配误差值占所有匹配误差累积值的比例，如果该比例大于一临界值，则判定匹配效果较差而不输出位移矢量或更换参考帧。

Description

图像匹配效果的评估方法
【技术领域】
本发明涉及一种图像匹配效果的评估方法，特别地，涉及一种用于光学指示装置中评估图像匹配效果的方法。
【背景技术】
光学指示装置，如鼠标，是最为常用的人机接口设备之一。当用户在工作表面上移动鼠标时，鼠标内的运动感知装置便感知此运动，由此控制计算机屏幕上的指针相应移动。现有技术中的光学感知装置一般包括一个光发射装置(如发光二极管)和一个光敏检测器阵列，其中光敏检测器阵列通常排列成二维阵列，以感测鼠标垫或桌面的特征，鼠标运动位移的判断主要是通过计算新捕获的采样图像(或称“帧”)和以前捕获的参考图像之间的相关性来完成对运动方向及位移大小的确定，即为匹配过程，具体是在第一帧图像中选择部分影像作为一个参考块，之后将该参考块与第二帧图像在不同的位置进行匹配计算，选择出最佳的匹配位置，从而得到位移矢量，但是在实际的使用中，可能因鼠标在运动过程中抬离桌面致使未对准焦距而使获得的图像模糊，或在极其平滑的平面(如玻璃)上运动时亦会出现获得的图像模糊而在匹配过程中出现判断错误，从而计算得出的位移矢量并非是鼠标实际的位移，从而令与该鼠标配合使用的屏幕上的光标的运动轨迹出现异常。同时，因在进行匹配过程中，如欲得到正确的计算结果，则第一帧图像与第二帧图像必须在一定大小的重叠区，而如果此二帧图像重叠区太小，如此匹配时也会出现判断错误，也会出现上述的结果。因此实有必要提供一种方法，对匹配效果进行预先评估，从而确定匹配的结果是否正确，从而决定是否输出与位移对应的信号，以防止输出的位移矢量不能正确反映该鼠标的实际运动。
【发明内容】
本发明的目的是提供一种图像匹配效果的评估方法，其通过对匹配的效果进行预先评估而避免现有技术中因匹配结果错误而导致该光学指示装置输出的位移不能正确反映此光学指示装置的实际位移。
为实现上述目的，本发明图像匹配效果的评估方法，用于计算机或视频***指示装置上，该指示装置上设有光敏检测器阵列及数据处理单元，该光敏检测器阵列用以光学感知外部物体的图像，而数据处理单元对该光敏检测器阵列输出的图像信号进行处理从而感知物体的运动，其中该方法包括如下步骤：
利用光敏检测器阵列获取外部物体的两帧图像，分别形成参考帧与目标帧；
在参考帧中选择一参考块，并在目标帧中选取多个搜索块，依次对参考块与每一个搜索块进行相关性计算，确定多个匹配误差值；
通过比较，确定此多个匹配误差值中的最小匹配误差值；
计算上述最小匹配误差值与该多个匹配误差值的差值，然后把所有的差值的绝对值累积，得到差值累积值；
将该多个匹配误差值进行累加，确定匹配误差累积值；
经判断匹配误差累积值不为0时，取得差值累积值与匹配误差累积值的比值，如匹配误差累积值为0，则令比值为0；
判断比值是否大于一临界值，如是则判断匹配效果好，如否则判断匹配效果差。
依据上述主要特征，如匹配效果好，则输出计算得到的运动矢量，如否则输出此次计算得到的运动矢量并立即替换参考帧，之后再采样下一帧图像。
依据上述主要特征，该数据处理单元内设有计数器，在开始获得图像时，将计数器归零，当比值小于一临界值时，计数器累加1，之后判断计数器值是否小于一预定值，如是则输出此次计算得到的运动位移并立即替换参考帧，如否则强制令输出的运动矢量为零或不输出运动矢量。
依据上述主要特征，计算相关性的方法是利用参考块矩阵和搜索块矩阵的差值矩阵，匹配误差值为此差值矩阵的矩阵范数，越小则表示参考块和搜索块的关联性越强。
为实现上述发明目的，本发明还提出另外一种图像匹配效果的评估方法，用于计算机或视频***指示装置上，该指示装置上设有光敏检测器阵列及数据处理单元，该光敏检测器阵列用以光学感知外部物体的图像，而数据处理单元对该光敏检测器阵列输出的图像信号进行处理从而感知物体的运动，其中该方法包括如下步骤：
利用光敏检测器阵列获取外部物体的两帧图像，分别形成参考帧与目标帧；
在参考帧中选择一参考块，并在目标帧中选取多个搜索块，依次对参考块与每一个搜索块进行相关性计算，确定多个匹配误差值；
通过比较，确定此多个匹配误差值中的最小匹配误差值；
将该多个匹配误差值进行累加，确定匹配误差累积值；
经判断匹配误差累积值不为0时，计算最小匹配误差值与匹配误差累积值的比值；
判断最小匹配误差值与匹配误差累积值的比值是否大于一临界值，或匹配误差累积值为0，如最小匹配误差值与匹配误差累积值的比值大于一临界值，或匹配误差累积值为0，则判断匹配效果差，如否则判断匹配效果佳。
依据上述主要特征，如匹配效果好，则输出计算得到的运动矢量，如否则输出此次计算得到的运动矢量并立即替换参考帧，之后再采样下一帧图像。
依据上述主要特征，该数据处理单元内设有计数器，在开始获得图像时，将计数器归零，当某一次判断匹配效果差时，计数器累加1，之后判断计数器值是否小于一预定值，如是则输出此次计算得到的运动位移并立即替换参考帧，如否则强制令输出的运动矢量为零或不输出运动矢量。
依据上述主要特征，计算相关性的方法是利用参考块矩阵和搜索块矩阵的差值矩阵，匹配误差值为此差值矩阵的矩阵范数，越小则表示参考块和搜索块的关联性越强。
与现有技术相比较，本发明对匹配的效果进行预先评估，确定匹配的结果是否正确，从而决定是否输出与位移对应的信号或更换参考帧，以防止输出的位移矢量不能正确反映该鼠标的实际运动。
【附图说明】
图1为本发明方法的流程示意图；
图2为采用13个搜索块时，在正常状况下各个搜索块的匹配误差的分布示意图；
图3为采用13个搜索块时，在非正常状况下各个搜索块的匹配误差的分布示意图。
【实施方式】
请参阅图1所示，本发明图像匹配效果的评估方法，用于计算机或视频***指示装置上，该指示装置上设有光敏检测器阵列及数据处理单元，该光敏检测器阵列用以光学感知外部物体的图像，而数据处理单元对该光敏检测器阵列输出的图像信号进行处理从而感知物体的运动，并且该数据处理单元内设有计数器，其中该方法包括如下步骤：
利用光敏检测器阵列获取外部物体的帧图像，形成参考帧，并令计数器归零，即S01；
利用光敏检测器阵列获取外部物体的第二帧图像，形成目标帧，即S02；
在参考帧中选择一参考块，并在目标帧中选取多个搜索块，依次对参考块与每一个搜索块进行相关性计算，即correlation，确定多个的匹配误差值，并通过比较，确定此多个匹配误差值中的最小匹配误差值min，其中计算相关性的方法是利用参考块矩阵和搜索块矩阵的差值矩阵，利用矩阵范数计算两个矩阵的距离，匹配误差值为此差值矩阵的矩阵范数，矩阵范数越小则表示参考块和搜索块的关联性越强，即S03；
计算上述最小匹配误差值min与该多个(如N个)匹配误差值的差值，然后把所有的差值的绝对值累积，得到差值累积值Diff，即S04；
其中 Diff = Σ i = 1 N | correlation ( i ) - min | ;
将该多个(如N个)匹配误差值进行累加，确定匹配误差累积值Sum，即S05；
其中 Sum = Σ i = 1 N correlation ( i ) ;
判断匹配误差累积值Sum是否为0时，即S06；
如匹配误差累积值Sum为0，则令Dn为0，即S07；
如匹配误差累积值Sum不为0，令Diff与Sum相比得到比值Dn，即S08；
判断比值Dn是否大于一临界值，即S09；
如是，则判断匹配效果佳，则输出计算得到的运动矢量，并令计数器归零，即S10，之后返回S02；
如否，则判断匹配效果差，计数器累加1，即S11；
判断计数器值是否小于一预定值，即S12；
如是，则输出此次计算得到的运动矢量并立即替换参考帧，即S13，之后返回S02；
如否，则强制令输出的运动矢量为零或不输出运动矢量，即S14，之后返回S02。
请参阅图2所示，为采用13个搜索块时，在正常状况下各个搜索块的匹配误差的分布示意图，在13个搜索块中，只有一个搜索块跟参考块非常吻合，而其它12个搜索块都相差非常大，这样我们就能很明确地判断出该块为最匹配搜索块，即表现为该最匹配搜索块的匹配误差远小于其它12个搜索块的匹配误差值，如此最小匹配误差值与该多个匹配误差值的差值的绝对值累积值Diff与匹配误差累积值Sum的比值Dn相对大一些，而图3所示的非正常状况下，即鼠标可能是处于是抬起状态或在玻璃平面上或参考帧与目标帧重叠区域过小，从而导致13个搜索块的匹配误差值均很接近，如此最小匹配误差值与该多个匹配误差值的差值的绝对值累积值Diff与匹配误差累积值Sum的比值Dn非常小，如此便可判断出匹配的效果较差，而令数据处理不输出位移矢量或更换参考帧，在实际中可设临界值为0.125，大于这个临界值就表示匹配的效果比较理想，小于这个临界值，则表示匹配的效果不理想，并且此该临界值由进行匹配运算中选取的搜索块数量决定，并非固定为0.125。
在上述的实施例中，是以最小匹配误差值与该多个匹配误差值的差值的绝对值累积值Diff与匹配误差累积值Sum的比值Dn与临界值比较判断匹配效果差还是好，同时亦也采用最小匹配误差与匹配误差累积值Sum的比值判断匹配效果佳或差，其方法包括如下步骤：
利用光敏检测器阵列获取外部物体的两帧图像，分别形成参考帧与目标帧；
在参考帧中选择一参考块，并在目标帧中选取多个搜索块，依次对参考块与每一个搜索块进行相关性计算，确定多个匹配误差值；
通过比较，确定此多个匹配误差值中的最小匹配误差值；
将该多个匹配误差值进行累加，确定匹配误差累积值Sum；
经判断匹配误差累积值Sum不为0时，计算最小匹配误差值与匹配误差累积值Sum的比值；
判断最小匹配误差值与匹配误差累积值Sum的比值是否大于一临界值，或匹配误差累积值Sum为0，如最小匹配误差值与匹配误差累积值Sum的比值大于一临界值，或匹配误差累积值Sum为0，则判断匹配效果差，如否则判断匹配效果佳。
通过上述方法，如判断匹配效果好，则输出计算得到的运动矢量，如否则输出此次计算得到的运动矢量并立即替换参考帧，之后再采样下一帧图像。
另外，该数据处理单元内设有计数器，在开始获得图像时，将计数器归零，当某一次判断匹配效果差时，计数器累加1，之后判断计数器值是否小于一预定值，如是则输出此次计算得到的运动位移并立即替换参考帧，如否则强制令输出的运动矢量为零或不输出运动矢量。
再者，上述计算相关性的方法是利用参考块矩阵和搜索块矩阵的差值矩阵，利用矩阵范数计算两个矩阵的距离，越小则表示参考块和搜索块的关联性越强。
在上述二实施例中，在判断计数器的值是否小于一预定值的过程中时，此预定值也是由指示装置的设定值决定或由实验取得，通常可设定为5。
上述实施例中图2与图3中是以13个搜索块为例说明，在其他的实施方式中，亦可以9个或25个搜索块进行匹配运算。
虽然上面已经揭示了本发明的具体实施方法，但是它们不是本发明范围的局限，其应用领域也可扩大至所有的指示设备。因此，熟知本技术领域的人员对以上所述具体实施的修改和变化也包含在本发明的范围之内。

Claims (8)

1.一种图像匹配效果的评估方法，用于计算机或视频***指示装置上，该指示装置上设有光敏检测器阵列及数据处理单元，该光敏检测器阵列用以光学感知外部物体的图像，而数据处理单元对该光敏检测器阵列输出的图像信号进行处理从而感知物体的运动，其中该方法包括如下步骤：
利用光敏检测器阵列获取外部物体的两帧图像，分别形成参考帧与目标帧；
在参考帧中选择一参考块，并在目标帧中选取多个搜索块，依次对参考块与每一个搜索块进行相关性计算，确定多个匹配误差值；
通过比较，确定此多个匹配误差值中的最小匹配误差值；
计算上述最小匹配误差值与该多个匹配误差值的差值，然后把所有的差值的绝对值累积，得到差值累积值；
将该多个匹配误差值进行累加，确定匹配误差累积值；
经判断匹配误差累积值不为0时，取得差值累积值与匹配误差累积值的比值，如匹配误差累积值为0，则令比值为0；
判断比值是否大于一临界值，如是则判断匹配效果好，如否则判断匹配效果差。
2.如权利要求1所述的图像匹配效果的评估方法，其特征在于：如匹配效果好，则输出计算得到的运动矢量，如否则输出此次计算得到的运动矢量并立即替换参考帧，之后再采样下一帧图像。
3.如权利要求1所述的图像匹配效果的评估方法，其特征在于：该数据处理单元内设有计数器，在开始获得图像时，将计数器归零，当比值小于一临界值时，计数器累加1，之后判断计数器值是否小于一预定值，如是则输出此次计算得到的运动位移并立即替换参考帧，如否则强制令输出的运动矢量为零或不输出运动矢量。
4.如权利要求1或2或3所述的图像匹配效果的评估方法，其特征在于：计算相关性的方法是利用参考块矩阵和搜索块矩阵的差值矩阵，匹配误差值为此差值矩阵的矩阵范数，越小则表示参考块和搜索块的关联性越强。
5.一种图像匹配效果的评估方法，用于计算机或视频***指示装置上，该指示装置上设有光敏检测器阵列及数据处理单元，该光敏检测器阵列用以光学感知外部物体的图像，而数据处理单元对该光敏检测器阵列输出的图像信号进行处理从而感知物体的运动，其中该方法包括如下步骤：
利用光敏检测器阵列获取外部物体的两帧图像，分别形成参考帧与目标帧；
在参考帧中选择一参考块，并在目标帧中选取多个搜索块，依次对参考块与每一个搜索块进行相关性计算，确定多个匹配误差值；
通过比较，确定此多个匹配误差值中的最小匹配误差值；
将该多个匹配误差值进行累加，确定匹配误差累积值；
经判断匹配误差累积值不为0时，计算最小匹配误差值与匹配误差累积值的比值；
判断最小匹配误差值与匹配误差累积值的比值是否大于一临界值，或匹配误差累积值为0，如最小匹配误差值与匹配误差累积值的比值大于一临界值，或匹配误差累积值为0，则判断匹配效果差，如否则判断匹配效果佳。
6.如权利要求5所述的图像匹配效果的评估方法，其特征在于：如匹配效果好，则输出计算得到的运动矢量，如否则输出此次计算得到的运动矢量并立即替换参考帧，之后再采样下一帧图像。
7.如权利要求5所述的图像匹配效果的评估方法，其特征在于：该数据处理单元内设有计数器，在开始获得图像时，将计数器归零，当某一次判断匹配效果差时，计数器累加1，之后判断计数器值是否小于一预定值，如是则输出此次计算得到的运动位移并立即替换参考帧，如否则强制令输出的运动矢量为零或不输出运动矢量。
8.如权利要求5或6或7所述的图像匹配效果的评估方法，其特征在于：计算相关性的方法是利用参考块矩阵和搜索块矩阵的差值矩阵，匹配误差值为此差值矩阵的矩阵范数，越小则表示参考块和搜索块的关联性越强。
CN2007101710559A 2007-11-27 2007-11-27 图像匹配效果的评估方法 Expired - Fee Related CN101221476B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2007101710559A CN101221476B (zh) 2007-11-27 2007-11-27 图像匹配效果的评估方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2007101710559A CN101221476B (zh) 2007-11-27 2007-11-27 图像匹配效果的评估方法

Publications (2)

Publication Number Publication Date
CN101221476A CN101221476A (zh) 2008-07-16
CN101221476B true CN101221476B (zh) 2010-08-11

Family

ID=39631346

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2007101710559A Expired - Fee Related CN101221476B (zh) 2007-11-27 2007-11-27 图像匹配效果的评估方法

Country Status (1)

Country Link
CN (1) CN101221476B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102810027B (zh) * 2011-06-03 2015-08-19 友碁科技股份有限公司 光学输入设备及控制方法
US8976191B1 (en) * 2014-03-13 2015-03-10 Qualcomm Incorporated Creating a realistic color for a virtual object in an augmented reality environment
CN105183752B (zh) * 2015-07-13 2018-08-10 中国电子科技集团公司第十研究所 关联查询红外视频图像特定内容的方法
US9927884B2 (en) * 2015-11-06 2018-03-27 Pixart Imaging (Penang) Sdn. Bhd. Non transitory computer readable recording medium for executing image processing method, and image sensing device applying the image processing method

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5864372A (en) * 1996-12-10 1999-01-26 United Microelectronics Corporation Apparatus for implementing a block matching algorithm for motion estimation in video image processing
CN1465034A (zh) * 2001-06-05 2003-12-31 索尼公司 图像处理设备
CN1926881A (zh) * 2004-03-01 2007-03-07 索尼株式会社 运动矢量检测装置、运动矢量检测方法和计算机程序

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5864372A (en) * 1996-12-10 1999-01-26 United Microelectronics Corporation Apparatus for implementing a block matching algorithm for motion estimation in video image processing
CN1465034A (zh) * 2001-06-05 2003-12-31 索尼公司 图像处理设备
CN1926881A (zh) * 2004-03-01 2007-03-07 索尼株式会社 运动矢量检测装置、运动矢量检测方法和计算机程序

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JP特开平10-126618A 1998.05.15

Also Published As

Publication number Publication date
CN101221476A (zh) 2008-07-16

Similar Documents

Publication Publication Date Title
EP3879307A1 (en) Method and apparatus for detecting obstacle
Wasenmüller et al. Comparison of kinect v1 and v2 depth images in terms of accuracy and precision
US6909802B2 (en) Image-correspondence position detection device, distance measuring device and apparatus using the same
US20160086322A1 (en) Image measurement device
CN101221476B (zh) 图像匹配效果的评估方法
CN113240630B (zh) 散斑图像质量评估方法、装置、终端设备及可读存储介质
EP2824416A1 (en) Distance calculation device and distance calculation method
JP6463593B2 (ja) ビジョンシステムでラインを検出するためのシステム及び方法
CN103337051A (zh) 用于数字病理成像的自动同步导航***
EP3690800A2 (en) Information processing apparatus, information processing method, and program
EP2947628A1 (fr) Procédé de traitement d'informations locales
JP2015206798A (ja) 距離算出装置
CN103180690A (zh) 图案测定方法、图案测定装置以及利用其的程序
CN109271059B (zh) 屏幕的防误触方法、终端以及计算机可读存储介质
CN100470239C (zh) 凸起检查装置以及方法
JP2000121319A (ja) 画像処理装置および画像処理方法、並びに提供媒体
JP2018009927A (ja) 画像処理装置、画像処理方法及びプログラム
US11341668B2 (en) Distance measuring camera
CN107085843B (zh) 用于估计光学***中的调制传递函数的***和方法
KR20210032374A (ko) 비전 시스템을 이용하여 이미지에서 라인들을 찾고 분류하기 위한 시스템 및 방법
KR102066862B1 (ko) Rgb-d 카메라를 이용한 컨베이어용 고속 박스 크기 측정 장치 및 방법
CN115829929A (zh) 产品表面图像的缺陷检测方法、装置、设备及存储介质
WO2022019018A1 (en) Segmentation of continuous dynamic scans
JP7491035B2 (ja) 情報処理装置、情報処理システム、情報処理方法およびプログラム
US9046345B2 (en) Optical probe

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C56 Change in the name or address of the patentee
CP01 Change in the name or title of a patent holder

Address after: 201203 No. 18, building 572, 115 lane, Zhangjiang Road, Zhangjiang, Shanghai, Pudong

Co-patentee after: Apexone Microelectronics Co., Ltd.

Patentee after: Apexone Microelectronics (Shanghai) Co., Ltd.

Address before: 201203 No. 18, building 572, 115 lane, Zhangjiang Road, Zhangjiang, Shanghai, Pudong

Co-patentee before: Apexone Microelectronics Co., Ltd.

Patentee before: Apexone Microelectronics (Shanghai)Co., Ltd.

DD01 Delivery of document by public notice

Addressee: Apexone Microelectronics (Shanghai) Co., Ltd.

Document name: Notification of Termination of Patent Right

C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20100811

Termination date: 20131127