CN108428242B - 图像处理装置及其方法 - Google Patents

图像处理装置及其方法 Download PDF

Info

Publication number
CN108428242B
CN108428242B CN201810152103.8A CN201810152103A CN108428242B CN 108428242 B CN108428242 B CN 108428242B CN 201810152103 A CN201810152103 A CN 201810152103A CN 108428242 B CN108428242 B CN 108428242B
Authority
CN
China
Prior art keywords
image
key points
representative
analyzed
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810152103.8A
Other languages
English (en)
Other versions
CN108428242A (zh
Inventor
范姜淑贞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HTC Corp
Original Assignee
HTC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by HTC Corp filed Critical HTC Corp
Publication of CN108428242A publication Critical patent/CN108428242A/zh
Application granted granted Critical
Publication of CN108428242B publication Critical patent/CN108428242B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/001Industrial image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/174Segmentation; Edge detection involving the use of two or more images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30244Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种图像处理装置及其方法。该图像处理装置储存至少一参考影像,且执行以下运作:(a)接收一影像,(b)决定该影像的多个代表关键点,例如:以密度限制方式决定,(c)依据这些代表关键点,于该影像中找出与一第一参考影像映射的一匹配区域,(d)判断这些这些代表关键点与该第一参考影像的多个参考关键点间的一匹配数目小于一门坎值,以及(e)将该影像的该匹配区域储存于该图像处理装置以作为一第二参考影像。

Description

图像处理装置及其方法
技术领域
本发明有关于一种图像处理装置及其方法。具体而言,本发明有关于一种关键点(keypoints)撷取及应用之图像处理装置及其方法。
背景技术
随着科技的快速发展,各种图像处理技术已广泛地应用于许多领域,例如:扩增实境(Augmented Reality;AR)及安全监控。许多应用需要影像比对技术来辨识或/及追踪影像中的目标对象,而某些应用甚至还会基于辨识出/追踪到的目标对象计算出其他信息。以某些扩增实境的应用为例,针对摄影机所撷取的一影像,需将之与目标对象的参考影像比对,再依据该影像中比对到的匹配区域(matched area)来计算摄影机的位置及角度。
为辨识或/及追踪一目标对象,传统的影像比对技术事先储存该目标对象之一或多张参考影像,再将一待分析影像与该(这些)参考影像比对以判断该待分析影像内是否具有该目标对象。许多传统的影像比对技术利用该待分析影像中各像素的特征值(例如:梯度值)找出待分析影像的关键点(keypoints),再以所找出的关键点与参考影像中的关键点进行特征比对,藉此判断该待分析影像是否具有该目标对象。
传统的影像比对技术有二个明显的缺点,其一与关键点的选择方式相关。如前所述,传统的影像比对技术选取该待分析影像中特征值较强的像素作为关键点。当一待分析影像中包含特征值不明显的目标对象及特征值明显的其他对象(例如:黑白相间的棋盘)时,传统的影像比对技术所找出的关键点便会过于集中于非目标对象所在的区域,导致无法成功地辨识出或/及追踪到该目标对象。
传统的影像比对技术的另一个缺点与其所储存的目标对象的参考影像相关。许多应用需要持续地采用影像比对技术来辨识或/及追踪多张待分析影像中的目标对象。随着时间的流逝,影像比对的环境/条件可能产生改变,例如:外在环境可能改变(例如:亮度改变)、摄影机拍摄的角度可能改变、摄影机所拍摄的目标对象的材质可能产生改变(例如:纸张产生折痕)。传统的影像比对技术不会更新其所储存的目标对象的参考影像,因此,当影像比对的环境/条件改变时,待分析影像中的目标对象与参考影像可能已具有明显差异,导致无法成功地辨识出或/及追踪到该目标对象。
有鉴于此,如何选择适当的关键点及更新目标对象的参考影像以达到较准确的影像比对结果,乃业界亟需努力的目标。
发明内容
为解先前技术一节所述的传统影像比对技术的问题,本发明提供了图像处理装置及方法。
本发明所提供的一图像处理装置包含一收发接口及一处理器,其中该处理器电性连接至该收发接口。该收发接口接收一影像。该处理器决定该影像的多个初始关键点(Keypoints),将该影像区分为多个区域,根据一门坎数量及各该初始关键点的一强度值决定这些初始关键点的至少一部份为该影像的多个代表关键点,其中各该区域所具有的这些代表关键点的一数量不超过该门坎数量。
本发明所提供的另一图像处理装置包含一收发接口、一储存器及一处理器,其中该处理器电性连接至该收发接口及该储存器。该收发接口接收一影像,且该储存器至少储存一参考影像。该处理器执行以下运作:(a)决定该影像的多个代表关键点,(b)依据这些代表关键点,于该影像中找出与该储存器所储存的一第一参考影像映射的一匹配区域,(c)判断这些代表关键点与该第一参考影像的多个参考关键点间的一匹配数目小于一门坎值,以及(d)将该影像的该匹配区域储存于该储存器作为一第二参考影像。
本发明所提供的一图像处理方法适用于一电子装置。该图像处理方法包含下列步骤:(a)接收一影像,(b)决定该影像的多个初始关键点,(c)将该影像区分为多个区域,以及(d)根据一门坎数量及各该初始关键点的一强度值决定这些初始关键点的至少一部份为该影像的多个代表关键点,其中各该区域所具有的这些代表关键点的一数量不超过该门坎数量。
本发明所提供的另一图像处理方法适用于一电子装置。该电子装置至少储存一参考影像。该图像处理方法包含下列步骤:(a)决定一影像的多个代表关键点,(b)依据这些代表关键点,于该影像中找出与该第一参考影像映射的一匹配区域,(c)判断这些代表关键点与一第一参考影像之多个参考关键点间的一匹配数目小于一门坎值,以及(d)将该影像的该匹配区域储存于该电子装置以作为一第二参考影像。
由上述说明可知,本发明所提供的图像处理技术(至少包含图像处理装置及方法)以密度限制的方式决定一影像的代表关键点。简言之,本发明的图像处理技术将一影像区分为多个区域,且限制各区域的代表关键点的数量,使得影像的代表关键点能较为平均地分散于影像上。因此,即使一影像中具有特征值较明显(例如:亮度对比较明显)的特定对象,本发明所决定的代表关键点不会集中于该特定对象。因此,即使所欲辨识或/及追踪的目标对象的特征值较不明显,本发明仍能找出适当/适量的代表关键点进行比对,故能提升辨识/追踪目标对象的成功率。
此外,本发明所提供的图像处理技术更可利用这些代表关键点进行影像比对,以辨识/追踪目标对象。本发明利用先前所储存的参考影像与这些代表关键点比对,再依据比对结果适时地更新所储存的参考影像。因此,图像处理技术在辨识/追踪目标对象时所比对的参考影像更接近于目前处理中的影像的环境状态,因而能提高在影像中辨识出/追踪到目标对象的机率。
以下结合附图阐述本发明的详细技术及较佳实施方式,俾使本发明所属技术领域中具有通常知识者能理解所请求保护的发明的特征。
附图说明
图1描绘第一实施方式的图像处理装置1的架构示意图;
图2描绘将影像区分为多个区域的示意图;
图3描绘第二实施方式的图像处理装置3的架构示意图;
图4是描绘第三实施方式的图像处理方法的流程图;以及
图5是描绘第四实施方式的图像处理方法的流程图。
符号说明
1:图像处理装置
11:收发界面
13:处理器
100、101:影像
3:图像处理装置
31:储存器
311:参考影像队列
302、304、306、308:参考影像
S401~S407:步骤
S501~S507:步骤
具体实施方式
以下将透过实施方式来解释本发明所提供的图像处理装置及方法。然而,这些实施方式并非用以限制本发明需在如这些实施方式所述的任何环境、应用或方式方能实施。因此,关于实施方式的说明仅为阐释本发明的目的,而非用以限制本发明的范围。应理解,在以下实施方式及附图中,与本发明非直接相关的组件已省略而未绘示,且各组件的尺寸以及组件间的尺寸比例仅为例示而已,而非用以限制本发明的范围。
本发明的第一实施方式为一图像处理装置1,其架构示意图描绘于图1。图像处理装置1包含收发接口11及处理器13,其中处理器13电性连接至收发接口11。收发接口11可为各种能接收讯号及数据的有线或无线接口,且处理器13可为各种处理单元、中央处理单元(central processing unit;CPU)、微处理器(Microprocessor)、微控制器(Microcontroller Unit;MCU)或本发明所属技术领域中具有通常知识者所知悉的其他计算装置其中之任一者。图像处理装置1可应用于不同领域,例如:扩增实境(AugmentedReality;AR)及安全监控,但不以此为限。
于本实施方式中,图像处理装置1采用密度限制(Density restriction)的方式决定一影像的多个代表关键点(Keypoints)。用户可事先决定或在图像处理装置1运作过程中决定欲从一影像中找出的代表关键点的数量,该数量称之为一代表关键点数量。
兹假设收发接口11接收了影像101。接着,处理器13计算影像101上各像素的强度值,且将强度值大于一门坎强度的像素作为影像101的多个初始关键点。举例而言,处理器101可采用各像素的亮度梯度值(Gradient)的绝对值作为强度值,但不限于此。本发明所属技术领域中具有通常知识者应可理解其他能区分像素的特征强弱的数值亦可作为强度值,兹不赘言。
处理器13将影像101区分为多个区域,其中这些区域彼此不重迭。须说明者,本发明未限制这些区域的数量及这些区域的形状。处理器13会从影像101的这些初始关键点决定出多个代表关键点。在决定这些代表关键点的过程,处理器13会参考一门坎数量,该门坎数量为影像101中各区域所能具有的代表关键点的上限。于本实施方式中,处理器13根据影像101被区分的区域数量与该代表关键点数量决定该门坎数量(例如:将该代表关键点数量除以该区域数量作为该门坎数量)。于某些实施方式中,该门坎数量可由使用者事先设定。接着,处理器13根据该门坎数量及各该初始关键点的强度值,决定各区域的代表关键点,其中各该区域所具有的这些代表关键点的一数量不超过该门坎数量。
为便于理解,兹以一具体范例详述处理器13可如何决定影像101的这些代表关键点,但该具体范例并非用以限制本发明的范围。于该具体范例中,代表关键点数量为500,且处理器13将影像101区分为25个区域如图2所示。处理器101所决定的各该初始关键点落于这些区域其中之一。处理器13根据代表关键点数量(亦即,500)与影像101被区分的区域的数量(亦即,25)计算出门坎数量(例如:20)。处理器13根据落于各区域中的初始关键点的强度值决定各区域的代表关键点,例如:选取各区域中强度值排名前20的初始关键点作为代表关键点。须说明者,当某一或某些区域中的初始关键点的数目小于门坎数量时,处理器13所决定出来的代表关键点的实际数量将会少于代表关键点数量。
于某些实施方式中,处理器13可采用另一种方式从影像101的这些初始关键点决定出多个代表关键点。具体而言,处理器13依据一处理顺序选取这些初始关键点(尚未被选取/分析过的)其中之一作为一待分析关键点,再判断该待分析关键点是否能作为一代表关键点。于某些实施方式中,处理器13由这些强度值之最大者至这些强度值之最小者排序这些初始关键点以作为该处理顺序。针对每次所选取的该待分析关键点,处理器13判断该待分析关键点所属的该区域的一区域累积数量是否小于该门坎数量,该区域累积数量代表该区域中已决定的代表关键点的数量。若该区域累积数量小于该门坎数量,处理器13指定该待分析关键点作为一代表关键点,且会将该区域累积数量及一全局累积数量(为影像101中已决定的代表关键点的数量)个别地加一。若该区域累积数量达到该门坎数量,处理器13便舍弃该待分析关键点(亦即,不选取该待分析关键点作为一代表关键点)。处理器13会重复前述运作,直到该全局累积数量达到该代表关键点数量或所有的初始关键点皆被分析完毕。须说明者,本发明未限制处理器13记录各该区域的区域累积数量的方式。举例而言,处理器13可利用一表格或其他方式记录这些区域累积数量。
由上述说明可知,图像处理装置1将待分析的一影像区分为多个区域,且限制各区域所能具有的代表关键点之数量(亦即,密度限制)。因此,图像处理装置1为一影像所决定的代表关键点会分散在该影像的不同区域。藉由前述的密度限制,即使一影像中具有特征值较明显(例如:亮度对比较明显)的特定对象,图像处理装置1所决定的代表关键点不会集中于该特定对象。因此,本发明能解决传统技术无法针对影像中特征值不明显的目标对象(欲辨识/追踪的对象)找出适量的关键点的问题,因而能使影像比对技术提升辨识/追踪目标对象的成功率。
本发明的第二实施方式为一种图像处理装置3,其架构示意图描绘于图3。图像处理装置3包含前述实施方式中所述的收发接口11及处理器13,且还包含一储存器31。储存器31可为一内存、一通用串行总线(Universal Serial Bus;USB)碟、一硬盘、一光盘(CompactDisk;CD)、一随身碟或本发明所属技术领域中具有通常知识者所知且具有相同功能的任何其他储存媒体或电路。须说明者,于本发明的其他实施方式中,储存器31亦可被设置为外在于图像处理装置3。
于本实施方式中,处理器13于储存器31定义一参考影像队列(Queue)311以储存一张或多张参考影像,其中各参考影像为一目标对象的影像。于图像处理装置3初始运作时,参考影像队列311仅包含一张参考影像。须说明者,于其他实施方式中,图像处理装置3不一定要以队列来储存参考影像,只要能知道参考影像被储存的顺序即可。此外,于其他实施方式中,于图像处理装置3初始运作时,储存器31可储存多张参考影像。
于本实施方式中,图像处理装置3会为其所接收到的影像决定多个代表关键点,利用这些代表关键点比对所接收到的影像与参考影像队列311中的至少一参考影像,再根据比对的结果决定是否更新参考影像队列311中的参考影像。
兹假设收发接口11已接收影像100,且已将影像100与参考影像队列311中的至少一参考影像比对过。关于本实施方式所采用的比对方式,请容后详述。在接收过影像100后,收发接口11还接收到影像101,处理器13会决定影像101的多个代表关键点。
具体而言,若处理器13先前将影像100与参考影像队列311中的至少一参考影像比对后于影像100中找出一匹配区域(亦即,处理器13于该匹配区域中找出目标对象),处理器13会根据影像100中的该匹配区域,决定影像101的一感兴趣区域(Region Of Interest)(例如:与该匹配区域坐标相同的区域),且于该感兴趣区域中找出影像101的代表关键点。举例而言,处理器13可计算影像101的该感兴趣区域中的各像素的强度值(例如:亮度梯度值的绝对值),且将强度值大于一门坎强度之像素作为影像101的这些代表关键点。须说明者,于某些实施方式中,当影像100与一参考影像比对找出匹配区域时,该参考影像即可优先作为下一张影像比对时的参考影像,由于该参考影像与前次影像(亦即,影像100)中找出的该先前匹配区域对应,故优先比对该参考影像能提升下一张影像找出匹配区域的成功率。
若处理器13先前将影像100与参考影像队列311中的所有参考影像比对后无法于影像100中找出一匹配区域(亦即,处理器13无法于影像中找出目标对象),处理器13会采用第一实施方式所述的密度限制的方式决定影像101的多个代表关键点。本发明所属技术领域中具有通常知识者自能根据第一实施方式的叙述了解其运作细节,兹不赘言。
于决定出影像101的这些代表关键点后,处理器13依据这些代表关键点将影像101与参考影像队列311中的至少一参考影像进行比对,藉此判断出影像101中是否具有目标对象。为便于理解,兹假设此时参考影像队列311已依先后顺序储存了参考影像302、304、……、306、308。处理器13选取参考影像队列311所储存的参考影像其中之一(例如:最新储存的参考影像308),依据影像101的这些代表关键点与参考影像308比对,判断是否能于影像101中找出与参考影像308对应的匹配区域(亦即,是否能于影像101中找出目标对象)。需说明者,当选取一储存时间晚于储存器中其它任一影像的参考影像时(例如:最新储存的参考影像308),由于该参考影像更接近于目前处理中的影像101的环境状态,故优先比对该参考影像能提升影像找出匹配区域的成功率。
若处理器13依据影像101的这些代表关键点,无法于影像101中找出与参考影像308对应的一匹配区域,则会选择参考影像队列311中的另一参考影像(例如:次新的参考影像306)进行比对,依此类推。处理器13会重复执行前述运作,直到影像101与某一参考影像比对成功(亦即,于影像101中找到匹配区域)或是参考影像队列311中已无其他未被比对过的参考影像。须说明者,本发明未限制处理器13以何种顺序选取参考影像,例如:可由参考影像队列的开头或结尾依序选取或随机选取。此外,如何利用影像101的代表特征点与参考影像比对并非本发明的重点,本发明所属技术领域中具有通常知识者自能理解处理器13如何利用代表特征点进行影像比对,兹不赘言。
若处理器13依据影像101的这些代表关键点于影像101中找出与一参考影像(例如:参考影像308)对应的一匹配区域,处理器13还会判断在影像比对过程中,影像101的这些代表关键点与参考影像的多个参考关键点的一匹配数目是否小于一第一门坎值。当该匹配数目小于第一门坎值时,代表所找出的该匹配区域与参考影像的相似度低于预设标准,有可能是目前撷取影像的环境与参考影像被拍摄的环境有较大的不同,例如:环境的亮度降低或是提高。因此,处理器13将影像101的该匹配区域加入储存器31的参考影像队列311以作为另一参考影像。须说明者,收发接口11于相邻时间点所接收的影像,其被拍摄的环境与状况应较为相似。因此,图像处理装置3将本次比对成功但相似程度低于默认标准的匹配区域加入参考影像队列311可提升的后影像比对成功的机率。
于某些实施方式中,处理器13根据一先进先出(First In First Out;FIFO)规则管理储存器31(例如:参考影像队列311)所储存的参考影像。具体而言,当处理器13欲将一匹配区域加入储存器31作为一参考影像时,会先判断储存器31所储存的参考影像的一影像数量是否达到一第二门坎值时。若储存器31所储存的参考影像的影像数量已达第二门坎值(代表储存器31能储存参考影像的空间已满),处理器13会以先进先出的规则删除储存器31中最早加入的参考影像(例如:参考影像302)。
由上述说明可知,图像处理装置3会辨识所接收到的影像中是否具有目标对象。简言之,图像处理装置3先决定影像的多个代表关键点(例如:于感兴趣区域中找,或以密度限制方式于整张影像中找),再根据这些代表关键点与参考影像队列的至少一参考影像进行比对。当比对成功(亦即,影像中有一匹配区域对应至某一参考影像)但是相似度低于预设标准(亦即,这些代表关键点与参考影像的多个参考关键点间的一匹配数目小于第一门坎值)时,图像处理装置会储存比对成功的匹配区域,将之作为一张参考影像。藉由更新所储存的参考影像,图像处理装置3在进行影像比对时所使用的参考影像与目前所接受到之影像被拍摄的环境状态较为接近,因而图像处理装置3能更为精确地在影像中辨识出目标对象。此外,当图像处理装置3所处理的前一张影像找不出匹配区域时,图像处理装置3会以密度限制的方式决定目前影像中的代表特征点。透过此种方式,亦可解决传统技术无法针对影像中特征值不明显的目标对象找出适量的关键点的问题,进而精确地在影像中辨识出目标对象。
须说明者,第二实施方式的图像处理装置3适用于多种应用领域。举例而言,若将图像处理装置3应用于扩增实境(Augmented Reality;AR),图像处理装置3可针对所接收到的各张影像进行二阶段的比对。于第一阶段的粗略比对,图像处理装置3可采用前述机制将一影像与参考影像比对,并适时地更新储存器31所储存的31参考影像。若图像处理装置3在第一阶段于该影像中找出一匹配区域,则进入第二阶段的细致比对。于第二阶段,图像处理装置3将该影像的该匹配区域进行透视转换(Perspective transform),藉此,该匹配区域中的对象会被转正(例如:由梯形转变为矩形)。之后,图像处理装置3再将经透视转换后的匹配区域与目标对象的一张正的参考影像比对,以在匹配区域中找出目标对象及其坐标。之后,图像处理装置3便可利用前述坐标估计相机所在的位置及角度。由于图像处理装置3在某些状况下是以密度限制方式决定关键点,且会适时地(例如:环境变化较动态时)更新其所储存的参考影像,因此能提高比对成功的机率,进而计算出更为精准的相机所在位置及角度。
本发明的第三实施方式为一种图像处理方法,其流程图描绘于图4。该图像处理方法适用于一电子装置,例如第一实施方式所述的图像处理装置1。
首先,该电子装置执行步骤S401以接收一影像。接着,执行步骤S403,由该电子装置决定该影像的多个初始关键点。举例而言,步骤S403可计算该影像上各像素的强度值(例如:亮度梯度值的绝对值),再将强度值大于一门坎强度的像素作为该影像的初始关键点。另外,执行步骤S405,由该电子装置将该影像区分为多个区域。须说明者,本发明未限制步骤S403及步骤S405的执行顺序;换言之,步骤S405可早于步骤S403执行,或该二步骤可同时执行。接着,执行步骤S407,由该电子装置根据一门坎数量及各该初始关键点的强度值决定这些初始关键点的至少一部份为该影像的多个代表关键点,其中各该区域所具有的这些代表关键点的一数量不超过该门坎数量。
于某些实施方式中,步骤S407依据一处理顺序选取这些初始关键点其中之一作为一待分析关键点,再判断该待分析关键点所属的该区域的一区域累积数量是否小于该门坎数量。若该待分析关键点所属的该区域r一区域累积数量小于该门坎数量,指定该待分析关键点作为这些代表关键点其中之一。若该待分析关键点所属的该区域的一区域累积数量不小于该门坎数量,舍弃该待分析关键点(亦即,不选取该待分析关键点作为代表关键点)。步骤S407会重复前述流程,直到所决定的代表关键点的一总数达到一预定数量或所有的初始关键点皆被分析完毕。
须说明者,关于步骤S407所采用的该处理顺序,于某些实施方式中,该图像处理方法可由这些强度值的最大者至这些强度值的最小者排序这些初始关键点以作为该处理顺序。
除了上述步骤,第三实施方式亦能执行第一实施方式所描述的图像处理装置1的所有运作及步骤,具有同样的功能,且达到同样的技术效果。本发明所属技术领域中具有通常知识者可直接了解第三实施方式如何基于上述第一实施方式以执行此等运作及步骤,具有同样的功能,并达到同样的技术效果,故不赘述。
本发明的第四实施方式为一种图像处理方法,其流程图描绘于图4。该图像处理方法适用于一电子装置,例如第二实施方式所述的图像处理装置3。该电子装置储存至少一参考影像。
首先,该电子装置执行步骤S501以决定一影像的多个代表关键点。举例而言,若该图像处理方法先前已处理过另一影像,且于该另一影像中找出与该电子装置所储存的某一参考影像映射的一匹配区域,则步骤S501会根据该匹配区域决定该影像的一感兴趣区域,再于该感兴趣区域决定该影像的这些代表关键点。若该图像处理方法未能于该另一影像找出与任一参考影像映射的匹配区域,则会以第三实施方式所述的方式决定该影像的这些代表关键点。
接着,执行步骤S503,由该电子装置判断是否能依据这些代表关键点,于该影像中找出与该电子装置所储存的某一参考影像(为便于说明,称之为“第一参考影像”)对应的一匹配区域。若步骤S503的判断结果为否,代表该影像的比对不成功,图像处理方法结束对该影像的处理流程。若步骤S503的判断结果为是,代表比对成功,接着执行步骤S505,由该电子装置判断这些代表关键点与该第一参考影像的多个参考关键点间的一匹配数目是否小于一第一门坎值。若否,图像处理方法结束对该影像的处理流程。若步骤S505的判断结果为是,则执行步骤S507,由该电子装置将该影像的该匹配区域储存至该电子装置。
于某些实施方式中,图像处理方法在执行步骤在执行步骤S507前,会先执行另一步骤以判断该电子装置所储存的一影像数量是否达到一第二门坎值。若判断的结果为否,则直接执行步骤S507。若判断的结果为是,则图像处理方法会再执行另一步骤,由该电子装置依据一先进先出规则删除该电子装置中的一第三参考影像。
除了上述步骤,第四实施方式亦能执行第二实施方式所描述的图像处理装置3的之所有运作及步骤,具有同样的功能,且达到同样的技术效果。本发明所属技术领域中具有通常知识者可直接了解第四实施方式如何基于上述第一实施方式以执行此等运作及步骤,具有同样的功能,并达到同样的技术效果,故不赘述。
须说明者,于本发明的前述的实施方式中,本发明所属技术领域中具有通常知识者应可轻易了解前述实施方式中的这些步骤可藉由对应的组件所达成(例如:藉由处理器执行运算操作、藉由储存器储存数据及藉由收发接口传送及接收数据等)。此外,于本发明专利说明书及权利要求书中,第一参考影像、第二参考影像及第三参考影像中的“第一”、“第二”及“第三”仅用来表示不同的参考影像而已。此外,第一门坎值及第二门坎值中的“第一”及“第二”仅用来表示不同的门坎值而已。
由上述说明可知,本发明所提供的图像处理技术(至少包含图像处理装置及方法)以密度限制的方式决定一影像的代表关键点。简言之,本发明的图像处理技术将一影像区分为多个区域,且限制各区域的代表关键点的数量,使得影像的代表关键点能较为平均地分散于影像上。因此,即使一影像中具有特征值较明显(例如:亮度对比较明显)的特定对象,本发明所决定的代表关键点不会集中于该特定对象。因此,即使所欲辨识或/及追踪的目标对象的特征值较不明显,本发明仍能找出适当/适量的代表关键点进行比对,故能提升辨识/追踪目标对象的成功率。
此外,本发明所提供的图像处理技术更可利用这些代表关键点进行影像比对,以辨识/追踪目标对象。本发明利用先前所储存的参考影像与这些代表关键点比对,再依据比对结果适时地更新所储存的参考影像。因此,图像处理技术在辨识/追踪目标对象时所比对的参考影像较接近于目前处理中的影像的环境状态,因而能提高在影像中辨识出/追踪到目标对象的机率。
上述实施方式仅用来例举本发明的部分实施态样,以及阐释本发明的技术特征,而非用来限制本发明的保护范畴及范围。任何本发明所属技术领域中具有通常知识者可轻易完成的改变或均等性的安排均属于本发明所主张的范围,而本发明的权利保护范围以申请专利范围为准。

Claims (11)

1.一种图像处理装置,包含:
一收发接口,接收一影像;以及
一处理器,电性连接至该收发接口,决定该影像的多个初始关键点,将该影像区分为多个区域,根据一门坎数量及各该初始关键点的一强度值决定这些初始关键点的至少一部份为该影像的多个代表关键点,
其中,各该区域所具有的这些代表关键点的一数量不超过该门坎数量;
其中,该处理器依据一处理顺序选取这些初始关键点其中之一作为一待分析关键点,判断该待分析关键点所属的该区域的一区域累积数量小于该门坎数量,以及指定该待分析关键点作为这些代表关键点其中之一;且
其中,该处理器由这些强度值的最大者至这些强度值的最小者排序这些初始关键点以作为该处理顺序。
2.如权利要求1所述的图像处理装置,其特征在于,该处理器依据该处理顺序选取这些初始关键点其中之一作为一待分析关键点,判断该待分析关键点所属的该区域的一区域累积数量达到该门坎数量,以及舍弃该待分析关键点。
3.一种图像处理装置,包含:
一收发接口,接收一影像;
一储存器,储存至少一参考影像;以及
一处理器,电性连接至该收发接口及该储存器,且执行以下运作:
(a)决定该影像的多个代表关键点,
(b)依据这些代表关键点,于该影像中找出与该储存器所储存的一第一参考影像映射的一匹配区域,
(c)判断这些代表关键点与该第一参考影像的多个参考关键点间的一匹配数目小于一第一门坎值,以及
(d)将该影像的该匹配区域储存于该储存器作为一第二参考影像;
其中,该运作(b)包含:依据这些代表关键点,将该影像优先与该储存器所储存的一第五参考影像进行比对,以寻找该匹配区域,其中该第五参考影像的一储存时间晚于该储存器中其它任一参考影像。
4.如权利要求3所述的图像处理装置,其特征在于,该处理器将该影像的该匹配区域储存至该储存器前,判断该储存器的一影像数量达到一第二门坎值,该处理器于判断该影像数量达到该第二门坎值后依据一先进先出规则删除该储存器中的一第三参考影像。
5.如权利要求3所述的图像处理装置,其特征在于,若该处理器先前于接收一先前影像时,将该先前影像与该储存器所储存的一第四参考影像比对后,于该先前影像中找出一先前匹配区域,则该处理器根据该先前匹配区域,决定该影像的一感兴趣区域,其中该运作(a)于该感兴趣区域中寻找该影像的这些代表关键点。
6.如权利要求5所述的图像处理装置,其特征在于,该运作(b)包含:依据这些代表关键点,将该影像优先与该第四参考影像进行比对,以寻找该匹配区域。
7.如权利要求3所述的图像处理装置,其特征在于,该处理器藉由以下运作来决定出这些代表关键点:(a1)决定该影像的多个初始关键点,(a2)将该影像区分为多个区域,以及(a3)根据一门坎数量及各该初始关键点的一强度值决定这些初始关键点的至少一部份为该影像的这些代表关键点,其中各该区域所对应的这些代表特征点的一数量不超过该门坎数量。
8.如权利要求7所述的图像处理装置,其特征在于,处理器依据一处理顺序选取这些初始关键点其中之一作为一待分析关键点,判断该待分析关键点所属的该区域的一区域累积数量小于该门坎数量,以及指定该待分析关键点作为这些代表关键点其中之一。
9.如权利要求7所述的图像处理装置,其特征在于,该处理器依据一处理顺序选取这些初始关键点其中之一作为一待分析关键点,判断该待分析关键点所属的该区域的一区域累积数量达到该门坎数量,以及舍弃该待分析关键点。
10.一种图像处理方法,适用于一电子装置,该图像处理方法包含下列步骤:
(a)接收一影像;
(b)决定该影像的多个初始关键点;
(c)将该影像区分为多个区域;以及
(d)根据一门坎数量及各该初始关键点的一强度值决定这些初始关键点的至少一部份为该影像的多个代表关键点;
其中,各该区域所具有的这些代表关键点的一数量不超过该门坎数量;且
其中,该步骤(d)包含下列步骤:
由这些强度值的最大者至这些强度值的最小者排序这些初始关键点以作为一处理顺序;
依据该处理顺序选取这些初始关键点其中之一作为一待分析关键点;
判断该待分析关键点所属的该区域之一区域累积数量小于该门坎数量;以及
指定该待分析关键点作为这些代表关键点其中之一。
11.如权利要求10所述的图像处理方法,其特征在于,该步骤(d)包含下列步骤:
依据该处理顺序选取这些初始关键点其中之一作为一待分析关键点;
判断该待分析关键点所属的该区域的一区域累积数量达到该门坎数量;以及
舍弃该待分析关键点。
CN201810152103.8A 2017-02-15 2018-02-14 图像处理装置及其方法 Active CN108428242B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201762459075P 2017-02-15 2017-02-15
US62/459,075 2017-02-15

Publications (2)

Publication Number Publication Date
CN108428242A CN108428242A (zh) 2018-08-21
CN108428242B true CN108428242B (zh) 2022-02-08

Family

ID=63157087

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810152103.8A Active CN108428242B (zh) 2017-02-15 2018-02-14 图像处理装置及其方法

Country Status (3)

Country Link
US (2) US10636139B2 (zh)
CN (1) CN108428242B (zh)
TW (1) TWI695324B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI695324B (zh) 2017-02-15 2020-06-01 宏達國際電子股份有限公司 影像處理裝置及其方法
JP7147436B2 (ja) 2018-09-28 2022-10-05 コニカミノルタ株式会社 検査装置、画像形成装置、および検査装置用プログラム
US11263780B2 (en) * 2019-01-14 2022-03-01 Sony Group Corporation Apparatus, method, and program with verification of detected position information using additional physical characteristic points
CN110838104B (zh) * 2019-10-30 2022-08-23 上海联影智能医疗科技有限公司 多时间点的感兴趣区域匹配方法、设备和存储介质
CN112767348B (zh) * 2021-01-18 2023-11-24 上海明略人工智能(集团)有限公司 一种检测信息的确定方法和装置
US11698849B2 (en) * 2021-03-15 2023-07-11 Micro Focus Llc Automated application testing of mutable interfaces

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101582117A (zh) * 2008-05-15 2009-11-18 夏普株式会社 图像形成装置、图像处理装置、***以及方法
CN104299260A (zh) * 2014-09-10 2015-01-21 西南交通大学 一种基于sift和lbp的点云配准的接触网三维重建方法
US9167129B1 (en) * 2014-12-12 2015-10-20 Xerox Corporation Method and apparatus for segmenting image into halftone and non-halftone regions
CN105956579A (zh) * 2016-05-27 2016-09-21 国创科视科技股份有限公司 融合模糊模板和点特征的手指静脉快速识别方法

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8171030B2 (en) * 2007-06-18 2012-05-01 Zeitera, Llc Method and apparatus for multi-dimensional content search and video identification
JP2009053818A (ja) * 2007-08-24 2009-03-12 Toshiba Corp 画像処理装置及びその方法
EP2210235B1 (en) * 2007-10-12 2011-02-23 Toyota Motor Europe NV Methods and systems for processing of video data
US8111923B2 (en) * 2008-08-14 2012-02-07 Xerox Corporation System and method for object class localization and semantic class based image segmentation
US8391615B2 (en) * 2008-12-02 2013-03-05 Intel Corporation Image recognition algorithm, method of identifying a target image using same, and method of selecting data for transmission to a portable electronic device
US20120011119A1 (en) * 2010-07-08 2012-01-12 Qualcomm Incorporated Object recognition system with database pruning and querying
CN102379701B (zh) * 2010-09-03 2013-07-24 洪西进 生物特征辨识方法
ES2745739T3 (es) * 2010-09-20 2020-03-03 Qualcomm Inc Un entorno adaptable para realidad aumentada asistida por la nube
US8774504B1 (en) * 2011-10-26 2014-07-08 Hrl Laboratories, Llc System for three-dimensional object recognition and foreground extraction
US8917910B2 (en) * 2012-01-16 2014-12-23 Xerox Corporation Image segmentation based on approximation of segmentation similarity
US9202129B2 (en) * 2013-03-12 2015-12-01 Qualcomm Incorporated Reducing object detection time by utilizing space localization of features
US9076195B2 (en) * 2013-08-29 2015-07-07 The Boeing Company Methods and apparatus to identify components from images of the components
US9177225B1 (en) * 2014-07-03 2015-11-03 Oim Squared Inc. Interactive content generation
US9697233B2 (en) * 2014-08-12 2017-07-04 Paypal, Inc. Image processing and matching
US20160092727A1 (en) * 2014-09-30 2016-03-31 Alcatel-Lucent Usa Inc. Tracking humans in video images
CN106203242B (zh) * 2015-05-07 2019-12-24 阿里巴巴集团控股有限公司 一种相似图像识别方法及设备
US9704245B2 (en) * 2015-08-18 2017-07-11 International Business Machines Corporation Determining localization from images of a vicinity
KR102296267B1 (ko) * 2016-06-30 2021-08-30 매직 립, 인코포레이티드 3d 공간에서의 포즈 추정
TWI695324B (zh) * 2017-02-15 2020-06-01 宏達國際電子股份有限公司 影像處理裝置及其方法
TWI640931B (zh) * 2017-11-23 2018-11-11 財團法人資訊工業策進會 影像目標追蹤方法及裝置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101582117A (zh) * 2008-05-15 2009-11-18 夏普株式会社 图像形成装置、图像处理装置、***以及方法
CN104299260A (zh) * 2014-09-10 2015-01-21 西南交通大学 一种基于sift和lbp的点云配准的接触网三维重建方法
US9167129B1 (en) * 2014-12-12 2015-10-20 Xerox Corporation Method and apparatus for segmenting image into halftone and non-halftone regions
CN105956579A (zh) * 2016-05-27 2016-09-21 国创科视科技股份有限公司 融合模糊模板和点特征的手指静脉快速识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Method for using visible ocular vasculature for mobile biometrics;Vikas Gottemukkula等;《IET Biometrics》;20161231;第5卷(第1期);第3-12页 *
面向近重复图像匹配的SIFT特征裁减算法;王金德等;《计算机辅助设计与图形学学报》;20100630;第1042-1049+1055页 *

Also Published As

Publication number Publication date
US20180260946A1 (en) 2018-09-13
TW201832133A (zh) 2018-09-01
CN108428242A (zh) 2018-08-21
US20200143529A1 (en) 2020-05-07
US11080845B2 (en) 2021-08-03
US10636139B2 (en) 2020-04-28
TWI695324B (zh) 2020-06-01

Similar Documents

Publication Publication Date Title
CN108428242B (zh) 图像处理装置及其方法
US8644563B2 (en) Recognition of faces using prior behavior
US8351662B2 (en) System and method for face verification using video sequence
JP5384746B2 (ja) プルーニング機能、画像スケーリング、および、空間制約付き特徴マッチングによる画像認識アルゴリズムの性能の改善
TW201926140A (zh) 影像標註方法、電子裝置及非暫態電腦可讀取儲存媒體
CN109740633B (zh) 一种图像相似度计算方法、装置、存储介质
CN110858394A (zh) 一种图像质量评估方法、装置、电子设备及计算机可读存储介质
CN110493595B (zh) 摄像头的检测方法和装置、存储介质及电子装置
US20180114092A1 (en) Devices, systems, and methods for anomaly detection
WO2011044058A2 (en) Detecting near duplicate images
US20140222783A1 (en) Systems and methods for automatically determining an improved view for a visual query in a mobile search
JP4327827B2 (ja) 映像記録再生システムおよび映像記録再生方法
US10296539B2 (en) Image extraction system, image extraction method, image extraction program, and recording medium storing program
JP6347155B2 (ja) 画像処理装置、画像判断方法、及びプログラム
Shekar et al. Kirsch directional derivatives based shot boundary detection: an efficient and accurate method
CN103763480A (zh) 获取视频配音的方法及设备
WO2024055762A1 (zh) 一种视频抖动检测方法、装置以及设备
WO2024012367A1 (zh) 视觉目标跟踪方法、装置、设备以及存储介质
CN110866136B (zh) 人脸图像的分堆方法及装置、电子设备、可读存储介质
CN109544614B (zh) 一种基于图像低频信息相似度的匹配图像对识别的方法
JP2016045538A (ja) 情報処理装置、画像判定方法、及びプログラム
JP6244887B2 (ja) 情報処理装置、画像探索方法、及びプログラム
CN105100616A (zh) 一种图像处理方法及电子设备
CN114758124A (zh) 目标对象的遮挡检测方法、装置、设备及计算机可读介质
CN102314592A (zh) 一种笑脸图像的识别方法和识别装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant