CN103548056A - 图像处理装置、摄像装置以及图像处理方法 - Google Patents

图像处理装置、摄像装置以及图像处理方法 Download PDF

Info

Publication number
CN103548056A
CN103548056A CN201380001433.2A CN201380001433A CN103548056A CN 103548056 A CN103548056 A CN 103548056A CN 201380001433 A CN201380001433 A CN 201380001433A CN 103548056 A CN103548056 A CN 103548056A
Authority
CN
China
Prior art keywords
image
target object
characteristic
section
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380001433.2A
Other languages
English (en)
Other versions
CN103548056B (zh
Inventor
石井育规
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN103548056A publication Critical patent/CN103548056A/zh
Application granted granted Critical
Publication of CN103548056B publication Critical patent/CN103548056B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20101—Interactive definition of point of interest, landmark or seed

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

图像处理装置（10）具备：分段部（11），根据像素值的类似性，将第一图像以及第三图像分别分割成多个段；指示部（12），指示第一图像中的对象物体的位置；基准区域设定部（13），将包含指示段的段集合设定为基准区域，指示段是存在于被指示的位置的段；提取部（14），从基准区域提取表示第一特征的特征量，以此作为对象物体特征量；对象区域设定部（15），根据从特征区域提取的特征点的位置以及与该特征点对应的第三图像内的特征点的位置的关系，在第三图像内设定对象区域，特征区域是第二图像内的与对象物体对应的区域；追踪部（16），利用对象物体特征量，判断对象区域所包含的各段是否就是与对象物体对应的段。

Description

图像处理装置、摄像装置以及图像处理方法
技术领域
本发明涉及一种在第一图像之后拍摄的第三图像中，对第一图像所包含的对象物体进行追踪的图像处理装置、摄像装置以及图像处理方法。
背景技术
现在已有关于对显示部显示的图像所包含的对象物体进行自动追踪的技术提案（例如，参照专利文献1）。
专利文献1：国际公开第2009/125596号
专利文献2：日本特开2010-157927号公报
非专利文献1：Distinctive Image Features FromScale-Invariant Keypoints，David G.Lowe，International Journalof Computer Vision，2004，Springer
非专利文献2：Speeded Up Robust Features，Herbert Bay,Tinne Tuytelaars， ECCV 2006，Springer
但是，所述现有技术被要求以更高的精度追踪对象物体。
发明内容
对此，本发明的目的在于提供一种能够高精度地追踪对象物体的图像处理装置、摄像装置以及图像处理方法。
本发明的一形态的图像处理装置是一种在第三图像中追踪第一图像所包含的对象物体的图像处理装置，所述第三图像是在所述第一图像之后被拍摄的图像，所述图像处理装置具备：分段部，根据像素值的类似性，将所述第一图像以及所述第三图像分别分割成多个段；指示部，指示所述第一图像中的所述对象物体的位置；基准区域设定部，将包含指示段的段集合设定为基准区域，所述指示段是存在于被指示的所述位置的段；提取部，从所述基准区域提取表示第一特征的特征量，以此作为对象物体特征量；对象区域设定部，根据从特征区域提取的特征点的位置以及与提取的所述特征点对应的所述第三图像内的特征点的位置之间的关系，在所述第三图像内设定对象区域，所述特征区域是在与所述第三图像不同的时刻被拍摄的第二图像内的、与所述对象物体对应的区域；追踪部，利用所述对象物体特征量，判断所述对象区域所包含的各段是否就是与所述对象物体对应的段，从而在所述第三图像中追踪所述对象物体。
另外，这些总括性或者具体性的形态可由***、方法、集成电路、计算机程序或者计算机可读取的CD-ROM等的记录介质实现，亦可由***、方法、集成电路、计算机程序以及记录介质的任意的组合实现。
根据本发明的一形态，能够高精度地追踪对象物体。
附图说明
图1是表示实施方式1的图像处理装置的功能结构的方框图。
图2是表示实施方式1的图像处理装置中为了提取特征量的处理的流程图。
图3是表示实施方式1的分段部的详细处理动作的流程图。
图4是用于说明实施方式1的分段部的处理动作的一个例子的图。
图5是用于说明实施方式1的分段部的处理动作的一个例子的图。
图6是表示实施方式1的分段结果的一个例子的图。
图7是用于说明实施方式1的指示部的处理动作的一个例子的图。
图8是表示实施方式1的基准区域设定部的详细处理动作的流程图。
图9是用于说明实施方式1的基准区域设定部的处理动作的一个例子的图。
图10是表示实施方式1的图像处理装置中为了追踪对象物体的处理的流程图。
图11是表示实施方式1的对象区域设定部的详细处理动作的流程图。
图12是用于说明实施方式1的对象区域设定部的详细处理动作的图。
图13是表示实施方式1的对应点检测结果的一个例子的图。
图14A是表示实施方式1的对应点检测结果的一个例子的图。
图14B是表示实施方式1的对应点检测结果的一个例子的图。
图15是用于说明实施方式1中算出特征点间的距离变化度的处理的一个例子的图。
图16是表示实施方式1的追踪部的详细处理动作的流程图。
图17是表示实施方式2的摄像装置的结构的方框图。
具体实施方式
（本发明的基础知识）
具备能够实时显示图像的触屏的照相机（数码静态相机或者数码摄像机等）在广泛普及。用户能够一边确认触屏上显示的图像，一边拍摄照片和影像。另外，用户能够通过触摸触屏，对触屏显示的图像内被用户所关注的物体（对象物体）的位置进行指示。
在指示了所关注的物体的位置的情况下，照相机就利用从该位置的周边区域提取的特征量，执行自动聚焦（AF：Autofocus）或者自动曝光（AE：Automatic Exposure）等。其结果，照相机能够拍摄到适合用户所关注的物体的照片或者影像。
在此，例如在执行AF之后对象物体或者照相机移动了的情况下，本已对准对象物体的焦点就会错位。对此，已有关于对触屏等显示的图像中包含的对象物体进行自动追踪的方法的提案（例如，参照专利文献1）。
通过利用从这样追踪的对象物体的区域中提取到的特征量，再次执行AF，照相机即使在对象物体或者照相机有移动的情况下，也能够自动聚焦于对象物体。
但是，根据专利文献1的方法，提取特征量的区域具有预先规定的形状（矩形或者椭圆形等），因此，如果对象物体的形状与预先规定的形状不同，照相机就无法恰当地提取对象物体的特征量。其结果，照相机无法正确追踪对象物体。
另外，专利文献2公开了一种在对象物体的追踪位置错位时校正对追踪位置的方法。然而，根据专利文献2的方法，在对象物体的形状变化大的情况下，难以校正追踪位置。
对此，本发明的一形态的图像处理装置，在第三图像中追踪第一图像所包含的对象物体，所述第三图像是在所述第一图像之后被拍摄的图像，该图像处理装置具备：分段部，根据像素值的类似性，将所述第一图像以及所述第三图像分别分割成多个段；指示部，指示所述第一图像中的所述对象物体的位置；基准区域设定部，将包含指示段的段集合设定为基准区域，所述指示段是存在于被指示的所述位置的段；提取部，从所述基准区域提取表示第一特征的特征量，以此作为对象物体特征量；对象区域设定部，根据从特征区域提取的特征点的位置以及与提取的所述特征点对应的所述第三图像内的特征点的位置之间的关系，在所述第三图像内设定对象区域，所述特征区域是在与所述第三图像不同的时刻被拍摄的第二图像内的、与所述对象物体对应的区域；追踪部，利用所述对象物体特征量，判断所述对象区域所包含的各段是否就是与所述对象物体对应的段，从而在所述第三图像中追踪所述对象物体。
根据该结构，能够利用根据像素值的类似性来分割第一图像而获得的多个段，设定基准区域。因此，即使是具有复杂的几何形状的对象物体，也能够设定出形状适合该复杂的几何形状的基准区域。其结果，与从预先规定形状的区域提取特征量的情况相比，能够适当地提取对象物体的特征量。并且，通过利用这样提取的对象物体的特征量，能够高精度地追踪对象物体。
并且，根据该结构，能够利用对象物体特征量，来判断对象区域中包含的各段是否就是与对象物体对应的段。从而，与对基准区域内的段和对象区域内的段进行一对一匹配的情况相比，能够针对图像内对象物体的形状变化持稳定性地进行对象物体追踪。即，即使对象物体的形状在图像间有所变化下，也能够高精度地追踪对象物体。另外，能够将判断处理的对象限定于对象区域内的段，因此能够减轻处理负荷以及提高处理速度。
另外，根据该结构，能够根据从第二图像内的特征区域提取的特征点的位置以及与该特征点对应的第三图像内的特征点的位置的关系，设定第三图像内的对象区域。因此，即使对象物体在第二图像以及第三图像间有所移动，也能够利用第二图像以及第三图像间的特征点的对应关系，来恰当且简单地设定对象区域。其结果，能够避免将位置远离对象物体的段误判断为与对象物体对应的段。即，即使对象物体在图像间有所移动的情况下，也能够高精度地追踪对象物体。
另外还可以是，所述对象区域设定部根据表示与所述第一特征不同的第二特征的特征量，检测与从所述第二图像内的特征区域提取到的特征点对应的、所述第三图像内的特征点，并以所述对象区域的位置依赖于运动矢量的方式设定所述对象区域，所述运动矢量是根据检测出的所述第三图像内的特征点和从所述特征区域提取到的特征点而获得的运动矢量。
根据该结构，能够在依赖于移动矢量的位置设定对象区域，该移动矢量是指利用根据表示与第一特征不同的第二特征的特征量被检测出的对应点而获得的移动矢量。即，例如用于判断与对象物体对应的段的特征量、用于设定对象区域特征量，能够利用不同的特征量。因此，能够提高对于对象物体的特征的变化（尤其是对象物体的位置的变化）的稳定性。
例如还可以是，所述对象区域设定部，根据表示与所述第一特征不同的第二特征的特征量，检测与从所述特征区域提取到的多个所述特征点对应的、所述第三图像内的多个特征点，并以所述对象区域的尺寸依赖于变化度的方式设定所述对象区域，所述变化度是被检测出的所述第三图像内的多个特征点间的距离相对于从所述第二图像内的特征区域提取的多个特征点间的距离的变化度。
根据该结构，能够设定具有依赖于变化度的尺寸的对象区域，该变化度是指根据表示与第一特征不同的第二特征的特征量被检测出的特征点间的图像内的距离的变化度。即，例如用于判断与对象物体对应的段的特征量、用于设定对象区域的特征量，能够利用不同的特征量。因此，能够提高对于对象物体的特征的变化（尤其是对象物体的尺寸的变化）的稳定性。
例如还可以是，所述特征区域是包含与所述对象物体对应的段的区域，并且是比由与所述对象物体对应的段构成的区域大的区域。
根据该结构，能够使提取特征点的特征区域成为比对象物体的区域大的区域。一般而言，在物体的边界等像素值变化大的位置，容易提取具有特征性的特征量的特征点。因此，通过使特征区域成为包含对象物体的边界且比对象物体的区域大的区域，能够提高对应点的检测精度。
例如还可以是，所述分段部只将所述第三图像中的所述对象区域分割成多个段。
根据该结构，能够只对第三图像中的对象区域进行分段。因此，能够削减分段所需的计算量，从而能够提高处理速度。
例如还可以是，所述提取部，在所述基准区域包含多个段的情况下，将从所述多个段提取的多个特征量的代表值，作为所述对象物体特征量而提取。
根据该结构，能够将从多个段提取到的多个特征量的代表值，作为对象物体特征量来提取。从而，在利用对象物体特征量来判断对象区域中包含的各段是否就是与对象物体对应的段时，能够减轻处理负荷或者提高处理速度。
例如可以是，所述提取部还从所述基准区域外的区域提取表示所述第一特征的特征量，以此作为非对象物体特征量，所述追踪部通过判别从所述对象区域中包含的各段提取的、表示所述第一特征的特征量与所述对象物体特征量以及所述非对象物体特征量的哪一方类似，来判断所述各段是否就是与所述对象物体对应的段。
根据该结构，通过对表示从各段提取到的第一特征的特征量是与对象物体特征量类似，还是与非对象物体特征量类似进行判别，能够判断各段是否就是与对象物体对应的段。因此，与只利用对象物体特征量来进行判断的情况相比，能够提高判断精度，从而能够高精度地追踪对象物体。
例如还可以是，所述提取部，在所述基准区域外的区域包含多个段的情况下，将从所述多个段提取的多个特征量的代表值，作为所述非对象物体特征量而提取。
根据该结构，能够将从多个段提取到的多个特征量的代表值，作为非对象物体特征量来提取。因此，在利用非对象物体特征量来判断对象区域中包含的各段是否就是与对象物体对应的段时，能够减轻处理负荷或者提高处理速度。
例如还可以是，所述第一图像、所述第二图像以及所述第三图像被包含在动态图像中。
根据该结构，能够在动态图像中追踪对象物体。
另外，本发明的一形态的摄像装置具备所述图像处理装置和用于拍摄所述第一图像、所述第儿图像以及所述第三图像摄影的摄像部。
根据该结构，能够获得与所述图像处理装置相同的效果。
另外，这些总括性或者具体性的形态可通过***、方法、集成电路、计算机程序或者计算机可读取的CD-ROM等的记录介质来实现，也可以以***、方法、集成电路、计算机程序或记录介质的任意组合来实现。
以下，关于本发明的一形态的图像处理装置以及摄像装置，参照附图进行说明。
在此，以下说明的实施方式均表示总括性或者具体性的例子。以下的实施方式中表示的数值、形状、材料、结构要素、结构要素的配置以及连接形态、步骤、步骤的顺序等是一个例子，并不表示权利要求的范围限定于此。另外，关于以下的实施方式的结构要素中的未被记载于表示最上位概念的独立请求要求项中的结构要素，作为任意的结构要素进行说明。
（实施方式1）
图1是表示实施方式1的图像处理装置10的功能结构的方框图。图像处理装置10在第三图像中追踪第一图像中包含的对象物体，该第三图像是在第一图像之后被拍摄的图像。
如图1所示，本实施方式的图像处理装置10具备分段部11、指示部12、基准区域设定部13、提取部14、对象区域设定部15和追踪部16。
分段部11根据像素值的类似性，将第一图像以及第三图像分别分割成多个段。即，分段部11以使像素值相类似的像素被包含在1个段中的方式，将第一图像以及第三图像分别分割成多个段。
在此，段相当于图像内的一部分区域。另外，分割成多个段的这种处理，以下也称之为分段。
另外，像素值是构成图像的像素所具有的值。像素值例如是表示像素的亮度、颜色、明度、色调或者彩度，或者是这些的组合的值。
在本实施方式中，分段部11根据颜色的类似性，将图像分割成多个段。例如，分段部11根据利用颜色以及像素位置被定义的类似性进行聚类，从而将图像分割成多个段。
指示部12指示在第一图像中的对象物体的位置。例如，指示部12通过输入装置（触屏等）从用户接受用于指示在第一图像中的对象物体的位置的输入。然后，指示部12根据所接受的输入，指示对象物体的位置。再例如，指示部12也可以将第一图像内的预先规定的位置（例如，中心位置等）指示为对象物体的位置。再例如，指示部12还可以将在第一图像中自动检测出的物体（例如，人的面孔等）的位置指示为对象物体的位置。以下，由指示部12指示出的位置称之为指示位置。
基准区域设定部13，将包含指示段的段集合设定为基准区域。指示段是指存在于指示位置的段。另外，段集合是至少包括1个段的集合。在本实施方式中，基准区域设定部13将包含指示段和类似段且形成1个连续的区域的段集合设定为基准区域，类似段是指表示相对于所述指示段的图像的类似性的值大于阈值的段。
另外，基准区域设定部13并非定要将包含指示段和类似段的段集合设定为基准区域。例如，基准区域设定部13可以只将包含指示段的段集合设定为基准区域。
提取部14从基准区域中提取表示第一特征的特征量，以此作为对象物体特征量。具体是，提取部14按照基准区域中包含的每个段，提取该段的特征量，并以此作为对象物体特征量。
在此，第一特征意味着图像的特征。另外，特征量是定量性地表示图像的特征的值。
在本实施方式中，作为第一特征，利用与颜色相关的特征。例如，提取部14将基准区域中包含的各段的颜色直方图，作为对象物体特征量而提取。颜色直方图表示与预先规定的多个颜色的种类分别对应的频数。多个颜色的种类例如是利用HSV色彩空间中的H（色调）成分值的范围而被预先规定的。
另外，多个颜色的种类，并非定要利用在HSV色彩空间的H成分值的范围来决定。例如，多个颜色的种类可以利用根据H成分值、V（明度）成分值以及S（彩度）成分值中的至少一方而获得的值的范围来决定。另外，多个颜色的种类，也可以不利用HSV色彩空间的成分值，而是利用其他色彩空间（例如，RGB色彩空间、YUV色彩空间、Lab色彩空间等）的成分值来决定。
另外，第一特征并非一定是与颜色相关的特征。例如，第一特征也可是与亮度、强度或者这些与颜色的组合相关的特征。
提取部14还从基准区域外的区域提取表示第一特征的特征量，以此作为非对象物体特征量。具体是，提取部14按照基准区域外的区域中包含的每个段，提取该段的特征量，以此作为非对象物体特征量。在本实施方式中，提取部14按照每个段提取颜色直方图，以此作为非对象物体特征量。
作为基准区域外的区域，例如利用与基准区域相离规定距离以上的区域。关于规定距离的设定，设定成可利用具有与基准区域的图像特征有一定差异的特征的区域即可。如上所述，通过从与基准区域相离规定距离的区域提取非对象物体特征量，能够抑制对象物体的特征量被包含在非对象物体特征量中对。
对象区域设定部15根据从第二图像内的特征区域提取的特征点的位置以及与该特征点对应的第三图像内的特征点的位置之间的关系，在第三图像内设定对象区域。
具体是，对象区域设定部15根据表示第二特征的特征量，检测与从第二图像内的特征区域提取的多个特征点对应的第三图像内的多个特征点。并且，对象区域设定部15以对象区域的位置依赖于运动矢量，且对象区域的尺寸依赖于变化度的方式，在第三图像内设定对象区域，所述移动矢量是指利用从第二图像内的特征区域提取的多个特征点和被检测出的第三图像内的多个特征点而获得的运动矢量，所述变化度是指被检测出的第三图像内的多个特征点间的距离相对于从第二图像内的特征区域提取的多个特征点间的距离的变化度。
在此，第二图像是在与第三图像不同的时刻被摄影的图像。另外，第二图像有时候也会与第一图像一致。例如，第二图像以及第三图像分别是被连续拍摄的多个图像中的互不相同的任意1个图像。再例如，第二图像以及第三图像也可以被包含在动态图像中。在这种情况下的典型例为，第二图像是在时间上位于第三图像的帧之前的帧的图像。另外，第二图像也可以是时间上位于第三图像之后的帧的图像。
特征区域是与对象物体对应的区域。即，特征区域是包含对象物体的区域。具体是，特征区域例如是对象物体的区域，或者是包含对象物体的区域的区域，并且且是比对象物体的区域大的区域。
第二特征是与第一特征不同的特征。在本实施方式中，作为第二特征利用与形状有关的特征。在此，第二特征并非定要是与形状有关的特征。另外，第二特征也可以是与第一特征相同的特征。
距离的变化度是表示距离变化的大小的值。具体是，距离的变化度例如表示距离的变化比例或者距离的变化量。
追踪部16利用被提取的对象物体特征量以及非对象物体特征量，来判断对象区域中包含的各段是否就是与对象物体对应的段，从而在第三图像中追踪对象物体。
在此，与对象物体对应的段是构成对象物体的图像的段。以下，将与对象物体对应的段简称为对象物体段。
例如，追踪部16按对象区域中包含的每个段，判断表示从该段被提取的第一特征的特征量与对象物体特征量以及非对象物体特征量的哪一方类似，从而判定该段是否就是对象物体段。
另外，在本实施方式中，如上所述，作为表示第一特征的特征量利用的是颜色直方图。追踪部16按照对象区域中包含的每个段，从作为对象物体特征量被提取的颜色直方图（对象物体颜色直方图）以及作为非对象物体特征量被提取的颜色直方图（非对象物体颜色直方图）中，确定与从该段中提取的颜色直方图的类似度最高的颜色直方图。追踪部16，如果以上确定出的颜色直方图是对象物体颜色直方图之一，就判断为该段是对象物体段。相对而言，追踪部16，如果以上确定出的颜色直方图是非对象物体颜色直方图之一，则判断为该段并非是对象物体段。
在此，以2个颜色直方图的重叠程度来表现2个颜色直方图的类似度。2个颜色直方图的重叠程度表示2个颜色直方图在各颜色种类中重叠的频数的量。
在此，最好是2个颜色直方图是以频数之和成为相等的方式被分别进行规则化的颜色直方图。由此，追踪部16通过按所有颜色种类，第各颜色种类中的2个频数的小的一方的频数进行加算，能够容易地算出表示2个颜色直方图的类似度的值。
以下，关于具以上所述的结构的图像处理装置10的处理动作进行说明。图像处理装置10的处理动作大体上可分为，用于从第一图像提取特征量的处理和用于在第三图像中追踪对象物体的处理。在此，首先关于从第一图像提取特征量的处理，参照附图进行说明。
图2是表示实施方式1的图像处理装置10为了从第一图像提取特征量的处理的流程图。
首先，分段部11根据像素值的类似性，将第一图像分割成多个段（S101）。指示部12指示第一图像中的对象物体的位置（S102）。
基准区域设定部13将至少包含存在于指示位置的段的段集合，设定为基准区域（S103）。提取部14从基准区域提取对象物体特征量，并从基准区域外的区域提取非对象物体特征量（S104）。
通过以上，图像处理装置10从第一图像提取对象物体特征量和非对象物体特征量。
在此，图像处理装置10并非定要按照图2所示的步骤进行处理。例如，图像处理装置10也可以在步骤S102之后执行步骤S101。再例如，图像处理装置10也可以并列执行步骤S101和步骤S102。
以下，关于这种从第一图像提取特征量的处理，参照附图进行详细说明。首先，关于分段处理（S101）的详细内容，利用3～图6进行说明。在此，作为分段的一个例子，对基于k平均法（k-means聚类）的分段进行说明。
图3是表示实施方式1的分段部11的详细处理动作的流程图。图4以及图5是用于说明实施方式1的分段部11的处理动作的一个例子的图。图6是表示实施方式1的分段结果的一个例子的图。
如图3所示，分段部11首先对第一图像的色空间进行变换（S201）。具体是，分段部11将第一图像从RGB色空间变换成Lab色空间。
这个Lab色空间是知觉性均等的色空间。即，在ab色空间中，颜色的值有同等变化时，人看此所感觉到的变化也相等。因此，分段部11通过在Lab色空间进行第一图像的分段，可根据人察觉到的对象物体的边界来分割第一图像。
其次，分段部11设定k个（k：2以上的整数）初期簇的重心（S202）。这些k个初期簇的重心，例如以在第一图像上均等配置的方式被设定。在此，以邻接的重心间的间隔成为S（像素）的方式，设定k个初期簇的重心。
接下来，对第一图像内的各像素进行步骤S203、S204的处理。具体是，分段部11算出相对于各簇的重心的距离Ds（S203）。该距离Ds相当于表示利用像素值以及像素位置被定义的类似性的值。在此，距离Ds越小，表示相对于簇的重心的像素的类似性越高。
另外，如图4所示，分段部11只针对位于距离算出对象范围内的重心Ck，算出对象像素i的距离Ds。在此，在水平方向以及垂直方向上，将与对象像素i的位置的距离为初期簇的重心间隔S以下的位置设定为距离算出对象范围。即，分段部11，就对象像素i，算出分别针对重心C2，C3，C6，C7的距离。如上所述，由于是设定出距离算出对象范围，因此，比起针对所有的重心都算出距离的情况而言，可减轻计算负荷。
通过以下的式1算出相对于重心Ck（像素位置（xk，yk），像素值（lk，ak，bk））的对象像素i（像素位置（xi，yi），像素值（li，ai，bi））的距离Ds。
D s = d lab + m S d xy d lab = ( l k - l i ) 2 + ( a k - a i ) 2 + ( b k - b i ) 2 d xy = ( x k - x i ) 2 + ( y k - y i ) 2     (式1)
在此，m是为了使基于像素值的距离dlab和基于像素位置的距离dxy对距离Ds的影响保持平衡的系数。该系数m可以根据实验或者经验而预先设定。
其次，分段部11像上述那样利用相对于对象像素i的各重心的距离Ds，决定对象像素i所属的簇（S204）。具体是，分段部11将具有距离Ds最小的重心的簇，决定为对象像素i的所属簇。
按第一图像中包含的每个像素，反复进行所述步骤S203、S204的处理，从而决定各像素的所属簇。
然后，分段部11更新各簇的重心（S205）。例如，在步骤S204决定各像素的所属簇，其结果，如图5所示，从矩形的簇变化成了六角形的簇的情况下，更新重心C6像素值以及像素位置。
具体是，分段部11按照以下的式2，算出新的重心的像素值（lk_new，ak_new，bk_new）以及像素位置（xk_new，yk_new）。
l k _ new = 1 N Σ i = 0 , i ∈ k N l i ; a k _ new = 1 N Σ i = 0 , i ∈ k N a i ; b k _ new = 1 N Σ i = 0 , i ∈ k N b i x k _ new = 1 N Σ i = 0 , i ∈ k N x i ; y k _ new = 1 N Σ i = 0 , i ∈ k N y i     (式2)
在此，在各簇的重心已收敛的情况下（S206为“是”），分段部11结束处理。即，各簇的重心在步骤S205的更新前后如果无变化，分段部11就结束分段。相反，在各簇的重心未收敛的情况下（206为“否”），分段部11就反复进行步骤S203～S205的处理。
通过这样，分段部11根据利用像素值以及像素位置而被定义的类似度的聚类（在此为k平均法），将第一图像分割成多个段。因此，如图6所示，分段部11根据第一图像中包含的对象物体的特征，能够将第一图像分割成多个段。
即，分段部11能够以1个段中不包含多个物体的方式，将第一图像分割成为多个段。其结果，分段部11能够以段的边界和物体的边界相一致的方式，将第一图像分割成多个段。
另外，k平均法是比较简易的聚类。因此，分段部11通过根据k平均法来进行分段，能够减轻分段所需的处理负荷。但是，分段部11并非定要根据k平均法来进行分段。即，分段部11也可以根据其他聚类方法来进行分段。例如，分段部11可以根据平均变位法（mean-shiftclustering进行分段。另外，分段部11也并非定要根据聚类方法进行分段。
然后，关于指示处理（S102）的详细内容，利用图7进行说明。
图7是用于说明实施方式1的指示部12的处理动作的一个例子的图。在图7中，指示部12将用户所触摸的触屏上的位置指示为对象物体的位置。触屏例如通过电阻膜方式或者电容方式等检测用户所触摸的位置。
如上所述，指示部12根据用户所触摸的触屏上的位置，指示对象物体的位置，从而，用户只通过触摸触屏就能够容易地指示出对象物体的位置。
在此，指示部12可以将触屏上的1个点指示为对象物体的位置。另外，指示部12可以根据触屏上的轨迹，指示对象物体的位置。在此情况下，指示部12可以将触屏上的轨迹上的多个点指示为对象物体的位置。另外，指示部12也可以将触屏上的被轨迹围着的区域指示为对象物体的位置。
另外，指示部12并非定要通过触屏来取得用户所输入的位置。例如，指示部12可以将用户通过操作按钮等输入的显示器上的位置指示为对象物体的位置。
然后，关于基准区域的设定处理（S103）的详细内容，参照图8以及图9进行说明。
图8是表示实施方式1的基准区域设定部13的处理动作的详细内容的流程图。图9是用于说明实施方式1的基准区域设定部13的处理动作的一个例子的图。
如图8所示，首先，基准区域设定部13选择指示段（S301）。接下来，基准区域设定部13算出表示类似性的值（以下称之为“类似值”），该类似性是指指示段和、与在步骤S301或者步骤S304被选择的段（以下称之为“选择段”）邻接的段（以下称之为“邻接段”）的图像的类似性（S302）。具体是，基准区域设定部13例如将表示指示段的颜色直方图和邻接段的颜色直方图的重叠程度的值作为类似值而算出。
在类似值比阈值大的情况下（S303为“是”），基准区域设定部13将邻接段选择为类似段（S304），再返回到步骤S302的处理。相反，在类似值比阈值小的情况下（S303为“否”），基准区域设定部13将包含选择段的区域设定为基准区域（S305）。即，基准区域设定部13将在步骤S301以及步骤S304被选择的段设定为基准区域。
通过进行如上所述的处理，基准区域设定部13能够将包含指示段和、表示相对于指示段的图像的类似性的值大于阈值的类似段的段集合，设定为基准区域。例如，如图9（a）所示，在对象物体的位置被指示的情况下，基准区域设定部13像图9（b）那样，将第一图像100内的由指示段和类似段构成的区域设定为基准区域101。
另外，在有多个邻接段的情况下，基准区域设定部13可以按每个邻接段，执行步骤S302～步骤S304的处理。
另外，类似值并非一定是表示颜色直方图的重叠程度的值。例如，类似值也可以是表示2个段之间的平均色的差异的值。另外，除了颜色之外，类似值还可以是表示亮度、明度或者彩度的类似性的值。
另外，类似值，除了图像的类似性之外，还可以是表示位置的类似性的值。在此情况下，与指示段的距离越大的段其类似值就越小。
以下，关于为了在第三图像中追踪对象物体的处理，参照附图进行说明。图10是表示实施方式1的图像处理装置10中为了追踪对象物体的处理的流程图。
首先，对象区域设定部15在第三图像内设定对象区域（S151）。接下来，分段部11根据像素值的类似性，将第三图像分割成多个段（S152）。在此，分段部11只将第三图像中的对象区域分割成多个段。由此，分段部11能够削减为了分段所需的计算量，从而可提高处理速度。另外，分段的详细内容与图3所示的第一图像中的分段相同，因此省略详细说明。
最后，追踪部16利用对象物体特征量以及非对象物体特征量，来判断对象区域中包含的各段是否就是对象物体段，从而在第三图像中追踪对象物体（S153）。
如上所述，图像处理装置10能够在第三图像中追踪第一图像所包含的对象物体。另外，图像处理装置10通过将第一图像之后被连续拍摄的多个图像按其时间顺序作为第三图像来取得，能够在这些多个图像中追踪对象物体。
另外，图像处理装置10并非定要按照图10所示的步骤顺序进行处理。例如，图像处理装置10可以在步骤S152之后执行步骤S151。再例如，图像处理装置10可以并列执行步骤S151和步骤S152。
以下，关于这种为了在第三图像中追踪对象物体的处理，参照附图进行详细说明。首先，关于对象区域设定处理（S151）的详细内容，利用图11～图15进行说明。
图11是表示实施方式1的对象区域设定部15的处理动作的详细内容的流程图。另外，图12是用于说明实施方式1的对象区域设定部15的处理动作的详细内容的图。
如图11所示，首先，对象区域设定部15在第二图像内设定特征区域（S401）。在此，对象区域设定部15例如将第二图像中的包含由追踪部16判断出的对象物体且比由对象物体段构成的区域大的区域，设定为特征区域。再例如，在第一图像和第二图像一致的情况下，对象区域设定部15将包含基准区域且比基准区域大的特征设定为特征区域。
一般而言，在物体的边界等像素值变化大的位置，容易提取具有特征性的特征量的特征点。因此，通过使特征区域大于对象物体，使得包含对象物体的边界，从而能够提高对应点的检测精度。
在此，特征区域可以具有任何形状，在此就特征区域为矩形的情况进行说明。例如在图12中，对象区域设定部15将与对象物体段外接的矩形的各边被增为规定数倍而成的矩形所包围的区域，设定为特征区域201。
然后，对象区域设定部15从特征区域提取特征点（S402）。具体是，对象区域设定部15首先对特征区域内的图像，算出表示第二特征的局部特征量。在此，局部特征量是与形状相关的特征量，例如根据SIFT（Scale-Invariant Feature Transform）或者SURF（SpeededUp Robust Feature）被算出。关于SIFT以及SURF的详细内容，非专利文献1以及非专利文献2中有记载，因此省略说明。
另外，局部特征量虽然并非是一定要根据SIFT或者SURF算出，但是，像SIFT或者SURF那样对旋转或者尺寸变动具有稳定性的特征量较为理想。因此，在对象区域的设定中，能够提高对于对象物体的旋转或者尺寸变动的稳定性。
并且，对象区域设定部15根据这样求出的局部特征量，从特征区域提取多个特征点。即，对象区域设定部15提取具有特征性的局部特征量的点，并以该点作为特征点。在图12中，从第二图像200特征区域201提取了特征点211、212。
然后，对象区域设定部15根据局部特征量，检测多个组的对应点（S403）。对应点是指第二图像以及第三图像间对应的一对特征点。即，对象区域设定部15检测局部特征量与从特征区域中提取到的多个特征点类似的、第三图像内的特征点。例如，在图12中，作为与特征点211以及特征点212对应的特征点，分别检测出了特征点311以及特征点312。
图13是表示根据SURF检测出的对应点的一个例子图。在图13中能够确认到，在图像间，即使在对象物体的尺寸发生变化或者对象物体旋转的情况下，也能够检测出对应点。
然后，对象区域设定部15根据检测出的多个组的对应点，算出运动矢量（S404）。例如，对象区域设定部15将从多个组的对应点获得的多个矢量的代表矢量作为运动矢量而算出。代表矢量是可以从统计性代表值（平均值、中位数或者最频值等）中获得的矢量。例如在图12中，对象区域设定部15将从特征点211以及特征点311获得矢量和从特征点211以及特征点311获得的矢量的平均矢量，作为运动矢量（Mx，My）算出。
图14A以及图14B是表示对应点的检测结果的一个例子的图。具体是，图14A是表示对象物体平移时的对应点的检测结果的一个例子。另外，图14B是表示对象物体缩小时的对应点的检测结果的一个例子。如图14A以及图14B所示，无论在对象物体平移的情况下，还是在对象物体的尺寸有变动的情况下，连接对应点间的直线大体上朝向同一方向。即，能够将连接对应点的矢量推定为对象物体的运动矢量。
另外，作为提高稳定性的方法，并不限于平均值，还可以利用中位数算出代表矢量。理想的是根据被要求的处理速度以及对象物体的移动速度等来变更代表矢量的算出方法。
然后，对象区域设定部15算出，与从特征区域提取到的多个特征点对应的第三图像内的多个特征点间的距离相对于从特征区域提取到的多个特征点间的距离变化度（S405）。例如在图12中，对象区域设定部15算出特征点311以及特征点312的距离（Dx2，Dy2）相对于特征点211以及特征点212间的距离（Dx1，Dy1）的变化度（Dx2/Dx1，Dy2/Dy1）。
图15是用于说明在实施方式1中算出特征点间的距离的变化度的处理的一个例子的图。
如图15所示，对象区域设定部15从第二图像内的多个特征点中选择2个特征点。然后，对象区域设定部15算出被选择的2个特征点间的水平方向的距离和垂直方向的距离。
并且，对象区域设定部15选择与在第二图像内选择的2个特征点对应的、第三图像内的2个特征点。然后，对象区域设定部15算出在第三图像内选择的2个特征点间的水平方向的距离和垂直方向的距离。
此时，对象区域设定部15分别在水平方向以及垂直方向上，算出在第三图像内算出的距离相对于在第二图像内算出的距离的比，以此作为变化度。
对象区域设定部15从所有的特征点的组合，算出如上所述的水平方向以及垂直方向上的变化度。并且，对象区域设定部15将从所有的特征点的组合算出的水平方向以及垂直方向的变化度的平均，作为多个特征点间的距离的变化度而算出。在此，若设想为对象物体的运动是线性运动的话，追踪物体在水平方向以及垂直方向上的尺寸的变化度，与算出的水平方向以及垂直方向的距离的变化度大体上一致。
然后，对象区域设定部15在依赖于通过步骤S404算出的运动矢量的位置，设定依赖于通过步骤S405算出的距离的变化度的尺寸的对象区域（S406）。例如，在图12中，特征区域的重心位置是（Xg，Yg），特征区域的尺寸是（Sx，Sy）。在此情况下，对象区域设定部15例如在第三图像300内设定重心位置为（Xg+Mx，Yg+My）、尺寸为（Sx*Dx2/Dx1，Sy*Dy2/Dy1）的对象区域301。
然后，关于追踪处理（S153）的详细内容，利用图16进行说明。图16是表示实施方式1的追踪部16的处理动作的详细内容的流程图。
首先，追踪部16选择对象区域内的1个段（S501）。即，追踪部16选择对象区域内尚未被选择的段。
然后，追踪部16对被选择的段的特征量和对象物体特征量以及非对象物体特征量进行比较（S502）。具体是，追踪部16例如对被选择的段的颜色直方图和对象物体颜色直方图以及非对象物体颜色直方图进行比较。
追踪部16根据比较结果，判别被选择的段是否就是对象物体段（S503）。例如，追踪部16，在与被选择的段的颜色直方图最类似的直方图是对象物体颜色直方图的情况下，判断为被选择的段是对象物体段。
在此，如果是最后被选择的段（S504为“是”），就结束处理，如果被选择的段不是对象区域内最后被选择的段（S504为“否”），就返回到步骤S501。
由这样判断出的对象物体段构成的区域，相当于与对象物体对应的区域。即，追踪部16能够在对象图像中追踪对象物体。
如上所述，根据本实施方式的图像处理装置10，能够利用根据像素值的类似性对第一图像进行分割而获得的多个段来设定基准区域。因此，图像处理装置10针对具有复杂的几何形状的对象物体，也能够设定出形状适合于该复杂的几何形状的基准区域。其结果，图像处理装置10，与从预先规定的形状的区域提取特征量的情况相比，能够适当地提取对象物体的特征量。并且，通过利用这样被提取的对象物体的特征量，图像处理装置10能够高精度地追踪对象物体。
并且，根据本实施方式的图像处理装置10，能够利用对象物体特征量来判断对象区域中包含的各段是否就是与对象物体对应的段。因此，与对基准区域内的段和对象区域内的段进行一对一匹配的情况相比，图像处理装置10能够对图像内的对象物体的形状的变化，稳定地追踪对象物体。即，图像处理装置10，即使在图像间的对象物体的形状有变化的情况下，也能够高精度地追踪对象物体。另外，图像处理装置10能够将判断处理的对象限定于对象区域内的段，因此能够减轻处理负荷以及提高处理速度。
并且，根据本实施方式的图像处理装置10，能够根据从第二图像内的特征区域提取的特征点的位置和、与该特征点对应的第三图像内的特征点的位置的关系，在第三图像内设定对象区域。因此，图像处理装置10，即使对象物体在第二图像以及第三图像间有移动的情况下，也能够利用第二图像以及第三图像间的特征点的对应关系，适当且简单地设定对象区域。其结果，图像处理装置10能够抑制将位于与对象物体远离的位置的段误判断为与对象物体对应的段。即，图像处理装置10，即使对象物体在图像间有变动的情况下，也能够高精度地追踪对象物体。
尤其是，根据本实施方式的图像处理装置，可进行设定处理和追踪处理的两者，设定处理是指利用与形状有关的特征量进行的对象区域的设定处理，追踪处理是指利用从根据像素值进行分割而获得的段中提取到的、与颜色有关的特征量的类似性来进行的追踪处理。即，通过前者的对象区域设定处理能够提高对于对象物体的运动的稳定性，通过后者的追踪处理能够提高对于对象物体的形状变化的稳定性。其结果，能够长时间、正确地追踪对象物体。
另外，根据本实施方式的图像处理装置，由于是只在第二图像的特征区域内算出局部特征量，因此，与在第二图像整体算出局部特征量的情况相比，能够减轻负荷。例如，在根据SIFT算出局部特征量的情况下，一般而言计算量大，因此，只在特征区域内算出局部特征量的方法，对于降低计算量有大的贡献。再例如，在根据SURF算出局部特征量的情况下，一般而言存储器的使用量大，因此，只在特征区域内算出局部特征量的方法，对于降低存储器的使用量具有大的贡献。
（实施方式2）
图17是表示实施方式2的摄像装置20的功能结构的方框图。摄像装置20例如是数字静态相机或者数字摄像机、或者具备这些照相机的手机、智能手机或者平板计算机等。如图17所示，摄像装置20具备摄像部21和所述实施方式1的图像处理装置10。
摄像部21例如具备光学***以及摄像元件。光学***例如至少具有1个光学透镜。另外，摄像元件例如是CCD图像传感器或者CMOS图像传感器等的固体摄像元件。
摄像部21连续拍摄多个图像。由摄像部21拍摄的多个图像被输入到图像处理装置10，被作为第一图像、第二图像以及第三图像用于各种处理。
另外，摄像装置20还可以具备显示部以及输入部（均为图示）的两者或者一者。例如能够以触屏作为显示部以及输入部来安装。
输入部从用户接受针对显示部所显示的图像（第一图像）进行的对象物***置输入。显示部显示被拍摄的图像的同时显示由图像处理装置10进行的追踪结果。
以上，关于本发明的1个或者多个形态的图像处理装置以及摄像装置，根据实施方式进行了说明，但本发明并不限定于这些实施方式。只要不超出本发明的宗旨，将本领域技术人员所想到的各种变形方式实施于本实施方式所获得的形态，或者对不同实施方式的结构要素进行组合而成的形态，也属于本发明的1个或者多个对象的范围内。
例如，在所述各实施方式中，提取部14并非定要提取非对象物体特征量。即，提取部14也可以只提取对象物体特征量。在此情况下，追踪部16以不利用非对象物体特征量的方式在第三图像内追踪对象物体即可。具体是，追踪部16例如可以通过对表示对象区域中包含的各段的特征量和对象物体特征量的类似性的值是否超过阈值进行判断，从而判断对象区域中包含的各段是否就是对象物体段。
另外，在所述各实施方式中，用于判断对象物体段的特征量和用于设定对象区域的特征量是表示不同的特征的特征量。即，在所述各实施方式中，第一特征和第二特征是不同的特征。但是，第一特征和第二特征并非一定要是不同的特征，也可以是相同的特征。
另外，在所述各实施方式中，提取部14并非定要按每个段来提取对象物体特征量或者非对象物体特征量。即，提取部14也可以从特征区域或者特征区域外的区域提取1个有代表性的特征量，以此作为对象物体特征量或者非对象物体特征量。
例如，提取部14，在基准区域中包含多个段的情况下，可以将从多个段提取到的多个特征量的代表值，作为对象物体特征量来提取。由此，图像处理装置10，在利用对象物体特征量来判断对象区域中包含的各段是否就是与对象物体对应的段的时候，能够减轻处理负荷以及提高处理速度。
再例如，提取部14，在基准区域外的区域中包含多个段的情况下，也可以将从多个段提取的多个特征量的代表值，作为非对象物体特征量来提取。由此，图像处理装置10在利用非对象物体特征量来判断对象区域中包含的各段是否就是与对象物体对应的段的时候，能够减轻处理负荷以及提高处理速度。
在此，代表值是统计性代表值。具体而言，代表值例如是平均值、中位数或者最频值等。
另外，在所述各实施方式中，对象区域设定部15根据运动矢量和距离的变化度这两者来设定对象区域，此外也可以只根据运动矢量和距离的变化度中的一者来设定对象区域。例如，对象区域变动根据矢量进行设定时，并非定要从特征区域提取多个特征点，也可以只提取1个特征点。即，不是多个组的对应点，而是可以根据1组的对应点来设定对象区域。
另外，在作为第三图像按照时间顺序取得在第一图像之后被连续拍摄的图像，从而在这些多个图像中追踪对象物体的情况下，可以更新或者追加对象区域特征量以及非对象区域特征量。例如，可以从第二图像中提取对象区域特征量以及非对象区域特征量的一方或者双方。
另外，提取部14可以只从模糊小的段提取对象物体特征量。即，提取部14可以不从模糊大的段提取对象物体特征量。在此情况下，提取部14，例如在表示段的模糊程度的值比阈值小的情况下，可以从该段提取对象区域特征量。表示模糊程度的值，例如可以根据段内的图像中的高频成分量或者边缘量而决定。
另外，在所述各实施方式中，图像处理装置10根据第二图像以及第三图像中的对应点的位置关系，在第三图像内设定对象区域，此外也可以利用多个图像的特征点来设定对象区域。例如，对象区域设定部15可以根据包含第二图像以及第三图像的3个图像的对应点的位置关系，算出运动矢量以及加速度矢量。并且，对象区域设定部15也可以利用运动矢量以及加速度矢量来决定对象区域的位置。由此，与根据3个以上的图像中对应点的位置关系来设定对象区域的情况下相比，能够提高针对进行复杂的运动的对象物体的追踪精度。
另外，所述各实施方式的图像处理装置所具备的具备要素的一部分或者全部，可由1个***LSI（Large Scale Integration：大规模集成电路）构成。例如，图像处理装置10可以由具备分段部11、指示部12、基准区域设定部13、提取部14、对象区域设定部15和追踪部16的***LSI构成。
***LSI是在1个芯片上集成多个结构部而制造的超多功能LSI，具体是包括微处理器、ROM（Read Only Memory）、RAM（RandomAccess Memory）等构成的计算机***。在所述ROM中存储计算机程序。所述微处理器按照所述计算机程序进行动作，从而***LSI达成其功能。
另外，在此例举了***LSI，但根据集成程度的不同，也可以称为IC、LSI、超级LSI、最超级LSI。另外，集成电路化的手法并不限定于SI，也可以通过专用电路或者通用处理器来实现。还可以利用在LSI制造后能够进行编程的FPGA（Field Programmable Gate Array），或者能够对LSI内部的电路单元的连接或者设定进行重建的可重建型处理器。
并且，随着半导体技术的进步以及其他技术的衍生，若有可代替LSI的集成电路化技术出现，当然可由利用该技术进行功能块的集成化。生物技术的应用等被视为有可能性。
另外，本发明的一形态并不限于这种图像处理装置，还可以是以图像处理装置中包含的特征性结构部作为步骤的图像处理方法。另外，本发明的一形态也可以是用于使计算机执行图像处理方法中包含的各特征性步骤的计算机程序。另外，本发明的一形态也可以是记录有所述计算机程序且计算机可读取的非临时性记录介质。
另外，在所述各实施方式中，各结构要素可由专用的硬件构成，或者通过执行适合各结构要素的软件程序来实现。各结构要素可通过由CPU或者处理器等的程序执行部，读出和执行被记录在硬盘或者半导体存储器等的记录介质中的软件程序来实行。在此，实现所述各实施方式的图像处理装置等的软件是如下程序。
即，该程序使计算机执行：第一分段步骤，根据像素值的类似性，将所述第一图像分割成多个段；指示步骤，指示所述第一图像中的所述对象物体的位置；基准区域设定步骤，将包含指示段的段集合设定为基准区域，所述指示段是存在于被指示的所述位置的段；提取步骤，从所述基准区域提取表示第一特征的特征量，以此作为对象物体特征量；对象区域设定步骤，根据从特征区域提取的特征点的位置以及与提取的所述特征点对应的所述第三图像内的特征点的位置之间的关系，在所述第三图像内设定对象区域，所述特征区域是在与所述第三图像不同的时刻被拍摄的第二图像内的、与所述对象物体对应的区域；第二分段步骤，根据像素值的类似性，将所述第三图像分割成多个段；追踪步骤，利用所述对象物体特征量，判断所述对象区域所包含的各段是否就是与所述对象物体对应的段，从而在所述第三图像中追踪所述对象物体。
本发明的一形态的图像处理装置以及摄像装置能够应用于，在第一图像之后摄影的第三图像中追踪第一图像所包含的对象物体的图像处理装置，以及具备该图像处理装置的数字静态相机或者数字摄像机等的摄像装置。
符号说明
10   图像处理装置
11   分段部
12   指示部
13   基准区域设定部
14   提取部
15   对象区域设定部
16   追踪部
20   摄像装置
21   摄像部
100  第一图像
102  基准区域
200  第二图像
201  特征区域
211、212、311、312   特征点
300  第三图像
301  对象区域
权利要求书(按照条约第19条的修改)
1.一种图像处理装置，在第三图像中追踪第一图像所包含的对象物体，所述第三图像是在所述第一图像之后被拍摄的图像，该图像处理装置具备：
分段部，根据像素值的类似性，将所述第一图像以及所述第三图像分别分割成多个段；
指示部，指示所述第一图像中的所述对象物体的位置；
基准区域设定部，将包含指示段的段集合设定为基准区域，所述指示段是存在于被指示的所述位置的段；
提取部，从所述基准区域提取表示第一特征的特征量，以此作为对象物体特征量；
对象区域设定部，根据从特征区域提取的特征点的位置以及与提取的所述特征点对应的所述第三图像内的特征点的位置之间的关系，在所述第三图像内设定对象区域，所述特征区域是在与所述第三图像不同的时刻被拍摄的第二图像内的、与所述对象物体对应的区域；以及
追踪部，利用所述对象物体特征量，判断所述对象区域所包含的各段是否就是与所述对象物体对应的段，从而在所述第三图像中追踪所述对象物体。
2.（修改后）如权利要求1所述的图像处理装置,
所述对象区域设定部，将包含所述基准区域且比所述基准区域大的区域，设定为所述特征区域。
3.（修改后）如权利要求1或者2所述的图像处理装置，
所述对象区域设定部，根据表示与所述第一特征不同的第二特征的特征量，检测与从所述第二图像内的特征区域提取到的特征点对应的、所述第三图像内的特征点，并以所述对象区域的位置依赖于运动矢量的方式设定所述对象区域，所述运动矢量是根据检测出的所述第三图像内的特征点和从所述特征区域提取到的特征点而获得的运动矢量。
4.（修改后）如权利要求1至3的任一项所述的图像处理装置，
所述对象区域设定部，根据表示与所述第一特征不同的第二特征的特征量，检测与从所述特征区域提取到的多个所述特征点对应的、所述第三图像内的多个特征点，并以所述对象区域的尺寸依赖于变化度的方式设定所述对象区域，所述变化度是被检测出的所述第三图像内的多个特征点间的距离相对于从所述第二图像内的特征区域提取的多个特征点间的距离的变化度。
5.（修改后）如权利要求1至4的任一项所述的图像处理装置，
所述特征区域是包含与所述对象物体对应的段的区域，并且是比由与所述对象物体对应的段构成的区域大的区域。
6.（修改后）如权利要求1至5的任一项所述的图像处理装置，
所述分段部，只将所述第三图像中的所述对象区域分割成多个段。
7.（修改后）如权利要求1至6的任一项所述的图像处理装置，
所述提取部，在所述基准区域包含多个段的情况下，将从所述多个段提取的多个特征量的代表值，作为所述对象物体特征量而提取。
8.如权利要求1至7的任一项所述的图像处理装置，
所述提取部，还从所述基准区域外的区域提取表示所述第一特征的特征量，以此作为非对象物体特征量，
所述追踪部，通过判别从所述对象区域中包含的各段提取的、表示所述第一特征的特征量与所述对象物体特征量以及所述非对象物体特征量的哪一方类似，来判断所述各段是否就是与所述对象物体对应的段。
9.（修改后）如权利要求8所述的图像处理装置，
所述提取部，在所述基准区域外的区域包含多个段的情况下，将从所述多个段提取的多个特征量的代表值，作为所述非对象物体特征量而提取。
10.（修改后）如权利要求1至9的任一项所述的图像处理装置，
所述第一图像、所述第二图像以及所述第三图像被包含在动态图像中。
11.（修改后）如权利要求1至10的任一项所述的图像处理装置，
所述图像处理装置被构成为集成电路。
12.（修改后）一种摄像装置，具备：
如权利要求1至11的任一项所述的图像处理装置；以及
摄像部，拍摄所述第一图像、所述第二图像以及所述第三图像。
13.（修改后）一种图像处理方法，在第三图像中追踪第一图像所包含的对象物体，所述第三图像是在所述第一图像之后被拍摄的图像，该图像处理方法包括：
第一分段步骤，根据像素值的类似性，将所述第一图像分割成多个段；
指示步骤，指示所述第一图像中的所述对象物体的位置；
基准区域设定步骤，将包含指示段的段集合设定为基准区域，所述指示段是存在于被指示的所述位置的段；
提取步骤，从所述基准区域提取表示第一特征的特征量，以此作为对象物体特征量；
对象区域设定步骤，根据从特征区域提取的特征点的位置以及与提取的所述特征点对应的所述第三图像内的特征点的位置之间的关系，在所述第三图像内设定对象区域，所述特征区域是在与所述第三图像不同的时刻被拍摄的第二图像内的、与所述对象物体对应的区域；
第二分段步骤，根据像素值的类似性，将所述第三图像分割成多个段；以及
追踪步骤，利用所述对象物体特征量，判断所述对象区域所包含的各段是否就是与所述对象物体对应的段，从而在所述第三图像中追踪所述对象物体。
14.（追加）一种程序，用于使计算机执行权利要求13所述的图像处理方法。

Claims (13)

1.一种图像处理装置，在第三图像中追踪第一图像所包含的对象物体，所述第三图像是在所述第一图像之后被拍摄的图像，该图像处理装置具备：
分段部，根据像素值的类似性，将所述第一图像以及所述第三图像分别分割成多个段；
指示部，指示所述第一图像中的所述对象物体的位置；
基准区域设定部，将包含指示段的段集合设定为基准区域，所述指示段是存在于被指示的所述位置的段；
提取部，从所述基准区域提取表示第一特征的特征量，以此作为对象物体特征量；
对象区域设定部，根据从特征区域提取的特征点的位置以及与提取的所述特征点对应的所述第三图像内的特征点的位置之间的关系，在所述第三图像内设定对象区域，所述特征区域是在与所述第三图像不同的时刻被拍摄的第二图像内的、与所述对象物体对应的区域；以及
追踪部，利用所述对象物体特征量，判断所述对象区域所包含的各段是否就是与所述对象物体对应的段，从而在所述第三图像中追踪所述对象物体。
2.如权利要求1所述的图像处理装置，
所述对象区域设定部，根据表示与所述第一特征不同的第二特征的特征量，检测与从所述第二图像内的特征区域提取到的特征点对应的、所述第三图像内的特征点，并以所述对象区域的位置依赖于运动矢量的方式设定所述对象区域，所述运动矢量是根据检测出的所述第三图像内的特征点和从所述特征区域提取到的特征点而获得的运动矢量。
3.如权利要求1或者2所述的图像处理装置，
所述对象区域设定部，根据表示与所述第一特征不同的第二特征的特征量，检测与从所述特征区域提取到的多个所述特征点对应的、所述第三图像内的多个特征点，并以所述对象区域的尺寸依赖于变化度的方式设定所述对象区域，所述变化度是被检测出的所述第三图像内的多个特征点间的距离相对于从所述第二图像内的特征区域提取的多个特征点间的距离的变化度。
4.如权利要求1至3的任一项所述的图像处理装置，
所述特征区域是包含与所述对象物体对应的段的区域，并且是比由与所述对象物体对应的段构成的区域大的区域。
5.如权利要求1至4的任一项所述的图像处理装置，
所述分段部，只将所述第三图像中的所述对象区域分割成多个段。
6.如权利要求1至5的任一项所述的图像处理装置，
所述提取部，在所述基准区域包含多个段的情况下，将从所述多个段提取的多个特征量的代表值，作为所述对象物体特征量而提取。
7.如权利要求1至6的任一项所述的图像处理装置，
所述提取部，还从所述基准区域外的区域提取表示所述第一特征的特征量，以此作为非对象物体特征量，
所述追踪部，通过判别从所述对象区域中包含的各段提取的、表示所述第一特征的特征量与所述对象物体特征量以及所述非对象物体特征量的哪一方类似，来判断所述各段是否就是与所述对象物体对应的段。
8.如权利要求7所述的图像处理装置，
所述提取部，在所述基准区域外的区域包含多个段的情况下，将从所述多个段提取的多个特征量的代表值，作为所述非对象物体特征量而提取。
9.如权利要求1至8的任一项所述的图像处理装置，
所述第一图像、所述第二图像以及所述第三图像被包含在动态图像中。
10.如权利要求1至9的任一项所述的图像处理装置，
所述图像处理装置被构成为集成电路。
11.一种摄像装置，具备：
如权利要求1至10的任一项所述的图像处理装置；以及
摄像部，拍摄所述第一图像、所述第二图像以及所述第三图像。
12.一种图像处理方法，在第三图像中追踪第一图像所包含的对象物体，所述第三图像是在所述第一图像之后被拍摄的图像，该图像处理方法包括：
第一分段步骤，根据像素值的类似性，将所述第一图像分割成多个段；
指示步骤，指示所述第一图像中的所述对象物体的位置；
基准区域设定步骤，将包含指示段的段集合设定为基准区域，所述指示段是存在于被指示的所述位置的段；
提取步骤，从所述基准区域提取表示第一特征的特征量，以此作为对象物体特征量；
对象区域设定步骤，根据从特征区域提取的特征点的位置以及与提取的所述特征点对应的所述第三图像内的特征点的位置之间的关系，在所述第三图像内设定对象区域，所述特征区域是在与所述第三图像不同的时刻被拍摄的第二图像内的、与所述对象物体对应的区域；
第二分段步骤，根据像素值的类似性，将所述第三图像分割成多个段；以及
追踪步骤，利用所述对象物体特征量，判断所述对象区域所包含的各段是否就是与所述对象物体对应的段，从而在所述第三图像中追踪所述对象物体。
13.一种程序，用于使计算机执行权利要求12所述的图像处理方法。
CN201380001433.2A 2012-03-26 2013-03-08 图像处理装置、摄像装置以及图像处理方法 Active CN103548056B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012070318 2012-03-26
JP2012-070318 2012-03-26
PCT/JP2013/001516 WO2013145589A1 (ja) 2012-03-26 2013-03-08 画像処理装置、撮像装置および画像処理方法

Publications (2)

Publication Number Publication Date
CN103548056A true CN103548056A (zh) 2014-01-29
CN103548056B CN103548056B (zh) 2017-02-22

Family

ID=49258906

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380001433.2A Active CN103548056B (zh) 2012-03-26 2013-03-08 图像处理装置、摄像装置以及图像处理方法

Country Status (4)

Country Link
US (1) US10089527B2 (zh)
JP (1) JP6043293B2 (zh)
CN (1) CN103548056B (zh)
WO (1) WO2013145589A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102629969A (zh) * 2012-03-30 2012-08-08 邓晓波 一种在拍摄平面物体时消除拖影的方法

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105765622B (zh) * 2013-09-13 2021-04-09 斯特拉克斯私人有限公司 用于给图像分配颜色的方法和***、计算机可读存储介质
US9589595B2 (en) 2013-12-20 2017-03-07 Qualcomm Incorporated Selection and tracking of objects for display partitioning and clustering of video frames
US10346465B2 (en) 2013-12-20 2019-07-09 Qualcomm Incorporated Systems, methods, and apparatus for digital composition and/or retrieval
JP6355746B2 (ja) * 2014-02-19 2018-07-11 クアルコム，インコーポレイテッド デバイスのための画像編集技法
JP6610853B2 (ja) * 2014-03-18 2019-11-27 パナソニックＩｐマネジメント株式会社 予測画像生成方法、画像符号化方法、画像復号方法及び予測画像生成装置
JP6986721B2 (ja) * 2014-03-18 2021-12-22 パナソニックＩｐマネジメント株式会社 復号装置及び符号化装置
JP6472279B2 (ja) * 2015-03-09 2019-02-20 キヤノン株式会社 画像処理装置及び画像処理方法
CN105046218B (zh) * 2015-07-09 2018-12-11 华南理工大学 一种基于串并行处理的多特征交通视频烟雾检测方法
JP7129201B2 (ja) * 2018-04-18 2022-09-01 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、及びプログラム
JP2021045077A (ja) * 2019-09-18 2021-03-25 株式会社ニコン 処理装置、処理方法、処理プログラム、観察装置、培養装置、培養システム、及び情報処理システム
CN111145152B (zh) * 2019-12-24 2024-02-27 上海联影智能医疗科技有限公司 图像检测方法、计算机设备和存储介质
US20210264153A1 (en) * 2020-02-21 2021-08-26 CACI, Inc.- Federal Machine learning method and apparatus for detection and continuous feature comparison

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4373840B2 (ja) 2004-04-21 2009-11-25 日本電信電話株式会社 動物体追跡方法、動物体追跡プログラムおよびその記録媒体、ならびに、動物体追跡装置
JP4692371B2 (ja) * 2006-04-26 2011-06-01 オムロン株式会社 画像処理装置、画像処理方法、画像処理プログラム、および画像処理プログラムを記録した記録媒体、ならびに移動物体検出システム
WO2008026434A1 (fr) * 2006-08-30 2008-03-06 Nikon Corporation Appareil et procédé d'alignement d'image, ainsi que caméra
US8089548B2 (en) * 2008-04-11 2012-01-03 Panasonic Corporation Image processing device, method, and storage medium
JP5120238B2 (ja) 2008-08-15 2013-01-16 富士ゼロックス株式会社 オブジェクト領域抽出装置及びオブジェクト領域抽出プログラム
JP5219795B2 (ja) 2008-12-26 2013-06-26 キヤノン株式会社 被写体追跡装置、その制御方法、撮像装置、表示装置及びプログラム
JP5395650B2 (ja) * 2009-12-24 2014-01-22 キヤノン株式会社 被写体領域抽出装置およびその制御方法、被写体追跡装置、並びにプログラム
US8509482B2 (en) 2009-12-21 2013-08-13 Canon Kabushiki Kaisha Subject tracking apparatus, subject region extraction apparatus, and control methods therefor
EP2521093B1 (en) * 2009-12-28 2018-02-14 Panasonic Intellectual Property Management Co., Ltd. Moving object detection device and moving object detection method
CN102473307B (zh) 2010-03-15 2015-05-27 松下电器产业株式会社 用于轨迹估计的方法和装置以及用于分割的方法
JP5577793B2 (ja) * 2010-03-30 2014-08-27 ソニー株式会社 画像処理装置および方法、並びにプログラム
JP5744437B2 (ja) * 2010-08-18 2015-07-08 キヤノン株式会社 追尾装置、追尾方法及びプログラム
JP5743501B2 (ja) * 2010-11-25 2015-07-01 キヤノン株式会社 物体追尾装置、物体追尾方法、及び物体追尾プログラム
JP4784709B1 (ja) * 2011-03-10 2011-10-05 オムロン株式会社 対象物追跡装置、対象物追跡方法、および制御プログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102629969A (zh) * 2012-03-30 2012-08-08 邓晓波 一种在拍摄平面物体时消除拖影的方法

Also Published As

Publication number Publication date
JP6043293B2 (ja) 2016-12-14
US10089527B2 (en) 2018-10-02
US20140211993A1 (en) 2014-07-31
JPWO2013145589A1 (ja) 2015-12-10
WO2013145589A1 (ja) 2013-10-03
CN103548056B (zh) 2017-02-22

Similar Documents

Publication Publication Date Title
CN103548056A (zh) 图像处理装置、摄像装置以及图像处理方法
US20200293809A1 (en) Image processing apparatus, image processing method, and storage medium
CN106254933B (zh) 字幕提取方法及装置
US9607240B2 (en) Image processing apparatus, image capturing apparatus, image processing method, image capturing method, and non-transitory computer-readable medium for focus bracketing
KR101802146B1 (ko) 화상처리장치 및 화상처리방법
US9171222B2 (en) Image processing device, image capturing device, and image processing method for tracking a subject in images
US10079974B2 (en) Image processing apparatus, method, and medium for extracting feature amount of image
US10748023B2 (en) Region-of-interest detection apparatus, region-of-interest detection method, and recording medium
WO2009125596A1 (ja) 画像処理装置、方法、および記憶媒体
JP7223079B2 (ja) 画像処理装置およびその制御方法、ならびに撮像装置
EP3093822B1 (en) Displaying a target object imaged in a moving picture
CN107977989B (zh) 一种确定图像偏移量的方法及设备
CN111757014B (zh) 网络摄像头的焦距调节方法、装置、设备和存储介质
US20170148137A1 (en) Image data processing apparatus and method
US20180184012A1 (en) Image processing apparatus, control method, and storage medium
WO2015198368A1 (ja) 画像処理装置及び画像処理方法
JP5914046B2 (ja) 画像処理装置および画像処理方法
JP6511950B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2011170554A (ja) 物体認識装置、物体認識方法及び物体認識プログラム
JP6717769B2 (ja) 情報処理装置及びプログラム
JP5232107B2 (ja) 画像表示方法、プログラム、画像表示装置、及び、撮像装置
JP4870721B2 (ja) 画像特徴抽出装置、画像特徴抽出方法、プログラム、及び記録媒体
KR101585059B1 (ko) 영상 데이터 처리 방법 및 디바이스
CN109214311B (zh) 一种检测方法和装置
JP2019079394A (ja) 画像処理方法及び前景領域取得方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
ASS Succession or assignment of patent right

Owner name: MATSUSHITA ELECTRIC (AMERICA) INTELLECTUAL PROPERT

Free format text: FORMER OWNER: MATSUSHITA ELECTRIC INDUSTRIAL CO, LTD.

Effective date: 20141015

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20141015

Address after: Seaman Avenue Torrance in the United States of California No. 2000 room 200

Applicant after: PANASONIC INTELLECTUAL PROPERTY CORPORATION OF AMERICA

Address before: Osaka Japan

Applicant before: Matsushita Electric Industrial Co.,Ltd.

C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Seaman Avenue Torrance in the United States of California No. 20000 room 200

Applicant after: PANASONIC INTELLECTUAL PROPERTY CORPORATION OF AMERICA

Address before: Seaman Avenue Torrance in the United States of California No. 2000 room 200

Applicant before: PANASONIC INTELLECTUAL PROPERTY CORPORATION OF AMERICA

COR Change of bibliographic data
C14 Grant of patent or utility model
GR01 Patent grant