CN101593510A - 图像处理装置和图像处理方法以及程序 - Google Patents

图像处理装置和图像处理方法以及程序 Download PDF

Info

Publication number
CN101593510A
CN101593510A CNA200910202841XA CN200910202841A CN101593510A CN 101593510 A CN101593510 A CN 101593510A CN A200910202841X A CNA200910202841X A CN A200910202841XA CN 200910202841 A CN200910202841 A CN 200910202841A CN 101593510 A CN101593510 A CN 101593510A
Authority
CN
China
Prior art keywords
trace point
candidate item
image
point candidate
tracking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA200910202841XA
Other languages
English (en)
Other versions
CN101593510B (zh
Inventor
尾花通雅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN101593510A publication Critical patent/CN101593510A/zh
Application granted granted Critical
Publication of CN101593510B publication Critical patent/CN101593510B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20101—Interactive definition of point of interest, landmark or seed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

本发明涉及图像处理装置和图像处理方法以及程序。提供了一种图像处理装置，包括：跟踪单元，用于与用户的操作相对应地跟踪图像上的作为跟踪点的预定点；显示控制单元，用于在所述图像上显示充当所述跟踪点的候选项的跟踪点候选项，所述跟踪点候选项的数量大于在所述图像上运动的对象的数量并且少于所述图像的像素数；以及设定单元，用于与用户的操作相对应地设定所述跟踪点候选项作为跟踪单元的下一帧上的跟踪点。

Description

图像处理装置和图像处理方法以及程序
技术领域
本发明涉及图像处理装置和图像处理方法以及程序，更具体来说，本发明涉及一种使得用户能够容易指示期望的跟踪点的图像处理装置和图像处理方法以及程序。
背景技术
迄今为止，已经提出许多方法作为用于跟踪用户在运动图像中指示的目标的方法。在这些方法中，作为不限制跟踪目标的保持一般性的方法，特别常用的一种方法是，用户首先指示跟踪目标内的一个点作为跟踪开始点，然后跟踪装置全自动地跟踪其跟踪图像。
然而，在实际中，例如，长时间持续全自动跟踪是困难的，因为有各种扰动，诸如出现其中图像中的跟踪目标广泛扭曲且刚体假设不再成立的遮挡(occlusion)。因此，用户必须适当地校正跟踪点。
用户针对运动图像执行操作以指示一个跟踪点作为跟踪开始点或跟踪校正点是极其困难的，由此本发明的目的是要提供一种简化该操作的方法。作为这种方法，存在一种方法，其提取目标，并显示该目标内的点作为跟踪点的候选项(例如，参见日本待审专利申请公报第2007-274543号)。
发明内容
然而，对于上述日本待审专利申请公报第2007-274543号中描述的方法，对象的提取能力会大大影响跟踪点的指示。例如，在存在由于各种扰动而不能提取的对象的情况下，该对象内的点不被显示为跟踪点候选项，用户不将该点指示为跟踪点。
此外，对于提取对象来说，存在通常要优先提取被假定为对象的东西的趋势，但是存在如下情况：即使很少有用户想要跟踪的对象，对于想要跟踪该对象的一部分用户来说却很重要。因此，在这种情况下，对于一部分用户，存在如下情况：无法将位于应当跟踪的对象内的点指示为跟踪点。
已经发现希望使用户能够以简单的方式来指示期望的跟踪点。
提供了一种根据本发明的一个实施例的图像处理装置，包括：跟踪单元，用于与用户的操作相对应地跟踪图像上的作为跟踪点的预定点；显示控制单元，用于在所述图像上显示充当所述跟踪点的候选项的跟踪点候选项，所述跟踪点候选项的数量大于在所述图像上运动的对象的数量并且少于所述图像的像素数；以及设定单元，用于与用户的操作相对应地设定所述跟踪点候选项作为所述跟踪单元的下一帧上的所述跟踪点。
根据本发明一个实施例，提供了一种用于图像处理装置的图像处理方法，该图像处理装置执行对图像上的跟踪点进行跟踪的跟踪处理，所述方法包括以下步骤：与用户的操作相对应地跟踪所述图像上的作为跟踪点的预定点；在所述图像上对充当所述跟踪点的候选项的跟踪点候选项进行显示控制，所述跟踪点候选项的数量大于在所述图像上运动的对象的数量并且少于所述图像的像素数；以及与用户的操作相对应地设定所述跟踪点候选项作为下一帧上的跟踪点。
根据本发明一个实施例，提供了一种使得计算机用作图像处理装置的程序，该图像处理装置包括：跟踪单元，用于与用户的操作相对应地跟踪图像上的作为跟踪点的预定点；显示控制单元，用于在所述图像上显示充当所述跟踪点的候选项的跟踪点候选项，所述跟踪点候选项的数量大于在所述图像上运动的对象的数量并且少于所述图像的像素数；以及设定单元，用于与用户的操作相对应地设定所述跟踪点候选项作为所述跟踪单元的下一帧上的所述跟踪点。
根据以上配置，与用户操作相对应地，将图像上的预定点作为跟踪点进行跟踪，然后在图像上显示充当跟踪点的候选项的跟踪点候选项，跟踪点候选项的数量大于在画面上运动的对象的数量并且少于图像中的像素数，并且与用户的操作相对应地设定跟踪点候选项作为下一帧的跟踪点。
这样，根据以上配置，用户可以容易地指示期望的跟踪点。
附图说明
图1是例示应用了本发明的跟踪***中的操作模式的转变的图；
图2是例示了在普通模式下显示的图像示例的图；
图3是例示了在跟踪处理模式下显示的图像示例的图；
图4是例示了在跟踪处理模式下显示的另一图像示例的图；
图5是例示了在跟踪点指示模式下显示的图像示例的图；
图6是描述跟踪点的改变的图；
图7是例示改变后的跟踪点的图；
图8是例示应用了本发明的跟踪***的实施例的结构示例的框图；
图9是描述图像处理的流程图；
图10是详细描述图9中的跟踪处理模式处理的流程图；
图11是详细描述图9中的跟踪点指示模式处理的流程图；
图12是详细描述图9中的普通模式处理的流程图；
图13是例示应用了本发明的跟踪***的另一实施例的结构示例的框图；
图14是例示了采样点的图；
图15是描述对象区域的检测的图；
图16是描述跟踪点候选项的初始化的图；
图17是描述跟踪点候选项的确定的图；
图18是例示所确定的跟踪点候选项的图；
图19是例示跟踪点候选项的OSD显示示例的图；
图20是描述跟踪点候选项信息的确定的图；
图21是例示在重做之后的跟踪点候选项的图；
图22A和22B是描述针对再现图像根据操作历史进行的跟踪点候选项放置的图；
图23A和23B是描述针对再现图像根据操作历史进行的跟踪点候选项放置的图；
图24A和24B是描述针对再现图像根据操作历史进行的跟踪点候选项放置的图；
图25A和25B是描述针对再现图像根据操作历史进行的跟踪点候选项放置的图；
图26A和26B是描述针对再现图像根据操作历史进行的跟踪点候选项放置的图；
图27A和27B是描述针对再现图像根据操作历史进行的跟踪点候选项放置的图；
图28是描述另一跟踪点指示模式处理的详情的流程图；
图29是描述跟踪点候选项确定处理的详情的流程图；以及
图30是例示个人计算机的结构示例的框图。
具体实施方式
图1是例示应用了本发明的跟踪***中的操作模式的转变的图。如图1所示，为跟踪***设置了三种操作模式，它们是普通模式11、跟踪处理模式12以及跟踪点指示模式13。
普通模式11是正常地再现图像的操作模式。在普通模式11下，当用户指示开始跟踪时，操作模式从普通模式11转变到跟踪处理模式12。
跟踪处理模式12是利用用户指示为起点的跟踪点来执行跟踪的操作模式。在跟踪处理模式12下，当用户指示跟踪点校正时，操作模式从跟踪处理模式12转变到跟踪点指示模式13。另一方面，在跟踪处理模式12下，当用户指示结束跟踪时，操作模式从跟踪处理模式12转变到普通模式11。
跟踪点指示模式13是如下操作模式：在图像上显示充当跟踪点的候选项的跟踪点候选项(它们的数量大于在图像上运动的对象的数量并且小于图像的像素数)，然后将用户在图像上指示为跟踪点的跟踪点候选项设定为下一帧中的跟踪点。
在跟踪点指示模式13下，当用户将跟踪点候选项指示为新跟踪点时，确定完成了对跟踪点的校正，然后操作模式从跟踪点指示模式13转变到跟踪处理模式12。要注意，即使在经过了预定时间而用户没有执行对跟踪点的指示的情况下，操作模式也可以从跟踪点指示模式13转变到跟踪处理模式12。
另一方面，在跟踪点指示模式13下，当用户指示结束跟踪时，操作模式从跟踪点指示模式13转变到普通模式11。
接下来，将参照图2到7描述在各种模式下显示的图像的示例。在普通模式11下，如图2所示，没有改变地显示再现图像21。在跟踪处理模式12和跟踪点指示模式13下，提供框缩放模式和实际缩放模式作为显示模式，并且用户可以选择这两种显示模式中的一种。
在跟踪处理模式12下，在显示模式是框缩放模式的情况下，如图3所示，按相同的放大率显示再现图像21，而且还显示跟踪点22和以跟踪点22为其中心的缩放框23，作为OSD(在屏显示)。要注意，缩放框23示出要缩放的区域目标的大小和位置，并且是基于跟踪点22的位置和缩放倍率来确定的。另一方面，在显示模式是实际缩放模式的情况下，如图4所示，显示再现图像21的位于与跟踪点22相对应的缩放框23内的缩放图像31。
在跟踪点指示模式13下，在显示模式是框缩放模式的情况下，如图5所示，按相同的放大率显示再现图像21，并且还显示当前跟踪点22和缩放框23以及跟踪点候选项41作为OSD。在图5中的示例中，在再现图像21上均匀地设置5×7个跟踪点候选项41。在跟踪点指示模式13下，用户通过以跟踪点候选项41为单位来移动跟踪点22，来指示确定，从而能够将期望的跟踪点候选项41指示为新跟踪点22。
例如，如图6所示，用户通过将跟踪点22向左移动3次并向上移动2次来指示确定，如图7所示，跟踪点22的位置改变到从左起是第二个并且从上起是第二个的跟踪点候选项41的位置。此外，缩放框23的位置也与其跟踪点22的位置相应地改变。
要注意，尽管在图中省略，但是在跟踪点指示模式13下，在显示模式是实际缩放模式的情况下，类似于框缩放模式的情况，跟踪点22和跟踪点候选项41显示在图4中的缩放图像31上。
这样，在跟踪点指示模式13下，显示其数量大于图像上运动的对象的数量并且小于图像的像素数的跟踪点候选项，并且用户可以在所显示的跟踪点候选项内指示期望的跟踪点候选项，从而用户可以容易地指示期望的跟踪点。
相反，在显示数量刚好为图像上运动的对象数量的跟踪点候选项的情况下，例如，在存在由于各种扰乱而不能提取的对象或者应当跟踪的对象只对于一部分用户来说重要因此未被提取的情况下，存在用户没有指示期望的跟踪点的情形。
此外，在可以以像素为单位指示跟踪点的情况下，存在可以执行跟踪点的精细调节的优点。
然而，那么此外，例如，在用户不是针对静态图像而是针对其中对象连续运动的运动图像来指示跟踪点的情况下，或者在针对第一次或仅仅几次听到的图像指示跟踪点，而不是针对内容很熟悉并且提前读取实时再现的图像的图像内容因此跟踪点可指示的情况下，以像素单位的精度选择作为跟踪点的点是很困难的，其中指示期望的跟踪点是很困难的。
图8示出应用了本发明的跟踪***的实施例的结构。图8中的跟踪***50由再现装置51、操作装置52、图像处理装置53以及显示装置54构成，并且根据图1描述的操作模式针对使用再现装置51再现的图像执行处理，并在显示装置54上显示处理结果。
具体来说，再现装置51由DVD(数字多媒体盘)再现器等构成，再现来自诸如DVD等的记录介质的图像，然后将其图像以帧为单位输入图像处理装置53作为再现图像。
操作装置52由例如遥控器等构成，并接收来自用户的操作。具体来说，例如，用户使用操作装置52执行光标操作，从而以跟踪点候选项为单位移动跟踪点22，如图6所示，然后指示期望的跟踪点候选项41作为跟踪点。此时，操作装置52接收针对跟踪点的光标操作或指示操作。操作装置52接着将表明来自用户的操作的内容的操作信息输入图像处理装置53。
图像处理装置53由控制单元61、跟踪处理单元62、输出参数控制单元63、输出图像生成单元64、跟踪点候选项控制单元65以及显示图像生成单元66构成。
控制单元61根据从操作装置52输入的操作信息来控制各部分。具体来说，控制单元61向跟踪处理单元62的跟踪控制单元72(稍后将描述)提供跟踪点指示信息和控制信息，其中，跟踪点指示信息表示由用户指示的跟踪开始点在再现图像上的位置和被指示为新跟踪点的跟踪点候选项在再现图像上的位置，控制信息表示缩放倍率。此外，控制单元61根据操作信息来设定操作模式和显示模式。
跟踪处理单元62由跟踪点提取单元71和跟踪控制单元72构成，并在处于跟踪处理模式时启动。
跟踪点提取单元71执行对跟踪点进行跟踪的跟踪处理。具体来说，跟踪点提取单元71基于当前从再现装置51输入的再现图像、所保持的在其之前的一帧的再现图像、以及从跟踪控制单元72提供的表示跟踪点在再现图像上的位置的跟踪点信息，来获得跟踪点的运动矢量，然后检测跟踪点在当前从再现装置51输入的再现图像内的位置。跟踪点提取单元71然后将表示利用跟踪处理检测到的跟踪点在再现图像上的位置的当前跟踪点信息提供给跟踪控制单元72。
跟踪控制单元72基于由从控制单元61提供的控制信息表示的缩放倍率和从跟踪点提取单元71提供的当前跟踪点信息，来确定缩放框。跟踪控制单元72将表示缩放框的位置和大小的缩放框信息提供给输出参数控制单元63。
此外，跟踪控制单元72确定与由从控制单元61提供的控制信息表示的跟踪点指示信息相对应的跟踪开始点或跟踪点候选项，或与当前跟踪点信息相对应的跟踪点，作为针对跟踪点提取单元71的下一帧的再现图像的跟踪点。跟踪控制单元72将其跟踪点的跟踪点信息提供给跟踪点提取单元71。进而，当处于框缩放模式下时，跟踪控制单元72将当前跟踪点信息和缩放框信息提供给显示图像生成单元66。
输出参数控制单元63在处于跟踪处理模式和跟踪点指示模式下时启动。当处于实际缩放模式下时，输出参数控制单元63将从跟踪控制单元72提供的缩放框信息提供给输出图像生成单元64，作为生成输出图像的参数(以下称为输出参数)。
当处于普通模式下且当处于框缩放模式下时，输出图像生成单元64将从再现装置51输入的再现图像不改变地作为输出图像提供给显示图像生成单元66。此外，当处于实际缩放模式下时，输出图像生成单元64基于从输出参数控制单元63提供的充当输出参数的缩放框信息，通过针对再现图像执行DRC(动态范围压缩)处理等来生成缩放图像。输出图像生成单元64将其缩放图像作为输出图像提供给显示图像生成单元66。
跟踪点候选项控制单元65在处于跟踪点指示模式时启动。跟踪点候选项控制单元65向显示图像生成单元66提供预先准备的表示跟踪点候选项在输出图像上的位置的跟踪点候选项信息。要注意，预先准备的跟踪点候选项信息表示输出图像上的等间隔的位置。因此，利用跟踪***50，跟踪点候选项被均匀表示在输出图像上。
显示图像生成单元66基于从跟踪控制单元72提供的当前跟踪点信息和缩放框信息，将跟踪点和缩放框的OSD图像叠加在从输出图像生成单元64提供的输出图像上。此外，当操作模式是跟踪点指示模式时，显示图像生成单元66基于从跟踪点候选项控制单元65提供的跟踪点候选项信息，将跟踪点候选项的OSD图像叠加在其中叠加有跟踪点和缩放框的OSD图像的输出图像上。
首先，显示图像生成单元66在处于跟踪点指示模式以及实际缩放模式下时，基于从跟踪点候选项控制单元65提供的跟踪点候选项信息，将跟踪点候选项的OSD图像叠加在输出图像上，同时将跟踪点的OSD图像叠加在输出图像的中心附近的跟踪点候选项的位置上。
显示图像生成单元66将输出图像本身或叠加之后的输出图像输出并显示到由电视接收装置等构成的显示装置54，作为显示图像。
接着，将参照图9描述图8中的图像处理装置53的图像处理。该图像处理例如在从再现装置51输入了一帧再现图像时开始。
在步骤S11中，控制单元61确定当前操作模式是否为跟踪处理模式。在步骤S11中，在确定当前操作模式是跟踪处理模式的情况下，在步骤S12中，图像处理装置53执行跟踪处理模式处理以对跟踪点进行跟踪。参照稍后要描述的图10中的流程图来描述跟踪处理模式处理的详情。
另一方面，在步骤S11中，在确定当前操作模式不是跟踪处理模式的情况下，在步骤S13中，控制单元61确定当前操作模式是否为跟踪点指示模式。在步骤S13中确定当前操作模式是跟踪点指示模式的情况下，在步骤S14中，图像处理装置53执行跟踪点指示模式处理以将由用户指示的跟踪点候选项设定为跟踪点。将参照稍后描述的图11中的流程图来描述该跟踪点指示模式处理的详情。
此外，在步骤S13中确定当前操作模式不是跟踪点指示模式的情况下，即，在当前操作模式是普通模式的情况下，在步骤S15中，图像处理装置53执行普通模式处理，以在不改变的情况下将再现图像作为显示图像显示在显示装置54上。将参照稍后描述的图12中的流程图来描述此处的普通模式处理的详情。
接下来，将参照图10中的流程图来描述图9中的步骤S12的跟踪处理模式处理的详情。
在步骤S31中，跟踪点提取单元71基于当前从再现装置51输入的图像、所保持的其一帧之前的再现图像、以及从跟踪控制单元72提供的跟踪点信息，来执行跟踪处理。跟踪点提取单元71将作为结果而获得的当前跟踪点信息提供给跟踪控制单元72。
在步骤S32中，跟踪控制单元72基于从跟踪点提取单元71提供的当前跟踪点信息和由从控制单元61提供的控制信息表示的缩放倍率，来确定缩放框。跟踪控制单元72然后将作为结果而获得的缩放框信息提供给输出参数控制单元63。
在步骤S33中，输出参数控制单元63确定当前显示模式是否为实际缩放模式。在步骤S33中确定当前显示模式是实际缩放模式的情况下，输出参数控制单元63将从跟踪控制单元72提供的缩放框信息作为输出参数提供给输出图像生成单元64。
随后，在步骤S34中，输出图像生成单元64基于从输出参数控制单元63提供的充当输出参数的缩放框信息，从再现图像生成缩放图像。输出图像生成单元64然后将其缩放图像作为输出图像提供给显示图像生成单元66。
在步骤S35中，显示图像生成单元66将从输出图像生成单元64提供的输出图像自身作为显示图像输出并显示到显示装置54，然后处理进行到步骤S39。
另一方面，在步骤S33中，在确定当前显示模式不是实际缩放模式的情况下，即，在确定当前显示模式是框缩放模式的情况下，在步骤S36中，跟踪控制单元72将当前跟踪点信息和缩放框信息提供给显示图像生成单元66。
在步骤S37中，输出图像生成单元64将从再现装置51输入的再现图像不改变地作为输出图像输出给显示图像生成单元66。在步骤S38中，显示图像生成单元66基于从跟踪控制单元72提供的当前跟踪点信息和缩放框信息，将跟踪点和缩放框的OSD图像叠加在输出图像上并生成显示图像，然后显示在显示装置54上。然后处理进行到步骤S39。
在步骤S39中，控制单元61根据从操作装置52提供的操作信息，确定用户是否指示了结束跟踪处理。在步骤S39中确定已经指示了结束跟踪处理的情况下，在步骤S40中，控制单元61将当前操作模式设定为普通模式。然后处理返回到图9中的步骤S12，从而结束。
另一方面，在步骤S39中确定尚未指示结束跟踪处理的情况下，在步骤S41中根据从操作装置52提供的操作信息，确定用户是否指示了校正跟踪点。
在步骤S41中确定指示了校正跟踪点的情况下，在步骤S42中控制单元61将当前实际模式设定为跟踪点指示模式，然后处理进行到步骤S43。
另一方面，在步骤S41中确定未指示校正跟踪点的情况下，流程进行到步骤S43，在步骤S43中控制单元61根据从操作装置52提供的操作信息，确定用户是否指示了改变显示模式。
在步骤S43中，在确定用户指示了改变显示模式的情况下，将当前显示模式从实际缩放模式和帧模式中的一个改变成另一个。然后处理返回到图9中的步骤S12并结束。
此外，在步骤S43中在确定未指示改变显示模式的情况下，不执行步骤S44中的处理，处理返回到图9中的步骤S12并结束。
接下来，参照图11中的流程图对图9中的步骤S14中的跟踪点指示模式的详情进行描述。
在步骤S61中，跟踪点候选项控制单元65将之前准备的跟踪点候选项信息输出给显示图像生成单元66，然后处理进行到步骤S62。在步骤S62中，输出参数控制单元63确定当前显示模式是否为实际缩放模式。
在步骤S62中，在确定当前显示模式是实际缩放模式的情况下，输出参数控制单元63将从跟踪控制单元72提供的缩放框信息作为输出参数提供给输出图像生成单元64。在步骤S63中，输出图像生成单元64基于从输出参数控制单元63提供的输出参数，从再现图像生成缩放图像。输出图像生成单元64将其缩放图像作为输出图像提供给显示图像生成单元66。
在步骤S64中，显示图像生成单元66基于从跟踪点候选项控制单元65提供的跟踪点候选项信息，将跟踪点和跟踪点候选项的OSD图像叠加在从输出图像生成单元64提供的输出图像上，并显示在显示装置54上。然后处理进行到步骤S67。
另一方面，在确定当前显示模式不是实际缩放模式的情况下，即，在当前显示模式是框缩放模式的情况下，在步骤S65中，输出图像生成单元64将从再现装置51输入的再现图像不改变地作为输出图像输出给显示图像生成单元66。
在步骤S66中，显示图像生成单元66基于从跟踪控制单元72提供的缩放信息和从跟踪点候选项控制单元65提供的跟踪点候选项信息，将跟踪点、缩放框以及跟踪点候选项的OSD图像叠加在输出图像上并生成显示图像，然后显示在显示装置54上。接着处理进行到步骤S67。
在步骤S67中，控制单元61根据来自操作装置52的操作信息，确定是否指示了结束跟踪处理。在步骤S67中确定指示了结束跟踪处理的情况下，在步骤S68中控制单元61将当前操作模式设定为普通模式。然后处理返回到图9中的步骤S14并结束。
另一方面，在步骤S67中确定尚未指示结束跟踪处理的情况下，在步骤S69中控制单元61根据从操作装置52提供的操作信息，确定用户是否已经将显示图像上的跟踪点候选项指示为跟踪点。
在步骤S69中，在确定已经指示跟踪点候选项作为跟踪点的情况下，控制单元61将其跟踪点候选项的跟踪点指示信息提供给跟踪控制单元72。在步骤S70中，跟踪控制单元72将与其跟踪点指示信息相对应的跟踪点候选项设定为用于下一帧的跟踪点。跟踪控制单元72将跟踪点指示信息提供给跟踪点提取单元71，作为跟踪点信息。
在步骤S71中，控制单元61将当前操作模式设定为跟踪处理模式，然后处理进行到步骤S72。另一方面，在步骤S69中确定未将显示图像上的跟踪点候选项指示为跟踪点的情况下，处理进行到步骤S72。步骤S72和S73中的处理类似于图10中的步骤S43和S44中的处理，因此将略去对其的描述。在步骤S73中的处理之后，处理返回到图9中的步骤S14并结束。
接下来，将参照图12中的流程图描述图9中的步骤S15中的普通模式处理的详情。
在步骤S91中，输出图像生成单元64将从再现装置51输入的再现图像不改变地作为输出图像输出到显示图像生成单元66。在步骤S92中，显示图像生成单元66将从输出图像生成单元64提供的输出图像不改变地作为显示图像显示到显示装置54。
在步骤S93中，控制单元61根据从操作装置52提供的操作信息，确定是否指示了开始跟踪处理。在步骤S93中确定已经指示了开始跟踪处理的情况下，控制单元61根据操作信息，向跟踪控制单元72提供表示所指示的跟踪开始点的跟踪点指示信息以及来自用户的开始跟踪处理的指示的控制信息。
在步骤S94中，控制单元61将当前操作模式设定为跟踪处理模式，然后处理返回到图9中的步骤S15并结束。另一方面，在步骤S93中确定尚未指示开始跟踪处理的情况下，处理返回到图9中的步骤S15。
要注意，对于上述描述，不是根据再现图像将跟踪点候选项均匀地放置在预先确定的位置上，但是可以进行如下安排：根据再现图像来放置跟踪点候选项。图13示出了这种情况下的跟踪***的结构示例。
图13中的跟踪***100由再现装置51、操作装置52、显示装置54以及图像处理装置101构成。利用跟踪***100，根据再现图像的特征量、实际缩放模式时的缩放框信息、跟踪处理的算法性能、以及在跟踪点指示模式下针对再现图像的操作历史，来放置跟踪点候选项。因此，利用跟踪***100，再现图像不是从再现装置51输入的，并且只要不是诸如再现图像完全是黑色的情况的特殊情况，基本上不均匀地放置跟踪点候选项。
要注意，在图13中，以相同的标号表示与图8中的那些组件相同的组件，因此将略去对其的冗余描述。
在图13中，图像处理装置101由输出图像生成单元64、显示图像生成单元66、控制单元111、跟踪处理单元112、跟踪点候选项处理单元113、编辑历史处理单元114以及输出参数控制单元115构成。
控制单元111根据从操作装置52输入的操作信息来控制各个部分。具体来说，控制单元111根据操作信息向跟踪处理单元112的(稍后描述的)跟踪控制单元122提供表明跟踪点指示信息或缩放倍率的控制信息。此外，控制单元111根据操作信息来设定操作模式和显示模式。此外，控制单元111将操作信息提供给设置信息提取单元143。
跟踪处理单元112由跟踪点提取单元121和跟踪控制单元122构成，并且在处于跟踪处理模式下时和在处于跟踪点指示模式下时启动。在操作模式是跟踪点处理模式的情况下，类似于图8中的跟踪点提取单元71，跟踪点提取单元121基于从再现装置51输入的再现图像和从跟踪控制单元122提供的跟踪点信息，执行跟踪处理。跟踪点提取单元121将作为跟踪处理的结果而获得的当前跟踪点信息提供给跟踪控制单元122。
此外，在操作模式是跟踪点指示模式的情况下，在将跟踪点候选项指示为跟踪点时，跟踪点提取单元121针对利用跟踪点候选项控制单元133确定的所有临时跟踪点候选项，计算一固定量值的可靠性，该固定量值的可靠性用于确定是否准确执行了跟踪处理的可靠性。
具体来说，跟踪点提取单元121针对每个跟踪点候选项，基于从再现装置51输入的再现图像和从跟踪控制单元122提供的再现跟踪点候选项信息(其表示利用跟踪点候选项控制单元133确定的所有临时跟踪点候选项在再现图像上的位置)，在每个跟踪点候选项被指示为跟踪点时计算运动矢量的可靠性，该运动矢量的可靠性表示是否获得了准确的运动矢量的可靠性。此处的运动矢量的可靠性被后述的跟踪点候选项控制单元133用来根据跟踪处理的算法性能确定最终跟踪点候选项。
要注意，可以使用任何类型的方法作为计算运动矢量的可靠性的方法，可以使用任何类型的方法，但是例如存在如下方法：针对代表表示与运动矢量相对应的再现图像内的两个块之间的匹配程度的评价值和表示再现图像的复杂度的特征量的活动性的可靠性，来计算矢量精度。在日本待审专利申请公报第2005-310984号中描述了计算矢量精度的详情。
跟踪点提取单元121将每个计算出的跟踪点候选项的可靠性提供给跟踪控制单元122。类似于图8中的跟踪控制单元72，跟踪控制单元122基于由从控制单元111提供的控制信息表示的缩放倍率和从跟踪点提取单元121提供的当前跟踪点信息，确定缩放框，然后将缩放框信息提供给输出参数控制单元115。
此外，类似于跟踪控制单元72，跟踪控制单元122确定与由从控制单元111提供的控制信息表示的跟踪点指示信息相对应的跟踪开始点或跟踪点候选项，或者与当前跟踪点信息相对应的跟踪点，作为在跟踪点提取单元121中的下一帧的再现图像的跟踪点。跟踪控制单元122将跟踪点的跟踪点信息提供给跟踪点提取单元71。
此外，类似于跟踪控制单元72，跟踪控制单元122将当前跟踪点信息和缩放框信息提供给显示图像生成单元66。
此外，跟踪控制单元122将从跟踪点候选项控制单元133提供的针对所有临时跟踪点候选项的再现跟踪点候选项信息提供给跟踪点提取单元121。此外，跟踪控制单元122将从跟踪点提取单元121提供的每个临时跟踪点候选项的可靠性提供给跟踪点候选项控制单元133。
跟踪点候选项处理单元113由图像特征量提取单元131、跟踪点候选项生成单元132以及跟踪点候选项控制单元133构成，并且在处于跟踪点指示模式时启动。
图像特征量提取单元131利用从再现装置51连续输入的两帧的再现图像来执行块匹配等，然后针对在再现图像上针对每个预定采样间隔设置的每个采样点，获得运动矢量。此处的运动矢量用于供跟踪点候选项生成单元132根据再现图像的特征量确定跟踪点候选项。图像特征量提取单元131将所获得的运动矢量提供给跟踪点候选项生成单元132。
跟踪点候选项生成单元132基于从图像特征量提取单元131提供的运动矢量来确定跟踪点候选项的位置，然后将跟踪点候选项的再现跟踪点候选项信息提供给跟踪点候选项控制单元133。此外，跟踪点候选项生成单元132根据来自跟踪点候选项控制单元133的重新确定跟踪点候选项的位置的命令，来重新确定跟踪点候选项的位置，然后将作为结果而获得的再现跟踪点候选项信息提供给跟踪点候选项控制单元133。
跟踪点候选项控制单元133当处于实际缩放模式下时，基于从跟踪点候选项生成单元132提供的再现跟踪点候选项信息和从输出参数控制单元115提供的充当输出参数的缩放框信息，来命令跟踪点候选项控制单元122重新确定跟踪点候选项的位置，然后改变跟踪点候选项的放置。
此外，跟踪点候选项控制单元133基于从编辑历史处理单元114的(后述的)编辑历史确定单元144提供的充当针对再现图像的操作历史的缩放框信息以及操作次数(其是用以指示跟踪点的操作被执行的次数)，来从与从跟踪点候选项生成单元132提供的再现跟踪点候选项信息相对应的跟踪点候选项中确定临时跟踪点候选项。
随后，跟踪点候选项控制单元133将临时跟踪点候选项的再现跟踪点候选项信息提供给跟踪控制单元122。作为其结果，从跟踪点提取单元121针对每个临时跟踪点候选项计算与再现跟踪点候选项信息相对应的临时跟踪点候选项的可靠性，然后将该可靠性提供给跟踪点候选项控制单元133。跟踪点候选项控制单元133基于从跟踪点候选项控制单元133提供的每个临时跟踪点候选项的可靠性，从临时跟踪点候选项中确定最终跟踪点候选项。
运动矢量的可靠性由于跟踪处理的算法性能而不同，因此可以说最终跟踪点候选项是根据跟踪处理的算法性能从临时跟踪点候选项中确定的。跟踪点候选项控制单元133将最终跟踪点候选项的跟踪点候选项信息提供给显示图像生成单元66。
编辑历史处理单元114由图像特征量提取单元141、编辑历史记录单元142、设置信息提取单元143以及编辑历史确定单元144构成，并且在处于跟踪点指示模式时启动。
图像特征量提取单元141针对来自从再现装置51输入的再现图像的每个帧，提取用于编辑历史的特征量，然后提供给编辑历史记录单元142和编辑历史确定单元144。
要注意，作为用于编辑历史的特征量，例如存在表示如下特征的特征量：在再现图像的空间方向上的亮度值的分布图案的特征、帧内亮度差绝对值在空间方向上的分布图案的特征、以及帧内亮度差绝对值在空间方向上的分布图案的时间差特征。
编辑历史记录单元142记录如下的表作为编辑历史表，该表将从图像特征量提取单元141提供的每个帧的特征量与从设置信息提取单元143提供的表示跟踪点运动信息(其表示针对该帧而被指示为跟踪点的运动目的地的跟踪点候选项在再现图像上的位置)和缩放倍率的设置信息相关联。
设置信息提取单元143基于从控制单元111提供的操作信息来生成设置信息，然后将该设置信息提供给编辑历史记录单元142和编辑历史确定单元144。
编辑历史确定单元144搜索编辑历史记录单元142中记录的编辑历史表中注册的特征量中的与从图像特征量提取单元141提供的特征量相同的特征量。编辑历史确定单元144然后基于从设置信息提取单元143提供的设置信息和与从编辑历史表中搜索到的特征量相对应的设置信息，来确定对应于来自设置信息提取单元143的设置信息的缩放框(以下称为当前缩放框)与对应于搜索到的设置信息的缩放框(以下称为过去缩放框)是否重叠。
编辑历史确定单元144将从编辑历史表中搜索到的特征量的数量作为操作次数提供给跟踪点候选项控制单元133，同时将当前缩放框的缩放框信息提供给跟踪点候选项控制单元133。
类似于图8中的输出参数控制单元63，输出参数控制单元115在处于跟踪处理模式时和在处于跟踪点指示模式时启动。类似于输出参数控制单元63，输出参数控制单元115将从跟踪控制单元122提供的缩放框信息作为输出参数提供给输出图像生成单元64。此外，输出参数控制单元115将从跟踪控制单元122提供的缩放框信息作为输出参数提供给跟踪点候选项控制单元133。
接下来，将参照图14到19描述使用图13中的跟踪点候选项生成单元132根据再现图像的特征量对跟踪点候选项进行的放置。
例如，当从再现装置51输入图2所示的再现图像21时，图像特征量提取单元131获得针对再现图像21上的每个采样间隔(Sv，x，Sv，y)而设置的采样点(图14中的黑点)处的运动矢量(Vx，Vy)(但是，Vx，Vy是整数)，然后提供给跟踪点候选项生成单元132。
跟踪点候选项生成单元132计算从图像特征量提取单元131提供的运动矢量的频率分布。具体来说，例如，在要获得的运动矢量(Vx，Vy)的范围是-32＜Vx＜32，-32＜Vy＜32的情况下，那么准备与运动矢量(Vx，Vy)的每个值相对应的65(＝32+1+32)×65个计数器。
跟踪点候选项生成单元132将与从图像特征量提取单元131提供的运动矢量(Vx，Vy)的值相对应的计数器值一次增1。例如，在从图像特征量提取单元131提供的运动矢量(Vx，Vy)的值是(10，10)的情况下，跟踪点候选项生成单元132将与(10，10)相对应的计数器的值增1。因此，跟踪点候选项生成单元132可以利用每个计数器的值来识别运动矢量(Vx，Vy)的频率分布。
跟踪点候选项生成单元132基于此处的频率分布以及运动矢量(Vx，Vy)，来检测对象区域，该对象区域是在再现图像21内运动的对象的区域。
具体来说，在运动矢量(Vx，Vy)的各个值大于预定阈值，运动矢量(Vx，Vy)的频率是对于再现图像21的支配频率，并且与运动矢量(Vx，Vy)相对应的采样点集中得超过预定数量的情况下，跟踪点候选项生成单元132将与其运动矢量(Vx，Vy)相对应的采样点(图15中的圆形)确定为存在于对象区域中的采样点。
另一方面，跟踪点候选项生成单元132首先对跟踪点候选项进行初始化，然后将这些跟踪点候选项(图16中的圆形和正方形)均匀放置在再现图像21上，如图16所示。要注意，对于图16中的示例，初始化后的跟踪点候选项(SD，x，SD，y)的间隔与采样间隔(Sv，x，Sv，y)相同。因此，初始化后的跟踪点候选项的放置与采样点的放置相同。
接下来，跟踪点候选项生成单元132使得每隔一个的初始化后的跟踪点候选项成为对象确定(确定点)的目标。也就是说，在图16中的示例中，图中由正方形表示的跟踪点候选项成为对象确定的目标，而图中由圆形表示的跟踪点候选项不是对象确定的目标。要注意，对象确定是确定待确定的跟踪点候选项目标是否存在于对象区域中。
在通过对象确定而确定了待确定的跟踪点候选项目标存在于对象区域中的情况下，跟踪点候选项生成单元132保持该跟踪点候选项，而在确定了不存在于对象区域中，即，存在于作为除对象区域以外的区域的背景区域中的情况下，删除该跟踪点候选项。
这样，如图17所示，在图16中由正方形表示的待确定的跟踪点候选项目标中的存在于对象区域中的跟踪点候选项目标(即存在于与图15中由圆表示的采样点相同的位置上的跟踪点候选项目标(图17中是正方形))被保留为跟踪点候选项。此外，如图17所示，将不是待确定目标的跟踪点候选项(图16中的圆)也保留为跟踪点候选项。随后，跟踪点候选项生成单元132将所保留的由图18中的正方形表示的跟踪点候选项的再现跟踪点候选项信息提供给跟踪点候选项控制单元133。
随后，例如在跟踪点候选项控制单元133将从跟踪点候选项生成单元132提供的跟踪点候选项不加改变地确定为最终跟踪点候选项时，如图19所示，跟踪点候选项151被不均匀地OSD显示在再现图像21上。具体来说，与背景区域内的跟踪点候选项141相比，对象区域内的跟踪点候选项151被更稠密地放置。
这样，跟踪点候选项151被稠密地放置在对象区域内，从而使对象具备被跟踪的高概率，用户通常可以以精细的精度来指示跟踪点。此外，跟踪点候选项151也显示在背景区域中，从而即使在对象区域的检测精度差的情况下或者在期望跟踪对象以外的不是普通用户要跟踪的目标的东西的情况下，用户也可以指示期望的跟踪点。作为其结果，改进了用户的可用性。
接着，将参照图20和21描述使用图13中的跟踪点候选项控制单元133在实际缩放模式下根据缩放框信息对跟踪点候选项的放置。
在显示模式是实际缩放模式的情况下，跟踪点候选项控制单元133首先基于由从跟踪点候选项生成单元132提供的再现跟踪点候选项信息表示的位置和充当输出参数的缩放框信息，来确定跟踪点候选项信息。
具体来说，例如，在图18所示的跟踪点候选项的再现跟踪点候选项信息是从跟踪点候选项生成单元132提供的情况下，跟踪点候选项控制单元133基于缩放框信息，将与再现跟踪点候选项信息相对应的跟踪点候选项中的在缩放框内的跟踪点候选项的间隔改变成对应于缩放倍率的间隔，如图20所示。
例如，在缩放倍率在x方向(水平方向)上是两倍并且在y方向(垂直方向)上是三倍的情况下，跟踪点候选项控制单元133使得缩放框内的跟踪点候选项在x方向上的间隔成为两倍，并且在y方向上的间隔成为三倍。
然而，如图20所示，将间隔改变之后的跟踪点候选项162的位置确定成使得输出图像161与间隔改变之后的跟踪点候选项162的关系，和再现图像21与缩放框内的跟踪点候选项(图18中的正方形)的关系相同。
这样，即使在改变显示模式的情况下，跟踪点候选项相对于输出图像的位置也不会改变，从而用户能够指示跟踪点的感觉不会在改变显示模式之后与之前发生变化。
跟踪点候选项控制单元133将跟踪点候选项信息确定成使得其中间隔如上那样改变的跟踪点候选项162的位置成为输出图像161上的跟踪点候选项的位置。
接着，在跟踪点候选项162的数量小于预定数量的情况下，跟踪点候选项控制单元133命令跟踪点候选项生成单元132重新确定跟踪点候选项的位置。跟踪点候选项生成单元132根据此处的命令，例如在将初始化时的跟踪点候选项的间隔设为1/2以下进行初始化时，增加了跟踪点候选项的数量。这样，如图21所示，增加了输出图像161上的跟踪点候选项163的数量，并且跟踪点候选项162的数量是预定数量或更大。
作为其结果，在缩放倍率很大的情况下，可以避免由于跟踪点候选项的间隔太宽而导致用户不能指示期望的跟踪点。
要注意，可以利用缩放倍率而不是跟踪点候选项的数量来确定跟踪点候选项位置的重新确定。在此情况下，从控制单元111向跟踪点候选项控制单元133提供表示缩放倍率的控制信息。
接着，将参照图22到27来描述使用图13中的跟踪点候选项控制单元133针对再现图像根据操作历史进行的跟踪点候选项的放置。
首先，如图22A所示，将描述如下情况：按照用户指示第一次再现来自再现装置51的图像，并且在从再现时间点t1到再现时间点t2的再现图像的过程中处于跟踪点指示模式。
在此情况下，从再现时间点t1到再现时间点t2尚未针对再现图像执行操作，由此，如图22B所示，当从再现时间点t1到再现时间点t2的每一帧是关注帧时，关注帧的临时跟踪点候选项181成为由跟踪点候选项生成单元132确定的跟踪点候选项本身。
如图22B所示，当用户将跟踪点182移动到关注帧的输出图像中显示的最终跟踪点候选项中的、位于右侧的对象附近的期望的跟踪点候选项时，跟踪点182的跟踪点运动信息和作为设置信息的缩放倍率被生成，然后连同每个关注帧的特征量一起被注册在编辑历史表中。要注意，图22B所示的缩放框183是基于跟踪点182和缩放倍率来确定的。
随后，如图23A所示，在从再现时间点t3到再现时间点t4的再现图像的再现过程中，操作模式是跟踪点指示模式。在此情况下，同样，类似于图22中的情况，在再现时间点t3到再现时间点t4期间尚未针对再现图像执行操作，由此，如图23B所示，当在再现时间点t3到再现时间点t4期间的每一帧是关注帧时，关注帧中的临时跟踪点候选项191成为使用跟踪点候选项生成单元132确定的跟踪点候选项本身。
如图23B所示，当用户将跟踪点192移动到关注帧的输出图像中显示的最终跟踪点候选项中的、位于左侧的对象附近的期望的跟踪点候选项时，表示缩放倍率的设置信息和跟踪点192的跟踪点运动信息连同每个关注帧的特征量一起被注册在编辑历史表中。要注意，图23B所示的缩放框193是基于跟踪点192和缩放倍率来确定的。
接着，用户指示倒转(rewinding)再现，如图24A所示，再现同一图像的从再现时间点t11(t1＜t11＜t2)到再现时间点t12(t11＜t12＜t2)的帧。此时，在从再现时间点t13(t11＜t13＜t12)到再现时间点t14(t13＜t14＜t12)的再现图像的再现过程中，操作模式是跟踪点指示模式。
在跟踪点指示模式下，当从再现时间点t13到再现时间点t14的每个帧是关注帧时，用户将跟踪点移动到位于关注帧的右侧的对象附近的最终跟踪点候选项。
在此情况下，在再现时间点t13到再现时间点t14期间针对再现图像已经执行了一个操作。而且，该操作是将跟踪点移动到位于右侧的对象附近的跟踪点候选项的操作，由此，如图24B所示，在此次再现过程中在关注帧之前一个帧中移动的跟踪点201和基于缩放倍率确定的当前缩放框202，与通过针对关注帧的第一次操作而移动的跟踪点203的跟踪点运动信息和对应于表示第一次操作时的缩放倍率的设置信息的过去缩放框204重叠。也就是说，当前缩放框202位于过去距缩放框204的预定范围内。
要注意，对于图24B中的示例，与针对关注帧的第一次操作时相比，将在此次再现过程中在关注帧之前一个帧中的缩放倍率设定为较大，因此当前缩放框202与基础缩放框204相比较小。
如图24B所示，在当前缩放框202与过去缩放框204重叠的情况下，确定用户对当前缩放框202和过去缩放框204附近的对象区域具有很强的兴趣，由此编辑历史确定单元144向跟踪点候选项控制单元133提供一次作为针对关注帧的操作次数以及当前缩放框202的缩放框信息。
跟踪点候选项控制单元133基于操作次数和缩放框信息，生成位于利用跟踪点候选项生成单元132确定的跟踪点候选项中的在当前缩放框202附近的位于右侧对象区域内的相邻跟踪点候选项之间的新跟踪点候选项，如图24B所示，并且包括在临时跟踪点候选项205中。作为其结果，临时跟踪点候选项205在当前缩放框202附近的对象区域内的密度是利用跟踪点候选项生成单元132确定的跟踪点候选项在该对象区域内的密度的两倍。
此外，用户针对关注帧来指示位于右侧对象附近的最终跟踪点候选项，由此将跟踪点201的跟踪点运动信息和表示缩放倍率的设置信息注册在编辑历史表中。
接着，用户进一步指示倒转再现，如图25A所示，再现同一图像的从再现时间点t21(t13＜t21＜t14)到再现时间点t22(t14＜t22＜t2)的帧。此时，在从再现时间点t21到再现时间点t23(t14＜t23＜t22)的再现图像的再现过程中，操作模式是跟踪点指示模式。
当处于跟踪点指示模式时，当从再现时间点t21到再现时间点t22的每个帧是关注帧时，用户将跟踪点移动到位于关注帧的右侧的对象附近的最终跟踪点候选项。
在此情况下，针对从再现时间点t21到再现时间点t14的再现图像已经执行了两次操作。该操作是将跟踪点移动到位于右侧的对象附近的跟踪点候选项的操作，由此，在从再现时间点t21到再现时间点t14的关注帧中，如图25B所示，在此次再现过程中在关注帧之前一个帧中移动的跟踪点211和基于缩放倍率确定的当前缩放框212，与通过关注帧的第一次操作移动的跟踪点213的跟踪点运动信息和对应于表示第一次操作时的缩放倍率的设置信息的过去缩放框214、以及通过关注帧的第二次操作而移动的跟踪点215的跟踪点运动信息和对应于表示第二次操作时的缩放倍率的设置信息的过去缩放框216重叠。
因此，类似于图24A和24B的情况，编辑历史确定单元144向跟踪点候选项控制单元133提供：作为针对从再现时间点t21到再现时间点t14的关注帧的操作次数的两次，和当前缩放框212的缩放框信息。
利用跟踪点候选项控制单元133，基于此处的操作次数和缩放框信息，在从再现时间点t21到再现时间点t14的关注帧中的临时跟踪点候选项217在当前缩放框212附近的对象区域内的密度变为利用跟踪点候选项生成单元132确定的跟踪点候选项在该对象区域内的密度的三倍。
要注意，从再现时间点t14到再现时间点t23，同样，针对从再现时间点t21到再现时间点t14的关注帧执行类似的处理，但是操作次数是1次，由此对象区域内的跟踪点候选项的密度变为两倍。
此外，用户针对关注帧指示位于右侧的对象附近的最终跟踪点候选项作为跟踪点211的运动目的地，由此将跟踪点211的跟踪点运动信息和表示缩放倍率的设置信息连同关注帧的特征量一起注册在编辑历史表中。
随后，如图26A所示，在再现时间点t31(t22＜t31＜t2)到再现时间点t32(t2＜t32＜t3)的再现图像的再现过程中，操作模式是跟踪点指示模式。当从再现时间点t31到再现时间点t32的每个帧是关注帧时，用户然后将跟踪点移动到位于关注帧的左侧的对象附近的跟踪点候选项。也就是说，在比图22和23所示的第一次操作更早的定时处，缩放框从右侧改变到左侧。
在此情况下，针对从再现时间点t31到再现时间点t2的过程中的再现图像已经执行了一次操作。然而，该操作是将跟踪点移动到位于右侧的对象附近的跟踪点候选项的操作，由此，此次再现时在关注帧之前一个帧中移动的跟踪点221和基于缩放倍率确定的当前缩放框222，与通过针对关注帧的第一次操作而移动的跟踪点223的跟踪点运动信息和对应于表示第一次操作时的缩放倍率的设置信息的过去缩放框224不重叠。
在这种情况下，用户很可能对当前缩放框222附近的对象区域没有很强的兴趣，由此，编辑历史确定单元144不向跟踪点候选项控制单元133提供任何东西。作为其结果，如图26B所示，类似于针对这种关注帧未执行操作的情况，从再现时间点t31到再现时间点t2的关注帧中的临时跟踪点候选项225成为跟踪点候选项生成单元132确定的跟踪点候选项本身。
要注意，由于针对从再现时间点t31到再现时间点t2的关注帧未执行操作，因此类似于从再现时间点t31到再现时间点t2的关注帧，跟踪点候选项225成为由跟踪点候选项生成单元132确定的跟踪点候选项本身。
此外，用户针对关注帧指定位于左侧的对象附近的最终跟踪点候选项作为运动目的地，由此将跟踪点221的跟踪点运动信息和表示缩放倍率的设置信息连同关注帧的特征量一起注册在编辑历史表中。
随后，如图27A所示，再现从再现时间点t41(t32＜t41＜t3)到再现时间点t42(t4＜t42)的帧。此时，在再现从再现时间点t3到再现时间点t43(t4＜t43＜t42)的再现图像的期间，操作模式成为跟踪点指示模式。
当再现从再现时间点t3到再现时间点t43的每个帧时，用户然后将跟踪点移动到位于关注帧的左侧的对象附近的最终跟踪点候选项。
在此情况下，针对从再现时间点t3到再现时间点t4的再现图像已经执行了一次操作。此外，该操作是为了将跟踪点移动到位于左侧的对象附近的跟踪点候选项的操作，由此，对于从再现时间点t3到再现时间点t4的关注帧，如图27B所示，此次再现时在关注帧之前一个帧中移动的跟踪点231和基于缩放倍率确定的当前缩放框232，与通过针对关注帧的第一次操作而移动的跟踪点233的跟踪点运动信息和对应于表示第一次操作时的缩放倍率的设置信息的过去缩放框234重叠。
因此，类似于图24A和24B的情况，编辑历史确定单元144向跟踪点候选项控制单元133提供：作为针对关注帧的操作次数的一次，和当前缩放框232的缩放框信息。
利用跟踪点候选项控制单元133，基于操作次数和缩放框信息，对于从再现时间点t3到再现时间点t4的关注帧，如图27B所示，在临时跟踪点候选项235在当前缩放框232附近的对象区域内的密度是利用跟踪点候选项生成单元132确定的跟踪点候选项在该对象区域内的密度的两倍。
要注意，对于从再现时间点t3到再现时间点t43的关注帧，未执行操作，跟踪点候选项成为通过跟踪点候选项生成单元132确定的跟踪点候选项本身。
此外，用户针对关注帧指示位于左侧的对象附近的最终跟踪点候选项，由此将跟踪点231的跟踪点运动信息和表示缩放倍率的设置信息连同关注帧的特征量一起注册在编辑历史表中。
如上所述，在过去针对同一再现图像执行了操作并且作为过去的缩放框的过去缩放框与作为跟踪点校正之前的缩放框的当前缩放框重叠的情况下，即，在用户对作为要指示跟踪点的区域的当前缩放框附近的对象区域具有很强的兴趣的情况下，与第一次操作相比，增加该对象区域内的跟踪点候选项。作为其结果，可以以精细的精度来指示期望的点作为跟踪点。
接下来，将参照图28中的流程图描述利用图13中的图像处理装置101的跟踪点指示模式处理。要注意，类似于图像处理装置53，跟踪点指示模式处理是在利用图像处理装置101执行的图像处理(图9)中的步骤S14中执行的。
在步骤S111中，图像特征量提取单元131利用从再现装置51连续输入的两帧再现图像来执行块匹配等，然后针对每个采样点获得运动矢量。图像特征量提取单元131将所获得的每个采样点的运动矢量提供给跟踪点候选项生成单元132。
在步骤S112中，跟踪点候选项生成单元132基于从图像特征量提取单元131提供的每个采样点的运动矢量，利用内置计数器，来计算运动矢量的频率分布。在步骤S113中，跟踪点候选项生成单元132基于运动矢量的频率分布，通过确定对象区域中存在的采样点来检测对象区域。
在步骤S114中，跟踪点候选项生成单元132对跟踪点候选项进行初始化。跟踪点候选项生成单元132然后对每隔一个的初始化后的跟踪点候选项进行对象确定，并将未经受对象确定的跟踪点候选项的再现跟踪点候选项信息提供给跟踪点候选项控制单元133。
在步骤S115中，跟踪点候选项生成单元132使得要经受对象确定的一个未确定跟踪点候选项经受后述步骤S116中的对象确定的确定。
在步骤S116中，跟踪点候选项生成单元132针对要经受确定的跟踪点候选项是否位于对象区域中进行对象确定。在步骤S116中确定要经受确定的跟踪点候选项存在于对象区域中的情况下，在步骤S117中跟踪点候选项生成单元132输出该跟踪点候选项的再现跟踪点候选项信息。然后处理进行到步骤S118。
另一方面，在步骤S116中在要经受确定的跟踪点候选项未被确定为存在于对象区域中的情况下，不执行步骤S117中的处理，然后处理进行到步骤S118。在步骤S118中，跟踪点候选项生成单元132确定是否还存在要经受对象确定的任何未确定跟踪点候选项。在步骤S118中确定还存在要经受对象确定的未确定跟踪点候选项的情况下，流程返回到步骤S115，然后重复其后的处理。
此外，在步骤S118中确定不存在要经受对象确定的未确定跟踪点候选项的情况下，即，在对要经受对象确定的所有跟踪点候选项执行了步骤S116中的对象确定的情况下，处理进行到步骤S119。
在步骤S119中，图像处理装置101基于从跟踪点候选项生成单元132提供的再现跟踪点候选项信息，执行跟踪点候选项确定处理以确定最终跟踪点候选项的跟踪点候选项信息。将参照后述的图29中的流程图来描述跟踪点候选项确定处理的详情。
在步骤S119中的处理之后，处理进行到步骤S120。步骤S120到步骤S131中的处理类似于步骤S62到步骤S73中的处理，因此略去对其的描述。
然而，在步骤S122或S124中叠加跟踪点的OSD图像的情况下，当在由当前跟踪点信息表示的位置处没有最终跟踪点候选项时，显示图像生成单元66将跟踪点的OSD图像叠加在最接近由当前跟踪点信息表示的位置的最终跟踪点候选项的位置上。在步骤S131的处理之后，跟踪点指示模式处理结束。
要注意，如图9所示，每次当输入再现图像的一个帧时执行图像处理，由此也以帧为单位来执行图28中的跟踪点指示模式处理。因此，跟踪点候选项的放置根据再现图像自然地以帧为单位变化。
接下来，将参照图29中的流程图来描述图28中的步骤S119中的跟踪点候选项确定处理。
在步骤S151中，跟踪点候选项控制单元133确定当前模式是否为实际缩放模式。
在确定当前显示模式为实际缩放模式的情况下，在步骤S152中跟踪点候选项控制单元133基于由从跟踪点候选项生成单元132提供的再现跟踪点候选项信息表示的位置和充当输出参数的缩放框信息，来确定跟踪点候选项信息。
在步骤S153中，跟踪点候选项控制单元133确定与步骤S152中确定的跟踪点候选项信息相对应的跟踪点候选项的数量是否小于预定数量。在步骤S153中确定跟踪点候选项的数量小于预定数量的情况下，跟踪点候选项控制单元133命令跟踪点候选项生成单元132重新确定跟踪点候选项的位置。
由此，跟踪点候选项生成单元132在初始化时增加跟踪点候选项的数量，再次执行图28中的步骤S114到S118中的处理，然后将再现跟踪点候选项信息提供给跟踪点候选项控制单元133。作为其结果，与基于再现跟踪点候选项信息和其缩放框信息而确定的跟踪点候选项信息相对应的跟踪点候选项的数量变成等于或大于预定数量。
另一方面，在步骤S153中确定跟踪点候选项的数量不小于预定数量的情况下，不执行步骤S154中的处理，然后处理进行到步骤S155。此外，在步骤S151中确定当前显示模式不是实际缩放模式，即，当前显示模式是框缩放模式的情况下，处理进行到步骤S155。
在步骤S155中，图像特征量提取单元141从自再现装置51输入的再现图像中提取每个帧的用于编辑历史的特征量。图像特征量提取单元141将该特征量提供给编辑历史记录单元142和编辑历史确定单元144。
在步骤S156中，编辑历史确定单元144针对再现图像确定是否存在任何操作历史。具体来说，编辑历史确定单元144从编辑历史记录单元142的编辑历史表中注册的特征量中搜索与从图像特征量提取单元141提供的再现图像的特征量相同的特征量。随后，在搜索到与从图像特征量提取单元141提供的再现图像的特征量相同的特征量的情况下，编辑历史确定单元144确定存在针对该再现图像的操作历史。
在步骤S156中确定存在针对再现图像的操作历史的情况下，在步骤S157中编辑历史确定单元144确定当前缩放框与过去缩放框是否重叠。
具体来说，编辑历史确定单元144基于从设置信息提取单元143之前刚提供的设置信息，来确定当前缩放框的缩放框信息。此外，编辑历史确定单元144基于与从编辑历史表搜索出的特征量相对应的设置信息，来确定过去缩放框的缩放框信息。编辑历史确定单元144然后基于当前缩放框和过去缩放框的缩放框信息，来确定当前缩放框与过去缩放框是否重叠。
在步骤S157中确定当前缩放框与过去缩放框重叠的情况下，在步骤S158中编辑历史确定单元144向跟踪点候选项控制单元133输出与再现图像的特征量相同的特征量的次数作为操作次数，并向跟踪点候选项控制单元133输出当前缩放框的缩放框信息。
在步骤S159中，跟踪点候选项控制单元133根据从编辑历史确定单元144提供的操作次数，增加当前缩放框附近的对象区域的跟踪点候选项，并使增加之后的跟踪点候选项作为临时跟踪点候选项。例如，在如图24和27的情况那样操作次数是1次的情况下，跟踪点候选项控制单元133使得临时跟踪点候选项在对象区域内的密度变成两倍，在如图25A和25B中的情况那样操作次数是两次的情况下，临时跟踪点候选项在对象区域内的密度是三倍。跟踪点候选项控制单元133然后将临时跟踪点候选项的再现跟踪点候选项信息提供给跟踪控制单元122，然后处理进行到步骤S160。
另一方面，在步骤S156中确定不存在针对再现图像的操作历史的情况下，以及在步骤S157中确定当前缩放框与过去缩放框不重叠的情况下，跟踪点候选项控制单元133向跟踪控制单元122提供与从跟踪点候选项生成单元132提供的再现跟踪点候选项信息相对应的跟踪点候选项作为临时跟踪点候选项。然后处理进行到步骤S160。
在步骤S160中，跟踪控制单元122使得与从跟踪点候选项控制单元133提供的再现跟踪点候选项信息相对应的临时跟踪点候选项中的未处理的临时跟踪点候选项中的一个成为后述的步骤S162中的处理的处理对象。跟踪控制单元122将要经受处理的临时跟踪点候选项的再现跟踪点候选项信息提供给跟踪点提取单元121。
在步骤S161中，跟踪点提取单元121基于从再现装置51输入的再现图像和从跟踪控制单元122提供的要经受处理的临时跟踪点候选项的再现跟踪点候选项信息，来计算要经受处理的临时跟踪点候选项的运动矢量的可靠性。将运动矢量的可靠性经由跟踪控制单元12提供给跟踪点候选项控制单元133。
在步骤S162中，跟踪点候选项控制单元133确定从跟踪控制单元122提供的运动矢量的可靠性是否低。在步骤S162中确定运动矢量的可靠性低的情况下，在步骤S163中删除要经受处理的该临时跟踪点候选项。也就是说，要经受处理的该临时跟踪点候选项没有成为最终跟踪点候选项。
另一方面，在步骤S162中确定运动矢量的可靠性高的情况下，不执行步骤S163中的处理。也就是说，要经受处理的该临时跟踪点候选项成为最终跟踪点候选项。
如上所述，基于临时跟踪点候选项的运动矢量的可靠性，确定最终跟踪点候选项，因此用户可以容易地指示将要被成功地跟踪的点作为跟踪点。
具体来说，对于跟踪处理中的运动矢量的检测精度，存在跟踪点不会被成功跟踪的情况。例如，在使用块匹配方法作为跟踪处理中的运动矢量的检测方法的情况下，当块的亮度差小时，会检测到带有匹配误差的有误差的运动矢量，结果，存在跟踪点不会被成功跟踪的情况。因此，在出现这种检测误差的区域中存在跟踪点候选项的情况下，即使用户将该跟踪点候选项指示为跟踪点，该跟踪点被成功跟踪的概率也极小。
相反，利用跟踪***100，基于临时跟踪点候选项的运动矢量的可靠性，从最终跟踪点候选项中删除存在于出现跟踪误差的区域中的临时跟踪点候选项，由此用户通过将最终跟踪点候选项指示为跟踪点，能够将会被成功跟踪的点指示为跟踪点。
在步骤S163的处理之后，或者在步骤S162中确定运动矢量的可靠性高的情况下，在步骤S164中跟踪控制单元122确定是否还存在任何未处理的临时跟踪点候选项。在确定还存在未处理的临时跟踪点候选项的情况下，处理返回到步骤S160，然后重复之后的处理。
此外，当在步骤S164中没有未处理的临时跟踪点候选项，即针对所有临时跟踪点候选项执行了步骤S162中的处理的情况下，处理进行到步骤S165。
在步骤S165中，跟踪点候选项控制单元133基于在步骤S163中未删除的临时跟踪点候选项的再现跟踪点候选项信息以及当前再现模式和缩放框信息，将临时跟踪点候选项的跟踪点候选项信息提供给显示图像生成单元66作为最终跟踪点候选项的跟踪点候选项信息。然后处理返回到图28中的步骤S119，并且执行步骤S120及其后的处理。
要注意，根据上述描述，仅删除可靠性低的临时跟踪点候选项，但是在除了成为最终跟踪点候选项的临时跟踪点候选项的数量很大的情况以外的情况下，或者在选择位于该临时跟踪点候选项的周边的临时跟踪点候选项作为最终跟踪点候选项而不是删除可靠性低的临时跟踪点候选项的情况下，可以增加临时跟踪点候选项所处的对象区域内的点作为最终跟踪点候选项。
上述处理流程可以使用硬件来执行或者可以使用软件来执行。在使用软件来执行该处理流程的情况下，将构成该软件的程序从程序记录介质安装到例如内置在专用硬件中的计算机或通用个人计算机中，其可以通过安装各种类型的程序来执行各种类型的功能。
图30是例示使用程序来执行上述处理流程的个人计算机400的硬件的结构示例的框图。对于个人计算机400，通过总线404将CPU(中央处理单元)401、ROM(只读存储器)402以及RAM(随机存取存储器)403相互连接。
总线404还连接到输入/输出接口405。输入/输出接口405连接到：输入单元406，其由接收单元等构成，接收从键盘、鼠标、传声器以及遥控器发送的命令；输出单元407，其由显示器、扬声器等构成；存储单元408，其由硬盘、非易失性存储器等构成；通信单元409，其由网络接口等构成；以及驱动器410，其驱动诸如磁带、光盘、磁光盘或半导体存储器的可移动介质411。
利用如此构成的个人计算机400，CPU 401通过例如输入/输出接口405和总线404将存储在存储单元408中的程序装载到RAM 403然后执行，由此执行上述的处理流程。
个人计算机400的CPU 401执行的程序可以记录在可移动介质411上，可移动介质411是由磁盘(包括软盘)、光盘(CD-ROM(光盘只读存储器)、DVD(数字多媒体盘)等)、磁光盘或半导体存储器构成的封装介质，或者是通过诸如局域网、因特网或数字卫星广播的有线或无线传输介质提供的。
通过将可移动介质411安装在驱动器410上，可以通过输入/输出接口405将程序安装在存储单元408中。此外，通过有线或无线通信介质使用通信单元409来接收程序，然后可以将该程序安装在存储单元408中。除此以外，可以将程序预先安装在ROM 402或存储单元408中。
要注意，根据本说明书，描述存储在程序记录介质中的程序的步骤当然包括按时序方式以所述顺序执行的处理，但是并不限于此，还可以包括并行地或者单独地执行的处理。
此外，根据本说明书，术语“***”是指由多个装置构成的整个设备。
此外，本发明的实施例并不限于上述实施例，可以在本发明的范围和意图内进行各种类型的修改。
本发明包含与2008年5月30日在日本专利局提交的日本在先专利申请JP 2008-142981中公开的主题有关的主题，在此通过引用将其全部内容并入于此。
本领域技术人员应当理解，根据设计要求和其他因素，可以想到各种修改、组合、子组合以及变更，只要它们落在所附权利要求书及其等同物的范围内。

Claims (12)

1、一种图像处理装置，包括：
跟踪装置，用于与用户的操作相对应地跟踪图像上的作为跟踪点的预定点；
显示控制装置，用于在所述图像上显示充当所述跟踪点的候选项的跟踪点候选项，所述跟踪点候选项的数量大于在所述图像上运动的对象的数量并且少于所述图像的像素数；以及
设定装置，用于与用户的操作相对应地设定所述跟踪点候选项作为所述跟踪装置的下一帧上的所述跟踪点。
2、根据权利要求1所述的图像处理装置，其中所述显示控制装置将所述跟踪点候选项均匀地显示在所述图像上。
3、根据权利要求1所述的图像处理装置，其中所述显示控制装置将所述跟踪点候选项不均匀地显示在所述图像上。
4、根据权利要求3所述的图像处理装置，还包括：
检测装置，用于检测所述图像上的所述对象的区域，其中所述显示控制装置基于所述检测装置的检测结果，与除所述对象的区域以外的区域内的所述跟踪点候选项相比，更稠密地显示所述对象的区域内的所述跟踪点候选项。
5、根据权利要求4所述的图像处理装置，其中所述显示控制装置基于所述检测装置的检测结果，显示作为在所述图像上按等距离间隔设置的点中每隔预定间隔处的点的确定点中的、位于所述对象的区域内的所述确定点和除所述确定点以外的点，作为所述跟踪点候选项。
6、根据权利要求3所述的图像处理装置，其中，当所述图像中的当前所述跟踪点位于距过去所述跟踪点的预定范围内时，所述显示控制装置基于用户操作历史稠密地显示在距所述当前跟踪点的预定范围内的所述跟踪点候选项。
7、根据权利要求3所述的图像处理装置，其中所述显示控制装置基于针对所述跟踪点候选项的跟踪的可靠性，来显示所述跟踪点候选项。
8、根据权利要求1所述的图像处理装置，其中，与用户的操作相对应地，在所述图像中的所述跟踪点附近的图像的缩放图像上显示所述跟踪点候选项的情况下，所述显示控制装置从在所述图像上显示所述跟踪点候选项的情况下在所述跟踪点附近的图像上显示的所述跟踪点候选项增加所述跟踪点候选项，使得要显示的所述跟踪点候选项的数量等于或大于预定数量。
9、一种用于图像处理装置的图像处理方法，该图像处理装置执行对图像上的跟踪点进行跟踪的跟踪处理，所述方法包括以下步骤：
与用户的操作相对应地跟踪所述图像上的作为跟踪点的预定点；
在所述图像上对充当所述跟踪点的候选项的跟踪点候选项进行显示控制，所述跟踪点候选项的数量大于在所述图像上运动的对象的数量并且少于所述图像的像素数；以及
与用户的操作相对应地设定所述跟踪点候选项作为下一帧上的所述跟踪点。
10、一种使得计算机用作图像处理装置的程序，该图像处理装置包括：
跟踪装置，用于与用户的操作相对应地跟踪图像上的作为跟踪点的预定点；
显示控制装置，用于在所述图像上显示充当所述跟踪点的候选项的跟踪点候选项，所述跟踪点候选项的数量大于在所述图像上运动的对象的数量并且少于所述图像的像素数；以及
设定装置，用于与用户的操作相对应地设定所述跟踪点候选项作为所述跟踪装置的下一帧上的所述跟踪点。
11、一种图像处理装置，包括：
跟踪单元，用于与用户的操作相对应地跟踪图像上的作为跟踪点的预定点；
显示控制单元，用于在所述图像上显示充当所述跟踪点的候选项的跟踪点候选项，所述跟踪点候选项的数量大于在所述图像上运动的对象的数量并且少于所述图像的像素数；以及
设定单元，用于与用户的操作相对应地设定所述跟踪点候选项作为所述跟踪单元的下一帧上的所述跟踪点。
12、一种使得计算机用作图像处理装置的程序，该图像处理装置包括：
跟踪单元，用于与用户的操作相对应地跟踪图像上的作为跟踪点的预定点；
显示控制单元，用于在所述图像上显示充当所述跟踪点的候选项的跟踪点候选项，所述跟踪点候选项的数量大于在所述图像上运动的对象的数量并且少于所述图像的像素数；以及
设定单元，用于与用户的操作相对应地设定所述跟踪点候选项作为所述跟踪单元的下一帧上的所述跟踪点。
CN200910202841XA 2008-05-30 2009-05-26 图像处理装置和图像处理方法以及程序 Expired - Fee Related CN101593510B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2008142981A JP4513039B2 (ja) 2008-05-30 2008-05-30 画像処理装置および画像処理方法、並びにプログラム
JP2008142981 2008-05-30
JP2008-142981 2008-05-30

Publications (2)

Publication Number Publication Date
CN101593510A true CN101593510A (zh) 2009-12-02
CN101593510B CN101593510B (zh) 2011-12-21

Family

ID=40951516

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200910202841XA Expired - Fee Related CN101593510B (zh) 2008-05-30 2009-05-26 图像处理装置和图像处理方法以及程序

Country Status (4)

Country Link
US (1) US8494216B2 (zh)
EP (1) EP2131327A1 (zh)
JP (1) JP4513039B2 (zh)
CN (1) CN101593510B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109416536A (zh) * 2016-07-04 2019-03-01 深圳市大疆创新科技有限公司 用于自动跟踪和导航的***和方法
CN112243146A (zh) * 2019-07-16 2021-01-19 西安诺瓦星云科技股份有限公司 视频处理方法、装置和视频处理器

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5427577B2 (ja) * 2009-12-04 2014-02-26 パナソニック株式会社 表示制御装置及び表示画像形成方法
JP5761989B2 (ja) * 2010-12-21 2015-08-12 キヤノン株式会社 画像認識装置、画像認識方法及びプログラム
JP6234349B2 (ja) * 2014-09-16 2017-11-22 株式会社東芝 移動***置推定装置、移動***置推定方法及び移動***置推定プログラム
KR102286006B1 (ko) * 2016-11-23 2021-08-04 한화디펜스 주식회사 추종 장치 및 추종 시스템
CN110223321B (zh) * 2019-01-16 2022-12-02 深圳职业技术学院 一种基于局部结构化回归的目标跟踪方法
KR102339553B1 (ko) * 2019-12-19 2021-12-16 ㈜오버플로우 화면을 확대하여 표시하며 실시간으로 중계하는 장치 및 이의 동작 방법

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002044493A (ja) * 2000-07-27 2002-02-08 Canon Inc 撮像方法及び装置並びに記憶媒体
WO2005066897A1 (ja) 2004-01-06 2005-07-21 Sony Corporation 画像処理装置および方法、記録媒体、並びにプログラム
CN100541535C (zh) * 2004-01-06 2009-09-16 索尼株式会社 图像处理设备和方法
JP4725105B2 (ja) * 2004-01-06 2011-07-13 ソニー株式会社 画像処理装置および方法、プログラム並びに記録媒体
JP4482795B2 (ja) * 2004-03-05 2010-06-16 ソニー株式会社 画像処理装置、移動物体追跡方法、移動物体追跡プログラム、監視装置及びゲーム装置
JP4436179B2 (ja) 2004-04-20 2010-03-24 富士通マイクロエレクトロニクス株式会社 半導体装置
IL168210A (en) 2005-04-21 2012-03-29 Rafael Advanced Defense Sys Method for assisting a user to designate a target
US20070126864A1 (en) * 2005-12-05 2007-06-07 Kiran Bhat Synthesizing three-dimensional surround visual field
JP2007274543A (ja) * 2006-03-31 2007-10-18 Sony Corp 画像処理装置および方法、プログラム、並びに記録媒体
JP2008085737A (ja) * 2006-09-28 2008-04-10 Nikon Corp 電子カメラ
JP4915655B2 (ja) * 2006-10-27 2012-04-11 パナソニック株式会社 自動追尾装置
JP4840112B2 (ja) 2006-12-08 2011-12-21 住友ベークライト株式会社 化粧板及び化粧板の製造方法
KR20080073933A (ko) * 2007-02-07 2008-08-12 삼성전자주식회사 객체 트래킹 방법 및 장치, 그리고 객체 포즈 정보 산출방법 및 장치

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109416536A (zh) * 2016-07-04 2019-03-01 深圳市大疆创新科技有限公司 用于自动跟踪和导航的***和方法
US11365014B2 (en) 2016-07-04 2022-06-21 SZ DJI Technology Co., Ltd. System and method for automated tracking and navigation
CN112243146A (zh) * 2019-07-16 2021-01-19 西安诺瓦星云科技股份有限公司 视频处理方法、装置和视频处理器

Also Published As

Publication number Publication date
CN101593510B (zh) 2011-12-21
JP4513039B2 (ja) 2010-07-28
US8494216B2 (en) 2013-07-23
JP2009290713A (ja) 2009-12-10
US20090296986A1 (en) 2009-12-03
EP2131327A1 (en) 2009-12-09

Similar Documents

Publication Publication Date Title
CN101593510B (zh) 图像处理装置和图像处理方法以及程序
CN102547479B (zh) 媒体元数据的生成与供应
US8320458B2 (en) Frame interpolation device and method, and storage medium
US8984406B2 (en) Method and system for annotating video content
JP4957960B2 (ja) 画像処理装置、画像処理方法、及びプログラム
US20160155455A1 (en) A shared audio scene apparatus
CN101256582B (zh) 信息处理设备、信息处理方法、及信息处理程序
CN101727938B (zh) 信息处理装置、信息处理方法
CN103455539A (zh) 信息处理设备、信息处理方法、和程序
CN103067780A (zh) 图像处理装置、图像处理方法和程序
CN103491450A (zh) 一种媒体流回放片段的设置方法及终端
US20110026766A1 (en) Moving image extracting apparatus, program and moving image extracting method
CN102347046A (zh) 数据产生装置和方法、以及数据处理装置和方法
US20070250530A1 (en) Method and apparatus for displaying content list
JP2019033430A (ja) 動画再生装置およびその制御方法、並びにプログラム
CN101364305A (zh) 电子装置、运动向量检测方法和其程序
CN101923474B (zh) 一种程序运行参数配置方法及计算机
US20070248243A1 (en) Device and method of detecting gradual shot transition in moving picture
JP2010016660A (ja) シーンチェンジ検出装置、シーンチェンジ検出方法およびプログラム
CN104967911A (zh) 多媒体文件***位置的确定方法及装置
JP2018072939A (ja) 映像処理プログラム、映像処理方法、及び映像処理装置
CN101325679B (zh) 信息处理设备、信息处理方法
EP3206206B1 (en) Moving picture playback method, moving picture playback program, and moving picture playback apparatus
JPH09247617A (ja) 映像信号記録／再生装置
JP2005033554A (ja) 画像再生システム及び画像再生プログラム、並びに画像再生方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20111221