CN105593855B - 图像检索***、图像检索装置以及图像检索方法 - Google Patents

图像检索***、图像检索装置以及图像检索方法 Download PDF

Info

Publication number
CN105593855B
CN105593855B CN201580002030.9A CN201580002030A CN105593855B CN 105593855 B CN105593855 B CN 105593855B CN 201580002030 A CN201580002030 A CN 201580002030A CN 105593855 B CN105593855 B CN 105593855B
Authority
CN
China
Prior art keywords
image
track
information
shape
mobile object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580002030.9A
Other languages
English (en)
Other versions
CN105593855A (zh
Inventor
额贺信尾
松原大辅
渡边裕树
米司健
米司健一
吉永智明
广池敦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Publication of CN105593855A publication Critical patent/CN105593855A/zh
Application granted granted Critical
Publication of CN105593855B publication Critical patent/CN105593855B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Library & Information Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • User Interface Of Digital Computer (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

一种图像检索***，具有：拍摄影像的拍摄部；具有处理器以及存储部，检索所述影像中包含的图像的检索部；接受向所述检索部输入的信息的输入部以及显示从所述检索部输出的信息的显示部，所述存储部保持表示轨迹的形状的信息，该轨迹表示从所述影像提取出的多个移动物体的移动路径，所述检索部若从所述输入部输入表示轨迹的形状的信息，则从所述存储部所保持的所述多个移动物体的轨迹中检索与所述输入的轨迹形状类似的轨迹，将沿着所述检索出的轨迹移动后的所述移动物体的图像显示在所述显示部中。

Description

图像检索***、图像检索装置以及图像检索方法
本申请主张平成26年(2014年)1月31日申请的日本申请特愿2014-16813的优先权，并通过参照其内容，将其内容结合在本申请中。
技术领域
本发明涉及一种图像检索技术。
背景技术
作为本技术领域的背景技术，有日本特开2013-150218号公报(专利文献1)。在专利文献1中记载了如下的内容：“在动画检索装置中，接收部接收静止图像、静止图像内的2个参照位置、动画帧内的2个目标位置的输入。提取部从静止图像中提取出包含2个参照位置的参照图像。检索部从运动图像所包含的帧图像中检索出与参照图像类似的描绘了局部图像的类似帧图像，在局部图像内，追踪在与2个参照位置对应的开始位置处描绘的2个关注像素的、在运动图像中从类似帧图像使时间前行或逆行时的2个移动轨迹，来检索出2个移动轨迹达到2个目标位置近旁的目标帧图像，将包含类似帧图像和目标帧图像的运动图像设为检索结果”。
专利文献1：日本特开2013-150218号公报
发明内容
发明要解决的课题
在想要从所拍摄到的影像中例如检索出可疑人物或可疑车辆等移动物体的图像的情况下，能够得到对该移动物体附加了特征的信息，例如该移动物体的移动路径或外表特征等信息，但实际上有时无法确定拍摄到该移动物体的图像。在这样的情况下，无法根据用户输入的该移动物体的特征来检索该移动物体的图像。
用于解决课题的手段
为了解决上述课题，本发明的一方式的图像检索***具有：拍摄影像的拍摄部；具有处理器和存储部，检索所述影像中包含的图像的检索部；接受向所述检索部输入的信息的输入部以及显示从所述检索部输出的信息的显示部，该图像检索***的特征在于，所述存储部保持表示轨迹的形状的信息，该轨迹表示从所述影像提取出的多个移动物体的移动路径，所述检索部，在从所述输入部输入了表示轨迹的形状的信息时，从所述存储部中保持的所述多个移动物体的轨迹中检索与所述输入的轨迹形状类似的轨迹，将沿着所述检索出的轨迹移动的所述移动物体的图像显示在所述显示部中。
发明效果
根据本发明的一方式，不论实际拍摄到作为检索对象的移动物体的影像的有无，都能够检索与用户指定的轨迹类似的移动物体的轨迹。通过以下的实施方式的说明，能够明确上述以外的课题、结构以及效果。
附图说明
图1是本发明的实施例1的图像检索***的整体结构图。
图2是本发明的实施例1的图像检索***的硬件结构图。
图3是本发明的实施例1的影像数据库的结构以及数据例的说明图。
图4是说明本发明的实施例1的服务器计算机登记所输入的影像的处理的流程图。
图5是说明本发明的实施例1的服务器计算机检索轨迹的处理的流程图。
图6是本发明的实施例1的由服务器计算机输出的检索画面的说明图。
图7是本发明的实施例2的图像检索***的整体结构图。
图8A是本发明的实施例2的影像数据库的结构以及数据例的第1说明图。
图8B是本发明的实施例2的影像数据库的结构以及数据例的第2说明图。
图9是说明本发明的实施例2的服务器计算机登记所输入的影像的处理的流程图。
图10是说明本发明的实施例2的服务器计算机进行的检索处理的流程图。
图11是本发明的实施例2的由服务器计算机输出的检索画面的说明图。
图12是本发明的实施例3的由图像检索***执行的使用了地图信息的轨迹检索的说明图。
图13是本发明的实施例3的图像检索***执行的摄像机图像上的轨迹变换为地图上的轨迹的说明图。
图14是本发明的实施例4的服务器计算机输出的检索画面的说明图。
具体实施方式
以下，参照附图对本发明的实施例进行说明。
实施例1
图1是本发明的实施例1的图像检索***100的整体结构图。
本实施例的图像检索***100具备影像存储装置101、影像拍摄装置102、输入装置103、显示装置104以及服务器计算机105。
影像存储装置101是保存影像数据，根据请求输出的存储介质，可以使用计算机内置的硬盘驱动器或NAS(Network Attached Storage，网络附加存储)或SAN(Storage AreaNetwork，存储区域网)等通过网络连接的存储***而构成。
影像拍摄装置102是拍摄影像来生成影像数据，并输出该影像数据的装置。
将从影像存储装置101或影像拍摄装置102输出的图像都输入到服务器计算机105的影像输入部106(后述)。图像检索***100既可以如图1所示具备影像存储装置101和影像拍摄装置102双方，也可以仅具备任意一方。在图像检索***100具备影像存储装置101和影像拍摄装置102双方的情况下，可以根据需要将向影像输入部106的影像数据的输入源切换为影像存储装置101或影像拍摄装置102，也可以将从影像拍摄装置102输出的影像数据暂时存储到影像存储装置101中，再从影像存储装置101输入到影像输入部106。在该情况下，影像存储装置101例如也可以是暂存从影像拍摄装置102持续输入的影像数据的高速缓冲存储器。
另外，保存在影像存储装置101中的影像数据和由影像拍摄装置102生成的影像数据只要是能够利用于所拍摄的物体的追踪，则可以是任何形式的数据。例如，影像拍摄装置102为视频摄像机，既可以将通过影像拍摄装置102拍摄的运动图像数据作为影像数据而输出，也可以将这样的影像数据存储在影像存储装置101中。或者，影像拍摄装置102是静物摄像机，既可以将通过影像拍摄装置102以预定间隔(至少能够追踪所拍摄的物体的间隔)拍摄的一连串的静止图像数据作为影像数据而输出，也可以将这样的影像数据存储在影像存储装置101中。
输入装置103是鼠标、键盘、触摸装置等用于向服务器计算机105传递用户的操作的输入接口。显示装置104是液晶显示器等的输出接口，用于显示服务器计算机105的检索结果、与用户的对话性操作等。例如，也可以通过使用所谓的触摸面板等，而使输入装置103和显示装置104成一体。
服务器计算机105作为根据用户指定的检索条件，从所输入的影像数据中检索所希望的图像的图像检索装置发挥作用。具体而言，服务器计算机105跟踪所给出的影像数据的各帧中包含的移动物体，并积累与该移动物体相关的信息。若用户指定想从所积累的帧搜索的移动物体的检索条件，则服务器计算机105使用所积累的信息检索图像。将服务器计算机105处理的影像假定为在一个位置以上的场拍摄而得的定点观测的影像。此外，检索对象的物体为人物或车辆等任意的移动物体。服务器计算机105具备影像输入部106、帧登记部107、移动物体追踪部108、轨迹特征提取部109、轨迹特征登记部110、影像数据库111、轨迹输入部112、轨迹特征变换部113以及类似向量检索部114。
影像输入部106从影像存储装置101读出影像数据，或接收通过影像拍摄装置102拍摄的影像数据，并将这些影像数据变换为在服务器计算机105内部使用的数据形式。具体而言，影像输入部106进行将影像(动画数据形式)分解为帧(静止图像数据形式)的动画解码处理。将所得到的帧发送给帧登记部107以及移动物体追踪部108。
帧登记部107将所提取出的帧和提取源的影像信息写入到影像数据库111。作为图3的说明后述记录在影像数据库111中的数据的细节。
移动物体追踪部108检测出影像中的移动物体，进行与前帧的移动物体的对应，来进行移动物体的追踪。可以使用任意方法来实现移动物体的检测和追踪。将通过追踪得到的移动物体的轨迹(即，该移动物体的移动路径)表现为具有起点和终点的向量，轨迹信息由各帧的移动物体的坐标信息和对各轨迹唯一赋予的(追踪ID)构成。
轨迹特征提取部109根据被赋予了相同追踪ID的移动物体的坐标提取出轨迹的形状的特征量(以下，也记载为轨迹特征量)，轨迹特征登记部110将所提取出的轨迹特征量登记在影像数据库111。
影像数据库111是用于保存影像、帧以及移动物体的轨迹信息等的数据库。如后所述，在轨迹信息中包含轨迹特征量，因此服务器计算机105能够检索具有与所输入的轨迹特征量类似的轨迹特征量的移动物体的图像。轨迹特征量的检索功能例如是按照与作为查询而输入的轨迹特征量近似的顺序排序并输出数据的功能。在轨迹特征量的比较中，例如能够使用轨迹特征量向量之间的欧几里德距离。在进行来自帧登记部107和轨迹特征登记部110的登记处理以及来自类似向量检索部114的检索处理时，发生向影像数据库111的存取。作为图3的说明，在后面详细叙述影像数据库111的结构。
轨迹输入部112从输入装置103接收用户输入的轨迹信息(例如，坐标值的列)。轨迹特征变换部113取得所输入的轨迹的特征量。类似向量检索部114从影像数据库111检索与所输入的轨迹特征量类似的轨迹特征量，并将其结果输出到显示装置104。
图2是本发明的实施例1的图像检索***100的硬件结构图。
服务器计算机105例如是具有相互连接的处理器201和存储装置202的一般的计算机。存储装置202由任意种类的存储介质构成。例如，存储装置202可以包括半导体存储器和硬盘驱动器。
在该例子中，图1所示的影像输入部106、帧登记部107、移动物体追踪部108、轨迹特征提取部109、轨迹特征登记部110、轨迹输入部112、轨迹特征变换部113以及类似向量检索部114这样的功能部通过处理器201执行存储在存储装置202中的处理程序203来实现。换言之，在该例子中，实际上，通过遵从处理程序203中记述的命令的处理器201来执行上述各功能部执行的处理。此外，影像数据库111被包含在存储装置202中。
服务器计算机105还包括与处理器连接的网络接口装置(NIF)204。影像拍摄装置102例如经由网络接口装置204与服务器计算机105连接。影像存储装置101既可以是经由网络接口装置204与服务器计算机105连接的NAS或SAN，也可以被包含在存储装置202中。
图3是本发明的实施例1的影像数据库111的结构以及数据例的说明图。在此，示出了表格形式的结构例，但数据形式也可以是任意的。
影像数据库111包括影像数据管理信息300、背景图像数据管理信息310以及轨迹特征量管理信息320。图3的表格结构以及各表格的字段结构是为了实施本发明而成为必要的结构，也可以根据应用追加表格以及字段。
影像数据管理信息300具有影像ID字段、文件名字段302以及拍摄场所ID字段303。影像ID字段保持各影像数据的识别信息(以下，称为影像ID)。文件名字段302保持从影像存储装置101读入的影像数据的文件名。在从影像拍摄装置102输入影像数据的情况下，也可以省略文件名。拍摄场所ID字段303保持定点观测的场所的识别信息(以下，称为拍摄场所ID)。影像ID与拍摄场所的对应既可以通过应用来管理，也可以通过向影像数据库111追加拍摄场所的管理信息(省略图示)来管理。在通过固定摄像机拍摄到所输入的影像数据的情况下，也可以将拍摄场所ID替换为摄像机ID。如图3的例子所示，也可以针对一个拍摄场所登记多个影像文件。在该情况下，在该多个影像文件中例如包含设置场所和拍摄方向被固定的一个摄像机分别在不同的时间段拍摄到的影像数据。
背景图像数据管理信息310具有拍摄场所ID字段311和背景图像数据字段312。拍摄场所ID字段311是保持背景图像的拍摄场所的识别信息的字段，该识别信息对应于影像数据管理信息300中保持的拍摄场所ID。背景图像数据字段312保持在各拍摄场所拍摄到的背景图像的数据。如后所述，在此保持的背景图像是在用户输入想要检索的移动物体的轨迹时显示的图像，因此优选由与在各个拍摄场所拍摄移动物体相同的摄像机拍摄到的、不包含任何移动物体的图像。
轨迹特征量管理信息320具有追踪ID字段321、影像ID字段322、开始日期时间字段323、结束日期时间字段324、坐标字段325以及轨迹特征量字段326。
追踪ID字段321保持移动物体追踪部108为了追踪各移动物体而使用的识别信息(以下，称为追踪ID)。向通过追踪移动物体而得到的各轨迹赋予唯一的追踪ID。影像ID字段322保持包含作为追踪对象的移动物体的图像的影像数据的识别号。该识别号对应于影像数据管理信息300中保持的影像ID。
开始日期时间字段323和结束日期时间字段324分别保持拍摄到各轨迹的起点和终点的图像的日期时间。根据该日期时间，确定移动物体在各轨迹上移动的时刻。坐标字段325保持各时刻的、被追踪的移动物体的图像在画面上的坐标。按照时刻顺序连接该坐标而得到的轨迹为各移动物体的轨迹。轨迹特征量字段326保持根据影像中的移动物体的坐标的时序变化提取的轨迹特征量。轨迹特征量例如通过固定长度的向量来表现，也可以通过任意的公知方法，从坐标字段325中保持的值来提取。
图4是说明本发明的实施例1的服务器计算机105登记所输入的影像的处理的流程图。以下，按照图4的各步骤进行说明。
首先，影像输入部106对从影像存储装置101或影像拍摄装置102输入的影像数据进行解码，来提取出帧作为静止图像(步骤S401)。
接着，服务器计算机105内的各部针对在步骤S401中提取出的各帧，执行步骤S402～S411。
移动物体追踪部108从作为处理对象的帧检测出移动物体，将所检测出的移动物体与从之前时刻的帧检测出的移动物体对应起来(步骤S403)。
接着，移动物体追踪部108判定是否出现了新的移动物体(步骤S404)。具体而言，移动物体追踪部108在判定为从作为处理对象的帧检测出移动物体不能与从之前时刻的帧检测出的任何移动物体相对应(换言之，判定为在之前时刻的帧中不包含与从作为处理对象的帧检测出移动物体相同的移动物体的图像)的情况下，判定为出现了新的移动物体。
在出现了新的移动物体的情况下，移动物体追踪部108向该新的移动物体赋予新的追踪ID，轨迹特征登记部110将该新的追踪ID、检测出该新的移动物体的影像的影像ID、检测出该新的移动物体的帧的拍摄日期时间分别登记在影像数据库111的轨迹特征量管理信息320内的追踪ID字段321、影像ID字段322以及开始日期时间字段323中(步骤S405)。另一方面，在没有出现新的移动物体的情况下，不执行步骤S405。
接着，轨迹特征登记部110向轨迹特征量管理信息320内的坐标字段325追加在步骤S403中检测出的移动物体的坐标(步骤S406)。
接着，移动物体追踪部108判定移动物体是否消失(步骤S407)。具体而言，移动物体追踪部108在判定为从之前时刻的帧检测出的移动物体不能与在步骤S403中检测出的任意移动物体相对应(换言之，判定为在作为处理对象的帧中不包含与从之前时刻的帧检测出的移动物体相同的移动物体的图像)的情况下，判定为从该之前的时刻的帧检测出的移动物体已消失。
在移动物体消失了的情况下，轨迹特征提取部109从该消失的移动物体的轨迹提取出轨迹特征量(步骤S408)，接着，轨迹特征登记部110将所提取出的轨迹特征量登记在轨迹特征量管理信息320内的轨迹特征量字段326中(步骤S409)，将最后检测出该消失的移动物体的帧(即，之前时刻的帧)的拍摄日期时间登记在结束日期时间字段324中(步骤S410)。另一方面，在移动物体没有消失的情况下，存在轨迹进一步被延长的可能性，因此不执行步骤S408～S410。
若针对从影像数据提取出的所有帧结束步骤S403～S410，则帧登记部107将背景图像登记在背景图像数据管理信息310的与该影像数据对应的背景图像数据字段312中(步骤S412)。具体而言，帧登记部107将在步骤S401中提取出的任意帧登记为背景图像。此时，例如也可以登记没有检测出任何移动物体的帧作为背景图像。另外，只要对一个拍摄场所登记了一个背景图像就足够，因此对于已登记有背景图像的拍摄场所，也可以每次执行图4的处理时执行S412来更新背景图像，也可以省略步骤S412。
若针对所有帧的上述处理结束，则结束登记所输入的影像的处理。
图5是说明本发明的实施例1的服务器计算机105检索轨迹的处理的流程图。以下，按照图5的各步骤进行说明。
首先，若用户使用输入装置103向服务器计算机105输入拍摄场所ID(步骤S501)，则服务器计算机105参照背景图像数据管理信息310读出与所输入的拍摄场所ID对应的背景图像数据，并根据该数据将背景图像显示在显示装置104中(步骤S502)。
接着，若用户使用输入装置103向轨迹输入部112输入轨迹(步骤S503)，则轨迹特征变换部113将所输入的轨迹变换为轨迹特征量(步骤S504)。通过与轨迹特征提取部109在图4的步骤S408中执行的轨迹特征量的提取相同的方法来进行该变换。
接着，类似向量检索部114以在步骤S504中变换而得的轨迹特征量为查询来对轨迹特征量管理信息320进行检索(步骤S505)。由此，从轨迹特征量管理信息320检索出与用户输入的轨迹类似的轨迹。
接着，类似向量检索部114将检索结果输出到显示装置104，显示装置104按照类似度的顺序显示检索结果(步骤S506)。
至此，结束检索轨迹的处理。
图6是本发明的实施例1的由服务器计算机105输出的检索画面的说明图。参照图6，对图5的处理中的用户进行的信息的输入方法和检索结果的显示方法的一例进行说明。
通过显示装置104显示的检索画面包括拍摄场所选择区域601、拍摄场所显示区域602、检索键603以及检索结果显示区域604。
在拍摄场所选择区域601中显示登记在背景图像数据管理信息310中的各拍摄场所的背景图像。用户操作输入装置103来选择这些背景图像中的任意一个，由此指定与该背景图像对应的拍摄场所ID(步骤S501)，将所指定的拍摄场所的背景图像显示在拍摄场所显示区域602中(步骤S502)。例如，也可以在拍摄场所选择区域601中缩小显示各拍摄场所的背景图像，在拍摄场所显示区域602中扩大显示所指定的拍摄场所的背景图像。
用户在显示于拍摄场所显示区域602的背景图像上输入轨迹(步骤S503)。例如，用户操作作为输入装置103的鼠标将指示器(鼠标光标)605放在想要输入的轨迹的起点上，按下鼠标键，拖动指示器605使其沿着轨迹移动，在轨迹的终点放开鼠标键，输入轨迹606a。
或者，在显示装置104是具有例如作为输入装置103的功能的触摸面板的情况下，用户也可以用手指或笔等触摸显示于拍摄场所显示区域602的背景图像上的轨迹的起点，沿着轨迹滑动到终点。或者，用户也可以通过点击鼠标或触摸来指定背景图像上的若干点，服务器计算机105通过贝塞尔曲线(Bezier curve)等对这些点进行插补来生成轨迹。在图6的例子中示出了轨迹606a箭头的方向是从轨迹的起点向终点的方向，物体向该方向移动的轨迹。对于后述的其他轨迹也相同。服务器计算机105既可以将释放鼠标键时的指示器605的位置，或用户将手指从触摸面板移开的位置识别为轨迹的终点，由此决定所输入的轨迹的方向，并且，也可以在轨迹的终点自动地显示箭头。
将所输入的轨迹606a变换为轨迹特征量(步骤S504)。若用户使用鼠标等来操作检索键603时，执行类似轨迹检索(步骤S505)，并将其结果显示于检索结果显示区域604(步骤S506)。如图6所示，作为检索结果显示图像604a、604b以及其他图像(省略图示)。
在图像604a中，在所指定的拍摄场所的背景图像上显示作为检索结果而得到的轨迹606b，并且显示与该轨迹606b对应的移动物体(在该例子中为人物)607a的图像。即，轨迹606b是移动物体607a移动的轨迹。例如，也可以在所检索到的轨迹的从开始日期时间到结束日期时间的任意时间点的帧图像上重叠地显示表示所检索到的轨迹的箭头，来生成图像604a。在该情况下，如图6所示，也可以显示拍摄到所显示的帧的日期时间。图像604b也同样地包括其他所检索到的606c以及与其对应的移动物体607b的图像。
另外，在检索结果显示区域604中也可以不显示背景图像以及移动物体的图像，而仅显示表示所检索到的轨迹的箭头。或者，也可以不再生任意时间点的帧图像(即，静止图像)，而再生所检索到的轨迹的从开始日期时间到结束日期时间的影像，并将其显示于检索结果显示区域604。
此外，在图5和图6的例子中，作为检索条件而指定了拍摄场所和轨迹，但还可以指定时刻。在该情况下，在图6所示的检索画面中还设定时刻指定区域(省略图示)，用户操作输入装置103来输入时刻(例如，检索对象的时间段)。在该情况下，检索在用户指定的时间段中包含开始时刻到结束时刻的时间的轨迹。或者，作为检索条件也可以不指定拍摄场所。在该情况下，与拍摄场无关而检索类似的轨迹
根据以上的本发明的实施例1，能够检索与用户指定的任意的轨迹类似的移动物体的轨迹。由此，例如即使在没有确定实际拍摄到的作为检索对象的移动物体的情况下，若能够从目击信息或周围状况等推定该移动物体的轨迹，则描绘与该轨迹类似的轨迹来检索移动后的移动物体的图像。
实施例2
接着，对本发明的实施例2的图像检索***100进行说明。除了在以下说明的不同点外，实施例2的图像检索***100的各部具有与图1～图6所示的实施例1的赋予了同一符号的各部相同的功能，因此省略其说明。
图7是本发明的实施例2的图像检索***100的整体结构图。
本实施例的图像检索***100具备影像存储装置101、影像拍摄装置102、输入装置103、显示装置104以及服务器计算机105。影像存储装置101、影像拍摄装置102、输入装置103以及显示装置104与实施例1相同，因此省略说明。
实施例2的服务器计算机105的除了与实施例1同样的影像输入部106、帧登记部107、移动物体追踪部108、轨迹特征提取部109以及轨迹特征登记部110外，还具有面部检测部701、面部特征提取部702、面部特征登记部703、头部检测部711、头部特征提取部712、头部特征登记部713、服饰检测部721、服饰特征提取部722、服饰特征登记部723、多个特征输入部731、类似向量检索部732以及检索结果整合部733。此外，实施例2的服务器计算机105具有影像数据库111，但登记在该影像数据库111中的信息如参照图8A和图8B后述的那样，具有与实施例1不同的部分。
面部检测部701、头部检测部711以及服饰检测部721分别从帧图像中检测出人物的面部区域、头部区域以及服饰区域。面部特征提取部702、头部特征提取部712以及服饰特征提取部722分别提取面部区域、头部区域以及服饰区域的图像特征量。例如，若是边缘信息或颜色信息等能够从图像提取出的信息，则可以提取任何类型的特征量。可以通过包含公知的方法的任意方法来进行这样的图像特征量的提取。面部特征登记部703、头部特征登记部713以及服饰特征登记部723分别将从面部区域、头部区域以及服饰区域中提取出的图像特征量(以下，也记载为面部特征量、头部特征量以及服饰特征量)登记在影像数据库111中。
多个特征输入部731接受用户操作输入装置103而输入的、指定成为检索关键字的特征量(例如，轨迹特征量、面部特征量、头部特征量以及服饰特征量)的信息。类似向量检索部732从影像数据库111检索与指定为检索关键字的特征量向量类似的特征量向量。检索结果整合部733整合输出基于多种特征量的检索关键字的多个检索结果。在后面叙述它们的详细处理(参照图10)。
另外，实施例2表示作为追踪对象的移动物体为人物的情况下的图像检索***100的例子。面部区域、头部区域以及服饰区域是被认为包含能够利用于人物的识别的图像信息的区域(以下，也记载为显著区域)的例子。因此，服务器计算机105也可以包含用于检测上述以外的显著区域的显著区域检测部、从该检测区域提取出图像特征量的图像特征量提取部以及登记该图像特征量的图像特征量登记部(都省略图示)。作为上述以外的显著区域，列举例如面部区域的一部分即嘴部区域、头部区域的一部分即头发区域、服饰区域的一部分即上半身区域、下半身区域或人物持有物的区域(例如，包区域)等。
此外，在追踪对象的移动物体为人物以外的物体的情况下，根据该物体的种类检测恰当的显著区域，登记其特征量。例如，在追踪对象为汽车的情况下，也可以将汽车的前面、后面、侧面、轮胎部分或车牌号部分等检测为显著区域。
实施例2的图像检索***100的硬件结构与实施例1(参照图2)相同，因此省略说明。实际上，通过遵从处理程序203记述的命令的处理器201来执行实施例2的服务器计算机105的各功能部执行的处理。
图8A和图8B是本发明的实施例2的影像数据库111的结构以及数据例的说明图。在此，示出了表格形式的结构例，但表格形式也可以是任意的。
影像数据库111包括图8A所示的影像数据管理信息300、背景图像数据管理信息310、轨迹特征量管理信息800、移动物体管理信息810、帧图像管理信息820以及图8B所示的面部特征量管理信息830、头部特征量管理信息840、服饰特征量管理信息850。图8A和图8B的表格结构以及各表格的字段结构是为了实施本发明而必要的结构，也可以根据应用追加表格以及字段。
实施例2的影像数据管理信息300和背景图像数据管理信息310与实施例1相同，因此省略说明。
轨迹特征量管理信息800具有追踪ID字段801、影像ID字段802、移动物体ID字段803以及轨迹特征量字段804。追踪ID字段801、影像ID字段802以及轨迹特征量字段804分别与实施例1的追踪ID字段321、影像ID字段322以及轨迹特征量字段326相同，因此省略说明。
移动物体ID字段803保持构成各个轨迹的、从各帧检测出的移动物体的识别信息(以下，称为移动物体ID)的列表。在此，移动物体ID是识别从各帧检测出的移动物体的图像的信息，而不是识别移动物体其本身的信息。从多个帧检测出同一移动物体的图像的情况下，向这些移动物体的各个图像赋予不同的(唯一的)移动物体ID，使这些移动物体ID与一个追踪ID相对应。
例如，图8A所示，向与追踪ID“1”对应的移动物体ID字段803登记“1、2、4、5、6、……”表示通过移动物体追踪部108使从某帧检测出的由移动物体ID“1”识别的移动物体的图像、从其他帧检测出的由移动物体ID“2”识别的移动物体的图像和同样地从其他帧检测出的由移动物体ID“4”、“5”、“6”识别的移动物体的图像相对应(即，将它们判定为同一移动物体的图像)。
移动物体管理信息810包括移动物体ID字段811、矩形坐标字段812以及拍摄日期时间字段813。
移动物体ID字段811保持从各帧检测出的移动物体ID。该移动物体ID与轨迹特征量管理信息800的移动物体ID字段803所保持的信息对应。
矩形坐标字段812保持表示从各帧检测出的移动物体的图像在该帧图像中所占的范围的矩形坐标。该坐标例如既可以按照移动物体的外接矩形的“左上角的水平坐标、左上角的垂直坐标、右下角的水平坐标、右下角的垂直坐标”这样的形式来表现，也可以通过矩形中心的坐标、宽度以及高度来表现。被后述的矩形坐标字段833、843以及853保持的矩形坐标也可以是同样地进行表现。
拍摄日期时间字段813保持拍摄到包含各移动物体的图像的帧的日期时间。
帧图像管理信息820包括帧ID字段821、影像ID字段822以及图像数据字段823。
帧ID字段821保持从影像数据提取出的各帧的识别信息(以下，称为帧ID)。影像ID字段822是保持用于识别帧提取源的影像的影像ID的字段，该影像ID与影像数据管理信息300的影像ID字段301中保持的值对应。图像数据帧823是帧的静止图像的二进制数据，保持将检索结果等显示在显示装置104中时所使用的数据。
面部特征量管理信息830包括面部ID字段831、帧ID字段832、矩形坐标字段833以及面部特征量字段834。
面部ID字段831保持通过面部检测部701从帧图像检测到的面部区域的识别信息(以下，称为面部ID)。帧ID字段832保持检测出面部区域的帧的帧ID。该帧ID与帧图像管理信息820的帧ID字段821中保持的信息对应。矩形坐标字段833保持表示检测出的面部区域在帧图像中所占的范围的坐标。面部特征量字段834保持通过面部特征提取部702从所检测出的面部区域提取出的图像特征量。
头部特征量管理信息840包括头部ID字段841、帧ID字段842、矩形坐标字段843以及头部特征量字段844。
头部ID字段841保持通过头部检测部711从帧图像检测到的头部区域的识别信息(以下，称为头部ID)。帧ID字段842保持检测出头部区域的帧的帧ID。该帧ID与帧图像管理信息820的帧ID字段821所保持的信息对应。矩形坐标字段843保持表示检测出的头部区域在帧图像中所占的范围的坐标。头部特征量字段844保持通过头部特征提取部712从所检测出的头部区域提取出的图像特征量。
服饰特征量管理信息850包括服饰ID字段851、帧ID字段852、矩形坐标字段853以及服饰特征量字段854。
服饰ID字段851保持通过服饰检测部721从帧图像检测到的服饰区域的识别信息(以下，称为服饰ID)。帧ID字段852保持检测出服饰区域的帧的帧ID。该帧ID与帧图像管理信息820的帧ID字段821所保持的信息对应。矩形坐标字段853保持表示检测出的服饰区域在帧图像中所占的范围的坐标。服饰特征量字段854保持通过服饰特征提取部722从所检测出的服饰区域提取出的图像特征量。
在检测到上述以外的显著区域，并提取出其特征量的情况下，将与该显著区域所相关的上述同样的信息保持到影像数据库111中。
图9是说明本发明的实施例2的服务器计算机105登记所输入的影像的处理的流程图。以下，按照图9的各步骤进行说明。
首先，影像输入部106对从影像存储装置101或影像拍摄装置102输入的影像数据进行解码，来提取出帧作为静止图像(步骤S901)。
接着，服务器计算机105内的各部针对在步骤S901中提取出的各帧，执行步骤S902～S916。
帧登记部107将所提取出的帧登记在影像数据库111的帧图像管理信息820中(步骤S903)。
移动物体追踪部108从作为处理对象的帧检测出移动物体，将所检测出的移动物体与从之前时刻的帧检测出的移动物体对应起来(步骤S904)。
接着，轨迹特征登记部110将所检测出的移动物体的信息登记在影像数据库111的移动物体管理信息810中(步骤S905)。
接着，移动物体追踪部108判定是否出现了新的移动物体(步骤S906)。可以通过与图4的步骤404相同的方法来进行该判定。
在出现了新的移动物体的情况下，移动物体追踪部108向该新的移动物体赋予新的追踪ID，轨迹特征登记部110将该新的追踪ID、检测出该新的移动物体的影像的影像ID分别登记在影像数据库111的轨迹特征量管理信息800中(步骤S907)。另一方面，在没有出现新的移动物体的情况下，不执行步骤S907。
接着，轨迹特征登记部110按照步骤S904中的对应结果，更新登记在轨迹特征量管理信息800中的移动物体ID(步骤S908)。具体而言，轨迹特征登记部110在判定为在步骤S904中检测出的移动物体重新出现了的情况下，将该移动物体的移动物体ID追加到与在步骤S907中追加的追踪ID对应的移动物体ID字段803，在步骤S904中检测出的移动物体与从之前时刻的帧检测出的移动物体相对应的情况下，将在步骤S904中检测出的移动物体的移动物体ID追加到与该之前时刻的移动物体相同的追踪ID所对应的移动物体ID字段803中。
接着，移动物体追踪部108判定移动物体是否消失(步骤S909)。可以与图4的步骤407同样地进行该判定。
在移动物体消失了的情况下，轨迹特征提取部109从该消失的移动物体的轨迹提取出轨迹特征量(步骤S910)，接着，轨迹特征登记部110将所提取出的轨迹特征量登记在轨迹特征量管理信息800内的轨迹特征量字段804中(步骤S911)。另一方面，在移动物体没有消失的情况下，存在轨迹进一步被延长的可能性，因此不执行步骤S910以及S911。
接着，面部检测部701、头部检测部711以及服饰检测部721分别从作为处理对象的帧图像中检测出面部区域、头部区域以及服饰区域(步骤S912)。可以通过包含公知的方法的任意方法来执行该检测。
接着，面部检测部701、头部检测部711以及服饰检测部721判定各个区域的检测是否成功(步骤S913)。
在面部检测部701成功检测到面部区域的情况下，面部特征提取部702从所检测到的面部区域中提取图像特征量(步骤S914)，面部特征登记部703将表示所检测出的面部区域的范围的坐标以及所提取出的图像特征量分别登记在与作为处理对象的帧的帧ID对应的矩形坐标字段833以及面部特征量字段834中(步骤S915)。
在头部检测部711成功检测到头部区域的情况下，头部特征提取部712从所检测到的头部区域中提取图像特征量(步骤S914)，头部特征登记部713将表示所检测出的头部区域的范围的坐标以及所提取出的图像特征量分别登记在与作为处理对象的帧的帧ID对应的矩形坐标字段843以及头部特征量字段844中(步骤S915)。
在服饰检测部721成功检测到服饰区域的情况下，服饰特征提取部722从所检测到的服饰区域中提取图像特征量(步骤S914)，服饰特征登记部723将表示所检测出的服饰区域的范围的坐标以及所提取出的图像特征量分别登记在与作为处理对象的帧的帧ID对应的矩形坐标字段853以及服饰特征量字段854中(步骤S915)。
若针对所有帧的上述处理结束，则结束登录所输入的影像的处理。
图10是说明本发明的实施例2的服务器计算机105进行的检索处理的流程图。以下，按照图10的各步骤进行说明。
首先，用户决定要在检索中使用的特征量，并输入其结果(步骤S1001)。在此，说明决定在检索中使用轨迹特征量、面部特征量、头部特征量以及服饰特征量的情况。
在如上所述地决定了要在检索中使用的特征量的情况下，服务器计算机105按照任意顺序或并行执行使用了轨迹特征量的检索处理(步骤S1011～1016)、使用了面部特征量的检索处理(步骤S1021～S1023)、使用了头部特征量的检索处理(步骤S1031～S1033)以及使用了服饰特征量的检索处理(步骤S1041～S1043)。
首先，说明使用了轨迹特征量的检索处理(步骤S1011～S1016)。首先，服务器计算机105依次执行步骤S1011～S1014。这些步骤分别与图5的步骤S501～S504相同，因此省略说明。但是，通过多个特征输入部731接收来自用户的输入。接着，用户操作输入装置103来决定轨迹特征量的权重(步骤S1015)。接着，类似向量检索部732从影像数据库111的轨迹特征量管理信息800中检索与在步骤S1013中输入的轨迹类似的轨迹(步骤S1016)。与图5的步骤S505同样地执行该检索处理。
接着，说明使用了面部特征量的检索处理(步骤S1021～S1023)。首先，用户操作输入装置103来设定成为检索关键字的面部(步骤S1021)。接着，用户操作输入装置103来决定面部特征量的权重(步骤S1022)。接着，类似向量检索部732从面部特征量管理信息830中检索与在步骤1021中设定为检索关键字的面部类似的面部(步骤S1023)。具体而言，类似向量检索部732与类似轨迹检索(步骤S505、S1016)同样地，也可以使用在步骤1021设定为检索关键字的面部的图像特征量的向量和在面部特征量管理信息830中保持的面部特征量的向量之间的欧几里得距离，来检索类似的面部。后述的类似头部检索(步骤S1033)以及类似服饰检索(步骤S1043)也进行同样的处理。
接着，说明使用了头部特征量的检索处理(步骤S1031～S1033)。首先，用户操作输入装置103来设定成为检索关键字的头部(步骤S1031)。接着，用户操作输入装置103来决定头部特征量的权重(步骤S1032)。接着，类似向量检索部732从头部特征量管理信息840中检索与在步骤1031中设定为检索关键字的头部类似的头部(步骤S1033)。
接着，说明使用了服饰特征量的检索处理(步骤S1041～S1043)。首先，用户操作输入装置103来设定成为检索关键字的服饰(步骤S1041)。接着，用户操作输入装置103来决定服饰特征量的权重(步骤S1042)。接着，类似向量检索部732从服饰特征量管理信息850中检索与在步骤1031中设定为检索关键字的服饰类似的服饰(步骤S1043)。
接着，检索结果整合部733对步骤S1016、S1023、S1033以及S1043的检索结果进行整合(步骤S1111)。具体而言，检索结果整合部733对将通过检索得到的轨迹特征量、面部特征量、头部特征量以及服饰特征量的类似度分别乘以步骤S1015、S1022、S1032以及S1042决定的权重系数而得的值进行合计，由此得到整合性类似度的分数。此时，检索结果整合部733既可以直接使用所设定的权重系数，也可以将全部特征量的权重系数的合计值规格为1后使用这些系数。
另外，例如可以根据登记在面部特征量管理信息830中的矩形坐标和登记在移动物体管理信息810中的矩形坐标是否重复(或重复到何种程度)，来判定登记在面部特征量管理信息830中的面部特征量是登记在移动物体管理信息810中的哪个人物的面部特征量。对于头部特征量和服饰特征量也同样地进行判定。为了使该判定变得容易，移动物体管理信息810还可以包含用于识别提取出各个移动物体的图像的帧的帧ID。
接着，检索结果整合部733将检索结果和分数输出到显示装置104，显示装置104按照分数的降序显示检索结果(步骤S1121)。
至此，结束检索处理。
图11是本发明的实施例2的由服务器计算机105输出的检索画面的说明图。参照图11，对图10的处理中的用户进行的信息的输入方法和检索结果的显示方法的一例进行说明。
通过实施例2的显示装置104显示的检索画面包括影像再生区域1101、摄像机内追踪结果显示区域1102、全体图像显示区域1103、权重设定区域1104、特征量设定区域1105、检索键1106以及检索结果显示区域1107。
在影像再生区域1101中再生并显示在用户选择的拍摄场所拍摄到的影像。在图11中进行了省略，但为了用户选择拍摄场所，也可以在实施例2的显示装置104显示图6的拍摄场所选择区域601。
若用户指定了所显示的影像中包含的任意一个移动物体，则在该影像内追踪所指定的移动物体而得的结果被显示于摄像机内追踪结果显示区域1102。在此，说明移动物体为人物的例子。例如，也可以按照拍摄日期时间的顺序排列显示从该影像的多个帧图像中切出的、被指定的人物的多个图像。此后执行的检索的目的是将具有与用户指定的特征近似的特征的人物的图像从该影像、在与该影像相同的场所拍摄到的其他影像，或在其他场所拍摄到的影像中检索出，在显示于影像再生区域1101的图像中发现了与该人物为同一个人物(或不是同一个人物但具有类似特征的人物)的图像的情况下，能够指定该图像。
但是，例如像仅将根据目击信息设定的特征量(后述)设定为检索关键字的情况那样，不需要为了设定检索关键字而参照移动物体的图像的情况下，用户不需要指定显示于影像再生区域1101的图像。
在全体图像显示区域1103中示意性地显示移动物体的全体图像。在图11的例子中，显示了包含人物的头部、面部、上半身、下半身、包等区域的人物的示意图。
在权重设定区域1104中显示用于设定各个特征量的权重的滑动条或其他设定单元。在图11的例子中，显示用于设定在全体图像显示区域1103显示的区域和轨迹的各自特征量的权重的滑动条。在图11的例子中显示了与头部、面部、上半身、下半身、包以及轨迹的各自特征量对应的滑动条，但如参照图7～图10说明的那样，既可以显示与头部、面部、服饰以及轨迹对应的滑动条，也可以显示与其他任意的显著区域的特征量对应的滑动条。
在特征量设定区域1105中，如以下要说明的具体例那样，显示特征量的设定画面。
例如，用户在决定在检索中使用轨迹特征量的情况下(步骤S1001)，若从权重设定区域1104选择“轨迹”，并指定拍摄场所ID(步骤S1011)，则在特征量设定区域1105中显示所指定的拍摄场所的背景图像(步骤S1012)。接着，用户在显示于特征量设定区域1105的背景图像上输入成为检索关键字的轨迹(步骤S1013)。可以与实施例1的步骤S503同样地进行该输入。轨迹特征提取部将所输入的轨迹变换为轨迹特征量(步骤S1014)。并且，用户通过操作显示于权重设定区域1104中的、“轨迹”所对应的滑动条，来设定轨迹特征量的权重(步骤S1015)。
或者，用户在决定在检索中使用面部特征量的情况下(步骤S1001)，从权重设定区域1104选择“面部”，设定成为检索关键字的面部(步骤1021)。例如，若在特征量设定区域1105中显示从显示于摄像机内追踪结果显示区域1102的多个图像中切出的多个面部图像，且用户选择了其中的任意一个面部图像，则也可以将所选择的面部图像设定为检索关键字。并且，用户通过操作显示于权重设定区域1104中的、“面部”所对应的滑动条，来设定面部特征量的权重(步骤S1022)。
同样地，用户在决定了在检索中使用头部特征量的情况下(步骤S1001)，从权重设定区域1104选择“头部”，设定成为检索关键字的头部(步骤1031)，并设定头部特征量的权重(步骤S1032)。例如，这些顺序可以与面部特征量以及其权重的设定同样地执行。
并且，用户在决定了在检索中使用服饰特征量的情况下，从权重设定区域1104选择“服饰”(在图11的例子中也可以是“上本身”或“下半身”)，设定成为检索关键字的服饰(步骤1041)，并设定服饰特征量的权重(步骤S1042)。例如，这些步骤可以与面部特征量以及其权重的设定同样地执行。
或者，例如作为服饰特征量而设定了颜色特征量的情况下，也可以不在特征量设定区域1105中显示从显示于摄像机内追踪结果显示区域1102的图像中切出的服饰图像，而是显示颜色样品或颜色盘等，用户选择某个颜色。
在图10中进行了省略，但即使设定其他显著区域(例如，包区域)的特征量的情况下，也能够与上述同样地进行。也可以将所设定的特征量(例如，颜色等)反应到显示于全体图像显示区域1103的人物的示意图中。
若用户操作检索键1106，则针对决定在检索中使用的特征量进行类似向量检索(步骤S1016、S1023、S1033以及S1043)，根据所设定的权重整合检索结果(步骤S1111)，按照分数的顺序将检索结果显示在检索结果显示区域1107中(步骤S1121)。检索结果显示区域1107可以与实施例1的检索结果显示区域604相同，因此省略说明。
如上所述，根据本发明的实施例2，不只与实施例1相同的轨迹特征量，还可以根据1个以上的图像特征量检索移动物体的图像。此时，不只从实际拍摄的图像取得的图像特征量(例如，从显示于影像再生区域1101的影像中切出的面部图像的特征量等)，还可以将用户直接输入的图像特征量(例如，用户根据颜色样本选择出的颜色特征量)指定为检索关键字。或者，例如在得到持有与推定为想要检索的人物所持有的持有物(例如，包)类似的持有物的其他人物的图像的情况下，也可以将从该图像中提取出的持有物的特征量指定为检索关键字。
此外，如上所述地将多个特征量作为检索关键字进行检索的情况下，对这些检索结果加权后进行整合。例如存在用户想要特别重视某个特征量的特征量的情况下，可以增大该特征量的权重。或者，用户例如也可以根据所设定的检索关键字的准确度或使用了准确度的移动物体的识别的容易度等来设定权重。具体而言，例如根据目击信息设定服饰的颜色特征量的情况下，该目击信息的准确度越高越设定大的权重。或者，例如在设定包特征量的情况下，该包越稀少越设定大的权重。或者，服务器计算机105例如也可以判定面部区域所包含的图像的“面部相似度”，以面部相似度越高越设定大的权重的方式自动设定权重。对于其他显著区域也进行同样的设定。
这样，根据本发明的实施例2，不只实际拍摄的作为检索对象的移动物体的图像的特征量，例如也可以将根据目击信息或其他信息推定的一个以上的特征量用作检索关键字，并且任意地设定它们的权重，由此可以实现使用了对来自各种信息源的信息进行整合而得的检索关键字的检索等自由度较高的检索。
实施例3
接着，对本发明的实施例3的图像检索***100进行说明。除了在以下说明的不同点外，实施例3的图像检索***100的各部具有与图1～图6所示的实施例1的赋予了同一符号的各部相同的功能，因此省略其说明。
实施例3的影像数据库111除了实施例1说明的信息外，还具有地图信息以及坐标变换信息。地图信息是包含拍摄到在影像存储装置101中保持的影像的各摄像机，或相当于影像拍摄装置102的各摄像机的拍摄范围的空间的地图信息。例如，设定成各摄像机拍摄具有多个楼层的建筑物内的情况下，地图信息既可以是该建筑物的三维地图信息，也可以是每个楼层的平面图，还可以是其他任意形式的地图信息。
坐标变换信息包括确定从各摄像机拍摄到的影像中提取出的帧图像上的坐标与地图上的坐标之间的变换参数的信息。例如，坐标变换信息可以包含各摄像机的设置位置、拍摄方向以及视角等信息。服务器计算机105可以根据这些信息计算出各摄像机拍摄到的图像上的坐标与地图上的坐标之间的变换参数，并使用变换参数来变换坐标。或者，坐标变换信息也可以包含所计算出的变换参数本身。
图12是本发明的实施例3的图像检索***100执行的使用了地图信息的轨迹检索的说明图。
实施例3的显示装置104在拍摄场所显示区域602中显示包含作为检索对象的拍摄场所的区域(例如，包含该拍摄场所的楼层)的地图，来代替用户指定的拍摄场所的背景图像。图12的地图1201是显示于拍摄场所显示区域602的地图的一例。在地图1201表示的楼层中，设置有5个摄像机作为影像拍摄装置102。在坐标变换信息包含各摄像机的设置位置等信息的情况下，对照地图信息与坐标变换信息，由此能够确定地图1201中的各摄像机的拍摄范围。图12的拍摄范围1201a～1201e是各个摄像机的拍摄范围。
用户可以通过与图6的轨迹606a的输入同样的方法，输入地图1201上的轨迹1202。该轨迹1202是跨多个摄像机的拍摄范围的长轨迹。若从轨迹输入部112接收所输入的轨迹1202在地图上的坐标(在图12的例子中为平面图上的坐标)，则轨迹特征变换部113将该坐标变换为由各摄像机拍摄到的图像上的坐标(在图12的例子中为俯视斜下方的画面上的坐标)。具体而言，例如轨迹特征变换部113从所输入的轨迹1202中切出各摄像机的拍摄范围1201a～1201e各自所包含的部分，根据坐标变换信息，将这些部分的坐标换位为图像上的坐标。可以通过公知的方法来进行这样的变换。
图12所示的图像1203a～1203e是各个摄像机拍摄拍摄范围1201a～1201e而得的图像，其中的箭头所示的轨迹1204a～1204e是将轨迹1202的各个拍摄范围所包含的局部的地图上的坐标变换为画面上的坐标而得的轨迹(即，轨迹1202向摄像机图像上的映像)。例如，沿着轨迹1202移动的人物的图像在图像1203a上沿着轨迹1204a移动。
在步骤S504(图5)中，轨迹特征变换部113进行上述坐标变换，将变换后的轨迹(例如，轨迹1204a～1204e)变换为轨迹特征量。类似向量检索部114根据从轨迹特征变换部113取得的轨迹特征量，进行与实施例1同样的检索，输出其结果。
在步骤S506中，与实施例1同样地，类似向量检索部114也可以将作为检索结果而得的轨迹显示在显示装置104的检索结果显示区域604中作为摄像机图像上的轨迹。具体而言，如图12所示，从一个长轨迹1202得到多个轨迹1204a～1204e，将多个轨迹作为检索关键字而执行检索的情况下，得到与各个轨迹1204a～1204e类似的轨迹作为检索结果。与图6所示的例子同样地，类似向量检索部114也可以将作为检索结果而得到的各个轨迹显示在检索结果显示区域604中。
或者，如参照图13说明的那样，类似向量检索部114既可以将作为检索结果而得的各个摄像机图像上的轨迹变换为地图上的轨迹并显示，也可以连接这样变换后的地图上的多个轨迹而显示为一个轨迹。
图13是本发明的实施例3的由图像检索***100执行的摄像机图像上的轨迹向地图上的轨迹变换的说明图。
图像1301a上的轨迹1302a是作为以图12的轨迹1204a为关键字的检索结果而得到的轨迹的一例。类似向量检索部114可以将包含轨迹1302a的显示的图像1301a直接显示于检索结果显示区域604，但也可以从摄像机图像上的轨迹1302a生成地图1303上的轨迹1304a，并将它们的图像(即，在地图1303的图像上重叠轨迹1304a而得的图像)显示于检索结果显示区域604。类似向量检索部114进行与轨迹特征变换部113执行的坐标变换相反的坐标变换，由此可以从轨迹1302a生成轨迹1302a向地图1303的映像即轨迹1304a。
与实施例1的情况同样地，类似向量检索部114也可以输出与所检索出的轨迹1031a对应的移动物体的图像。在该情况下，显示装置104也可以将该移动物体的图像重叠显示在轨迹1304a上。或者，在显示装置104中，在地图1303上仅显示变换后的轨迹，也可以与之独立地，显示与所检索出的移动轨迹对应的移动物体的摄像机图像。
通过同样的处理，在作为检索结果而得到例如图像1301b上的轨迹1302b的情况下，类似向量检索部114也可以将轨迹1302b变换为地图1303上的轨迹1304b，使轨迹1304b与地图1303重叠地显示于检索结果显示区域604。
并且，类似向量检索部114在轨迹1304a和1304b满足预定条件的情况下，也可以生成连接了这些轨迹的一个轨迹1305，使轨迹1305与地图1303重叠地显示于检索结果显示区域604。
具体而言，例如根据从轨迹特征量管理信息320所保持的轨迹1302a的结束日期时间到轨迹1302b的开始日期时间的期间、从轨迹1304a的终点坐标到轨迹1304b的终点坐标的距离计算出的移动速度被判定为物理上可能的范围内，并且，与各个轨迹对应的图像的特征量类似的情况下，也可以将轨迹1304a以及1304b判定为同一人物的连续的轨迹，连接这些轨迹。为了进行这样的判定，实施例3的影像数据库111也可以包含与实施例2所示的面部特征量管理信息830、头部特征量管理信息840以及服饰特征量管理信息850相同的信息。
类似向量检索部114同样地还连接其他轨迹，由此可以使与轨迹1202类似的长轨迹显示于检索结果显示区域604的地图上。
另外，参照图13说明的检索结果的显示也可以与参照图12说明的轨迹的输入独立地进行。例如，用户通过与实施例1同样的方法输入轨迹，作为检索结果而得到与该轨迹类似的轨迹的情况下，也可以如图13所示那样显示该检索结果的轨迹。
根据以上的本发明的实施例3，输入在地图上描绘的移动物体的轨迹，能够检索与之类似的摄像机图像上的轨迹，并且可以将检索结果显示为在地图上描绘的轨迹。由此，容易掌握根据由摄像机拍摄到的影像以外的信息源(例如，目击信息等)确定的轨迹的输入以及作为检索结果而得到的轨迹。
实施例4
接着，对本发明的实施例4的图像检索***100进行说明。除了在以下说明的不同点外，实施例4的图像检索***100的各部具有与图1～图6所示的实施例1的赋予了同一符号的各部相同的功能，因此省略其说明。
图14是本发明的实施例4的由服务器计算机105输出的检索画面的说明图。
在实施例4中，用户可以操作输入装置103来输入成为检索关键字的多个移动物体的轨迹。例如，在显示装置104为兼做输入装置103的触摸面板的情况下，用户也可以同时滑动2个指示单元(例如，2根手指或2支笔)来同时输入轨迹606a以及606d。轨迹输入部112将这样同时输入的2条轨迹处理为1组。或者，用户也可以使用1个指示单元或通过输入装置103即鼠标来移动指示器605，由此依次输入轨迹606a以及606d，并且输入用于指定这些轨迹为1组的信息。轨迹输入部112将这样指定的2条轨迹处理为1组。
轨迹特征变换部113将一组所包含的2条轨迹分别变换为轨迹特征量，类似向量检索部114检索与2条轨迹的组类似的组。具体而言，例如，类似向量检索部114也可以根据轨迹特征量检索与轨迹606a类似的形状的轨迹，并且，检索与轨迹606d类似的形状的轨迹。然后，类似向量检索部114在例如检索出与轨迹606a类似的形状的轨迹606b，与轨迹606d类似的形状的轨迹606e的情况下，也可以根据轨迹606a与轨迹606b的形状的类似度、轨迹606d与轨迹606e的形状的类似度以及轨迹606b与轨迹606e的开始日期时间和结束日期时间的类似度，来计算轨迹606a以及606的组、轨迹606b以及606e的组之间的类似度的分数。
类似向量检索部114也可以对其他检索出的轨迹的组也同样地计算类似度分数，并按照类似度分数在检索结果显示区域604中显示检索结果。在图14的例子中，显示包含轨迹606b以及606e的图像604a、包含轨迹606c以及606f的图像604b。并且，还可以显示与各个轨迹606b、606c、606e以及606f对应的移动物体607a、607b、607c以及607d的图像。
实施例1的服务器计算机105也可以通过与上述同样的方法接收3条以上轨迹的输入，检索与这些轨迹的组类似的轨迹的组。此外，用户例如也可以输入1条轨迹606a，并且，输入表示该轨迹606a为包含多个移动物体的组的轨迹的信息。例如，用户也可以在轨迹606a的起点输入圆形的图形等表示组的预定图形，使该图形向轨迹606a形状移动，由此将轨迹606a作为轨迹的组而输入。此时，用户还可以输入用于指定轨迹的组所包含的轨迹的条数的信息。
在这样输入了轨迹的组的情况下，类似向量检索部114例如通过与上述同样的方法来检索形状、开始日期时间以及结束日期时间与轨迹606a类似的、所指定的条数的轨迹的组，并输出其结果。
在本发明的实施例2中，也可以如上所述地指定多个移动物体的轨迹。在该情况下，用户还可以指定这些多个移动物体的至少一个图像特征量(例如，面部特征量等)。在该情况下，类似向量检索部732除了与上述的类似向量检索部114同样的检索外，还执行与实施例2同样的基于图像特征量的检索，检索结果整合部733对这些检索结果进行整合并输出。
根据以上的本发明的实施例4，也能够容易地检索包含多个移动物体的移动物体的组。
另外，本发明并不局限于上述的实施例，还可以包括各种变形例。例如，上述的实施例是为了便于理解本发明而进行的详细说明，并不一定必须具备说明的所有结构。此外，可以将某实施例的结构的一部分置换成其他实施例的结构，或者，也可以对某实施例的结构追加其他实施例的结构。此外，可以对各实施例的结构的一部分进行其他结构的追加/删除/置换。
关于上述的各结构、功能、处理部、处理单元等，其中的一部分或全部例如可以通过用集成电路设计等而以硬件实现。此外，关于上述的各结构、功能等，也可以通过由处理器解释、执行用于实现各种功能的程序而以软件实现。可以将实现各功能的程序、表格、文件等信息存储在存储器、硬盘驱动器、SSD(Solid State Drive，固态硬盘)等存储装置中，或IC卡、SD卡、DVD等计算机可读取的非暂时性数据存储介质中。
此外，在附图中示出了为了说明实施例而认为必要的控制线以及信息线，但并不限定必须示出应用了本发明的实际的产品所包含的全部的控制线以及信息线。实际上，也可以认为几乎所有的结构相互连接。

Claims (7)

1.一种图像检索***，具有：拍摄影像的拍摄部；具备存储部、检索所述影像中包含的图像的检索部；接受向所述检索部输入的信息的输入部以及显示从所述检索部输出的信息的显示部，其中
所述存储部保持用于表示轨迹的形状的信息，该轨迹表示从所述影像提取出的多个移动物体的移动路径，
所述检索部进行如下处理：在从所述输入部输入了表示轨迹的形状的信息时，从所述存储部中保持的所述多个移动物体的轨迹中检索与所述输入的轨迹的形状类似的轨迹，将沿着所述检索出的轨迹移动后的所述移动物体的图像显示在所述显示部中，
其特征在于，
所述存储部还保持表示从所述影像提取出的多种图像区域的图像特征量的信息，
所述检索部还进行如下处理：在除了表示所述轨迹的形状的信息外，还从所述输入部输入了表示一种以上的图像区域的图像特征量的信息、表示所述轨迹的形状的特征量以及所述一种以上的图像区域的图像特征量的各自权重的信息时，根据所述输入的轨迹的形状与所述存储部中保持的所述多个移动物体的轨迹的形状的类似度、所述输入的一种以上的图像区域的图像特征量与所述存储部中保持的图像特征量的类似度以及所述权重来计算类似度的分数，并按照所述类似度的分数的顺序，将沿着所述检索出的轨迹移动后的所述移动物体的图像显示在所述显示部中。
2.一种图像检索***，具有：拍摄影像的拍摄部；具备存储部、检索所述影像中包含的图像的检索部；接受向所述检索部输入的信息的输入部以及显示从所述检索部输出的信息的显示部，其中
所述存储部保持用于表示轨迹的形状的信息，该轨迹表示从所述影像提取出的多个移动物体的移动路径，
所述检索部进行如下处理：在从所述输入部输入了表示轨迹的形状的信息时，从所述存储部中保持的所述多个移动物体的轨迹中检索与所述输入的轨迹的形状类似的轨迹，将沿着所述检索出的轨迹移动后的所述移动物体的图像显示在所述显示部中，
其特征在于，
所述存储部还保持由所述拍摄部拍摄到的空间的地图信息、确定所述空间的地图上的坐标与由所述拍摄部拍摄到的影像上的坐标之间的变换参数的变换信息，
所述检索部还进行如下处理：使所述空间的地图显示在所述显示部中，在被输入了表示所述空间的地图上的轨迹的形状的信息时，根据所述变换信息，将所述输入的轨迹的形状变换为由所述拍摄部拍摄到的影像上的轨迹的形状，从所述存储部中保持的所述多个移动物体的轨迹中，检索与所述变换后的轨迹的形状类似的轨迹。
3.一种图像检索***，具有：拍摄影像的拍摄部；具备存储部、检索所述影像中包含的图像的检索部；接受向所述检索部输入的信息的输入部以及显示从所述检索部输出的信息的显示部，其中
所述存储部保持用于表示轨迹的形状的信息，该轨迹表示从所述影像提取出的多个移动物体的移动路径，
所述检索部进行如下处理：在从所述输入部输入了表示轨迹的形状的信息时，从所述存储部中保持的所述多个移动物体的轨迹中检索与所述输入的轨迹的形状类似的轨迹，将沿着所述检索出的轨迹移动后的所述移动物体的图像显示在所述显示部中，
其特征在于，
所述存储部还保持由所述拍摄部拍摄到的空间的地图信息、确定所述空间的地图上的坐标与由所述拍摄部拍摄到的影像上的坐标之间的变换参数的变换信息，
所述检索部还根据所述变换信息，将所述检索出的轨迹的形状变换为所述空间的地图上的轨迹的形状，使所述空间的地图和所述变换后的轨迹的形状显示在所述显示部中。
4.一种图像检索装置，具有处理器和与所述处理器连接的存储部，其中，
所述存储部保持用于表示轨迹的形状的信息，该轨迹表示从由拍摄部拍摄的影像中提取出的多个移动物体的移动路径，
所述处理器进行如下处理：在被输入了表示轨迹的形状的信息时，从所述存储部中保持的所述多个移动物体的轨迹中检索与所述输入的轨迹的形状类似的轨迹，输出沿着所述检索出的轨迹移动后的所述移动物体的图像，
其特征在于，
所述存储部还保持表示从所述影像提取出的多种图像区域的图像特征量的信息，
所述处理器还进行如下处理：在除了表示所述轨迹的形状的信息外，还被输入了表示一种以上的图像区域的图像特征量的信息、表示所述轨迹的形状的特征量以及所述一种以上的图像区域的图像特征量各自的权重的信息时，根据所述输入的轨迹的形状与所述存储部中保持的所述多个移动物体的轨迹的形状的类似度、所述输入的一种以上的图像区域的图像特征量与所述存储部中保持的图像特征量的类似度以及所述权重来计算类似度的分数，并输出用于将沿着所述检索出的轨迹移动后的所述移动物体的图像按照所述类似度的分数的顺序显示的信息。
5.一种图像检索装置，具有处理器和与所述处理器连接的存储部，其中
所述存储部保持用于表示轨迹的形状的信息，该轨迹表示从由拍摄部拍摄的影像中提取出的多个移动物体的移动路径，
所述处理器进行如下处理：在被输入了表示轨迹的形状的信息时，从所述存储部中保持的所述多个移动物体的轨迹中检索与所述输入的轨迹的形状类似的轨迹，输出沿着所述检索出的轨迹移动后的所述移动物体的图像，
其特征在于，
所述存储部还保持由所述拍摄部拍摄到的空间的地图信息、确定所述空间的地图上的坐标与由所述拍摄部拍摄到的影像上的坐标之间的变换参数的变换信息，
所述处理器还进行如下处理：输出所述空间的地图，在被输入了表示所述空间的地图上的轨迹的形状的信息时，根据所述变换信息，将所述输入的轨迹的形状变换为由所述拍摄部拍摄到的影像上的轨迹的形状，从所述存储部所保持的所述多个移动物体的轨迹中，检索与所述变换后的轨迹的形状类似的轨迹。
6.一种图像检索装置，具有处理器和与所述处理器连接的存储部，其中
所述存储部保持用于表示轨迹的形状的信息，该轨迹表示从由拍摄部拍摄的影像中提取出的多个移动物体的移动路径，
所述处理器进行如下处理：在被输入了表示轨迹的形状的信息时，从所述存储部中保持的所述多个移动物体的轨迹中检索与所述输入的轨迹的形状类似的轨迹，输出沿着所述检索出的轨迹移动后的所述移动物体的图像，
其特征在于，
所述存储部还保持由所述拍摄部拍摄到的空间的地图信息、确定所述空间的地图上的坐标与由所述拍摄部拍摄到的影像上的坐标之间的变换参数的变换信息，
所述处理器还根据所述变换信息，将所述检索出的轨迹的形状变换为所述空间的地图上的轨迹的形状，输出表示所述空间的地图和所述变换后的轨迹的形状的信息。
7.一种由图像检索***执行的图像检索方法，该图像检索***具有：拍摄影像的拍摄部；具有处理器和存储部，检索所述影像所包含的图像的检索部；接受向所述检索部输入的信息的输入部以及显示从所述检索部输出的信息的显示部，其中
所述存储部保持用于表示轨迹形状的信息，该轨迹表示从所述影像提取出的多个移动物体的移动路径，
所述图像检索方法包括如下过程：
在从所述输入部输入了表示轨迹的形状的信息时，所述检索部从所述存储部所保持的所述多个移动物体的轨迹中检索与所述输入的轨迹的形状类似的轨迹的过程；以及
所述检索部将沿着所述检索出的轨迹移动后的所述移动物体的图像显示在所述显示部中的过程；
其特征在于，所述图像检索方法还包括如下过程：
所述存储部还保持表示从所述影像提取出的多种图像区域的图像特征量的信息的过程，
所述检索部还进行如下的过程：在除了表示所述轨迹的形状的信息外，还从所述输入部输入了表示一种以上的图像区域的图像特征量的信息、表示所述轨迹的形状的特征量以及所述一种以上的图像区域的图像特征量的各自权重的信息时，根据所述输入的轨迹的形状与所述存储部中保持的所述多个移动物体的轨迹的形状的类似度、所述输入的一种以上的图像区域的图像特征量与所述存储部中保持的图像特征量的类似度以及所述权重来计算类似度的分数，并按照所述类似度的分数的顺序，将沿着所述检索出的轨迹移动后的所述移动物体的图像显示在所述显示部中。
CN201580002030.9A 2014-01-31 2015-01-14 图像检索***、图像检索装置以及图像检索方法 Active CN105593855B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014016813A JP6225039B2 (ja) 2014-01-31 2014-01-31 画像検索システム、画像検索装置及び画像検索方法
JP2014-016813 2014-01-31
PCT/JP2015/050786 WO2015115179A1 (ja) 2014-01-31 2015-01-14 画像検索システム、画像検索装置及び画像検索方法

Publications (2)

Publication Number Publication Date
CN105593855A CN105593855A (zh) 2016-05-18
CN105593855B true CN105593855B (zh) 2019-01-08

Family

ID=53756756

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580002030.9A Active CN105593855B (zh) 2014-01-31 2015-01-14 图像检索***、图像检索装置以及图像检索方法

Country Status (5)

Country Link
US (1) US10074186B2 (zh)
JP (1) JP6225039B2 (zh)
CN (1) CN105593855B (zh)
SG (1) SG11201606262TA (zh)
WO (1) WO2015115179A1 (zh)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014208524A1 (de) * 2014-05-07 2015-11-12 Robert Bosch Gmbh Ortsgebundene verkehrsanalyse mit erkennung eines verkehrspfads
EP3179443A4 (en) * 2014-08-05 2017-08-02 Panasonic Corporation Correcting and verifying method, and correcting and verifying device
US11006162B2 (en) * 2015-08-31 2021-05-11 Orcam Technologies Ltd. Systems and methods for analyzing information collected by wearable systems
JP6627365B2 (ja) * 2015-09-24 2020-01-08 富士通株式会社 情報処理方法、情報処理装置、及びプログラム
CN105388993B (zh) * 2015-11-09 2018-09-18 小米科技有限责任公司 一种具有指纹识别功能的终端
JP6649231B2 (ja) * 2016-11-18 2020-02-19 株式会社東芝 検索装置、検索方法およびプログラム
JP6930126B2 (ja) * 2017-02-13 2021-09-01 日本電気株式会社 人物検出システム
JP6813086B2 (ja) * 2017-05-15 2021-01-13 富士通株式会社 演技表示プログラム、演技表示方法および演技表示装置
CN108182218B (zh) * 2017-12-21 2021-11-19 深圳先进技术研究院 一种基于地理信息***的视频人物识别方法、***及电子设备
CN110554420B (zh) * 2018-06-04 2022-06-28 百度在线网络技术（北京）有限公司 设备轨迹获取方法、装置、计算机设备及存储介质
CN112352230B (zh) * 2018-06-28 2021-08-27 三菱电机株式会社 检索装置、检索方法及机器学习装置
SG10201807675TA (en) * 2018-09-06 2020-04-29 Nec Asia Pacific Pte Ltd Duration and Potential Region of Interest for Suspicious Activities
JP7018001B2 (ja) * 2018-09-20 2022-02-09 株式会社日立製作所 情報処理システム、情報処理システムを制御する方法及びプログラム
JP6573346B1 (ja) * 2018-09-20 2019-09-11 パナソニック株式会社 人物検索システムおよび人物検索方法
CN109614897A (zh) * 2018-11-29 2019-04-12 平安科技（深圳）有限公司 一种室内查找物品的方法及终端
JP7274298B2 (ja) * 2019-02-12 2023-05-16 株式会社コア 撮像装置、撮像方法及び撮像プログラム
JP7183085B2 (ja) * 2019-03-14 2022-12-05 株式会社東芝 移動体行動登録装置、移動体行動登録システム、移動体行動登録方法、移動体行動登録プログラム、及び移動体行動決定装置
JP7256390B2 (ja) * 2019-08-30 2023-04-12 富士通株式会社 分析対象取得装置、分析対象取得方法及び分析対象取得プログラム
JP7205457B2 (ja) * 2019-12-23 2023-01-17 横河電機株式会社 装置、システム、方法およびプログラム
KR102656084B1 (ko) * 2020-02-25 2024-04-11 한국전자통신연구원 이동경로 기반 객체 매핑 방법 및 장치
US11599253B2 (en) * 2020-10-30 2023-03-07 ROVl GUIDES, INC. System and method for selection of displayed objects by path tracing
US20220137700A1 (en) * 2020-10-30 2022-05-05 Rovi Guides, Inc. System and method for selection of displayed objects by path tracing
US20230040567A1 (en) * 2021-08-05 2023-02-09 MedikEquip LLC Apparatus and method for positioning a body part
CN115630191B (zh) * 2022-12-22 2023-03-28 成都纵横自动化技术股份有限公司 基于全动态视频的时空数据集检索方法、装置及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102567380A (zh) * 2010-12-28 2012-07-11 沈阳聚德视频技术有限公司 在视频图像中检索车辆信息的方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11259502A (ja) * 1998-03-11 1999-09-24 Mitsubishi Electric Corp 映像情報表示装置
JP3278623B2 (ja) 1999-01-06 2002-04-30 日本電気株式会社 地図３次元化システム，地図３次元化方法および地図３次元化用プログラムを記憶した記憶媒体
US7072398B2 (en) * 2000-12-06 2006-07-04 Kai-Kuang Ma System and method for motion vector generation and analysis of digital video clips
JP3984134B2 (ja) * 2002-09-24 2007-10-03 日本電信電話株式会社 移動軌跡データ検索用インデックス生成装置及びその方法と、移動軌跡データ検索装置及びその方法と、移動軌跡データ検索用インデックス生成プログラム及びそのプログラムを記録した記録媒体と、移動軌跡データ検索プログラム及びそのプログラムを記録した記録媒体
US8537219B2 (en) * 2009-03-19 2013-09-17 International Business Machines Corporation Identifying spatial locations of events within video image data
CN102460535B (zh) * 2009-06-11 2014-09-03 丰田自动车株式会社 车辆行驶位置判定方法及车辆行驶位置判定装置
JP5248685B1 (ja) 2012-01-20 2013-07-31 楽天株式会社 動画検索装置、動画検索方法、記録媒体、ならびに、プログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102567380A (zh) * 2010-12-28 2012-07-11 沈阳聚德视频技术有限公司 在视频图像中检索车辆信息的方法

Also Published As

Publication number Publication date
CN105593855A (zh) 2016-05-18
WO2015115179A1 (ja) 2015-08-06
US10074186B2 (en) 2018-09-11
JP6225039B2 (ja) 2017-11-01
US20160343147A1 (en) 2016-11-24
SG11201606262TA (en) 2016-09-29
JP2015143921A (ja) 2015-08-06

Similar Documents

Publication Publication Date Title
CN105593855B (zh) 图像检索***、图像检索装置以及图像检索方法
JP7335274B2 (ja) ジオロケーションの予測のためのシステムおよび方法
Rashid et al. Window-warping: a time series data augmentation of imu data for construction equipment activity identification
KR101804383B1 (ko) 요약 영상 브라우징 시스템 및 방법
US7911482B1 (en) Method and system for efficient annotation of object trajectories in image sequences
US6587574B1 (en) System and method for representing trajectories of moving objects for content-based indexing and retrieval of visual animated data
CN102737228B (zh) 显示控制设备、显示控制方法和程序
JP6723748B2 (ja) 画像管理装置、画像管理方法及びプログラム
CN107491258A (zh) 用于在分屏模式下操纵窗口的设备、方法和图形用户界面
CN105210012A (zh) 用于与触敏表面一起使用的虚拟工具
CN105051755A (zh) 用于姿势识别的部位和状态检测
JPWO2014132349A1 (ja) 画像解析装置、画像解析システム、画像解析方法
KR20160062565A (ko) 디바이스 및 디바이스의 필기 컨텐트 제공 방법
CN109727275A (zh) 目标检测方法、装置、***和计算机可读存储介质
CN104997514A (zh) 康复辅助***
EP3712850A1 (en) Image processing device, image processing method, and image processing system
CN106445146B (zh) 用于头盔显示器的手势交互方法与装置
Senst et al. Detecting people carrying objects utilizing lagrangian dynamics
JP6052533B2 (ja) 特徴量抽出装置および特徴量抽出方法
JP2014524170A5 (zh)
CN110779460B (zh) 离线指导装置、测量控制装置和存储介质
CN110910478B (zh) Gif图生成方法、装置、电子设备及存储介质
Voulodimos et al. Kinematics-based extraction of salient 3D human motion data for summarization of choreographic sequences
JP2013164667A (ja) 映像検索装置、映像検索方法、および映像検索用プログラム
CN108921073A (zh) 一种基于多尺度时空区别性显著图的非刚性目标追踪模型

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant