CN102668548A - 视频信息处理方法和视频信息处理设备 - Google Patents

视频信息处理方法和视频信息处理设备 Download PDF

Info

Publication number
CN102668548A
CN102668548A CN2010800578219A CN201080057821A CN102668548A CN 102668548 A CN102668548 A CN 102668548A CN 2010800578219 A CN2010800578219 A CN 2010800578219A CN 201080057821 A CN201080057821 A CN 201080057821A CN 102668548 A CN102668548 A CN 102668548A
Authority
CN
China
Prior art keywords
video
capture
capture video
video information
metadata
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2010800578219A
Other languages
English (en)
Other versions
CN102668548B (zh
Inventor
穴吹真秀
片野康生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN102668548A publication Critical patent/CN102668548A/zh
Application granted granted Critical
Publication of CN102668548B publication Critical patent/CN102668548B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
    • G06F16/786—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content using motion, e.g. object motion or camera motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/7867—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, title and artist information, manually generated time, location and usage information, user ratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/30—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Business, Economics & Management (AREA)
  • Databases & Information Systems (AREA)
  • Economics (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Television Signal Processing For Recording (AREA)
  • Image Analysis (AREA)

Abstract

期望检查不同日期所进行的特定行动的差异。针对不同日期所拍摄的现实空间的多个视频的各个视频，来识别该现实空间的人物的行动。对多个拍摄视频的各个拍摄视频中的动作量进行分析。基于动作量，从包括人物的特定行动的多个视频中提取多个比较对象视频。在三维虚拟空间中重构各比较对象视频，以使得生成表示多个比较对象视频中的一个比较对象视频的人物行动与另一比较对象视频的人物行动之间的差异的视频信息。显示所生成的视频信息。

Description

视频信息处理方法和视频信息处理设备
技术领域
本发明涉及一种用于使人物行动的多个拍摄视频之间的差异可视化的方法及设备。
背景技术
在由于疾病或伤害而导致身体残疾的人的重新复原(以下简称为复原)中，利用了拍摄视频。更具体地，定期地拍摄进行特定复原计划或特定日常行动的残疾者的视频。然后，将不同日期所拍摄的视频连续地或并行地进行显示，从而明确地可视化行动期间的姿势或行动速度的差异。行动差异的可视化对于残疾者检查自身复原效果而言是非常有用的。
为了使行动差异可视化，需要不同日期在相同条件下所拍摄的相同行动的视频。因此，这些视频可能是在如下环境中所拍摄的，其中该环境允许残疾者于不同日期在相同条件下进行相同行动。由于需要复原的残疾者难以通过他们自己拍摄自身行动的视频，因此这些残疾者通常在与诸如治疗师等的专家进行约定之后通过专家来拍摄视频。然而，在自己家中进行复原的残疾者难以准备这种视频。
专利文献1公开了如下技术：通过对拍摄视频进行分析和分类并针对各类别记录拍摄视频，来实现对特定场景的拍摄视频的高速检索。利用该技术，可以针对相同条件下所进行的各个行动来分类拍摄视频。然而，即使对拍摄视频进行了分类，也仅有诸如治疗师等的专家才能够识别分类后的视频中的哪个视频对于了解其病人的状况是有用的。因此，遗憾的是，从分类后的视频中选择比较对象视频是困难的。
引文列表
专利文献
专利文献1：日本特开2004-145564
发明内容
在本发明中，显示了帮助用户检查自身的特定行动的动作差异的视频。
根据本发明的第一方面，提供一种视频信息处理设备，包括：识别单元，用于在现实空间的多个拍摄视频的各个拍摄视频中识别现实空间的事件；分类单元，用于将与识别出的各事件有关的元数据添加到相应的拍摄视频，以对拍摄视频进行分类；检索单元，用于基于所添加的元数据，从分类后的拍摄视频中检索特定事件的多个拍摄视频；分析单元，用于对检索到的多个视频的各个视频中的动作的特征进行分析；以及选择单元，用于基于针对检索到的视频进行分析得到的动作的特征的差异，从检索到的视频中选择两个以上的视频。
根据本发明的另一方面，提供一种视频信息处理设备，包括：分析单元，用于对现实空间的多个拍摄视频的各个拍摄视频中的动作的特征进行分析；分类单元，用于将与分析得到的各动作的特征有关的元数据添加到相应的拍摄视频，以对拍摄视频进行分类；检索单元，用于基于所添加的元数据，检索多个拍摄视频；识别单元，用于在检索到的多个视频的各个视频中识别现实空间的事件；以及选择单元，用于基于检索到的各视频中识别出的事件，从检索到的视频中选择两个以上的拍摄视频。
根据本发明的又一方面，提供一种视频信息处理方法，包括以下步骤：在现实空间的多个拍摄视频的各个拍摄视频中识别现实空间的事件；将与识别出的各事件有关的元数据添加到相应的拍摄视频，以对拍摄视频进行分类；基于所述元数据，从分类后的拍摄视频中检索特定事件的多个拍摄视频；对检索到的多个视频的各个视频中的动作的特征进行分析；基于针对检索到的视频进行分析得到的动作的特征的差异，从检索到的视频中选择两个以上的视频；以及基于所选择的视频，生成要显示的视频信息。
根据本发明的另一方面，提供一种视频信息处理方法，包括以下步骤：
对现实空间的多个拍摄视频的各个拍摄视频中的动作的特征进行分析；将与分析得到的各动作的特征有关的元数据添加到相应的拍摄视频，以对拍摄视频进行分类；基于所添加的元数据，检索多个拍摄视频；在检索到的多个视频的各个视频中识别现实空间的事件；
基于检索到的各视频中识别出的事件，从检索到的视频中选择两个以上的拍摄视频；以及基于所选择的视频，生成要显示的视频信息。
根据本发明的又一方面，提供一种使计算机执行上述视频信息处理方法的各个步骤的程序。
根据本发明的另一方面，提供一种用于存储使计算机执行上述视频信息处理方法的各个步骤的程序的存储介质。
通过以下参考附图对典型实施例的说明，本发明的其它特征将变得明显。
附图说明
图1是示出根据本发明第一典型实施例的视频信息处理设备的结构的框图。
图2是示出根据本发明第一典型实施例的视频信息处理设备的处理的流程图。
图3是示出根据本发明第一典型实施例的、通过所选择视频生成视频信息的例子的图。
图4是示出根据本发明第二典型实施例的视频信息处理设备的结构的框图。
图5是示出根据本发明第二典型实施例的视频信息处理设备的处理的流程图。
图6是示出根据本发明第二典型实施例的拍摄视频的例子的图。
具体实施方式
现在将参考附图来详细说明本发明的优选实施例。应该注意，除非特别说明，否则在这些实施例所述的元件、数值表达式和数值的相关配置不限于本发明的范围。
以下将参考附图来详细说明本发明的典型实施例。
第一典型实施例
概况
以下将参考附图来说明根据第一典型实施例的视频处理设备的结构和处理。
结构100
图1是示出根据第一典型实施例的视频信息处理设备100的概况的图。如图1所示，视频信息处理设备100包括获取单元101、识别单元102、分析单元103、提取单元104、生成单元105和显示单元106。提取单元104包括分类单元104-1、检索单元104-2和选择单元104-3。
获取单元101获取拍摄视频。例如，使用安装在一般家庭中并且持续拍摄室内空间的视频的摄像机作为获取单元101。获取单元101还获取诸如摄像机参数和拍摄日期/时间等的拍摄信息，作为元数据。除了摄像机，诸如麦克风、人体传感器和安装在地板上的压力传感器等的传感器也可以用作获取单元101。将所获取的视频和元数据输出至识别单元102。
在从获取单元101接收到拍摄视频和元数据之后，识别单元102识别与拍摄视频中所包括的人物或物体有关的事件。例如，识别处理包括人物识别处理、面部识别处理、面部表情识别处理、人物或物***置/姿势识别处理、人物行动识别处理和一般物体识别处理。将与识别出的事件、拍摄视频和元数据有关的信息发送到分类单元104-1。
分类单元104-1基于识别出的事件和元数据，将拍摄视频分类至相应类别。预先准备一个以上的类别。例如，当视频包括从行动所识别出的事件“步行”和从人物识别处理所识别出的事件“A先生”、并且该视频具有表示“早晨进行拍摄”的元数据时，将该视频分类至类别“移动”或“早晨的A先生”。将所确定出的用作新的元数据的类别记录在记录介质107上。
基于元数据，检索单元104-2从分类后的视频中检索并提取检查对象事件的视频。例如，检索单元104-2可以检索具有获取单元101所获取的元数据“早晨”或分类单元104-1分类后的元数据“移动”的拍摄视频。将所提取的视频和元数据发送到分析单元103和选择单元104-3。
分析单元103对从检索单元104-2发送来的各个视频进行定量分析。识别单元102识别拍摄视频中的事件(谁、什么、哪个、以及何时)，而分析单元103分析拍摄视频中的动作的细节(如何动作)。例如，分析单元103对拍摄视频中人物的腕关节角度、步行动作频率、抬脚高度和步行速度进行分析。将分析结果发送到选择单元104-3。
选择单元104-3基于元数据和分析结果来选择多个可比较视频。例如，选择单元104-3从所检索到的具有指定元数据的视频中选择两个可比较视频。将所选择的视频发送到生成单元105。
生成单元105生成明确地表示所选择的视频中所包括的行动的差异的视频信息。例如，生成单元105通过使用仿射变换对所选择的两个视频的相应帧进行叠加来生成视频，以使得在相同的位置处显示被摄体的右脚的动作。生成单元105还可以使所显示的右脚突出显示。另外，生成单元105可以生成三维重构视频。将所生成的视频信息发送到显示单元106。另外，生成单元105可以并行地显示所选择的两个视频的元数据。
显示单元106将所生成的视频信息显示在显示器上。
根据本典型实施例的视频信息处理设备100具有上述结构。
处理1
现在将参考图2的流程图来说明根据本典型实施例的视频信息处理设备100所执行的处理。根据流程图的程序代码存储在根据本典型实施例的视频信息处理设备100内的诸如随机存取存储器(RAM)或只读存储器(ROM)等的存储器内，并且由中央处理单元(CPU)或微处理单元(MPU)读出并执行。与数据的发送和接收有关的处理可直接执行或经由网络而执行。
获取
在步骤S201中，获取单元101获取现实空间的拍摄视频。
例如，安装在一般家庭中的摄像机持续地拍摄室内空间的视频。摄像机可以安装在天花板或墙壁上。摄像机可以被固定或容纳于诸如地板、桌台和电视机等的家具和固定件。装配至机器人或人体的摄像机可以在空间内移动。摄像机可以使用广角镜头来拍摄整个空间的视频。诸如平摇倾斜参数和变焦参数等的摄像机参数可以是固定的或可变的。可以利用多个摄像机从多个视点拍摄空间的视频。
获取单元101还获取用作元数据的拍摄信息。例如，拍摄信息包括摄像机参数和拍摄日期/时间。获取单元101还可以从摄像机以外的传感器中获取元数据。例如，获取单元101可以获取如下信息：麦克风所收集到的音频数据；人体传感器所检测到的人物有无信息；以及压力传感器所测量到的地板压力分布信息。
将所获取的视频和元数据输出至识别单元102。然后，处理进入步骤S202。
识别
在步骤S202中，在从获取单元101接收到拍摄视频和元数据之后，识别单元102对与拍摄视频中的人物或物体有关的事件进行定性识别。
例如，识别单元102执行诸如人物识别处理、面部识别处理、面部表情识别处理、人物或物***置/姿势识别处理、人物行动识别处理和一般物体识别处理等的识别处理。识别处理不限于一种识别处理，还可以以组合的方式执行多种识别处理。
在识别处理中，可以根据需要使用从获取单元101输出的元数据。例如，可以使用从麦克风所获取到的音频数据作为元数据。
识别单元102可能由于视频的持续时间短而无法使用从获取单元101所接收到的拍摄视频来执行识别处理。在这种情况下，识别单元102可以存储所接收到的视频，然后处理返回至步骤S201。可以重复上述步骤，直到累积了充分长的足以用于进行识别处理的拍摄视频为止。可以使用美国公开专利2007/0237387所公开的识别处理。
将与识别出的事件、拍摄视频和元数据有关的信息发送到分类单元104-1。然后，处理进入步骤S203。
分类
在步骤S203中，基于识别出的事件和元数据，分类单元104-1将拍摄视频分类至预先准备的多个类别中相应的一个或多个类别中。
类别是能够使人物的复原效果可视化的相关事件(什么、谁、哪个、何时、以及何地)。例如，当视频包括从行动所识别出的事件“步行”和从人物识别处理所识别出的事件“A先生”、并且该视频具有元数据“早晨进行拍摄”时，将该视频分类至类别“移动”或“早晨的A先生”。专家可以基于他们的知识来预先输入这些类别。
从识别单元102所接收到的所有拍摄视频并非都被分类至上述类别。可选地，可以将不属于任何类别的视频收集放入类别“其它”中。
例如，现在将说明针对包括多个人的拍摄视频的分类处理。单纯地基于人物识别结果“A先生”和“B先生”以及人物行动识别结果“步行”，难以确定要将视频分类至类别“A先生的步行”和“B先生的步行”中的哪一个。在这种情况下，参考人物识别处理所确定的“A先生”和“B先生”在视频中的位置以及行动识别处理所确定的“步行”在视频中的位置，分类单元104-1针对视频选择类别“A先生的步行”和“B先生的步行”其中之一。
此时，可以对整个视频进行分类。可选地，可以在进行部分隐藏处理之后将与类别相对应的视频的一部分进行剪切和分类。可以参考识别结果其中之一来分类视频。例如，可以将具有作为行动识别处理结果的元数据“跌倒”的拍摄视频与其它识别结果和元数据无关地分类至类别“跌倒”中。
事件和类别并非必须具有一一对应的关系。可以将如下两个拍摄视频分类至类别“A先生和B先生的早晨的移动”：具有人物识别结果“A先生”、行动识别结果“步行”和元数据“早晨”的拍摄视频；以及具有人物识别结果“B先生”、行动识别结果“轮椅上移动”和元数据“早晨”的另一拍摄视频。另外，可以将具有人物识别结果“A先生”、行动识别结果“步行”和元数据“早晨”的拍摄视频分类至“A先生的步行”和“早晨的A先生”这两个类别。
将所确定的用作新的元数据的类别记录在记录介质107上。然后，处理进入步骤S204。
可以针对各个类别将拍摄视频作为单独文件进行记录。可选地，可以将拍摄视频作为一个文件进行记录，并且可以将用于指向添加有元数据的拍摄视频的指针记录在不同文件中。可以组合地使用上述记录方法。例如，可以将分类到相同日期的拍摄视频记录在一个文件中，并且可以将指向各个视频的指针记录在针对该日期所准备的另一文件中。可以将拍摄视频记录在诸如硬盘驱动器(HDD)等的记录介质107的装置中，或者记录在经由网络与视频信息处理设备100连接的远程服务器的记录介质107上。
检索
在步骤S204中，检索单元104-2判断是否输入了用于检索拍摄视频的事件查询。例如，该事件查询可以由用户通过键盘和按钮而输入或根据周期性的日程安排自动输入。诸如治疗师等的专家可以远程输入事件查询。另外，可以输入步骤S201或S202中获取到的元数据。
如果判断为输入了事件查询，则处理进入步骤S205。否则，处理返回至步骤S201。
在步骤S205中，检索单元104-2基于所输入的元数据，检索并提取分类后的包括要检查的事件的视频。例如，可以检索具有获取单元101所附加的元数据“早晨”的拍摄视频，或者可以检索具有分类单元104-1所附加的元数据“移动”的拍摄视频。将所提取的视频和元数据发送到分析单元103和选择单元104-3。
响应于来自外部的诸如元数据的事件查询的输入，检索单元104-2从所记录的视频中提取与该元数据相对应的拍摄视频。例如，对一天(目前)和这天之前的30天(过去)之间所拍摄的视频进行检索。这样，选择单元104-3可以选择允许用户获知过去30天中复原的进展的拍摄视频。
将所提取的视频和相应元数据发送到分析单元103和选择单元104-3。
分析
在步骤S206中，分析单元103对从检索单元104-2发送来的检索到的视频分别进行定量分析。识别单元102识别拍摄视频中的事件(什么)，而分析单元103分析拍摄视频中的动作的细节(如何动作)。
例如，分析单元103对各个视频执行分析以测量诸如拍摄视频中人物的腕关节角度、步行动作频率和抬脚高度等的动作特征。更具体地，在识别出人物的各个身体部位之后，分析单元103对各部位在视频中的位置和姿势的相对变化进行定量分析。分析单元103计算诸如现实空间中的关节角度、动作频率和动作幅度等的动作特征，作为动作量。
例如，分析单元103使用背景差分技术来对被摄体即拍摄视频中新出现的人物进行剪切。然后，分析单元103基于拍摄视频的大小来计算剪切出的被摄体在现实空间中的形状和大小。
当获取单元101包括立体摄像机并且分析单元103获取到立体视频时，例如，分析单元103基于可用的立体视频处理来计算与画面中的被摄体的距离，以确定被摄体的移动路径和移动速度。
当分析单元103例如分析被摄体的移动速度X m/s时，分析单元103在连续地从获取单元101接收拍摄视频的同时执行该分析处理。
许多方法可用于对拍摄视频所包括的人物或物体在现实空间中的三维形状和位置/姿势进行分析计算。分析单元103使用这些可用的技术来对各视频所包括的人物(即，被摄体)进行空间视频分析。基于专家的知识和复原类型来预先设置定量视频分析的内容。
将分析结果发送到选择单元104-3。然后，处理进入步骤S207。
选择
在步骤S207中，基于元数据和分析结果，选择单元104-3从检索到的具有所输入的元数据的视频中选择多个可比较视频。
更具体地，选择单元104-3对从分析单元103所接收到的拍摄视频中的步行动作的分析结果进行比较。基于特定标准，选择单元104-3选择两个相似或不相似的(定量地，其值小于或等于预定阈值或者其值大于或等于另一预定阈值的)视频。
例如，选择单元104-3可以通过选择具有小于预定阈值的动作速度差异或大于另一预定阈值的动作速度差异的拍摄视频来提取比较对象视频。可选地，选择单元104-3可以通过选择具有大于预定阈值的动作轨迹差异或小于另一预定阈值的动作轨迹差异的拍摄视频来提取比较对象视频。
例如，可以通过比较动作速度差异较小但动作轨迹差异较大的视频来对动作轨迹进行比较。此时，所选择的视频优选具有尽可能不同的动作轨迹。例如，可以通过比较动作速度差异较大但动作轨迹差异较小的视频来对动作速度进行比较。此时，所选择的视频优选具有尽可能相似的动作轨迹。
例如，选择单元104-3选择抬脚高度差异大于或等于预定水平并且动作速度差异小于另一预定水平的视频。尽管这里选择了两个视频，但也可以选择三个以上的视频。即，代替从两个时间点而可以从三个以上的时间点来选择比较对象视频。
并非必须使用阈值。例如，选择单元104-3可以选择动作速度差异最大或动作轨迹差异最大的两个拍摄视频。
另外，选择单元104-3可以参考添加至拍摄视频的拍摄日期/时间的元数据来选择不同日期所拍摄的两个视频。用户可以预先指定检索对象日期，以使得进行识别和分析的视频的范围缩小，由此可以实现该设置。
将所选择的视频发送到生成单元105。然后，处理进入步骤S208。
生成
在步骤S208中，生成单元105根据所选择的视频，生成明确地表示行动差异的视频信息。
图3示出根据所选择的视频生成视频信息的例子。例如，生成单元105对拍摄视频302的各帧执行仿射变换，以使得将右脚的动作显示在选择单元104-3所选择的两个拍摄视频301和302中的相同位置处。然后，生成单元105将变换得到的视频303叠加到视频301上以生成视频304。这样，基于左脚的动作差异和腰部关节的动作幅度，使左脚的重心移动和步行时的重心移动可视化。可选地，生成单元105对两个视频的各帧进行标准化以使得步行动作的起点和视频的比例相匹配。然后，生成单元105并行地或连续地显示所生成的视频。这样，用户可以将步行速度和步行路径的差异进行比较。视频信息生成方法不限于这里所述的例子。可以对关注区域进行突出显示、剪切或注释。另外，可以利用三维重构技术将这两个拍摄视频中所包括的行动整合到一个视频内，以在三维空间中重构整合后的行动。生成单元105可以以这两个视频并排配置的方式来生成一个视频。所生成的视频信息不限于图像信息，并且还可以生成图像信息以外的信息。例如，可以将行动速度可视化为数值或图表。
为了允许用户确认比较对象视频，生成单元105可以生成添加有与比较对象有关的信息的视频信息。例如，生成单元105生成如下视频信息，其中该视频信息添加有与两个拍摄视频的拍摄日期或分析结果之间的差异有关的信息。
将所生成的视频信息发送到显示单元106。然后，处理进入步骤S209。
显示
在步骤S209中，显示单元106将所生成的视频信息例如显示在显示器上。然后，处理返回至步骤S201。
通过上述处理，视频信息处理设备100可以从拍摄视频中提取包括相同条件下所进行的特定行动的视频并且选择适用于使行动差异可视化的视频的组合。
第二典型实施例
在第一典型实施例中，基于定性的标准来分类记录在拍摄视频中的各种行动，并且基于定量的标准来比较同一类别的行动的差异，由此选择多个拍摄视频。另一方面，在第二典型实施例中，基于定量的标准来分类记录在拍摄视频中的各种行动，并且基于定性的标准来比较同一类别的行动的差异，由此选择多个拍摄视频。
以下将参考附图来说明根据第二典型实施例的视频信息处理设备的结构和处理。
结构400
图4是示出根据本典型实施例的视频信息处理设备400的概况的图。如图4所示的，视频信息处理设备400包括获取单元101、识别单元102、分析单元103、提取单元104、生成单元105和显示单元106。提取单元104包括分类单元104-1、检索单元104-2以及选择单元104-3。该结构的大部分与图1所示的视频信息处理设备100的结构相同。相同的部分添加有相同的附图标记，并且以下省略与重复部分有关的详细说明。
获取单元101获取拍摄视频。获取单元101还获取与拍摄视频的空间有关的信息作为元数据。将获取单元101所获取的拍摄视频和元数据发送到分析单元103。
在接收到从获取单元101输出的拍摄视频和元数据之后，分析单元103对拍摄视频进行分析。将视频分析结果和元数据发送到分类单元104-1。
分类单元104-1基于视频分析结果和元数据，将拍摄视频分类至预先准备的多个类别中的一个或多个类别中。将所确定的用作新的元数据的类别记录在记录介质107上。
基于所指定的元数据，检索单元104-2从分类后的视频中检索并提取包括要检查的事件的视频。将所提取的视频和元数据发送到识别单元102和选择单元104-3。
在接收到检索到的视频和元数据之后，识别单元102对与检索到的视频所包括的人物或物体有关的事件进行识别。将与识别出的事件、检索到的视频和元数据有关的信息发送到选择单元104-3。
选择单元104-3基于元数据和识别结果来选择多个可比较视频。将所选择的视频发送到生成单元105。
生成单元105生成用于明确地使选择单元104-3所选择的视频内包括的行动的差异可视化的视频信息。将所生成的视频信息发送到显示单元106。
显示单元106例如经由显示器而为观察者显示生成单元105所生成的视频信息。
根据本典型实施例的视频信息处理设备400具有上述结构。
处理2
现在将参考图5的流程图来说明根据本典型实施例的视频信息处理设备400所执行的处理。根据该流程图的程序代码存储在根据本典型实施例的视频信息处理设备400内的诸如RAM或ROM等的存储器中，并且由CPU或MPU读出并执行。
在步骤S201中，获取单元101获取拍摄视频。获取单元101还获取与拍摄视频的空间有关的信息作为元数据。例如，每天或以预定间隔离线地执行该获取。将获取单元101所获取的拍摄视频和元数据发送到分析单元103。然后，处理进入步骤S502。
在步骤S502中，分析单元103接收从获取单元101输出的拍摄视频和元数据。然后，分析单元103对该视频进行分析。将视频分析结果和元数据发送到分类单元104-1。然后，处理进入步骤S503。
在步骤S503中，分类单元104-1基于从分析单元103所输出的视频分析结果和元数据，将拍摄视频分类至预先准备的多个类别中相应的一个或多个类别中。
图6是示出根据本典型实施例的拍摄视频的例子的图。更具体地，对事件“奔跑”601和602、事件“步行”603和604、以及事件“利用拐杖步行”605进行拍摄。通过以与第一典型实施例相同的方式对各个拍摄视频进行分析，可以将动作速度606和607以及动作轨迹608、609和610添加为标签信息。
例如，当分类单元104-1从分析单元103接收到分析结果“被摄体的移动速度为X m/s”和元数据“早晨”时，分类单元104-1将从分析单元103接收到的视频分类至类别“被摄体在早晨的移动速度为X m/s”。例如，将视频分类至类别“获取单元101与早晨的被摄体之间的距离小于或等于Y m”或类别“被摄体在10秒内的移动大于或等于Z m”。
将所确定的用作新的元数据的类别记录在记录介质107上。然后，处理进入步骤S204。
在步骤S204中，检索单元104-2判断是否输入了用于检索拍摄视频的事件查询。如果判断为进行了该输入，则处理进入步骤S205。否则，处理返回至步骤S201。
在步骤S205中，检索单元104-2对所记录的视频进行检索。更具体地，检索单元104-2提取具有与事件查询相对应的元数据的拍摄视频。将所提取的视频、相应的元数据和视频分析结果发送到识别单元102和选择单元104-3。然后，处理进入步骤S506。
在步骤S506中，识别单元102对从检索单元104-2发送来的各个视频中所包括的人物进行定性视频识别。将识别结果发送到选择单元104-3。然后，处理进入步骤S507。
在步骤S507中，基于从识别单元102发送来的各视频的元数据和视频识别结果，选择单元104-3从发送自检索单元104-2的检索到的视频中选择多个拍摄视频。
例如，将说明如下示例情况：对类别为“被摄体的移动速度大于或等于X m/s”的视频进行检索并发送到选择单元104-3。首先，选择单元104-3选择被识别为包括“A先生”的视频。然后，选择单元104-3选择具有尽可能多的共同识别结果的视频的组合。例如，当三个拍摄视频603、604和605分别具有识别结果“不用拐杖步行”、“不用拐杖步行”和“利用拐杖步行”时，选择单元104-3选择识别结果为“不用拐杖步行”的视频603和604。如果没有找到(具有大于或等于预定值的相同识别结果的)相似视频的组合，则选择单元104-3选择具有大于或等于预定值的相同识别结果的多个视频。
将所选择的视频和视频分析结果发送到生成单元105。然后，处理进入步骤S208。
在步骤S208中，生成单元105生成明确地表示选择单元104-3所选择的视频内包括的行动的差异的视频信息。将所生成的视频信息发送到显示单元106。然后，处理进入步骤S209。
在步骤S209中，显示单元106为观察者显示生成单元105所生成的视频信息。然后，处理返回至步骤S201。
通过上述处理，视频信息处理设备400能够从人物的拍摄视频中提取包括相同条件下所进行的特定行动的视频并且选择适用于使行动差异可视化的视频的组合。
第三典型实施例
在第一典型实施例中，基于识别结果来对拍摄视频进行分类，对分类后的视频进行分析，并且选择适当的视频。在第二典型实施例中，基于分析结果来对拍摄视频进行分类，对分类后的视频进行识别，并且选择适当的视频。通过组合上述方法，可以基于识别结果和分析结果来对拍摄视频进行分类，并且可以将类别存储为元数据。可以在进行识别和分析之后基于元数据来选择分类后的视频。
其它典型实施例
注意，可以将本发明应用于包括单个装置的设备或应用于由多个装置所构成的***。
此外，本发明可以通过如下过程来实现：将用于实现上述实施例的功能的软件程序直接或间接提供至***或设备，利用***或设备的计算机读取所提供的程序代码，然后执行该程序代码。在这种情况下，实现的模式可以不必依赖于程序，只要该***或设备具有程序的功能即可。
因此，由于本发明的功能由计算机来实现，因此安装在计算机内的程序代码也实现了本发明。换句话说，本发明的权利要求书还覆盖了用于实现本发明的功能的计算机程序。
在这种情况下，可以以诸如对象代码、解释器所执行的程序或提供给操作***的脚本数据等的任何形式来执行该程序，只要该***或设备具有该程序的功能即可。
可用于提供程序的存储介质的例子有软盘、硬盘、光盘、磁光盘、CD-ROM、CD-R、CD-RW、磁带、非易失型存储卡、ROM以及DVD(DVD-ROM和DVD-R)。
作为用于提供该程序的方法，可以使用客户端计算机的浏览器将客户端计算机连接至因特网上的网站，并且可以将本发明的计算机程序或该程序的可自动安装压缩文件下载到诸如硬盘等的记录介质上。此外，可以通过将构成程序的程序代码分割成多个文件并且从不同的网站下载这些文件来供给本发明的程序。换句话说，本发明的权利要求书还覆盖了WWW(万维网)服务器，其中该服务器将利用计算机实现本发明的功能的程序文件下载到多个用户。
还可以对本发明的程序进行加密并将该程序存储到诸如CD-ROM等的存储介质上，将存储介质分发给用户，允许满足特定需求的用户经由因特网从网站下载解密密钥信息，并且允许这些用户通过使用密钥信息来对加密程序进行解密，由此在用户计算机中安装该程序。
除了通过计算机执行所读取的程序来实现根据上述实施例的功能的情况以外，运行在计算机上的操作***等可以执行全部或部分实际处理，以使得可以通过该处理来实现上述实施例的功能。
此外，在将从存储介质所读取的程序写入到***计算机的功能扩展板或连接至计算机的功能扩展单元中所设置的存储器之后，安装在功能扩展板或功能扩展单元上的CPU等执行全部或部分实际处理，以使得可以通过该处理来实现上述实施例的功能。
尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。
本申请要求2009年12月17日提交的日本专利申请2009-286894的优先权，其全部内容通过引用包含于此。

Claims (14)

1.一种视频信息处理设备，包括：
识别单元，用于在现实空间的多个拍摄视频的各个拍摄视频中识别现实空间的事件；
分类单元，用于将与识别出的各事件有关的元数据添加到相应的拍摄视频，以对拍摄视频进行分类；
检索单元，用于基于所添加的元数据，从分类后的拍摄视频中检索特定事件的多个拍摄视频；
分析单元，用于对检索到的多个视频的各个视频中的动作的特征进行分析；以及
选择单元，用于基于针对检索到的视频进行分析得到的动作的特征的差异，从检索到的视频中选择两个以上的视频。
2.一种视频信息处理设备，包括：
分析单元，用于对现实空间的多个拍摄视频的各个拍摄视频中的动作的特征进行分析；
分类单元，用于将与分析得到的各动作的特征有关的元数据添加到相应的拍摄视频，以对拍摄视频进行分类；
检索单元，用于基于所添加的元数据，检索多个拍摄视频；
识别单元，用于在检索到的多个视频的各个视频中识别现实空间的事件；以及
选择单元，用于基于检索到的各视频中识别出的事件，从检索到的视频中选择两个以上的拍摄视频。
3.根据权利要求1或2所述的视频信息处理设备，其特征在于，所述识别单元识别与人物的行动有关的事件。
4.根据权利要求1至3中任一项所述的视频信息处理设备，其特征在于，所述分析单元对多个拍摄视频的各个拍摄视频中的动作速度和动作轨迹进行分析。
5.根据权利要求4所述的视频信息处理设备，其特征在于，所述选择单元提取所述动作速度的差异大于第一预定值并且所述动作轨迹的差异小于第二预定值的两个以上的拍摄视频，或者选择所述动作速度的差异小于第三预定值并且所述动作轨迹的差异大于第四预定值的两个以上的拍摄视频。
6.根据权利要求1至5中任一项所述的视频信息处理设备，其特征在于，所述选择单元选择不同日期所拍摄的两个以上的视频。
7.根据权利要求1至6中任一项所述的视频信息处理设备，其特征在于，还包括：
生成单元，用于基于所选择的视频，生成要显示在显示单元上的视频信息。
8.根据权利要求7所述的视频信息处理设备，其特征在于，所述生成单元将所选择的视频相互进行叠加，以生成所述视频信息。
9.根据权利要求8所述的视频信息处理设备，其特征在于，所述生成单元在三维虚拟空间中重构所选择的各个视频，以生成所述视频信息。
10.根据权利要求7所述的视频信息处理设备，其特征在于，所述生成单元并排配置所选择的视频，以生成所述视频信息。
11.一种视频信息处理方法，包括以下步骤：
在现实空间的多个拍摄视频的各个拍摄视频中识别现实空间的事件；
将与识别出的各事件有关的元数据添加到相应的拍摄视频，以对拍摄视频进行分类；
基于所述元数据，从分类后的拍摄视频中检索特定事件的多个拍摄视频；
对检索到的多个视频的各个视频中的动作的特征进行分析；
基于针对检索到的视频进行分析得到的动作的特征的差异，从检索到的视频中选择两个以上的视频；以及
基于所选择的视频，生成要显示的视频信息。
12.一种视频信息处理方法，包括以下步骤：
对现实空间的多个拍摄视频的各个拍摄视频中的动作的特征进行分析；
将与分析得到的各动作的特征有关的元数据添加到相应的拍摄视频，以对拍摄视频进行分类；
基于所添加的元数据，检索多个拍摄视频；
在检索到的多个视频的各个视频中识别现实空间的事件；
基于检索到的各视频中识别出的事件，从检索到的视频中选择两个以上的拍摄视频；以及
基于所选择的视频，生成要显示的视频信息。
13.一种用于使计算机执行根据权利要求11或12所述的视频信息处理方法的各步骤的程序。
14.一种用于存储使计算机执行根据权利要求11或12所述的视频信息处理方法的各步骤的程序的存储介质。
CN201080057821.9A 2009-12-17 2010-12-07 视频信息处理方法和视频信息处理设备 Active CN102668548B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2009-286894 2009-12-17
JP2009286894A JP5424852B2 (ja) 2009-12-17 2009-12-17 映像情報処理方法及びその装置
PCT/JP2010/007106 WO2011074206A1 (en) 2009-12-17 2010-12-07 Video information processing method and video information processing apparatus

Publications (2)

Publication Number Publication Date
CN102668548A true CN102668548A (zh) 2012-09-12
CN102668548B CN102668548B (zh) 2015-04-15

Family

ID=44166981

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080057821.9A Active CN102668548B (zh) 2009-12-17 2010-12-07 视频信息处理方法和视频信息处理设备

Country Status (4)

Country Link
US (1) US20120257048A1 (zh)
JP (1) JP5424852B2 (zh)
CN (1) CN102668548B (zh)
WO (1) WO2011074206A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105409202A (zh) * 2013-07-23 2016-03-16 三星电子株式会社 用户终端装置及其控制方法
CN109710802A (zh) * 2018-12-20 2019-05-03 百度在线网络技术（北京）有限公司 视频分类方法及其装置
CN109918538A (zh) * 2019-01-25 2019-06-21 清华大学 视频信息处理方法及装置、存储介质及计算设备
CN110188668A (zh) * 2019-05-28 2019-08-30 复旦大学 一种面向小样本视频动作分类的方法
CN110390242A (zh) * 2018-04-20 2019-10-29 富士施乐株式会社 信息处理装置以及存储介质
CN115967818A (zh) * 2022-12-21 2023-04-14 启朔(深圳)科技有限公司 云端设备直播方法、***和计算机可读存储介质

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012101542A1 (en) * 2011-01-28 2012-08-02 Koninklijke Philips Electronics N.V. Motion vector based comparison of moving objects
US8957979B2 (en) * 2011-07-19 2015-02-17 Sony Corporation Image capturing apparatus and control program product with speed detection features
JP6045139B2 (ja) * 2011-12-01 2016-12-14 キヤノン株式会社 映像生成装置、映像生成方法及びプログラム
JP6061546B2 (ja) * 2012-08-10 2017-01-18 キヤノン株式会社 医療情報処理装置、医療情報処理方法及びプログラム
EP2720172A1 (en) * 2012-10-12 2014-04-16 Nederlandse Organisatie voor toegepast -natuurwetenschappelijk onderzoek TNO Video access system and method based on action type detection
JP2015012434A (ja) * 2013-06-28 2015-01-19 カシオ計算機株式会社 フォーム確認支援装置、及びその方法とプログラム、フォーム確認支援システム
WO2015116177A1 (en) * 2014-01-31 2015-08-06 Hewlett-Packard Development Company, L.P. Video retrieval
JP6372176B2 (ja) * 2014-06-06 2018-08-15 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
FR3023110B1 (fr) * 2014-06-30 2017-10-13 Oreal Procede d'analyse de routines cosmetiques d'utilisateurs et systeme associe
US9456070B2 (en) 2014-09-11 2016-09-27 Ebay Inc. Methods and systems for recalling second party interactions with mobile devices
JP6648930B2 (ja) * 2016-03-31 2020-02-14 キヤノン株式会社 編集装置、編集方法及びプログラム
US10223613B2 (en) 2016-05-31 2019-03-05 Microsoft Technology Licensing, Llc Machine intelligent predictive communication and control system
JP7474568B2 (ja) * 2019-05-08 2024-04-25 キヤノンメディカルシステムズ株式会社 医用情報表示装置、及び医用情報表示システム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000138927A (ja) * 1998-11-02 2000-05-16 Hitachi Plant Eng & Constr Co Ltd 画像比較表示装置
JP2004145564A (ja) * 2002-10-23 2004-05-20 Matsushita Electric Ind Co Ltd 映像検索装置
CN1599904A (zh) * 2001-12-06 2005-03-23 皇家飞利浦电子股份有限公司 自适应环境***和提供自适应环境的方法
CN1761319A (zh) * 2004-10-12 2006-04-19 国际商业机器公司 视频监视***的视频分析、存档和报警方法和设备
CN101430689A (zh) * 2008-11-12 2009-05-13 哈尔滨工业大学 一种视频中的人物动作检测方法

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4779131A (en) * 1985-07-26 1988-10-18 Sony Corporation Apparatus for detecting television image movement
US4813436A (en) * 1987-07-30 1989-03-21 Human Performance Technologies, Inc. Motion analysis system employing various operating modes
DE69736622T2 (de) * 1996-07-03 2007-09-13 Hitachi, Ltd. System zur Bewegungserkennung
US6091777A (en) * 1997-09-18 2000-07-18 Cubic Video Technologies, Inc. Continuously adaptive digital video compression system and method for a web streamer
JP3603737B2 (ja) * 2000-03-30 2004-12-22 日本電気株式会社 移動体追尾方法及びその装置
US10360685B2 (en) * 2007-05-24 2019-07-23 Pillar Vision Corporation Stereoscopic image capture with performance outcome prediction in sporting environments
US6712692B2 (en) * 2002-01-03 2004-03-30 International Business Machines Corporation Using existing videogames for physical training and rehabilitation
US20090030530A1 (en) * 2002-04-12 2009-01-29 Martin James J Electronically controlled prosthetic system
US7050078B2 (en) * 2002-12-19 2006-05-23 Accenture Global Services Gmbh Arbitrary object tracking augmented reality applications
US7857771B2 (en) * 2003-04-03 2010-12-28 University Of Virginia Patent Foundation Method and system for the derivation of human gait characteristics and detecting falls passively from floor vibrations
US7330566B2 (en) * 2003-05-15 2008-02-12 Microsoft Corporation Video-based gait recognition
WO2005107240A1 (ja) * 2004-04-28 2005-11-10 Chuo Electronics Co., Ltd. 自動撮影方法および装置
US20060018516A1 (en) * 2004-07-22 2006-01-26 Masoud Osama T Monitoring activity using video information
WO2006016369A2 (en) * 2004-08-11 2006-02-16 Andante Medical Devices Ltd. Sports shoe with sensing and control
US20080167580A1 (en) * 2005-04-05 2008-07-10 Andante Medical Devices Ltd. Rehabilitation System
US20060001545A1 (en) * 2005-05-04 2006-01-05 Mr. Brian Wolf Non-Intrusive Fall Protection Device, System and Method
JP4687265B2 (ja) * 2005-06-14 2011-05-25 富士ゼロックス株式会社 画像分析装置
US20070021421A1 (en) * 2005-07-25 2007-01-25 Hampton Thomas G Measurement of gait dynamics and use of beta-blockers to detect, prognose, prevent and treat amyotrophic lateral sclerosis
US20100201512A1 (en) * 2006-01-09 2010-08-12 Harold Dan Stirling Apparatus, systems, and methods for evaluating body movements
WO2007106806A2 (en) * 2006-03-13 2007-09-20 Nielsen Media Research, Inc. Methods and apparatus for using radar to monitor audiences in media environments
US20100172624A1 (en) * 2006-04-21 2010-07-08 ProMirror, Inc. Video capture, playback and analysis tool
US8872940B2 (en) * 2008-03-03 2014-10-28 Videoiq, Inc. Content aware storage of video data
US9251423B2 (en) * 2008-03-21 2016-02-02 Intel Corporation Estimating motion of an event captured using a digital video camera
US10722562B2 (en) * 2008-07-23 2020-07-28 Immudex Aps Combinatorial analysis and repair
GB0820874D0 (en) * 2008-11-14 2008-12-24 Europ Technology For Business Assessment of gait
US8206266B2 (en) * 2009-08-05 2012-06-26 David Hall Sensor, control and virtual reality system for a trampoline
US10645344B2 (en) * 2010-09-10 2020-05-05 Avigilion Analytics Corporation Video system with intelligent visual display

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000138927A (ja) * 1998-11-02 2000-05-16 Hitachi Plant Eng & Constr Co Ltd 画像比較表示装置
CN1599904A (zh) * 2001-12-06 2005-03-23 皇家飞利浦电子股份有限公司 自适应环境***和提供自适应环境的方法
JP2004145564A (ja) * 2002-10-23 2004-05-20 Matsushita Electric Ind Co Ltd 映像検索装置
CN1761319A (zh) * 2004-10-12 2006-04-19 国际商业机器公司 视频监视***的视频分析、存档和报警方法和设备
CN101430689A (zh) * 2008-11-12 2009-05-13 哈尔滨工业大学 一种视频中的人物动作检测方法

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105409202A (zh) * 2013-07-23 2016-03-16 三星电子株式会社 用户终端装置及其控制方法
CN108632496A (zh) * 2013-07-23 2018-10-09 三星电子株式会社 用户终端装置及其控制方法
CN110390242A (zh) * 2018-04-20 2019-10-29 富士施乐株式会社 信息处理装置以及存储介质
CN110390242B (zh) * 2018-04-20 2024-03-12 富士胶片商业创新有限公司 信息处理装置以及存储介质
CN109710802A (zh) * 2018-12-20 2019-05-03 百度在线网络技术（北京）有限公司 视频分类方法及其装置
CN109918538A (zh) * 2019-01-25 2019-06-21 清华大学 视频信息处理方法及装置、存储介质及计算设备
CN109918538B (zh) * 2019-01-25 2021-04-16 清华大学 视频信息处理方法及装置、存储介质及计算设备
CN110188668A (zh) * 2019-05-28 2019-08-30 复旦大学 一种面向小样本视频动作分类的方法
CN110188668B (zh) * 2019-05-28 2020-09-25 复旦大学 一种面向小样本视频动作分类的方法
CN115967818A (zh) * 2022-12-21 2023-04-14 启朔(深圳)科技有限公司 云端设备直播方法、***和计算机可读存储介质

Also Published As

Publication number Publication date
WO2011074206A1 (en) 2011-06-23
JP2011130204A (ja) 2011-06-30
JP5424852B2 (ja) 2014-02-26
US20120257048A1 (en) 2012-10-11
CN102668548B (zh) 2015-04-15

Similar Documents

Publication Publication Date Title
CN102668548B (zh) 视频信息处理方法和视频信息处理设备
Twomey et al. The SPHERE challenge: Activity recognition with multimodal sensor data
Jalal et al. Development of a life logging system via depth imaging-based human activity recognition for smart homes
US8577962B2 (en) Server apparatus, client apparatus, content recommendation method, and program
CN101855633A (zh) 影像分析装置、基于影像分析的人物间的评价值计算方法
CN102292689A (zh) 利用脸部检测和热点运动***体的方法
CN112820071B (zh) 一种行为识别方法和装置
Yang et al. Touch and go: Learning from human-collected vision and touch
CN103620590A (zh) 用于图像至文本以及文本至图像的关联的***和方法
Höferlin et al. Scalable video visual analytics
Hur et al. Tracking individuals in classroom videos via post-processing OpenPose data
PS Human activity recognition using machine learning approach
Julham et al. Automatic face recording system based on quick response code using multicam
Wu et al. Collecting public RGB-D datasets for human daily activity recognition
CN112905811A (zh) 一种基于学生课堂行为分析的教学音视频推送方法及***
Ciliberto et al. Exploring human activity annotation using a privacy preserving 3D model
JP6659011B2 (ja) 検索システム、データ収集装置および検索プログラム
WO2023022207A1 (ja) 管理システム
Park et al. A fuzzy rule-based system with ontology for summarization of multi-camera event sequences
Doyaoen et al. Real-time building instance detection using tensorflow based on facade images for urban management
Daga et al. Applications of Human Activity Recognition in Different Fields: A Review
KR102162337B1 (ko) 관람객에 관한 데이터를 이용한 미술품 경매 시스템 및 이를 이용한 미술품 경매 방법
Shiraishi et al. Detection of suspicious person with kinect by action coordinate
KR100943645B1 (ko) 네트워크 회의 시스템
Kim et al. Personalized life log media system in ubiquitous environment

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant