JP2010061221A - Device for reproducing three-dimensional moving image, method for searching additional information, and program - Google Patents

Device for reproducing three-dimensional moving image, method for searching additional information, and program Download PDF

Info

Publication number
JP2010061221A
JP2010061221A JP2008223699A JP2008223699A JP2010061221A JP 2010061221 A JP2010061221 A JP 2010061221A JP 2008223699 A JP2008223699 A JP 2008223699A JP 2008223699 A JP2008223699 A JP 2008223699A JP 2010061221 A JP2010061221 A JP 2010061221A
Authority
JP
Japan
Prior art keywords
information
moving image
search
display
trajectory
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008223699A
Other languages
Japanese (ja)
Other versions
JP5047102B2 (en
Inventor
Makoto Nakamura
誠 中村
Takuya Ogawa
琢也 小川
Takehiko Watanabe
岳彦 渡邉
Tomoko Ito
智子 伊藤
Shigetetsu Ogawara
成哲 小河原
Kazuhiko Tanaka
和彦 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Comware Corp
Original Assignee
NTT Comware Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NTT Comware Corp filed Critical NTT Comware Corp
Priority to JP2008223699A priority Critical patent/JP5047102B2/en
Publication of JP2010061221A publication Critical patent/JP2010061221A/en
Application granted granted Critical
Publication of JP5047102B2 publication Critical patent/JP5047102B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a device for reproducing a three dimensional moving image capable of easily performing retrieval of an object synthetically displayed within a three-dimensional moving image by using information which is simply inputted by a user. <P>SOLUTION: The device for reproducing the three dimensional moving image detects a spatial position of a space mouse existing within a real space, detects a plurality of designated positions in the three-dimensional moving images by the space mouse in response to variations in the spatial position of the space mouse, and produces a search query indicating the plurality of designated position. The device for reproducing the three dimensional moving image extracts motion representing information of three-dimensional metadata which is recorded in a three-dimensional metadata DB based on a matching rate between the plurality of designated positions which are indicated by the search query and a plurality of display positions which are indicated by the motion representing information, and performs a process of outputting the three-dimensional metadata of the extracted motion representing information. <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

本発明は、3Dディスプレイに表示した3D動画像上に合成表示する付加情報を検索する3次元動画像再生装置及び付加情報検索方法とプログラムに関する。   The present invention relates to a three-dimensional moving image reproducing apparatus, an additional information searching method, and a program for searching for additional information to be synthesized and displayed on a 3D moving image displayed on a 3D display.

従来、動画像中に表示された対象画像を編集する技術は多く存在しており、例えば、2次元の映像上のキャンパスにペンで直接軌跡を描き、その軌跡をクエリとして検索を行うシステムが非特許文献1に開示されている。この非特許文献1では、サッカーの映像に対して、サッカーボールの軌跡情報であるメタデータ(2次元座標位置と動画再生開始からの経過時間の組みの集合)が予め添付されている。そして、ユーザが映像上(2次元上)のキャンパスにペンで直接描いた軌跡に基づいて作成した軌跡情報と、予め映像上のサッカーボールに添付されたメタデータで示される軌跡情報とが、類似するかどうかを判定し、類似する軌跡情報を示すメタデータがあれば、そのメタデータが存在するシーン(メタデータの存在が始まるシーンから、メタデータの存在が終了するシーンまで)の映像を表示する検索システムに関する技術を開示している。
矢島史、外2名、「映像上での動きの直接描画によるサッカー映像検索」、情報処理学会研究報告、データベース・システム研究会報告、IPSJ SIG Notes Vol.2002, No.41(20020521) pp.33-40 2002-DBS-127-5
Conventionally, there are many techniques for editing a target image displayed in a moving image. For example, a system that draws a locus directly on a campus on a two-dimensional image with a pen and performs a search using the locus as a query is not available. It is disclosed in Patent Document 1. In this Non-Patent Document 1, metadata (a set of a set of a two-dimensional coordinate position and an elapsed time from the start of moving image reproduction) that is soccer ball trajectory information is attached in advance to a soccer video. The trajectory information created based on the trajectory drawn directly by the user with the pen on the video (two-dimensional) campus is similar to the trajectory information indicated by the metadata attached to the soccer ball on the video in advance. If there is metadata indicating similar trajectory information, the video of the scene where the metadata exists (from the scene where the metadata starts to the scene where the metadata ends) is displayed. A technology related to a search system is disclosed.
Fumi Yajima, 2 others, “Football video search by direct drawing of motion on video”, IPSJ SIG Notes Vol.2002, No.41 (20020521) pp. 33-40 2002-DBS-127-5

ここで、上述の非特許文献1に示す従来技術では、映像上に直接描かれた2次元の軌跡をクエリとする映像検索システムの問題点として2点挙げることができる。まず1点目は、2次元の軌跡を使って3次元空間で移動する3D動画像中の対象物の検索を行うことは難しいという問題点である。また、2間目の問題点は、検索クエリの種類(動き表現情報の種類)が少ないため、ユーザが所望する検索結果が得られないという点である。   Here, in the conventional technique shown in the above-mentioned Non-Patent Document 1, two problems can be cited as problems of a video search system that uses a two-dimensional trajectory drawn directly on a video as a query. The first problem is that it is difficult to search for an object in a 3D moving image that moves in a three-dimensional space using a two-dimensional trajectory. The second problem is that the search results desired by the user cannot be obtained because there are few types of search queries (types of motion expression information).

つまり、上記非特許文献1の技術では、2次元の映像上へマウスやペンを使って曲線等の軌跡を描き、その軌跡を元に、検索を行う手法である。しかし、2Dディスプレイ上でのユーザが書いたペンの2次元の軌跡をクエリとして使用するため3次元空間上で移動する3D動画像の対象物の検索を行うことは難しい。
また、上記非特許文献1の技術における検索クエリは、2Dディスプレイ上にペンで書いた軌跡(時系列データ)により生成されるものである。そして、上記非特許文献1の技術では、ペンで書いた軌跡が、時間の変化に伴い推移する2次元座標位置の情報群に変換され、移動体の位置を示す時系列データとの時系列マッチングが行われることにより、検索クエリと2次元座標位置の時間的推移で表されたメタデータとのマッチングを行うことができるものである。しかしながら、3D動画中の対象物の動きを検索したい場合には、ユーザは、例えば、移動速度が速い3D動画中の対象物を検索したい、方向ベクトル(x,y,z)=(2,3,5)の方向に進んでいく3D映像の対象物を検索したい、円を描いてぐるぐる回る3D動画の対象物を検索したい、等の、様々な表現で表される動きを検索したいという要求を行う可能性があり、この要求に応えることができない。
That is, the technique of Non-Patent Document 1 is a technique for drawing a trajectory such as a curve on a two-dimensional image using a mouse or a pen, and performing a search based on the trajectory. However, since the 2D trajectory of the pen written by the user on the 2D display is used as a query, it is difficult to search for an object of a 3D moving image that moves in a 3D space.
Further, the search query in the technique of Non-Patent Document 1 is generated by a locus (time series data) written with a pen on a 2D display. In the technique of Non-Patent Document 1, a trajectory written with a pen is converted into a two-dimensional coordinate position information group that changes with time, and time-series matching with time-series data indicating the position of a moving object. By performing the above, matching between the search query and the metadata represented by the temporal transition of the two-dimensional coordinate position can be performed. However, when the user wants to search for the motion of the object in the 3D video, the user wants to search for the target in the 3D video having a high moving speed. For example, the direction vector (x, y, z) = (2, 3 , 5) Searching for a 3D video object moving in the direction of the direction, or searching for a 3D video object moving around in a circle, etc. There is a possibility of doing so, and this request cannot be met.

そこでこの発明は、3D動画像中に合成表示された対象物の検索をユーザが簡易に入力した情報を用いて容易に行うことができ、また、3D動画像中の対象物をユーザの希望する3D動画像上の軌跡に基づいて自由に検索を行うことができる3次元動画像再生装置及び付加情報検索方法とプログラムを提供することを目的としている。   Therefore, the present invention can easily search for an object synthesized and displayed in a 3D moving image by using information that is easily input by the user, and the user desires an object in the 3D moving image. It is an object of the present invention to provide a three-dimensional moving image reproducing apparatus, an additional information searching method, and a program that can be freely searched based on a locus on a 3D moving image.

上記目的を達成するために、本発明は、3次元動画像に合成表示する付加情報の前記3次元動画像における動きを示す動き表現情報であって、前記3次元動画像上を前記付加情報が移動する表示軌跡上の複数の表示位置を少なくとも示す動き表現情報を記憶する動き表現情報記憶手段と、実空間に存在する空間入力装置の空間位置を検出し、当該空間位置の変化に応じて前記3次元動画像中の前記空間入力装置による複数の指定位置を検出する入力情報検出手段と、前記複数の指定位置を示す検索用情報を生成する検索用情報生成手段と、前記検索用情報の示す複数の指定位置と、前記動き表現情報の示す複数の表示位置との一致度に基づいて、前記動き表現情報記憶手段より前記動き表現情報を特定し、当該特定した動き表現情報により前記3次元動画像上に合成表示される前記付加情報を検索する付加情報検索手段と、前記検索した付加情報を出力する付加情報出力手段と、を備えることを特徴とする3次元動画像再生装置である。   In order to achieve the above object, the present invention provides motion expression information indicating a motion of additional information to be synthesized and displayed on a three-dimensional moving image in the three-dimensional moving image, wherein the additional information is displayed on the three-dimensional moving image. A motion expression information storage unit that stores movement expression information indicating at least a plurality of display positions on a moving display trajectory, and detects a spatial position of a spatial input device existing in real space, and changes the spatial position according to the change in the spatial position. Input information detecting means for detecting a plurality of designated positions by the spatial input device in a three-dimensional moving image, search information generating means for generating search information indicating the plurality of designated positions, and the search information Based on the degree of coincidence between a plurality of designated positions and a plurality of display positions indicated by the movement expression information, the movement expression information is identified from the movement expression information storage means, and An apparatus for reproducing a three-dimensional moving image, comprising: additional information searching means for searching for the additional information synthesized and displayed on the three-dimensional moving picture; and additional information output means for outputting the searched additional information. is there.

また本発明は、上述の3次元動画像再生装置において、前記動き表現情報は、前記表示軌跡上の複数の表示位置それぞれに前記付加情報を表示させる際の前記3次元動画像の開始時刻からの経過時間をさらに示す情報であり、前記入力情報検出手段は、前記複数の指定位置のうちの最初に検出した指定位置の検出時刻からの各経過時間を検出し、前記検索用情報生成手段は、前記複数の指定位置を示すと共に、それら指定位置のうちの最初に検出した指定位置の検出時刻からの経過時間を前記複数の指定位置それぞれについて示す前記検索用情報を生成し、前記付加情報検索手段は、前記検索用情報の示す前記複数の指定位置のうち最も早い経過時間を示す指定位置と、前記動き表現情報の示す前記複数の表示位置のうち最も早い経過時間を示す表示位置との一致度が閾値以下となる前記動き表現情報を、前記動き表現情報記憶手段より特定し、当該特定した動き表現情報により前記3次元動画像上に合成表示される前記付加情報を検索することを特徴とする。   According to the present invention, in the above-described 3D video playback device, the motion expression information is obtained from a start time of the 3D video when the additional information is displayed at each of a plurality of display positions on the display trajectory. It is information further indicating the elapsed time, the input information detection means detects each elapsed time from the detection time of the designated position first detected among the plurality of designated positions, the search information generation means, Generating the search information indicating the plurality of designated positions and indicating an elapsed time from the detection time of the designated position detected first among the designated positions for each of the plurality of designated positions; The specified position indicating the earliest elapsed time among the plurality of specified positions indicated by the search information and the earliest elapsed time among the plurality of display positions indicated by the motion expression information. The motion expression information whose degree of coincidence with the display position is equal to or less than a threshold is specified from the motion expression information storage means, and the additional information synthesized and displayed on the three-dimensional moving image by the specified motion expression information is It is characterized by searching.

また本発明は、上述の3次元動画像再生装置において、前記3次元動画像の開始時刻からの経過時間の指定を受け付ける経過時間指定受付手段と、を備え、前記付加情報検索手段は、さらに、前記複数の表示位置のうち最も早い経過時間として、前記指定を受け付けた開始時間を示す表示位置を保持する前記動き表現情報のみを、前記動き表現情報記憶手段より抽出することを特徴とする。   Further, the present invention provides the above-described three-dimensional moving image playback device, further comprising: an elapsed time designation receiving unit that receives designation of an elapsed time from the start time of the three-dimensional moving image, and the additional information search unit further includes: As the earliest elapsed time among the plurality of display positions, only the motion expression information holding the display position indicating the start time at which the designation is received is extracted from the movement expression information storage means.

また本発明は、上述の3次元動画像再生装置において、前記動き表現情報は、前記表示軌跡上の複数の表示位置それぞれに前記付加情報を表示させる際の前記3次元動画像の開始時刻からの経過時間をさらに示す情報であり、前記入力情報検出手段は、前記複数の指定位置のうちの最初に検出した指定位置の検出時刻からの各経過時間を検出し、前記検索用情報生成手段は、前記複数の指定位置を示すと共に、それら指定位置のうちの最初に検出した指定位置の検出時刻からの経過時間を前記複数の指定位置それぞれについて示す前記検索用情報を生成し、前記付加情報検索手段は、前記検索用情報の示す前記複数の指定位置のうち最初に検出した指定位置を基点とした所定経過時間を示す位置であって前記複数の指定位置による検索軌跡上の位置と、前記動き表現情報の示す前記複数の表示位置による表示軌跡上の任意の点を基点とした前記所定経過時間を示す前記表示軌跡上の位置と、に基づいて、異なる複数の前記所定経過時間における前記検索軌跡上の位置と前記表示軌跡上の位置との一致度が全て閾値以下となる前記動き表現情報を、前記動き表現情報記憶手段より特定し、当該特定した動き表現情報により前記3次元動画像上に合成表示される前記付加情報を検索することを特徴とする   According to the present invention, in the above-described 3D video playback device, the motion expression information is obtained from a start time of the 3D video when the additional information is displayed at each of a plurality of display positions on the display trajectory. It is information further indicating the elapsed time, the input information detection means detects each elapsed time from the detection time of the designated position first detected among the plurality of designated positions, the search information generation means, Generating the search information indicating the plurality of designated positions and indicating an elapsed time from the detection time of the designated position detected first among the designated positions for each of the plurality of designated positions; Is a position indicating a predetermined elapsed time from the specified position detected first among the plurality of specified positions indicated by the search information, and on the search trajectory by the specified positions. A plurality of different predetermined passages based on a position and a position on the display locus indicating the predetermined elapsed time from an arbitrary point on the display locus by the plurality of display positions indicated by the motion expression information. The motion expression information in which the degree of coincidence between the position on the search trajectory and the position on the display trajectory in time is less than or equal to a threshold is specified from the motion expression information storage unit, and the 3 Searching for the additional information synthesized and displayed on a three-dimensional moving image

また本発明は、上述の3次元動画像再生装置において、前記検索用情報生成手段は、前記複数の指定位置による検索軌跡と、定型軌跡テンプレートが示す軌跡との一致度が所定の閾値以上となる定型軌跡テンプレートを検出して、当該定型軌跡テンプレートの種別情報を示す前記検索用情報を生成し、前記付加情報検索手段は、前記動き表現情報の示す前記複数の表示位置による表示軌跡と、定型軌跡テンプレートが示す軌跡との一致度が所定の閾値以上となる定型軌跡テンプレートを検出して、前記検索用情報の示す定型軌跡テンプレートと同一の定型軌跡テンプレートを示す前記動き表現情報を、前記動き表現情報記憶手段より特定し、当該特定した動き表現情報により前記3次元動画像上に合成表示される前記付加情報を検索することを特徴とする。   Further, according to the present invention, in the above-described three-dimensional moving image reproduction device, the search information generation unit has a degree of coincidence between a search trajectory based on the plurality of designated positions and a trajectory indicated by a fixed trajectory template equal to or greater than a predetermined threshold. A fixed trajectory template is detected and the search information indicating the type information of the fixed trajectory template is generated, and the additional information search means includes a display trajectory by the plurality of display positions indicated by the motion expression information, and a fixed trajectory. A standard trajectory template whose degree of coincidence with the trajectory indicated by the template is equal to or greater than a predetermined threshold is detected, and the motion expression information indicating the same standard trajectory template as the standard trajectory template indicated by the search information is used as the motion expression information. Retrieving the additional information identified from the storage means and synthesized and displayed on the three-dimensional moving image based on the identified motion expression information And features.

また本発明は、上述の3次元動画像再生装置において、前記付加情報検索手段は、前記検索情報の示す前記複数の指定位置に基づいて算出される検索軌跡の方向と、前記動き表現情報の示す前記複数の表示位置に基づいて算出される表示軌跡の方向との一致度が閾値以上である前記動き表現情報を、前記動き表現情報記憶手段より特定することを特徴とする。   Further, the present invention is the above-described three-dimensional moving image reproduction device, wherein the additional information search means indicates the direction of the search trajectory calculated based on the plurality of designated positions indicated by the search information and the motion expression information. The motion expression information storing means that identifies the motion expression information whose degree of coincidence with the direction of the display trajectory calculated based on the plurality of display positions is greater than or equal to a threshold value.

また本発明は、上述の3次元動画像再生装置において、前記動き表現情報は、前記表示軌跡上の複数の表示位置それぞれに前記付加情報を表示させる際の前記3次元動画像の開始時刻からの経過時間をさらに示す情報であり、前記入力情報検出手段は、前記複数の指定位置のうちの最初に検出した指定位置の検出時刻からの各経過時間を検出し、前記検索用情報生成手段は、前記複数の指定位置を示すと共に、それら指定位置のうちの最初に検出した指定位置の検出時刻からの経過時間を前記複数の指定位置それぞれについて示す前記検索用情報を生成し、前記付加情報検索手段は、前記検索情報の示す前記複数の指定位置とそれら指定位置の示す経過時間の時間差とに基づいて算出される速度と、前記動き表現情報の示す前記複数の表示位置とそれら表示位置の示す経過時間の時間差とに基づいて算出される速度との一致度が閾値以上である前記動き表現情報を、前記動き表現情報記憶手段より特定することを特徴とする。   According to the present invention, in the above-described 3D video playback device, the motion expression information is obtained from a start time of the 3D video when the additional information is displayed at each of a plurality of display positions on the display trajectory. It is information further indicating the elapsed time, the input information detection means detects each elapsed time from the detection time of the designated position first detected among the plurality of designated positions, the search information generation means, Generating the search information indicating the plurality of designated positions and indicating an elapsed time from the detection time of the designated position detected first among the designated positions for each of the plurality of designated positions; Are calculated based on the plurality of designated positions indicated by the search information and the time difference between the elapsed times indicated by the designated positions, and the plurality of display positions indicated by the motion expression information. And the motion expression information match degree is equal to or greater than the threshold value of the velocity is calculated based on the time difference between the elapsed time indicated by the their display positions, and identifies from the motion expression information storing means.

また本発明は、上述の3次元動画像再生装置において、前記検索用情報生成手段が複数の前記検索用情報を生成し、前記付加情報検索手段は、複数の前記検索用情報に基づいて前記動き表現情報の抽出の処理を行うことを特徴とする。   According to the present invention, in the above-described three-dimensional moving image reproduction device, the search information generation unit generates a plurality of the search information, and the additional information search unit is configured to generate the motion based on the plurality of search information. Processing for extracting expression information is performed.

また本発明は、上述の3次元動画像再生装置において、前記一致度の設定入力を受け付ける一致度設定入力受付手段と、を備えることを特徴とする。   Further, the present invention is characterized in that the above-described three-dimensional moving image reproduction device includes a matching degree setting input receiving unit that receives the setting input of the matching degree.

また本発明は、上述の3次元動画像再生装置において、前記動き情報記憶手段より所定の数の前記動き表現情報の抽出をしたかを判定し、前記所定の数以上の前記動き表現情報の抽出した場合には、前記動き情報記憶手段より抽出する前記動き表現情報の数が前記所定の数以下となるまで自動的に前記一致度を上げて、前記動き表現情報の抽出処理を繰り返す一致度調整手段と、を備えることを特徴とする。   According to the present invention, in the above-described three-dimensional moving image reproduction device, it is determined whether a predetermined number of the motion expression information has been extracted from the motion information storage means, and the motion expression information of the predetermined number or more is extracted. If this is the case, the degree of coincidence is automatically increased until the number of pieces of motion expression information extracted from the movement information storage means becomes equal to or less than the predetermined number, and the degree of coincidence adjustment is repeated. And means.

また本発明は、3次元動画像装置における付加情報検索方法であって、前記3次元動画像装置の動き表現情報記憶手段が、3次元動画像に合成表示する付加情報の前記3次元動画像における動きを示す動き表現情報であって、前記3次元動画像上を前記付加情報が移動する表示軌跡上の複数の表示位置を少なくとも示す動き表現情報を記憶し、前記3次元動画像装置の入力情報検出手段が、実空間に存在する空間入力装置の空間位置を検出し、当該空間位置の変化に応じて前記3次元動画像中の前記空間入力装置による複数の指定位置を検出し、前記3次元動画像装置の検索用情報生成手段が、前記複数の指定位置を示す検索用情報を生成し、前記3次元動画像装置の付加情報検索手段が、前記検索用情報の示す複数の指定位置と、前記動き表現情報の示す複数の表示位置との一致度に基づいて、前記動き表現情報記憶手段より前記動き表現情報を特定し、当該特定した動き表現情報により前記3次元動画像上に合成表示される前記付加情報を検索し、前記3次元動画像装置の付加情報出力手段が、前記検索した付加情報を出力することを特徴とする付加情報検索方法である。   The present invention is also a method for retrieving additional information in a three-dimensional moving image device, wherein the motion expression information storage means of the three-dimensional moving image device uses the additional information in the three-dimensional moving image synthesized and displayed on the three-dimensional moving image. Motion representation information indicating motion, wherein motion representation information indicating at least a plurality of display positions on a display locus on which the additional information moves on the three-dimensional moving image is stored, and input information of the three-dimensional moving image device The detecting means detects a spatial position of the spatial input device existing in the real space, detects a plurality of designated positions by the spatial input device in the three-dimensional moving image according to a change in the spatial position, and Search information generating means of the moving image device generates search information indicating the plurality of designated positions, and additional information search means of the three-dimensional moving image device includes a plurality of specified positions indicated by the search information; The movement Based on the degree of coincidence with a plurality of display positions indicated by the current information, the motion expression information is specified from the movement expression information storage means, and is synthesized and displayed on the three-dimensional moving image by the specified movement expression information. The additional information search method is characterized in that additional information is searched, and the additional information output means of the three-dimensional moving image apparatus outputs the searched additional information.

また本発明は、3次元動画像に合成表示する付加情報の前記3次元動画像における動きを示す動き表現情報であって、前記3次元動画像上を前記付加情報が移動する表示軌跡上の複数の表示位置を少なくとも示す動き表現情報を記憶する動き表現情報記憶手段を備えた3次元動画像再生装置のコンピュータを、実空間に存在する空間入力装置の空間位置を検出し、当該空間位置の変化に応じて前記3次元動画像中の前記空間入力装置による複数の指定位置を検出する入力情報検出手段、前記複数の指定位置を示す検索用情報を生成する検索用情報生成手段、前記検索用情報の示す複数の指定位置と、前記動き表現情報の示す複数の表示位置との一致度に基づいて、前記動き表現情報記憶手段より前記動き表現情報を特定し、当該特定した動き表現情報により前記3次元動画像上に合成表示される前記付加情報を検索する付加情報検索手段、前記検索した付加情報を出力する付加情報出力手段、として機能させるためのプログラムである。   Further, the present invention provides motion expression information indicating movement in the three-dimensional moving image of additional information to be synthesized and displayed on the three-dimensional moving image, and a plurality of information on a display trajectory on which the additional information moves on the three-dimensional moving image. The computer of the three-dimensional moving image reproduction device provided with the motion expression information storage means for storing the motion expression information indicating at least the display position of the image, detects the spatial position of the spatial input device existing in the real space, and changes the spatial position Input information detecting means for detecting a plurality of designated positions by the spatial input device in the three-dimensional moving image, search information generating means for generating search information indicating the plurality of designated positions, and the search information Based on the degree of coincidence between the plurality of designated positions indicated by and the plurality of display positions indicated by the movement expression information, the movement expression information is identified from the movement expression information storage means, and the identified movement Additional information retrieval means for retrieving the additional information to be synthesized and displayed on the 3D moving image by the current information is a program for functioning as the additional information output means, for outputting the retrieved additional information.

本発明によれば、ユーザは、空間マウスを用いて3次元画像再生装置の表示する仮想空間上に3次元で示される軌跡を入力するだけで、その軌跡と一致度の高い軌跡を3D動画像上に表示する3Dメタデータを検索することができる。
また、3次元画像再生装置の表示する仮想空間上にユーザが空間マウスを用いて入力した3次元の軌跡に基づいて、その軌跡が表す直線、曲線、移動速度、方向、軌跡の形状テンプレートの検索クエリが自動的に生成され、その検索クエリに一致する表示軌跡で3D動画像上に合成表示される3Dメタデータを検索することができるので、ユーザは、従来にくらべて多くの種類の表示軌跡の3Dメタデータを自由に検索することができる。
また、ユーザは、3次元画像再生装置の表示する仮想空間上にユーザが空間マウスを用いて入力するのみで、検索クエリを生成するために、特殊なコマンドやプログラムなどの検索用の問い合わせ言語を覚える必要がなく、容易に3D動画像上に表示される3Dメタデータの検索を行うことができる。
また、3Dメタデータが3D動画像上のある対象物の軌跡を追って表示されるものである場合には、ユーザが空間マウスを用いて検索クエリを作成するだけで、その結果検索された3Dメタデータに基づいて、所望の3D動画像上の対象物を検索することができるようになる。
また、上述の処理によれば、一致度の設定をユーザが自由に行うことができるため、ユーザの望む精度や曖昧さで、検索クエリの軌跡と同様の軌跡により3D動画像上に移動表示される3Dメタデータを検索することができる。
また、検索結果が所定の数以上に多く出力されるような場合には、一致度の閾値を自動的に上げる処理を行っているため、検索結果の数を所定の数に自動調整することができる。
According to the present invention, a user can input a trajectory having a high degree of coincidence with a trajectory having a high degree of coincidence with the trajectory shown in three dimensions on a virtual space displayed by the 3D image reproduction apparatus using a spatial mouse. The 3D metadata to be displayed above can be searched.
In addition, based on a three-dimensional trajectory input by the user using a spatial mouse on the virtual space displayed by the three-dimensional image reproduction device, search for a straight line, a curve, a moving speed, a direction, and a trajectory shape template represented by the trajectory. Since the query is automatically generated and the 3D metadata synthesized and displayed on the 3D moving image can be searched with the display track that matches the search query, the user can display many types of display tracks as compared with the conventional case. The 3D metadata can be freely searched.
In addition, the user only has to input a search query language such as a special command or program in the virtual space displayed by the 3D image playback apparatus by using a space mouse. There is no need to remember, and it is possible to easily search for 3D metadata displayed on a 3D moving image.
When the 3D metadata is displayed following the trajectory of a certain object on the 3D moving image, the user simply creates a search query using a spatial mouse, and the 3D metadata searched as a result is searched for. Based on the data, it becomes possible to search for an object on a desired 3D moving image.
In addition, according to the above-described process, the degree of coincidence can be freely set by the user, so that it is moved and displayed on the 3D moving image with the same trajectory as the search query trajectory with the accuracy and ambiguity desired by the user. 3D metadata can be searched.
In addition, when the search results are output more than a predetermined number, since the process of automatically increasing the matching threshold is performed, the number of search results can be automatically adjusted to a predetermined number. it can.

以下、本発明の一実施形態による3次元動画像再生装置を図面を参照して説明する。
図1は同実施形態による3次元動画像再生装置の構成を示すブロック図である。
この図より、3次元動画像再生装置は、空間マウス11、空間マウス制御部12、3D動画DB13、3DメタデータDB14(動き表現情報記憶手段)、3Dディスプレイ15、再生処理部16、動き表現情報生成部17、サンプルポイント生成部18(入力情報検出手段)、3Dメタデータ生成編集部19、3Dクエリ生成部20(検索用情報生成手段)、3Dメタデータ検索部21(付加情報検索手段)、検索結果表示処理部22(付加情報出力手段)、マッチング方法選択部23、の各処理部および記憶部を備えている。ここで、空間マウス11はユーザが手に持って実空間における位置を変化させることによって情報の入力を3次元動画像再生装置へ行うものであり、3次元動画像再生装置はこの空間マウス11の実空間における位置の変動によって、その変動に基づく移動量から画像上の指定位置等を検出する。具体的な処理としては、ユーザが空間マウス11を実空間で移動させると、その空間マウスとの距離や相対位置を3次元動画像再生装置に接続または取り付けられた検出部が赤外線などにより計測し、その計測結果に基づいて空間マウス制御部12やサンプルポイント生成部18等の処理部が3D画像上の位置を特定する処理を行う。また空間マウス制御部12は、空間マウス11からの情報を受信して、空間マウスの指定位置等の検出を行う処理部である。また、3D動画DB13は3D動画像のデータを記憶するDB(データベース)である。また3DメタデータDB14は3D動画像に合成表示させる付加情報である3Dメタデータを記憶している。また3Dディスプレイ15は、パララックスバリア方式(視差バリア方式)等の技術により、平面に表示された画像を観た人間が3次元に見えるような3D画像表示専用のディスプレイである。
Hereinafter, a three-dimensional moving image reproduction apparatus according to an embodiment of the present invention will be described with reference to the drawings.
FIG. 1 is a block diagram showing a configuration of a three-dimensional moving image reproduction apparatus according to the embodiment.
From this figure, the three-dimensional moving image reproduction apparatus includes a spatial mouse 11, a spatial mouse control unit 12, a 3D moving image DB 13, a 3D metadata DB 14 (motion expression information storage means), a 3D display 15, a reproduction processing unit 16, and motion expression information. A generation unit 17, a sample point generation unit 18 (input information detection unit), a 3D metadata generation editing unit 19, a 3D query generation unit 20 (search information generation unit), a 3D metadata search unit 21 (additional information search unit), Each of the search result display processing unit 22 (additional information output means) and the matching method selection unit 23 includes a processing unit and a storage unit. Here, the space mouse 11 is used to input information to the three-dimensional moving image reproduction device by changing the position in the real space with the hand held by the user. By changing the position in the real space, the designated position on the image is detected from the amount of movement based on the change. As a specific process, when the user moves the space mouse 11 in the real space, a detection unit connected to or attached to the three-dimensional moving image reproduction apparatus measures the distance and relative position with the space mouse by infrared rays or the like. Based on the measurement result, processing units such as the spatial mouse control unit 12 and the sample point generation unit 18 perform processing for specifying a position on the 3D image. The spatial mouse control unit 12 is a processing unit that receives information from the spatial mouse 11 and detects a designated position of the spatial mouse. The 3D moving image DB 13 is a DB (database) that stores 3D moving image data. In addition, the 3D metadata DB 14 stores 3D metadata that is additional information to be combined and displayed on the 3D moving image. In addition, the 3D display 15 is a display dedicated to 3D image display so that a human who sees an image displayed on a plane can be seen three-dimensionally by a technique such as a parallax barrier method (parallax barrier method).

また再生処理部16は、3D動画像の3Dディスプレイ15への出力や3Dメタデータの3D動画像上への出力の処理を行う処理部である。また動き表現情報生成部17は、3Dメタデータの表示位置や、その3Dメタデータを合成表示する3D動画像の開始時刻からの経過時間、3Dメタデータの3D動画像上における移動速度、移動方向、軌跡を特定するための表示軌跡情報、などからなる動き表現情報を生成する処理部である。またサンプルポイント生成部18は、空間マウス制御部12の検出した3D動画像上の指定位置のうち、3D動画像中に3Dメタデータを表示させる表示位置の検出を行う処理部である。また3Dメタデータ生成編集部19は、動き表現情報生成部17の生成した動き表現情報などに基づいて3DメタデータDB14で記憶する情報を書き換える等の処理を行う。また3Dクエリ生成部20は、3D動画像中に表示される3Dメタデータの中からユーザが希望する3Dメタデータの検出に利用する検索キーである検索クエリを生成する処理部である。また3Dメタデータ検索部21は、生成された検索クエリと3Dメタデータの動き表現情報との比較に基づいて3Dメタデータの検索を行う処理部である。また検索結果表示処理部22は、3Dメタデータ検索部21の検索した3Dメタデータを、3D動画像中などに表示する処理を行う処理部である。   The reproduction processing unit 16 is a processing unit that performs processing of outputting a 3D moving image to the 3D display 15 and outputting 3D metadata onto the 3D moving image. The motion expression information generation unit 17 also displays the display position of the 3D metadata, the elapsed time from the start time of the 3D moving image that displays the 3D metadata in a synthesized manner, the moving speed and the moving direction of the 3D metadata on the 3D moving image. , A processing unit that generates motion expression information including display trajectory information for specifying a trajectory. The sample point generation unit 18 is a processing unit that detects a display position at which 3D metadata is displayed in the 3D moving image among the designated positions on the 3D moving image detected by the spatial mouse control unit 12. The 3D metadata generation / editing unit 19 performs processing such as rewriting information stored in the 3D metadata DB 14 based on the motion expression information generated by the motion expression information generation unit 17. The 3D query generation unit 20 is a processing unit that generates a search query that is a search key used for detecting 3D metadata desired by the user from 3D metadata displayed in the 3D moving image. The 3D metadata search unit 21 is a processing unit that searches for 3D metadata based on a comparison between the generated search query and the motion expression information of the 3D metadata. The search result display processing unit 22 is a processing unit that performs processing for displaying the 3D metadata searched by the 3D metadata search unit 21 in a 3D moving image.

ここで、本実施形態による3次元動画像再生装置は、予め記憶する3D動画像と3Dメタデータとを用いて3Dディスプレイ15に3D動画像を再生出力するとともに、その動画像上に3Dメタデータを合成表示するものである。そして、3次元動画像再生装置は、3次元動画像に合成表示する3Dメタデータの3次元動画像における動きを示す動き表現情報であって、3次元動画像上を3Dメタデータが移動する表示軌跡上の複数の表示位置を少なくとも示す動き表現情報を3DメタデータDB14に記憶する。そのような状態において、3次元動画像再生装置は、実空間に存在する空間マウス(空間入力装置)の空間位置を検出し、当該空間位置の変化に対応した3次元動画像中の3次元位置を指定し、当該複数の3次元位置の指定位置からなる検索クエリ(検索用情報)を生成する。また、3次元動画像再生装置は、検索クエリの示す複数の指定位置と、動き表現情報の示す複数の表示位置との一致度に基づいて、3DメタデータDB14(動き表現情報記憶手段)に記録されている3Dメタデータの動き表現情報を抽出し、当該抽出した動き表現情報の3Dメタデータを出力する処理を行う。   Here, the 3D moving image reproduction apparatus according to the present embodiment reproduces and outputs a 3D moving image to the 3D display 15 using the 3D moving image and 3D metadata stored in advance, and 3D metadata is also displayed on the moving image. Are combined and displayed. The three-dimensional moving image reproduction device is motion expression information indicating movement in the three-dimensional moving image of the 3D metadata combined and displayed on the three-dimensional moving image, and is a display in which the 3D metadata moves on the three-dimensional moving image. Motion expression information indicating at least a plurality of display positions on the locus is stored in the 3D metadata DB 14. In such a state, the three-dimensional video playback device detects the spatial position of the spatial mouse (spatial input device) existing in the real space, and the three-dimensional position in the three-dimensional video corresponding to the change in the spatial position. And a search query (search information) including the specified positions of the plurality of three-dimensional positions is generated. Further, the 3D moving image playback apparatus records in the 3D metadata DB 14 (motion expression information storage unit) based on the degree of coincidence between the plurality of designated positions indicated by the search query and the plurality of display positions indicated by the movement expression information. The motion expression information of the extracted 3D metadata is extracted, and the 3D metadata of the extracted motion expression information is output.

図2は3Dメタデータ情報テーブルを示す図である。
図3はサンプルポイント情報テーブルを示す図である。
次に、図2、図3を用いて3DメタデータDB14が記憶するデータテーブルについて説明する。
図2で示す3Dメタデータ情報テーブルは、3D動画像上に合成表示する3Dメタデータそれぞれについて記憶するものであり、3Dメタデータを特定するためのID、3Dメタデータのタイプ(文字情報や図形情報など)、3Dメタデータの3D動画像上への表示の開始時刻、3D動画像上へ表示してから終了するまでの表示開始時刻からの表示時間幅、表示開始時刻において3D動画像上に表示する位置である空間座標、3Dメタデータのタイプ別の個別情報、3Dメタデータを3D動画像上に表示するために用いられるサンプルポイント情報を対応付けて記憶している。
FIG. 2 is a diagram showing a 3D metadata information table.
FIG. 3 shows a sample point information table.
Next, a data table stored in the 3D metadata DB 14 will be described with reference to FIGS.
The 3D metadata information table shown in FIG. 2 is stored for each 3D metadata to be combined and displayed on the 3D moving image. The ID for specifying the 3D metadata, the type of 3D metadata (character information and graphics) Information, etc.) Start time of display of 3D metadata on 3D moving image, display time width from display start time from display on 3D moving image to end, on 3D moving image at display start time Spatial coordinates that are positions to be displayed, individual information for each type of 3D metadata, and sample point information used for displaying 3D metadata on a 3D moving image are stored in association with each other.

図3で示すサンプルポイント情報テーブルは、図2で示した3Dメタデータ情報テーブル内のサンプルポイント情報の詳細を記憶するデータテーブルである。この図が示すようにサンプルポイント情報テーブルは、3Dメタデータの3D動画像上の離散的な各表示位置を識別するためのサンプルポイント番号、そのサンプルポイント番号で示される表示位置の3D動画像の仮想空間上の座標、サンプルポイントにおいて3Dメタデータが表示される時刻の最初の表示位置の表示時刻からの経過時間、2つの連続する離散的なサンプルポイントの表示位置と各表示時刻に基づいて算出される3Dメタデータの移動方向、移動速度、3Dメタデータの軌跡のテンプレート、また、3Dメタデータの軌跡の線を表す数式の係数、を対応付けて記憶している。   The sample point information table shown in FIG. 3 is a data table that stores details of the sample point information in the 3D metadata information table shown in FIG. As shown in this figure, the sample point information table includes a sample point number for identifying each discrete display position on the 3D moving image of 3D metadata, and the 3D moving image of the display position indicated by the sample point number. Calculated based on the coordinates in the virtual space, the elapsed time from the display time of the first display position of the time when the 3D metadata is displayed at the sample point, the display position of the two consecutive discrete sample points, and each display time 3D metadata moving direction, moving speed, 3D metadata trajectory template, and mathematical expression coefficients representing 3D metadata trajectory lines are stored in association with each other.

図4は3Dメタデータの作成時の処理フローを示す図である。
本実施形態による3次元動画像再生装置の3Dメタデータの検索方法を行う場合には、まず、3D動画像上に合成表示する3Dメタデータの動き表現情報が予め生成されていることが必要である。この3Dメタデータはユーザの操作に基づいて、3次元動画像再生装置が作成したものである。そして動き表現情報の作成処理について、まず説明する。
3次元動画像再生装置における3Dメタデータの作成は、3Dディスプレイ15上に3D動画像が表示された状況で行われる。この時、まず、再生処理部16が、ユーザによって指定された3D動画像データを3D動画DB13から読み取って再生処理し(ステップS101)、3Dディスプレイ15上に出力する。そして、ユーザはこの3Dディスプレイ15に出力された3D動画像上に表示させたい3Dメタデータを、空間マウス11を用いて選択する(例えば一覧などから選択する)。すると、再生処理部16は選択された3Dメタデータの情報を3D動画像上に合成して表示する(ステップS102)。ここでユーザは、3D動画像上に表示された3Dメタデータを、空間マウス11を用いて選択し、選択しながら空間マウス11を上下左右前後等の実空間内の任意の方向に動作させることにより、3D動画像上に表示された3Dメタデータを3D動画像の仮想空間上の実空間と対応する方向に移動させることができる。具体的にこの処理は、空間マウス制御部12が空間マウス11の移動方向や移動量を検出し、その移動方向や移動量を再生処理部16に通知することにより、再生処理部16が、選択された3Dメタデータの3D動画像上における表示位置を移動させる処理を行う。
FIG. 4 is a diagram showing a processing flow when creating 3D metadata.
When performing the 3D metadata search method of the 3D moving image playback apparatus according to this embodiment, first, it is necessary that motion expression information of 3D metadata to be synthesized and displayed on the 3D moving image is generated in advance. is there. This 3D metadata is created by the three-dimensional moving image playback device based on a user operation. The motion expression information creation process will be described first.
Creation of 3D metadata in the 3D moving image playback apparatus is performed in a state where a 3D moving image is displayed on the 3D display 15. At this time, first, the reproduction processing unit 16 reads the 3D moving image data designated by the user from the 3D moving image DB 13 and performs reproduction processing (step S101), and outputs it to the 3D display 15. Then, the user selects 3D metadata to be displayed on the 3D moving image output to the 3D display 15 using the spatial mouse 11 (for example, selects from a list or the like). Then, the reproduction processing unit 16 synthesizes and displays the selected 3D metadata information on the 3D moving image (step S102). Here, the user selects 3D metadata displayed on the 3D moving image by using the spatial mouse 11, and moves the spatial mouse 11 in any direction in the real space such as up, down, left, and right, while selecting. Thus, the 3D metadata displayed on the 3D moving image can be moved in a direction corresponding to the real space on the virtual space of the 3D moving image. Specifically, in this process, the spatial mouse control unit 12 detects the movement direction and movement amount of the spatial mouse 11 and notifies the reproduction processing unit 16 of the movement direction and movement amount so that the reproduction processing unit 16 selects A process for moving the display position of the 3D metadata thus obtained on the 3D moving image is performed.

そして、3D動画像上を3Dメタデータが移動表示されている際に、ユーザは空間マウス11を用いてメタデータの作成開始を指示する。すると、サンプルポイント生成部18は、メタデータの作成開始の指示を空間マウス制御部12から受け付け(ステップS103)、また空間マウス11から空間マウス制御部12を介して位置特定情報を受信する(ステップS104)。この位置特定情報は、ユーザが空間マウス11を用いて3Dメタデータを表示すると指定した位置を特定するためのものである。そしてサンプルポイント生成部18は、位置特定情報を受信した時における、3Dメタデータの3D動画像上の表示位置(3D動画像の仮想空間内での座標)と、その表示位置に3Dメタデータが表示されている時刻の3D動画像の再生開始時刻からの経過時間を再生処理部16へ問い合わせる。再生処理部16は、位置特定情報の受信時刻における3Dメタデータの3D動画像上の表示位置(3D動画像の仮想空間内での座標)を検出し(ステップS105)、また再生開始時刻からの経過時間を計測しているため、そのときの3D動画像の再生開始時刻からの経過時間を検出して(ステップS106)、当該検出した3Dメタデータの表示位置と再生開始時刻からの経過時間と3DメタデータのIDとからなる表示属性情報を、サンプルポイント生成部18へ送信する。するとサンプルポイント生成部18は受信した表示属性情報と、3Dメタデータの作成指示を3Dメタデータ生成編集部19に送信する。   When the 3D metadata is moved and displayed on the 3D moving image, the user uses the space mouse 11 to instruct the start of metadata creation. Then, the sample point generation unit 18 receives an instruction to start creating metadata from the spatial mouse control unit 12 (step S103), and receives position specifying information from the spatial mouse 11 via the spatial mouse control unit 12 (step S103). S104). This position specifying information is for specifying a position specified by the user to display 3D metadata using the spatial mouse 11. The sample point generation unit 18 receives the position specifying information, the display position of the 3D metadata on the 3D moving image (the coordinates in the virtual space of the 3D moving image), and the 3D metadata at the display position. The playback processing unit 16 is inquired about the elapsed time from the playback start time of the 3D moving image at the displayed time. The reproduction processing unit 16 detects a display position (coordinates in the virtual space of the 3D moving image) of the 3D metadata at the reception time of the position specifying information (step S105), and also from the reproduction start time. Since the elapsed time is measured, the elapsed time from the playback start time of the 3D moving image at that time is detected (step S106), and the detected display position of the 3D metadata and the elapsed time from the playback start time are detected. Display attribute information including the ID of the 3D metadata is transmitted to the sample point generation unit 18. Then, the sample point generation unit 18 transmits the received display attribute information and 3D metadata creation instruction to the 3D metadata generation / editing unit 19.

次に表示属性情報と、3Dメタデータの作成指示を受け付けた3Dメタデータ生成編集部19は、表示属性情報を一時的に記憶する。また、ユーザが空間マウス11を用いて表示位置の入力を複数回行うことにより、または、所定の間隔で表示位置が自動的に検出されることにより、その都度サンプルポイント生成部18が位置特定情報を再生処理部16へ送信し、その結果、サンプルポイント生成部18が、再生処理部16から表示属性情報を受信して、3Dメタデータ生成編集部19へ送信する。これにより3Dメタデータ生成編集部19は、複数の3Dメタデータの表示位置に関する表示属性情報を、一時的に記憶することとなる。そして、空間マウス制御部12は、ユーザの操作に基づいて空間マウス11から3Dメタデータの表示終了の入力を受け付けたかを判定し(ステップS107)、表示終了の入力を受け付けると、その表示終了時点までのメタデータの作成を行うようサンプルポイント生成部18に通知する。するとサンプルポイント生成部18は3Dメタデータの生成を3Dメタデータ生成編集部19へ通知し、3Dメタデータ生成編集部19が、一時的に記憶している複数の表示属性情報を、動き表現情報生成部17に送信し、被検索用データの生成を指示する。   Next, the 3D metadata generation / editing unit 19 that has received the display attribute information and the 3D metadata creation instruction temporarily stores the display attribute information. In addition, when the user inputs the display position a plurality of times using the spatial mouse 11 or when the display position is automatically detected at a predetermined interval, the sample point generation unit 18 performs the position specifying information each time. Is transmitted to the reproduction processing unit 16, and as a result, the sample point generation unit 18 receives the display attribute information from the reproduction processing unit 16 and transmits it to the 3D metadata generation / editing unit 19. As a result, the 3D metadata generation / editing unit 19 temporarily stores display attribute information regarding the display positions of the plurality of 3D metadata. Then, the spatial mouse control unit 12 determines whether the display end input of the 3D metadata has been received from the spatial mouse 11 based on the user's operation (step S107). The sample point generation unit 18 is notified to create the metadata up to. Then, the sample point generation unit 18 notifies the generation of 3D metadata to the 3D metadata generation / editing unit 19, and the 3D metadata generation / editing unit 19 converts the plurality of display attribute information temporarily stored into motion expression information. The data is transmitted to the generation unit 17 to instruct generation of search target data.

次に動き表現情報生成部17は、受信した複数の表示属性情報に基づいて、被検索用データの生成を開始する(ステップS108)。ここで被検索用データとは、表示属性情報で示される3Dメタデータの表示位置、再生開始時刻からの経過時刻に基づいて算出される、3Dメタデータの3D動画像上での移動方向、移動速度、軌跡の形状テンプレートである。そして、これら移動方向、移動速度、軌跡の形状テンプレートなどの被検索用データは、3D動画像中に表示される3Dメタデータの検索に利用される情報となる。そして被検索用データの生成が完了すると、動き表現情報生成部17は、その生成した被検索用データを3Dメタデータ生成編集部19へ送信する。被検索用データは表示属性情報で示される3Dメタデータの表示位置(サンプルポイント)ごとに計算されることとなる。そして、3Dメタデータ生成編集部19は、一時的に記憶している各表示属性情報と、それら各表示属性情報について算出された被検索用データを対応付けて、3DメタデータDB14のサンプルポイント情報テーブルに登録する(ステップS109)。つまり、サンプルポイント情報テーブルには、1つの3Dメタデータについて、3DメタデータのIDと、当該3Dメタデータの複数の表示位置と、その複数の表示位置に3Dメタデータが表示される再生開始時刻からの経過時間と、その表示位置における移動方向、移動速度、3Dメタデータの表示位置による軌跡テンプレートとが、対応付けて登録される。なお、上記のようなサンプルポイント情報テーブルに記録した情報を用いて、3Dメタデータを3D動画像の再生時に出力することとなる。また当該サンプルポイント情報テーブルに記録した情報を用いて、3D動画像上に表示される3Dメタデータの検索が行われることとなる。   Next, the motion expression information generation unit 17 starts generating search target data based on the received plurality of display attribute information (step S108). Here, the data to be searched is the moving direction and movement of the 3D metadata on the 3D moving image calculated based on the display position of the 3D metadata indicated by the display attribute information and the elapsed time from the reproduction start time. This is a shape template for speed and trajectory. The data to be searched such as the moving direction, moving speed, and trajectory shape template is information used for searching 3D metadata displayed in the 3D moving image. When the generation of the search target data is completed, the motion expression information generation unit 17 transmits the generated search target data to the 3D metadata generation / editing unit 19. The search target data is calculated for each display position (sample point) of the 3D metadata indicated by the display attribute information. Then, the 3D metadata generation / editing unit 19 associates each temporarily stored display attribute information with the searched data calculated for each display attribute information, and sample point information in the 3D metadata DB 14 Register in the table (step S109). That is, in the sample point information table, for one piece of 3D metadata, the ID of 3D metadata, a plurality of display positions of the 3D metadata, and a reproduction start time at which the 3D metadata is displayed at the plurality of display positions. And the trajectory template based on the display direction of the display position, the moving direction at the display position, the moving speed, and the 3D metadata are registered in association with each other. Note that, using the information recorded in the sample point information table as described above, 3D metadata is output when a 3D moving image is reproduced. In addition, 3D metadata displayed on the 3D moving image is searched using information recorded in the sample point information table.

以上の処理により、3D動画像上に表示される3Dメタデータの、ユーザが指定した、または自動的に検出した表示位置における移動方向、移動速度、軌跡の形状テンプレートや、その表示位置、表示位置に表示させる再生開始時刻からの経過時刻を登録しておくことができる。そして、このように離散的な表示位置(サンプルポイント)の情報を登録しておくため、3Dメタデータの全ての軌跡の位置を記憶させておく必要がなく、これによりデータベースに記憶させておく情報を削減することができる。なお、上述の処理においては、3Dメタデータの3D動画像上での移動方向、移動速度、軌跡の形状テンプレートを算出してサンプルポイント情報テーブルに予め登録する例を示しているが、表示属性情報で示される3DメタデータのIDと、当該3Dメタデータの表示位置のみをサンプルポイント情報テーブルに予め記憶しておき、3Dメタデータの3D動画像上での移動方向、移動速度、軌跡の形状テンプレートについては、検索時にその都度計算するようにしてもよい。   Through the above processing, the moving direction, moving speed, trajectory shape template, display position, and display position of the 3D metadata displayed on the 3D moving image at the display position specified by the user or automatically detected. It is possible to register the elapsed time from the reproduction start time to be displayed on the screen. Since information on discrete display positions (sample points) is registered in this way, it is not necessary to store the positions of all the trajectories of 3D metadata, and thus information stored in the database. Can be reduced. In the above processing, an example is shown in which the moving direction, moving speed, and trajectory shape template of 3D metadata on a 3D moving image are calculated and registered in the sample point information table in advance. 3D metadata ID and the display position of the 3D metadata are stored in advance in the sample point information table, and the moving direction, moving speed, and locus shape template of the 3D metadata on the 3D moving image are stored. May be calculated each time when searching.

図5は3Dメタデータ検索処理の処理フローを示す第1の図である。
図6は3次元動画像再生装置の表示する画面例を示す図である。
3Dメタデータの検索処理の第1例として、予め複数の3D動画像データそれぞれに対して、同一のまたは異なる3Dメタデータが1つまたは複数合成表示されるものとして3DメタデータDB14に記録されており、それらの中から、ユーザが空間マウス11で入力した軌跡に近い軌跡により3D動画像に合成表示される3Dメタデータを検索する際の例について説明する。
図5より、まずユーザが3D動画像上に表示される3Dメタデータの検索の開始の要求を3次元動画像再生装置に入力し、その情報を3次元動画像再生装置が受け付けると(ステップS201)、3次元動画像再生装置のマッチング方法選択部23がマッチング方法選択画面と、単独・グループ選択画面(図6)をモニタに出力する(ステップS202)。ここで、マッチング方法選択画面は、3Dメタデータの検索時に、(a)空間マウス11の実空間における位置に基づいて検出した各3D動画像上の指定位置を直線でつないで検索クエリを作成するか、(b)それら指定位置を曲線でつないで検索クエリを作成するか、(c)当該指定位置に基づいて特定できる定型軌跡テンプレートの検索クエリを作成するか、(d)当該指定位置に基づいて算出できる軌跡の移動方向を示す検索クエリを作成するか、(e)当該指定位置に基づいて算出できる軌跡の移動速度を示す検索クエリを作成するか、の(a)〜(e)をユーザに指定させるための画面である。また単独・グループマッチング選択画面は、1つ(単独)の検索クエリで3Dメタデータを検索するか、または複数(グループ)の検索クエリに一致する3Dメタデータを検索するかを、ユーザに指定させるための画面である。
FIG. 5 is a first diagram illustrating a processing flow of 3D metadata search processing.
FIG. 6 is a diagram showing an example of a screen displayed by the three-dimensional moving image playback device.
As a first example of 3D metadata search processing, one or a plurality of the same or different 3D metadata is recorded in advance in the 3D metadata DB 14 for each of a plurality of 3D moving image data. An example in which 3D metadata that is synthesized and displayed on the 3D moving image based on a locus close to the locus input by the user with the spatial mouse 11 is searched from among them will be described.
As shown in FIG. 5, first, when a user inputs a request to start searching for 3D metadata displayed on a 3D moving image to the 3D moving image playback device, the 3D moving image playback device accepts the information (step S201). ) The matching method selection unit 23 of the three-dimensional moving image reproduction apparatus outputs the matching method selection screen and the single / group selection screen (FIG. 6) to the monitor (step S202). Here, the matching method selection screen creates a search query by connecting the specified positions on each 3D moving image detected based on the position of the space mouse 11 in the real space with a straight line when searching for 3D metadata. Or (b) create a search query by connecting the designated positions with a curve, (c) create a search query for a standard trajectory template that can be specified based on the designated position, or (d) based on the designated position. (A) to (e) of whether to create a search query indicating the moving direction of the trajectory that can be calculated in this way, or (e) creating a search query indicating the moving speed of the trajectory that can be calculated based on the specified position This is a screen for letting you specify. The single / group matching selection screen allows the user to specify whether to search 3D metadata with one (single) search query or to search for 3D metadata that matches multiple (group) search queries. It is a screen for.

そして、マッチング方法選択部23が、マッチング方法選択画面および単独・グループ選択画面によって入力された情報を受け付け(ステップS203)、3Dクエリ生成部20へ通知する。すると3Dクエリ生成部20は、空間マウス11による軌跡入力を促す画面を3次元動画像再生装置のモニタ上に表示する(ステップS204)。ここで、ユーザは空間マウス11を用いて、軌跡入力開始を指示するとともに(例えば所定のボタンを押下するなど)、当該空間マウス11が指定しているモニタ上のマウスポインタの指定位置を、その空間マウス11を実空間の上下左右前後のいずれかの方向に動かすことにより移動させる。このとき、空間マウス制御部12が空間マウス11の移動方向や移動量を検出し、その移動方向や移動量を再生処理部16に通知することにより、再生処理部16が、空間マウス11がモニタ上において指定するマウスポインタの位置を移動させる処理を行う。そして、ユーザが空間マウス11を用いて軌跡入力終了を指示する(例えば所定のボタンを押下するなど)。   Then, the matching method selection unit 23 receives information input through the matching method selection screen and the single / group selection screen (step S203), and notifies the 3D query generation unit 20 of the information. Then, the 3D query generation unit 20 displays a screen for prompting the locus input by the spatial mouse 11 on the monitor of the three-dimensional moving image reproduction device (step S204). Here, the user uses the spatial mouse 11 to instruct the start of trajectory input (for example, by pressing a predetermined button), and the designated position of the mouse pointer on the monitor designated by the spatial mouse 11 is The space mouse 11 is moved by moving it in any direction of up / down / left / right / front / back of the real space. At this time, the spatial mouse control unit 12 detects the movement direction and movement amount of the spatial mouse 11 and notifies the reproduction processing unit 16 of the movement direction and movement amount, so that the reproduction processing unit 16 monitors the spatial mouse 11. A process of moving the position of the mouse pointer designated above is performed. Then, the user uses the space mouse 11 to instruct the end of the locus input (for example, pressing a predetermined button).

そして、軌跡入力開始から軌跡入力終了を受信するまで、空間マウス制御部12は自動的に定期的な間隔で位置特定情報を生成し(ステップS205)、サンプルポイント生成部18は、当該生成された位置特定情報を空間マウス制御部12より受信する。この位置特定情報は、ユーザが空間マウス11を用いて指定した3D仮想空間上の位置の検出の指示を行うものである。ここで、軌跡入力開始から軌跡入力終了までの間において、自動的に所定の時間間隔で、空間マウス制御部12がマウスポインタの指定位置の検出を指示するための位置特定情報を定期的にサンプルポインタ生成部18に通知する。   The spatial mouse control unit 12 automatically generates position specifying information at regular intervals from the start of trajectory input until the end of trajectory input is received (step S205), and the sample point generator 18 generates the generated point information. Position specifying information is received from the spatial mouse control unit 12. This position specifying information is an instruction to detect the position in the 3D virtual space designated by the user using the spatial mouse 11. Here, from the start of the trajectory input to the end of the trajectory input, the position specifying information for the spatial mouse control unit 12 to automatically instruct the detection of the designated position of the mouse pointer is sampled periodically at predetermined time intervals. Notify the pointer generator 18.

そしてサンプルポイント生成部18は、位置特定情報を受信した時における、マウスポインタの仮想空間上の指定位置を再生処理部16へ問い合わせる。再生処理部16は、位置特定情報の生成時刻におけるマウスポインタの仮想3D空間上の指定位置(仮想空間内での座標)を検出して(ステップS206)、当該検出したマウスポインタの指定位置をサンプルポイント生成部18へ送信する。するとサンプルポイント生成部18は、最初の位置特定情報を受信した時刻を基準とした経過時間と、そのときのマウスポインタの仮想空間上の指定位置とを示す表示属性情報を生成して(ステップS207)、3Dクエリ生成部20へ通知する。またサンプルポイント生成部18は、位置特定情報を受信するたびに、そのときのマウスポインタの指定位置を再生処理部16に問い合わせ、その結果である表示属性情報を3Dクエリ生成部20へ通知する。これにより3Dクエリ生成部20は、ユーザが空間マウス11を用いて入力した軌跡を特定するための複数の指定位置と、それら指定位置における最初の指定位置を基準とする軌跡の経過時間を示す表示属性情報を複数記憶する。なお、単独・グループ選択画面において「グループ」が指定されている場合には、ユーザが空間マウス11を用いて指定する複数の軌跡により検索が行われるため、複数の軌跡に関する表示属性情報がサンプルポイント生成部18から3Dクエリ生成部20に通知され、3Dクエリ生成部20が一時的に記憶する。   Then, the sample point generation unit 18 inquires the reproduction processing unit 16 about the designated position of the mouse pointer in the virtual space when the position specifying information is received. The reproduction processing unit 16 detects the designated position (coordinates in the virtual space) of the mouse pointer in the virtual 3D space at the generation time of the position specifying information (step S206), and samples the detected designated position of the mouse pointer. It is transmitted to the point generation unit 18. Then, the sample point generation unit 18 generates display attribute information indicating the elapsed time based on the time when the first position specifying information is received and the designated position of the mouse pointer in the virtual space at that time (step S207). ) Notify the 3D query generator 20. Each time the sample point generation unit 18 receives position specifying information, the sample point generation unit 18 inquires the reproduction processing unit 16 about the designated position of the mouse pointer at that time, and notifies the 3D query generation unit 20 of the display attribute information as a result. As a result, the 3D query generation unit 20 displays a plurality of designated positions for specifying the locus input by the user using the spatial mouse 11 and the elapsed time of the locus with reference to the first designated position at these designated positions. A plurality of attribute information is stored. Note that when “group” is designated on the single / group selection screen, the search is performed using a plurality of trajectories designated by the user using the spatial mouse 11, and therefore display attribute information regarding the plurality of trajectories is sample points. The 3D query generation unit 20 is notified from the generation unit 18 and temporarily stored in the 3D query generation unit 20.

次に、3Dクエリ生成部20は、通知を受けた複数の表示属性情報を動き表現情報生成部17に通知すると共に、空間マウス11の軌跡を示す動き表現情報の生成を指示する。このとき3Dクエリ生成部20は、マッチング方法選択画面において選択されたマッチング方法(直線、曲線、定型軌跡テンプレート、方向、速度の何れか)の情報を通知する。すると動き表現情報生成部17は、通知を受けた複数の表示属性情報で示される各指定位置を結ぶ軌跡を示す表示軌跡情報を動き表現情報として生成する(ステップS208)。ここで表示軌跡情報は、マッチング方法が直線であれば、複数の表示属性情報で示される各指定位置を経過時間の順にそれぞれ結ぶ直線の各式の係数を示し、またマッチング方法が曲線であれば、複数の表示属性情報で示される各指定位置を結ぶスプライン曲線を表す各式の係数を示すものとなる。また動き表現情報は、マッチング方法が定型軌跡テンプレートであれば、複数の表示属性情報で示される各指定位置による軌跡が、どの定型軌跡テンプレートに類似する軌跡であるかを示す定型軌跡テンプレート種別の情報を示すものとなる。また動き表現情報は、マッチング方法が方向であれば、複数の表示属性情報で示される各指定位置を結ぶ各直線それぞれの方向ベクトルの情報を示すものとなる。また動き表現情報は、マッチング方法が速度であれば、複数の表示属性情報で示される各指定位置間の距離と、その距離における経過時間差とに基づいて算出される速度の情報を示すものとなる。   Next, the 3D query generation unit 20 notifies the motion expression information generation unit 17 of the notified plurality of display attribute information, and instructs generation of motion expression information indicating the trajectory of the spatial mouse 11. At this time, the 3D query generation unit 20 notifies information on a matching method (any one of a straight line, a curve, a fixed path template, a direction, and a speed) selected on the matching method selection screen. Then, the motion expression information generation unit 17 generates display trajectory information indicating the trajectory connecting the designated positions indicated by the plurality of display attribute information received as notification (step S208). Here, if the matching method is a straight line, the display trajectory information indicates a coefficient of each equation of a straight line that connects each designated position indicated by a plurality of display attribute information in order of elapsed time, and if the matching method is a curve The coefficients of the respective expressions representing the spline curve connecting the designated positions indicated by the plurality of display attribute information are indicated. In addition, if the matching method is a standard trajectory template, the motion expression information is information on a standard trajectory template type indicating which standard trajectory template is similar to the trajectory at each specified position indicated by the plurality of display attribute information. Will be shown. In addition, if the matching method is a direction, the motion expression information indicates information on a direction vector of each straight line connecting each designated position indicated by a plurality of display attribute information. If the matching method is speed, the motion expression information indicates speed information calculated based on the distance between the designated positions indicated by the plurality of display attribute information and the elapsed time difference at the distance. .

そして動き表現情報生成部17において動き表現情報が生成されると、3Dクエリ生成部20は、動き表現情報と、その動き表現情報の算出に利用された各表示属性情報の示すマウスポインタの仮想空間上の各指定位置と、それら指定位置のうち、最初の指定位置の検出時刻を基準とする経過時間と、を示す検索クエリを生成し(ステップS209)、3Dメタデータ検索部21へ送信する。そして、3Dメタデータ検索部21が、検索クエリと3DメタデータDB14に記録されている各3Dメタデータの動き表現情報とを比較して(ステップS210)、一致度が予め設定された閾値以上の動き表現情報を示す3Dメタデータを特定する(ステップS211)。そして、検索結果表示処理部22が、3Dメタデータ検索部21の検索した3Dメタデータを、3次元動画像再生装置のモニタに表示する処理を行う(ステップS212)。   When the motion expression information is generated in the motion expression information generation unit 17, the 3D query generation unit 20 creates a virtual space of the mouse pointer indicated by the motion expression information and each display attribute information used for calculating the movement expression information. A search query indicating each of the designated positions above and the elapsed time based on the detection time of the first designated position among the designated positions is generated (step S209) and transmitted to the 3D metadata search unit 21. Then, the 3D metadata search unit 21 compares the search query with the motion expression information of each 3D metadata recorded in the 3D metadata DB 14 (step S210), and the matching degree is equal to or greater than a preset threshold value. The 3D metadata indicating the motion expression information is specified (step S211). Then, the search result display processing unit 22 performs processing for displaying the 3D metadata searched by the 3D metadata search unit 21 on the monitor of the three-dimensional moving image playback device (step S212).

図7は3Dメタデータ検索処理の処理フローを示す第2の図である。
3Dメタデータの検索処理の第2例として、ユーザが3D動画像データを再生しながら、その3D動画像データによる3D動画像に合成される3Dメタデータの中から所望の軌跡の3Dメタデータを検索する例について以下に説明する。
図7より、まずユーザは、3D動画像データを指定して3D動画像データを再生させる入力を行う。これにより3次元動画像再生装置の再生処理部16が指定された3D動画像データを再生する(ステップS301)。そして、ユーザがその3D動画像において合成表示される3Dメタデータを検索したいと考えた場合、3Dメタデータの検索の開始の要求を3次元動画像再生装置に入力し、当該入力された情報を3次元動画像再生装置が受け付ける(ステップS302)。すると、3次元動画像再生装置の再生処理部16が3D動画像データの再生処理を一時停止して(ステップS303)、マッチング方法選択部23がマッチング方法選択画面と、単独・グループ選択画面(図6)をモニタに出力する(ステップS304)。ここで、マッチング方法選択画面は、3Dメタデータの検索時に、(a)空間マウス11の実空間における位置に基づいて検出した各3D動画像上の指定位置を直線でつないで検索クエリを作成するか、(b)それら指定位置を曲線でつないで検索クエリを作成するか、(c)当該指定位置に基づいて特定できる定型軌跡テンプレートの検索クエリを作成するか、(d)当該指定位置に基づいて算出できる軌跡の移動方向を示す検索クエリを作成するか、(e)当該指定位置に基づいて算出できる軌跡の移動速度を示す検索クエリを作成するか、の(a)〜(e)をユーザに指定させるための画面である。また単独・グループマッチング選択画面は、1つ(単独)の検索クエリで3Dメタデータを検索するか、または複数(グループ)の検索クエリに一致する3Dメタデータを検索するかを、ユーザに指定させるための画面である。
FIG. 7 is a second diagram showing a processing flow of the 3D metadata search processing.
As a second example of 3D metadata search processing, 3D metadata of a desired trajectory is selected from 3D metadata synthesized with a 3D moving image based on the 3D moving image data while the user reproduces the 3D moving image data. An example of searching will be described below.
As shown in FIG. 7, first, the user designates 3D moving image data and performs input for reproducing the 3D moving image data. As a result, the reproduction processing unit 16 of the three-dimensional moving image reproduction apparatus reproduces the designated 3D moving image data (step S301). When the user wants to search for 3D metadata to be synthesized and displayed in the 3D moving image, a request to start searching for 3D metadata is input to the 3D moving image playback apparatus, and the input information is input. The three-dimensional moving image playback device accepts (step S302). Then, the reproduction processing unit 16 of the three-dimensional moving image reproduction apparatus temporarily stops the reproduction processing of the 3D moving image data (step S303), and the matching method selection unit 23 selects the matching method selection screen and the single / group selection screen (FIG. 6) is output to the monitor (step S304). Here, the matching method selection screen creates a search query by connecting the specified positions on each 3D moving image detected based on the position of the space mouse 11 in the real space with a straight line when searching for 3D metadata. Or (b) create a search query by connecting the designated positions with a curve, (c) create a search query for a standard trajectory template that can be specified based on the designated position, or (d) based on the designated position. (A) to (e) of whether to create a search query indicating the moving direction of the trajectory that can be calculated in this way, or (e) creating a search query indicating the moving speed of the trajectory that can be calculated based on the specified position This is a screen for letting you specify. The single / group matching selection screen allows the user to specify whether to search 3D metadata with one (single) search query or to search for 3D metadata that matches multiple (group) search queries. It is a screen for.

そして、マッチング方法選択部23が、マッチング方法選択画面および単独・グループ選択画面によって入力された情報を受け付け(ステップS305)、その情報を3Dクエリ生成部20へ通知する。すると3Dクエリ生成部20は、空間マウス11による軌跡入力を促す画面を3次元動画像再生装置のモニタ上に表示する(ステップS306)。ここで、ユーザは空間マウス11を用いて、軌跡入力開始を指示するとともに(例えば所定のボタンを押下するなど)、当該空間マウス11が指定しているモニタ上のマウスポインタの指定位置を、その空間マウス11を実空間の上下左右前後のいずれかの方向に動かすことにより移動させる。このとき、空間マウス制御部12が空間マウス11の移動方向や移動量を検出し、その移動方向や移動量を再生処理部16に通知することにより、再生処理部16が、空間マウス11がモニタ上において指定するマウスポインタの位置を移動させる処理を行う。そして、ユーザが空間マウス11を用いて軌跡入力終了を指示する(例えば所定のボタンを押下するなど)。   Then, the matching method selection unit 23 receives information input through the matching method selection screen and the single / group selection screen (step S305), and notifies the 3D query generation unit 20 of the information. Then, the 3D query generation unit 20 displays a screen for prompting the locus input by the spatial mouse 11 on the monitor of the three-dimensional moving image reproduction device (step S306). Here, the user uses the spatial mouse 11 to instruct the start of trajectory input (for example, by pressing a predetermined button), and the designated position of the mouse pointer on the monitor designated by the spatial mouse 11 is The space mouse 11 is moved by moving it in any direction of up / down / left / right / front / back of the real space. At this time, the spatial mouse control unit 12 detects the movement direction and movement amount of the spatial mouse 11 and notifies the reproduction processing unit 16 of the movement direction and movement amount, so that the reproduction processing unit 16 monitors the spatial mouse 11. A process of moving the position of the mouse pointer designated above is performed. Then, the user uses the space mouse 11 to instruct the end of the locus input (for example, pressing a predetermined button).

なお、単独・グループ選択画面において「グループ」が選択された場合には、空間マウス11から複数の軌跡の入力が行われることとなるが、例えば複数の空間マウス11を用いて同時に軌跡が入力され、それらを1つの検索用の軌跡としてグルーピングするようにしても良いし、1つの空間マウス11を用いて複数回にわたって軌跡の入力を受け付けて、それらを1つの検索用の軌跡としてグルーピングするようにしても良い。複数の空間マウス11を用いて同時に軌跡が入力される場合には、複数の空間マウスの実空間上の位置を同時に検出できる機能を有することが必要となる。また空間マウス11を用いた軌跡の入力は、一時停止した3D動画像データを再生させて、その3D動画像上で行うようにしても良いし、当該3D動画像を一時停止させたまま、その一時停止した動画像上にオーバーラップさせた画面に入力させるようにしても良い。また複数の軌跡を1つの空間マウス11で入力させる場合であって、再生中の3D動画像中に軌跡を入力する場合には、1つの軌跡の入力を受け付けた後に、その軌跡の最初の表示時刻における再生画面に戻して3D動画像データを再生し、再度軌跡の入力を受け付けることで、複数の軌跡における最初のサンプルポイントを同時刻に設定することができる。   When “Group” is selected on the single / group selection screen, a plurality of trajectories are input from the spatial mouse 11. For example, trajectories are simultaneously input using the plurality of spatial mice 11. They may be grouped as a single search trajectory, or they may be input multiple times using a single spatial mouse 11 and grouped as a single search trajectory. May be. When trajectories are input simultaneously using a plurality of spatial mice 11, it is necessary to have a function capable of simultaneously detecting the positions of the plurality of spatial mice in the real space. The input of the locus using the spatial mouse 11 may be performed on the 3D moving image by reproducing the paused 3D moving image data, or while the 3D moving image is paused. You may make it input on the screen overlapped on the temporarily stopped moving image. In addition, when a plurality of loci are input with one space mouse 11 and a locus is input into a 3D moving image being reproduced, the first display of the locus is accepted after receiving the input of one locus. By returning to the playback screen at the time, playing back the 3D moving image data, and receiving the input of the trajectory again, the first sample points in a plurality of trajectories can be set at the same time.

そして、軌跡入力開始から軌跡入力終了を受信するまで、空間マウス制御部12は自動的に定期的な間隔で位置特定情報を生成し(ステップS307)、サンプルポイント生成部18は、当該生成された位置特定情報を空間マウス制御部12より受信する。この位置特定情報は、ユーザが空間マウス11を用いて指定した3D仮想空間上の位置の検出の指示を行うものである。ここで、軌跡入力開始から軌跡入力終了までの間において、自動的に所定の時間間隔で、空間マウス制御部12がマウスポインタの指定位置の検出を指示するための位置特定情報を定期的にサンプルポインタ生成部18に通知する。   The spatial mouse control unit 12 automatically generates position specifying information at regular intervals from the start of trajectory input until the end of trajectory input is received (step S307), and the sample point generator 18 generates the generated point information. Position specifying information is received from the spatial mouse control unit 12. This position specifying information is an instruction to detect the position in the 3D virtual space designated by the user using the spatial mouse 11. Here, from the start of the trajectory input to the end of the trajectory input, the position specifying information for the spatial mouse control unit 12 to automatically instruct the detection of the designated position of the mouse pointer is sampled periodically at predetermined time intervals. Notify the pointer generator 18.

そしてサンプルポイント生成部18は、位置特定情報を受信した時における、マウスポインタの仮想空間上の指定位置を再生処理部16へ問い合わせる。再生処理部16は、位置特定情報の生成時刻におけるマウスポインタの仮想3D空間上の指定位置(仮想空間内での座標)を検出して(ステップS308)、当該検出したマウスポインタの指定位置をサンプルポイント生成部18へ送信する。するとサンプルポイント生成部18は、最初の位置特定情報を受信した時刻を基準とした経過時間と、そのときのマウスポインタの仮想空間上の指定位置とを示す表示属性情報を生成し(ステップS309)、3Dクエリ生成部20へ通知する。またサンプルポイント生成部18は、位置特定情報を受信するたびに、そのときのマウスポインタの指定位置を再生処理部16に問い合わせ、その結果である表示属性情報を3Dクエリ生成部20へ通知する。これにより3Dクエリ生成部20は、ユーザが空間マウス11を用いて入力した軌跡を特定するための複数の指定位置と、それら指定位置のうちの、最初の指定位置を基準とする軌跡の経過時間を示す表示属性情報を複数記憶する。なお、単独・グループ選択画面において「グループ」が指定されている場合には、ユーザが空間マウス11を用いて指定する複数の軌跡により検索が行われるため、複数の軌跡に関する表示属性情報がサンプルポイント生成部18から3Dクエリ生成部20に通知され、3Dクエリ生成部20が一時的に記憶する。   Then, the sample point generation unit 18 inquires the reproduction processing unit 16 about the designated position of the mouse pointer in the virtual space when the position specifying information is received. The reproduction processing unit 16 detects the designated position (coordinates in the virtual space) of the mouse pointer in the virtual 3D space at the generation time of the position specifying information (step S308), and samples the detected designated position of the mouse pointer. It is transmitted to the point generation unit 18. Then, the sample point generation unit 18 generates display attribute information indicating the elapsed time based on the time when the first position specifying information is received and the designated position of the mouse pointer in the virtual space at that time (step S309). The 3D query generation unit 20 is notified. Each time the sample point generation unit 18 receives position specifying information, the sample point generation unit 18 inquires the reproduction processing unit 16 about the designated position of the mouse pointer at that time, and notifies the 3D query generation unit 20 of the display attribute information as a result. As a result, the 3D query generation unit 20 specifies a plurality of designated positions for specifying the locus input by the user using the spatial mouse 11 and the elapsed time of the locus based on the first designated position among the designated positions. A plurality of display attribute information is stored. Note that when “group” is designated on the single / group selection screen, the search is performed using a plurality of trajectories designated by the user using the spatial mouse 11, and therefore display attribute information regarding the plurality of trajectories is sample points. The 3D query generation unit 20 is notified from the generation unit 18 and temporarily stored in the 3D query generation unit 20.

次に、3Dクエリ生成部20は、通知を受けた複数の表示属性情報を動き表現情報生成部17に通知すると共に、空間マウス11の軌跡を示す動き表現情報の生成を指示する。このとき3Dクエリ生成部20は、マッチング方法選択画面において選択されたマッチング方法(直線、曲線、定型軌跡テンプレート、方向、速度の何れか)の情報を通知する。すると動き表現情報生成部17は、通知を受けた複数の表示属性情報で示される各指定位置を結ぶ軌跡を示す表示軌跡情報を動き表現情報として生成する(ステップS310)。ここで表示軌跡情報は、マッチング方法が直線であれば、複数の表示属性情報で示される各指定位置を経過時間の順にそれぞれ結ぶ直線の各式の係数を示し、またマッチング方法が曲線であれば、複数の表示属性情報で示される各指定位置を結ぶスプライン曲線を表す各式の係数を示すものとなる。また動き表現情報は、マッチング方法が定型軌跡テンプレートであれば、複数の表示属性情報で示される各指定位置による軌跡が、どの定型軌跡テンプレートに類似する軌跡であるかを示す定型軌跡テンプレート種別の情報を示すものとなる。また動き表現情報は、マッチング方法が方向であれば、複数の表示属性情報で示される各指定位置を結ぶ各直線それぞれの方向ベクトルの情報を示すものとなる。また動き表現情報は、マッチング方法が速度であれば、複数の表示属性情報で示される各指定位置間の距離と、その距離における経過時間差とに基づいて算出される速度の情報を示すものとなる。   Next, the 3D query generation unit 20 notifies the motion expression information generation unit 17 of the notified plurality of display attribute information, and instructs generation of motion expression information indicating the trajectory of the spatial mouse 11. At this time, the 3D query generation unit 20 notifies information on a matching method (any one of a straight line, a curve, a fixed path template, a direction, and a speed) selected on the matching method selection screen. Then, the motion expression information generation unit 17 generates display trajectory information indicating a trajectory connecting the designated positions indicated by the plurality of display attribute information that has received the notification as motion expression information (step S310). Here, if the matching method is a straight line, the display trajectory information indicates a coefficient of each equation of a straight line that connects each designated position indicated by a plurality of display attribute information in order of elapsed time, and if the matching method is a curve The coefficients of the respective expressions representing the spline curve connecting the designated positions indicated by the plurality of display attribute information are indicated. In addition, if the matching method is a standard trajectory template, the motion expression information is information on a standard trajectory template type indicating which standard trajectory template is similar to the trajectory at each specified position indicated by the plurality of display attribute information. Will be shown. In addition, if the matching method is a direction, the motion expression information indicates information on a direction vector of each straight line connecting each designated position indicated by a plurality of display attribute information. If the matching method is speed, the motion expression information indicates speed information calculated based on the distance between the designated positions indicated by the plurality of display attribute information and the elapsed time difference at the distance. .

そして動き表現情報生成部17において動き表現情報が生成されると、3Dクエリ生成部20は、動き表現情報と、その動き表現情報の算出に利用された各表示属性情報の示すマウスポインタの仮想空間上の各指定位置と、それら指定位置のうちの、最初の指定位置の検出時刻を基準とする経過時間と、を示す検索クエリを生成し(ステップS311)、3Dメタデータ検索部21へ送信する。そして、3Dメタデータ検索部21が、検索クエリと3DメタデータDB14に記録されている各3Dメタデータの動き表現情報とを比較して(ステップS312)、一致度が予め設定された閾値以上の動き表現情報を保持する3Dメタデータを特定する(ステップS313)。そして、検索結果表示処理部22が、3Dメタデータ検索部21の検索した3Dメタデータを、3次元動画像再生装置のモニタに表示する処理を行う(ステップS314)。   When the motion expression information is generated in the motion expression information generation unit 17, the 3D query generation unit 20 creates a virtual space of the mouse pointer indicated by the motion expression information and each display attribute information used for calculating the movement expression information. A search query indicating each specified position above and the elapsed time with reference to the detection time of the first specified position among the specified positions is generated (step S311) and transmitted to the 3D metadata search unit 21. . Then, the 3D metadata search unit 21 compares the search query with the motion expression information of each 3D metadata recorded in the 3D metadata DB 14 (step S312), and the matching degree is equal to or greater than a preset threshold value. The 3D metadata holding the motion expression information is specified (step S313). Then, the search result display processing unit 22 performs a process of displaying the 3D metadata searched by the 3D metadata search unit 21 on the monitor of the 3D moving image playback device (step S314).

図8は動き表現情報算出処理の概要を示す第1の図である。
次に、空間マウス11により入力された軌跡を、各指定位置を直線に結ぶ軌跡とする場合の動き表現情報の算出例について図8を用いて説明する。
まず、動き表現情報生成部17は、空間マウス11によって入力された軌跡の各指定位置と、それら複数の指定位置のうちの最初の指定位置の検出時刻からの経過時間の組を3Dクエリ生成部20より受信する。すると動き表現情報生成部17は、各指定位置のうち、経過時間が最も早い指定位置P1と、その次に経過時間が早い指定位置P2との2点間の直線式(3D動画像の仮想空間における直線式)の各係数を求める。また同様に、動き表現情報生成部17は指定位置P2と、その次に経過時間が早い指定位置P3との2点間の直線式の各係数を求め、経過時間が近い2つの表示位置の組み毎に、その2点間を結ぶ直線式の各係数を求める。そして、この直線式の各係数を示す表示軌跡情報を動き表現情報として生成する。
FIG. 8 is a first diagram showing an outline of the motion expression information calculation process.
Next, a calculation example of motion expression information in the case where the trajectory input by the spatial mouse 11 is a trajectory connecting each designated position to a straight line will be described with reference to FIG.
First, the motion expression information generation unit 17 sets a set of each specified position of the trajectory input by the spatial mouse 11 and the elapsed time from the detection time of the first specified position among the plurality of specified positions, as a 3D query generation unit. 20 is received. Then, the motion expression information generation unit 17 includes a linear expression (a virtual space of a 3D moving image) between two points of a designated position P1 having the earliest elapsed time and a designated position P2 having the earliest elapsed time among the designated positions. Each coefficient of the linear equation) is obtained. Similarly, the motion expression information generation unit 17 obtains each linear equation coefficient between two points of the designated position P2 and the designated position P3 having the next earliest elapsed time, and sets a combination of two display positions having the nearest elapsed time. Each time, each coefficient of a linear equation connecting the two points is obtained. Then, display trajectory information indicating each linear coefficient is generated as motion expression information.

図9は動き表現情報算出処理の概要を示す第2の図である。
次に、空間マウス11により入力された軌跡を、各指定位置をスプライン曲線により結ぶ軌跡とする場合の動き表現情報の算出例について図9を用いて説明する。
動き表現情報生成部17は、空間マウス11によって入力された軌跡の各指定位置と、それら複数の指定位置のうちの最初の指定位置の検出時刻からの経過時間の組を3Dクエリ生成部20より受信する。すると動き表現情報生成部17は、全ての指定位置を滑らかな曲線で結ぶスプライン曲線の計算式を求め、さらに、その各計算式の係数を求め、このスプライン曲線を表わす式の各係数を示す表示軌跡情報を動き表現情報とする。ここで本実施形態においてはスプライン曲線の式は、下記で示すような再生開始時刻からの経過時間tの3次関数で表わすものとする。
x=a+b+ct+d
y=a+b+ct+d
z=a+b+ct+d
FIG. 9 is a second diagram showing an outline of the motion expression information calculation process.
Next, a calculation example of motion expression information in a case where the trajectory input by the spatial mouse 11 is a trajectory that connects each designated position by a spline curve will be described with reference to FIG.
The motion expression information generation unit 17 obtains a set of each specified position of the trajectory input by the spatial mouse 11 and the elapsed time from the detection time of the first specified position among the plurality of specified positions from the 3D query generation unit 20. Receive. Then, the motion expression information generation unit 17 obtains a calculation formula of a spline curve that connects all the specified positions with a smooth curve, further obtains a coefficient of each calculation formula, and displays each coefficient of the formula representing this spline curve. The trajectory information is used as motion expression information. Here, in the present embodiment, the expression of the spline curve is expressed by a cubic function of the elapsed time t from the reproduction start time as shown below.
x = a 1 t 3 + b 1 t 2 + c 1 t + d 1
y = a 2 t 3 + b 2 t 2 + c 2 t + d 2
z = a 3 t 3 + b 3 t 2 + c 3 t + d 3

図10は動き表現情報の算出処理の概要を示す第3の図である。
次に、空間マウス11により入力された軌跡を、各指定位置に基づいて特定した定型軌跡テンプレートとする場合の動き表現情報の算出例について図10を用いて説明する。
この場合、動き表現情報生成部17は、予め定型軌跡テンプレートのデータを記憶しているものとする。まず、動き表現情報生成部17は、各指定位置を3Dクエリ生成部20より受信する。そして動き表現情報生成部17は、各指定位置の重心と、定型軌跡テンプレートの重心とを一致させ、各指定位置が定型軌跡テンプレートで示される軌跡から一定距離以内にあるかどうかを判定する。そして、複数の定型軌跡テンプレートを用いて、空間マウス11により入力された軌跡に基づく指定位置が、定型軌跡テンプレートで示される軌跡から一定距離以内にあるかどうかにより、一致度を判定し、各指定位置の全てが一定距離以内にあると判定された定型軌跡テンプレートの種別を動き表現情報と特定する。なお、定型軌跡テンプレートとしては仮想空間上の円、楕円、3つの直線により表わされる三角形、4つの直線により表わされる四角形、サインやコサインの曲線などであり、その軌跡は再生開始時刻からの経過時間tの関数により表わされるものである。また複数の定型軌跡テンプレートを特定できた場合には、例えば、空間マウス11により入力された軌跡による各指定位置の、定型軌跡テンプレートからの距離の平均が最も小さい場合の、定型軌跡テンプレートを特定する。
なお、空間マウス11により入力された軌跡に基づいて、方向、速度、の動き表現情報を算出する場合の例については後述する。
FIG. 10 is a third diagram showing an outline of the calculation processing of motion expression information.
Next, a calculation example of motion expression information when the trajectory input by the spatial mouse 11 is a fixed trajectory template specified based on each designated position will be described with reference to FIG.
In this case, it is assumed that the motion expression information generation unit 17 stores data of a fixed trajectory template in advance. First, the motion expression information generation unit 17 receives each designated position from the 3D query generation unit 20. Then, the motion expression information generation unit 17 matches the centroid of each designated position with the centroid of the standard trajectory template, and determines whether each designated position is within a certain distance from the trajectory indicated by the standard trajectory template. Then, using a plurality of standard trajectory templates, the degree of coincidence is determined based on whether or not the designated position based on the trajectory input by the spatial mouse 11 is within a certain distance from the trajectory indicated by the standard trajectory template. The type of the fixed trajectory template determined that all the positions are within a certain distance is specified as the motion expression information. The standard trajectory template includes a circle, an ellipse, a triangle represented by three straight lines, a quadrangle represented by four straight lines, a sine and cosine curve, etc. in the virtual space, and the trajectory is an elapsed time from the reproduction start time. It is represented by a function of t. When a plurality of standard trajectory templates can be specified, for example, the standard trajectory template is specified when the average of the distances from the standard trajectory template at each designated position by the trajectory input by the spatial mouse 11 is the smallest. .
An example of calculating motion expression information of direction, speed, and the like based on the trajectory input by the spatial mouse 11 will be described later.

ここで、3Dメタデータ検索部21が、検索クエリと3DメタデータDB14に記録されている各3Dメタデータの動き表現情報とを比較して、その一致度が予め設定された閾値以上の動き表現情報を保持する3Dメタデータを検索する処理においては、(A)動き表現情報に含まれる動き表現情報のみを用いて一致度を判定する場合、(B)3Dメタデータの表示開始時刻における当該3Dメタデータの表示位置と検索クエリの示す動き表現情報の最初の指定位置とを一致させて表示軌跡の一致度を判定する場合、(C)各サンプルポイントの時間的推移を一致度の判定基準に入れて判定する場合、(D)3D動画像データの再生開始時刻からの最初の表示時の経過時間が3Dメタデータと検索クエリで同一かどうかの一致度の判断基準を入れて判定する場合、の(A)〜(D)の組み合わせの判断により処理を行う。具体的には(1)A〜Dの全ての判断基準を入れて検索処理を行う場合、(2)A,C,Dの判断基準を入れて検索処理を行う場合、(3)A〜Cの判断基準を入れて検索処理を行う場合、(4)A,Cの判断基準を入れて検索処理を行う場合、(5)A,Bの判断基準を入れて検索処理を行う場合、(6)Aのみの判断基準により検索処理を行う場合の6通りが考えられる。以下、(1)A〜Dの全ての判断基準を入れて検索処理を行う場合と、(3)A〜Cの判断基準を入れて検索処理を行う場合の2通りの処理により3Dメタデータの検索処理の詳細について説明する。   Here, the 3D metadata search unit 21 compares the search query and the motion expression information of each 3D metadata recorded in the 3D metadata DB 14, and the degree of coincidence thereof is a motion expression that is equal to or greater than a preset threshold value. In the process of searching for 3D metadata that holds information, when (A) the degree of coincidence is determined using only the motion expression information included in the motion expression information, (B) the 3D metadata at the display start time of the 3D metadata. When determining the matching degree of the display trajectory by matching the display position of the metadata and the first designated position of the motion expression information indicated by the search query, (C) using the temporal transition of each sample point as a criterion for the matching degree (D) a criterion for determining whether or not the elapsed time at the first display from the playback start time of the 3D moving image data is the same in the 3D metadata and the search query. It is when determining, in the processing by the determination of a combination of (A) ~ (D) carried out. Specifically, (1) when the search process is performed with all the determination criteria A to D, (2) when the search process is performed with the determination criteria A, C, and D, (3) A to C When the search process is performed with the determination criteria of (4), the search process is performed with the determination criteria of A and C, (5) When the search process is performed with the determination criteria of A and B, (6 ) There are six possible cases where the search process is performed based on the judgment criterion of only A. In the following, 3D metadata is processed in two ways: (1) when the search process is performed with all of the judgment criteria A to D, and (3) the search process is performed with the judgment criteria of A to C. Details of the search process will be described.

図11は3Dメタデータ検索部の検索処理の概要を示す第1の図である。
まず、図11を用いて(1)上記A〜Dの全ての判断基準を入れて検索処理を行う場合の、詳細について説明する。
まず、3Dメタデータ検索部21は、全ての3D動画像データそれぞれの中で合成表示される各3Dメタデータを検索対象とするのか、1つの3D動画像データの中で合成表示される各3Dメタデータを検索対象とするのかを判定する。この判定は、例えば3D動画像データが既に再生されており、その中で検索処理が開始されるのであれば、当該再生中の3D動画像データ1つに合成表示される各3Dメタデータを検索対象とすると判定し、3D動画像データが再生されていなければ全ての3D動画像データそれぞれの中で合成表示される各3Dメタデータを検索対象とする。そして、3D動画像データに対応付けられて記録されているその3DメタデータのIDを3D動画DB13から抽出し、その3DメタデータIDに基づいて、まず一つ目の3DメタデータIDに対応付けられて3DメタデータDB14に格納されているサンプルポイント情報(図3)を読み取る。
FIG. 11 is a first diagram showing an overview of the search process of the 3D metadata search unit.
First, with reference to FIG. 11, (1) the details when the search process is performed with all the judgment criteria A to D will be described.
First, the 3D metadata search unit 21 searches each 3D metadata that is combined and displayed in all the 3D moving image data, or each 3D that is combined and displayed in one 3D moving image data. It is determined whether metadata is a search target. In this determination, for example, if 3D moving image data has already been reproduced and search processing is started in the 3D moving image data, each 3D metadata displayed in combination with the currently reproduced 3D moving image data is searched. If the 3D moving image data is not reproduced, the 3D metadata that is combined and displayed among all the 3D moving image data is set as a search target. Then, the ID of the 3D metadata recorded in association with the 3D moving image data is extracted from the 3D moving image DB 13 and is first associated with the first 3D metadata ID based on the 3D metadata ID. The sample point information (FIG. 3) stored in the 3D metadata DB 14 is read.

次に、3Dメタデータ検索部21は、検索クエリに格納されている表示軌跡情報の空間マウス11による指定位置のうち、最も早い経過時間を示す指定位置と、3Dメタデータのサンプルポイント情報で示されるサンプルポイントの表示位置のうち最も早い経過時間を示す表示位置との距離を、経過時間の順に順次算出する。図11の例を用いて説明すると、まず、3Dメタデータ検索部21は、検索クエリの表示軌跡情報が示す指定位置1aと、3Dメタデータの表示軌跡情報が示す表示位置1bとの距離d1を算出する。また3Dメタデータ検索部21は、検索クエリの表示軌跡情報が示す指定位置2aと、3Dメタデータの表示軌跡情報が示す表示位置2bとの距離d2、検索クエリの表示軌跡情報が示す指定位置3aと、3Dメタデータの表示軌跡情報が示す表示位置3bとの距離d3、検索クエリの表示軌跡情報が示す指定位置4aと、3Dメタデータの表示軌跡情報が示す表示位置4bとの距離d4、のそれぞれを算出する。そして3Dメタデータ検索部21はd1,d2,d3,d4の全ての距離が所定の閾値距離d以下であるかを判定する。そして、検索クエリの表示軌跡情報が示す指定位置と、検索対象となる3Dメタデータの表示軌跡情報が示す表示位置とを順次比較して、d1≦D,d2≦D,d2≦D,d2≦Dとなる3Dメタデータを、検索結果として出力する。   Next, the 3D metadata search unit 21 indicates the specified position indicating the earliest elapsed time among the specified positions by the spatial mouse 11 of the display trajectory information stored in the search query and the sample point information of the 3D metadata. The distance from the display position indicating the earliest elapsed time among the displayed display positions of the sample points is sequentially calculated in the order of the elapsed time. Referring to the example of FIG. 11, first, the 3D metadata search unit 21 calculates the distance d1 between the designated position 1a indicated by the display trajectory information of the search query and the display position 1b indicated by the display trajectory information of 3D metadata. calculate. The 3D metadata search unit 21 also includes the distance d2 between the specified position 2a indicated by the display trajectory information of the search query and the display position 2b indicated by the display trajectory information of the 3D metadata, and the specified position 3a indicated by the display trajectory information of the search query. And the distance d3 between the display position 3b indicated by the display trajectory information of the 3D metadata, the distance d4 between the designated position 4a indicated by the display trajectory information of the search query and the display position 4b indicated by the display trajectory information of the 3D metadata. Calculate each. Then, the 3D metadata search unit 21 determines whether all the distances d1, d2, d3, and d4 are equal to or less than a predetermined threshold distance d. Then, the designated position indicated by the display trajectory information of the search query and the display position indicated by the display trajectory information of the 3D metadata to be searched are sequentially compared, and d1 ≦ D, d2 ≦ D, d2 ≦ D, d2 ≦. 3D metadata as D is output as a search result.

つまり、この処理では、3Dクエリ生成部20が、空間マウス11により入力された仮想空間上の複数の指定位置を示すと共に、それら指定位置のうちの最初に検出した指定位置の検出時刻からの経過時間を複数の指定位置それぞれについて示す検索クエリを生成する。そして3Dメタデータ検索部21は、検索クエリの示す複数の指定位置のうち最も早い経過時間を示す指定位置と、3Dメタデータの動き表現情報内の表示軌跡情報の示す複数の表示位置のうち最も早い経過時間を示す表示位置との一致度が閾値以下となるかを判定し、また経過時間の順に順次対応する検索クエリの示す指定位置と、3Dメタデータの動き表現情報内の表示軌跡情報の示す表示位置との一致度が閾値以下となるかを判定し、全ての対応する2つの仮想空間上の位置が閾値以下であれば、その動き表現情報を用いて3D動画像上に合成表示される3Dメタデータを検索結果として出力している。   That is, in this process, the 3D query generation unit 20 indicates a plurality of designated positions in the virtual space input by the space mouse 11 and the elapsed time from the detection time of the designated position detected first among these designated positions. A search query indicating time for each of a plurality of designated positions is generated. Then, the 3D metadata search unit 21 selects the earliest elapsed time among the plurality of specified positions indicated by the search query and the most display position indicated by the display trajectory information in the motion expression information of the 3D metadata. It is determined whether the degree of coincidence with the display position indicating the early elapsed time is equal to or less than the threshold value, and the specified position indicated by the corresponding search query in order of the elapsed time and the display trajectory information in the motion expression information of the 3D metadata It is determined whether or not the degree of coincidence with the displayed display position is equal to or less than the threshold value. 3D metadata is output as a search result.

図12は3Dメタデータ検索部の検索処理の概要を示す第2の図である。
次に、図12を用いて、上記(3)A〜Cの判断基準を入れて検索処理を行う場合の、詳細について説明する。
まず、3Dメタデータ検索部21は、全ての3D動画像データそれぞれの中で合成表示される各3Dメタデータを検索対象とするのか、1つの3D動画像データの中で合成表示される各3Dメタデータを検索対象とするのかを判定する。この判定は、例えば3D動画像データが既に再生されており、その中で検索処理が開始されるのであれば、当該再生中の3D動画像データ1つに合成表示される各3Dメタデータを検索対象とすると判定し、3D動画像データが再生されていなければ全ての3D動画像データそれぞれの中で合成表示される各3Dメタデータを検索対象とする。そして、3D動画像データに対応付けられて記録されているその3DメタデータのIDを3D動画DB13から抽出し、その3DメタデータIDに基づいて、まず一つ目の3DメタデータIDに対応付けられて3DメタデータDB14に格納されているサンプルポイント情報(図3)を読み取る。
FIG. 12 is a second diagram showing an overview of the search process of the 3D metadata search unit.
Next, with reference to FIG. 12, details will be described in the case where the search process is performed with the above criteria (3) A to C.
First, the 3D metadata search unit 21 searches each 3D metadata that is combined and displayed in all the 3D moving image data, or each 3D that is combined and displayed in one 3D moving image data. It is determined whether metadata is a search target. In this determination, for example, if 3D moving image data has already been reproduced and search processing is started in the 3D moving image data, each 3D metadata displayed in combination with the currently reproduced 3D moving image data is searched. If the 3D moving image data is not reproduced, the 3D metadata that is combined and displayed among all the 3D moving image data is set as a search target. Then, the ID of the 3D metadata recorded in association with the 3D moving image data is extracted from the 3D moving image DB 13 and is first associated with the first 3D metadata ID based on the 3D metadata ID. The sample point information (FIG. 3) stored in the 3D metadata DB 14 is read.

次に、3Dメタデータ検索部21は、検索クエリに格納されている表示軌跡情報の空間マウス11による指定位置のうち、最も早い経過時間を示す指定位置から所定経過時間経過した位置と、3Dメタデータのサンプルポイント情報内の表示軌跡情報で示される表示位置による表示軌跡のうちの任意の位置から所定経過時間経過した位置との距離dを、異なる所定経過時間について算出し、それら複数の距離dの全てが閾値以下であるかを判定し、全ての距離dが閾値以下となる3Dメタデータがある場合には、その3Dメタデータを検索結果として出力する。   Next, the 3D metadata search unit 21 selects the position where the predetermined elapsed time has elapsed from the specified position indicating the earliest elapsed time among the specified positions by the spatial mouse 11 of the display trajectory information stored in the search query, and the 3D metadata. A distance d with respect to a position where a predetermined elapsed time has elapsed from an arbitrary position in the display trajectory by the display position indicated by the display trajectory information in the sample point information of the data is calculated for different predetermined elapsed times, and the plurality of distances d Are all equal to or less than the threshold value, and if there is 3D metadata in which all the distances d are equal to or less than the threshold value, the 3D metadata is output as a search result.

図12を用いてより詳細に説明すると、3Dメタデータ検索部21は、3Dメタデータの軌跡における最初の表示位置Aから経過時間X後の表示位置であるA1と、検索クエリの表示軌跡情報に基づいて算出される軌跡における最初の表示位置Aから経過時間X後の位置であるA3との距離d1、および、3Dメタデータの軌跡における表示位置A1から経過時間X後の表示位置A2と、検索クエリの表示軌跡情報に基づいて算出される軌跡における表示位置A3から経過時間X後の位置A4との距離d2をそれぞれ算出する。そして、それらd1とd2の両方が所定の高い一致度を示す所定の閾値以下であれば、その3Dメタデータを検索結果として出力する。
またd1とd2が所定の閾値以下でなければ、次に、3Dメタデータの表示軌跡上の他の任意の位置Bに移り、同様に、表示位置Bから経過時間X後の表示位置であるB1と、検索クエリの表示軌跡情報に基づいて算出される軌跡における表示位置Bから経過時間X後の位置であるB3との距離d3、および、3Dメタデータの軌跡における表示位置B1から経過時間X後の表示位置B2と、検索クエリの表示軌跡情報に基づいて算出される軌跡における表示位置B3から経過時間X後の位置B4との距離d4をそれぞれ算出する。そして、それらd3とd4の両方が所定の高い一致度を示す所定の閾値以下であれば、その3Dメタデータを検索結果として出力する。
Describing in more detail with reference to FIG. 12, the 3D metadata search unit 21 uses A1 which is the display position after the elapsed time X from the first display position A in the 3D metadata trace, and the display trace information of the search query. A distance d1 with respect to A3 which is a position after the elapsed time X from the first display position A in the trajectory calculated based on the search position, and a display position A2 after the elapsed time X from the display position A1 in the trajectory of 3D metadata The distance d2 between the display position A3 and the position A4 after the elapsed time X in the trajectory calculated based on the display trajectory information of the query is calculated. If both d1 and d2 are equal to or lower than a predetermined threshold value indicating a predetermined high degree of coincidence, the 3D metadata is output as a search result.
If d1 and d2 are not equal to or less than the predetermined threshold value, then the process moves to another arbitrary position B on the display trajectory of the 3D metadata, and similarly, the display position B1 after the elapsed time X from the display position B. And a distance d3 with respect to B3 which is a position after the elapsed time X from the display position B in the trajectory calculated based on the display trajectory information of the search query, and after the elapsed time X from the display position B1 in the trajectory of 3D metadata The distance d4 between the display position B2 and the position B4 after the elapsed time X from the display position B3 in the trajectory calculated based on the display trajectory information of the search query is calculated. If both d3 and d4 are equal to or lower than a predetermined threshold value indicating a predetermined high degree of coincidence, the 3D metadata is output as a search result.

またd3とd4が所定の閾値以下でなければ、次に、3Dメタデータの表示軌跡上の他の任意の位置Cに移り、同様に、表示位置Cから経過時間X後の表示位置であるC1と、検索クエリの表示軌跡情報に基づいて算出される軌跡における表示位置Cから経過時間X後の位置であるC3との距離d5、および、3Dメタデータの軌跡における表示位置C1から経過時間X後の表示位置C2と、検索クエリの表示軌跡情報に基づいて算出される軌跡における表示位置C3から経過時間X後の位置C4との距離d6をそれぞれ算出する。そして、それらd5とd6の両方が所定の高い一致度を示す所定の閾値以下であれば、その3Dメタデータを検索結果として出力する。そしてこのような処理を複数の任意の点について行い、検索クエリと3Dメタデータが一致するかを判定し、その処理を全ての検索対象の3Dメタデータに対して行う。   If d3 and d4 are not less than or equal to the predetermined threshold value, then the process moves to another arbitrary position C on the display trajectory of the 3D metadata, and similarly, C1 is the display position after the elapsed time X from the display position C. And a distance d5 with respect to C3, which is a position after the elapsed time X from the display position C in the trajectory calculated based on the display trajectory information of the search query, and a time after the elapsed time X from the display position C1 in the trajectory of 3D metadata. The distance d6 between the display position C2 and the position C4 after the elapsed time X from the display position C3 in the trajectory calculated based on the display trajectory information of the search query is calculated. If both d5 and d6 are below a predetermined threshold value indicating a predetermined high degree of coincidence, the 3D metadata is output as a search result. Such a process is performed for a plurality of arbitrary points, it is determined whether the search query matches the 3D metadata, and the process is performed for all 3D metadata to be searched.

つまり、この処理では、3Dクエリ生成部20が、空間マウス11により入力された仮想空間上の複数の指定位置を示すと共に、それら指定位置のうちの最初に検出した指定位置の検出時刻からの経過時間を複数の指定位置それぞれについて示す検索クエリを生成する。そして、3Dメタデータ検索部21は、検索クエリの示す複数の指定位置のうち最初に検出した指定位置を基点とした所定経過時間を示す位置であって複数の指定位置による検索軌跡上の位置と、3Dメタデータの動き表現情報内の表示軌跡情報の示す複数の表示位置による表示軌跡上の任意の点を基点とした所定経過時間を示す表示軌跡上の位置と、を比較し、異なる複数の所定経過時間における検索軌跡上の位置と表示軌跡上の位置との一致度の全てが閾値以下となる3Dメタデータを抽出し、その3Dメタデータを検索結果として出力している。   That is, in this process, the 3D query generation unit 20 indicates a plurality of designated positions in the virtual space input by the space mouse 11 and the elapsed time from the detection time of the designated position detected first among these designated positions. A search query indicating time for each of a plurality of designated positions is generated. Then, the 3D metadata search unit 21 is a position indicating a predetermined elapsed time from the specified position detected first among a plurality of specified positions indicated by the search query, and a position on the search trajectory by the specified positions. The position on the display trajectory indicating a predetermined elapsed time based on an arbitrary point on the display trajectory by the plurality of display positions indicated by the display trajectory information in the motion representation information of the 3D metadata is compared, and a plurality of different 3D metadata in which the degree of coincidence between the position on the search trajectory and the position on the display trajectory at a predetermined elapsed time is less than or equal to a threshold value is extracted, and the 3D metadata is output as a search result.

また、上述の処理以外に、例えば、上記(B)の、3Dメタデータの表示開始時刻における当該3Dメタデータの表示位置と、検索クエリの示す表示軌跡情報の最初の指定位置とを一致させて表示軌跡の一致度を判定する場合には、まず、3Dクエリ生成部20が、空間マウス11により入力された仮想空間上の複数の指定位置を示すと共に、それら指定位置のうちの最初に検出した指定位置の検出時刻からの経過時間を複数の指定位置それぞれについて示す検索クエリを生成する。そして、3Dメタデータ検索部21は、検索クエリの示す複数の指定位置のうち最も早い経過時間を示す指定位置と、動き表現情報内の表示検索情報の示す複数の表示位置のうち最も早い経過時間を示す表示位置との一致度が閾値以下となる動き表現情報を抽出し、当該抽出した動き表現情報を用いて3次元動画像上に合成表示される3Dメタデータを検索する。   In addition to the above processing, for example, the display position of the 3D metadata at the display start time of the 3D metadata in (B) above is matched with the first designated position of the display trajectory information indicated by the search query. When determining the degree of coincidence of the display trajectories, first, the 3D query generation unit 20 indicates a plurality of designated positions in the virtual space input by the space mouse 11 and first detects the designated positions. A search query indicating the elapsed time from the detection time of the specified position is generated for each of the plurality of specified positions. Then, the 3D metadata search unit 21 uses the specified position indicating the earliest elapsed time among the plurality of specified positions indicated by the search query and the earliest elapsed time among the plurality of display positions indicated by the display search information in the motion expression information. The motion expression information whose degree of coincidence with the display position indicating is equal to or less than the threshold is extracted, and 3D metadata synthesized and displayed on the three-dimensional moving image is searched using the extracted motion expression information.

また、上記(D)の、3D動画像データの再生開始時刻からの最初の表示時の経過時間が3Dメタデータと検索クエリで同一かどうかの一致度の判断基準を入れて判定する場合には、まず、3D動画像の開始時刻からの経過時間の指定をユーザより受け付ける。そして3Dメタデータ検索部21が、さらに、検索対象の3Dメタデータの表示軌跡情報が示す複数の表示位置のうち、最も早い経過時間が、指定を受け付けた開始時間を示す場合に、その3Dメタデータを抽出するようにすればよい。   Further, in the case of determining by including a criterion for determining the degree of coincidence of whether or not the elapsed time at the first display from the playback start time of the 3D moving image data (D) is the same in the 3D metadata and the search query First, designation of the elapsed time from the start time of the 3D moving image is received from the user. When the 3D metadata search unit 21 further indicates that the earliest elapsed time among the plurality of display positions indicated by the display trajectory information of the 3D metadata to be searched indicates the start time at which the designation is received, the 3D metadata What is necessary is just to extract data.

図13は3Dメタデータ検索部の検索処理の概要を示す第3の図である。
次に、図13を用いて、定型軌跡テンプレートを用いて検索処理を行う場合の、詳細について説明する。
マッチング方法選択画面において「定型軌跡テンプレート」が選択されている時には、上述したように、3Dクエリ生成部20は、空間マウス11により入力された軌跡が、どの定型軌跡テンプレートに類似する軌跡であるかを示す定型軌跡テンプレート種別の情報を格納した検索クエリを生成する。そして、3Dメタデータ検索部21は、検索クエリを3Dクエリ生成部20から受信すると共に、検索対象となる3Dメタデータのサンプルポイント情報内の動き表現情報に基づいて、当該3Dメタデータの表示軌跡の類似する定型軌跡テンプレートを検出する。この定型軌跡テンプレートの検出は、例えば、3Dメタデータのサンプルポイント情報内の動き表現情報で示される表示軌跡の重心と、定型軌跡テンプレートの重心とを一致させ、各表示位置が定型軌跡テンプレートで示される軌跡から一定距離以内にあるかどうかを判定し、一定距離以内であれば、その3Dメタデータの表示軌跡を、比較した定型軌跡テンプレートに類似するものと判定し、その定型軌跡テンプレート種別の情報を出力する。そして、3Dメタデータ検索部21は、検索クエリの示す定型軌跡テンプレート種別と同じ種別の表示軌跡となる検索対象の3Dメタデータを検索結果として出力する。
FIG. 13 is a third diagram showing an overview of the search process of the 3D metadata search unit.
Next, details of a case where search processing is performed using a standard trajectory template will be described with reference to FIG.
When “standard trajectory template” is selected on the matching method selection screen, as described above, the 3D query generation unit 20 determines which standard trajectory template the trajectory input by the spatial mouse 11 is similar to. A search query that stores information on the standard trajectory template type that indicates is generated. The 3D metadata search unit 21 receives the search query from the 3D query generation unit 20 and displays the display trajectory of the 3D metadata based on the motion expression information in the sample point information of the 3D metadata to be searched. A similar standard trajectory template is detected. The detection of the fixed trajectory template is performed, for example, by matching the centroid of the display trajectory indicated by the motion expression information in the sample point information of the 3D metadata with the centroid of the fixed trajectory template, and each display position is indicated by the fixed trajectory template. If the distance is within a certain distance, the display locus of the 3D metadata is determined to be similar to the compared standard trajectory template, and information on the standard trajectory template type is determined. Is output. Then, the 3D metadata search unit 21 outputs the search target 3D metadata that is a display trajectory of the same type as the fixed trajectory template type indicated by the search query.

また定型軌跡テンプレートを用いた検索処理において、検索クエリの動き表現情報が示す3D動画像上の指定位置と、3Dメタデータの動き表現情報が示す3D動画像上の表示位置との一致度が、所定の閾値以上である場合にのみ検索結果として出力するようにいても良い。   Also, in the search process using the standard trajectory template, the degree of coincidence between the designated position on the 3D moving image indicated by the motion expression information of the search query and the display position on the 3D moving image indicated by the movement expression information of 3D metadata is: The search result may be output only when it is equal to or greater than a predetermined threshold.

図14は3Dメタデータ検索部の検索処理の概要を示す第4の図である。
次に、方向ベクトルを用いて検索処理を行う場合の、詳細について説明する。
マッチング方法選択画面において「方向」が選択されている時には、3Dクエリ生成部20は、空間マウス11により入力された軌跡の方向ベクトルを示す検索クエリを生成する。例えば図14で示すように、空間マウス11で入力された軌跡の最初の指定位置(x,y,z)が(2,8,11)で、最後の表示位置(x,y,z)が(7,9,10)であった場合、方向ベクトルは(5,1,−1)であり、検索クエリはこの方向ベクトルの情報を示すものである。そして、その検索クエリが3Dメタデータ検索部21に送信され、3Dメタデータ検索部21は検索クエリが示す方向ベクトルと、検索対象となる3Dメタデータのサンプルポイントが示す方向ベクトルとの一致度が、所定の閾値以上であれば、その3Dメタデータを検索結果として出力する。ここで、図14を用いて説明すると、図14で示している3Dメタデータの動き表現情報が示す表示軌跡のうち、表示位置Dと表示位置Eとを結ぶ直線の方向ベクトルが、検索クエリの示す方向ベクトルと一致したとする。その場合、3Dメタデータ検索部21は、その3Dメタデータを検索結果として検索結果表示処理部22へ出力する。また図14で示すように、検索結果表示処理部22は、3Dメタデータの表示軌跡のうち、検索クエリと方向ベクトルが一致する表示軌跡の部分(表示位置Dと表示位置Eとを結ぶ直線)のみの表示軌跡に、3Dメタデータを合成表示した検索結果を出力するようにしてもよい。
FIG. 14 is a fourth diagram showing an overview of the search process of the 3D metadata search unit.
Next, details of a case where search processing is performed using a direction vector will be described.
When “direction” is selected on the matching method selection screen, the 3D query generation unit 20 generates a search query indicating the direction vector of the trajectory input by the spatial mouse 11. For example, as shown in FIG. 14, the first designated position (x, y, z) of the locus input by the spatial mouse 11 is (2, 8, 11), and the last display position (x, y, z) is In the case of (7, 9, 10), the direction vector is (5, 1, -1), and the search query indicates information on this direction vector. Then, the search query is transmitted to the 3D metadata search unit 21, and the 3D metadata search unit 21 has a degree of coincidence between the direction vector indicated by the search query and the direction vector indicated by the sample point of the 3D metadata to be searched. If it is equal to or greater than a predetermined threshold, the 3D metadata is output as a search result. Here, to explain with reference to FIG. 14, the direction vector of the straight line connecting the display position D and the display position E in the display trajectory indicated by the motion expression information of the 3D metadata shown in FIG. Assume that it matches the direction vector shown. In that case, the 3D metadata search unit 21 outputs the 3D metadata to the search result display processing unit 22 as a search result. As shown in FIG. 14, the search result display processing unit 22 includes a portion of the display trajectory in which the search query and the direction vector match among the display trajectories of the 3D metadata (a straight line connecting the display position D and the display position E). A search result obtained by combining and displaying 3D metadata may be output on only the display trajectory.

図15は3Dメタデータ検索部の検索処理の概要を示す第5の図である。
次に、方向ベクトルを用いて検索処理を行う場合の、詳細について説明する。
マッチング方法選択画面において「速度」が選択されている時には、3Dクエリ生成部20は、空間マウス11により入力された軌跡の移動速度を示す検索クエリを生成する。例えば図15で示すように、空間マウス11で入力された軌跡の最初の表示位置(x,y,z)が(2,8,11)で、最後の表示位置(x,y,z)が(5,12,11)であり、また最後の表示位置の示す経過時間が、最初の表示位置に表示時刻を基準として1秒であるとすると、最初の表示位置から最後の表示位置までの距離が√(3+4+0)=√25=5であるため、最初の表示位置から最後の表示位置までの空間マウス11によるマウスポインタの軌跡の移動速度=距離÷時間=5/秒となり、検索クエリは5/秒を示す情報を示すものである。そして、その検索クエリが3Dメタデータ検索部21に送信され、3Dメタデータ検索部21は検索クエリが示す速度と、検索対象となる3Dメタデータのサンプルポイントの表示位置と経過時間によって算出される表示軌跡の速度との一致度が、所定の閾値以上であれば、その3Dメタデータを検索結果として出力する。ここで、図15を用いて説明すると、図15で示している3Dメタデータの動き表現情報が示す表示軌跡のうち、表示位置(サンプルポイント)0と表示位置(サンプルポイント)1を結ぶ直線の表示軌跡の移動速度が、検索クエリの示す速度と一致したとする。その場合、3Dメタデータ検索部21は、その3Dメタデータを検索結果として検索結果表示処理部22へ出力する。また図15で示すように、検索結果表示処理部22は、3Dメタデータの表示軌跡のうち、検索クエリと速度が一致する表示軌跡の部分(表示位置(サンプルポイント)0と表示位置(サンプルポイント)1とを結ぶ直線)のみの表示軌跡に、3Dメタデータを合成表示した検索結果を出力するようにしてもよい。
FIG. 15 is a fifth diagram illustrating an overview of the search process of the 3D metadata search unit.
Next, details of a case where search processing is performed using a direction vector will be described.
When “speed” is selected on the matching method selection screen, the 3D query generation unit 20 generates a search query indicating the moving speed of the trajectory input by the spatial mouse 11. For example, as shown in FIG. 15, the first display position (x, y, z) of the locus input with the spatial mouse 11 is (2, 8, 11), and the last display position (x, y, z) is If the elapsed time indicated by the last display position is 1 second from the first display position with reference to the display time, the distance from the first display position to the last display position is (5, 12, 11). Is √ (3 2 +4 2 +0 2 ) = √25 = 5, so that the moving speed of the locus of the mouse pointer by the space mouse 11 from the first display position to the last display position = distance ÷ time = 5 / second. The search query indicates information indicating 5 / second. Then, the search query is transmitted to the 3D metadata search unit 21, and the 3D metadata search unit 21 is calculated based on the speed indicated by the search query, the display position of the sample point of the 3D metadata to be searched, and the elapsed time. If the degree of coincidence with the speed of the display trajectory is equal to or greater than a predetermined threshold, the 3D metadata is output as a search result. Here, with reference to FIG. 15, the straight line connecting the display position (sample point) 0 and the display position (sample point) 1 in the display trajectory indicated by the motion expression information of the 3D metadata shown in FIG. 15. Assume that the moving speed of the display trajectory matches the speed indicated by the search query. In that case, the 3D metadata search unit 21 outputs the 3D metadata to the search result display processing unit 22 as a search result. As shown in FIG. 15, the search result display processing unit 22 includes a display trajectory portion (display position (sample point) 0 and display position (sample point) that matches the speed of the search query in the 3D metadata display trajectory. ) A search result obtained by combining and displaying 3D metadata may be output on the display trajectory of only the straight line connecting 1).

なお、上述の処理においては、検索クエリと3Dメタデータの動き表現情報が示す表示軌跡や方向、速度の一致度が、所定の閾値以上であるかどうかを判定し、また、検索クエリと3Dメタデータの動き表現情報が示す表示軌跡と定型軌跡テンプレートの表示軌跡の一致度が、所定の閾値以上であるかどうかを判定しているが、これら3次元動画像再生装置が予め記憶している一致度の閾値は、ユーザから入力を受け付けて、設定変更できるような機能を備えるようにしてもよい。   In the above-described processing, it is determined whether the matching degree of the display trajectory, direction, and speed indicated by the motion expression information of the search query and the 3D metadata is equal to or greater than a predetermined threshold, and the search query and the 3D metadata. Although it is determined whether or not the degree of coincidence between the display trajectory indicated by the data motion expression information and the display trajectory of the standard trajectory template is equal to or greater than a predetermined threshold, the coincidence stored in advance by these three-dimensional moving image reproduction devices The threshold value of the degree may be provided with a function of accepting an input from the user and changing the setting.

また、検索クエリと3Dメタデータの動き表現情報が示す表示軌跡や方向、速度の一致度が、所定の閾値以上である検索結果を多数抽出した場合には、その数が、所定の数以下となるまで自動的に一致度の閾値を上げて、抽出結果を所定の数以下にするように設定するようにしてもよい。   In addition, when a large number of search results in which the matching degree of the display trajectory, direction, and speed indicated by the motion expression information of the search query and the 3D metadata is greater than or equal to a predetermined threshold value, the number is equal to or less than the predetermined number. It is possible to set the threshold value of the coincidence level automatically until the number of extraction results becomes a predetermined number or less.

以上、本発明の実施形態について説明したが、上述の処理によれば、ユーザは、空間マウスを用いて3次元画像再生装置の表示する仮想空間上に3次元で示される軌跡を入力するだけで、その軌跡と一致度の高い軌跡を3D動画像上に表示する3Dメタデータを検索することができる。
また、3次元画像再生装置の表示する仮想空間上にユーザが空間マウスを用いて入力した3次元の軌跡に基づいて、その軌跡が表す直線、曲線、移動速度、方向、軌跡のテンプレートの検索クエリが自動的に生成され、その検索クエリに一致する表示軌跡で3D動画像上に合成表示される3Dメタデータを検索することができるので、ユーザは、従来にくらべて多くの種類の表示軌跡の3Dメタデータを自由に検索することができる。
また、ユーザは、3次元画像再生装置の表示する仮想空間上にユーザが空間マウスを用いて入力するのみで、検索クエリを生成するために、特殊なコマンドやプログラムなどの検索用の問い合わせ言語を覚える必要がなく、容易に3D動画像上に表示される3Dメタデータの検索を行うことができる。
また、3Dメタデータが3D動画像上のある対象物の軌跡を追って表示されるものである場合には、ユーザが空間マウスを用いて検索クエリを作成するだけで、その結果検索された3Dメタデータに基づいて、所望の3D動画像上の対象物を検索することができるようになる。
また、上述の処理によれば、一致度の設定をユーザが自由に行うことができるため、ユーザの望む精度や曖昧さで、検索クエリの軌跡と同様の軌跡により3D動画像上に移動表示される3Dメタデータを検索することができる。
また、検索結果が所定の数以上に多く出力されるような場合には、一致度の閾値を自動的に上げる処理を行っているため、検索結果の数を所定の数に自動調整することができる。
Although the embodiment of the present invention has been described above, according to the above-described processing, the user only has to input a three-dimensional trajectory on the virtual space displayed by the three-dimensional image reproduction device using the spatial mouse. It is possible to search for 3D metadata for displaying a locus having a high degree of coincidence with the locus on the 3D moving image.
Further, based on a three-dimensional trajectory input by a user using a spatial mouse on a virtual space displayed by the three-dimensional image reproduction apparatus, a search query for a straight line, a curve, a moving speed, a direction, and a trajectory template represented by the trajectory. Is automatically generated and 3D metadata synthesized and displayed on the 3D moving image can be searched with a display trajectory that matches the search query. Therefore, the user can display many kinds of display trajectories as compared with the conventional case. 3D metadata can be searched freely.
In addition, the user only has to input a search query language such as a special command or program in the virtual space displayed by the 3D image playback apparatus by using a space mouse. There is no need to remember, and it is possible to easily search for 3D metadata displayed on a 3D moving image.
When the 3D metadata is displayed following the trajectory of a certain object on the 3D moving image, the user simply creates a search query using a spatial mouse, and the 3D metadata searched as a result is searched for. Based on the data, it becomes possible to search for an object on a desired 3D moving image.
In addition, according to the above-described process, the degree of coincidence can be freely set by the user, so that it is moved and displayed on the 3D moving image with the same trajectory as the search query trajectory with the accuracy and ambiguity desired by the user. 3D metadata can be searched.
In addition, when the search results are output more than a predetermined number, since the process of automatically increasing the matching threshold is performed, the number of search results can be automatically adjusted to a predetermined number. it can.

なお、上述の3次元動画像再生装置は内部に、コンピュータシステムを有している。そして、上述した各処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、CD−ROM、DVD−ROM、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。   Note that the above-described three-dimensional moving image reproduction apparatus has a computer system therein. Each process described above is stored in a computer-readable recording medium in the form of a program, and the above process is performed by the computer reading and executing the program. Here, the computer-readable recording medium means a magnetic disk, a magneto-optical disk, a CD-ROM, a DVD-ROM, a semiconductor memory, or the like. Alternatively, the computer program may be distributed to the computer via a communication line, and the computer that has received the distribution may execute the program.

また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であっても良い。   The program may be for realizing a part of the functions described above. Furthermore, what can implement | achieve the function mentioned above in combination with the program already recorded on the computer system, and what is called a difference file (difference program) may be sufficient.

3次元動画像再生装置の構成を示すブロック図である。It is a block diagram which shows the structure of a three-dimensional moving image reproducing device. 3Dメタデータ情報テーブルを示す図である。It is a figure which shows 3D metadata information table. サンプルポイント情報テーブルを示す図である。It is a figure which shows a sample point information table. 3Dメタデータの作成時の処理フローを示す図である。It is a figure which shows the processing flow at the time of preparation of 3D metadata. 3Dメタデータ検索処理の処理フローを示す第1の図である。It is a 1st figure which shows the processing flow of 3D metadata search processing. 3次元動画像再生装置の表示する画面例を示す図である。It is a figure which shows the example of a screen which a three-dimensional moving image reproducing device displays. 3Dメタデータ検索処理の処理フローを示す第2の図である。It is a 2nd figure which shows the processing flow of 3D metadata search processing. 表示軌跡情報算出処理の概要を示す第1の図である。It is a 1st figure which shows the outline | summary of a display trace information calculation process. 表示軌跡情報算出処理の概要を示す第2の図である。It is a 2nd figure which shows the outline | summary of a display trace information calculation process. 表示軌跡情報の算出処理の概要を示す第3の図である。It is a 3rd figure which shows the outline | summary of the calculation process of display locus information. 検索処理の概要を示す第1の図である。It is a 1st figure which shows the outline | summary of a search process. 検索処理の概要を示す第2の図である。It is a 2nd figure which shows the outline | summary of a search process. 検索処理の概要を示す第3の図である。It is a 3rd figure which shows the outline | summary of a search process. 検索処理の概要を示す第4の図である。It is a 4th figure which shows the outline | summary of a search process. 検索処理の概要を示す第5の図である。It is a 5th figure which shows the outline | summary of a search process.

符号の説明Explanation of symbols

11・・・空間マウス
12・・・空間マウス制御部
13・・・3D動画DB
14・・・3DメタデータDB
15・・・3Dディスプレイ
16・・・再生処理部
17・・・動き表現情報生成部
18・・・サンプルポイント生成部
19・・・3Dメタデータ生成編集部
20・・・3Dクエリ生成部
21・・・3Dメタデータ検索部
22・・・検索結果表示処理部
23・・・マッチング方法選択部
11 ... Spatial mouse 12 ... Spatial mouse control unit 13 ... 3D animation DB
14 ... 3D metadata DB
DESCRIPTION OF SYMBOLS 15 ... 3D display 16 ... Reproduction | regeneration processing part 17 ... Motion expression information generation part 18 ... Sample point generation part 19 ... 3D metadata production | generation edit part 20 ... 3D query production | generation part 21. ..3D metadata search unit 22 ... search result display processing unit 23 ... matching method selection unit

Claims (12)

3次元動画像に合成表示する付加情報の前記3次元動画像における動きを示す動き表現情報であって、前記3次元動画像上を前記付加情報が移動する表示軌跡上の複数の表示位置を少なくとも示す動き表現情報を記憶する動き表現情報記憶手段と、
実空間に存在する空間入力装置の空間位置を検出し、当該空間位置の変化に応じて前記3次元動画像中の前記空間入力装置による複数の指定位置を検出する入力情報検出手段と、
前記複数の指定位置を示す検索用情報を生成する検索用情報生成手段と、
前記検索用情報の示す複数の指定位置と、前記動き表現情報の示す複数の表示位置との一致度に基づいて、前記動き表現情報記憶手段より前記動き表現情報を特定し、当該特定した動き表現情報により前記3次元動画像上に合成表示される前記付加情報を検索する付加情報検索手段と、
前記検索した付加情報を出力する付加情報出力手段と、
を備えることを特徴とする3次元動画像再生装置。
Movement expression information indicating movement in the three-dimensional moving image of additional information to be synthesized and displayed on the three-dimensional moving image, and at least a plurality of display positions on a display locus on which the additional information moves on the three-dimensional moving image Movement expression information storage means for storing movement expression information to be shown;
Input information detecting means for detecting a spatial position of a spatial input device existing in real space and detecting a plurality of designated positions by the spatial input device in the three-dimensional moving image according to a change in the spatial position;
Search information generating means for generating search information indicating the plurality of designated positions;
Based on the degree of coincidence between the plurality of designated positions indicated by the search information and the plurality of display positions indicated by the movement expression information, the movement expression information is specified from the movement expression information storage means, and the specified movement expression is specified. Additional information retrieval means for retrieving the additional information synthesized and displayed on the three-dimensional moving image by information;
Additional information output means for outputting the searched additional information;
A three-dimensional moving image reproduction apparatus comprising:
前記動き表現情報は、前記表示軌跡上の複数の表示位置それぞれに前記付加情報を表示させる際の前記3次元動画像の開始時刻からの経過時間をさらに示す情報であり、
前記入力情報検出手段は、前記複数の指定位置のうちの最初に検出した指定位置の検出時刻からの各経過時間を検出し、
前記検索用情報生成手段は、前記複数の指定位置を示すと共に、それら指定位置のうちの最初に検出した指定位置の検出時刻からの経過時間を前記複数の指定位置それぞれについて示す前記検索用情報を生成し、
前記付加情報検索手段は、前記検索用情報の示す前記複数の指定位置のうち最も早い経過時間を示す指定位置と、前記動き表現情報の示す前記複数の表示位置のうち最も早い経過時間を示す表示位置との一致度が閾値以下となる前記動き表現情報を、前記動き表現情報記憶手段より特定し、当該特定した動き表現情報により前記3次元動画像上に合成表示される前記付加情報を検索する
ことを特徴とする請求項1に記載の3次元動画像再生装置。
The movement expression information is information further indicating an elapsed time from a start time of the three-dimensional moving image when the additional information is displayed at each of a plurality of display positions on the display trajectory,
The input information detecting means detects each elapsed time from the detection time of the designated position detected first among the plurality of designated positions,
The search information generating means indicates the search information indicating the plurality of designated positions and indicating an elapsed time from the detection time of the designated position detected first among the designated positions for each of the plurality of designated positions. Generate
The additional information search means includes a specified position indicating the earliest elapsed time among the plurality of specified positions indicated by the search information and a display indicating the earliest elapsed time among the plurality of display positions indicated by the motion expression information. The motion expression information whose degree of coincidence with a position is equal to or less than a threshold is specified from the motion expression information storage means, and the additional information displayed on the three-dimensional moving image is searched based on the specified motion expression information. The three-dimensional moving image reproducing apparatus according to claim 1, wherein
前記3次元動画像の開始時刻からの経過時間の指定を受け付ける経過時間指定受付手段と、を備え、
前記付加情報検索手段は、さらに、前記複数の表示位置のうち最も早い経過時間として、前記指定を受け付けた開始時間を示す表示位置を保持する前記動き表現情報のみを、前記動き表現情報記憶手段より抽出する
ことを特徴とする請求項1または請求項2に記載の3次元動画像再生装置。
An elapsed time designation accepting means for accepting designation of an elapsed time from the start time of the three-dimensional moving image,
The additional information search means further includes, as the earliest elapsed time among the plurality of display positions, only the motion expression information holding the display position indicating the start time at which the designation has been received, from the movement expression information storage means. The three-dimensional moving image reproducing device according to claim 1 or 2, wherein the three-dimensional moving image reproducing device is extracted.
前記動き表現情報は、前記表示軌跡上の複数の表示位置それぞれに前記付加情報を表示させる際の前記3次元動画像の開始時刻からの経過時間をさらに示す情報であり、
前記入力情報検出手段は、前記複数の指定位置のうちの最初に検出した指定位置の検出時刻からの各経過時間を検出し、
前記検索用情報生成手段は、前記複数の指定位置を示すと共に、それら指定位置のうちの最初に検出した指定位置の検出時刻からの経過時間を前記複数の指定位置それぞれについて示す前記検索用情報を生成し、
前記付加情報検索手段は、前記検索用情報の示す前記複数の指定位置のうち最初に検出した指定位置を基点とした所定経過時間を示す位置であって前記複数の指定位置による検索軌跡上の位置と、前記動き表現情報の示す前記複数の表示位置による表示軌跡上の任意の点を基点とした前記所定経過時間を示す前記表示軌跡上の位置と、に基づいて、異なる複数の前記所定経過時間における前記検索軌跡上の位置と前記表示軌跡上の位置との一致度が全て閾値以下となる前記動き表現情報を、前記動き表現情報記憶手段より特定し、当該特定した動き表現情報により前記3次元動画像上に合成表示される前記付加情報を検索する
ことを特徴とする請求項1に記載の3次元動画像再生装置。
The movement expression information is information further indicating an elapsed time from a start time of the three-dimensional moving image when the additional information is displayed at each of a plurality of display positions on the display trajectory,
The input information detecting means detects each elapsed time from the detection time of the designated position detected first among the plurality of designated positions,
The search information generating means indicates the search information indicating the plurality of designated positions and indicating an elapsed time from the detection time of the designated position detected first among the designated positions for each of the plurality of designated positions. Generate
The additional information search means is a position indicating a predetermined elapsed time based on a specified position detected first among the plurality of specified positions indicated by the search information, and a position on a search locus by the plurality of specified positions. And a plurality of different predetermined elapsed times based on a position on the display trajectory indicating the predetermined elapsed time based on an arbitrary point on the display trajectory by the plurality of display positions indicated by the motion expression information. The motion expression information for which the degree of coincidence between the position on the search trajectory and the position on the display trajectory is less than or equal to a threshold is specified from the motion expression information storage means, and the three-dimensional The three-dimensional moving image reproducing apparatus according to claim 1, wherein the additional information displayed in a synthesized manner on the moving image is searched.
前記検索用情報生成手段は、前記複数の指定位置による検索軌跡と、定型軌跡テンプレートが示す軌跡との一致度が所定の閾値以上となる定型軌跡テンプレートを検出して、当該定型軌跡テンプレートの種別情報を示す前記検索用情報を生成し、
前記付加情報検索手段は、前記動き表現情報の示す前記複数の表示位置による表示軌跡と、定型軌跡テンプレートが示す軌跡との一致度が所定の閾値以上となる定型軌跡テンプレートを検出して、前記検索用情報の示す定型軌跡テンプレートと同一の定型軌跡テンプレートを示す前記動き表現情報を、前記動き表現情報記憶手段より特定し、当該特定した動き表現情報により前記3次元動画像上に合成表示される前記付加情報を検索する
ことを特徴とする請求項1に記載の3次元動画像再生装置。
The search information generating means detects a fixed trajectory template in which the degree of coincidence between the search trajectory by the plurality of designated positions and the trajectory indicated by the fixed trajectory template is equal to or greater than a predetermined threshold, and type information of the fixed trajectory template Generating the search information indicating
The additional information search means detects a fixed trajectory template in which a degree of coincidence between a display trajectory of the plurality of display positions indicated by the motion expression information and a trajectory indicated by a fixed trajectory template is equal to or greater than a predetermined threshold, and the search The motion expression information indicating the same fixed path template as the fixed path template indicated by the use information is specified from the movement expression information storage means, and is synthesized and displayed on the three-dimensional moving image by the specified movement expression information. The additional information is searched. The three-dimensional moving image reproduction device according to claim 1, wherein the additional information is searched.
前記付加情報検索手段は、前記検索情報の示す前記複数の指定位置に基づいて算出される検索軌跡の方向と、前記動き表現情報の示す前記複数の表示位置に基づいて算出される表示軌跡の方向との一致度が閾値以上である前記動き表現情報を、前記動き表現情報記憶手段より特定する
ことを特徴とする請求項1に記載の3次元動画像再生装置。
The additional information search means includes a search trajectory direction calculated based on the plurality of designated positions indicated by the search information and a display trajectory direction calculated based on the plurality of display positions indicated by the motion expression information. The three-dimensional moving image reproduction apparatus according to claim 1, wherein the motion expression information whose degree of coincidence with the threshold value is equal to or greater than a threshold is specified from the motion expression information storage unit.
前記動き表現情報は、前記表示軌跡上の複数の表示位置それぞれに前記付加情報を表示させる際の前記3次元動画像の開始時刻からの経過時間をさらに示す情報であり、
前記入力情報検出手段は、前記複数の指定位置のうちの最初に検出した指定位置の検出時刻からの各経過時間を検出し、
前記検索用情報生成手段は、前記複数の指定位置を示すと共に、それら指定位置のうちの最初に検出した指定位置の検出時刻からの経過時間を前記複数の指定位置それぞれについて示す前記検索用情報を生成し、
前記付加情報検索手段は、前記検索情報の示す前記複数の指定位置とそれら指定位置の示す経過時間の時間差とに基づいて算出される速度と、前記動き表現情報の示す前記複数の表示位置とそれら表示位置の示す経過時間の時間差とに基づいて算出される速度との一致度が閾値以上である前記動き表現情報を、前記動き表現情報記憶手段より特定する
ことを特徴とする請求項1に記載の3次元動画像再生装置。
The movement expression information is information further indicating an elapsed time from a start time of the three-dimensional moving image when the additional information is displayed at each of a plurality of display positions on the display trajectory,
The input information detecting means detects each elapsed time from the detection time of the designated position detected first among the plurality of designated positions,
The search information generating means indicates the search information indicating the plurality of designated positions and indicating an elapsed time from the detection time of the designated position detected first among the designated positions for each of the plurality of designated positions. Generate
The additional information search means includes a speed calculated based on the plurality of designated positions indicated by the search information and a time difference between elapsed times indicated by the designated positions, the plurality of display positions indicated by the motion expression information, and these 2. The motion expression information storage unit that identifies the motion expression information whose degree of coincidence with a speed calculated based on a time difference between elapsed times indicated by display positions is greater than or equal to a threshold value. 3D video playback device.
前記検索用情報生成手段が複数の前記検索用情報を生成し、
前記付加情報検索手段は、複数の前記検索用情報に基づいて前記動き表現情報の抽出の処理を行う
ことを特徴とする請求項1から請求項7の何れかに記載の3次元動画像再生装置。
The search information generating means generates a plurality of the search information,
The three-dimensional moving image reproduction device according to any one of claims 1 to 7, wherein the additional information search means performs a process of extracting the motion expression information based on a plurality of pieces of search information. .
前記一致度の設定入力を受け付ける一致度設定入力受付手段と、
を備えることを特徴とする請求項1,2,5,6,7の何れかに記載の3次元動画像再生装置。
A degree-of-matching setting input receiving means for receiving a setting input of the degree of matching;
The three-dimensional moving image reproducing device according to claim 1, comprising:
前記動き情報記憶手段より所定の数の前記動き表現情報の抽出をしたかを判定し、前記所定の数以上の前記動き表現情報の抽出した場合には、前記動き情報記憶手段より抽出する前記動き表現情報の数が前記所定の数以下となるまで自動的に前記一致度を上げて、前記動き表現情報の抽出処理を繰り返す一致度調整手段と、
を備えることを特徴とする請求項1,5,6,7の何れかに記載の3次元動画像再生装置。
It is determined whether a predetermined number of the motion expression information has been extracted from the motion information storage means, and when the motion expression information of the predetermined number or more has been extracted, the motion extracted from the motion information storage means A degree of coincidence adjustment means for automatically increasing the degree of coincidence until the number of pieces of expression information is equal to or less than the predetermined number and repeating the extraction process of the movement expression information;
The three-dimensional moving image reproducing apparatus according to claim 1, comprising:
3次元動画像装置における付加情報検索方法であって、
前記3次元動画像装置の動き表現情報記憶手段が、3次元動画像に合成表示する付加情報の前記3次元動画像における動きを示す動き表現情報であって、前記3次元動画像上を前記付加情報が移動する表示軌跡上の複数の表示位置を少なくとも示す動き表現情報を記憶し、
前記3次元動画像装置の入力情報検出手段が、実空間に存在する空間入力装置の空間位置を検出し、当該空間位置の変化に応じて前記3次元動画像中の前記空間入力装置による複数の指定位置を検出し、
前記3次元動画像装置の検索用情報生成手段が、前記複数の指定位置を示す検索用情報を生成し、
前記3次元動画像装置の付加情報検索手段が、前記検索用情報の示す複数の指定位置と、前記動き表現情報の示す複数の表示位置との一致度に基づいて、前記動き表現情報記憶手段より前記動き表現情報を特定し、当該特定した動き表現情報により前記3次元動画像上に合成表示される前記付加情報を検索し、
前記3次元動画像装置の付加情報出力手段が、前記検索した付加情報を出力する
ことを特徴とする付加情報検索方法。
A method for retrieving additional information in a three-dimensional moving image device,
The motion expression information storage means of the three-dimensional moving image apparatus is movement expression information indicating movement in the three-dimensional moving image of additional information to be combined and displayed on the three-dimensional moving image, and the additional information is added on the three-dimensional moving image Storing motion expression information indicating at least a plurality of display positions on a display locus on which the information moves;
The input information detection means of the three-dimensional moving image device detects a spatial position of the spatial input device existing in the real space, and a plurality of the spatial input devices in the three-dimensional moving image according to the change of the spatial position. Detect the specified position,
The search information generating means of the three-dimensional moving image device generates search information indicating the plurality of designated positions,
Based on the degree of coincidence between the plurality of designated positions indicated by the search information and the plurality of display positions indicated by the movement expression information, the additional information search means of the three-dimensional moving image device is based on the motion expression information storage means. Specify the motion expression information, and search for the additional information that is synthesized and displayed on the three-dimensional moving image by the specified motion expression information,
The additional information search method, wherein the additional information output means of the three-dimensional video apparatus outputs the searched additional information.
3次元動画像に合成表示する付加情報の前記3次元動画像における動きを示す動き表現情報であって、前記3次元動画像上を前記付加情報が移動する表示軌跡上の複数の表示位置を少なくとも示す動き表現情報を記憶する動き表現情報記憶手段を備えた3次元動画像再生装置のコンピュータを、
実空間に存在する空間入力装置の空間位置を検出し、当該空間位置の変化に応じて前記3次元動画像中の前記空間入力装置による複数の指定位置を検出する入力情報検出手段、
前記複数の指定位置を示す検索用情報を生成する検索用情報生成手段、
前記検索用情報の示す複数の指定位置と、前記動き表現情報の示す複数の表示位置との一致度に基づいて、前記動き表現情報記憶手段より前記動き表現情報を特定し、当該特定した動き表現情報により前記3次元動画像上に合成表示される前記付加情報を検索する付加情報検索手段、
前記検索した付加情報を出力する付加情報出力手段、
として機能させるためのプログラム。
Movement expression information indicating movement in the three-dimensional moving image of additional information to be synthesized and displayed on the three-dimensional moving image, and at least a plurality of display positions on a display locus on which the additional information moves on the three-dimensional moving image A computer of a three-dimensional moving image reproduction apparatus provided with motion expression information storage means for storing the motion expression information shown
Input information detecting means for detecting a spatial position of a spatial input device existing in a real space and detecting a plurality of designated positions by the spatial input device in the three-dimensional moving image according to a change in the spatial position;
Search information generating means for generating search information indicating the plurality of designated positions;
Based on the degree of coincidence between the plurality of designated positions indicated by the search information and the plurality of display positions indicated by the movement expression information, the movement expression information is specified from the movement expression information storage means, and the specified movement expression is specified. Additional information search means for searching for the additional information synthesized and displayed on the three-dimensional moving image by information;
Additional information output means for outputting the searched additional information;
Program to function as.
JP2008223699A 2008-09-01 2008-09-01 Three-dimensional moving image reproduction apparatus, additional information retrieval method and program Active JP5047102B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008223699A JP5047102B2 (en) 2008-09-01 2008-09-01 Three-dimensional moving image reproduction apparatus, additional information retrieval method and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008223699A JP5047102B2 (en) 2008-09-01 2008-09-01 Three-dimensional moving image reproduction apparatus, additional information retrieval method and program

Publications (2)

Publication Number Publication Date
JP2010061221A true JP2010061221A (en) 2010-03-18
JP5047102B2 JP5047102B2 (en) 2012-10-10

Family

ID=42187973

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008223699A Active JP5047102B2 (en) 2008-09-01 2008-09-01 Three-dimensional moving image reproduction apparatus, additional information retrieval method and program

Country Status (1)

Country Link
JP (1) JP5047102B2 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105513113A (en) * 2015-12-01 2016-04-20 联想(北京)有限公司 Image processing method and electronic equipment
JP2018081630A (en) * 2016-11-18 2018-05-24 株式会社東芝 Search device, search method and program
CN114697635A (en) * 2020-12-31 2022-07-01 三一汽车制造有限公司 Scene reproduction method and system for arm support equipment, electronic equipment and storage medium

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000217054A (en) * 1999-01-21 2000-08-04 Telecommunication Advancement Organization Of Japan Method for retrieving video image relating to moving picture and its system
JP2000285253A (en) * 1999-01-28 2000-10-13 Toshiba Corp Method for description of object area information, generator of object area information, method for video information processing, and information processor
JP2005025600A (en) * 2003-07-04 2005-01-27 Hitachi Ltd Three-dimensional map display device equipped with three-dimensional walk-through device
JP2006012012A (en) * 2004-06-29 2006-01-12 Matsushita Electric Ind Co Ltd Event extraction device, and method and program therefor

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000217054A (en) * 1999-01-21 2000-08-04 Telecommunication Advancement Organization Of Japan Method for retrieving video image relating to moving picture and its system
JP2000285253A (en) * 1999-01-28 2000-10-13 Toshiba Corp Method for description of object area information, generator of object area information, method for video information processing, and information processor
JP2005025600A (en) * 2003-07-04 2005-01-27 Hitachi Ltd Three-dimensional map display device equipped with three-dimensional walk-through device
JP2006012012A (en) * 2004-06-29 2006-01-12 Matsushita Electric Ind Co Ltd Event extraction device, and method and program therefor

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105513113A (en) * 2015-12-01 2016-04-20 联想(北京)有限公司 Image processing method and electronic equipment
JP2018081630A (en) * 2016-11-18 2018-05-24 株式会社東芝 Search device, search method and program
CN114697635A (en) * 2020-12-31 2022-07-01 三一汽车制造有限公司 Scene reproduction method and system for arm support equipment, electronic equipment and storage medium
CN114697635B (en) * 2020-12-31 2023-11-10 三一汽车制造有限公司 Scene reproduction method and system of boom equipment, electronic equipment and storage medium

Also Published As

Publication number Publication date
JP5047102B2 (en) 2012-10-10

Similar Documents

Publication Publication Date Title
US10902676B2 (en) System and method of controlling a virtual camera
KR101804848B1 (en) Video Object Detecting Apparatus, Video Object Deforming Apparatus and Method thereof
US10031649B2 (en) Automated content detection, analysis, visual synthesis and repurposing
CN107111620A (en) Video editing using context data and the content discovery using group
US10885333B2 (en) Augmented reality apparatus and method
US10970932B2 (en) Provision of virtual reality content
WO2000055815A1 (en) Cad system and recording medium
JPH06101018B2 (en) Search of moving image database
Lilija et al. Who put that there? temporal navigation of spatial recordings by direct manipulation
JP2023010759A (en) Information processing device, information processing method, and program
JP2019033430A (en) Movie reproduction apparatus, control method thereof, and program
JP2006277166A (en) Three-dimensional shape comparison program and three-dimensional similar shape retrieval program
Wang et al. Hyper-lapse from multiple spatially-overlapping videos
JP5047102B2 (en) Three-dimensional moving image reproduction apparatus, additional information retrieval method and program
Sugimoto et al. Building movie map-a tool for exploring areas in a city-and its evaluations
JPH07200632A (en) Information processor
JP5329130B2 (en) Search result display method
JP3566530B2 (en) Spatial stroll video display method, space object search method, space object extraction method, their apparatuses, and recording media recording these methods
JP2005267033A (en) Mixed reality video storage retrieval method and device
JP4334898B2 (en) Database construction device, database construction program, image retrieval device, image retrieval program, and image recording / reproducing device
JP3751608B2 (en) Information processing device
JP2010160733A (en) Search result displaying method and monitoring system
Kanade Immersion into visual media: new applications of image understanding
US20230156177A1 (en) Information processing apparatus, information processing method, and storage medium
JP2004110096A (en) User operation log visualizing method, user operation log visualizing device, program and its recording medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110317

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120403

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120525

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120619

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120717

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150727

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5047102

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250