JP2005267033A - 複合現実感映像蓄積検索方法及び装置 - Google Patents
複合現実感映像蓄積検索方法及び装置 Download PDFInfo
- Publication number
- JP2005267033A JP2005267033A JP2004076298A JP2004076298A JP2005267033A JP 2005267033 A JP2005267033 A JP 2005267033A JP 2004076298 A JP2004076298 A JP 2004076298A JP 2004076298 A JP2004076298 A JP 2004076298A JP 2005267033 A JP2005267033 A JP 2005267033A
- Authority
- JP
- Japan
- Prior art keywords
- virtual object
- information
- mixed reality
- image
- space image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
Abstract
【解決手段】 複合現実感空間において作業者が観察しているHMDの映像を、仮想物体の操作情報と関連付けて蓄積する。また、記録したHMD映像を再生する際に、仮想物体の操作情報を時間軸に沿って可視化することにより、所定の条件を満たすHMD映像を容易に頭出しできる。
【選択図】 図2
Description
図1は、本実施形態に係る複合現実感映像蓄積検索システムの機能構成例を示すブロック図である。本実施形態に係る複合現実感映像蓄積検索システムは、頭部装着型表示装置(HMD)20と、複合現実感映像蓄積検索装置10とから構成される。
次に、図2を用いて、本実施形態のシステムの全体的な処理の概要を説明する。本実施形態では、図2(a)に示すように、HMDの装着者(作業者)40が現実空間の中に置かれた仮想物体42、43に対し、スタイラス41を用いて作業を行う過程を記録、蓄積するものとする。現実空間には図示するような直交座標系である世界座標系(x,y,z)が設定されており、HMDの位置姿勢がリアルタイムで検出されるため、この座標系に置かれた仮想物体42、43は、現実空間と矛盾のない位置関係で観察されるように現実空間画像上に描画され、HMDに表示される。
動画再生領域60には、作業者がHMDを通して観察していた映像が表示される。この図の例では、スタイラス41、仮想物体42、43が映像に含まれている。スライドバー61は、動画再生領域60における動画表示を制御するとともに、動画再生時点を示す。仮想物体把持情報表示領域65は、作業者40がスタイラス41で仮想物体を把持(仮想物体を選択した状態でボタンをクリック)していた時間帯を、仮想物体ごとに時間軸の帯で表す。この図の例では、横線で示される領域が仮想物体42をスタイラスで把持していた時間帯を、縦線で示される領域が仮想物体43を把持していた時間帯をそれぞれ表し、空白の部分はどの仮想物体も把持していなかった時間帯を表す。
次に、作業データの記録処理について図面を用いてさらに詳細に説明する。
図3は、複合現実感作業空間での作業データを蓄積する記録処理のフローチャートである。この処理が開始される前に、予めシステムのユーザから、これから記録する作業データの名前が指定されているものとする。また、記録処理の開始は、ユーザが入力部から指示しても良いし、作業者40が例えば入力部31の一部を構成するスイッチ等を用いて指示しても良い。
なお、上述したように、記録するデータは左右の視差画像の一方又は両方、カメラ位置姿勢データの一方又は両方のうちから任意に設定可能である。
まず、ステップS210では新しいレコードを作成し、変数Sequence#の現在の値をSequence#フィールドに書き込む。なお、最初のレコードSequence #=0の場合には、基準時刻としてタイマ17の値を記憶し、管理テーブルの経過時間フィールドに0(0:00:00)を書き込む。Sequence #=1以上の場合には、タイマ17から現在時刻を取得し、Sequence #が0の時点との差を取って経過時間に変換して管理テーブルの経過時間フィールドに書き込む。
次に、スタイラス41のボタン操作に応じた処理について説明する。まず、図7のフローチャートを用いてスタイラス41のボタンがクリックされた時に起動されるスタイラスボタンクリック処理について説明し、次いで図8のフローチャートを用いてスタイラス41のボタンがリリースされた時に起動されるスタイラスボタンリリース処理について説明する。これら2つの処理は図3に示される記録処理のコールバック関数として実装することにより、ボタンクリック/ボタンリリースのイベントが発生した時に例えばOSからそれぞれの処理が呼び出され、処理が終了した時点で元の処理に復帰するように構成することができる。
以上、作業者40が複合現実空間にて行った作業を記録する処理について説明したが、蓄積部14に記録された情報から、図2(b)に示したような再生画面を生成する処理について簡単に説明する。なお、複合現実空間画像の再生に先立ってユーザは蓄積されているファイル名を例えば上述したようにGUIを入力部で操作することによって指定しておくものとする。
以上の処理によって作成された図2(b)の再生画面で、ユーザは入力部33を用いてスライドバー61を操作し、所望の条件を満たすHMD映像(複合現実空間画像)の頭出しもしくは検索を行なうことができる。
第1の実施形態では蓄積されたHMD映像と仮想物体の操作情報を図2(b)に示すような再生画面で表示し、ユーザが表示領域65〜69における表示を手がかりにして所望の映像を探しだす場合を想定していたが、ユーザが条件を与え、その条件を満たすSeqence #を装置側で検索して映像を提示する(データベースのクエリー形式で利用する)ように構成することも可能である。
例えば、図9(a)の例では、仮想物体の把持情報と視野(見え)情報に関するクエリーをプルダウンメニューを用いて実現したものである。この図において動画再生領域60とスライドバー61は図2(b)の構成と同じで、その下がクエリー(検索条件)指定領域になっている。仮想物体指定メニュー71は、検索対象となる仮想物体を指定する領域で、この例では仮想物体AまたはBを指定できるようになっている。ここで指定された仮想物体に対して満たすべき状態を指定するのが右側の仮想物体状態指定ニュー72である。この例では、指定された仮想物体を「掴んだ時点」、「離した時点」、「見え始めた時点」「見えなくなった時点」の4つの状態を指定できる。
上述の実施形態においては、作業者がスタイラスを用いて仮想物体に対する操作を行う場合について説明したが、位置及び姿勢が検出可能であれば、どのような物を用いて操作を行ってもよい。また、作業者の手の平の位置姿勢を検出するようにして、作業者が自分の手で仮想物体の操作を行うようにしても良い。この場合、スタイラスに設けたボタンのオン、オフと同様の信号を発生させるための構成は任意である。例えば、仮想物体の操作は一方の手で、行い、ボタンのオン・オフは他方の手でスイッチを操作するようにしてもよいし、作業者の身振り、手振りや音声指示などでボタンのオン・オフに相当する信号を発生するようにすることもできる。
11 位置姿勢計測部
12 画像入力部
13 画像生成部
14 蓄積部
15 画像合成部
16 制御部
20 HMD (Head Mounted Display)
21 3次元位置姿勢センサ
22 カメラ
23 表示器
31 表示装置
33 入力部
40 作業者
41 スタイラス
42、43 作業対象仮想物体
60 動画表示領域
61 スライドバー
62 再生位置インディケータ
65 仮想物体把持情報表示領域
66、67 スタイラス−仮想物体距離情報表示領域
68、69 仮想物体視野(見え)情報表示領域
71 仮想物体指定メニュー
72 仮想物体の状態指定メニュー
73 検索開始ボタン
74 スタイラス−仮想物体距離入力領域
75 スタイラス−仮想物体距離値域指定メニュー
Claims (12)
- 現実空間を撮影して得られる現実空間画像に、仮想物体の画像を、位置合わせして合成することにより複合現実空間画像を生成する画像合成工程と、
前記複合現実空間画像を観察する作業者が前記仮想物体に対して行った操作に関する情報及び、前記仮想物体の状態に関する情報を取得する情報取得工程と、
前記複合現実空間画像と、前記操作に関する情報と、前記仮想物体の状態に関する情報と、時刻情報とを対応付けて記録装置に記録する記録工程とを有することを特徴とする記録方法。 - 前記操作に関する情報が、前記作業者が用いる操作手段の位置姿勢に関する情報を含むことを特徴とする請求項1記載の記録方法。
- 前記仮想物体の状態に関する情報が、前記仮想物体が操作されているか否か、前記仮想物体が前記観察者の視野に含まれるか否か、前記仮想物体と前記操作手段との距離の少なくとも1つを含むことを特徴とする請求項1又は請求項2記載の記録方法。
- 現実空間を撮影して得られる現実空間画像に、仮想物体の画像を位置合わせして合成して得られる複合現実空間画像と、前記複合現実空間画像を観察した作業者が前記仮想物体に対して行った操作に関する情報と、前記仮想物体の状態に関する情報と、時刻情報とが対応付けられて記録された記録装置から、前記複合現実空間画像を再生表示する再生方法であって、
前記記録装置に記録された前記複合現実空間画像と、前記操作に関する情報と、前記仮想物体の状態に関する情報とを、前記時刻情報に基づいて再生表示する再生工程とを有することを特徴とする再生方法。 - 前記再生工程が、所定の再生画面を通じて前記再生を行うと共に、
前記再生画面が、前記複合現実空間画像を表示するための動画表示領域と、前記操作に関する情報を表示するための操作情報表示領域と、前記仮想物体の状態に関する情報を表示するための状態表示領域とを有し、
前記操作情報表示領域と、前記状態表示領域とが、前記再生を行う前記複合現実空間画像の総再生時間によって定まる共通の長さを有することを特徴とする請求項4記載の再生方法。 - 前記操作情報表示領域と、前記状態表示領域とが、所定の塗りつぶしパターンによって前記操作に関する情報と前記仮想物体の状態に関する情報を表示することを特徴とする請求項5記載の再生方法。
- 前記再生工程が、所定の再生画面を通じて前記再生を行うと共に、
前記再生画面が、前記複合現実空間画像を表示するための動画表示領域と、前記仮想物体の状態についての検索条件を指定する検索条件指定領域を有し、
さらに、前記記録装置を参照し、前記検索条件指定領域に指定された前記検索条件を満たす時間帯を取得するとともに、前記時間帯に対応する前記複合現実空間画像を取得し、前記動画表示領域に提示する検索工程を有することを特徴とする請求項4記載の再生方法。 - 前記再生工程が、所定の再生画面を通じて前記再生を行うと共に、
前記再生画面が、前記複合現実空間画像を表示するための動画表示領域と、前記操作に関する情報についての検索条件を指定する検索条件指定領域を有し、
さらに、前記記録装置を参照し、前記検索条件指定領域に指定された前記検索条件を満たす時間帯を取得するとともに、前記時間帯を前記操作情報表示領域に提示する検索工程を有することを特徴とする請求項4記載の再生方法。 - 現実空間を撮影して得られる現実空間画像に、仮想物体の画像を、位置合わせして合成することにより複合現実空間画像を生成する画像合成手段と、
前記複合現実空間画像を観察する作業者が前記仮想物体に対して行った操作に関する情報及び、前記仮想物体の状態に関する情報を取得する情報取得手段と、
前記複合現実空間画像と、前記操作に関する情報と、前記仮想物体の状態に関する情報と、時刻情報とを対応付けて記録する記録手段とを有することを特徴とする記録装置。 - 現実空間を撮影して得られる現実空間画像に、仮想物体の画像を位置合わせして合成して得られる複合現実空間画像と、前記複合現実空間画像を観察した作業者が前記仮想物体に対して行った操作に関する情報と、前記仮想物体の状態に関する情報と、時刻情報とが対応付けられて記録された記録装置と、
前記記録装置に記録された前記複合現実空間画像と、前記操作に関する情報と、前記仮想物体の状態に関する情報とを、前記時刻情報に基づいて再生表示する再生手段とを有することを特徴とする再生装置。 - 請求項1乃至請求項3のいずれか1項に記載の記録方法と、請求項4乃至請求項8のいずれか1項に記載の再生方法の少なくとも一方をコンピュータに実行させるプログラム。
- 請求項11記載のプログラムを格納したコンピュータ読み取り可能な記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004076298A JP4458886B2 (ja) | 2004-03-17 | 2004-03-17 | 複合現実感画像の記録装置及び記録方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004076298A JP4458886B2 (ja) | 2004-03-17 | 2004-03-17 | 複合現実感画像の記録装置及び記録方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005267033A true JP2005267033A (ja) | 2005-09-29 |
JP4458886B2 JP4458886B2 (ja) | 2010-04-28 |
Family
ID=35091543
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004076298A Expired - Fee Related JP4458886B2 (ja) | 2004-03-17 | 2004-03-17 | 複合現実感画像の記録装置及び記録方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4458886B2 (ja) |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013189259A1 (en) * | 2012-06-20 | 2013-12-27 | Ming Fong | System for reproducing virtual objects |
JP2014175709A (ja) * | 2013-03-06 | 2014-09-22 | Nec Engineering Ltd | ネットワーク運用管理システム、ネットワーク管理装置、ネットワーク運用管理方法、及びプログラム |
WO2015173882A1 (ja) * | 2014-05-13 | 2015-11-19 | 株式会社日立製作所 | コンテンツ生成方法および管理装置 |
DE102017122263A1 (de) | 2016-09-28 | 2018-03-29 | Fujifilm Corporation | Gerät, Verfahren und Programm zum Speichern und Wiedergeben medizinischer Bilder |
US10078915B2 (en) | 2014-09-03 | 2018-09-18 | Ricoh Company, Ltd. | Information terminal apparatus, information processing method, and system, configured to correct posture of a virtual object depending on changed posture information |
JP6434666B1 (ja) * | 2018-02-26 | 2018-12-05 | 京セラ株式会社 | 電子機器、制御方法およびプログラム |
JP2019040357A (ja) * | 2017-08-24 | 2019-03-14 | キヤノンマーケティングジャパン株式会社 | 画像処理装置、画像処理方法、コンピュータプログラム |
JP2019047502A (ja) * | 2018-09-20 | 2019-03-22 | キヤノン株式会社 | 情報処理装置、情報処理方法、及びプログラム |
JP2019221001A (ja) * | 2018-09-20 | 2019-12-26 | キヤノン株式会社 | 情報処理装置、情報処理方法、及びプログラム |
JP2020035201A (ja) * | 2018-08-30 | 2020-03-05 | 株式会社丸屋建設 | 施工支援システム |
JP7200414B1 (ja) | 2022-03-03 | 2023-01-06 | 旭国際テクネイオン株式会社 | 情報処理装置及び保全支援システム |
JP7408506B2 (ja) | 2019-12-26 | 2024-01-05 | 株式会社ドワンゴ | コンテンツ配信システム、コンテンツ配信方法、およびコンテンツ配信プログラム |
JP7469536B1 (ja) | 2023-03-17 | 2024-04-16 | 株式会社ドワンゴ | コンテンツ管理システム、コンテンツ管理方法、コンテンツ管理プログラム、およびユーザ端末 |
-
2004
- 2004-03-17 JP JP2004076298A patent/JP4458886B2/ja not_active Expired - Fee Related
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013189259A1 (en) * | 2012-06-20 | 2013-12-27 | Ming Fong | System for reproducing virtual objects |
JP2014175709A (ja) * | 2013-03-06 | 2014-09-22 | Nec Engineering Ltd | ネットワーク運用管理システム、ネットワーク管理装置、ネットワーク運用管理方法、及びプログラム |
WO2015173882A1 (ja) * | 2014-05-13 | 2015-11-19 | 株式会社日立製作所 | コンテンツ生成方法および管理装置 |
US10078915B2 (en) | 2014-09-03 | 2018-09-18 | Ricoh Company, Ltd. | Information terminal apparatus, information processing method, and system, configured to correct posture of a virtual object depending on changed posture information |
US11056149B2 (en) | 2016-09-28 | 2021-07-06 | Fujifilm Corporation | Medical image storage and reproduction apparatus, method, and program |
DE102017122263A1 (de) | 2016-09-28 | 2018-03-29 | Fujifilm Corporation | Gerät, Verfahren und Programm zum Speichern und Wiedergeben medizinischer Bilder |
JP2019040357A (ja) * | 2017-08-24 | 2019-03-14 | キヤノンマーケティングジャパン株式会社 | 画像処理装置、画像処理方法、コンピュータプログラム |
US10542161B2 (en) | 2018-02-26 | 2020-01-21 | Kyocera Corporation | Electronic device, control method, and recording medium |
JP2019148899A (ja) * | 2018-02-26 | 2019-09-05 | 京セラ株式会社 | 電子機器、制御方法およびプログラム |
JP6434666B1 (ja) * | 2018-02-26 | 2018-12-05 | 京セラ株式会社 | 電子機器、制御方法およびプログラム |
JP2020035201A (ja) * | 2018-08-30 | 2020-03-05 | 株式会社丸屋建設 | 施工支援システム |
JP7168974B2 (ja) | 2018-08-30 | 2022-11-10 | 株式会社maruyaビルド | 施工支援システム |
JP2019221001A (ja) * | 2018-09-20 | 2019-12-26 | キヤノン株式会社 | 情報処理装置、情報処理方法、及びプログラム |
JP2019047502A (ja) * | 2018-09-20 | 2019-03-22 | キヤノン株式会社 | 情報処理装置、情報処理方法、及びプログラム |
JP7408506B2 (ja) | 2019-12-26 | 2024-01-05 | 株式会社ドワンゴ | コンテンツ配信システム、コンテンツ配信方法、およびコンテンツ配信プログラム |
JP7200414B1 (ja) | 2022-03-03 | 2023-01-06 | 旭国際テクネイオン株式会社 | 情報処理装置及び保全支援システム |
JP2023128471A (ja) * | 2022-03-03 | 2023-09-14 | 旭国際テクネイオン株式会社 | 情報処理装置及び保全支援システム |
JP7469536B1 (ja) | 2023-03-17 | 2024-04-16 | 株式会社ドワンゴ | コンテンツ管理システム、コンテンツ管理方法、コンテンツ管理プログラム、およびユーザ端末 |
Also Published As
Publication number | Publication date |
---|---|
JP4458886B2 (ja) | 2010-04-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6154723A (en) | Virtual reality 3D interface system for data creation, viewing and editing | |
US9367942B2 (en) | Method, system and software program for shooting and editing a film comprising at least one image of a 3D computer-generated animation | |
US9928665B2 (en) | Method and system for editing scene in three-dimensional space | |
US20040175684A1 (en) | System and methods for interactive training of procedures | |
US20060012596A1 (en) | Data editing program, data editing method, data editing apparatus and storage medium | |
JP4458886B2 (ja) | 複合現実感画像の記録装置及び記録方法 | |
US20120236027A1 (en) | Display control device, display control method, and program | |
JP7196834B2 (ja) | 画像処理装置および方法、並びにプログラム | |
JP7459870B2 (ja) | 画像処理装置、画像処理方法、及び、プログラム | |
US11442685B2 (en) | Remote interaction via bi-directional mixed-reality telepresence | |
US20210349620A1 (en) | Image display apparatus, control method and non-transitory computer-readable storage medium | |
US20190155465A1 (en) | Augmented media | |
CN109844600A (zh) | 信息处理设备、信息处理方法和程序 | |
JP2006039872A (ja) | 情報処理方法及び情報処理装置 | |
WO2021223667A1 (en) | System and method for video processing using a virtual reality device | |
JP2009200601A (ja) | ビデオ編集装置及びビデオ編集方法 | |
JP4371863B2 (ja) | 再生装置及び方法 | |
US20230033201A1 (en) | Image processing apparatus, image processing method, and storage medium | |
JP7070547B2 (ja) | 画像処理装置および方法、並びにプログラム | |
JP3413145B2 (ja) | 仮想空間の編集方法及び仮想空間の編集装置 | |
WO2019190722A1 (en) | Systems and methods for content management in augmented reality devices and applications | |
WO2023145571A1 (ja) | 情報処理装置、情報処理方法、データ構造及びプログラム | |
KR101263881B1 (ko) | 무인 방송 제어 시스템 | |
JP2022182836A (ja) | 映像処理装置及びその制御方法及びプログラム | |
da Silva Meira | Rendering and Editing Tools for Interactive 360° Video |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070308 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090410 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090609 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20090706 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091006 |
|
A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20091019 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091130 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091208 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100205 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100209 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130219 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140219 Year of fee payment: 4 |
|
LAPS | Cancellation because of no payment of annual fees |