JP5282709B2 - ヘッドマウントディスプレイを含む撮像データ利用システム - Google Patents
ヘッドマウントディスプレイを含む撮像データ利用システム Download PDFInfo
- Publication number
- JP5282709B2 JP5282709B2 JP2009221679A JP2009221679A JP5282709B2 JP 5282709 B2 JP5282709 B2 JP 5282709B2 JP 2009221679 A JP2009221679 A JP 2009221679A JP 2009221679 A JP2009221679 A JP 2009221679A JP 5282709 B2 JP5282709 B2 JP 5282709B2
- Authority
- JP
- Japan
- Prior art keywords
- position information
- time position
- imaging data
- imaging
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/163—Wearable computers, e.g. on a belt
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/0483—Interaction with page-structured environments, e.g. book metaphor
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Hardware Design (AREA)
- Optics & Photonics (AREA)
- User Interface Of Digital Computer (AREA)
- Controls And Circuits For Display Device (AREA)
- Processing Or Creating Images (AREA)
Description
撮像データ利用システム100について、図1を参照して説明する。撮像データ利用システム100は、ヘッドマウントディスプレイ(Head Mounted Display/以下、「HMD」ともいう。)200A,200B,200C(以下、HMD200A,200B,200Cを区別しない場合、単に「HMD200」という。)と、コンテンツデータ記憶領域500と、撮像データ記憶領域510と、テーブル記憶領域520と、音声データ記憶領域530と、情報処理装置600とを含み、各構成は、通信可能に接続されている。例えば、これらは、LANまたはWANのようなネットワーク700を介して接続されている。なお、HMD200とコンテンツデータ記憶領域500と撮像データ記憶領域510とテーブル記憶領域520と音声データ記憶領域530とについては、ネットワーク700を介した接続の他、これらをメモリバスによって接続した構成、換言すれば、これらを一体として形成した構成とすることもできる。
HMD200の構成について、図2を参照して説明する。HMD200は、HMD本体220と制御ボックス260とCCDセンサ300とマイク320とを含む。HMD本体220とCCDセンサ300とマイク320とは、信号ケーブル280を介して制御ボックス260に接続されており、HMD本体220などと制御ボックス260との間では各種信号の入出力が実行される。HMD本体220はユーザの顔に装着され、また、制御ボックス260はユーザの腰などに取り付けられて利用される。
以下、撮像データ利用システム100のHMD200と情報処理装置600とで実行される各種処理について説明する。以下では、コンテンツデータが、所定の作業のマニュアルに関するマニュアルデータであり、コンテンツデータによって示されるコンテンツ画像が、このマニュアルを構成する複数のマニュアル画像それぞれである場合を例に説明する。したがって、以下では、コンテンツデータをマニュアルデータといい、コンテンツ画像をマニュアル画像ともいう。
HMD200の制御ボックス260のCPU262によって実行される録画時処理について、図4〜図6を参照して説明する。この処理を開始したCPU262は、マニュアル画像の提示の開始指示が入力されたかを判断する(S100)。開始指示は、ユーザが、例えば制御ボックス260に設けられた開始ボタン(図2,図3で図示を省略)を操作することで入力される。判断の結果、開始指示が入力されていない場合(S100:No)、CPU262は、開始指示が入力されるまで待機する。
情報処理装置600のCPU602によって実行される再生時処理について、2つの処理形態を説明する。ここで、第1処理形態の再生時処理は、撮像データ利用システム100に含まれるHMD200が単数である場合、例えば、図1でHMD200Aのみが存在している場合に実行される処理である。第2処理形態の再生時処理は、撮像データ利用システム100に含まれるHMD200が複数である場合、例えば、所定の作業を図5に示すように3人で行っている場合において、それぞれのユーザがHMD200A,200B,200C(図1参照)を利用し、HMD200A,200B,200Cそれぞれで、図4に示す録画時処理が実行された場合の処理である。なお、この場合、全てのユーザは、それぞれ図2に示すようにHMD本体220を装着し、制御ボックス260を例えば腰に取り付け、さらに全員、所定のマニュアル画像を視認している。再生時処理は、ユーザが、情報処理装置600の操作部612を操作し、コンテンツデータ記憶領域500に記憶されているマニュアルデータの表示を指示した場合に開始される。CPU602は、記憶部608に記憶されたこの処理のためのプログラムを読み出し、これをRAM606上で実行する。
第1処理形態の再生時処理について、図7を参照して説明する。この処理を開始したCPU602は、マニュアルデータによって示される特定のページのマニュアル画像を表示部610に表示する(S200)。そして、CPU602は、テーブル記憶領域520に記憶されている第1関連付けテーブル522にアクセスし、表示中のマニュアル画像のページ番号に一致するページ番号を含むレコードが存在するかを判断する(S202)。判断の結果、一致するページ番号を含むレコードが存在しない場合(S202:No)、CPU602は処理をS200に戻す。一方、一致するページ番号を含むレコードが存在する場合(S202:Yes)、CPU602は、処理をS204に移行する。
第2処理形態の再生時処理について、図8を参照して説明する。この処理を開始したCPU602は、S300およびS302を実行する。ここで、S300およびS302は、図7に示す第1処理形態の再生時処理のS200およびS202に対応する処理である。したがって、これら処理についての詳細は、省略する。
上述した本実施形態の構成は、次のようにすることもできる。
本実施形態の構成(上記変形例の構成を含む)によれば、HMD200を利用してマニュアル画像を確認しつつ行われた所定の作業に関し、CCDセンサ300で、実行された作業の状態を撮像する(図4のS104参照)こととしたため、後に、撮像データを再生し、作業の状態を確認することができる。そして、その際、本実施形態の構成によれば、図6に示す第1関連付けテーブル522に登録された第1時間位置情報、または、図10に示す第2関連付けテーブル524に登録された第2時間位置情報に対応する所定の時点を再生開始点として設定し(図7のS204,図8のS304参照)、設定された再生開始点から再生することができるため、作業中に特定の特徴を有する音声が発せられた(図4のS110:Yes)部分を、効率よく確認することができる。例えば、所定の作業の各工程およびその進行に関し、この作業に慣れていない者などに対し、その作業の説明を行うような場面、または、各工程およびその進行に関する検討を行うような場面において、特にその効果を発揮することができる。
220 ヘッドマウントディスプレイ本体(HMD本体)
224 画像提示部
260 制御ボックス
262 CPU
264 プログラムROM
266 フラッシュROM
268 RAM
274 ネットワークI/F
300 CCDセンサ
320 マイク
500 コンテンツデータ記憶領域
510 撮像データ記憶領域
520 テーブル記憶領域
522 第1関連付けテーブル
Claims (6)
- コンテンツデータによって示されるコンテンツ画像それぞれを、順次、ユーザの眼に視認可能に提示するヘッドマウントディスプレイと、前記コンテンツデータにアクセスし、前記コンテンツ画像を表示可能な情報処理装置とを含む撮像データ利用システムであって、
前記ヘッドマウントディスプレイは、
前記コンテンツ画像を提示するコンテンツ画像提示手段と、
前記コンテンツ画像提示手段によって前記コンテンツ画像が提示されている際に、被写体を撮像する撮像手段と、
前記撮像手段によって撮像された前記被写体を含む撮像データを、撮像された時間に関する撮像時間位置情報とともに、自装置がアクセス可能な記憶手段に記憶する記憶制御手段と、
前記ヘッドマウントディスプレイの外部で生じた事象を取得する事象取得手段と、
前記事象取得手段によって取得された前記事象が、特定の特徴を有するかについて判断する判断手段と、
前記判断手段によって前記特定の特徴を有すると判断された前記事象が生じたタイミングに関する第1時間位置情報を特定する第1時間位置情報特定手段と、
前記判断手段によって前記事象が前記特定の特徴を有すると判断された場合、前記コンテンツ画像提示手段によって提示されている前記コンテンツ画像を識別可能な提示中識別情報と、前記第1時間位置情報とを関連付けて、自装置がアクセス可能な第1関連付け手段に登録する第1関連付け登録手段とを備え、
前記情報処理装置は、
前記記憶手段に記憶された前記撮像データと前記第1関連付け手段とにアクセス可能であるとともに、
自装置で前記コンテンツ画像を表示しているとき前記第1関連付け手段にアクセスし、自装置で表示している前記コンテンツ画像を識別可能な表示中識別情報に一致する前記提示中識別情報が、前記第1関連付け手段に登録されていると判断される場合、前記表示中識別情報に一致する前記提示中識別情報に関連付けられた前記第1時間位置情報を取得する第1時間位置情報取得手段と、
前記第1時間位置情報に対応する前記撮像時間位置情報とともに前記記憶手段に記憶されている前記撮像データにアクセスし、前記第1時間位置情報取得手段によって取得された前記第1時間位置情報に対応する所定の時点に撮像された前記撮像データの部分を、前記撮像時間位置情報により特定し、特定された前記撮像データの部分を、前記コンテンツ画像を表示している状態で、再生する再生手段とを備えることを特徴とする撮像データ利用システム。 - 前記事象取得手段は、音声入力機能を有し、前記事象を音声として取得し、
前記判断手段は、前記事象取得手段が取得した前記音声を解析し、解析した結果、前記事象取得手段が取得した前記音声に予め定められた特徴が認められた場合、前記特定の特徴を有すると判断し、
前記記憶制御手段は、前記事象取得手段によって取得された前記音声を含み、前記音声が取得された時間に関する取得時間位置情報を含む音声データを、前記記憶手段に記憶し、
前記情報処理装置は、前記記憶手段に記憶された前記音声データにアクセス可能で、
前記再生手段は、前記記憶手段に記憶されている前記音声データにアクセスし、特定された前記撮像データの部分が撮像されたときに取得された前記音声データを、特定された前記撮像データの部分とともに再生することを特徴とする請求項1に記載の撮像データ利用システム。 - 前記再生手段は、特定された前記撮像データの部分の前記撮像時間位置情報と、前記音声データに含まれる前記取得時間位置情報とに基づき、特定された前記撮像データの部分に同期させて前記音声データを再生することを特徴とする請求項2に記載の撮像データ利用システム。
- 前記再生手段は、前記第1時間位置情報に対応する所定の時点に撮像された前記撮像データの部分として、前記第1時間位置情報より所定時間前から所定時間後に撮像された前記撮像データの部分を、前記撮像時間位置情報により特定することを特徴とする請求項1から請求項3のいずれか1項に記載の撮像データ利用システム。
- 前記ヘッドマウントディスプレイは、
前記コンテンツ画像提示手段によって提示されている一のコンテンツ画像を、他のコンテンツ画像に切り替える指令を取得する指令取得手段と、
前記指令取得手段によって取得された前記指令の取得のタイミングに関する第2時間位置情報と、前記指令によって新たに提示されることとなった前記他のコンテンツ画像を識別可能な他の提示中識別情報とを関連付けて、自装置がアクセス可能な第2関連付け手段に登録する第2関連付け登録手段とを備え、
前記情報処理装置は、
前記第2関連付け手段にアクセス可能であるとともに、
自装置で前記コンテンツ画像を表示しているとき前記第2関連付け手段にアクセスし、前記表示中識別情報に一致する前記提示中識別情報に関連付けられた前記他の第2時間位置情報を取得する第2時間位置情報取得手段を備え、
前記再生手段は、前記第1時間位置情報に対応する所定の時点に撮像された前記撮像データの部分として、前記第2時間位置情報取得手段によって取得された前記他の第2時間位置情報のタイミングから撮像された前記撮像データの部分を再生することを特徴とする請求項1から請求項4のいずれか1項に記載の撮像データ利用システム。 - 前記撮像データ利用システムは、複数の前記ヘッドマウントディスプレイを含み、
前記記憶手段には、前記撮像データが、複数の前記ヘッドマウントディスプレイそれぞれが備える前記記憶制御手段によって、複数記憶され、
前記第1関連付け手段には、前記提示中識別情報と前記第1時間位置情報とが、複数の前記ヘッドマウントディスプレイそれぞれが備える前記第1関連付け登録手段によって、複数関連付けて登録され、
前記情報処理装置において、
前記第1時間位置情報取得手段は、前記第1関連付け手段に登録されている、前記表示中識別情報に一致する前記提示中識別情報に関連付けられた全ての前記第1時間位置情報を取得し、
前記再生手段は、前記第1時間位置情報それぞれに対応する前記撮像時間位置情報とともに前記記憶手段に記憶されている前記撮像データにアクセスし、前記第1時間位置情報取得手段によって取得された前記第1時間位置情報それぞれに対応する所定の時点に撮像された前記撮像データの部分を、前記撮像時間位置情報により特定し、特定された前記撮像データの部分を再生することを特徴とする請求項1から請求項5のいずれか1項に記載の撮像データ利用システム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009221679A JP5282709B2 (ja) | 2009-09-25 | 2009-09-25 | ヘッドマウントディスプレイを含む撮像データ利用システム |
US12/876,704 US8654038B2 (en) | 2009-09-25 | 2010-09-07 | Head mounted display and imaging data usage system including the same |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009221679A JP5282709B2 (ja) | 2009-09-25 | 2009-09-25 | ヘッドマウントディスプレイを含む撮像データ利用システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011070458A JP2011070458A (ja) | 2011-04-07 |
JP5282709B2 true JP5282709B2 (ja) | 2013-09-04 |
Family
ID=43779736
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009221679A Expired - Fee Related JP5282709B2 (ja) | 2009-09-25 | 2009-09-25 | ヘッドマウントディスプレイを含む撮像データ利用システム |
Country Status (2)
Country | Link |
---|---|
US (1) | US8654038B2 (ja) |
JP (1) | JP5282709B2 (ja) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5821464B2 (ja) * | 2011-09-22 | 2015-11-24 | セイコーエプソン株式会社 | 頭部装着型表示装置 |
US10180715B2 (en) | 2012-10-05 | 2019-01-15 | Elwha Llc | Correlating user reaction with at least an aspect associated with an augmentation of an augmented view |
US9077647B2 (en) | 2012-10-05 | 2015-07-07 | Elwha Llc | Correlating user reactions with augmentations displayed through augmented views |
US9141188B2 (en) | 2012-10-05 | 2015-09-22 | Elwha Llc | Presenting an augmented view in response to acquisition of data inferring user activity |
US10713846B2 (en) | 2012-10-05 | 2020-07-14 | Elwha Llc | Systems and methods for sharing augmentation data |
US10269179B2 (en) | 2012-10-05 | 2019-04-23 | Elwha Llc | Displaying second augmentations that are based on registered first augmentations |
US8928695B2 (en) | 2012-10-05 | 2015-01-06 | Elwha Llc | Formatting of one or more persistent augmentations in an augmented view in response to multiple input factors |
US9111383B2 (en) | 2012-10-05 | 2015-08-18 | Elwha Llc | Systems and methods for obtaining and using augmentation data and for sharing usage data |
US10025486B2 (en) | 2013-03-15 | 2018-07-17 | Elwha Llc | Cross-reality select, drag, and drop for augmented reality systems |
US10109075B2 (en) | 2013-03-15 | 2018-10-23 | Elwha Llc | Temporal element restoration in augmented reality systems |
US9639964B2 (en) * | 2013-03-15 | 2017-05-02 | Elwha Llc | Dynamically preserving scene elements in augmented reality systems |
JP6437257B2 (ja) * | 2014-09-19 | 2018-12-12 | 株式会社日立ソリューションズ | 作業工程学習支援システム |
CN106020454B (zh) * | 2016-05-11 | 2019-04-30 | 惠州Tcl移动通信有限公司 | 一种基于眼控技术的智能终端触摸屏操作方法及*** |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000306365A (ja) | 1999-04-16 | 2000-11-02 | Sony Corp | 編集支援システム及び編集支援システムの制御装置 |
JP2003219327A (ja) | 2001-09-28 | 2003-07-31 | Canon Inc | 画像管理装置、画像管理方法、制御プログラム、情報処理システム、画像データ管理方法、アダプタ、及びサーバ |
US7126558B1 (en) * | 2001-10-19 | 2006-10-24 | Accenture Global Services Gmbh | Industrial augmented reality |
JP3735086B2 (ja) * | 2002-06-20 | 2006-01-11 | ウエストユニティス株式会社 | 作業誘導システム |
JP4923517B2 (ja) | 2004-10-27 | 2012-04-25 | パナソニック株式会社 | 撮像装置、撮像方法、および半導体装置 |
US7586517B2 (en) | 2004-10-27 | 2009-09-08 | Panasonic Corporation | Image pickup apparatus |
JP2008003781A (ja) * | 2006-06-21 | 2008-01-10 | Konica Minolta Holdings Inc | 作業監視システム |
JP2008048204A (ja) * | 2006-08-17 | 2008-02-28 | Fuji Xerox Co Ltd | 情報処理装置、情報処理システム及び情報処理プログラム |
-
2009
- 2009-09-25 JP JP2009221679A patent/JP5282709B2/ja not_active Expired - Fee Related
-
2010
- 2010-09-07 US US12/876,704 patent/US8654038B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US20110074658A1 (en) | 2011-03-31 |
JP2011070458A (ja) | 2011-04-07 |
US8654038B2 (en) | 2014-02-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5282709B2 (ja) | ヘッドマウントディスプレイを含む撮像データ利用システム | |
JP5272827B2 (ja) | ヘッドマウントディスプレイ | |
US7529772B2 (en) | Method and system for associating user comments to a scene captured by a digital imaging device | |
JP4853320B2 (ja) | 画像処理装置、画像処理方法 | |
JP5526727B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP5515671B2 (ja) | 画像処理装置、その制御方法およびプログラム | |
JP5423716B2 (ja) | ヘッドマウントディスプレイ | |
US8532345B2 (en) | Camera and image recording program product | |
TW200827769A (en) | Display device and display method | |
CN110336968A (zh) | 视频录制方法、装置、终端设备及存储介质 | |
JP2011082966A (ja) | 撮像装置 | |
JP2009010987A (ja) | 電子カメラ | |
JP2009141555A (ja) | 音声入力機能付き撮像装置及びその音声記録方法 | |
JP2010237761A (ja) | 電子機器 | |
JP6520975B2 (ja) | 動画像処理装置、動画像処理方法及びプログラム | |
JP2008017501A (ja) | 電子カメラ | |
JP2008033718A (ja) | 撮像装置及び部位拡大表示方法 | |
JP2017134575A (ja) | 表示装置、表示装置の制御方法、及び、プログラム | |
JP2014143595A (ja) | 画像記録装置 | |
JP5360115B2 (ja) | ヘッドマウントディスプレイ | |
GB2413718A (en) | Automatic view generation from recording photographer's eye movements | |
JP4282343B2 (ja) | 情報管理装置、情報管理システム、及びプログラム | |
JP2010187320A (ja) | 画像記録装置、画像分類装置、画像表示装置及びプログラム | |
JP6064737B2 (ja) | 音声認識装置及び音声認識プログラム | |
JP2012138763A (ja) | 画像処理装置、電子カメラ、及び画像処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120306 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121019 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121211 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130121 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130430 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130513 |
|
LAPS | Cancellation because of no payment of annual fees |