JP2015012433A - 頭部装着型表示装置および頭部装着型表示装置の制御方法 - Google Patents

頭部装着型表示装置および頭部装着型表示装置の制御方法 Download PDF

Info

Publication number
JP2015012433A
JP2015012433A JP2013136054A JP2013136054A JP2015012433A JP 2015012433 A JP2015012433 A JP 2015012433A JP 2013136054 A JP2013136054 A JP 2013136054A JP 2013136054 A JP2013136054 A JP 2013136054A JP 2015012433 A JP2015012433 A JP 2015012433A
Authority
JP
Japan
Prior art keywords
image
user
display device
head
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2013136054A
Other languages
English (en)
Inventor
小林 伸一
Shinichi Kobayashi
伸一 小林
敏一 内山
Toshiichi Uchiyama
敏一 内山
仁美 若宮
Hitomi Wakamiya
仁美 若宮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2013136054A priority Critical patent/JP2015012433A/ja
Priority to US14/314,835 priority patent/US10302944B2/en
Priority to CN201410300944.0A priority patent/CN104252042B/zh
Publication of JP2015012433A publication Critical patent/JP2015012433A/ja
Withdrawn legal-status Critical Current

Links

Images

Landscapes

  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)

Abstract

【課題】使用者の体調、使用者間の個人差を考慮に入れて頭部装着型表示装置の制御を行なう技術を提供する。【解決手段】頭部装着型表示装置は、使用者の頭部に装着された状態において、画像を使用者に視認させる画像表示装置と;画像表示装置に配置され、使用者の生体情報を検出する検出部と;画像表示装置を用いて使用者に視認されている画像の制御を行なう制御部と;検出された生体情報の変化に基づいて、画像の制御に関する情報である画像制御情報を使用者に報知する報知部と、を備える。【選択図】図1

Description

本発明は、頭部装着型表示装置に関する。
頭部に装着した状態で使用される表示装置である頭部装着型表示装置(ヘッドマウントディスプレイ(Head Mounted Display)、HMD)が知られている。頭部装着型表示装置は、例えば、液晶ディスプレイおよび光源を利用して画像を表わす画像光を生成し、生成された画像光を投写光学系や導光板を利用して使用者の眼に導くことにより、使用者に虚像を視認させる。
特許文献1には、頭部装着型表示装置を遠隔操作できる装置が開示されている。この装置は、頭部装着型表示装置の電源が入ってから所定の時間が経過すると、頭部装着型表示装置が長時間使用されていることを示すメッセージを表示させることで、頭部装着型表示装置の使用上の注意を使用者に促す。
特開2002−125137号公報
コンテンツの生体への影響に関する調査研究報告書、平成16年3月、総務省 アニメーション等の映像手法によるガイドライン、2006年、日本放送協会、社団法人日本民間放送連盟
しかし、特許文献1に記載された技術では、使用者に視認されるコンテンツの種類や使用者の健康状態に関係なく、予め決められた時間が経過すると一律に警告メッセージの表示や頭部装着型表示装置の強制停止といった長時間の使用を避けるための制御が行なわれる。このように、従来の技術では、一律に決められた時間の経過後に長時間の使用を避けるための制御が行なわれるため、使用者の体調、使用者間の個人差によっては、そのような制御のタイミングが早すぎたり、反対に、遅すぎたりする場合があるという課題があった。なお、このような課題は、長時間の使用を避けるための制御に限らず、例えば、画像光の輝度を調整するといった他の制御の際にも同様に存在する課題であった。
本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態として実現することが可能である。
(1)本発明の一形態によれば、頭部装着型表示装置が提供される。この頭部装着型表示装置は、使用者の頭部に装着された状態において、画像を使用者に視認させる画像表示装置と;前記画像表示装置に配置され、使用者の生体情報を検出する検出部と;前記画像表示装置を用いて使用者に視認されている画像の制御を行なう制御部と;検出された前記生体情報の変化に基づいて、前記画像の制御に関する情報である画像制御情報を使用者に報知する報知部と、を備える。この形態の頭部装着型表示装置によれば、個々の使用者において検出された自律神経系の不調に基づいて、使用者の個人差に合わせて使用者に視認される画像の制御が行なわれるため、使用者の利便性を向上させることができる。また、画像光の輝度を低下等させることで、使用者への負担を低減させて、自律神経系を正常な状態へと回復させることができる。
(2)上記形態の頭部装着型表示装置において、前記生体情報は、脈波を特定する情報であってもよい。この形態の頭部装着型表示装置によれば、簡便に使用者の自律神経系の変化を検出でき、使用者の利便性をより向上させることができる。また、使用者の自律神経系の変化を検出するために大型な装置が不要であるため、画像表示装置の携帯性の低下を抑制しつつ、使用者の利便性を向上させることができる。
(3)上記形態の頭部装着型表示装置において、前記報知部は、前記脈波による心拍変動の変化に基づいて、前記画像制御情報を使用者に報知してもよい。この形態の頭部装着型表示装置によれば、簡便に使用者の自律神経系の変化を検出でき、使用者の利便性をより向上させることができる。また、使用者の自律神経系の変化を検出するために大型な装置が不要であるため、画像表示装置の携帯性の低下を抑制しつつ、使用者の利便性を向上させることができる。
(4)上記形態の頭部装着型表示装置において、前記生体情報は、眼の開閉状態を特定する情報であってもよい。この形態の頭部装着型表示装置によれば、個々の使用者において検出された自律神経系の不調に基づいて、使用者の個人差に合わせて視認される画像の制御が行なわれるため、使用者の利便性を向上させることができる。
(5)上記形態の頭部装着型表示装置において、前記生体情報は、使用者の瞳孔の状態を特定する情報であってもよい。この形態の頭部装着型表示装置によれば、個々の使用者において検出された自律神経系の不調に基づいて、使用者の個人差に合わせて視認される画像の制御が行なわれるため、使用者の利便性を向上させることができる。
(6)上記形態の頭部装着型表示装置において、前記報知部は、前記画像制御情報を画像として前記画像表示装置を用いて使用者に視認させる制御を前記制御部に行なわせてもよい。この形態の頭部装着型表示装置によれば、使用者が画像制御情報を認識しやすく、使用者の利便性をより向上させることができる。
(7)上記形態の頭部装着型表示装置において、前記報知部は、前記画像制御情報を音声として出力して使用者に認識させてもよい。この形態の頭部装着型表示装置によれば、使用者に視認されている画像が妨げられることなく、使用者への画像を視認する上での注意を促すことができるため、使用者の利便性を向上させることができる。
(8)上記形態の頭部装着型表示装置において、前記画像の制御は、前記画像を使用者に視認させないように変更する制御であってもよい。この形態の頭部装着型表示装置によれば、使用者の自律神経系の不調や体調の悪化等が検出された場合に、使用者に視認される画像を終了させて使用者の健康状態の回復を図るため、使用者の利便性をより向上させることができる。
上述した本発明の各形態の有する複数の構成要素はすべてが必須のものではなく、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、適宜、前記複数の構成要素の一部の構成要素について、その変更、削除、新たな他の構成要素との差し替え、限定内容の一部削除を行なうことが可能である。また、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、上述した本発明の一形態に含まれる技術的特徴の一部または全部を上述した本発明の他の形態に含まれる技術的特徴の一部または全部と組み合わせて、本発明の独立した一形態とすることも可能である。
例えば、本発明の一形態は、画像表示装置と、検出部と、制御部と、報知部と、の4つ要素の内の一つ以上または全部の要素を備えた装置として実現可能である。すなわち、この装置は、画像表示装置を有していてもよく、有していなくてもよい。また、装置は、検出部を有していてもよく、有していなくてもよい。また、装置は、制御部を有していてもよく、有していなくてもよい。また、装置は、報知部を有していてもよく、有していなくてもよい。画像表示装置は、例えば、使用者の頭部に装着された状態において、画像を使用者に視認させてもよい。検出部は、例えば、前記画像表示装置に配置され、使用者の生体情報を検出してもよい。制御部は、前記画像の制御を行なってもよい。報知部は、検出された前記生体情報の変化に基づいて、前記画像の制御に関する情報である画像制御情報を使用者に報知してもよい。こうした装置は、例えば、頭部装着型表示装置として実現できるが、頭部装着型表示装置以外の他の装置としても実現可能である。このような形態によれば、装置の操作性の向上および簡易化、装置の一体化や、装置を使用する使用者の利便性の向上、等の種々の課題の少なくとも1つを解決することができる。前述した頭部装着型表示装置の各形態の技術的特徴の一部または全部は、いずれもこの装置に適用することが可能である。
本発明は、頭部装着型表示装置以外の種々の形態で実現することも可能である。例えば、頭部装着型表示装置の制御方法、頭部装着型表示システム、頭部装着型表示システムの機能を実現するためのコンピュータープログラム、そのコンピュータープログラムを記録した記録媒体、そのコンピュータープログラムを含み搬送波内に具現化されたデータ信号等の形態で実現できる。
頭部装着型表示装置100の外観構成を示す説明図である。 頭部装着型表示装置100の構成を機能的に示すブロック図である。 画像光生成部によって画像光が射出される様子を示す説明図である。 脈波波形データの一例を示す説明図である。 心拍RR間隔の時間推移の一例を示す説明図である。 心拍RR間隔の最大差DRの時間推移の一例を示す説明図である。 表示制御処理の流れを示す説明図である。 使用者に視認される視野VRの一例を示す説明図である。 使用者に視認される視野VRの一例を示す説明図である。 使用者に視認される視野VRの一例を示す説明図である。 変形例における頭部装着型表示装置の外観構成を示す説明図である。 変形例における頭部装着型表示装置の外観構成を示す説明図である。 変形例における頭部装着型表示装置100cの外観構成を示す説明図である。 変形例における頭部装着型表示装置の外観構成を示す説明図である。
次に、本発明の実施の形態を実施形態に基づいて以下の順序で説明する。
A.実施形態:
A−1.頭部装着型表示装置の構成:
A−2.脈波と自律神経系との関係:
A−3.表示制御処理:
B.変形例:
A−1.頭部装着型表示装置の構成:
図1は、頭部装着型表示装置100の外観構成を示す説明図である。頭部装着型表示装置100は、頭部に装着する表示装置であり、ヘッドマウントディスプレイ(Head Mounted Display、HMD)とも呼ばれる。本実施形態の頭部装着型表示装置100は、使用者が、虚像を視認すると同時に外景も直接視認可能な光学透過型の頭部装着型表示装置である。なお、本明細書では、頭部装着型表示装置100によって使用者が視認する虚像を便宜的に「表示画像」とも呼ぶ。また、画像データに基づいて生成された画像光を射出することを「画像を表示する」ともいう。
頭部装着型表示装置100は、使用者の頭部に装着された状態において使用者に虚像を視認させる画像表示部20と、画像表示部20を制御する制御部10(コントローラー10)と、を備えている。
画像表示部20は、使用者の頭部に装着される装着体であり、本実施形態では眼鏡形状を有している。画像表示部20は、右保持部21と、右表示駆動部22と、左保持部23と、左表示駆動部24と、右光学像表示部26と、左光学像表示部28と、脈波センサー61と、を含んでいる。なお、画像表示部20は、請求項における画像表示装置に相当する。右光学像表示部26および左光学像表示部28は、それぞれ、使用者が画像表示部20を装着した際に使用者の右および左の眼前に位置するように配置されている。右光学像表示部26の一端と左光学像表示部28の一端とは、使用者が画像表示部20を装着した際の使用者の眉間に対応する位置で、互いに接続されている。
右保持部21は、右光学像表示部26の他端である端部ERから、使用者が画像表示部20を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。同様に、左保持部23は、左光学像表示部28の他端である端部ELから、使用者が画像表示部20を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。右保持部21および左保持部23は、眼鏡のテンプル(つる)のようにして、使用者の頭部に画像表示部20を保持する。
右表示駆動部22と左表示駆動部24とは、使用者が画像表示部20を装着した際の使用者の頭部に対向する側に配置されている。なお、以降では、右保持部21および左保持部23を総称して単に「保持部」とも呼び、右表示駆動部22および左表示駆動部24を総称して単に「表示駆動部」とも呼び、右光学像表示部26および左光学像表示部28を総称して単に「光学像表示部」とも呼ぶ。
表示駆動部22,24は、液晶ディスプレイ241,242(Liquid Crystal Display、以下「LCD241,242」とも呼ぶ)や投写光学系251,252等を含む(図3参照)。表示駆動部22,24の構成の詳細は後述する。光学部材としての光学像表示部26,28は、導光板261,262(図2参照)と調光板とを含んでいる。導光板261,262は、光透過性の樹脂材料等によって形成され、表示駆動部22,24から出力された画像光を使用者の眼に導く。調光板は、薄板状の光学素子であり、使用者の眼の側とは反対の側である画像表示部20の表側を覆うように配置されている。調光板は、導光板261,262を保護し、導光板261,262の損傷や汚れの付着等を抑制する。また、調光板の光透過率を調整することによって、使用者の眼に入る外光量を調整して虚像の視認のしやすさを調整できる。なお、調光板は省略可能である。
脈波センサー61は、画像表示部20の装着者である使用者の脈波を検出するセンサーである。脈波センサー61は、画像表示部20が使用者の頭部に装着された状態において、画像表示部20における使用者側に配置される非接触式のセンサーである。脈波センサー61は、発光ダイオードによって使用者の生体内(例えば、鼻)に向けて光を照射し、生体内で心臓の鼓動によって変化する血液の流れに対応した反射光を受光する。血液に含まれるヘモグロビンはある波長帯の光に強い吸収スペクトルを持っているため、受光された反射光は、血管を流れる血液の容量(血液流量)の変化に伴って変化する。反射光を電気信号に変えて検出することで、血液流量を表わす電圧値を取得して使用者の脈波波形を取得する。
画像表示部20は、さらに、画像表示部20を制御部10に接続するための接続部40を有している。接続部40は、制御部10に接続される本体コード48と、右コード42と、左コード44と、連結部材46と、を含んでいる。右コード42と左コード44とは、本体コード48が2本に分岐したコードである。右コード42は、右保持部21の延伸方向の先端部APから右保持部21の筐体内に挿入され、右表示駆動部22に接続されている。同様に、左コード44は、左保持部23の延伸方向の先端部APから左保持部23の筐体内に挿入され、左表示駆動部24に接続されている。連結部材46は、本体コード48と、右コード42および左コード44と、の分岐点に設けられ、イヤホンプラグ30を接続するためのジャックを有している。イヤホンプラグ30からは、右イヤホン32および左イヤホン34が延伸している。
画像表示部20と制御部10とは、接続部40を介して各種信号の伝送を行なう。本体コード48における連結部材46とは反対側の端部と、制御部10と、のそれぞれには、互いに嵌合するコネクター(図示しない)が設けられている。本体コード48のコネクターと制御部10のコネクターとの嵌合/嵌合解除により、制御部10と画像表示部20とが接続されたり切り離されたりする。右コード42と、左コード44と、本体コード48とには、例えば、金属ケーブルや光ファイバーを採用できる。
制御部10は、頭部装着型表示装置100を制御するための装置である。制御部10は、決定キー11と、点灯部12と、表示切替キー13と、トラックパッド14と、輝度切替キー15と、方向キー16と、メニューキー17と、電源スイッチ18と、を含んでいる。決定キー11は、押下操作を検出して、制御部10で操作された内容を決定する信号を出力する。点灯部12は、頭部装着型表示装置100の動作状態を、その発光状態によって通知する。頭部装着型表示装置100の動作状態としては、例えば、電源のON/OFF等がある。点灯部12としては、例えば、LED(Light Emitting Diode)が用いられる。表示切替キー13は、押下操作を検出して、例えば、コンテンツ動画の表示モードを3Dと2Dとに切り替える信号を出力する。トラックパッド14は、トラックパッド14の操作面上での使用者の指の操作を検出して、検出内容に応じた信号を出力する。トラックパッド14としては、静電式や圧力検出式、光学式といった種々のトラックパッドを採用できる。輝度切替キー15は、押下操作を検出して、画像表示部20の輝度を増減する信号を出力する。方向キー16は、上下左右方向に対応するキーへの押下操作を検出して、検出内容に応じた信号を出力する。電源スイッチ18は、スイッチのスライド操作を検出することで、頭部装着型表示装置100の電源投入状態を切り替える。
図2は、頭部装着型表示装置100の構成を機能的に示すブロック図である。図2に示すように、制御部10は、入力情報取得部110と、記憶部120と、電源130と、操作部135と、CPU140と、インターフェイス180と、送信部51(Tx51)および送信部52(Tx52)と、を有している。操作部135は、使用者による操作を受け付け、決定キー11、表示切替キー13、トラックパッド14、輝度切替キー15、方向キー16、メニューキー17、電源スイッチ18、から構成されている。
入力情報取得部110は、使用者による操作入力に応じた信号を取得する。操作入力に応じた信号としては、例えば、操作部135に配置されたトラックパッド14、方向キー16、電源スイッチ18、に対する操作入力がある。電源130は、頭部装着型表示装置100の各部に電力を供給する。電源130としては、例えば二次電池を用いることができる。記憶部120は、種々のコンピュータープログラムを格納している。記憶部120は、ROMやRAM等によって構成されている。CPU140は、記憶部120に格納されているコンピュータープログラムを読み出して実行することにより、オペレーティングシステム150(OS150)、センサー制御部165、表示制御部190、音声処理部170、および、画像処理部160として機能する。
センサー制御部165は、脈波センサー61が検出する使用者の脈波波形のデータ(以下、単に「脈波波形データ」とも呼ぶ)を解析する。センサー制御部165は、解析した脈波波形データに基づいて、脈波波形において閾値以上の変化があった場合に、そのことを制御信号によって各部へと送信する。なお、脈波センサー61およびセンサー制御部165は、請求項における検出部に相当する。
表示制御部190は、右表示駆動部22および左表示駆動部24を制御する制御信号を生成する。具体的には、表示制御部190は、制御信号により、右LCD制御部211による右LCD241の駆動ON/OFF、右バックライト制御部201による右バックライト221の駆動ON/OFF、左LCD制御部212による左LCD242の駆動ON/OFF、左バックライト制御部202による左バックライト222の駆動ON/OFFなど、を個別に制御する。これにより、表示制御部190は、右表示駆動部22および左表示駆動部24のそれぞれによる画像光の生成および射出を制御する。例えば、表示制御部190は、右表示駆動部22および左表示駆動部24の両方に画像光を生成させたり、一方のみに画像光を生成させたり、両方共に画像光を生成させなかったりする。また、表示制御部190は、センサー制御部165から送信された制御信号に基づいて、画像表示部20に所定のメッセージを表示させるための制御信号を生成する。なお、表示制御部190は、請求項における制御部に相当する。
表示制御部190は、右LCD制御部211と左LCD制御部212とに対する制御信号のそれぞれを、送信部51および52を介して送信する。また、表示制御部190は、右バックライト制御部201と左バックライト制御部202とに対する制御信号のそれぞれを送信する。
画像処理部160は、コンテンツに含まれる画像信号を取得する。画像処理部160は、取得した画像信号から、垂直同期信号VSyncや水平同期信号HSync等の同期信号を分離する。また、画像処理部160は、分離した垂直同期信号VSyncや水平同期信号HSyncの周期に応じて、PLL(Phase Locked Loop)回路等(図示しない)を利用してクロック信号PCLKを生成する。画像処理部160は、同期信号が分離されたアナログ画像信号を、A/D変換回路等(図示しない)を用いてディジタル画像信号に変換する。その後、画像処理部160は、変換後のディジタル画像信号を、対象画像の画像データ(RGBデータ)として、1フレームごとに記憶部120内のDRAMに格納する。なお、画像処理部160は、必要に応じて、画像データに対して、解像度変換処理、輝度、彩度の調整といった種々の色調補正処理、キーストーン補正処理等の画像処理を実行してもよい。
画像処理部160は、生成されたクロック信号PCLK、垂直同期信号VSync、水平同期信号HSync、記憶部120内のDRAMに格納された画像データ、のそれぞれを、送信部51、52を介して送信する。なお、送信部51を介して送信される画像データを「右眼用画像データ」とも呼び、送信部52を介して送信される画像データを「左眼用画像データ」とも呼ぶ。送信部51、52は、制御部10と画像表示部20との間におけるシリアル伝送のためのトランシーバーとして機能する。
音声処理部170は、コンテンツに含まれる音声信号を取得し、取得した音声信号を増幅して、連結部材46に接続された右イヤホン32内のスピーカー(図示しない)および左イヤホン34内のスピーカー(図示しない)に対して供給する。なお、例えば、Dolby(登録商標)システムを採用した場合、音声信号に対する処理がなされ、右イヤホン32および左イヤホン34のそれぞれからは、例えば周波数等が変えられた異なる音が出力される。また、音声処理部170は、センサー制御部165から送信された制御信号に基づいて、イヤホン32,34に所定の音声を出力させる。
インターフェイス180は、制御部10に対して、コンテンツの供給元となる種々の外部機器OAを接続するためのインターフェイスである。外部機器OAとしては、例えば、パーソナルコンピューター(PC)や携帯電話端末、ゲーム端末等、がある。インターフェイス180としては、例えば、USBインターフェイス、マイクロUSBインターフェイス、メモリーカード用インターフェイス等、を用いることができる。
画像表示部20は、右表示駆動部22と、左表示駆動部24と、右光学像表示部26としての右導光板261と、左光学像表示部28としての左導光板262と、脈波センサー61と、を備えている。
右表示駆動部22は、受信部53(Rx53)と、光源として機能する右バックライト制御部201(右BL制御部201)および右バックライト221(右BL221)と、表示素子として機能する右LCD制御部211および右LCD241と、右投写光学系251と、を含んでいる。右バックライト制御部201と右バックライト221とは、光源として機能する。右LCD制御部211と右LCD241とは、表示素子として機能する。なお、右バックライト制御部201と、右LCD制御部211と、右バックライト221と、右LCD241と、を総称して「画像光生成部」とも呼ぶ。
受信部53は、制御部10と画像表示部20との間におけるシリアル伝送のためのレシーバーとして機能する。右バックライト制御部201は、入力された制御信号に基づいて、右バックライト221を駆動する。右バックライト221は、例えば、LEDやエレクトロルミネセンス(EL)等の発光体である。右LCD制御部211は、受信部53を介して入力されたクロック信号PCLKと、垂直同期信号VSyncと、水平同期信号HSyncと、右眼用画像データと、に基づいて、右LCD241を駆動する。右LCD241は、複数の画素をマトリクス状に配置した透過型液晶パネルである。
右投写光学系251は、右LCD241から射出された画像光を並行状態の光束にするコリメートレンズによって構成される。右光学像表示部26としての右導光板261は、右投写光学系251から出力された画像光を、所定の光路に沿って反射させつつ使用者の右眼REに導く。なお、右投写光学系251と右導光板261とを総称して「導光部」とも呼ぶ。
左表示駆動部24は、右表示駆動部22と同様の構成を有している。左表示駆動部24は、受信部54(Rx54)と、光源として機能する左バックライト制御部202(左BL制御部202)および左バックライト222(左BL202)と、表示素子として機能する左LCD制御部212および左LCD242と、左投写光学系252と、を含んでいる。左バックライト制御部202と左バックライト222とは、光源として機能する。左LCD制御部212と左LCD242とは、表示素子として機能する。なお、左バックライト制御部202と、左LCD制御部212と、左バックライト222と、左LCD242と、を総称して「画像光生成部」とも呼ぶ。また、左投写光学系252は、左LCD242から射出された画像光を並行状態の光束にするコリメートレンズによって構成される。左光学像表示部28としての左導光板262は、左投写光学系252から出力された画像光を、所定の光路に沿って反射させつつ使用者の左眼LEに導く。なお、左投写光学系252と左導光板262とを総称して「導光部」とも呼ぶ。
図3は、画像光生成部によって画像光が射出される様子を示す説明図である。右LCD241は、マトリクス状に配置された各画素位置の液晶を駆動することによって、右LCD241を透過する光の透過率を変化させることにより、右バックライト221から照射される照明光ILを、画像を表わす有効な画像光PLへと変調する。左側についても同様である。なお、図3のように、本実施形態ではバックライト方式を採用したが、フロントライト方式や、反射方式を用いて画像光を射出する構成としてもよい。
A−2.脈波と自律神経系との関係:
頭部装着型表示装置100の使用者の自律神経系になんらかの異常が発生すると、生体情報の1つである心拍の変動幅が変化することが知られている。図4は、脈波波形データの一例を示す説明図である。図4には、横軸を時間軸としたときに、取得された使用者の血液流量の変化が示されている。脈波波形は、鼓動期間PTと無鼓動期間NTとが交互に繰り返される波形である。1つの鼓動期間PTでは、時間の経過に伴って、山P、谷Q、山R、谷S、および、山Tの順に血液流量が変化する。なお、山P、谷Q、山R、谷S、および、山Tは、無鼓動期間NTの血液流量Q0との血液流量の差が最も大きくなる頂点を示している。山Rと血液流量Q0との血液流量の差は、山P、谷Q、谷S、および、山Tの血液流量と血液流量Q0との差よりも大きい。そして、ある鼓動期間PT(1)の山R(1)と、その次の鼓動期間PT(2)の山R(2)と、の間隔が、脈波RR間隔である。不整脈等循環器系の疾患のない場合には、脈拍と心拍とが同じであると推定できるので、脈波RR間隔が短い場合には心拍RR間隔も短く、単位時間あたりの心臓の鼓動の回数が多く、脈波RR間隔が長い場合には心拍RR間隔も長く、単位時間当たりの心臓の鼓動の回数が少ないとみなすことができる。
図5は、心拍RR間隔の時間推移の一例を示す説明図である。図5には、横軸を時間軸としたときに、健康状態が良好な使用者の脈波波形データから算出された心拍RR間隔の変化が示されている。健康状態が良好な使用者の心拍RR間隔は、約900ミリ秒(ms)から約950msまでの間で周期的に変化することが知られている。本明細書では、心臓の鼓動おける所定の回数(例えば、100回)における心拍RR間隔の最大値MXrrと最小値MNrrとの差を心拍RR間隔の最大差DRと呼ぶ。健康状態が良好な使用者の場合、自律神経系は常に交感神経と副交感神経とが作用しながらバランスを保とうとするため、心拍は一定の揺らぎを有しており、心拍RR間隔の最大差DRは、約50msである。
図6は、心拍RR間隔の最大差DRの時間推移の一例を示す説明図である。使用者の健康状態が良好ではなくなると、使用者の自律神経系が正常に機能しなくなり、心拍RR間隔の最大差DRが減少してゼロに近づく、すなわち、心拍RR間隔が一定値に近づくことが知られている。図6に示すように、時間t1よりも後の領域ARでは、最大差DRが徐々に小さくなっており、この場合には、使用者の自律神経系に何らかの異常が発生しているおそれがあることがわかる。
A−3.表示制御処理:
図7は、表示制御処理の流れを示す説明図である。表示制御処理は、画像表示部20にコンテンツ等の動画(画像)が表示され始めた後に、使用者の生体情報である脈波波形が検出されて、脈波波形の変化に基づいて、画像表示部20に所定のメッセージを表示する処理である。
表示制御処理では、初めに、操作部135が画像表示部20に画像を表示する所定の操作を受け付けると、受け付けた操作に基づいて画像表示部20に画像が表示される(ステップS11)。画像表示部20に画像が表示されると、脈波センサー61は、使用者の生体情報である脈波波形データを検出して取得する(ステップS12)。なお、脈波センサー61は、画像表示部20にコンテンツの画像が表示されている場合には、常に脈波波形データを取得している。次に、センサー制御部165は、脈波波形データを取得し始めてから所定の時間(例えば、30分)までに取得された脈波波形データから、基準となる心拍RR間隔の最大差DRを算出する(ステップS13)。
基準の心拍RR間隔の最大差DRの値が算出されると(ステップS13)、センサー制御部165は、基準の心拍RR間隔の最大差DRと、所定の期間(例えば、1分間)で取得された心拍RR間隔の最大差DRと、の差に閾値以上(例えば、基準の最大差DRの10%以上)の差の発生があるか否かを監視する(ステップS14)。心拍RR間隔の最大差DRの差に閾値以上の差が検出されない場合には(ステップS14:NO)、引き続き、センサー制御部165は、心拍RR間隔の最大差DRに閾値以上の差の発生を監視する(ステップS14)。心拍RR間隔の最大差DRに閾値以上の差が検出された場合には(ステップS14:YES)、表示制御部190は、コンテンツの動画を終了する旨の注意メッセージを画像表示部20に表示させる(ステップS15)。
図8および図9は、使用者に視認される視野VRの一例を示す説明図である。図8には、注意メッセージが画像表示部20に表示される前の視野VRが示され、図9には、注意メッセージが画像表示部20に表示された後の視野VRが示されている。図8に示すように、使用者が視認する視野VRには、外景SCと、表示画像VIと、が含まれる。使用者は、表示画像VIの範囲において、外景SCも重畳して視認できる。図9に示された視野VRでは、図8に示された視野VRに対して、注意メッセージMS1が含まれる点のみが異なり、他の点は同じである。図9に示すように、表示制御部190は、注意メッセージMS1として、「動画を止めて、休憩しましょう」の文章を画像表示部20に表示させる。なお、表示制御部190および画像表示部20は、請求項における報知部に相当する。
注意メッセージMS1が画像表示部20に表示された後に(図7のステップS15)、操作部135は、画像表示部20に表示されている動画の終了の操作を監視する(ステップS16)。動画の終了の操作が行なわれた場合には(ステップS16:YES)、制御部10は、表示制御処理を終了する。
ステップS16の処理において、動画の終了の操作が行なわれない場合には(ステップS16:NO)、センサー制御部165は、心拍RR間隔の最大差DRが引き続き閾値以上の差が発生したままの状態であるか否かを判定する(ステップS17)。心拍RR間隔の最大差DRにおいて、閾値以上の差が生じていない場合には(ステップS17:NO)、センサー制御部165は、再び、心拍RR間隔の最大差DRに閾値以上の差の発生を監視する(ステップS14)。
ステップS17の処理において、心拍RR間隔の最大差DRに閾値以上の差が発生したままの状態である場合には(ステップS17:YES)、表示制御部190は、コンテンツの動画を強制終了する旨の警告メッセージを画像表示部20に表示させる(ステップS18)。図10は、使用者に視認される視野VRの一例を示す説明図である。図10に示すように、使用者の視野VRには、画像表示部20によって表示される「1分後に強制終了します」の警告メッセージMS2が含まれる。
警告メッセージMS2が画像表示部20に表示された後(図7のステップS18)、操作部135は、画像表示部20に表示されている動画の終了の操作を監視する(ステップS19)。動画の終了の操作が行なわれた場合には(ステップS19:YES)、制御部10は、表示制御処理を終了する。
ステップS19の処理において、動画の終了の操作が行なわれない場合には(ステップS19:NO)、表示制御部190は、警告メッセージMS2を画像表示部20に表示させてから所定の時間である1分間が経過するのを待機する(ステップS20)。所定の時間が経過していない場合には(ステップS20:NO)、表示制御部190は、引き続き、動画の終了の操作を監視する(ステップS19)。所定の時間が経過した場合には(ステップS20:YES)、表示制御部190は、画像表示部20に表示していたコンテンツの動画を非表示にする強制終了を行ない(ステップS21)、制御部10は、表示制御処理を終了する。なお、注意メッセージMS1および警告メッセージMS2は、請求項における画像制御情報に相当する。
以上説明したように、本実施形態における頭部装着型表示装置100では、脈波センサー61が使用者の生体情報である脈波波形データを検出して取得し、センサー制御部165が心拍RR間隔の最大差DRを算出する。心拍RR間隔の最大差DRに閾値以上の差が検出された場合には、画像表示部20は、注意メッセージMS1または警告メッセージMS2を表示する。そのため、本実施形態における頭部装着型表示装置100では、個々の使用者において検出された自律神経系の不調に基づいて、使用者の個人差に合わせて表示画像の制御が行なわれるため、使用者の利便性を向上させることができる。
また、本実施形態における頭部装着型表示装置100では、検出された脈波波形データにおける心拍RR間隔の最大差DRに基づいて注意メッセージMS1および警告メッセージMS2が画像表示部20に表示されるため、簡便に使用者の自律神経系の変化を検出でき、使用者の利便性をより向上させることができる。また、使用者の自律神経系の変化を検出するために大型な装置が不要であるため、画像表示部20の携帯性の低下を抑制しつつ、使用者の利便性を向上させることができる。
また、本実施形態における頭部装着型表示装置100では、画像表示部20に注意メッセージMS1および警告メッセージMS2が表示されて、視覚情報によって使用者にコンテンツの視聴の停止を促す。そのため、本実施形態の頭部装着型表示装置100では、使用者が注意メッセージMS1および警告メッセージMS2を認識しやすく、使用者の利便性をより向上させることができる。
また、本実施形態における頭部装着型表示装置100では、警告メッセージMS2が画像表示部20に表示された後に、画像表示部20に表示された動画の終了の操作が行なわれない場合には、動画の強制終了が行なわれる。そのため、本実施形態の頭部装着型表示装置100では、使用者の自律神経系の不調や体調の悪化等が検出された場合に、表示画像を終了させて使用者の健康状態の回復を図るため、使用者の利便性をより向上させることができる。
B.変形例:
なお、この発明は上記実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば、次のような変形も可能である。
B1.変形例1:
図11および図12は、変形例における頭部装着型表示装置の外観構成を示す説明図である。この変形例における頭部装着型表示装置100aおよび頭部装着型表示装置100bでは、上記実施形態における頭部装着型表示装置100に対して、画像表示部20において脈波センサー61が配置される位置が異なり、その他の点は上記実施形態と同じである。図11に示すように、頭部装着型表示装置100aでは、使用者が画像表示部20を頭部に装着した際に、使用者の右耳の上部に対向する位置に脈波センサー62が配置され、使用者の左耳の上部に対向する位置に脈波センサー63が配置されている。また、図12に示すように、頭部装着型表示装置100bでは、使用者が画像表示部20を頭部に装着した際に、使用者の右のこめかみに対向する位置に脈波センサー62bが配置され、使用者の左のこめかみに対向する位置に脈波センサー63bが配置されている。この変形例では、上記実施形態における脈波センサー61と異なる位置に脈波センサー62,63,62b,63bが配置されているが、この頭部装着型表示装置100a,100bであっても、使用者の脈波を検出できる。なお、頭部装着型表示装置100a,100bでは、画像表示部20において、右と左とに脈波センサーが配置されたが、どちらか一方のみに配置されてもよいし、さらに、その他の部分に配置されてもよい。
B2.変形例2:
図13は、変形例における頭部装着型表示装置100cの外観構成を示す説明図である。図13に示すように、頭部装着型表示装置100cでは、脈波センサー61の代わりに、右眼撮像カメラ37と、左眼撮像カメラ38と、が画像表示部20cに配置されている点が上記実施形態と異なり、他の構成については、上記実施形態と同じである。なお、右眼撮像カメラ37および左眼撮像カメラ38を総称して、単に「撮像カメラ」とも呼ぶ。右眼撮像カメラ37および左眼撮像カメラ38は、使用者の右眼および左眼のそれぞれを撮像する小型のCCDカメラである。頭部装着型表示装置100cでは、センサー制御部165は、眼撮像カメラ37,38のそれぞれが撮像した使用者の右眼および左眼の画像を解析することで、右眼および左眼のそれぞれにおけるまぶたの開閉具合を判定する。センサー制御部165は、眼撮像カメラ37,38が撮像した使用者の右眼および左眼のそれぞれに対して、まぶたの開閉状態のパターンマッチングを行なうことで、まぶたが閉じている状態やまぶたが半分閉じている薄目の状態等を判定する。また、センサー制御部165は、使用者の右眼および左眼のそれぞれにおける瞳孔の大きさを、パターンマッチングを行なうことで測定する。
使用者が画像表示部20に表示されているコンテンツの動画に没入しすぎると、単位時間当たりのまばたきの回数が少なくなり、ドライアイ等の状態が発生するおそれがある。そのため、頭部装着型表示装置100cでは、センサー制御部165は、図7のステップS13およびステップS14の処理において、所定の期間に取得された単位時間当たりのまばたきの回数を算出し(ステップS13)、単位時間当たりのまばたきの回数が予め定められた閾値以上に減少しているかを監視してもよい(ステップS14)。
また、自律神経系の1つである交感神経が興奮すると、興奮していない状態と比較して、瞳孔がより開くことが知られている。そのため、頭部装着型表示装置100cでは、センサー制御部165は、所定の期間に取得された瞳孔の大きさを算出し(ステップS13)、瞳孔の大きさが予め定められた閾値以上に変化しているかを監視してもよい(ステップS14)。この変形例における頭部装着型表示装置100cでは、上記実施形態と異なり、脈波系データが取得されなくても、眼撮像カメラ37,38によって取得された画像に基づいて、画像表示部20に表示される画像を制御することができる。なお、頭部装着型表示装置100cでは、生体情報を検出する検出部として、眼撮像カメラ37,38が用いられたが、赤外線センサーによって、使用者の眼の開閉状態が検出されてもよい。この変形例の頭部装着型表示装置100cでは、使用者の眼の開閉状態または瞳孔の状態に基づいて注意メッセージMS1および警告メッセージMS2が画像表示部20に表示される。そのため、個々の使用者において検出された自律神経系の不調に基づいて、使用者の個人差に合わせて表示画像の制御が行なわれるため、使用者の利便性を向上させることができる。
B3.変形例3:
上記実施形態では、画像表示部20に表示されたコンテンツの動画を終了する旨の注意メッセージMS1および警告メッセージMS2が画像として表示されたが、使用者が視聴しているコンテンツの視聴の停止についての促し方は、これに限られず、種々変形可能である。例えば、注意メッセージMS1および警告メッセージMS2の代わりに、音声処理部170が、イヤホン32,34を用いて、使用者へのコンテンツの視聴の停止に関する音声を出力してもよい。この変形例では、使用者に視認されている表示画像が妨げられることなく、使用者への注意を促すことができるため、使用者の利便性を向上させることができる。
また、上記実施形態では、画像表示部20に表示される画像の制御に関する情報として、注意メッセージMS1および警告メッセージMS2を画像表示部20に表示させたが、これらに限られず、種々変形可能である。例えば、右バックライト221と左バックライト222との少なくとも一方の輝度を低下させるメッセージが画像表示部20に表示されてもよい。この変形例では、コンテンツの動画の再生を停止しなくても、画像光の輝度を低下させることで、使用者への負担を低減させて、自律神経系を正常な状態へと回復させることができる。
B4.変形例4:
上記実施形態では、心拍RR間隔の最大差DRは、一例として、100回の心臓の鼓動における心拍RR間隔の最大値MXrrと最小値MNrrとの差を挙げたが、これに限られず、種々変形可能である。例えば、50回や200回の心臓の鼓動であってもよいし、単位時間当たりに含まれる心臓の鼓動における心拍RR間隔の最大値MXrrと最小値MNrrとの差であってもよい。また、心拍RR間隔の最大差DRにおける差の閾値として、10%を例としてあげたが、これに限られず、種々変形可能である。例えば、20%であってもよいし、時間(ms)によって定義されてもよい。また、これらの数字は、操作部135によって使用者に任意に変更される態様であってもよい。
B5.変形例5:
上記実施形態では、使用者の脈波が非接触式の脈波センサー61によって検出されたが、使用者の生体情報を検出する方法は、接触式または非接触式等に限られず、種々変形可能である。例えば、反射光を受光する脈波センサー61ではなく、生体内を透過した透過光を受光する非接触式の脈波センサー61であってもよい。この場合には、透過光の脈波センサー61が使用者の耳たぶに装着されることで、使用者の脈波が検出される。また、使用者の生体情報として、上記実施形態とは異なり、血液流量の変化を検出せずに、血圧の変化が検出されてもよい。例えば、使用者のこめかみに対向する画像表示部20の部分に接触式で血圧を検出するセンサーが配置されることで、使用者の血圧の変化が検出される。
また、上記実施形態では、制御部10に操作部135を形成したが、操作部135の態様については種々変形可能である。例えば、制御部10とは別体で操作部135であるユーザーインターフェースがある態様でもよい。この場合に、操作部135は、電源130等が形成された制御部10とは別体であるため、小型化でき、使用者の操作性が向上する。また、操作部135の動きを検出する9軸センサーを操作部135に形成して、検出した動きに基づいて各種操作が行なわれることで、使用者は、感覚的に頭部装着型表示装置100の操作ができる。
例えば、画像光生成部は、有機EL(有機エレクトロルミネッセンス、Organic Electro-Luminescence)のディスプレイと、有機EL制御部とを備える構成としてもよい。また、例えば、画像生成部は、LCDに代えて、LCOS(Liquid crystal on silicon, LCoS は登録商標)や、デジタル・マイクロミラー・デバイス等を用いることもできる。また、例えば、レーザー網膜投影型のヘッドマウントディスプレイに対して本発明を適用することも可能である。レーザー網膜投影型の場合、「画像光生成部における画像光の射出可能領域」とは、使用者の眼に認識される画像領域として定義できる。
また、例えば、ヘッドマウントディスプレイは、光学像表示部が使用者の眼の一部分のみを覆う態様、換言すれば、光学像表示部が使用者の眼を完全に覆わない態様のヘッドマウントディスプレイとしてもよい。また、ヘッドマウントディスプレイは、いわゆる単眼タイプのヘッドマウントディスプレイであるとしてもよい。また、ヘッドマウントディスプレイは、光学透過型に限られず、使用者が外景SCを透過して視認できない非透過型やビデオ透過型であってもよい。
図14は、変形例における頭部装着型表示装置の外観構成を示す説明図である。図14(A)の例の場合、図1に示した頭部装着型表示装置100との違いは、画像表示部20dが、右光学像表示部26に代えて右光学像表示部26dを備える点と、左光学像表示部28に代えて左光学像表示部28dを備える点である。右光学像表示部26dは、上記実施形態の光学部材よりも小さく形成され、頭部装着型表示装置100dの装着時における使用者の右眼の斜め上に配置されている。同様に、左光学像表示部28dは、上記実施形態の光学部材よりも小さく形成され、頭部装着型表示装置100dの装着時における使用者の左眼の斜め上に配置されている。図14(B)の例の場合、図1に示した頭部装着型表示装置100との違いは、画像表示部20eが、右光学像表示部26に代えて右光学像表示部26eを備える点と、左光学像表示部28に代えて左光学像表示部28eを備える点である。右光学像表示部26eは、上記実施形態の光学部材よりも小さく形成され、ヘッドマウントディスプレイの装着時における使用者の右眼の斜め下に配置されている。左光学像表示部28eは、上記実施形態の光学部材よりも小さく形成され、ヘッドマウントディスプレイの装着時における使用者の左眼の斜め下に配置されている。このように、光学像表示部は使用者の眼の近傍に配置されていれば足りる。また、光学像表示部を形成する光学部材の大きさも任意であり、光学像表示部が使用者の眼の一部分のみを覆う態様、換言すれば、光学像表示部が使用者の眼を完全に覆わない態様の頭部装着型表示装置100として実現できる。
また、イヤホンは耳掛け型やヘッドバンド型を採用してもよく、省略してもよい。また、例えば、自動車や飛行機等の車両に搭載されるヘッドマウントディスプレイとして構成されてもよい。また、例えば、ヘルメット等の身体防護具に内蔵されたヘッドマウントディスプレイとして構成されてもよい。
上記実施形態における頭部装着型表示装置100の構成は、あくまで一例であり、種々変形可能である。例えば、制御部10に設けられた方向キー16やトラックパッド14の一方を省略したり、方向キー16やトラックパッド14に加えてまたは方向キー16やトラックパッド14に代えて操作用スティック等の他の操作用インターフェイスを設けたりしてもよい。また、制御部10は、キーボードやマウス等の入力デバイスを接続可能な構成であり、キーボードやマウスから入力を受け付けるものとしてもよい。
また、画像表示部として、眼鏡のように装着する画像表示部20に代えて、例えば帽子のように装着する画像表示部といった他の方式の画像表示部が採用されてもよい。また、イヤホン32,34は適宜省略可能である。
また、上記実施形態において、頭部装着型表示装置100は、使用者の左右の眼に同じ画像を表わす画像光を導いて使用者に二次元画像を視認させるとしてもよいし、使用者の左右の眼に異なる画像を表わす画像光を導いて使用者に三次元画像を視認させるとしてもよい。
また、上記実施形態において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部をハードウェアに置き換えるようにしてもよい。例えば、上記実施形態では、画像処理部160や音声処理部170は、CPU140がコンピュータープログラムを読み出して実行することにより実現されるとしているが、これらの機能部はハードウェア回路により実現されるとしてもよい。
また、本発明の機能の一部または全部がソフトウェアで実現される場合には、そのソフトウェア(コンピュータープログラム)は、コンピューター読み取り可能な記録媒体に格納された形で提供することができる。この発明において、「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスクやCD−ROMのような携帯型の記録媒体に限らず、各種のRAMやROM等のコンピューター内の内部記憶装置や、ハードディスク等のコンピューターに固定されている外部記憶装置も含んでいる。
また、上記実施形態では、図1および図2に示すように、制御部10と画像表示部20とが別々の構成として形成されているが、制御部10と画像表示部20との構成については、これに限られず、種々変形可能である。例えば、画像表示部20の内部に、制御部10に形成された構成の全てが形成されてもよいし、一部が形成されてもよい。また、上記実施形態における電源130が単独で形成されて、交換可能な構成であってもよいし、制御部10に形成された構成が重複して画像表示部20に形成されていてもよい。例えば、図2に示すCPU140が制御部10と画像表示部20との両方に形成されていてもよいし、制御部10に形成されたCPU140と画像表示部20に形成されたCPUとが行なう機能が別々に分けられている構成としてもよい。
また、制御部10と画像表示部20とが一体化して、使用者の衣服に取り付けられるウェアラブルコンピューターの態様であってもよい。
本発明は、上記実施形態や変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態、変形例中の技術的特徴は、上述の課題の一部または全部を解決するために、あるいは、上述の効果の一部または全部を達成するために、適宜、差し替えや、組み合わせを行なうことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。
10…制御部
11…決定キー
12…点灯部
13…表示切替キー
14…トラックパッド
15…輝度切替キー
16…方向キー
17…メニューキー
18…電源スイッチ
20…画像表示部(画像表示装置、報知部)
21…右保持部
22…右表示駆動部
23…左保持部
24…左表示駆動部
26…右光学像表示部
28…左光学像表示部
30…イヤホンプラグ
32…右イヤホン(報知部)
34…左イヤホン(報知部)
37…右眼撮像カメラ(検出部)
38…左眼撮像カメラ(検出部)
40…接続部
42…右コード
44…左コード
46…連結部材
48…本体コード
51,52…送信部
53,54…受信部
61,62,63…脈波センサー(検出部)
100…頭部装着型表示装置
110…入力情報取得部
120…記憶部
130…電源
135…操作部
140…CPU
150…オペレーティングシステム
160…画像処理部
165…センサー制御部(検出部)
170…音声処理部
180…インターフェイス
190…表示制御部(制御部)
201…右バックライト制御部
202…左バックライト制御部
211…右LCD制御部
212…左LCD制御部
221…右バックライト
222…左バックライト
241…右LCD
242…左LCD
251…右投写光学系
252…左投写光学系
261…右導光板
262…左導光板
VSync…垂直同期信号
HSync…水平同期信号
PCLK…クロック信号
MXrr…心拍間隔の最大値
MNrr…心拍間隔の最小値
Q0…血液流量
t1…時間
OA…外部機器
SC…外景
LE…左眼
RE…右眼
VI…表示画像
IL…照明光
PL…画像光
EL,ER…端部
AP…先端部
DR…心拍間隔の最大差
AR…領域
VR…視野
RR…心拍間隔
PT…鼓動期間
NT…無鼓動期間
MS1…注意メッセージ(画像制御情報)
MS2…警告メッセージ(画像制御情報)

Claims (9)

  1. 頭部装着型表示装置であって、
    使用者の頭部に装着された状態において、画像を使用者に視認させる画像表示装置と、
    前記画像表示装置に配置され、使用者の生体情報を検出する検出部と、
    前記画像表示装置を用いて使用者に視認されている画像の制御を行なう制御部と、
    検出された前記生体情報の変化に基づいて、前記画像の制御に関する情報である画像制御情報を使用者に報知する報知部と、を備える、頭部装着型表示装置。
  2. 請求項1に記載の頭部装着型表示装置であって、
    前記生体情報は、脈波を特定する情報である、頭部装着型表示装置。
  3. 請求項2に記載の頭部装着型表示装置であって、
    前記報知部は、前記脈波による心拍変動の変化に基づいて、前記画像制御情報を使用者に報知する、頭部装着型表示装置。
  4. 請求項1に記載の頭部装着型表示装置であって、
    前記生体情報は、眼の開閉状態を特定する情報である、頭部装着型表示装置。
  5. 請求項1に記載の頭部装着型表示装置であって、
    前記生体情報は、瞳孔の状態を特定する情報である、頭部装着型表示装置。
  6. 請求項1から請求項5までのいずれか一項に記載の頭部装着型表示装置であって、
    前記報知部は、前記画像制御情報を画像として前記画像表示装置を用いて使用者に視認させる制御を前記制御部に行なわせる、頭部装着型表示装置。
  7. 請求項1から請求項6までのいずれか一項に記載の頭部装着型表示装置であって、
    前記報知部は、前記画像制御情報を音声として出力して使用者に認識させる、頭部装着型表示装置。
  8. 請求項1から請求項7までのいずれか一項に記載の頭部装着型表示装置であって、
    前記画像の制御は、前記画像を使用者に視認させないように変更する制御である、頭部装着型表示装置。
  9. 使用者の頭部に装着された状態において画像を使用者に視認させる画像表示装置と、前記画像表示装置を用いて使用者に視認されている画像の制御を行なう制御部と、前記画像表示装置に配置された検出部と、を備える頭部装着型表示装置の制御方法であって、
    前記検出部に使用者の生体情報を検出させる工程と、
    検出された前記生体情報の変化に基づいて、前記画像の制御に関する情報である画像制御情報を使用者に報知する工程と、制御方法。
JP2013136054A 2013-06-28 2013-06-28 頭部装着型表示装置および頭部装着型表示装置の制御方法 Withdrawn JP2015012433A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2013136054A JP2015012433A (ja) 2013-06-28 2013-06-28 頭部装着型表示装置および頭部装着型表示装置の制御方法
US14/314,835 US10302944B2 (en) 2013-06-28 2014-06-25 Head-mount type display device and method of controlling head-mount type display device
CN201410300944.0A CN104252042B (zh) 2013-06-28 2014-06-27 头部佩戴式显示装置以及头部佩戴式显示装置的控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013136054A JP2015012433A (ja) 2013-06-28 2013-06-28 頭部装着型表示装置および頭部装着型表示装置の制御方法

Publications (1)

Publication Number Publication Date
JP2015012433A true JP2015012433A (ja) 2015-01-19

Family

ID=52305228

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013136054A Withdrawn JP2015012433A (ja) 2013-06-28 2013-06-28 頭部装着型表示装置および頭部装着型表示装置の制御方法

Country Status (1)

Country Link
JP (1) JP2015012433A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6311002B1 (ja) * 2016-12-28 2018-04-11 株式会社ブレインウェイ 視覚利用脳トレーニングシステム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07255669A (ja) * 1994-03-24 1995-10-09 Sony Corp 状態検出装置および表示装置
JPH07287187A (ja) * 1994-04-18 1995-10-31 Olympus Optical Co Ltd 映像表示装置
JPH09149339A (ja) * 1995-11-21 1997-06-06 Olympus Optical Co Ltd 映像表示システム
JP2000235366A (ja) * 1998-12-18 2000-08-29 Semiconductor Energy Lab Co Ltd ゴーグル型表示システム
JP2013077013A (ja) * 2012-11-20 2013-04-25 Sony Corp 表示装置、表示方法
JP2013114123A (ja) * 2011-11-30 2013-06-10 Seiko Epson Corp 透過型表示装置、表示方法および表示プログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07255669A (ja) * 1994-03-24 1995-10-09 Sony Corp 状態検出装置および表示装置
JPH07287187A (ja) * 1994-04-18 1995-10-31 Olympus Optical Co Ltd 映像表示装置
JPH09149339A (ja) * 1995-11-21 1997-06-06 Olympus Optical Co Ltd 映像表示システム
JP2000235366A (ja) * 1998-12-18 2000-08-29 Semiconductor Energy Lab Co Ltd ゴーグル型表示システム
JP2013114123A (ja) * 2011-11-30 2013-06-10 Seiko Epson Corp 透過型表示装置、表示方法および表示プログラム
JP2013077013A (ja) * 2012-11-20 2013-04-25 Sony Corp 表示装置、表示方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6311002B1 (ja) * 2016-12-28 2018-04-11 株式会社ブレインウェイ 視覚利用脳トレーニングシステム
JP2018108130A (ja) * 2016-12-28 2018-07-12 株式会社ブレインウェイ 視覚利用脳トレーニングシステム

Similar Documents

Publication Publication Date Title
US10302944B2 (en) Head-mount type display device and method of controlling head-mount type display device
JP6337433B2 (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
US9613592B2 (en) Head mounted display device and control method for head mounted display device
JP2015177403A (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
US9081416B2 (en) Device, head mounted display, control method of device and control method of head mounted display
JP6264014B2 (ja) 頭部装着型表示装置
JP6398157B2 (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP6459380B2 (ja) 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム
JP2015045805A (ja) 頭部装着型表示装置
JP2013114123A (ja) 透過型表示装置、表示方法および表示プログラム
JP2014191386A (ja) 頭部装着型表示装置、および、頭部装着型表示装置の制御方法
JP2015115849A (ja) 情報処理装置および情報処理装置の制御方法
JP6268778B2 (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP6337534B2 (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP6135162B2 (ja) 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、画像表示システム
JP6331374B2 (ja) 頭部装着型表示装置
US11081015B2 (en) Training device, training method, and program
JP2015087695A (ja) 情報処理装置および情報処理装置の制御方法
JP2015012433A (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP6201332B2 (ja) 音処理装置
JP6136162B2 (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP6273677B2 (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP6582374B2 (ja) 表示装置およびその制御方法、並びにコンピュータープログラム
JP6304415B2 (ja) 頭部装着型表示装置、および、頭部装着型表示装置の制御方法
US20170242482A1 (en) Training device, corresponding area specifying method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160425

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20160530

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170117

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170214

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20170411