JP2013258573A - 頭部装着型映像表示装置 - Google Patents

頭部装着型映像表示装置 Download PDF

Info

Publication number
JP2013258573A
JP2013258573A JP2012133593A JP2012133593A JP2013258573A JP 2013258573 A JP2013258573 A JP 2013258573A JP 2012133593 A JP2012133593 A JP 2012133593A JP 2012133593 A JP2012133593 A JP 2012133593A JP 2013258573 A JP2013258573 A JP 2013258573A
Authority
JP
Japan
Prior art keywords
touch sensor
user
head
display device
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012133593A
Other languages
English (en)
Other versions
JP5953963B2 (ja
JP2013258573A5 (ja
Inventor
Naoki Sugita
尚基 杉田
Takashi Tsurumoto
隆志 弦本
Yoshiki Sato
善記 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2012133593A priority Critical patent/JP5953963B2/ja
Application filed by Sony Corp filed Critical Sony Corp
Priority to EP16186221.4A priority patent/EP3125102B1/en
Priority to CN201310222775.9A priority patent/CN103487937B/zh
Priority to US13/911,466 priority patent/US20130335321A1/en
Priority to CN201711311381.5A priority patent/CN107976809B/zh
Priority to EP13170864.6A priority patent/EP2674850B1/en
Publication of JP2013258573A publication Critical patent/JP2013258573A/ja
Publication of JP2013258573A5 publication Critical patent/JP2013258573A5/ja
Application granted granted Critical
Publication of JP5953963B2 publication Critical patent/JP5953963B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

【課題】ユーザーの左右の眼を直接覆って没入感を与え、目隠し状態でも容易に機器操作することができる頭部装着型表示装置を提供する。
【解決手段】頭部装着型表示装置は、ユーザーが頭部に装着した際に頭部前面となる場所にタッチセンサーからなる操作部が配置され、視線の中心線とカーソルと操作する指が一直線上に並ぶように構成されるので、ユーザーは、目隠し状態で操作部を目視できなくても、操作部をタッチ操作して所望するターゲットを直感的に探索することができる。ユーザーは所望のターゲット上をタッチするという1ステップの動作で操作が完結するので、操作性が向上する。
【選択図】 図4

Description

本明細書で開示する技術は、頭部に装着して映像の視聴に利用される頭部装着型映像表示装置に係り、特に、ユーザーの左右の眼を直接覆って没入感を与える頭部装着型映像表示装置に関する。
頭部に装着して映像の視聴に利用される頭部装着型映像表示装置が知られている。一般に、頭部装着型映像表示装置は、左右の眼毎の映像表示部を持ち、また、ヘッドフォンと併用することで、視覚及び聴覚を制御できるように構成されている。また、頭部装着型映像表示装置は、左右の眼に違う映像を映し出すことも可能であり、左右の眼に視差のある画像を表示すれば3次元映像を提示することができる。
左右の眼の表示部には、例えば液晶や有機EL(Electro−Luminescence)素子などからなる高解像度の表示パネルを用いられる。頭部に装着した際に、遮光性を伴うとともに、ユーザーの眼を直接覆うように構成すれば、映像視聴時に没入感が増す。表示画面を投影する光学レンズで適当な画角を設定するとともに、ヘッドフォンで多チャンネルを再現すれば、映画館で視聴するような臨場感を再現することができる。
多くの頭部装着型映像表示装置は、DVDプレイヤーやブルーレイ・ディスク(BD)プレイヤーなどのAV再生装置に接続して、コンテンツを鑑賞するのに利用される(例えば、特許文献1を参照のこと)。ここで、視聴時において、ユーザーは、ヘッドフォンの音量の増大/低下や、コンテンツの再生開始、停止、早送り、早戻しなどの指示を機器に対して行なう必要がある。
例えば、メニューの表示や選択した項目の確定を行うためのメニュー・ボタンや、着目するメニュー項目を移動させるためのアップボタン及びダウンボタン、音量を調節するためのボリューム・ダイアルなどを有するコントローラーを接続した頭部装着型映像表示装置について提案がなされている(例えば、特許文献2を参照のこと)。ところが、ユーザーの眼を直接覆う「没入型」の表示装置の場合、目隠し状態でコントローラーを介したボタン操作を行なわなければならない。すなわち、視聴中のユーザーは、ボタンの位置を確認することができず、手探りで操作しなければならないため、ボタンの押し間違いなどにより機器を誤操作してしまう可能性がある。
また、操作部にタッチセンサーを用いた頭部装着型の映像表示装置について提案がなされているが(例えば、特許文献3、4を参照のこと)、いずれも頭部側面のヘッドフォン部にタッチセンサーが配置されているため、目隠し状態での操作に難がある。目隠し状態のユーザーは、まず、タッチセンサー上のターゲットを手探りで選択し、その後に操作を行なうという、最低2ステップの動作が必要であり、操作性がよくない。付言すれば、いずれの映像表示装置も、左右のうち片方の耳側にしかタッチセンサーが配置されていない、左右非対称な構造であり、表示装置の左右の重量が均等でなくなると思料される。ユーザーが頭部に装着した際に左右のうちいずれか片方に不自然な負荷がかかり、余計な負担を課すことが懸念される。
映像や音声などの調整、その他の入力操作を行なうメニューや操作ボタンのガイド映像を、OSD(On Screen Display)技術を用いて本来の映像に重畳して表示する頭部装着型映像表示装置もある(例えば、特許文献5を参照のこと)。しかしながら、ガイド映像と実際の操作ボタンの配置との対応付けをユーザー自身が行なう必要がある。すなわち、ユーザーは目隠し状態で調整用のボタンやスイッチを操作しなければならないことに相違はなく、操作が難しいと思料される。
特開2005−86328号公報 特開2001−133724号公報 特開平11−174987号公報 特開2007−310599号公報 特開2003−98471号公報
本明細書で開示する技術の目的は、ユーザーの左右の眼を直接覆って没入感を与えるとともに、目隠し状態のユーザーが容易に機器操作することができる、優れた頭部装着型映像表示装置を提供することにある。
本願は、上記課題を参酌してなされたものであり、請求項1に記載の技術は、
本体部と、
前記本体部の背面に配設され、ユーザーの左右の眼に向かって映像を表示する表示部と、
前記本体部の前面に配設され、ユーザーが手指を使って操作する操作部と、
前記操作部からの操作情報に応じて前記表示部の表示を制御する制御部と、
前記本体部をユーザーの頭部に装着するための装着部と、
を具備する頭部装着型映像表示装置である。
本願の請求項2に記載の技術によれば、請求項1に記載の頭部装着型映像表示装置の前記操作部は、ユーザーの手指が触れた位置を検出するタッチセンサーを有している。
本願の請求項3に記載の技術によれば、請求項2に記載の頭部装着型映像表示装置の前記制御部は、ユーザーの手指が前記タッチセンサーを触れたことに応じて、前記タッチセンサー上で触れた位置を示すカーソルを前記表示部の表示映像に表示させるように構成されている。
本願の請求項4に記載の技術によれば、請求項3に記載の頭部装着型映像表示装置の前記操作部は、ユーザーの視線の中心線と、前記カーソルと、前記タッチセンサーを操作する指が一直線上に並ぶように、前記表示映像上に前記カーソルを置くように構成されている。
本願の請求項5に記載の技術によれば、請求項2に記載の頭部装着型映像表示装置の前記タッチセンサーは、前記本体の前面に左右ほぼ対称的に敷設される。
本願の請求項6に記載の技術によれば、請求項5に記載の頭部装着型映像表示装置は、左右の重量がほぼ均等となるように構成されている。
本願の請求項7に記載の技術によれば、請求項2に記載の頭部装着型映像表示装置の前記制御部は、前記タッチセンサー上でユーザーが行なった操作の種類を識別し、識別結果に応じて前記表示部で表示する画面を切り替えるように構成されている。
本願の請求項8に記載の技術によれば、請求項7に記載の頭部装着型映像表示装置の前記制御部は、前記タッチセンサー上でユーザーが行なった操作の種類に応じたメニュー画面を前記表示部で表示させるように構成されている。
本願の請求項9に記載の技術によれば、請求項8に記載の頭部装着型映像表示装置の前記制御部は、前記メニュー画面上でユーザーが前記タッチセンサーを介してタッチしたメニューにカーソルを置くように構成されている。
本願の請求項10に記載の技術によれば、請求項8に記載の頭部装着型映像表示装置の前記制御部は、前記メニュー画面上でユーザーが前記タッチセンサーを介してタッチしたメニューをハイライト表示するように構成されている。
本願の請求項11に記載の技術によれば、請求項8に記載の頭部装着型映像表示装置は、前記メニュー画面上では、複数のメニューを水平方向に配置するとともに、選択されたメニューが持つサブメニューを垂直方向に配置するようになっている。そして、前記制御部は、前記タッチセンサー上でユーザーがタッチした水平位置に応じてどのメニューが選択されたかを識別し、前記タッチセンサー上でユーザーがタッチした垂直位置に応じてどのサブメニューが選択されたかを識別するように構成されている。
本願の請求項12に記載の技術によれば、請求項2に記載の頭部装着型映像表示装置の前記タッチセンサーは押下圧の検出が可能である。そして、前記制御部は、前記表示部で階層UIを表示させた際に、前記タッチセンサー上で検出された押下圧に応じた階層を前記階層UI内から選択するように構成されている。
本願の請求項13に記載の技術によれば、請求項2に記載の頭部装着型映像表示装置の前記タッチセンサーは2本以上のユーザーの手指が同時に触れた位置の検出が可能である。そして、前記制御部は、前記表示部で階層UIを表示させた際に、前記タッチセンサー上で検出された2本の手指の間隔に応じた階層を前記階層UI内から選択するように構成されている。
本願の請求項14に記載の技術によれば、請求項2に記載の頭部装着型映像表示装置の前記制御部は、前記表示部で映像を再生中に、前記タッチセンサー上でのユーザーの手指の水平方向の操作に追従して、映像の再生開始位置を移動させるように構成されている。
本願の請求項15に記載の技術によれば、請求項2に記載の頭部装着型映像表示装置の前記制御部は、前記表示部で映像を再生中に、前記タッチセンサー上でのユーザーの手指の垂直方向の操作に追従して、出力音量を調整するように構成されている。
本願の請求項16に記載の技術によれば、請求項2に記載の頭部装着型映像表示装置は、ユーザーが当該装置を装着したか否かを検出する装着検出部をさらに備えている。そして、前記制御部は、前記装着検出部が非装着状態と検出しているときには、前記タッチセンサーからの操作情報の入力を停止し、又は、操作情報に応じた制御を停止するように構成されている。
本願の請求項17に記載の技術によれば、請求項2に記載の頭部装着型映像表示装置の前記制御部は、前記表示部で映像再生を停止しているときには、前記タッチセンサーへのユーザーの事前操作を経て、前記タッチセンサーからの操作情報に応じた前記制御を開始するように構成されている。
本願の請求項18に記載の技術によれば、請求項17に記載の頭部装着型映像表示装置において、前記事前操作は、前記タッチセンサーに対する一定時間以上の長押し操作である。
本願の請求項19に記載の技術によれば、請求項17に記載の頭部装着型映像表示装置の前記制御部は、前記タッチセンサーに対する操作が一定時間以上行なわれなかったときに、前記タッチセンサーをロックするように構成されている。
本願の請求項20に記載の技術によれば、請求項19に記載の頭部装着型映像表示装置の前記制御部は、前記タッチセンサーに対して意思確認操作が行なわれたことに応じて、前記タッチセンサーのロックを解除するように構成されている。
本明細書で開示する技術によれば、ユーザーの左右の眼を直接覆って没入感を与えるとともに、目隠し状態のユーザーが容易に機器操作することができる、優れた頭部装着型映像表示装置を提供することができる。
本明細書で開示する技術によれば、頭部装着型映像表示装置は、ユーザーが頭部に装着した際に頭部前面となる場所にタッチセンサーからなる操作部が配置され、視線の中心線とカーソルと操作する指が一直線上に並ぶように構成されるので、ユーザーは、表示映像を背面から触る感覚でタッチセンサーを操作して、表示映像上の所望するターゲットを直感的に操作することができる。すなわち、目隠し状態で操作部を目視できなくても、直覚的な操作が可能なのである。
また、本明細書で開示する技術によれば、また、ユーザーは頭部前面に配設されたタッチセンサー上で所望のターゲットをタッチするという1ステップの動作により装置に対する操作が完結するので、操作性が向上する。物理的なボタンよりも軽いタッチで操作できることから、タッチ操作により装置本体がユーザーの頭部で位置ずれを起こすことは極めて少ない。
また、本明細書で開示する技術によれば、頭部装着型映像表示装置は、本体の前面に操作部を配置しているので、当該装置を左右でほぼ対称的で左右の重量が均等になるように構成することができ、ユーザーが頭部に装着した際の負担を軽減することができる。
また、本明細書で開示する技術によれば、頭部装着型映像表示装置は、タッチセンサーからなる操作部に対して押下圧やピンチ操作を行なうことが可能であり、例えば階層UIにおける階層の選択や、3次元映像表示時における奥行き調整などの操作にも利用することができる。
本明細書で開示する技術のさらに他の目的、特徴や利点は、後述する実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。
図1は、ヘッド・マウント・ディスプレイを含む画像表示システムの構成を模式的に示した図である。 図2は、ヘッド・マウント・ユニット10の本体の上面を俯瞰した様子を示した図である。 図3は、ヘッド・マウント・ディスプレイ10の内部構成を模式的に示した図である。 図4は、ヘッド・マウント・ディスプレイ10の外観の構成例を示した図である。 図5は、ユーザーの脳内で融像される表示映像上で、視線の中心線とカーソルと操作する指が一直線上に並ぶようにカーソルを置く様子を示した図である。 図6は、ヘッド・マウント・ユニット10が実行する処理手順を示したフローチャートである。 図7は、ユーザーがメニュー操作を行なうためのメニュー画面の構成例を示した図である。 図8は、メニュー画面において、タッチしたユーザーの手指の影をメニュー・ボタン上に表示している様子を示した図である。 図9は、メニュー画面において、ユーザーがタッチしたメニューをハイライト表示する様子を示した図である。 図10は、メニュー画面において、ユーザーが選択したメニューが持つサブメニューをプルダウン表示している様子を示した図である。 図11は、メニュー画面において、ユーザーが所望するメニューを指示した場所に自分の指先の水平位置を固定した状態で、上下方向に操作してサブメニューを選択する様子を示した図である。 図12は、再生中の映像に対する走行系関連操作を行なう走行系画面の構成例を示した図である。 図13は、映像再生画面上で、ユーザーが所望する再生開始位置を指示した場所に自分の指先の水平位置を固定した状態で、上下方向に操作して音量を指示する様子を示した図である。 図14は、ヘッド・マウント・ユニット10が映像再生中でないときに実行する処理手順を示したフローチャートである。 図15は、走行系画面上でのユーザーの意図しない早送り/巻き戻し操作を防止するための再生位置の指示方法を説明するための図である。 図16は、走行系画面上でのユーザーの意図しない早送り/巻き戻し操作を防止するための再生位置の指示方法を説明するための図である。 図17は、走行系画面上でのユーザーの意図しない早送り/巻き戻し操作を防止するための再生位置の指示方法を説明するための図である。 図18は、走行系画面上でのユーザーの意図しない早送り/巻き戻し操作を防止するための再生位置の指示方法を説明するための図である。
以下、図面を参照しながら本明細書で開示する技術の実施形態について詳細に説明する。
図1には、ヘッド・マウント・ディスプレイを含む画像表示システムの構成を模式的に示している。図示のシステムは、視聴コンテンツのソースとなるブルーレイ・ディスク再生装置20と、ブルーレイ・ディスク再生装置20から出力されるAV信号の処理を行なうフロント・エンド・ボックス40と、ブルーレイ・ディスク再生装置20の再生コンテンツの出力先となる頭部装着型の表示装置(ヘッド・マウント・ユニット)10と、ブルーレイ・ディスク再生装置20の再生コンテンツの他の出力先となるハイビジョン・ディスプレイ(例えば、HDMI対応テレビ)30で構成される。ヘッド・マウント・ユニット10とフロント・エンド・ボックス40で、1セットのヘッド・マウント・ディスプレイが構成される。
フロント・エンド・ボックス40は、ブルーレイ・ディスク再生装置20から出力されるAV信号をHDMI入力すると、例えば信号処理して、HDMI出力するHDMIリピーターに相当する。また、フロント・エンド・ボックス40は、ブルーレイ・ディスク再生装置20の出力先をヘッド・マウント・ユニット10又はハイビジョン・ディスプレイ30のいずれかに切り替える2出力スイッチャーでもある。図示の例では、フロント・エンド・ボックス40は2出力であるが、3以上の出力を有していてもよい。但し、フロント・エンド・ボックス40は、AV信号の出力先を排他的とし、且つ、ヘッド・マウント・ユニット10への出力を最優先とする。
なお、HDMI(High−Definition Mutlimedia Interface)は、DVI(Digital Visual Interface)を基にし、物理層にTMDS(Transition Minimized Differential Signaling)を用いた、主に音声と映像の伝送を用途としたディジタル家電向けのインターフェース規格である。本システムは、例えばHDMI1.4に準拠する。
ブルーレイ・ディスク再生装置20とフロント・エンド・ボックス40間、並びに、フロント・エンド・ボックス40とハイビジョン・ディスプレイ30間は、それぞれHDMIケーブルで接続されている。フロント・エンド・ボックス40とヘッド・マウント・ユニット10間も、HDMIケーブルで接続するように構成することも可能であるが、その他の仕様のケーブルを用いてAV信号をシリアル転送するようにしてもよい。但し、フロント・エンド・ボックス40とヘッド・マウント・ユニット10間を接続するケーブル1本で、AV信号と電力を供給するものとし、ヘッド・マウント・ユニット10はこのケーブルを介して駆動電力も得ることができる。
ヘッド・マウント・ユニット10は、左眼用及び右眼用の独立した表示部を備えている。各表示部は、例えば有機EL素子からなる表示パネルを用いている。また、左右の各表示部は、低歪みで且つ高解像度の広視野角の接眼光学レンズ部(図示しない)を装備している。この接眼光学レンズ部で表示パネルの映像を拡大投影して広画角を設定するとともに、ヘッドフォンで多チャンネルを再現すれば、映画館で視聴するような臨場感を再現することができる。
図2には、ヘッド・マウント・ユニット10の本体部の上面を俯瞰した様子を示している
ヘッド・マウント・ユニット10は左右に独立して光学系を持つ一方、眼の高さや眼幅にはユーザー毎に個人差があるため、光学系と装着したユーザーの眼とを位置合わせする必要がある。このため、ヘッド・マウント・ユニット10の本体部は、右眼用の表示部と左眼用の表示部の間に、眼幅を調整する眼幅調整機構を装備している。
また、本実施形態において特徴的なのは、ヘッド・マウント・ユニット10が、当該装置の前面のほぼ全体にわたり敷設された、タッチセンサーからなる操作部を装備している点である。この操作部は、左右の表示部のほぼ裏側に位置している。タッチセンサーは物理的なボタンよりも軽いタッチでセンシングできることから、ユーザーのタッチ操作によって、頭部に装着中のヘッド・マウント・ユニット10本体が装着位置からずれを起こすことは極めて少ない。
ここで、左右の表示部はそれぞれ、操作部を触れた場所に相当する位置にカーソルを表示するようにしてもよい。このとき、視線の中心線とカーソルと操作する指が一直線上に並ぶようにカーソルを置くと、ユーザーは、表示映像を背面から触るような感覚で、所望するターゲットを探索することができる。
装置本体の前面に操作部を配設する場合、左右いずれか片方のヘッドフォン部などに操作部を置く場合に比べて(例えば、特許文献3、4を参照のこと)、ヘッド・マウント・ユニット10本体を左右でほぼ対称的で左右の重量が均等になるように構成することができる。したがって、ユーザーがヘッド・マウント・ユニット10を頭部に装着した際に、頭部が左右に傾かないようにするような負担を軽減することができる。
図3には、ヘッド・マウント・ディスプレイ10の内部構成を模式的に示している。以下、各部について説明する。
操作部301は、ヘッド・マウント・ユニット10本体の前面のほぼ全体にわたり敷設されたタッチセンサーからなり、ユーザーが指先で触れた場所の座標位置を操作情報として出力する。タッチセンサーは、例えば静電容量式のデバイスで構成され、押下圧の検出も可能であり、同様に操作情報として出力する。また、タッチセンサーへは、2本以上の指を同時に用いたタッチ操作を行なうことも可能であり、同様に操作情報として出力する。また、操作部301は、タッチセンサーの他に、ボタンやキーなどの操作子(例えば電源ボタンや十字キー。いずれも図示しない)を備えていてもよい。
制御部302は、操作部301を介した操作情報に応じて、ヘッド・マウント・ユニット10内の動作を統括的に制御する。具体的には、制御部302は、映像制御部303に対し映像信号の処理を指示し、OSD制御部304にOSD画面の描画を指示し、その他のさまざまな機器内動作をMISC制御部305に指示する。
映像入力インターフェース306は、ブルーレイ・ディスク再生装置20(図1を参照のこと)から再生出力される映像信号を、フロント・エンド・ボックス40経由で入力する。映像制御部303は、制御部302からの指示に応じて、入力された映像信号に対する画質調整やその他の信号処理を行ない、映像バッファー307内に書き込む。また、制御部302は、操作部301からの操作情報に基づいて、映像内にカーソルを描画するよう映像制御部303に指示する。
OSD制御部304は、制御部302から伝達された情報に応じて、本来の映像に重畳するOSD画面を描画して、OSDバッファー308に書き込む。OSD画面は、タッチセンサーなどの操作部301を介してユーザーが選択する1以上のメニュー・ボタン並びにメニュー・ボタンからプルダウンされるサブメニュー、そのため文言情報などを含む。
MISC制御部305は、制御部302から伝達された情報に応じて、OSD制御並びに映像制御以外の制御を行なう。
画像合成部309は、映像バッファー307に書き込まれた映像データ上に、OSDバッファー308に書き込まれたOSD画面を重畳して、表示制御部310に出力する。
表示制御部310は、入力した映像信号を左眼用映像信号と右眼用映像信号に分離して、左眼用表示パネル311L及び右眼用表示パネル311Rへの描画を制御する。
左眼用表示パネル311L及び右眼用表示パネル311Rは、例えば有機EL素子や液晶などの表示デバイスからなる。また、左眼用表示パネル311L及び右眼用表示パネル311Rには、それぞれ映像を拡大投影する接眼光学レンズ部(図示しない)が装備されている。左右の接眼光学レンズ部は、それぞれ複数のレンズの組み合わせからなり、左眼用表示パネル311L及び右眼用表示パネル311Rが表示する映像を光学処理する。左眼用表示パネル311L及び右眼用表示パネル311Rの発光面に表示された映像は、それぞれ接眼光学レンズ部を通過する際に拡大され、ユーザーの網膜に大きな虚像を結像する。そして、観察するユーザーの脳内では左眼用映像と右眼用映像が融像される。
装着検出部312は、当該ヘッド・マウント・ユニット10がユーザーに装着されている状態かどうかを検出する。検出する方法やメカニズムは任意である。例えば、ユーザーの頭部を接触式又は非接触式で検出するセンサーや、ユーザーの頭部が当接したことを物理的に検出する機械式スイッチなど(いずれも図示しない)を利用することができる。
操作部301がヘッド・マウント・ユニット10本体の前面のほぼ全体にわたり敷設されたタッチセンサーで構成される場合(前述)、ユーザーがヘッド・マウント・ユニット10を頭部に装着中は勿論、ユーザーが取り外している間もユーザーの手指がタッチセンサーに触れてしまう可能性がある。ヘッド・マウント・ユニット10を頭部に非装着中にユーザーが誤ってタッチセンサーに触れて、誤動作若しくはユーザーが意図しない動作を行なうおそれがある。そこで、制御部302は、装着検出部312が非装着状態であると検出している間は、操作部301からの操作情報の入力を停止し、又は、操作情報に応じた制御を停止するようにしてもよい。
図4には、ヘッド・マウント・ディスプレイ10の外観の構成例を示している。図示のヘッド・マウント・ディスプレイ10は、視力矯正用眼鏡に類似した機構で構成され、図3に示した回路コンポーネントのほとんど全部を収容する本体部401と、この本体部401の左右の各後端部分から後方に突設し、ユーザーの耳介に掛ける一対のテンプル部402L、402Rからなる。
本体部401の背面には、左右の光学レンズ部が出現しており(図4には図示しない)、それぞれ左眼用表示パネル311L及び右眼用表示パネル311Rが表示する映像の光を観察することができる。
ユーザーが、図示のヘッド・マウント・ユニット10を装着すると、本体部401の背面で左右の眼を直接覆って外光を遮るので、映像視聴時に没入感が増し、映画館で視聴するような臨場感を再現することができる。
但し、本明細書で開示する技術において、ヘッド・マウント・ユニット10がどのような構成であるかは本質ではない。例えば、左右のテンプル部402L、402Rをユーザーの耳介に掛けて頭部に装着する機構には限定されず、意匠登録第1438218号で開示されるヘッドフォン付モニターテレビ受像機のように後頭部をベルトで巻き付けるようにしてユーザーの頭部に固定する機構であってもよい。
本明細書で開示する技術において、重要な点の1つは、ヘッド・マウント・ユニット10の前面に、タッチセンサー403が左右方向にわたって敷設されている点である。タッチセンサー403は、上述した操作部301の主要な構成部品である。
タッチセンサー403は、左眼用表示パネル311L及び右眼用表示パネル311Rの表示映像を観察する表示面のほぼ裏側に位置している。タッチセンサー401は物理的なボタンよりも軽いタッチでセンシングできることから、ユーザーのタッチ操作によって、ヘッド・マウント・ユニット10本体が装着位置からずれを起こすことはない。
例えば左眼用表示パネル311L及び右眼用表示パネル311Rで、タッチセンサー403を触れた場所に相当する位置にカーソルを表示する場合、図5に示すように、(ユーザーの脳内で融像される表示映像上で)視線の中心線とカーソルと操作する指が一直線上に並ぶようにカーソルを置くと、ユーザーは、表示映像を背面から触るような感覚で、所望するターゲットを探索することができる。
すなわち、ユーザーは、目隠しされたような状態で操作部を目視できなくても、直覚的な操作が可能なのである。また、ユーザーは所望のターゲット上をタッチするという1ステップの動作で操作が完結するので、操作性が向上するというメリットもある。タッチセンサーからなる操作部に対しては、押下圧やピンチ操作を行なうことが可能である。例えば3次元映像表示時における奥行きをタッチセンサーに対する押下圧に応じて調整するといった、直観的な操作を行なうこともできる。
また、ヘッド・マウント・ユニット10本体の前面にタッチセンサー403からなり左右でほぼ対称的な操作部301を配設する場合、左右いずれか片方ヘッドフォン部などに操作部を置く場合に比べて(例えば、特許文献3、4を参照のこと)、左右で重量が均等になるようにヘッド・マウント・ユニット10本体を構成することができる。したがって、ユーザーがヘッド・マウント・ユニット10を頭部に装着した際に、頭部が左右に傾かないようにするような負担を軽減することができる。
図4に示すように、タッチセンサー403が本体部401前面の左右にわたり敷設されている場合、ユーザーがヘッド・マウント・ユニット10を頭部に装着中は勿論、ユーザーが取り外している間もユーザーの手指がタッチセンサーに触れる機会が多い。非装着状態でユーザーが不用意にタッチセンサーに触れて、ヘッド・マウント・ユニット10が誤動作若しくはユーザーが意図しない動作を起こすことのないように、装着状態でのみタッチセンサー403を有効にし、非装着状態ではタッチセンサー403の操作に反応しないようにしてもよい。このため、本実施形態では、ヘッド・マウント・ユニット10は装着検出部312を装備している(前述)。
図6には、ヘッド・マウント・ユニット10が映像入力インターフェース306から取り込んだ外部映像を再生表示している間に実行する処理手順をフローチャートの形式で示している。
制御部302は、接触判定を行ない(ステップS601)、操作部301を構成するタッチセンサー403上をユーザーが触れるまで待機する(ステップS601のNo)。
そして、ユーザーがタッチセンサー403を触れたことが検出されると(ステップS601のYes)、制御部302は、入力操作を識別して(ステップS602)、左右の表示パネル311L、311Rに入力操作に応じて表示する画面を変更する。
本明細書で開示する技術の要旨は、どのような入力操作の種類を識別するか、並びに識別した各入力操作の種類に応じてどのような画面を表示するかは特に限定されない。図示のフローチャートでは、ステップS602においてタッチセンサーの長押し操作とタップ操作の入力を識別するものとする。そして、一定時間以上の長押し操作時には、左右の表示パネル311L、311Rで、ユーザーがメニュー操作を行なうためのメニュー画面を表示するものとする(ステップS603)。また、タップ操作の入力時には、シーク・バーを用いて表示映像の早送り、巻き戻し、再生位置の指示(再生開始及び一時停止の指示を含む)を行なう走行系画面を表示する(ステップS604)、ことを想定している。
図7には、ユーザーがメニュー操作を行なうためのメニュー画面の構成例を示している。図示のように、映像再生中のメニュー画面は半透明であり、元の映像(外部映像)の上に重畳して表示される。メニュー画面は、複数のメニュー・ボタンからなる。なお、映像再生中にメニュー画面を出現させたときには、制御部302は、視聴の妨げとならないように、再生中の映像を一時停止させるようにしてもよい。
タッチセンサー403上でユーザーがタッチした位置を明示するためのカーソルを画面上に表示してもよい。図8に示す例では、タッチしたユーザーの手指の影を模したカーソルをメニュー・ボタン(図示の例では、「3D」メニュー・ボタン)上に表示している。カーソルではなく、図9に示すように、ユーザーがタッチしたメニューをハイライト表示するようにしてもよい。
また、メニューがサブメニューを含むような階層UI(User Interface)の場合には、ユーザーがあるメニューを選択した(若しくは手指で触れた)ことに応答して、さらにサブメニューをプルダウン表示するようにしてもよい。図10には、メニュー「3D設定」がタッチされたことに応じて、そのサブメニューをプルダウン表示した様子を示している。図示の例では、点線で囲んで示しているように、サブメニュー項目として「3D表示」、「自動3D表示」、「3D信号入力通知」が、選択したメニューの下方に向かって出現している。
図8〜図9に示したように、各メニューを水平方向に一列に配置する場合、制御部302は、タッチセンサー403をユーザーがタッチした水平位置でどのメニューを選択したかを識別することができる。言い換えれば、ユーザーは、タッチセンサー403上で自分の指先を左右に操作することで、所望するメニューを指示することができる。
また、図10に示したように、サブメニューは、選択したメニューの上下方向すなわち垂直方向に向かってサブメニューを配置する場合、制御部302は、タッチセンサー403をユーザーがタッチした垂直位置で、プルダウン・メニュー中のどのメニュー項目を選択したかを識別することができる。言い換えれば、ユーザーは、タッチセンサー403上で所望するメニューを指示した場所に自分の指先の水平位置を固定したまま、今度は上下に操作することで、プルダウン・メニュー内での選択操作を行なうことができる。図11には、ユーザーがタッチセンサー403上で所望するメニューを指示した場所に自分の指先の水平位置を固定した状態で、上下方向に操作して、所望のサブメニューを指示する様子を示している。
タッチセンサー403が例えば静電容量式のデバイスで構成され、押下圧の検出も可能である場合には(前述)、押下圧によって階層UIの階層を選択するようにすることもできる。例えば、プルダウン・メニュー内で、押下圧に応じた段数のサブメニューを選択するようにする。あるいは、2本以上の指を同時に用いたタッチ操作が可能な場合には、2本の指の間隔の大小によって階層UIの階層を選択するようにすることもできる。また、3次元映像の表示時においては、ユーザーは、タッチセンサー403に対する押下圧や2本の指の間隔によって、3次元映像の奥行き調整を指示することができる。
再び図6を参照して、ヘッド・マウント・ユニット10で実行される処理手順について説明を続ける。
ステップS602でタッチセンサー403上でのタップ操作が識別されたことに応答して、左右の表示パネル311L、311Rの表示画面は走行系画面に切り替わる(ステップS604)。この走行系画面では、早送り/巻き戻し(ステップS605)、音量調整(ステップS606)、再生/一時停止(ステップS607)などの、再生中の映像に関する走行系関連操作を行なう。
図12には、走行系画面の構成例を示している。図示の走行系画面では、再生位置をシークする左右スクロール・バー(シーク・バー)と、再生映像の音量を調整する上下スクロール・バーが表示される。左右スクロール・バー上の現在の再生位置に相当する場所に再生位置指示カーソルが置かれ、また、左右スクロール・バーの右端付近には現在の再生位置(再生時刻)を表す数値が表示されている。また、上下スクロール・バー上の現在設定されている音量に相当する場所に音量指示カーソルが置かれるとともに、同カーソルの左側付近に現在の音量レベルを示す数値が表示されている。
図12に示したように、再生位置を指示する左右スクロール・バーを配置する場合、制御部302は、タッチセンサー403上でのユーザーの手指の水平方向の操作に追従して、映像の再生開始位置を移動する。言い換えれば、ユーザーは、タッチセンサー403上で自分の指先を左右に操作して、左右スクロール・バー上でカーソルを移動することで、所望する再生開始位置を指示することができる。
また、図12に示したように、再生映像の音量を調整する上下スクロール・バーを配置する場合、制御部302は、タッチセンサー403上でのユーザーの手指の垂直方向の操作に追従して、音量を調整する。言い換えれば、ユーザーは、タッチセンサー403上で所望するメニューを指示した場所に自分の指先の水平位置を固定したまま、今度は指先を上下に操作して上下スクロール・バー上のカーソルを移動することで、所望する音量に設定することができる。図13には、ユーザーがタッチセンサー403上で所望する再生開始位置を指示した場所に自分の指先の水平位置を固定した状態で、上下方向に操作して、所望の音量を指示する様子を示している。
タッチセンサー403が例えば静電容量式のデバイスで構成され、押下圧の検出も可能である場合には(前述)、押下圧によって音量の大小を指示するようにすることもできる。あるいは、2本以上の指を同時に用いたタッチ操作が可能な場合には、2本の指の間隔の大小によって音量を指示するようにすることもできる。
その後、メニュー画面又は走行系画面の表示オフをユーザーが指示するか、又は、各画面でユーザーの入力操作がなくタイムアウトしたとき、外部映像の再生を継続するときには(ステップS608のYes)、ステップS601に戻り、上記と同様の処理を繰り返し行なう。また、外部映像の再生を停止するときには(ステップS608のNo)、本処理ルーチン全体を終了する。
続いて、タッチセンサー403に対する誤操作防止について説明する。タッチセンサー403は、物理的なボタンと比べて、微弱な力でも入力操作が可能である。その反面、ユーザーが不用意にタッチセンサー403に触れて、意図しない入力操作が行なわれ、ヘッド・マウント・ユニット10を誤動作に導いてしまうおそれがある。
例えば、ユーザーがヘッド・マウント・ユニット10を装着していない状態でのタッチセンサー403への誤操作が挙げられる。ユーザーが取り外している間もユーザーの手指がタッチセンサーに触れてしまう可能性がある。ヘッド・マウント・ユニット10が非装着中に行なわれるタッチセンサー403へのタッチ操作は、基本的にはユーザーが意図しない操作であり、装置の誤動作を招来するおそれがある。何故ならば、ユーザーは、取り外しているときは、左眼用表示パネル311L及び右眼用表示パネル311Rの画面を目視できず、図8〜図13に示したようなタッチセンサー403を介した操作を行なうことはできないからである。
そこで、本実施形態では、ヘッド・マウント・ユニット10をユーザーが装着している期間のみ、タッチセンサー403からの入力を有効にして、非装着状態での誤動作を防止するようにしている。すなわち、制御部302は、装着検出部312が非装着状態であると検出している間は、タッチセンサー403からの操作情報の入力を停止し、又は、タッチセンサー403からの操作情報に応じた装置制御を停止する。そして、装着状態であることが検出されると、制御部302は、タッチセンサー403から操作情報の入力を行ない、ユーザーによるタッチ操作に応じた装置制御を行なう。
また、ユーザーがヘッド・マウント・ユニット10を装着した状態であっても、外部映像を再生表示していない期間中にユーザーが不用意にタッチセンサー403に触れて、意図しない入力操作が行なわれ、ヘッド・マウント・ユニット10を誤動作に導いてしまうおそれがある。
そこで、本実施形態では、映像再生中でないヘッド・マウント・ユニット10は、タッチセンサー403に入力操作する意思があることを示す事前操作を行なうことをユーザーに課し、事前操作を経て通常のタッチセンサー403の入力操作を開始するようにしている。このようにして、制御部403は、事前操作を行なう前のタッチセンサー403への入力操作を無視することで、誤動作を起こすおそれを取り除いている。
事前操作の具体例は、タッチセンサー403への一定時間以上の長押し操作である。ユーザーは不注意で一瞬タッチセンサー403に触れることはあっても、何の意図もなく長い時間触れ続けることはないので、長押し操作によりユーザーの意思を確認できると考えられる。
また、事前操作によりタッチセンサー403への入力操作を一旦有効にしても、その後、ユーザーがタッチセンサー403に入力操作を行なう意思を失うことも想定される。このような場合、ユーザーは長い時間タッチセンサー403に触れることはなく放置する。そして、このような放置状態でユーザーがタッチセンサー403に触れたとしても、意図しない誤操作であると考えられる。そこで、制御部302は、タッチセンサー403への入力操作が一定時間以上途絶えたときには、タッチセンサー403をロックすることで、誤動作を起こすおそれを取り除いている。
また、タッチセンサー403のロックを解除するときには、ユーザーがロックを解除する意思確認の操作を行なうことを要求し、意思確認操作を経て通常のタッチセンサー403の入力操作を再開するようにしている。このようにして、制御部403は、ユーザーの意思が確認できず放置状態になったタッチセンサー403への入力操作をロックすることで、誤動作を起こすおそれを取り除いている。
意思確認操作の具体例は、タッチセンサー403に対する特定のジェスチャー操作である。ユーザーは、無意識のうちに(あるいは日頃の手癖で)タッチセンサー403に触れて何らかの操作を行なうことはあっても、意図せずに特定のジェスチャー操作を行なうことはないので、特定のジェスチャー操作によりユーザーの意思を確認できると考えられる。
図14には、ヘッド・マウント・ユニット10が映像再生中でないときに実行する処理手順をフローチャートの形式で示している。
制御部302は、接触判定を行ない(ステップS1401)、操作部301を構成するタッチセンサー403上をユーザーが一定時間以上の長押しする事前操作を行なって、ユーザーがこれからタッチセンサー403への入力を開始する意思が確認されるまで待機する。
そして、ユーザーが一定時間以上の長押しする事前操作が行なわれたことが確認されると(ステップS1401のYes)、制御部302は、引き続いてタッチセンサー403に行なわれる入力操作を識別する(ステップS1402)。ここで、タッチセンサー403のロック機能が有効になっている場合には、入力操作がロック解除のための特定のジェスチャー操作であるかどうかを識別する。
次いで、識別された入力操作に応じて、ユーザーがメニュー操作を行なうためのメニュー画面を、左右の表示パネル311L、311Rで表示する(ステップS1403)。
その後、メニュー画面の表示オフをユーザーが指示するか、又は、メニュー画面でユーザーの入力操作がなくタイムアウトすると、映像(映像入力インターフェース306から取り込んだ外部映像)の再生を開始するかどうかをチェックする(ステップS1404)。映像の再生を開始しないときには、ステップS1401に戻り(ステップS1404のNo)、上記の処理を繰り返し実行する。また、映像の再生を開始するときには(ステップS1404のYes)、本処理ルーチン全体を終了する。
なお、図14に示した処理手順では、メニュー画面を表示するまで、長押し動作による接触判定と、ジェスチャー操作によるロック解除と、2ステップの操作でユーザーの意思を確認しているが、意思確認のための操作をより簡素化して、長押し動作又はジェスチャー操作の1ステップだけでメニュー画面を表示するようにしてもよい。
また、ユーザーがタッチセンサー403に対して意図した操作を行なうときであっても、自分の手指で正確な位置を操作できないためにヘッド・マウント・ユニット10を誤動作に導いてしまうおそれがある。
例えば、ヘッド・マウント・ユニット10が外部映像を再生中のときには、図12に示したような、再生中の映像に対する走行系関連操作を行なう走行系画面が左右の表示パネル311L、311Rに表示される。この走行系画面上には再生位置をシークする左右スクロール・バー(シーク・バー)が表示され、ユーザーは、タッチセンサー403上で自分の指先を左右に操作して、左右スクロール・バー上でカーソルを移動することで、所望する再生開始位置をシークする。
このようなシーク操作では、ユーザーは、左右スクロール・バー上で現在再生位置を大まかに認識すると、最初に現在再生位置付近を手指でタッチして、再生位置指示カーソルを掴もうとする。ところが、左右スクロール・バー上の現在再生位置を正確にタッチすることは困難である。このため、現在再生位置を外した位置に最初にタッチして、現在再生位置から最初のタッチ位置までの間の、ユーザーが意図しない早送り又は巻き戻しの操作を起こしてしまうおそれがある。
最初のタッチ位置のずれに伴う誤動作を回避する1つの方法について、図15〜図18を参照しながら説明する。
図15には、走行系画面上でユーザーが最初にタッチした様子を示している。図示の例では、ユーザーは、左右スクロール・バー上で現在の再生位置を示す再生位置指示カーソルとは離れた場所に、自分の指先を置いている。この時点では、制御部302は、ユーザーによる再生位置の指示が完了していないものとして扱う。したがって、左右スクロール・バー上での再生位置指示カーソルの位置も変化させない。
図16には、走行系画面上でユーザーが再生位置をシークする様子を示している。図示のように、ユーザーは、左右スクロール・バーをなぞるようにして、タッチセンサー403の表面上で指先を移動させていく。そして、指先の位置が左右スクロール・バー上の再生開始位置指示カーソルに到達する。
指先の位置が一旦再生開始位置指示カーソルに触れると、再生開始位置指示カーソルがユーザーに指先に引っ掛かる。その後、図17に示すようにユーザーの指先の移動に追従して、再生開始位置指示カーソルは左右スクロール・バー上を移動する。
そして、図18に示すようにユーザーが指先をタッチセンサー403から離すと、その時点での再生開始位置指示カーソルが置かれた位置が再生位置に確定し、制御部302は、その再生位置で外部映像を再生開始するよう、制御する。
図15〜図18に示した操作方法によれば、最初のタッチ位置のずれに伴う早送りや巻き戻しなどの誤動作を防いで、ユーザーが所望する再生位置から映像の再生を開始することができる。また、ユーザーは、指先が現在のカーソル位置にあっているかどうかを気にせず、再生位置のシーク操作を開始することができる。
以上説明してきたように、本明細書で開示する技術によれば、ヘッド・マウント・ユニット10は、表示パネル311L、311Rの反対側、すなわちユーザーの頭部前面となる場所にタッチセンサー403を配置しているので、ユーザーは、表示映像を背面から触る感覚でタッチセンサーを操作して、表示映像上の所望するターゲットを直感的に操作することができる。
なお、本明細書の開示の技術は、以下のような構成をとることも可能である。
(1)本体部と、前記本体部の背面に配設され、ユーザーの左右の眼に向かって映像を表示する表示部と、前記本体部の前面に配設され、ユーザーが手指を使って操作する操作部と、前記操作部からの操作情報に応じて前記表示部の表示を制御する制御部と、前記本体部をユーザーの頭部に装着するための装着部と、を具備する頭部装着型映像表示装置。
(2)前記操作部は、ユーザーの手指が触れた位置を検出するタッチセンサーを有する、上記(1)に記載の頭部装着型映像表示装置。
(3)前記制御部は、ユーザーの手指が前記タッチセンサーを触れたことに応じて、前記タッチセンサー上で触れた位置を示すカーソルを前記表示部の表示映像に表示させる、上記(2)に記載の頭部装着型映像表示装置。
(4)前記操作部は、ユーザーの視線の中心線と、前記カーソルと、前記タッチセンサーを操作する指が一直線上に並ぶように、前記表示映像上に前記カーソルを置く、上記(3)に記載の頭部装着型映像表示装置。
(5)前記タッチセンサーは、前記本体の前面に左右ほぼ対称的に敷設される、上記(2)に記載の頭部装着型映像表示装置。
(6)左右の重量がほぼ均等である、上記(5)に記載の頭部装着型映像表示装置。
(7)前記制御部は、前記タッチセンサー上でユーザーが行なった操作の種類を識別し、識別結果に応じて前記表示部で表示する画面を切り替える、上記(2)に記載の頭部装着型映像表示装置。
(8)前記制御部は、前記タッチセンサー上でユーザーが行なった操作の種類に応じたメニュー画面を前記表示部で表示させる、上記(7)に記載の頭部装着型映像表示装置。
(9)前記制御部は、前記メニュー画面上でユーザーが前記タッチセンサーを介してタッチしたメニューにカーソルを置く、上記(8)に記載の頭部装着型映像表示装置。
(10)前記制御部は、前記メニュー画面上でユーザーが前記タッチセンサーを介してタッチしたメニューをハイライト表示する、上記(8)に記載の頭部装着型映像表示装置。
(11)前記メニュー画面上では、複数のメニューを水平方向に配置するとともに、選択されたメニューが持つサブメニューを垂直方向に配置し、前記制御部は、前記タッチセンサー上でユーザーがタッチした水平位置に応じてどのメニューが選択されたかを識別し、前記タッチセンサー上でユーザーがタッチした垂直位置に応じてどのサブメニューが選択されたかを識別する、上記(8)に記載の頭部装着型映像表示装置。
(12)前記タッチセンサーは押下圧の検出が可能であり、前記制御部は、前記表示部で階層UIを表示させた際に、前記タッチセンサー上で検出された押下圧に応じた階層を前記階層UI内から選択する、上記(2)に記載の頭部装着型映像表示装置。
(13)前記タッチセンサーは2本以上のユーザーの手指が同時に触れた位置の検出が可能であり、前記制御部は、前記表示部で階層UIを表示させた際に、前記タッチセンサー上で検出された2本の手指の間隔に応じた階層を前記階層UI内から選択する、上記(2)に記載の頭部装着型映像表示装置。
(14)前記制御部は、前記表示部で映像を再生中に、前記タッチセンサー上でのユーザーの手指の水平方向の操作に追従して、映像の再生開始位置を移動させる、上記(2)に記載の頭部装着型映像表示装置。
(15)前記制御部は、前記表示部で映像を再生中に、前記タッチセンサー上でのユーザーの手指の垂直方向の操作に追従して、出力音量を調整する、上記(2)に記載の頭部装着型映像表示装置。
(16)ユーザーが当該装置を装着したか否かを検出する装着検出部をさらに備え、前記制御部は、前記装着検出部が非装着状態と検出しているときには、前記タッチセンサーからの操作情報の入力を停止し、又は、操作情報に応じた制御を停止する、上記(2)に記載の頭部装着型映像表示装置。
(17)前記制御部は、前記表示部で映像再生を停止しているときには、前記タッチセンサーへのユーザーの事前操作を経て、前記タッチセンサーからの操作情報に応じた前記制御を開始する、上記(2)に記載の頭部装着型映像表示装置。
(18)前記事前操作は、前記タッチセンサーに対する一定時間以上の長押し操作である、上記(17)に記載の頭部装着型映像表示装置。
(19)前記制御部は、前記タッチセンサーに対する操作が一定時間以上行なわれなかったときに、前記タッチセンサーをロックする、上記(17)に記載の頭部装着型映像表示装置。
(20)前記制御部は、前記タッチセンサーに対して意思確認操作が行なわれたことに応じて、前記タッチセンサーのロックを解除する、上記(19)に記載の頭部装着型映像表示装置。
以上、特定の実施形態を参照しながら、本明細書で開示する技術について詳細に説明してきた。しかしながら、本明細書で開示する技術の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。
本明細書では、本明細書で開示する技術を、フロント・エンド・ボックス及びヘッド・マウント・ユニットからなるヘッド・マウント・ディスプレイに適用した実施形態を中心に説明してきたが、本明細書で開示する技術の要旨は特定のヘッド・マウント・ディスプレイの構成に限定されるものではない。
要するに、例示という形態により本明細書で開示する技術について説明してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本明細書で開示する技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。
10…ヘッド・マウント・ユニット
20…ブルーレイ・ディスク再生装置
30…ハイビジョン・ディスプレイ
40…フロント・エンド・ボックス
301…操作部
302…制御部
303…映像制御部
304…OSD制御部
305…MISC制御部
306…映像入力インターフェース
307…映像バッファー
308…OSDバッファー
309…画像合成部
310…表示制御部
311L…左眼用表示パネル、311R…右眼用表示パネル
312…装着検出部

Claims (20)

  1. 本体部と、
    前記本体部の背面に配設され、ユーザーの左右の眼に向かって映像を表示する表示部と、
    前記本体部の前面に配設され、ユーザーが手指を使って操作する操作部と、
    前記操作部からの操作情報に応じて前記表示部の表示を制御する制御部と、
    前記本体部をユーザーの頭部に装着するための装着部と、
    を具備する頭部装着型映像表示装置。
  2. 前記操作部は、ユーザーの手指が触れた位置を検出するタッチセンサーを有する、
    請求項1に記載の頭部装着型映像表示装置。
  3. 前記制御部は、ユーザーの手指が前記タッチセンサーを触れたことに応じて、前記タッチセンサー上で触れた位置を示すカーソルを前記表示部の表示映像に表示させる、
    請求項2に記載の頭部装着型映像表示装置。
  4. 前記操作部は、ユーザーの視線の中心線と、前記カーソルと、前記タッチセンサーを操作する指が一直線上に並ぶように、前記表示映像上に前記カーソルを置く、
    請求項3に記載の頭部装着型映像表示装置。
  5. 前記タッチセンサーは、前記本体の前面に左右ほぼ対称的に敷設される、
    請求項2に記載の頭部装着型映像表示装置。
  6. 左右の重量がほぼ均等である、
    請求項5に記載の頭部装着型映像表示装置。
  7. 前記制御部は、前記タッチセンサー上でユーザーが行なった操作の種類を識別し、識別結果に応じて前記表示部で表示する画面を切り替える、
    請求項2に記載の頭部装着型映像表示装置。
  8. 前記制御部は、前記タッチセンサー上でユーザーが行なった操作の種類に応じたメニュー画面を前記表示部で表示させる、
    請求項7に記載の頭部装着型映像表示装置。
  9. 前記制御部は、前記メニュー画面上でユーザーが前記タッチセンサーを介してタッチしたメニューにカーソルを置く、
    請求項8に記載の頭部装着型映像表示装置。
  10. 前記制御部は、前記メニュー画面上でユーザーが前記タッチセンサーを介してタッチしたメニューをハイライト表示する、
    請求項8に記載の頭部装着型映像表示装置。
  11. 前記メニュー画面上では、複数のメニューを水平方向に配置するとともに、選択されたメニューが持つサブメニューを垂直方向に配置し、
    前記制御部は、前記タッチセンサー上でユーザーがタッチした水平位置に応じてどのメニューが選択されたかを識別し、前記タッチセンサー上でユーザーがタッチした垂直位置に応じてどのサブメニューが選択されたかを識別する、
    請求項8に記載の頭部装着型映像表示装置。
  12. 前記タッチセンサーは押下圧の検出が可能であり、
    前記制御部は、前記表示部で階層UIを表示させた際に、前記タッチセンサー上で検出された押下圧に応じた階層を前記階層UI内から選択する、
    請求項2に記載の頭部装着型映像表示装置。
  13. 前記タッチセンサーは2本以上のユーザーの手指が同時に触れた位置の検出が可能であり、
    前記制御部は、前記表示部で階層UIを表示させた際に、前記タッチセンサー上で検出された2本の手指の間隔に応じた階層を前記階層UI内から選択する、
    請求項2に記載の頭部装着型映像表示装置。
  14. 前記制御部は、前記表示部で映像を再生中に、前記タッチセンサー上でのユーザーの手指の水平方向の操作に追従して、映像の再生開始位置を移動させる、
    請求項2に記載の頭部装着型映像表示装置。
  15. 前記制御部は、前記表示部で映像を再生中に、前記タッチセンサー上でのユーザーの手指の垂直方向の操作に追従して、出力音量を調整する、
    請求項2に記載の頭部装着型映像表示装置。
  16. ユーザーが当該装置を装着したか否かを検出する装着検出部をさらに備え、
    前記制御部は、前記装着検出部が非装着状態と検出しているときには、前記タッチセンサーからの操作情報の入力を停止し、又は、操作情報に応じた制御を停止する、
    請求項2に記載の頭部装着型映像表示装置。
  17. 前記制御部は、前記表示部で映像再生を停止しているときには、前記タッチセンサーへのユーザーの事前操作を経て、前記タッチセンサーからの操作情報に応じた前記制御を開始する、
    請求項2に記載の頭部装着型映像表示装置。
  18. 前記事前操作は、前記タッチセンサーに対する一定時間以上の長押し操作である、
    請求項17に記載の頭部装着型映像表示装置。
  19. 前記制御部は、前記タッチセンサーに対する操作が一定時間以上行なわれなかったときに、前記タッチセンサーをロックする、
    請求項17に記載の頭部装着型映像表示装置。
  20. 前記制御部は、前記タッチセンサーに対して意思確認操作が行なわれたことに応じて、前記タッチセンサーのロックを解除する、
    請求項19に記載の頭部装着型映像表示装置。
JP2012133593A 2012-06-13 2012-06-13 頭部装着型映像表示装置 Active JP5953963B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2012133593A JP5953963B2 (ja) 2012-06-13 2012-06-13 頭部装着型映像表示装置
CN201310222775.9A CN103487937B (zh) 2012-06-13 2013-06-06 头戴式视频显示装置
US13/911,466 US20130335321A1 (en) 2012-06-13 2013-06-06 Head-mounted video display device
CN201711311381.5A CN107976809B (zh) 2012-06-13 2013-06-06 头戴式视频显示装置
EP16186221.4A EP3125102B1 (en) 2012-06-13 2013-06-06 Head-mounted display
EP13170864.6A EP2674850B1 (en) 2012-06-13 2013-06-06 Head-mounted display

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012133593A JP5953963B2 (ja) 2012-06-13 2012-06-13 頭部装着型映像表示装置

Publications (3)

Publication Number Publication Date
JP2013258573A true JP2013258573A (ja) 2013-12-26
JP2013258573A5 JP2013258573A5 (ja) 2015-02-26
JP5953963B2 JP5953963B2 (ja) 2016-07-20

Family

ID=48745622

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012133593A Active JP5953963B2 (ja) 2012-06-13 2012-06-13 頭部装着型映像表示装置

Country Status (4)

Country Link
US (1) US20130335321A1 (ja)
EP (2) EP2674850B1 (ja)
JP (1) JP5953963B2 (ja)
CN (2) CN103487937B (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015111283A1 (ja) 2014-01-23 2015-07-30 ソニー株式会社 画像表示装置及び画像表示方法
JP2015141686A (ja) * 2014-01-30 2015-08-03 株式会社リコー ポインティングデバイス、情報処理装置、情報処理システムおよびポインティングデバイスの制御方法
JP2016186727A (ja) * 2015-03-27 2016-10-27 Necソリューションイノベータ株式会社 映像表示装置、映像表示方法、及びプログラム
JP2016218803A (ja) * 2015-05-21 2016-12-22 シャープ株式会社 画像表示装置、およびヘッドマウントディスプレイ
WO2017051720A1 (ja) * 2015-09-24 2017-03-30 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP2018160249A (ja) * 2018-05-14 2018-10-11 株式会社ソニー・インタラクティブエンタテインメント ヘッドマウントディスプレイシステム、ヘッドマウントディスプレイ、表示制御プログラム、及び表示制御方法
US10379605B2 (en) 2014-10-22 2019-08-13 Sony Interactive Entertainment Inc. Head mounted display, mobile information terminal, image processing apparatus, display control program, display control method, and display system
JP2020504839A (ja) * 2016-12-26 2020-02-13 華為技術有限公司Huawei Technologies Co.,Ltd. 位置調整方法および端末

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5953963B2 (ja) * 2012-06-13 2016-07-20 ソニー株式会社 頭部装着型映像表示装置
CN104808781B (zh) * 2014-01-24 2018-12-11 北京奇虎科技有限公司 判断头戴式智能设备操作有效性的装置和方法
CN106686364B (zh) * 2014-07-09 2019-02-15 歌尔科技有限公司 一种头戴式可视设备和视频***
US10311638B2 (en) 2014-07-25 2019-06-04 Microsoft Technology Licensing, Llc Anti-trip when immersed in a virtual reality environment
US20160027218A1 (en) * 2014-07-25 2016-01-28 Tom Salter Multi-user gaze projection using head mounted display devices
US9766460B2 (en) 2014-07-25 2017-09-19 Microsoft Technology Licensing, Llc Ground plane adjustment in a virtual reality environment
US10416760B2 (en) 2014-07-25 2019-09-17 Microsoft Technology Licensing, Llc Gaze-based object placement within a virtual reality environment
US10451875B2 (en) 2014-07-25 2019-10-22 Microsoft Technology Licensing, Llc Smart transparency for virtual objects
CN104268062A (zh) * 2014-09-28 2015-01-07 联想(北京)有限公司 一种信息输出方法及头戴式电子设备
US20160224123A1 (en) * 2015-02-02 2016-08-04 Augumenta Ltd Method and system to control electronic devices through gestures
CN106155383A (zh) * 2015-04-03 2016-11-23 上海乐相科技有限公司 一种头戴式智能眼镜屏幕控制方法及装置
JP6501904B2 (ja) * 2015-05-27 2019-04-17 グーグル エルエルシー 球面ビデオのストリーミング
US9898865B2 (en) * 2015-06-22 2018-02-20 Microsoft Technology Licensing, Llc System and method for spawning drawing surfaces
US9298283B1 (en) 2015-09-10 2016-03-29 Connectivity Labs Inc. Sedentary virtual reality method and systems
CN106557672A (zh) * 2015-09-29 2017-04-05 北京锤子数码科技有限公司 头戴式显示器的解锁控制方法及装置
US10126937B2 (en) * 2016-01-26 2018-11-13 Adobe Systems Incorporated Input techniques for virtual reality headset devices with front touch screens
WO2017161497A1 (zh) * 2016-03-22 2017-09-28 深圳市柔宇科技有限公司 头戴式显示设备及其操控方法
CN105929953A (zh) * 2016-04-18 2016-09-07 北京小鸟看看科技有限公司 一种3d沉浸式环境下的操作引导方法和装置及虚拟现实设备
CN105867635A (zh) * 2016-04-26 2016-08-17 乐视控股(北京)有限公司 压力触控方法及装置
JP6729054B2 (ja) * 2016-06-23 2020-07-22 富士ゼロックス株式会社 情報処理装置、情報処理システムおよび画像形成装置
CN106200927A (zh) * 2016-06-30 2016-12-07 乐视控股(北京)有限公司 一种信息处理方法及头戴式设备
US10591986B2 (en) * 2017-04-17 2020-03-17 Optim Corporation Remote work supporting system, remote work supporting method, and program
WO2018209572A1 (zh) * 2017-05-16 2018-11-22 深圳市柔宇科技有限公司 头戴式显示设备及其交互输入方法
GB2563854B (en) 2017-06-27 2020-09-16 Ge Aviat Systems Ltd Tactile gain control
JP6887198B2 (ja) * 2017-06-28 2021-06-16 株式会社オプティム ウェアラブル端末表示システム、ウェアラブル端末表示方法およびプログラム
CN108108321A (zh) * 2017-12-20 2018-06-01 联想(北京)有限公司 一种头戴式显示设备及数据交互方法
US10466960B2 (en) * 2018-04-02 2019-11-05 Avid Technology, Inc Augmented reality audio mixing
US10520739B1 (en) * 2018-07-11 2019-12-31 Valve Corporation Dynamic panel masking
US10855978B2 (en) * 2018-09-14 2020-12-01 The Toronto-Dominion Bank System and method for receiving user input in virtual/augmented reality
US11982809B2 (en) 2018-09-17 2024-05-14 Apple Inc. Electronic device with inner display and externally accessible input-output device
US11740742B2 (en) * 2019-09-23 2023-08-29 Apple Inc. Electronic devices with finger sensors
TW202331469A (zh) * 2021-12-09 2023-08-01 美商元平台技術有限公司 智慧型眼鏡上進行錯誤固態按鈕按壓的智能拒絕
US20230185406A1 (en) * 2021-12-09 2023-06-15 Meta Platforms Technologies, Llc Smart rejection of false solid-state button presses on smart glasses

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000235165A (ja) * 1999-02-16 2000-08-29 Minolta Co Ltd 映像表示装置
JP2000515702A (ja) * 1996-08-02 2000-11-21 モトローラ・インコーポレイテッド 対置したタッチパッドを具備する選択呼出無線機
JP2003280814A (ja) * 2002-03-25 2003-10-02 Toyota Motor Corp 入力装置
JP2006039745A (ja) * 2004-07-23 2006-02-09 Denso Corp タッチパネル式入力装置
JP2009521753A (ja) * 2005-12-23 2009-06-04 アップル インコーポレイテッド アンロック画像上でジェスチャを行うことによる機器のアンロッキング
JP2010081559A (ja) * 2008-09-29 2010-04-08 Nikon Corp ウェアラブルディスプレイ装置
JP2011113409A (ja) * 2009-11-27 2011-06-09 Fujitsu Toshiba Mobile Communications Ltd 情報処理装置
JP2012502386A (ja) * 2008-09-12 2012-01-26 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 携帯用デバイスのグラフィカルユーザインタフェースにおけるナビゲーション

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11174987A (ja) 1997-12-10 1999-07-02 Shimadzu Corp 表示装置
US6611242B1 (en) * 1999-02-12 2003-08-26 Sanyo Electric Co., Ltd. Information transmission system to transmit work instruction information
JP2001133724A (ja) 1999-08-25 2001-05-18 Olympus Optical Co Ltd 頭部装着型映像表示装置
GB2377147A (en) * 2001-06-27 2002-12-31 Nokia Corp A virtual reality user interface
JP2003098471A (ja) 2001-09-25 2003-04-03 Olympus Optical Co Ltd 頭部装着型映像表示装置
JP4344568B2 (ja) 2003-09-05 2009-10-14 富士フイルム株式会社 ヘッドマウントディスプレイ及びそのコンテンツ再生方法
US20070052672A1 (en) * 2005-09-08 2007-03-08 Swisscom Mobile Ag Communication device, system and method
JP2007310599A (ja) 2006-05-17 2007-11-29 Nikon Corp 映像表示装置
US8957835B2 (en) * 2008-09-30 2015-02-17 Apple Inc. Head-mounted display apparatus for retaining a portable electronic device with display
JP4679661B1 (ja) * 2009-12-15 2011-04-27 株式会社東芝 情報提示装置、情報提示方法及びプログラム
WO2011106798A1 (en) * 2010-02-28 2011-09-01 Osterhout Group, Inc. Local advertising content on an interactive head-mounted eyepiece
TWI533662B (zh) * 2010-06-24 2016-05-11 晨星半導體股份有限公司 顯示裝置與相關的眼鏡
US8203502B1 (en) * 2011-05-25 2012-06-19 Google Inc. Wearable heads-up display with integrated finger-tracking input sensor
US9081177B2 (en) * 2011-10-07 2015-07-14 Google Inc. Wearable computer with nearby object response
JP5953963B2 (ja) * 2012-06-13 2016-07-20 ソニー株式会社 頭部装着型映像表示装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000515702A (ja) * 1996-08-02 2000-11-21 モトローラ・インコーポレイテッド 対置したタッチパッドを具備する選択呼出無線機
JP2000235165A (ja) * 1999-02-16 2000-08-29 Minolta Co Ltd 映像表示装置
JP2003280814A (ja) * 2002-03-25 2003-10-02 Toyota Motor Corp 入力装置
JP2006039745A (ja) * 2004-07-23 2006-02-09 Denso Corp タッチパネル式入力装置
JP2009521753A (ja) * 2005-12-23 2009-06-04 アップル インコーポレイテッド アンロック画像上でジェスチャを行うことによる機器のアンロッキング
JP2012502386A (ja) * 2008-09-12 2012-01-26 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 携帯用デバイスのグラフィカルユーザインタフェースにおけるナビゲーション
JP2010081559A (ja) * 2008-09-29 2010-04-08 Nikon Corp ウェアラブルディスプレイ装置
JP2011113409A (ja) * 2009-11-27 2011-06-09 Fujitsu Toshiba Mobile Communications Ltd 情報処理装置

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10134189B2 (en) 2014-01-23 2018-11-20 Sony Corporation Image display device and image display method
KR20160111904A (ko) 2014-01-23 2016-09-27 소니 주식회사 화상 표시 장치 및 화상 표시 방법
WO2015111283A1 (ja) 2014-01-23 2015-07-30 ソニー株式会社 画像表示装置及び画像表示方法
JPWO2015111283A1 (ja) * 2014-01-23 2017-03-23 ソニー株式会社 画像表示装置及び画像表示方法
EP3410264A1 (en) 2014-01-23 2018-12-05 Sony Corporation Image display device and image display method
JP2015141686A (ja) * 2014-01-30 2015-08-03 株式会社リコー ポインティングデバイス、情報処理装置、情報処理システムおよびポインティングデバイスの制御方法
US10620699B2 (en) 2014-10-22 2020-04-14 Sony Interactive Entertainment Inc. Head mounted display, mobile information terminal, image processing apparatus, display control program, display control method, and display system
US10379605B2 (en) 2014-10-22 2019-08-13 Sony Interactive Entertainment Inc. Head mounted display, mobile information terminal, image processing apparatus, display control program, display control method, and display system
JP2016186727A (ja) * 2015-03-27 2016-10-27 Necソリューションイノベータ株式会社 映像表示装置、映像表示方法、及びプログラム
JP2016218803A (ja) * 2015-05-21 2016-12-22 シャープ株式会社 画像表示装置、およびヘッドマウントディスプレイ
WO2017051720A1 (ja) * 2015-09-24 2017-03-30 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP2020504839A (ja) * 2016-12-26 2020-02-13 華為技術有限公司Huawei Technologies Co.,Ltd. 位置調整方法および端末
JP6997193B2 (ja) 2016-12-26 2022-01-17 華為技術有限公司 位置調整方法および端末
JP2018160249A (ja) * 2018-05-14 2018-10-11 株式会社ソニー・インタラクティブエンタテインメント ヘッドマウントディスプレイシステム、ヘッドマウントディスプレイ、表示制御プログラム、及び表示制御方法

Also Published As

Publication number Publication date
CN103487937A (zh) 2014-01-01
EP2674850A3 (en) 2014-04-30
EP2674850A2 (en) 2013-12-18
CN103487937B (zh) 2018-01-12
JP5953963B2 (ja) 2016-07-20
CN107976809A (zh) 2018-05-01
EP3125102B1 (en) 2021-11-17
EP3125102A1 (en) 2017-02-01
US20130335321A1 (en) 2013-12-19
CN107976809B (zh) 2021-12-17
EP2674850B1 (en) 2016-08-31

Similar Documents

Publication Publication Date Title
JP5953963B2 (ja) 頭部装着型映像表示装置
JP5978592B2 (ja) ヘッド・マウント・ディスプレイ及び表示制御方法
JP2013258573A5 (ja)
US9197840B2 (en) Head mount display and method for controlling head mount display
US8923686B2 (en) Dynamically configurable 3D display
JP6492419B2 (ja) 頭部装着型表示装置、頭部装着型表示装置を制御する方法、コンピュータープログラム、画像表示システム、および、情報処理装置
WO2018186031A1 (ja) 情報処理装置、情報処理方法、及びプログラム
KR20130007824A (ko) 영상표시장치 및 그 동작방법
JP5071387B2 (ja) 表示装置
KR20120037858A (ko) 입체영상표시장치 및 그 ui 제공 방법
KR101888082B1 (ko) 영상표시장치 및 그 동작방법
JP5166571B2 (ja) 電子機器、表示制御方法及び表示制御プログラム
KR20170089228A (ko) 스마트 폰을 이용한 가상현실 헤드 마운트 디스플레이의 제어 방법
JP6740613B2 (ja) 表示装置、表示装置の制御方法、及び、プログラム
EP4220436A1 (en) Methods, systems, and media for presenting media content previews
KR20130070592A (ko) 데이터 전송 시스템
WO2015174466A1 (ja) 端末装置、制御方法、およびプログラム
JP5654526B2 (ja) 情報処理装置、キャリブレーション方法及びプログラム
JP2016167844A (ja) ヘッド・マウント・ディスプレイ及びヘッド・マウント・ディスプレイの制御方法、並びに表示システム及びその制御方法
KR20140089794A (ko) 영상표시장치 및 그 동작방법
JP2013085275A (ja) 電子機器、表示制御方法及び表示制御プログラム
KR20130019262A (ko) 영상표시장치 및 그 동작방법

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150107

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150107

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150924

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151020

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151022

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160322

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160324

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160517

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160530

R151 Written notification of patent or utility model registration

Ref document number: 5953963

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250