JP6571767B2 - 映像表示装置および制御方法 - Google Patents

映像表示装置および制御方法 Download PDF

Info

Publication number
JP6571767B2
JP6571767B2 JP2017521479A JP2017521479A JP6571767B2 JP 6571767 B2 JP6571767 B2 JP 6571767B2 JP 2017521479 A JP2017521479 A JP 2017521479A JP 2017521479 A JP2017521479 A JP 2017521479A JP 6571767 B2 JP6571767 B2 JP 6571767B2
Authority
JP
Japan
Prior art keywords
video display
video
unit
display device
movement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017521479A
Other languages
English (en)
Other versions
JPWO2016194232A1 (ja
Inventor
孝弘 松田
孝弘 松田
大内 敏
敏 大内
瀬尾 欣穂
欣穂 瀬尾
誠治 村田
誠治 村田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Maxell Ltd
Original Assignee
Maxell Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Maxell Ltd filed Critical Maxell Ltd
Publication of JPWO2016194232A1 publication Critical patent/JPWO2016194232A1/ja
Application granted granted Critical
Publication of JP6571767B2 publication Critical patent/JP6571767B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • H04N7/0132Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter the field or frame frequency of the incoming video signal being multiplied by a positive integer, e.g. for flicker reduction
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/3406Control of illumination source
    • G09G3/3413Details of control of colour illumination sources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3102Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM] using two-dimensional electronic spatial light modulators
    • H04N9/3111Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM] using two-dimensional electronic spatial light modulators for displaying the colours sequentially, e.g. by using sequentially activated light sources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • H04N9/3182Colour adjustment, e.g. white balance, shading or gamut
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191Testing thereof
    • H04N9/3194Testing thereof including sensor feedback
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0118Head-up displays characterised by optical features comprising devices for improving the contrast of the display / brillance control visibility
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2310/00Command of the display device
    • G09G2310/02Addressing, scanning or driving the display screen or processing steps related thereto
    • G09G2310/0235Field-sequential colour display
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/02Improving the quality of display appearance
    • G09G2320/0242Compensation of deficiencies in the appearance of colours
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/10Special adaptations of display systems for operation with variable images
    • G09G2320/106Determination of movement vectors or equivalent parameters within the image
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0407Resolution change, inclusive of the use of different resolutions for different screen areas
    • G09G2340/0435Change or adaptation of the frame rate of the video stream
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00Aspects of the architecture of display systems
    • G09G2360/02Graphics controller able to handle multiple formats, e.g. input or output formats
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/16Use of wireless transmission of display information

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Liquid Crystal Display Device Control (AREA)

Description

本願発明は、使用者の頭部に装着可能で、使用者の眼前に映像が表示される映像表示装置と、その制御方法に関する。
使用者装着型の映像表示装置は、軽量化・小型化の開発が進み、装置利用者への負担が低減される見込みである。この種の映像表示装置には、両手が自由に使用できる状態で情報を得られる利点があり、広い用途への応用が期待されている。
特許第5228305号
例えば上記特許文献のように、眼鏡型もしくは頭部装着型の装着ユニットにより、ユーザーの目の直前に表示部を配置して表示および表示の終了を行う装置が提案されている。
装着型の映像表示装置では、装置利用者が映像から視線を外すことが難しく、表示を維持しつつも映像の乱れなどからくる不快感を軽減するのが望ましい。しかし、参考文献1のように装置の判断で表示の終了を行うことは、装置の用途によっては映像を表示し続けることが重要な場合もあり、その場合は装置利用者にとって不利益となる場合が存在する。
この映像の乱れは映像表示装置の表示方式に起因するものが考えられる。例えば液晶を利用した映像表示装置であれば画面の映像情報を更新する際の画面のちらつき、またフィールドシーケンシャル方式(色時分割方式)の映像表示装置であればカラーブレイク(色割れ)などが考えられる。これらの映像の乱れは、装着型の映像表示装置の場合、装置利用者が動くことで装置利用者により大きな不快感として認識される可能性がある。また、映像の乱れを軽減する表示方法は消費電力を増大させる。
上記課題を解決するための利用者の頭部に装着可能な映像表示装置であって、二つ以上の表示方法を切り替えることができる映像表示部と、映像表示部に表示方法を指示する制御部と、利用者の頭部の動きを検出する第一の検出部と、利用者の視点の動きを検出する第二の検出部と、前記第一の検出部の出力と前記第二の検出部の出力により装置利用者の運動状況を判定する運動判定部とを含む。制御部は運動判定部の判定結果に応じて、映像表示部に表示方法の変更を指示する。
本発明によれば、装着型の映像表示装置において、装置利用者が映像から感じる不快感の低減を低消費電力で実現できる。
本発明の他の目的、特徴及び利点は添付図面に関する以下の本発明の実施例の記載から明らかになるであろう。
実施例1による映像表示装置10のブロック図である。 映像表示装置10の外観図の一例である。 図1Bに示した映像表示装置10を装着した時の図である。 映像表示装置10の外観図の他の一例である。 図1Dに示した映像表示装置10を装着した時の図である。 映像表示装置10のさらに他の一例を装着した時の図である。 映像表示装置10内の映像表示部1001の実施例を示すブロック図である。 映像表示部内1001の光源素子2003の実施例を示す回路図である。 映像表示装置10内の映像表示部1001の1倍速表示動作例を示すタイミングチャートである。 映像表示装置10内の映像表示部1001の2倍速表示動作例を示すタイミングチャートである。 映像表示装置10内の映像表示部1001の2倍速表示動作かつフレーム補完を実施する例を示すタイミングチャートである。 映像表示装置10内の映像表示部1001の3倍速表示動作例を示すタイミングチャートである。 運動判定処理部1006による判定処理を示す表である。 制御部1003と運動判定処理部1006による判定処理フローを示すフローチャートである。 外界の例である。 映像表示装置10が表示する仮想映像の表示例である。 外界に仮想映像を重ね合わせた例である。 映像表示装置10による表示例である。 映像処理部1008によりコントラストを弱めた映像表示例である。 映像処理部1008によりシャープネスを弱めた映像表示例である。 映像判定処理部1009の対象となる映像の一例である。 映像判定処理部1009の対象となる映像の他の一例である。 映像表示装置10内の映像表示部の光源制御停止表示動作例を示すタイミングチャートである。 映像表示装置10内の映像表示部の強誘電液晶の更新停止動作例を示すタイミングチャートである。 第2センサの一実施例を示す図である。 第2センサの一実施例を示す詳細図である。 映像表示装置の初期設定時の映像例である。 映像表示装置の初期設定時の映像表示範囲を示す図である。 実施例2による映像表示装置130を示すブロック図である。 実施例2による映像表示装置140を示すブロック図である。 実施例2による映像表示装置150を示すブロック図である。 実施例3による映像表示装置160を示すブロック図である。 実施例3による映像表示装置の制御方法例を示すブロック図である。
以下、本発明の実施例について図面を用いて説明する。
本発明の実施形態を添付図面に従って説明する。
1.装置の概要
図1Aは使用者に装着可能で、使用者の眼前に映像が表示される映像表示装置を示すブロック図である。
映像表示装置10は、映像表示部1001、表示制御部1002、制御部1003、第1センサ1004、第2センサ1005、運動判定処理部1006、映像情報源1007、映像処理部1008、映像判定処理部1009、記憶部1010、頻度判定処理部1011、電源部1012を備えている。
映像表示装置10は、映像情報源1007から取得された映像情報を、映像処理部1008を介して、映像表示部1001に送信して映像を表示する。映像表示部1001は、代表的には、液晶素子またはミラーアレイ素子を用いたディスプレイである。
映像情報源1007は図示しない記憶装置に保存された映像情報のデータを、適宜選択して必要に応じてデータの復号や暗号化の解除などの処理を行い、映像情報を1008に送信する。時系列の動画像を時系列に送信してもよいし、静止画を逐次送信してもよい。
制御部1003は映像表示装置10の外部にあるコントローラ1020と有線あるいは無線で接続されている。装置利用者20がコントローラ1020を操作する事により、映像表示装置10の電源On/Offや映像に関する各種設定を行うことができる。コントローラ1020は、映像表示装置10専用のコントローラでも良いし、スマートフォンに専用のアプリケーションプログラムをインストールしてコントローラとして使用できるようにしてもよい。電源部1012には、コントローラとは別に、電源をOn/Offするスイッチが設けられている。
表示制御部1002、制御部1003、運動判定処理部1006、映像情報源1007、映像処理部1008、映像判定処理部1009、頻度判定処理部1011は、それぞれ独立のハードウェアとして映像表示装置10に実装される。あるいは、それらは1つ以上の演算処理器やマイクロプロセッサとソフトウェアやファームウェアにより実現されても良い。それらは集積回路の一部の機能ブロックとして実装されてもよいし、FPGA(Field−Programmable Gate Array)などのプログラマブルロジックデバイスによって実現されてもよい。
記憶部1010についても、個別の部品として実装される必要はなく、集積回路の一部の機能ブロックとして実装されてもよい。
図1Bは、映像表示装置10の一例の外観図である。レンズとつるの接合部に主な構成要素が収納され、ハーフミラーであるレンズ部分に映像を投影する。コントローラ1020と装置の本体がケーブルにて接続されている。
図1Cは、図1Bの映像表示装置10を装着した時の図である。
図1Dは、映像表示装置10の他の一例の外観図である。レンズとつるの接合部に主な構成要素が収納され、プリズムが映像表示部1001の投影部(図2の2007)となっている。
図1Eは、図1Dの映像表示装置10を装着した時の図である。
図1Fは、映像表示装置10のさらに他の一例の外観図である。目の前のプリズムが映像表示部1001の投影部(図2の2007)となり、他の構成要素をヘルメットとつるの部分に分散して収納している。
2.映像の表示
映像表示部1001の構成例を図2に図示する。映像表示部1001は、映像信号処理部2001、光源素子電源制御部2002、光源素子2003、光源ドライバ2004、変調器2005、変調器ドライバ2006、投影部2007、設定制御部2008を備えている。
映像処理部1008からの映像情報は映像信号処理部2001に送信され、映像信号処理部2001は受信した映像情報に対応する光源の明るさ、光源駆動のタイミング、変調器駆動パターンを決定する。
光源の明るさの情報は光源素子電源制御部2002に送信される。光源素子電源制御部2002は受信した明るさの情報に応じて光源素子2003への供給電圧を制御する。
光源駆動のタイミングは光源ドライバ2004に送信される。光源ドライバ2004は 光源駆動のタイミングに応じて、光源素子2003を制御する。
光源素子電源制御部2002と光源ドライバ2004は同一の素子内に実装されていてもよい。
図3に光源素子電源制御部2002、光源素子2003、光源ドライバ2004の詳細な構成図を示す。光源素子2003は赤色LED3001、緑色LED3002、青色LED3003の三原色の三つのLEDからなる。前記三つのLEDはそれぞれ電流制限抵抗3004、3005、3006と直列に接続され、光源素子電源制御部2002からそれぞれ電位VLEDr、VLEDg、VLEDbを印加される。VLEDr、VLEDg、VLEDbの電位は光源素子電源制御部2002により任意の値に設定可能であり、それぞれ赤色LED3001、緑色LED3002、青色LED3003の発光を制御できる。前記各電流制限抵抗3004、3005、3006のLEDと逆側の端子は、光源ドライバ2004に接続される。光源ドライバ2004はCTRLr、CTRLg、CTRLbの各端子の電位を変化させることで、それぞれ赤色LED3001、緑色LED3002、青色LED3003の発光量や発光時間などを制御し、変調器2005により、すべての画素(ピクセル)に変調される。表示制御部1002は、映像表示部1001の設定制御部2008に対して、光源の明るさを指定する制御信号を送る。
光源は三原色LEDを一つずつ有する構成として説明したが、これに限るものではない。白色LEDを一つ以上有する構成としてもよい。また、LED以外の光源であってもよい。三原色についても、光源が原色のみを発光する構成でなくてもよく、例えば白色光源とダイクロイックフィルタやカラーホイールなどにより、特定色をフィルタで取り出すような構成であってもよい。
図2の説明に戻る。
変調器駆動パターンは変調器ドライバ2006に送信される。変調器ドライバ2006は前記変調器駆動パターンに応じて変調器2005を駆動する。
変調器2005は例えば透過型液晶素子やLCOS(Liquid Crystal On Silicon)、DMD(Digital Mirror Device)などである。
変調器2005と変調器ドライバ2006は一つの素子部品として構成されてもよい。
以下変調器2005をLCOS方式と想定して説明する。
前記光源素子2003から出射された光は、前記変調器2005によって変調され、投影部2007に投射される。
投影部2007は例えばミラーなどの反射物やスクリーンなどの散乱物、またはプリズム、ハーフミラー、レンズなどが挙げられる。また、これら複数の組み合わせでもよい。
投影部2007の構造またはその他の構成要素の追加によって、本発明の映像表示装置10は装置利用者20の視界全体を覆う不透明なゴーグルのような形態と、装置利用者20が外界を視認することが可能であり視界の一部に映像を認識させる透過型形態が考えられる。以下の説明は透過型の形態を想定する。
透過型の形態では、装置利用者20は図7A,図7B,図7Cに示すように映像を視認する。すなわち、装置利用者20は、図7Aのような外界と図7Bのように仮想映像7001を重ね合わせ、図7Cのように認識できる。
また、映像表示装置10には、映像を装置利用者20の両眼に投影する形態と、片方の目のみに投影する形態がある。図2では片方の目のみに投影する場合を想定しているが、両眼に投影する場合には、変調器2005からの光を左右二つの目に入射するように2つの投影部2007を持つように構成する。または映像表示部1001全体を右目用と左目用の二つ有する構成として、視差を伴う異なる画像を投影し、立体映像としてもよい。
前記投影部2007からの光を装置利用者20が観測することで、前記入力された映像情報に応じた光を映像として認識することができる。
設定制御部2008は制御信号を受信し、映像信号処理部2001の設定を変更することができる。
映像表示部1001は映像を表示するための表示方法を二つ以上有する。図4A、4B,4C,4Dに表示方法を例示する。映像情報は例えば平均して1秒間当たりにN枚分の静止画が決まった順序で並べられた動画情報として扱われる、Nは1以上の正の数である。この時Nをフレームレートと呼び、毎秒の静止画数としてフレーム毎秒(fps:flames per second)であらわされる。フレームレートは例えば30fpsや60fpsなどが現在は一般的である。図4の例では映像情報のフレームレートに対して、映像表示部1001の表示回数を変更している。
図4Aに第一の表示方法を例示する。第一の表示方法では映像表示部1001は、フレームレートNに対し1/N秒につき1回表示映像を変更する。表示映像をフレームと呼称する。
本実施では、フィールドシーケンシャル方式(色時分割方式)を例として説明する。すなわち一つのフレームの表示に対し、映像表示部1001は映像情報を赤、緑、青の原色成分に分割し、1/N秒をさらに3分割した時間内で各色成分の映像をそれぞれ別に表示する。
例えばフレーム1の表示期間の最初では、LCOSである変調器2005の表示をフレーム1の映像情報から分割された赤成分に対応する設定(1R)とし、赤色LED3001を1/(3N)秒より短い所定時間(期間1R)だけ発光する。次に、変調器2005はフレーム1の緑成分に対応する設定(1G)とし、緑色LED3002を1/(3N)秒より短い所定時間(期間1G)だけ発光する。さらに変調器2005をフレーム1の青成分に対応する設定(1B)とし、青色LED3003を1/(3N)秒より短い所定時間(期間1B)だけ発光する。各色成分の表示を高速に順次行うことにより、装置を装着している観測者には三原色の成分が混ざったフルカラーの画像として認識される。
このような各色成分の表示が表示映像のフレーム2、フレーム3に対しても同様に行われる。図4A〜Dではフレーム3までの記載であるが、以降のフレームに対しても同様の処理が繰り返し実行される。
図4Bには第二の表示方法を例示する。第二の表示方法では図4Aの第一の表示方法と比較して、各フレームに対する変調器2005の各色成分の表示時間をさらに2分割し、表示映像のフレームレートNに対応する1/N秒を6分割した期間で一つの色成分を表示する。この第二の表示方法を、第一の表示方法の2倍の更新速度で変調器2005を駆動することから、2倍速駆動と呼ぶ。
さらに変調器2005と光源素子2003の駆動速度を高速化することで、3倍速、4倍速、それ以上の表示方法も実現可能である。変調器2005と光源素子2003の駆動速度を変更することは、液晶素子またはミラーアレイ素子の画素情報の更新周期を変更することである。図4Dに3倍速駆動のタイミングチャートを示した。
図4Cには2倍速駆動時の変形例を示す。変調器2005や光源素子2003の駆動周期は図4Bの表示方法と同様である。元の映像情報のフレーム1とフレーム2や他のフレームの映像から中間フレームのフレーム1.5を生成し、フレーム1、フレーム1.5、フレーム2の順に表示することで、観測者にとってはより滑らかな画像として認識される。中間フレームの生成は映像処理部1008により実施される。
例えば図4Dのように2倍速よりも速い3倍速や4倍速などの更新速度であっても、中間フレームの生成は可能であり、2倍速に限るものではない。
1倍速表示、2倍速表示、3倍速表示と倍速を挙げると、あるいは、中間フレームを生成することにより、装置利用者20が色割れを知覚しづらくなることで不快感は少なくなり、画像の動きがなめらかになるが、電力の消費量が大きくなる。
表示制御部1002は、映像表示部1001の設定制御部2008を介して表示方法の切り替えを指示する制御信号を送信する。
映像処理部1008は、映像情報源1007から入力された映像情報に変化を加えて映像表示部1001に出力することができる。
映像情報は例えば1フレームにつき縦にH個(Hは1以上の整数)横にV個(Vは1以上の整数)のH×V個の画素のデータを含む情報である。
画像のコントラスト変更とは、色の明暗の差異を変化させる処理で、映像情報源1007から入力された画素値に1より高い比例係数を掛けた値を映像表示部1001に出力する画素値とする処理である。
画像の明るさ変更とは、画素値に対して、指定された値だけ増分して出力の画素値とする処理で、映像情報源1007から入力された画素値に任意の値を加算して映像表示部1001に出力する画素値とする処理である。
映像処理部1008は、制御部1003からの信号に応じて画像のコントラストを上げるまたは下げる、および/または画像の明るさを上げるまたは下げるなどの処理をおこなう。
映像処理部1008は、画像に関する他のパラメータ、例えば、シャープネス、彩度、色相を制御部からの信号に応じて変更しても良い。
映像処理部1008は、制御部1003からの信号に応じて、これらの処理を行わずに映像情報を映像表示部1001に送るように切り替えることも可能である。
例えば図8Aに示す映像に対して、コントラストを弱めると図8Bのような映像になる。一方図8Aの映像のシャープネスを弱めると図8Cのような映像になる。後述するように、装置利用者20の視点位置が表示画像の映像上に無い場合には、コントラストやシャープネスを弱めることにより、装置利用者20の目の疲労を軽減することができる。
3.装置利用者の動きと映像の制御
第1センサ1004は装置利用者20の頭部の回転を検出するためのセンサであり、例えばジャイロセンサである。第1センサ1004は、所定時間の頭部の動きを示す3次元動きベクトルを出力する。第2センサ1005は視線の動きや注視点の位置を検出するための視線センサであり、装置利用者20の所定時間の視線の動きを示す2次元動きベクトルまたは3次元ベクトルを出力する。
運動判定処理部1006は、第1センサ1004と第2センサ1005の出力から、装置利用者20の運動状況を判定する。具体的には、頭部の動き、視線の動き、頭部の動きと視線の動きの方向の3つである。センサ出力からこの3つの項目を判定する処理については、後述する。また、運動判定処理部1006は、注視点が映像表示装置による仮想映像7001上にあるかないかを判定するが、その処理についても後述する。
制御部1003は、前記運動判定処理部1006の判定結果から、処理内容を図5にしたがって決定して、映像表示部1001の表示速度を表示制御部1002に、および映像のパラメータに関する処理を映像処理部1008に指示する。
図5のパターン1では、装置利用者20の頭部の動きがなく、視線の動きがなく、注視点が仮想映像上にある場合である。この時、装置利用者20は静止しているため、装置への加振や装置と装置利用者20の位置ずれも発生しづらい。また眼球の移動もない。カラーブレイクなどの装置利用者20が不快に感じる現象も発生しづらい。このような場合、不快感への影響に対して配慮の必要性は低いので、制御部1003は処理Aを指示する。
処理Aとは、映像表示部1001の表示方法を1倍速駆動とし、映像処理部1008による映像処理を行わず、映像情報源からの映像に変更を加えることなく映像表示部1001に渡す処理である。最も、電力消費の少ない処理である。
図5のパターン2では、パターン1と比較して、第2センサ1005による検出される注視点が仮想映像上にない点が違う。この時、装置利用者20は停止しており、さらに仮想映像7001を視認しておらず、視認性の重要度が低下するため、制御部1003は処理Bを指示する。
処理Bとは、映像表示部1001の表示方法を1倍速駆動とし、映像処理部1008によって映像のコントラストと明るさを規定の量下げる処理である。
図5のパターン3、パターン5、パターン8は、装置利用者20の頭部の動きが検出されたか、または視線の動きの検出がされたかのいずれかであり、かつ注視点仮想映像上にある場合である。
これらのパターンでは、装置利用者20は静止しておらず、映像表示装置10の装置利用者20が不快を感じる可能性が増すため、不快感への配慮の必要性は高くなる。不快感を低減するための制御部1003は処理Cを指示する。
処理Cでは、映像表示部1001の表示方法をより更新速度の早い3倍速とする一方、映像処理部1008による映像処理を初期値に戻す。
図5のパターン4、パターン6、パターン9は、装置利用者20の頭部の動きが検出された、または視線の動きが検出されたかのいずれかであり、かつ注視点が仮想映像上にない場合である。
これらのパターンでは、装置利用者20は静止しておらず、装置利用者20の不快感への配慮の必要性は高くなるが、装置利用者20は仮想映像6001を視認しておらず、視認性の重要度も低いため、制御部1003は処理Dを指示する。
処理Dでは、映像表示部1001の表示方法をより更新速度の早い3倍速とする一方、映像処理部1008によって映像のコントラストと明るさを規定の量下げる。
図5のパターン7では、装置利用者20の頭部の動きが検出され、かつ視線の動きが検出されている。この時の前記頭部の動きの方向と前記視線の動きの方向が略同一の方向である場合、眼球運動はいわゆるサッカード(saccade:断続性運動)である可能性が高く、装置利用者20は外界も仮想映像7001も認識外になっている可能性が高い。このような場合にも装置利用者20の映像への不快感には配慮する必要があるが、仮想映像の視認性の重要度は低いので、制御部1003は前述の処理Dを指示する。
図6は図5に表した、パターンによる制御様式を実現するためのフローチャートであり、制御部1003と運動判定処理部1006により実行される。
本体電源スイッチがONにされた時、あるいは、装置利用者20からの指示があった時に、ステップS010から処理が開始される。
ステップS020において、制御部1003は、初期設定と第1センサ1004および第2センサ1005の通電処理を行う。初期処理では、映像表示部1001の表示方法を2倍速に設定し、映像処理部1008の各種パラメータを規定の初期値にする。
ステップS030において、運動判定処理部1006が第1センサ1004からセンサ出力を取得する。
ステップS040において、運動判定処理部1006が第2センサ1005からセンサ出力を取得する。
ステップS050では、頭部の回転速度の大きさが規定値A1(A1は正の値)以上であるかを、運動判定処理部1006が第1センサの出力から判定し、判定結果をXとする。該検出結果が規定値A1以上であればXは真(‘1’)とし、A1未満であればXは偽(‘0’)とする。
ステップS060では、運動判定処理部1006が、第2センサの出力から、視線の移動の速度の大きさが、規定値S1(S1は正の値)以上であるかを判定し、判定結果をYとする。該検出結果が規定値S1以上であればYは真(‘1’)とし、S1未満であればYは偽(‘0’)とする。
ステップS070では、運動判定処理部1006が、第2センサの出力から、視線の位置(注視点)の2次元座標が仮想画像の上(所定の範囲内)にあるかどうかを判定し、判定結果をZとする。注視点の位置が所定の範囲内である場合Zは真(‘1’)として、注視点の位置が所定の範囲外である場合Zは偽(‘0’)とする。
上述のX,Y,Zとその値を図5にも示してあるので参照されたい。
ステップS080では、運動判定処理部1006が、前記判定結果Xと前記判定結果Yの論理積に基づいて条件分岐をおこなう。X・Y=0であるならば、ステップS110に進み、X・Y=1であるならばステップS090に進む。
ステップS090では、運動判定処理部1006が、前記判定結果Xと前記判定結果Yの排他的論理和(XOR)に基づいて条件分岐を行う。X XOR Y=1であるならばステップS111に進み、X XOR Y=0であるならばステップS100に進む。
ステップS110では、Zが真であるならばステップS120に進み、制御部1003が処理Aを指示し、Zが偽であるならばステップS130に進み、制御部1003が処理Bを指示する。
ステップS100では、運動判定処理部1006が、第1センサ1004の出力である頭部の移動速度の方向と、第2センサ1005の出力である視線の移動方向とを比較し、動きベクトルの方向が略一致するかを判定する。その判定方法については、後述する。
ステップS111では、判定結果Zに基づいて条件分岐を行う。Zが真であるならばステップS140に進み、制御部1003が処理Cを指示し、Zが偽であるならばステップS150に進み、制御部1003が処理Dを指示する。
ステップS160では、本フローを連続的に実施する設定となっているかを判定する。該設定は装置利用者20が設定あるいは設定変更しても良いし、デフォルトが設定されていてもよい。設定が有効であれば待機ステップS170に進み、設定が無効であれば終了ステップS180に進む。
ステップS170では、所定の時間(300ミリ秒から10秒程度)の待機を行った後、ステップS030に戻る。
ステップS180では第1センサ1004および第2センサ1005の電源遮断処理や休止設定を実施する。
終了ステップS190で処理が終了する。
映像表示装置10は記憶部1010を有する。制御部1003は映像表示部1001の表示方法を変更した際、または映像処理部1008の処理方式を変更した際に、変更を行った履歴や時刻等を記憶部1010に記録する。
頻度判定処理部1011は記憶部1010に記録された各処理の変更履歴が所定時間内に所定の回数を超えた場合、例えば、3日間に5回の変更が行われた場合、映像情報源1007に対して変更履歴に応じた映像情報の設定変更を要求する。映像情報の変更要求は、例えば図6のステップS180の終了処理のタイミングで行われ、映像情報の変更とは画像のコントラスト、シャープネス、彩度、色相、画像の明るさなどのパラメータの変更である。
4.視線センサ
第2センサ1005である視線センサの1例を紹介する。
図11Aに示すようにセンサA素子1101とセンサB素子1102と検出制御器1103を備える構成である。センサA素子1101が動きを検出すると検出制御器1103がセンサ2素子1102を起動し、より精密なデータを出力するようにセンサB素子に命令する。
より具体的な構成を図11Bに示す。図1B,図1Dのような眼鏡型の装置のフレーム部分に実装するのに適している。視線センサは装置利用者20の目1111の動きの検出が可能であり、赤外光を出射する第一の投光部1112および第二の投光部1113、第一の受光器1114および第二の受光器1115、比較器1116、第一のカメラ1117および第二のカメラ1118、電流制御部1119、動き検出処理部1120、休止制御部1121から構成される。
第一の投光部1112および第二の投光部1113から出射された赤外光は装置利用者20の目1111に投影され反射される。反射された赤外光は第一の受光器1114および第二の受光器1115に入射する。第一の受光器1114と第二の受光器1115は目1111に対して左右異なる方向に設置され、黒目と白目の位置によって受光量が変化する。目1111の左右に第一の受光器1114と第二の受光器1115が配置されるため、目1111が変位した際の受光量の変化は受光器によって異なる。第一の受光器1114の受光量と第二の受光器1115の受光量から、比較器1116によって差分を求めることで、目1111の動きを検出できる。強膜反射法と呼ばれる検出方法である。
動き検出器1120は、比較器1116出力が所定値以上の場合に目1111の動きを検出したと判定し、動き検出信号を出力し、比較器1116出力が所定値より小さい場合に目1111に動き無しと判定し、動き不検出信号を出力する。
動き検出器1120から動き検出の信号を受信すると、休止制御部1121は第一のカメラ1117および第二のカメラ1118を映像の撮影が可能な撮像状態とし、それらのカメラは目1111から反射された赤外光により目1111を撮像する。第一のカメラ1117および第二のカメラ1118により撮像された映像から、図示しない画像処理部により画像処理を行いより詳細な視線の動きおよび視点の位置を推定する。画像処理には、暗瞳孔法や角膜反射法などを用いる。
動き検出器1120から動き不検出の信号を受信すると、休止制御部1121は第一のカメラおよび第二のカメラ内の一部機能を停止して消費電力を抑える休止状態とさせる。
動き検出処理部1120は、動き検出あるいは動き不検出の信号を電流制御部1119に送る事によって、第一の投光部1112および第二の投光部1113への供給電力を変更する。休止状態における電流量よりも撮像状態における電流量が大きくなるように制御する。
一般的にカメラ素子は受光器よりも消費電力が高く、また検出に必要となる光量も多くなる。このため、常時カメラ素子を撮像状態とするよりも、大まかな動きが受光器で検出された場合のみカメラ素子を撮像状態とする本制御方法により装置の消費電力が抑制される。
本実施例では投光部は二つの場合を例示したが、個数はこれに限るものではない。さらに多くの投光部を有してもよい。また、各投光部の発光タイミングを異なるように制御して、各投光部の発光に合わせて受光器またはカメラ素子はデータを取得する構成でもよい。
また、カメラ素子と受光器の個数についても、各二個の場合を例示したが、個数はこれに限るものではない。また、受光器とカメラ素子は一つの素子として構成されてもよく、例えばカメラ素子の一部画素を受光器として構成しても良い。
5.視点のずれ補正と注視点位置の検出
図6に示した初期設定ステップS020では、第2センサ1005の初期化処理を行ってもよい。第2センサ1005が装置利用者20の視線を検出するセンサである場合、装置利用者20の注視点と第2センサと位置の間に、装置の使用毎にずれが生じる可能性がある。
このずれを補正するために、運動判定処理部1006は、初期化処理時に映像表示部1001に図12Aに示すように表示領域に対角線仮想映像1201を表示し、装置利用者20をその交点を見つめるように促す文章を表示する。第2センサ1005が注視点の位置で所定の秒数静止していることを検出した場合、装置利用者20が仮想映像1201の交点を凝視していると判断して、注視点の位置を第2センサ1005の基準位置p0(h0,v0)と設定する。
映像表示部1001の映像表示範囲全体が仮想映像1201のようにP1(Hmin,Vmin)、P2(Hmax,Vmin)、P3(Hmin,Vmax)、P4(Hmax,Vmax)で囲まれる四角形である時、h0=(Hmax−Hmin)/2、v0=(Vmax−Vmin)/2となる。
図6の注視点判定ステップS070では基準位置p0(h0,v0)を基準として、第2センサ1005の検出結果が映像表示部1001に表示された映像の上にあるか(Zが‘1’か)を判定する。図12Bのように、任意の仮想表示映像1202がQ1(Hl,Vd)、Q2(Hl,Vu)、Q3(Hr,Vd)、Q4(Hr,Vu)に囲まれる領域に表示されているとき(Hmin≦Hl≦Hmax、Hmin≦Hr≦Hmax、Vmin≦Vd≦Vmax、Vmin≦Vu≦Vmax)、第2センサ1005により、注視点の位置がp(h,v)として得られたとする。この時、p(h,v)が四角形Q1Q2Q3Q4内にある場合に、運動判定処理部1006は、注視点の位置が仮想映像上にあるとし、ステップS070のZが真であると判定する。
基準位置の検出タイミングは、初期処理以外にも、コントローラ1020により、装置利用者20が指定した時点に行ってもよい。装置利用者20が指定された点の注視の前後に故意に特定の長さまたは特定の順序のまばたきをすることで第2センサ1005に検出タイミングを指示してもよい。
仮想表示映像1202は四角形である必要はなく、三角形や円形などその他の図形でもよい。
6.頭部の動きの視線の動きの方向
運動判定部1006では、第1センサ1004の動きベクトル出力と、第2センサ1005の動きベクトル出力から、頭部の動きと視線の動きのそれぞれの動きの方向が一致するかを検出する。
第1センサ1004の出力が三次元ベクトルAで表現できるとする。装置利用者20が仮想映像7001を認識する距離にあり、仮想映像7001の四隅を含む仮想平面をSとしたとき、平面Sに対する三次元ベクトルAの正射影ベクトルをAとする。第2センサ1005の出力が三次元ベクトルの場合も同様のベクトル変換処理を行う。
装置利用者20が仮想映像7001を認識する距離は映像表示部1001内の投影部2007などの光学的な構成によって決まり、装置利用者20は眼球の焦点調節機能により仮想映像7001を所定の距離離れた位置に認識する。
第2センサ1005が二次元ベクトルB0を出力するとき、第2センサ1005の検出軸を含む三次元空間上の平面Tを考えて、二次元ベクトルB0を平面T上の三次元ベクトルBに変換し、三次元ベクトルBの平面Sに対する正射影ベクトルをBとする。第1センサ1004の検出結果が二次元の出力で得られる場合も同様のベクトル変換処理を行ってもよい。
両検出センサの移動方向を単一の平面に投影したベクトルとして表現し、第1センサ1004の出力の移動ベクトルをA、第2センサ1005の出力の移動ベクトルBとしたとき、両ベクトルのなす角(ANGLE) θ= ANGLE(A−B)の絶対値と、任意の値α(αは正の値)との比較を持って略一致を判断する。
すなわち、θ≦αであれば移動方向が略一致すると判定し、θ>αであれば移動方向が一致しないと判定する。
7.変形例
(1)第1センサ1004と第2センサ1005は、加速度センサ、地磁気センサ、GPS、使用者を撮影するカメラ、使用者から見た外界映像を撮影するカメラ、使用者の脈拍を測定するセンサ、使用者の血流を測定するセンサ、時計などでもよい。また、第1センサ1004および第2センサ1005はそれぞれにフィルタや増幅器やレベルシフタなどを含んでいてもよい。または、コンパレータを含んで、閾値に対して検出結果が高いか低いかの二値での結果をベクトル値とともに送信する構成でもよい。また、検出結果である動きの持続時間が所定の時間を超えた場合、動きが所定の速度を超えた場合、動きが所定の変動量を超えた場合のいずれかの一つ以上の条件を満たすときに、動きが検出されたとする信号を出力する構成でもよい。
(2)第1センサ1004または第2センサ1005の出力を利用した運動判定処理部1006の判定処理に替わりに、映像判定処理部1009が画像の特徴を判定しても良い。
映像判定処理部1009は、映像情報が装置利用者20に対して、表示の不快感を発生する可能性があるかを判定する。例えば図9Aに示すように画面内を物体が連続的に移動するような映像の場合、装置使用者20は移動する映像に対して眼球を動かして追従すると予測される。また、例えば図9Bに示すように画面内に文字列などの縦、横、斜めの方向に連続的に認識することで意味を生じるような内容が映像に含まれる場合、装置使用者20は眼球を動かして視点を映像に沿って動かすことが予想される。
このような画像は、映像判定処理部1009がデジタル画像の映像解析を行い、画像フレーム間の差分データの量を参照する事により、予め検出できる。
図9A、図9Bのようにあらかじめ視点を動かすことが予測されるような映像の場合は、処理Cを適用するように、映像判定処理部1009が制御部1003に制御信号を出力する。
また、映像表示装置10の投影部2007が透過型である場合、映像判定処理部1009は、表示する映像が外界と関連のある映像、例えば拡張現実(AR:Argmented Reality)の映像であるかを判定してもよい。映像判定処理部1009は、映像のメタデータや付加情報から映像の種類を判定できる。例えば図7Bの仮想映像7001は、図7Aの外界と関連した情報を表示しており、このように外界と関連のある映像であると判定された場合は、注視点が仮想映像7001以外の位置に検出されても(Zが偽)、表示映像の視認性の重要度は高いため、図5の処理Cの適用を制御部1003に指示する。
(3)映像表示部1001の表示方法として、図10Aに示す表示方法を採用しても良い。図10Aに示す表示方法では、図4Bの2倍速駆動とし、光源の制御を停止し、光源素子2003の赤色LED3001、緑色LED3002、青色LED3003の発光期間を略同時とする。このようにすることで、三つのLEDからの光が混色され、装置利用者20は映像を白黒の画像として認識し、原理上カラーブレイクが発生しない。図5において、映像の不快感配慮への必要性が高いとした図5の処理Cおよび処理Dに適用してもよい。
さらに、映像情報のうち連続する複数のフレームの画像が略同一の画像である場合、変調器2005のフレームの更新を停止してもよい。例えば図10Bのように、フレーム1とフレーム2とフレーム3が、略同一の画像である場合、これらのフレームに対応する期間、変調器2005は同一のフレーム1を表示し続ける。
略同一の画像であるとは、例えばH×V個の画素情報(H、Vともに正の整数)として映像情報が表現できるとき、連続するフレームの間で、情報が変更された画素の数がH×V個よりも十分小さい場合や、各画素の色情報がR、G、Bの原色情報(例えばR、G、Bともに0〜255までの正の整数)として表現できるとき、連続するフレームの間で各画素のR、G、Bの値の変化が十分に小さい場合などが挙げられる。
こうすることで画像のちらつきを低減できる。また変調器2005が強誘電液晶を使用している場合には、同一のフレームを複数回表示するために、情報の消去と再表示に電力を消費する。変調器2005のフレーム更新を停止することでさらに電力消費の低減につながる。図5の処理Cおよび処理Dに適用しても良い。
(4)映像情報源1007は外部から映像情報を取得する構成でもよい。例えば、DVI、HDMI(登録商標)、DisplayPortなどの映像伝送規格に準拠した受信器であってもよいし、SPI、I2C、RS232、USBなどの一般的な電気信号の伝送方法を用いる受信器であってもよいし、Ethernet(登録商標)などの有線ネットワーク受信器であってもよいし、無線LANやBluetooth(登録商標)などの無線ネットワーク受信器であってもよい。
また、映像情報源1007は、圧縮された情報を受信して伸張することで映像情報にするデコーダを含んでいてもよいし、暗号化された映像情報を受信して復号する機能を含んでいてもよい。
(5)電源部1012は映像表示装置10に電力を供給する。電源部1012は電力源として外部電源から充電可能な充電式電池、交換可能な一次電池から所望の電力を取り出す電源回路、コンセントなどの外部電源と接続して所望の電力を取り出すためのコンバータ、電力安定化回路のうち一つ以上を含む。また、電源部1012は電力源の他に、充電や供給電力などを制御したり電力源を観測したりするための電力制御用の集積回路を含む構成でもよい。
制御部1003は、電源部1012から電力源の残り電力量の情報を取得し、残り電力量が所定値を上回る場合のみ、映像処理部1008の映像処理を動作させるように制御する。
制御部1003は、電源部1012の残り電力量が所定値を上回る場合のみ、映像表示部1001の表示方法を表示周期が短くなるように変更できる構成としてもよい。
制御部1003は、電源部1012の残り電力量が所定値を下回る場合、映像表示部1001の表示方法を表示周期が長くなるように変更する構成としてもよい。
図13は実施例2の説明図である。図1と異なる部分のみ説明する。
第1センサ1304、第2センサ1305は映像表示装置130の筐体とは分離して設けられている。いずれのセンサも実施例1と同様、装置使用者20の動作を検出する。
本実施例では、第1センサ1304と映像表示装置130との間の情報のやり取りは、通信部1013を介して行う。通信部1013と第1センサ1304とは物理的に接続された導線上を電気信号として通信されてもよいし、無線LAN、Bluetooth(登録商標)、Zigbee(登録商標)などの無線通信を介して行われてもよい。第1センサ1304は図示しない通信部を含んで構成されてもよい。無線通信を利用する場合には第1センサ1304は、映像表示装置130と異なる電源から電力供給されてもよい。
第2センサ1305についても、第1センサ1305と同様に、通信部1013との情報のやり取りを前記の有線通信で行っても前記の無線通信で行ってもよい。第2センサ1305は図示しない通信部を含んで構成されてもよい。また、無線通信を利用する場合には、映像表示装置130と異なる電源から電力供給されてもよい。
運動判定処理部1006は通信部1013を介して、第1センサ1304ないし第2センサ1305の出力を受信する。
図14、図15は本実施例の変形例である。
図14に示す変形例では、第1センサ1404、第2センサ1405、運動判定処理部1406は、映像表示装置140の筐体とは分離して設けられている。運動判定処理部1406と制御部1003との間の情報のやり取りは通信部1013を介して行われ、前記の有線通信で行っても前記の無線通信で行ってもよい。また、第1センサ1404、第2センサ1405、運動判定処理部1406が、同一の筐体内に含まれる構成でもよい。また、運動判定処理部1406は図示しない通信部を含んで構成されてもよい。
図15に示す変形例では、第2センサ1305は、映像表示装置150の筐体とは分離して設けられている。第2センサ1305と運動判定処理部1006との間の情報のやり取りは通信部1013を介して行われ、前述の様に有線通信で行っても無線通信で行ってもよい。
分離して設けられる第1センサ1304、第2センサ1305は、装置利用者20に装着される必要はなく、装置使用者20の頭の動きや、目の動きなどを検出できれば良く、例えばカメラと画像処理を用いたセンサであってもよい。装置利用者20が固定した位置において映像を見ながら作業を行い、作業台にカメラ型の第1センサ1304および第2センサ1305を設置する場合が想定される。
また、装置使用者20が定位置に直立または着座して映像表示装置130、映像表示装置140、映像表示装置150を使用する場合、装置利用者20の下に重心位置の変位を測定する圧力分布測定器などの検出センサを設けることで、第1センサ1304または第2センサ1305としてもよい。
図16は実施例3の説明図である。図1と異なる部分のみ説明する。
本実施例では、記憶部1610、頻度判定処理部1611は映像表示装置160と分離してサーバー1601に設けられる。記憶部1610、頻度判定処理部1611の動作は実施例1の記憶部1010、頻度判定処理部1011とそれぞれ同様である。
記憶部1310と制御部1003との間の情報のやり取りは、映像表示装置160の通信部1013とサーバー1601の通信部1612とを介して行われ、通信部1013と通信部1612の間は物理的に接続された導線上を電気信号として通信されてもよいし、無線LAN、Bluetooth(登録商標)、Zigbee(登録商標)などの無線通信を介して行われてもよい。
頻度判定処理部1611と映像情報源1007との間の情報のやり取りも同様に通信部1013と通信部1612を介して行われ、前述の様に有線通信で行っても無線通信で行ってもよい。
また、図17は映像表示装置160を複数含むシステムでの制御方法について示している。第一の映像表示装置1711、第二の映像表示装置1712、第三の映像表示装置1713、第四の映像表示装置1714とし、それぞれがネットワーク1730を介してサーバー1601と通信可能となっている。
第一の映像表示装置1711は第一の使用者1721に使用され、第二の映像表示装置1712は第二の使用者1722に使用され、第三の映像表示装置1713は第三の使用者1723に使用され、第四の映像表示装置1714は第四の使用者1724に使用されている。
第一の映像表示装置1711、第二の映像表示装置1712、第三の映像表示装置1713、第四の映像表示装置1714は、それぞれが映像表示装置160と同等の性能を有している。
サーバー1601は記憶部1610と頻度判定処理部1611を有しており、第一の映像表示装置1711、第二の映像表示装置1712、第三の映像表示装置1713、第四の映像表示装置1714の制御部1003から、ネットワーク1730を介して、映像表示部1001の表示方法を変更した際、または映像処理部1008の処理方式を変更した際の履歴や時刻などを受信する。
サーバー1601は、それぞれの映像表示装置から送られてきた変更情報から共通する情報を抜き出し、頻度判定処理部1611により、記憶部1610に記録されたそれぞれの映像表示装置の処理が共通であり、その共通の処理が所定時間内に所定の回数を超えた場合に、映像情報源1007に対して映像情報の変更を要求する。映像情報の変更は、例えば画像のコントラスト、シャープネス、彩度、色相、画像の明るさなどのパラメータの変更である。
ネットワーク1730に接続される映像表示装置160の数は、本実施例に示した数に限ったものではなく、1台以上の映像表示装置160が接続されていればよい。
上記記載は実施例についてなされたが、本発明はそれに限らず、本発明の精神と添付の請求の範囲の範囲内で種々の変更および修正をすることができることは当業者に明らかである。
10・・・映像表示装置
1001・・・映像表示部
1002・・・表示制御部
1003・・・制御部
1004・・・第1センサ
1005・・・第2センサ
1006・・・運動判定処理部
1007・・・映像情報源
1008・・・映像処理部
1009・・・映像判定処理部
1010・・・記憶部
1011・・・頻度判定処理部
1012・・・電源部
1013・・・通信部
1020・・・コントローラ
20・・・装置利用者
2001・・・映像信号処理部
2002・・・光源素子電源制御部
2003・・・光源素子
2004・・・光源ドライバ
2005・・・変調器
2006・・・変調器ドライバ
2007・・・投影部
2008・・・設定制御部
3001・・・赤色LED
3002・・・緑色LED
3003・・・青色LED
3004、3005、3006・・・電流制限抵抗
7001・・・仮想映像
1101・・・センサA
1102・・・センサB
1103・・・検出制御部
1111・・・目
1112、1113・・・投光部
1114、1115・・・受光器
1116・・・比較器
1117、1118・・・カメラ
1119・・・電流制御部
1120・・・動き検出処理部
1121・・・休止制御部
1201・・・仮想映像
1202・・・仮想表示映像
130・・・映像表示装置
1304・・・第1センサ
1305・・・第2センサ
140・・・映像表示装置
1404・・・第1センサ
1405・・・第2センサ
1406・・・運動判定処理部
150・・・映像表示装置
160・・・映像表示装置
1601・・・サーバー
1610・・・記憶部
1611・・・頻度判定処理部
1612・・・通信部
1711・・・第一の映像表示装置
1712・・・第二の映像表示装置
1713・・・第三の映像表示装置
1714・・・第四の映像表示装置
1721・・・第一の使用者
1722・・・第二の使用者
1723・・・第三の使用者
1724・・・第四の使用者
1730・・・ネットワーク

Claims (14)

  1. 利用者の頭部に装着可能な映像表示装置であって、
    二つ以上の表示方法を切り替えることができる映像表示部と、
    前記映像表示部に表示方法を指定する制御部と、
    利用者の頭部の動きを検出する第一の検出部と、
    利用者の視の動きを検出する第二の検出部と、
    前記第一の検出部の出力と前記第二の検出部の出力により装置利用者の運動状況を判定する運動判定部と、
    を含み、
    前記制御部は前記運動判定部の判定結果に応じて、前記映像表示部に前記表示方法の切り替えを指示するもので、前記運動判定部により、前記運動状況として、利用者の頭部及び視線の少なくともいずれかの動きがあったと判定された場合は、頭部及び視線のいずれの動きもなかったと判定された場合よりも、前記映像表示部に表示される映像のフレームレートを高くするように指示すること、
    を特徴とする映像表示装置。
  2. 請求項1に記載の映像表示装置であって、
    前記映像表示部は液晶素子またはミラーアレイ素子を用いたディスプレイであって、
    前記二つ以上の表示方法の切り替えは、液晶素子またはミラーアレイ素子の画素情報の更新周期、光源の点灯周期のうち一つ以上の切り替えを含むこと
    を特徴とする映像表示装置。
  3. 請求項1に記載の映像表示装置であって、更に
    映像のパラメータであるコントラスト、シャープネス、彩度、色相、画像の明るさの少なくとも1つを変更可能な映像処理手段を有し、
    前記二つ以上の表示方法の切り替えは、前記制御部による前記映像処理手段への、コントラスト、シャープネス、彩度、色相、画像の明るさの少なくとも1つの切り替え指示を含むこと
    を特徴とする映像表示装置。
  4. 請求項2に記載の映像表示装置であって、更に
    映像のパラメータであるコントラスト、シャープネス、彩度、色相、画像の明るさの少なくとも1つを変更可能な映像処理手段を有し、
    前記二つ以上の表示方法の切り替えは、前記制御部による前記映像処理手段への、コントラスト、シャープネス、彩度、色相、画像の明るさの少なくとも1つの切り替え指示を含むこと
    を特徴とする映像表示装置。
  5. 請求項2に記載の映像表示装置であって、
    前記運動判定部が、前記第一の検出部の出力と前記第二の検出部の出力から、利用者の頭部の動きの有無、利用者の視線の動きの有無、利用者の視点が映像表示部により表示されている映像上にあるか否か、頭部の動きと視線の動きが一致するか否かを利用者の運動状況として判定すること
    を特徴とする映像表示装置。
  6. 請求項5に記載の映像表示装置であって、
    前記制御部は、利用者の頭部に対する視線の相対的な動きが大きいほど、前記映像表示部の液晶素子またはミラーアレイ素子の画素情報の更新周期と光源の点灯周期の少なくとも一方を大きくし、利用者の視点が映像表示部により表示されている映像上に無い場合に、映像のコントラスト、明るさの少なくとも1つを下げる処理を行うこと
    を特徴とする映像表示装置。
  7. 請求項1記載の映像表示装置であって、更に
    前記制御部が映像パラメータの切り替えを指示したことを記憶する記憶部と、
    前記記憶部に記憶された切り替えの内容と規定の時間内の切り替え回数を判定する頻度判定部を有し、
    前記頻度判定部が、切り替え回数の多かった映像パラメータの変更を映像情報源に伝達すること、
    を特徴とする映像表示装置。
  8. 請求項5に記載の映像表示装置であって、
    前記運動判定部は、第一の検出部の出力ベクトルと第二の検出部の出力ベクトルを映像表示平面に正射影して、それぞれ二次元ベクトルに変換し、2つの変換された二次元ベクトルの角度が規定値を下回った時に頭部の動きと視線の動きの方向が一致すると判定すること
    を特徴とする映像表示装置。
  9. 請求項1に記載の映像表示装置であって、
    前記第一の検出部はジャイロセンサ、加速度センサ、地磁気センサ、GPS、カメラのいずれか1つを含む構成であること
    を特徴とする映像表示装置。
  10. 請求項1に記載の映像表示装置であって、
    前記制御部は電源の残り電力量の情報を得て、前記映像表示部の表示方法の変更を制限すること、
    を特徴とする映像表示装置。
  11. 請求項1に記載の映像表示装置であって、
    前記第二の検出部は、
    目の異なる位置に対して、光を照射する少なくとも2つの投光器と、
    前記照射された光の目から反射光を受信する異なる位置にある2つの受光器と、
    前記2つの受光器の出力から眼球の動きを検出する動き検出器と、
    前記動き検出器が眼球の動きを検出している間に動作する少なくとも1つの目を撮影するカメラと、を含むこと、
    を特徴とする映像表示装置。
  12. 請求項1に記載の映像表示装置であって、
    前記運動判定部は、前記運動状況として、前記第一の検出部または第二の検出部で検出した動きの持続時間が所定の時間を超えた場合、動きが所定の速度を超えた場合、動きが所定の変動量を超えた場合のいずれかの一つ以上の条件を満たすときに、動きがあったと判定すること、
    を特徴とする映像表示装置。
  13. 利用者の頭部に装着可能であり、二つ以上の表示方法を切り替えることができる映像表示部により映像を表示する方法であって、
    第一の検出部により利用者の頭部の動きを検出し、
    第二の検出部により利用者の視の動きを検出し、
    運動判定部により前記第一の検出部の出力と前記第二の検出部の出力により装置利用者の運動状況を判定し、
    前記運動判定部の判定結果に応じて、前記映像表示部に表示方法の切り替えを指示するもので、前記運動判定部により、利用者の頭部及び視線の少なくともいずれかの動きが検出された場合は、頭部及び視線のいずれの動きも検出されない場合よりも、前記映像表示部に表示される映像のフレームレートを高くするように指示する、ことを特徴とすること、
    を特徴とする映像表示方法。
  14. 請求項13に記載の映像表示方法であって、
    前記第二の検出部は第一のセンサ素子と第二のセンサ素子とで構成し、
    前記第一のセンサ素子により利用者の視線の動きを検出し、
    前記第一のセンサ素子が視線の動きを検出したことに応じて、前記第一のセンサ素子より詳細に視線の動きを検出可能な前記第二のセンサ素子を、視線検出可能な動作状態と休止状態の二つの状態の間で切り替えること
    を特徴とする映像表示方法。
JP2017521479A 2015-06-05 2015-06-05 映像表示装置および制御方法 Active JP6571767B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/066383 WO2016194232A1 (ja) 2015-06-05 2015-06-05 映像表示装置および制御方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2019146312A Division JP6743254B2 (ja) 2019-08-08 2019-08-08 映像表示装置および制御方法

Publications (2)

Publication Number Publication Date
JPWO2016194232A1 JPWO2016194232A1 (ja) 2018-05-24
JP6571767B2 true JP6571767B2 (ja) 2019-09-04

Family

ID=57440838

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017521479A Active JP6571767B2 (ja) 2015-06-05 2015-06-05 映像表示装置および制御方法

Country Status (4)

Country Link
US (3) US20180184042A1 (ja)
JP (1) JP6571767B2 (ja)
CN (1) CN107836020B (ja)
WO (1) WO2016194232A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6540676B2 (ja) * 2016-12-20 2019-07-10 ブラザー工業株式会社 ヘッドマウントディスプレイ
JP6801618B2 (ja) * 2017-09-23 2020-12-16 ブラザー工業株式会社 携帯型画像表示装置及び画像表示制御方法
JP6987346B2 (ja) * 2018-01-18 2021-12-22 マクセル株式会社 ウェアラブル装置およびこれに用いるバッテリーと給電システム
JPWO2020157979A1 (ja) * 2019-02-01 2021-11-25 株式会社ソニー・インタラクティブエンタテインメント ヘッドマウントディスプレイおよび画像表示方法
US11176901B1 (en) * 2019-08-13 2021-11-16 Facebook Technologies, Llc. Pan-warping and modifying sub-frames with an up-sampled frame rate
CN110706675A (zh) * 2019-09-29 2020-01-17 Oppo广东移动通信有限公司 信息显示方法和装置
JP7377124B2 (ja) * 2020-02-18 2023-11-09 株式会社ジャパンディスプレイ 表示装置
US11308920B1 (en) * 2021-05-07 2022-04-19 Facebook Technologies, Llc. Display artifact reduction

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2911125B2 (ja) * 1988-08-31 1999-06-23 キヤノン株式会社 視線検出装置
JP2861349B2 (ja) * 1990-09-29 1999-02-24 キヤノン株式会社 視線検出手段を有した光学装置
JPH05215960A (ja) * 1992-02-06 1993-08-27 Minolta Camera Co Ltd 視線検知カメラ
JPH0634873A (ja) * 1992-07-16 1994-02-10 Canon Inc 視線検出装置を有した光学装置
JP3352195B2 (ja) * 1993-11-25 2002-12-03 キヤノン株式会社 視線検出装置、光学装置及び視線検出方法
JP2007101618A (ja) * 2005-09-30 2007-04-19 Konica Minolta Photo Imaging Inc 表示装置
JP2007114579A (ja) * 2005-10-21 2007-05-10 Pioneer Electronic Corp 表示装置、表示方法、表示システム及びサーバ及びプログラム
JP5228305B2 (ja) 2006-09-08 2013-07-03 ソニー株式会社 表示装置、表示方法
CN101729918A (zh) * 2009-10-30 2010-06-09 无锡景象数字技术有限公司 一种实现双目立体图像校正和显示优化的方法
GB2491538A (en) * 2010-03-09 2012-12-05 Hdt Inc Color display device and method
CN102263874B (zh) * 2010-05-28 2014-03-12 京瓷办公信息***株式会社 具有省电模式的图像形成装置
JP2012203128A (ja) * 2011-03-24 2012-10-22 Seiko Epson Corp 頭部装着型表示装置および頭部装着型表示装置の制御方法
US9497501B2 (en) * 2011-12-06 2016-11-15 Microsoft Technology Licensing, Llc Augmented reality virtual monitor
US9501152B2 (en) * 2013-01-15 2016-11-22 Leap Motion, Inc. Free-space user interface and control using virtual constructs
JP5994412B2 (ja) * 2012-06-13 2016-09-21 富士ゼロックス株式会社 画像表示装置、画像制御装置、画像形成装置およびプログラム
US8736692B1 (en) * 2012-07-09 2014-05-27 Google Inc. Using involuntary orbital movements to stabilize a video
JP2014068145A (ja) * 2012-09-25 2014-04-17 Kyocera Corp 携帯端末、表示制御プログラムおよび表示制御方法
US9448404B2 (en) * 2012-11-13 2016-09-20 Qualcomm Incorporated Modifying virtual object display properties to increase power performance of augmented reality devices
JP5640178B1 (ja) * 2013-02-04 2014-12-10 株式会社 オルタステクノロジー 液晶表示装置
JP2014225725A (ja) * 2013-05-15 2014-12-04 ソニー株式会社 表示装置及び画像表示装置用光源
US9367960B2 (en) * 2013-05-22 2016-06-14 Microsoft Technology Licensing, Llc Body-locked placement of augmented reality objects
US9230368B2 (en) * 2013-05-23 2016-01-05 Microsoft Technology Licensing, Llc Hologram anchoring and dynamic positioning
JP6337433B2 (ja) * 2013-09-13 2018-06-06 セイコーエプソン株式会社 頭部装着型表示装置および頭部装着型表示装置の制御方法
US20160147063A1 (en) * 2014-11-26 2016-05-26 Osterhout Group, Inc. See-through computer display systems
US9753288B2 (en) * 2014-01-21 2017-09-05 Osterhout Group, Inc. See-through computer display systems
JP5904246B2 (ja) * 2014-09-24 2016-04-13 ソニー株式会社 頭部装着型表示装置、表示方法
US10156721B2 (en) * 2015-03-09 2018-12-18 Microsoft Technology Licensing, Llc User-based context sensitive hologram reaction
US10643390B2 (en) * 2016-03-30 2020-05-05 Seiko Epson Corporation Head mounted display, method for controlling head mounted display, and computer program

Also Published As

Publication number Publication date
JPWO2016194232A1 (ja) 2018-05-24
US11856323B2 (en) 2023-12-26
US20190379860A1 (en) 2019-12-12
CN107836020B (zh) 2020-09-25
WO2016194232A1 (ja) 2016-12-08
US20240080412A1 (en) 2024-03-07
US20180184042A1 (en) 2018-06-28
CN107836020A (zh) 2018-03-23

Similar Documents

Publication Publication Date Title
JP6571767B2 (ja) 映像表示装置および制御方法
US9269193B2 (en) Head-mount type display device
US10725300B2 (en) Display device, control method for display device, and program
US9465226B2 (en) Automatic shutdown of 3D based on glasses orientation
KR102600905B1 (ko) 디스플레이에 있어서 그리고 디스플레이에 관한 개선
US9836120B2 (en) Display device, method of controlling the same, and computer program
KR101615573B1 (ko) 입체 영상 3d 시스템의 적응형 안정한 이미지 타이밍을 위한 방법 및 장치
CN109960481B (zh) 显示***及其控制方法
US20110221746A1 (en) 3d eyeglasses, method for driving 3d eyeglasses and system for providing 3d image
US9846305B2 (en) Head mounted display, method for controlling head mounted display, and computer program
US9898097B2 (en) Information processing apparatus and control method of information processing apparatus
US9485498B2 (en) Display apparatus, projection apparatus, display assist apparatus, and system
US20120236131A1 (en) Display device, display system, and method for controlling display device
KR102600906B1 (ko) 디스플레이에 있어서 그리고 디스플레이에 관한 개선
JP6428024B2 (ja) 表示装置、表示装置の制御方法、および、プログラム
US20150168728A1 (en) Head mounted display device
JP6743254B2 (ja) 映像表示装置および制御方法
JP2011151544A (ja) 映像信号処理装置、映像信号処理方法および映像表示装置
JP6430347B2 (ja) 電子機器および表示方法
JP2019013050A (ja) 電子機器および表示方法
WO2017122508A1 (ja) 情報表示システムおよび情報表示方法
WO1998038803A1 (en) 3d-viewing
JPH04293375A (ja) 映像表示システム
KR101142176B1 (ko) 입체 영상 제공 장치 및 그 방법
JP2015212828A (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171201

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181106

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20181227

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190207

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190710

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190808

R150 Certificate of patent or registration of utility model

Ref document number: 6571767

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250