JP2012120067A - シースルー型画像表示装置およびシースルー型画像表示方法 - Google Patents

シースルー型画像表示装置およびシースルー型画像表示方法 Download PDF

Info

Publication number
JP2012120067A
JP2012120067A JP2010269918A JP2010269918A JP2012120067A JP 2012120067 A JP2012120067 A JP 2012120067A JP 2010269918 A JP2010269918 A JP 2010269918A JP 2010269918 A JP2010269918 A JP 2010269918A JP 2012120067 A JP2012120067 A JP 2012120067A
Authority
JP
Japan
Prior art keywords
image
display
color
colors
observer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2010269918A
Other languages
English (en)
Inventor
Tomohiro Sato
知裕 佐藤
Miwa Nakanishi
美和 中西
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Brother Industries Ltd
Original Assignee
Brother Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Brother Industries Ltd filed Critical Brother Industries Ltd
Priority to JP2010269918A priority Critical patent/JP2012120067A/ja
Priority to PCT/JP2011/077914 priority patent/WO2012074091A1/ja
Publication of JP2012120067A publication Critical patent/JP2012120067A/ja
Priority to US13/848,028 priority patent/US20130207991A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/02Viewing or reading apparatus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3129Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM] scanning a light beam on the display screen
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141Constructional details thereof
    • H04N9/3173Constructional details thereof wherein the projection device is specially adapted for enhanced portability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • H04N9/3182Colour adjustment, e.g. white balance, shading or gamut
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191Testing thereof
    • H04N9/3194Testing thereof including sensor feedback
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0112Head-up displays characterised by optical features comprising device for genereting colour display
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type

Landscapes

  • Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】1つまたは複数の表示オブジェクトを含む画像を表す画像光を観察者の眼に投影することにより、前記画像を表示画像として表示するとともに、その表示画像を外界に重ねて観察者が観察することを可能にするシースルー型画像表示装置であって、その表示画像を観察者が視認する際に観察者が表示画像から感じる快適性を、観察者が観察している現実外界の種類を問わず、維持するものを提供する。
【解決手段】前記表示画像と共に観察者が観察している前記外界の色彩度を取得し(S203)、その取得された外界色彩度に応じ、前記1つまたは複数の表示オブジェクトを表示するために使用される色の合計数である色数を決定し(S204)、その決定された色数のもとに前記1つまたは複数の表示オブジェクトが表示されるように、前記画像光を生成する(S205)。
【選択図】図14

Description

本発明は、表示すべき画像を表す画像光を観察者の眼に投影し、それにより、観察者に対して前記画像を表示画像として表示するとともに、その表示画像を、観察者の眼の前方に位置する現実外界に重ねて観察者が観察することを可能にする技術に関するものであり、特に、その表示画像を観察者が視認する際に観察者が表示画像から感じる快適性を、観察者が観察している現実外界の種類を問わず、維持する技術に関するものである。
表示すべき画像を表す画像光を観察者の眼に投影し、それにより、観察者に対して前記画像を表示する直視型の画像表示装置が既に知られている(例えば、特許文献1参照。)。この画像表示装置によれば、観察者は、画像が投影されるスクリーンを媒介にすることなく、画像を直接的に観察することができる。
直視型の画像表示装置を、表示画像の観察方式によって分類すると、シースルー型、すなわち、観察者が、当該画像表示装置による表示画像に重ねて、現実外界を観察することが可能にするものと、密閉型、すなわち、現実外界からの入射光を遮断し、観察者が、表示画像のみを観察することを可能にするものとに分類される。
シースルー型の画像表示装置の一用途は、観察者が現実外界を観察しながら、その現実外界での作業を支援するために観察者が視認すべき参考画像を、例えば観察者の視野の周縁部において視認するという用途である。別の用途は、観察者が専ら表示画像を、例えば観察者の視野の中央位置において鑑賞するという用途である。
シースルー型の画像表示装置を、画像光形成方式によって分類すると、空間変調型、すなわち、前記画像光形成部が、光源と、その光源からの入射光を用いて前記画像光を形成する液晶または有機ELであって前記画像信号に応じて作動するものとを含むように構成されたものと、走査型、すなわち、前記画像光形成部が、前記画像信号に応じた強度を有する光を出射する光源と、その光源からの入射光を走査することによって前記画像光を形成する光走査部とを含むように構成されたものとに分類される。
シースルー型の画像表示装置は、さらに、設置方式によって分類すると、ヘッドマウント型、すなわち、観察者の頭部に装着されてその頭部と一体的に移動するものと、覗き込み型、すなわち、観察者から独立して設置され、デジタルスチルカメラやデジタルビデオカムコーダなどの撮像装置用の電子ビューファイダに代表されるものと、固定設置型、すなわち、固着物(フロア、壁、テーブル等)等、静止部材に画像表示装置が設置されるものとに分類される。
特開2008−176096号公報
本発明者らは、シースルー型の画像表示装置について種々の研究を行い、その結果、現実外界に重ねて表示画像を観察者が視認する際に観察者が表示画像から感じる快適性(例えば、見易さ)が、現実外界の種類によって変化する可能性があることに気が付いた。一方、観察者にとっては、表示画像から受ける快適性が、現実外界の種類によって悪化しないことが理想的である。
このような知見に基づき、本発明は、表示すべき画像を表す画像光を観察者の眼に投影し、それにより、観察者に対して前記画像を表示画像として表示するとともに、その表示画像を、観察者の眼の前方に位置する現実外界に重ねて観察者が観察することを可能にする技術であって、その表示画像を観察者が視認する際に観察者が表示画像から感じる快適性を、観察者が観察している現実外界の種類を問わず、維持するものを提供することを課題としてなされたものである。
本発明によって下記の各態様が得られる。各態様は、項に区分し、各項には番号を付し、必要に応じて他の項の番号を引用する形式で記載するが、このように、各項を他の項の番号を引用する形式で記載することにより、各項に記載の技術的特徴をその性質に応じて適宜独立させることが可能となる。
(1) 1つまたは複数の表示オブジェクトを含む画像を表す画像光を観察者の眼に投影することにより、前記画像を表示画像として表示するとともに、その表示画像を外界に重ねて観察者が観察することを可能にするシースルー型画像表示装置であって、
前記表示画像と共に観察者が観察している前記外界の色彩度を取得する外界色彩度取得部と、
その取得された外界色彩度に応じ、前記1つまたは複数の表示オブジェクトを表示するために使用される色の合計数である色数を決定する色数決定部と、
その決定された色数のもとに前記1つまたは複数の表示オブジェクトが表示されるように、前記画像光を生成する画像光生成部と
を含むシースルー型画像表示装置。
本項における「外界色彩度」なる用語は、外界の像(外界視野範囲)に使用される、互いに異なる色の数(以下、単に「外界色数」という。)を表す指標を意味する用語であって、外界色彩度が低いことは、外界色数が少ないことを意味する一方、外界色彩度が高いことは、外界色数が多いことを意味する。また、「外界色彩度」なる用語は、外界視野範囲について色相と彩度とのうちの少なくとも一方を意味する用語であると解釈することも可能である。
また、本項における「外界色彩度」は、例えば、カメラ、センサ等を用いて測定することによって自動的に取得してもよいし、外界色彩度を特定するための情報を観察者に入力させることによって手動で取得してもよい。また、本項における「表示オブジェクト」の一例は、画像であり、別の例は、テキストである。そのテキストの一例は、情報アイテムと称される。
(2) 前記色数決定部は、前記外界の視野範囲が低色彩度であることを前記取得された外界色彩度が表す場合に、前記色数を1に決定する第1決定部を含む(1)項に記載のシースルー型画像表示装置。
本項において、前記外界の視野範囲が低色彩度である場合の一例は、外界視野範囲がモノクロ画像である場合である。ここに、「モノクロ画像」は、白一色で表現された画像と、黒一色で表現された画像とを含むように定義されるのが一般的である。
(3) 前記色数決定部は、前記外界の視野範囲が複数の有彩色が分散している状態であることを前記取得された外界色彩度が表す場合に、前記色数を、2以上である所定値に決定する第2決定部を含む(1)または(2)項に記載のシースルー型画像表示装置。
本項において、前記外界の視野範囲が複数の有彩色が分散している状態である場合の一例は、外界視野範囲がフルカラー画像である場合である。ここに、「フルカラー画像」は、互いに異なる複数の色で表現された画像を意味するように定義されるのが一般的である。
(4) 前記色数決定部は、前記外界色彩度取得部が新たな外界色彩度を取得するタイミングで、前記色数を再決定する(1)ないし(3)項のいずれかに記載のシースルー型画像表示装置。
(5) 各表示オブジェクトは、単色で表示され、
前記色数には、2以上である上限値が予め設定されており、
前記色数決定部は、前記表示画像中に同時に存在する表示オブジェクトの数が前記上限値と同じ数を超えた場合でも、前記色数を前記上限値に維持する(1)ないし(4)項のいずれかに記載のシースルー型画像表示装置。
(6) 1つまたは複数の表示オブジェクトを含む画像を表す画像光を観察者の眼に投影することにより、前記画像を表示画像として表示するとともに、その表示画像を外界に重ねて観察者が観察することを可能にするシースルー型画像表示方法であって、
前記表示画像の観察中に、観察者が観察している前記外界の色彩度を取得する外界色彩度取得工程と、
その取得された外界色彩度に応じ、前記1つまたは複数の表示オブジェクトを表示するために使用される色の合計数である色数を決定する色数決定工程と、
その決定された色数のもとに前記1つまたは複数の表示オブジェクトが表示されるように、前記画像光を生成する画像光生成工程と
を含むシースルー型画像表示方法。
(7) (6)項に記載のシースルー型画像表示方法を実施するためにコンピュータによって実行されるプログラム。
本発明者らは、その研究(後に詳述する)により、外界の色彩度が低い場合(例えば、外界がモノクロ画像である場合)に、表示画像が使用する色の合計数である色数が少なくなる一方、外界の色彩度が高い場合(例えば、外界がカラー画像である場合)に、前記色数が多くなるように、その色数を決定し、その決定された色数のもとに画像光を生成して表示画像を形成すれば、その表示画像を観察者が視認する際に観察者が表示画像から感じる快適性が、その表示画像に重ねて観察者が観察している現実外界の種類を問わず、維持されることを見い出した。
この知見に基づき、本発明によれば、表示画像の観察中に、観察者が観察している前記外界の色彩度が取得され、その取得された外界色彩度に応じ、前記色数が決定され、その決定された色数のもとに前記画像光が生成される。
よって、本発明によれば、表示画像を観察者が視認する際に観察者が表示画像から感じる快適性が、観察者が観察している現実外界の種類を問わず、維持される。
図1は、本発明の一実施形態に従うシースルー型ヘッドマウントディスプレイ装置(以下、「HMD」と略称する。)の外観を示す平面図である。 図2は、図1に示すHMDの内部構成を示す系統図である。 図3は、図2に示す制御ユニットを示す機能ブロック図である。 図4は、図1に示すHMDが表示するオブジェクトとしての情報アイテムをユーザが現実外界に重ねて観察する際にユーザが前記情報アイテムを適正に視認することを可能にする情報アイテムの表示態様を取得するために本発明者らが行った実験において用いた情報アイテムの表示結果を示す図である。 図5は、前記実験において現実外界の像を模擬するために用いられた5種類の外界パターンの表示結果を示す図である。 図6(a)は、前記実験におけるある実験結果であって、情報アイテムのフォントサイズの種類と被験者が情報アイテムの観察中に感じる快適度との関係を表すグラフであり、図6(b)は、前記実験における別の実験結果であって、前記情報アイテムがHMDの画像表示エリア内に表示される各位置と被験者が情報アイテムの観察中に感じる快適度との関係を表すグラフである。 図7(a)は、前記実験におけるさらに別の実験結果であって、外界パターンの種類と被験者が情報アイテムの観察中に感じる快適度との関係を表すグラフであり、図7(b)は、前記実験におけるさらに別の実験結果であって、外界パターンの種類と情報アイテムの個数/配置の種類と被験者が情報アイテムの観察中に感じる快適度との関係を表すグラフであり、図7(c)は、外界パターンの種類と情報アイテムの色分け数と被験者が情報アイテムの観察中に感じる快適度との関係を表すグラフである。 図8は、図3に示すプログラムROMに記憶されているサブエリア選択プログラムを概念的に表すフローチャートである。 図9(a)は、図8に示すステップS2における左眼用マップの内容を、HMDの表示空間に幾何学的に関連付けて示す図であり、図9(b)は、図8に示すステップS3における右眼用マップの内容を、HMDの表示空間に幾何学的に関連付けて示す図である。 図10は、図3に示すプログラムROMに記憶されているモード応答プログラムを概念的に表すフローチャートである。 図11は、図3に示すプログラムROMに記憶されている色分け数決定プログラムを概念的に表すフローチャートである。 図12(a)は、図11に示すステップS112およびS113による分割表示の一例を説明するための図であり、図12(b)は、図11に示すステップS125およびS126による分割表示の一例を説明するための図である。 図13は、図3に示すプログラムROMに記憶されている外界応答プログラムを概念的に表すフローチャートである。 図14は、本実施形態に従う画像表示方法であって図1に示すHMDを用いて画像を表示するものを経時的にかつ概念的に表すフローチャートである。
図1には、本発明の例示的な一実施形態に従うシースルー型ヘッドマウントディスプレイ装置(以下、「HMD」と略称する。)10が平面図で示されている。このHMD10は、画像を表す画像光を観察者の眼に投影する投影ユニット12を有している。その投影ユニット12は、ヘッドマウント装置14により、観察者が眼鏡(図示しない)を装着している状態で、観察者の頭部に装着される。
ヘッドマウント装置14は、フレーム16と、アタッチメント装置18とを備えている。フレーム16は、観察者が眼鏡(図示しない)を装着している状態で、かつ、観察者の両耳にかけられる状態で観察者の頭部に装着される。このフレーム16の一部に、アタッチメント装置18を介して投影ユニット12が搭載される。
次に、図1ないし図3を参照することにより、投影ユニット12およびその投影ユニット12を制御するための制御ユニット20を説明する。
まず、投影ユニット12の概略を説明する。図1には、この投影ユニット12が平面図で示されている。この投影ユニット12は、単眼式であり、画像を表す画像光を観察者の片眼に投影して前記画像を観察者に表示する。さらに、投影ユニット12は、網膜走査型であり、光源からの光束を観察者の網膜上に投影するとともに、その投影した光束を網膜上において走査することにより、観察者が画像を虚像として観察することを可能にする。さらに、投影ユニット12は、シースルー型であり、表示画像を観察者が現実外界に重ねて観察することを可能にする。
なお付言するに、本実施形態においては、投影ユニット12が単眼式、網膜走査型およびシースルー型であるが、両眼式に変更したり、光源からの面状の光を、LCD(液晶ディスプレイ)等、空間変調素子を用いて、各画素ごとに空間的に変調し、その変調された光を観察者の網膜に投影する型式に変更したり、表示画像の観察と並行して現実外界を観察することができないクローズド型に変更することが可能である。
さらに付言するに、本実施形態は、本発明をヘッドマウント型の画像表示装置に適用した場合の一例であるが、覗き込み型の画像表示装置に本発明を適用することも、固定設定型の画像表示装置に本発明を適用することも可能である。
次に、制御ユニット20を説明する。投影ユニット12に制御ユニット20が、図1および図2に示すように、ケーブル22を介して接続されている。ケーブル22は、制御信号を供給する制御ラインと、電力を供給するパワーラインと、光を伝送する光ファイバ82(後に詳述する)とを含んでいる。投影ユニット12が観察者の頭部に装着されるのに対し、制御ユニット20は、観察者のうち、頭部以外の部分(例えば、腰)に装着される。
図2に示すように、制御ユニット20は、線状の画像光(例えば、RGBカラーレーザビーム)を発生させて出射する光源部24を備えている。その光源部24の構成は、後に詳述する。この制御ユニット20は、さらに、コンピュータを主体とする信号処理回路25を備えている。
信号処理回路25は、図3に機能ブロック図で概念的に表すように、プロセッサとしてのCPU(Central Processing Unit)26と、不揮発性メモリとしてのプログラムROM(Read Only Memory)27およびフラッシュROM28と、揮発性メモリとしてのRAM(Ramdom Access Memory)29と、操作部(例えば、キー、ボタン、タッチパネル)30と、入出力インタフェース(図3においては、単に「I/F」で表す。)31と、外部入出力端子32と、それら構成要素を互いに接続するバス33とを備えている。
外部入出力端子32には、パーソナルコンピュータ等、外部機器(図示しない)が接続され、その外部機器から、外部入出力端子32を介して、映像信号が信号処理回路25に入力される。映像信号は、投影ユニット12によって再生されるべき表示コンテンツ(例えば、静止画像コンテンツまたは動画像コンテンツ)を表す。その入力された表示コンテンツはフラッシュROM28に保存される。
外部入出力端子32には、後に詳述するように、投影ユニット12が接続されている。このHMD10は、図1に示すフレーム16の上面(または他の位置)にカメラ(例えば、CCD(Charge-Coupled Device)カメラ)23を搭載している。そのカメラ23は、観察者が、表示画像(表示コンテンツ)と共に観察する現実外界を撮影する。そのカメラ23の撮像結果を表す信号を信号処理回路25が取り込むために、カメラ23も、外部入出力端子32に接続されている。
信号処理回路25は、画像光を成分光(RGB)ごとに強度変調するために、入力された映像信号から、赤色(R)レーザビーム(成分画像光)の輝度を表すR輝度信号と、緑色(G)レーザビーム(成分画像光)の輝度を表すG輝度信号と、青色(B)レーザビーム(成分画像光)の輝度を表すB輝度信号とを生成する。信号処理回路25は、さらに、後述の水平走査および垂直走査の基準となる水平同期信号および垂直同期信号も生成する。
次に、図2を参照することにより、光源部24を詳細に説明する。光源部24は、3個のレーザ34,36,38と、3個のコリメータレンズ40,42,44と、3個のダイクロイックミラー50,52,54と、結合光学系56とを備えている。
3個のレーザ34,36,38は、赤色レーザビームを発生させるRレーザ34と、緑色レーザビームを発生させるGレーザ36と、青色レーザビームを発生させるBレーザ38とである。
いずれのレーザ34,36,38も、例えば、半導体レーザとして構成したり、固体レーザとして構成することが可能である。ただし、半導体レーザは、それ自体で強度変調が可能であるのに対し、固体レーザはそれが不可能であるため、各レーザ34,36,38を固体レーザとして構成する場合には、強度変調器を追加することが必要である。
3個のコリメータレンズ40,42,44は、3個のレーザ34,36,38から出射した3色のレーザビームをそれぞれコリメートするレンズである。3個のダイクロイックミラー50,52,54は、それら3個のコリメータレンズ40,42,44から出射した3色のレーザビームを互いに結合するために、それら3色のレーザビームに対して波長選択的に反射および透過を行う。
それら3色のレーザビームは、ダイクロイックミラー50,52,54を代表する1個の代表ダイクロイックミラーにおいて互いに結合される。本実施形態においては、その代表ダイクロイックミラーとしてダイクロイックミラー50が選定されている。このダイクロイックミラー50において結合されたレーザビームは、合成レーザビーム(合成画像光)として結合光学系56に入射して集光される。
図2に示すように、3個のレーザ34,36,38はそれぞれ、3個のレーザドライバ70,72,74を経て信号処理回路25に電気的に接続されている。その信号処理回路25は、R輝度信号、G輝度信号およびB輝度信号に基づき、各レーザ34,36,38から出射するレーザビームの強度を、対応するレーザドライバ70,72,74を介して変調する。
図2に示すように、結合光学系56から出射したレーザビーム(合成画像光。以下、単に「レーザビーム」という。)は、光伝送媒体としての光ファイバ82を介して、投影ユニット12におけるコリメータレンズ84に伝送される。そのコリメータレンズ84においてコリメートされて出射したレーザビームは、投影ユニット12における走査部88に入射する。
次に、図2を参照することにより、投影ユニット12を説明する。その投影ユニット12は、走査部88を有しており、その走査部88は、水平走査装置90と垂直走査装置92とを含んでいる。
水平走査装置90は、入射したレーザビームを偏向するとともに、その偏向光を水平方向に走査するために往復揺動させられる偏向面(例えば、反射面)94を有する共振型の偏向素子96と、信号処理回路25から供給された水平同期信号に基づき、偏向素子96を駆動する水平走査駆動回路98とを備えている。
同様に、垂直走査装置92は、入射したレーザビームを偏向するとともに、その偏向光を上下方向に走査するために往復揺動させられる偏向面(例えば、反射面)100を有する非共振型の偏向素子102と、信号処理回路25から供給された垂直同期信号に基づく鋸波形状の駆動信号により、偏向素子102を強制駆動する垂直走査駆動回路104とを備えている。
図2に示すように、水平走査装置90から出射したレーザビームは、第1リレー光学系106を介して、かつ、それによって収束させられた後に、垂直走査装置92に入射する。
走査部88によって走査されたレーザビームは、第2リレー光学系108を介して、かつ、それによって収束させられた後に、投影ユニット12の出射口から出射する。図1に示すように、投影ユニット12のハウジング110にハーフミラー112が装着されている。
投影ユニット12から出射したレーザビームは、図1および図2に示すように、ハーフミラー112に入射する。その入射したレーザビームは、ハーフミラー112において反射した後、観察者の片眼の眼球120内の瞳孔122を通過し、最終的に網膜124に入射する。
網膜124に入射したレーザビームは、その網膜124上において走査され、その結果、レーザビームが、面状の画像光に変換される。それにより、観察者が2次元画像を虚像として観察することが可能となる。観察者の片眼には、ハーフミラー112において反射した画像光のみならず、現実外界からの光(外光)がハーフミラー112を透過して入射する。その結果、観察者は、画像光によって表示される画像の観察と並行して現実外界を観察することが可能となる。
このHMD10は、外部から入力された映像信号に基づき、表示コンテンツ(例えば、映像コンテンツ、画像コンテンツ)を矩形状の画像表示エリア内に表示する。表示コンテンツは、少なくとも一つの表示オブジェクトを含んでいる。各表示オブジェクトの一例は、それ自体固有の意味を有する複数の文字(数字、記号、アイコンを含む)から成る情報アイテムであるが、それに限定されることなく、例えば、画像から成るものでもよい。
情報アイテムは、テキストデータであり、鑑賞用の映像コンテンツとは異なり、固有の属性(例えば、表示される線の太さ、色、位置など)を有せず、その属性をユーザサイドで任意に編集可能であるのが通常である。すなわち、この種の情報アイテムは、テキストの内容が同一である限り、固有の属性を変更しても、情報アイテムの情報量が劣化せずに済むのである。
よって、表示される情報アイテムの見易さ、すなわち、視認性を向上させるために、情報アイテムの属性すなわち表示条件が最適化されるようにこのHMD10を設計し、作動させることが重要である。
しかし、情報アイテムの視認性の程度は、その情報アイテムの属性のみによって決まるとは限らない。このHMD10は、観察者が、表示されている情報アイテムを、外界に重ねて視認することが可能であり、この場合には、外界の像の属性により、表示される情報アイテムの視認性の程度が変化する可能性があるからである。
このような事情を背景として、本発明者らは、情報アイテムの属性の最適化のために、このHMD10の試作品を用いて、実験を行い、その結果を踏まえて、このHMD10の最終版を設計することにした。以下、本発明者らが行った実験の内容および結果ならびにこの実験結果に対する考察を詳細に説明する。
1. 実験の目的
作業者が現実外界中の作業対象物を観察しつつ、必要に応じて、HMD10の画像表示エリア内の作業補助情報(情報アイテム)を参照する場面を模擬する。
2. 実験環境
(1)大型モニタ
42インチの画面を有する大型モニタにより、外界(表示パターンは、5種類のバリエーションを有する)を模擬した。
(2)被験者の観察位置
複数人の被験者が、交互に入れ替わるように、大型モニタから75cm離れた位置に着座して観察を行った。
(3)HMD10
各被験者の頭部にHMD10が装着された。各被験者の両眼のうち非優位眼(今回は、観察者全員が左眼)を覆うように、HMD10が各被験者の頭部に装着された。HMD10の画像表示エリア上に、情報アイテム(6つの属性はそれぞれ、複数のバリエーションを有し、それらの組合せとして、情報アイテムの表示態様も、複数のバリエーションを有する)が、順次変化する表示態様で表示された。
(4)被験者が実験結果を入力するためのキーボード
被験者は、後述のように、各タスクごとに、HMD10上に表示されている情報を写し取ることと、その表示態様が快適であるか否かという主観評価の結果を、キーボードに入力した。前者の情報は、被験者が情報アイテムを正確に認識した程度を表す正答率を計算するために使用され、一方、後者の情報は、快適であると主観評価した被験者の数の、被験者全員の数に対するパーセントとして被験者の快適度を計算するために使用される。
3. 情報アイテムの構成
3.1 情報アイテムの表示態様
図4に示すように、今回対象とする情報アイテムは、複数の文字(数字、記号、下線および枠線を含む)から構成されている。
3.2 情報アイテムの6つの属性(主なデザイン要素)
(1) フォントサイズ(アイテムサイズ)
情報アイテムを表示するフォントサイズの複数のバリエーションは、18ポイント、26ポイント、34ポイント、42ポイントおよび50ポイントである。
(2) 情報アイテムの表示位置
HMD10の画像表示エリア(画面)のうち、情報アイテムが表示される位置のバリエーションは、画像表示エリアを縦横に3つずつ、全部で9つに等分割した場合の9つのサブエリア(図6(b)参照)の位置である。
それら9つのサブエリアは、3行3列のマトリクスを成す。各サブエリアの位置は、行番号を表す整数i(iは1以上3以下)であって、上側から下側に向かって増加するものと、列番号を表す整数j(jは1以上3以下)であって、観察者の鼻に近い側から、観察者の両耳のうち前記片眼に近いものに近い側に向かって増加するものとを用いて、(i,j)として表現される。
本実施形態においては、図6(b)に示すように、サブエリア(1,1)がサブエリアAとして表記され、サブエリア(1,2)がサブエリアBとして表記され、サブエリア(1,3)がサブエリアCとして表記され、サブエリア(2,1)がサブエリアDとして表記され、サブエリア(2,2)がサブエリアEとして表記され、サブエリア(2,3)がサブエリアFとして表記され、サブエリア(3,1)がサブエリアGとして表記され、サブエリア(3,2)がサブエリアHとして表記され、サブエリア(3,3)がサブエリアIとして表記されている。
(3) 情報アイテムの背景色(画像表示エリアの地色)
情報アイテムの背景色の複数のバリエーションは、次のとおりである。
BB:背景全体が黒である状態(全黒)
WW:背景全体が白である状態(全白)
BW:背景全体のうち、その情報アイテムの周辺のみが白である状態
(4) フォントの色(アイテムの色)
情報アイテムを表示する色の複数のバリエーションは、人間が知覚し得る全色を離散的にカバーする14色である。
(5) アイテム個数/配置
同じ情報アイテムが表示される個数および配置の複数のバリエーションは、次のとおりである。
AL:9つの表示位置(サブエリア)のすべてに情報アイテムが表示される状態
HL:1行ごとに、3つずつ(3つの表示位置に)情報アイテムが表示される状態
VL:1列ごとに、3つずつ(3つの表示位置に)情報アイテムが表示される状態
(6) アイテムの色分け数
9つの表示位置(サブエリア)のすべてに表示される9つの情報アイテムの色分け数の複数のバリエーションは、次のとおりである。
・9つの情報アイテムの色がすべて同じである状態
・9つの情報アイテムの色がすべて異なる状態
・3つの情報アイテムごとに、色が異なる状態
4. 外界の表示態様
図5に示すように、大型モニタ上に表示される画像は、現実外界を、主に、色彩度の観点で再現すべく、下記の5種類のパターンを有する。
・外界パターンA:全体が黒
・外界パターンB:全体が白
・外界パターンC:白黒のモザイク模様
・外界パターンD:白黒と他の2色で着色されたモザイク模様
・外界パターンE:フルーカラーで着色されたモザイク模様
ここに、「色彩度」なる用語の定義を説明するに、この用語は、外界の像(外界視野範囲)に使用される、互いに異なる色の数(以下、単に「外界色数」という。)を表す指標を意味する用語であって、色彩度が低いことは、外界色数が少ないことを意味する一方、色彩度が高いことは、外界色数が多いことを意味する。また、「色彩度」なる用語は、色相と彩度とのうちの少なくとも一方を意味する用語であると解釈することも可能である。
5. 実験の内容
5.1 被験者が実行する1回のタスク
(1) 大型モニタの画面上に外界が模擬されている状態で、その画面上に、任意のアルファベットが、ランダムな位置に、かつ、ランダムなタイミングで出現すると、その出現を認識した時点で、各被験者は、手元にあるキーボードのエンターキーを押す。そうすると、HMD10の画像表示エリア上に、情報アイテムが、順次変化する複数の表示態様のうち今回選択されたもので表示された。
(2) 各被験者は、情報アイテムが表示されると、各被験者が視認できた表示内容を手元のキーボードを用いて入力した。これにより、認識の正確さを実測した。
(3) 各被験者は、さらに、情報アイテムが表示されるごとに、情報アイテムの表示態様に対する各被験者の主観評価として、その表示態様が快適であるか否か(例えば、見易いか、見方が自然であるか、眼球の動きに無理はないか)を判断した。
(4) 各被験者は、1回のタスクを終えるごとに、タスクの快適さをVAS(Visual Analogue scale)法によって主観評価した。VAS法は、人間が受けた刺激の強さ度合いを感覚的に数値化する手法の一例である。
5.2 実験のプロセス
(1)第1段階:フォントサイズおよび表示位置の最適化
各被験者は、背景色3種類、フォントサイズ5種類および表示位置9種類を組み合わせてなる135のケースにつき、各ケースごとに、前記タスクを実行した。この第1段階においては、他の属性(デザイン要素)については、いずれかのバリエーションに固定した。被験者は、全部で12名であった。
(2)第2段階:背景色および表示色の最適化
各被験者は、外界パターン5種類、背景色3種類および表示色14種類を組み合わせてなる210のケースにつき、各ケースごとに、前記タスクを実行した。この第2段階においては、フォントサイズおよび表示位置については、第1段階の実験結果において最適であると評価されたバリエーションに固定し、また、他の属性(デザイン要素)については、いずれかのバリエーションに固定した。被験者は、全部で10名であった。
(3)第3段階:アイテム個数/配置および色分け数の最適化
各被験者は、前記9つのサブエリアにそれぞれ表示される9つの情報アイテムすべての入力を1回のタスクとして、外界パターン5種類、アイテム個数/配置4種類(AL、SG、HLおよびVL)および色分け数3種類を組み合わせてなる60のケースにつき、各ケースごとに、前記タスクを実行した。アイテム個数/配置のバリエーションの種類が、SG、HLおよびVLである場合には、表示される情報アイテムを切り換えるために、各被験者によるキー操作を必要とした。被験者は、全部で11名であった。
例えば、アイテム個数/配置のバリエーションの種類がHLである場合には、まず、図4に示す情報アイテムが、最も上の列において横に並んだ3つのサブエリアA,BおよびCにそれぞれ一斉に表示され、次に、被験者がキー操作を行うと、中央の列において横に並んだ3つのサブエリアD,EおよびFにそれぞれ一斉に表示され、さらに、被験者がキー操作を行うと、最も下の列において横に並んだ3つのサブエリアG,HおよびIにそれぞれ一斉に表示される。
この第3段階においては、フォントサイズおよび表示位置については、第1段階の実験結果において最適であると評価されたバリエーションに固定し、また、外界パターン、背景色および表示色については、第2段階の実験結果において最適であると評価されたバリエーションに固定した。
6. 実験結果
6.1 第1段階の実験の結果
(1)フォントサイズの最適範囲
図6(a)に、フォントサイズに対する被験者の快適度を示す。快適度は、実験されたすべてのケースのうち、各被験者が快適であると主観評価したケースの割合をパーセントで表示したものである。図6(a)に示すように、フォントサイズが34ポイント以上であると、快適度が80%以上であった。よって、考察するに、フォントサイズの最適範囲は、34ポイント以上のポイントの範囲とすることが望ましい。
(2)表示位置の最適範囲
図6(b)に、フォントサイズが34ポイントである場合につき、情報アイテムの表示位置(9つの位置)と、各位置に表示された情報アイテムに対する被験者の快適度との関係が、表示位置に幾何学的に関連付けて示されている。図示しないが、表示位置の如何を問わず、被験者の正答率は60%以上であった。このことから、いずれの表示位置も最適であると結論付けても妥当であるかもしれない。
しかし、図6(b)に示す主観評価値である快適度に着目し、かつ、快適度を9つの表示位置の間において相対的に検討する。快適度を高い順に並べると、次のとおりであった。
1.サブエリアH(中央列のうち、最も下に位置するサブエリア(3,2))
2.サブエリアE(中央列のうち、中央に位置するサブエリア(2,2))
3.サブエリアD(鼻に最も近い列のうち、中央に位置するサブエリア(2,1))、サブエリアG(鼻に最も近い列のうち、最も下に位置するサブエリア(3,1))ならびにサブエリアB(中央列のうち、最も上に位置するサブエリア(1,2))
4.サブエリアA(鼻に最も近い列のうち、最も上に位置するサブエリア(1,1))、サブエリアF(左耳に最も近い列のうち、中央に位置するサブエリア(2,3))、サブエリアI(鼻に最も近い列のうち、最も下に位置するサブエリア(3,3))
5.サブエリアC(左耳に最も近い列のうち、最も上に位置するサブエリア(1,3))
よって、考察するに、表示すべき情報アイテムの優先度が高いほど(例えば、情報アイテムの内容が、その情報アイテムを参照すべき作業者にとって重要であるほど、または情報アイテムが作業者によって参照される頻度が高いほど)、該当する情報アイテムを、快適度が高いサブエリアに優先的に表示することが、情報アイテムの内容が正確に作業者に認識されるようにするために重要である。したがって、上述の、快適度に関するサブエリアの順序は、情報アイテムが表示される優先度に関するサブエリアの順序に対応する。
図6(b)に示す特性は、被験者が左眼で画像を観察した場合のものであり、これに対し、被験者が右眼で画像を観察する場合には、図9(a)および(b)に示すように、9つのサブエリアが、被験者の身体の中心線(例えば、被験者の鼻を通過する垂直線)に関し、左眼用の9つのサブエリアに対して対称であるように割り当てられる。
したがって、同じHMD10を水平面内で回転させたり、水平方向に移動させたりして、観察者の両眼のうち画像を観察する眼を左眼と右眼との間で切り換える場合、同じ情報アイテムでありながら、その表示位置(9つのサブエリアのうち、情報アイテムが表示されるものの位置)の、HMD10に対する相対位置を変化させる(例えば、同じHMD10を水平面内で回転させた場合には、9つのサブエリアを、前記中心線に関して、上下方向に対称移動させ、また、同じHMD10を水平方向に移動させた場合には、9つのサブエリアを、前記中心線に関して、左右方向に対称移動させる)ことが必要となる場合がある。
6.2 第2段階の実験の結果
(1)背景色の最適範囲
図7(a)に、外界パターンの種類と背景色の種類の組合せに対する被験者の快適度を示す。図7(a)に示すように、いずれの種類の外界パターンについても、背景色がBB(全黒)であるときに、最高の快適度が得られた。よって、考察するに、最適な背景色は、BBである。最適な背景色は、外界パターンの種類に依存しない。
(2)アイテム色の最適範囲
アイテム色は、明度と絶対輝度との組合せによって表現できる。アイテム色の最適範囲についての実験結果は、図示されていないが、背景色がBB(全黒)である場合につき、被験者の快適度を分析すると、アイテム色の最適範囲は、外界パターンの種類に依存し、具体的には、外界パターンがA(全黒)であるときには、絶対輝度が0.04以上、かつ、明度が35以上である範囲であり、これに対し、外界パターンが他の状態であるときには、絶対輝度が0.16以上、かつ、明度が70以上である範囲である。また、アイテム色としては、例えば、赤、緑および黄につき、被験者の主観評価値が高かった。よって、考察するに、この範囲内で、情報アイテムを表示するために使用すべきアイテム色を選択することが望ましい。
6.3 第3段階の実験の結果
(1)アイテム個数/配置の最適範囲
図7(b)に、外界パターンの種類とアイテム個数/配置の種類の組合せに対する被験者の正答率を示す。図7(b)に示すように、外界パターンの種類の如何を問わず、アイテム個数/配置がALという表示態様である場合には、正答率が最高であった。また、9つの情報アイテムを一斉にではなく、部分的に表示するHLまたはVLという表示態様につき、正答率が、画像が相対的に複雑で、色彩度が高い外界パターンDおよびEである場合において、他の種類の外界パターンである場合より、増加する傾向も見られた。
よって、考察するに、基本的には、情報アイテムの表示を切り換えることなく情報アイテムを表示するALという表示態様を採用することが、正答率を向上させるために望ましい。
(2)アイテム色分け数の最適範囲
図7(c)に、外界パターンの種類とアイテム色分け数の種類との組合せに対する被験者の快適度を示す。図7(c)に示すように、快適度は、外界パターンの種類の如何を問わず、9つの情報アイテムの色をすべて異ならせる表示態様(9色で表示する場合)については、他の表示態様より低かった。
また、外界パターンがA,BまたはCである場合(外界の色数が2以下である場合)には、快適度は、9つの情報アイテムの色を統一する表示態様につき、他の表示態様より高かった。
また、外界パターンがDまたはEである場合(外界の色数が3以上である場合であり、外界の画像が相対的に複雑で、色彩度が高い場合)には、快適度は、9つの情報アイテムを3色で色分けする表示態様につき、他の表示態様より高かった。
また、外界パターンの種類の如何を問わず、全般的には、快適度は、9つの情報アイテムを3色で色分けする表示態様につき、他の表示態様より高かった。
よって、考察するに、表示画像を3色で色分けすることが望ましいが、表示画像が使用する色の数を減らすことが必要である場合には、外界パターンがA,BまたはCであるとき(色彩度が低いとき)には、表示画像を一色で表示する一方、外界パターンがDまたはEであるとき(色彩度が高いとき)には、表示画像を3色で表示するというように、表示画像が使用する色数を変化させることが望ましい。
また、図7(c)に示すグラフから容易に推論できることは、画像表示のために同時に使用する色の合計数である色数が3個であるときが、快適度が最高値を示し、その色数が3より小さい場合(例えば、1である場合)でも、3より大きい場合(例えば、9である場合)でも、快適度が、その最高値より低い値を示すということである。
HMD10は、外部から入力された映像信号に基づき、前記画像表示エリアに、少なくとも一つの情報アイテム(例えば、ユーザである作業者の作業を補助ないしは支援するための情報)を、前記9つのサブエリアのうち、選択されたものに表示する。HMD10は、各情報アイテムを表示する際の前述の6つの属性(デザイン要素)を、前述の実験結果を踏まえて、次のように決定する。
(1) フォントサイズ(アイテムサイズ)
情報アイテムを表示するフォントサイズは、34ポイント以上の所定のポイントである。
(2) 情報アイテムの表示位置
前述の9つのサブエリアのうち、情報アイテムが表示される位置は、その情報アイテムの重要度(情報アイテムの内容がユーザにとって重要であるか否か、情報アイテムがユーザによって参照される頻度の高さなど)に応じて選択される。
このようにして情報アイテムの表示位置を個別に決定するために、プログラムROM27に、サブエリア選択プログラムが格納されている。情報アイテムが表示されるべきサブエリア(表示サブエリア)の位置は、その情報アイテムの重要度に依存し、さらに、その情報アイテムを観察するユーザの眼が左眼であるか右眼であるか、すなわち、左眼観察モードであるか右眼観察モードであるかにも依存する。
(3) 情報アイテムの背景色(画像表示エリアの地色)
情報アイテムの背景色は、BB(全黒)である。
(4) フォントの色(アイテムの色)
各情報アイテムを表示する色は、前述の14色から選択された少なくとも一色である。
(5) アイテム個数/配置
同じ情報アイテムは、前記画像表示エリア内に1つのみ、前述のようにして選択された1つのサブエリアに表示される。ただし、異なる複数の情報アイテムが、前記画像表示エリア内に一斉に、かつ、互いに異なるサブエリアに表示されることがある。
(6) 情報アイテムの色分け数
表示される少なくとも一つの情報アイテムの色分け数は、前記外界の色彩度が所定値以下である場合(外界パターンがA、BまたはCである場合、すなわち、例えば、外界の色数が2以下である場合)には、1つとなり、前記外界の色彩度が前記所定値より高い場合(外界パターンがDまたはEである場合、すなわち、例えば、外界の色数が3以上である場合)には、3つとなるように、決定される。情報アイテムの色分け数が、外界の色彩度に依存するのである。また、前記外界の色彩度が前記所定値より高い場合に、同時に表示される情報アイテムの数が4以上であっても、それら情報アイテムの表示のために使用される色の合計数は、3に維持される。
このようにして情報アイテムの色分け数を決定するために、プログラムROM27に、色分け数決定プログラムが格納されている。情報アイテムの色分け数は、その情報アイテムと一緒にユーザが観察する外界の色彩度に依存する。本実施形態においては、外界の色彩度が、カメラ23の撮像結果を用いて自動的に検出されるが、例えば、ユーザが操作部30を操作して、外界の色彩度を入力するようにしてもよい。
図8には、前記サブエリア選択プログラムがフローチャートで概念的に表されている。このサブエリア選択プログラムは、必要に応じ、CPU26により、プログラムROM27から読み出されて実行される。
ユーザにより、HMD10の電源が投入されると、このサブエリア選択プログラムの実行が開始される。このサブエリア選択プログラムが実行されると、まず、ステップS1において、ユーザが左眼でHMD10上の表示画像を観察している左眼観察モードであるか否かが判定される。
このステップS1の判定は、一例においては、ユーザが操作部30を操作して、使用する眼の位置(観察モードの種類)を特定する情報を直接入力することによって行われ、別の例においては、HMD10が自動的に、このHMD10の、絶対空間に対する向きを検出することにより、両眼のうち、HMD10によって覆われているものが左眼であるか右眼であるかを推定することによって行われる。HMD10の向きの自動的に検出する一例においては、HMD10に搭載された加速度センサ、重錘、振り子などを用いて、HMD10の、重力加速度(すなわち、鉛直方向)に対する向きが測定される。
今回は、ユーザが左眼でHMD10を観察する左眼観察モードであると仮定すると、ステップS1の判定がYESとなり、ステップS2において、図9(b)に示す左眼用マップが選択される。これに対し、今回は、ユーザが右眼でHMD10を観察する右眼観察モードであると仮定すると、ステップS1の判定がNOとなり、ステップS3において、図9(a)に示す右眼用マップが選択される。
左眼用マップは、HMD10による表示画像をユーザが左眼で観察する場合に、各サブエリアの番号uと、各サブエリアuの、左眼観察用の画像表示エリアの2次元座標系上の位置vとの関係(v=gL(u);gL(u)は、左眼観察モード用の関数)を規定する。同様に、右眼用マップは、HMD10による表示画像をユーザが右眼で観察する場合に、各サブエリアの番号uと、各サブエリアの、右眼観察用の画像表示エリアの2次元座標系上の位置vとの関係(v=gR(u);gR(u)は、右眼観察モード用の関数)を規定する。
左眼用マップ上のサブエリアの2次元配列と、右眼用マップ上のサブエリアの2次元配列とは、図9(a)および図9(b)に幾何学的に互いに関連付けて示すように、それらマップを観察者の両眼にそれぞれ重ね合わせることを想定した場合に、鼻を通過する垂直面に関し、ミラーイメージの関係(左右対称の関係)にある。
図9(c)には、サブエリアのアルファベット表記(A−I)と、位置u(1−9)と、前述の2次元座標(i,j)との関係も示されている。2次元座標(i,j)は、各マップにおいて、サブエリアAを原点(1,1)とする座標系CS1によって定義される。これに対し、前記画像表示エリア上の2次元座標位置v(v1,v2)は、その画像表示エリアの左下の角部を原点とする座標系CS2によって定義される。
2次元座標(i,j)は、左眼観察モードと右眼観察モードとの間で、左右対称の関係にあるのに対し、2次元座標位置v(v1,v2)は、左眼観察モードと右眼観察モードとの間で、水平方向に平行移動した関係にある。HMD10が画像を表示する際には、座標系CS2が使用されるため、座標系CS1からCS2への変換が必要であり、そのために、前述の2つの関数gLとgRが選択的に使用される。
いずれのマップが選択された場合にも、その後、ステップS4において、外部から入力された映像信号に基づき、新たな情報アイテムが入力されたか否かが判定される。新しい情報アイテムが入力されたならば、ステップS4の判定がYESとなり、ステップS5において、今回の情報アイテム(以下、固有の番号を表す「X」を付して表記する。)の重要度(例えば、情報アイテムXの内容の重要性や、この情報アイテムXの、ユーザによる参照頻度の高さ)Yが決定される。
具体的には、情報アイテムXと重要度Yとの関係が、関数fを用いて、Y=f(X)として定義されるとともに、その関数f(X)がフラッシュROM28に予め記憶されている。今回の情報アイテムXに対応する重要度Yは、関数f(X)を用いて導出される。重要度Yは、前述のサブエリアの数と同数、用意されており、具体的には、8から0まで、9つ用意されている。重要度Yは、数字が大きいほど、対応する情報アイテムXの重要度が高いことを意味するように定義されている。
続いて、ステップS6において、前記9つのサブエリア(A−I)のうち、今回の情報アイテムXが表示されるべきもの、すなわち、サブエリアZが決定される。サブエリアZが決定されると、今回が左眼観察モードである場合には、前記左眼用マップを用いて、サブエリアZの、前記2次元座標系上の位置が決定され、一方、今回が右眼観察モードである場合には、前記右眼用マップを用いて、サブエリアZの、前記2次元座標系上の位置が決定される。
具体的には、重要度YとサブエリアZとの関係が、関数Fを用いて、Z=F(Y)として定義されるとともに、その関数F(Y)がフラッシュROM28に予め記憶されている。図9(c)には、関数F(Y)の特性が表で表されている。今回の情報アイテムXに対応するサブエリアZは、今回の情報アイテムXに対応する重要度Yを媒介変数として用いて導出される。サブエリアZは、前述のサブエリアの数と同数、用意されており、具体的には、AからIまで、9つ用意されている。
例えば、今回の情報アイテムXの重要度Yが、最高レベルすなわち「8」であるとすると、サブエリアZは、「H」となり、これは、前述の9つのサブエリアのうち、中央列のうち、最も下に位置するものを表す。これに対し、今回の情報アイテムYが、最低レベルすなわち「0」であるとすると、サブエリアZは、「C」となり、これは、前述の9つのサブエリアのうち、左眼観察モード時には左耳、右眼観察モード時には右耳に最も近い央列のうち、最も上に位置するものを表す。
その後、ステップS7において、今回の情報アイテムXを、前記決定されたサブエリアZに表示することが可能であるか否かが判定される。本実施形態においては、一つのサブエリアには、所定数の情報アイテム(例えば、1つの情報アイテム)のみが表示されるようになっている。そのため、今回のサブエリアZと同じ位置に既に、所定数の別の情報アイテムが存在する場合には、今回の情報アイテムXを今回のサブエリアZに表示することができない。フラッシュROM28には、現に表示されている情報アイテムが、その情報アイテムが表示されているサブエリアに関連付けて記憶されている。この情報を利用し、このステップS7が実行される。
ステップS7において、今回の情報アイテムXを今回のサブエリアZに表示することが可能であると判定されると、ステップS8において、左眼観察モード時には関数gL(u)、右眼観察モード時には関数gR(u)を用いて、今回のサブエリアZの位置uが、HMD10の前記画像表示エリアの座標位置vに変換される。続いて、ステップS9において、その変換された座標位置vに基づき、今回の情報アイテムXが今回のサブエリアZに配置される。その後、ステップS10に移行する。
これに対し、ステップS7において、今回の情報アイテムXを今回のサブエリアZに表示することが不可能であると判定されると、ステップS11において、今回の情報アイテムXを表示することが可能な別のサブエリアであって、重要度Yの今回値(今回は、初期値)より低い重要度に対応づけられるものを検索するために、今回の情報アイテムXの重要度Yの今回値が1だけ減算される。
その後、ステップS12において、そのようにして減算された重要度Yが「0」より低いか否か、すなわち、重要度Yを「0」まで減算しても、今回の情報アイテムXを表示することが可能なサブエリアが見つからなかった(すべてのサブエリアにそれぞれ、所定数の情報アイテムが既に表示されている)か否かが判定される。今回は、重要度Yが「0」以上であると仮定すると、ステップS12の判定がYESとなり、ステップS6に戻り、新たな重要度Yのもとに、今回の情報アイテムXを表示することが可能なサブエリアが検索される。
これに対し、今回は、更新された重要度Yが「0」より小さいと仮定すると、ステップS12の判定がYESとなり、ステップS13において、前述の9つのサブエリアのうち、予め定められた条件を満たす一つのサブエリア、すなわち、本実施形態においては、重要度Yが最も低いサブエリア、すなわち、重要度Yが「0」であるサブエリアが、選択される。さらに、その選択されたサブエリアの表示内容が空白にされる。すなわち、そのサブエリアに表示されていた情報アイテムがすべて削除されるのである。
その後、ステップS14において、ステップS8と同様にして、今回のサブエリアZ(=0)の位置uが、HMD10の前記画像表示エリアの座標位置vに変換される。続いて、ステップS15において、選択されて空白にされたサブエリア(重要度Yが「0」であるサブエリア)に、今回の情報アイテムXが配置される。その後、ステップS10に移行する。
いずれの場合にも、ステップS10においては、前記画像表示エリアに配置されているすべての情報アイテムのそれぞれにつき、必要に応じ、内容が更新される。すなわち、フラッシュROM28の内容が、情報アイテムとサブエリアとの対応関係が最新の状態を反映するとともに、情報アイテムの内容が最新の内容を反映するように、更新されるのである。その後、ステップS4に戻る。
なお付言するに、図8に示すサブエリア選択プログラムにおいては、ユーザがHMD10の電源を投入し、その後、ユーザが、操作部30を介して、HMD10の画像観察モードを指定すると、ユーザがHMD10の電源を切断するまで、ユーザがHMD10の画像観察モードを変化させないことを前提としている。
これに対し、図10には、HMD10の電源オン中に、ユーザが、操作部30を介して、HMD10の画像観察モードを、必要に応じ、何度でも、変更することを可能にするモード応答プログラムがフローチャートで概念的に表されている。このモード応答プログラムは、前記サブエリア選択プログラムを置換するのではなく、追加的に実行される。
このモード応答プログラムにおいては、まず、ステップS31において、ユーザが操作部30を介して、今回の画像観察モードを入力したか否かが判定される。その入力があった場合には、ステップS32において、その入力された画像観察モードが左眼観察モードであるか否かが判定される。今回のモードが、左眼観察モードである場合には、ステップS33において、左眼用マップ(関数gL(u))が選択され、一方、右眼観察モードである場合には、ステップS34において、右眼用マップ(関数gR(u))が選択される。
いずれの場合にも、その後、ステップS35において、すべてのサブエリアを順次特定するための番号uが「1」にセットされる。続いて、ステップS36において、前記選択された関数を用いて、今回のサブエリアの位置uが、HMD10の前記画像表示エリアの座標位置vに変換される。その後、ステップS37において、その変換された座標位置vによって表される位置に、今回のサブエリアに表示されるべき少なくとも一つの情報アイテムが表示される。
続いて、ステップS38において、uの今回値が、すべてのサブエリアの合計数utot(今回は、「9」)以上であるか否かが判定される。uの今回値が合計数utot以上である場合には、ステップS31に戻るが、uの今回値が合計数utotより小さい場合には、ステップS39において、uが1だけインクリメントされ、その後、ステップS36に戻る。
図11には、前記色分け数決定プログラムがフローチャートで概念的に表されている。この色分け数決定プログラムは、必要に応じ、CPU26により、プログラムROM27から読み出されて実行される。
ユーザにより、HMD10の電源が投入されると、この色分け数決定プログラムの実行が開始される。この色分け数決定プログラムが実行されると、まず、ステップS101において、HMD10が画像をモノクロではなくマルチカラー(複数色)で表示しているか否かを示すフラグfmcであって、「0」でモノクロ表示モードを示し、「1」でマルチカラー表示モードを示すものが「1」にセットされる。これは、HMD10がマルチカラー表示モードをデフォールトモードにしていることを前提にしている。
ステップS102において、外部から入力された映像信号に基づき、新たな情報アイテムが入力されたか否かが判定される。新しい情報アイテム(今回の情報アイテム)が入力されたならば、ステップS102の判定がYESとなり、ステップS103において、ユーザが現在観察している現実外界の色彩度(現実外界の像が用いる色の数)αが取得される。
本実施形態においては、カメラ23の撮像結果に基づき、ユーザの介入を必要とすることなく、外界色彩度αが取得される。前述の「発明の概要」の欄においては、「色彩度」なる用語が、色相と彩度とのうちの少なくとも一方を意味し得る用語であると説明したが、本実施形態においては、外界色彩度αは、彩度を意味する用語として使用する。すなわち、「発明の概要」の欄における「色彩度」は、本実施形態における「彩度α」の上位概念なのである。
彩度αは、無彩色(白、黒およびグレー)について0となり、純色について最大となる物理量である。彩度αは、飽和度(Saturation)であり、0%から100%までの範囲で表現される。
一例においては、RGB色空間のRGB値(赤色光成分の輝度値R、緑色光成分の輝度値Gおよび青色光成分の輝度値Bを含む)からHSV色空間の彩度αが検出される。この場合、カメラ23の撮像結果から、カメラ23の撮像エリア内の各画素のR値、G値およびB値のうちの最大値と最小値とが取得され、それら取得された最大値と最小値との差をその最大値で割算した値として彩度αが検出される。
ただし、彩度αは、画素ごとに異なる可能性があるため、一例においては、カメラ23の撮像エリアについて1つの代表的な彩度αを取得するために、その撮像エリアが複数のブロックに分割され、各ブロックごとに、それを代表する1つの個別彩度(例えば、平均値や中央値)が検出され、それらブロックについての複数の個別彩度を代表する1つの値(例えば、最大値)が、撮像エリアを代表する1つの全体彩度として検出される。
また、彩度αを検出するために、カメラ23を用いることは不可欠ではなく、例えば、CMOSセンサを用いたり、他の受光素子を用いることが可能である。
続いて、ステップS104において、その取得された彩度αがしきい値以下であるか否かが判定される。本実施形態においては、前記しきい値は、20%に設定されている。彩度αが20%以下であることは、外界パターンがA,BまたはCであること(例えば、外界が用いる色の数が2以下であること)を意味し、一方、彩度αが20%より高いことは、外界パターンがDまたはEであること(例えば、外界が用いる色の数が3以下であること)を意味する。したがって、このステップS104は、外界パターンがA,BまたはCであるか否かの判定を行っている。前述の実験結果に基づき、彩度αが前記しきい値以下である場合は、今回の情報アイテムを含むすべての情報アイテムを一色で表示することが望ましい。
今回は、彩度αが前記しきい値以下であると仮定すると、ステップS104の判定がYESとなり、ステップS105において、フラグfmcが「1」であるか否かが判定される。今回は、フラグfmcが「1」であると仮定すると(ただし、今回の実行が電源投入後の初回であれば、フラグfmcは「1」である。)、ステップS105の判定がYESとなり、ステップS106に移行する。
このステップS106においては、すべての情報アイテムが一色で表示される。すべての情報アイテムは、既存の情報アイテム(以下、単に「既存アイテム」という。)が存在しない場合には、今回の情報アイテムのみを意味し、一方、既存アイテムが存在する場合には、既存アイテムと今回の情報アイテムとの組合せを意味する。すべての情報アイテムに共通の1つの表示色は、予め選択されており、例えば、ユーザの主観評価値が高い色であり、例えば、赤、緑および黄のうちのいずれかである。
その後、ステップS107において、フラグfmcが「0」にセットされ、それにより、HMD10の表示モードがマルチカラー表示モードからモノクロ表示モードに移行したことが記録される。続いて、ステップS108において、すべての情報アイテムの内容が更新される。すべての情報アイテムのデータは、フラッシュROM28に記憶されている。
以上、フラグfmcが「1」である場合を説明したが、「0」である場合には、ステップS105の判定がNOとなり、ステップS106およびS107がスキップされる。これにより、すべての情報アイテムが一色で表示されるモノクロ表示モードが継続される。この場合にも、その後、ステップS108に移行する。
以上、彩度αが前記しきい値以下である場合を説明したが、そのしきい値より大きい場合、すなわち、外界パターンがDまたはEであるために、すべての情報アイテムを3色で表示することが望ましい場合には、ステップS104の判定がNOとなる。この場合には、続いて、ステップS109において、既存アイテムの数Nが取得される。既存アイテムのデータは、フラッシュROM28に記憶されているため、このステップS109は、フラッシュROM28の内容を参照することによって実行される。
その後、ステップS110において、既存アイテム数Nが2以下であるか否かが判定される。今回は、2以下であると仮定すると、その判定がYESとなり、ステップS111において、既存アイテム数Nが0であるか否かが判定される。今回は、既存アイテム数Nが0である(既存アイテムが存在しない)と仮定すると、このステップS111の判定がYESとなり、ステップS112に移行する。
このステップS112においては、今回の情報アイテムを3色で表示するために、今回の情報アイテムが表示されるべき1つのサブエリアが3分割される。一例においては、図12(a)に示すように、該当する1つのサブエリア(例えば、サブエリアH)が、垂直方向に3分割される(各々が水平方向に延びる3つの分割エリアに分割される)。
続いて、ステップS113において、それら3つの分割エリアに、互いに異なる3色がそれぞれ指定される。一例においては、図12(a)に示すように、3つの分割エリアにそれぞれ、赤色、緑色および黄色が指定される。これにより、今回の情報アイテムにつき、それを3色で表示する分割表示(マルチカラー表示の一種)が行われる。
その後、ステップS114において、フラグfmcが「1」にセットされる。続いて、ステップS108に移行する。
以上、既存アイテム数Nが0である場合を説明したが、0ではない場合には、ステップS111の判定がNOとなり、ステップS115において、既存アイテム数Nが1であるか否かが判定される。今回は、1である(1つの既存アイテムが存在する)と仮定すると、このステップS115の判定がYESとなり、ステップS116に移行する。
このステップS116においては、フラグfmcが「1」であるか否かが判定される。今回は、既存アイテムが1つのみ存在しており、この状態で、フラグfmcが「1」であると仮定すると、その1つの既存アイテムは、前述のステップS113の実行により、分割表示されていることになる。この場合には、ステップS116の判定がYESとなり、ステップS119において、既存の表示色(今回は、前述の3色)のうちのいずれかと同じ色で、今回の情報アイテムが一色で表示される。これにより、すべての情報アイテムが用いる色の合計数が3を超えずに済む。その後、ステップS114に移行する。
これに対し、フラグfmcが「0」であると仮定すると、1つの既存アイテムがモノクロ表示されていることになる。この場合、ステップS116の判定がNOとなり、ステップS117において、1つの既存アイテムが表示されている1つのサブエリアが、ステップS112と同様にして、3分割される。
続いて、ステップS118において、ステップS113と同様にして、その3分割によって発生した3つの分割エリアに別々の色が指定される。これにより、1つの既存アイテムにつき、それを3色で表示する分割表示(マルチカラー表示の一種)が行われる。その後、ステップS119に移行し、これにより、すべての情報アイテムが用いる色の合計数が3を超えずに済む。その後、ステップS114に移行する。
以上、既存アイテム数Nが1である場合を説明したが、1ではない場合、すなわち、今回の文脈においては、2である場合には、ステップS115の判定がNOとなる。続いて、ステップS120において、フラグfmcが「1」であるか否かが判定される。
今回は、既存アイテムが2つ存在しており、この状態で、既存フラグfmcが「1」であると仮定すると、それら2つの既存アイテムのうちの一方は、前述の分割表示が行われていることになる。一方、今回は、すべての情報アイテム(2つの既存アイテムと今回の情報アイテムとの組合せ)の数は、3つであるから、各情報アイテムをそれぞれ、互いに異なる色で、一色で表示しても、すべての情報アイテムが用いる色の合計数は、3となる。よって、いずれかの既存アイテムについての分割表示は不要である。
既存フラグfmcが「1」である場合には、ステップS120の判定がYESとなり、ステップS121において、既存アイテムについての分割表示が解除される。続いて、ステップS122において、2つの既存アイテムについて別々の色(例えば、赤色と緑色)が指定される。
その後、ステップS123において、2つの既存アイテムについて指定された2色(既存の表示色)とは異なる一色(例えば、黄色)で、今回の情報アイテムが表示される。続いて、ステップS114に移行する。
これに対し、今回は、フラグfmcが「0」であると仮定すると、2つの既存アイテムが、同じ色で、一色で表示されていることになる。この場合、ステップS120の判定がNOとなり、ステップS121がスキップされた後、ステップS122およびS123が、前述の場合と同様に実行される。
以上、既存アイテム数Nが0である場合、1である場合、および2である場合をそれぞれ説明したが、既存アイテム数Nが3である場合には、ステップS110の判定がNOとなる。続いて、ステップS124において、フラグfmcが「1」であるか否かが判定される。
今回は、既存アイテムが3つ存在する状態で、フラグfmcが「1」であると仮定すると、それら3つの既存アイテムは、それぞれ一色で、かつ、合計3色で表示されている。この場合には、その後、ステップS119に移行し、既存の表示色(前述の3色)のうちのいずれか(例えば、赤色)と同じ色で、今回の情報アイテムが一色で表示される。これにより、4つの情報アイテム(3つの既存アイテムと、今回の情報アイテムとの組合せ)が用いる色の合計数が3を超えずに済む。続いて、ステップS114に移行する。
これに対し、今回は、フラグfmcが「0」であると仮定すると、3つの既存アイテムが、同じ色で、一色で表示されていることになる。この場合には、その後、ステップS125において、それら3つの既存アイテムをそれぞれ、互いに異なる色で、合計3色で表示するために、前記画像表示エリアが3分割される。一例においては、図12(b)に示すように、画像表示エリアが、水平方向に3分割される(各々が垂直方向に延びる3つの分割エリアに分割される)。
続いて、ステップS126において、それら3つの分割エリアに、互いに異なる3色がそれぞれ指定される。一例においては、図12(b)に示すように、3つの分割エリアにそれぞれ、赤色、緑色および黄色が指定される。これにより、3つの情報アイテムにつき、それぞれを一色で、かつ、全部で3色で表示するマルチカラー表示が行われる。その後、ステップS119に移行する。
既存アイテム数Nが4である場合には、ステップS110の判定がNOとなる。続いて、ステップS124において、フラグfmcが「1」であるか否かが判定される。今回は、既存アイテムが4つ存在する状態で、フラグfmcが「1」であると仮定すると、それら4つの既存アイテムは、それぞれ一色で、かつ、合計3色で表示されている。この場合には、その後、ステップS119に移行し、既存の表示色(前述の3色)のうちのいずれか(例えば、赤色)と同じ色で、今回の情報アイテムが表示される。これにより、5つの情報アイテム(4つの既存アイテムと、今回の情報アイテムとの組合せ)が用いる色の合計数が3を超えずに済む。続いて、ステップS114に移行する。
これに対し、今回は、フラグfmcが「0」であると仮定すると、4つの既存アイテムが、同じ色で、表示されていることになる。この場合には、その後、ステップS125において、それら4つの情報アイテムを3色で表示するために、前記画像表示エリアが3分割される。続いて、ステップS126において、それら3つの分割エリアに、互いに異なる3色がそれぞれ指定される。これにより、4つの情報アイテムにつき、それぞれを一色で、かつ、全部で3色で表示するマルチカラー表示が行われる。その後、ステップS119に移行する。
既存アイテム数Nが5以上である場合には、既存アイテム数Nが4である場合に準じてこの色分け数決定プログラムが実行されるため、重複した説明を省略する。
すなわち、本実施形態においては、各情報アイテム(前記「表示オブジェクト」の一例)が、単色で表示され、すべての情報アイテムの表示に使用される色の合計数である色数には、2以上である上限値(本実施形態においては、3)が予め設定されており、表示画像中に同時に存在する情報アイテムの数が前記上限値と同じ数を超えた場合でも、前記色数が前記上限値に維持されるのである。
なお付言するに、図11に示す色分け数決定プログラムは、新しい情報アイテムの入力をトリガとして、そのときの外界の彩度αに基づき、情報アイテムの表示態様を一色表示と3色表示とに切り換える。そのため、ある回の情報アイテムの入力タイミングと、次回の情報アイテムの入力タイミングとの間の期間においては、たとえ外界の彩度αが変化しても、その変化が反映されるように情報アイテムの表示態様が変化することはない。彩度αの変化をトリガとして色分け数が変化させられるようには設計されていないからである。
これに対し、図13には、最新の情報アイテムの入力後に、外界の彩度αが変化すると、それに応答して、情報アイテムの表示態様(今回は、色分け数)を変化させる外界応答プログラムがフローチャートで概念的に表されている。この外界応答プログラムは、前記色分け数決定プログラムを置換するのではなく、追加的に実行される。
この外界応答プログラムにおいては、まず、ステップS151において、所定時間(例えば、10秒)が経過するのが待たれる。ここに、所定時間の長さは、カメラ23が外界を間欠的に撮像するとともにその撮像結果を用いて彩度αを取得する周期の長さを意味する。所定時間が経過したならば、ステップS152において、新しい情報アイテムの入力があったため、前記色分け数決定プログラムにおいて、外界の彩度αを用いた色分け数の決定が行われている最中であるか否かが判定される。今回は、その最中であると仮定すると、ステップS153ないしS157がスキップされて、ステップS151に戻る。
これに対し、今回は、前記色分け数決定プログラムにおいて、外界の彩度αを用いた色分け数の決定が行われている最中ではないと仮定すると、ステップS153において、カメラ23により、現在の外界が撮像される。続いて、ステップS154において、その撮像結果に基づき、彩度αが取得される。
その後、ステップS155において、その取得された彩度αが前記しきい値th以下であるか否かが判定される。その彩度αがしきい値th以下である場合には、ステップS156において、すべての情報アイテムが一色で表示される。その後、ステップS151に戻る。これに対し、今回は、彩度αがしきい値thより大きいと仮定すると、ステップS157において、すべての情報アイテムが、前記色分け数プログラムで採用されているアルゴリズムと基本的に同じアルゴリズムにより、3色で表示される。この場合にも、ステップS151に戻る。
図14には、本実施形態に従う画像表示方法であってHMD10を用いて画像を表示するものがフローチャートで経時的にかつ概念的に表されている。
まず、ステップS201において、新たしい情報アイテムが入力される。次に、ステップS202において、前記9つのサブエリアのうち、その入力された情報アイテムが表示されるべきものが、前述の人間の知覚特性と、左眼観察モードであるか右眼観察モードであるかの区別とに基づき、選択される。このステップS202は、図8に示すサブエリア選択プログラムが、フラッシュROM28を参照しつつCPU26によって実行されることによって実行される。
続いて、ステップS203において、カメラ23を用いることにより、前記情報アイテムと共に観察者が観察する外界の色彩度が取得される。その後、ステップS204において、その取得された色彩度に基づき、すべての情報アイテムを表示するために使用すべき色の数、すなわち、一色表示するのか、3色でマルチカラー表示するのかが決定される。それらステップS203およびS204は、図11に示す色分け数決定プログラムが、フラッシュROM28を参照しつつCPU26によって実行されることによって実行される。
続いて、ステップS205において、前記選択されたサブエリアの位置、および、前記決定された色数が反映されるように、各レーザ34,36,38から出射する成分レーザビーム、ひいては、結合光学系56において合波されて生成される合成レーザビームが生成される。その生成された合成レーザビームは、走査部88の水平走査装置90および垂直走査装置92によって2次元的に走査される。その走査された合成レーザビームが、最終的な画像光(前記合成レーザビームも、画像光である。)である。
その後、ステップS206において、その生成された画像光がハーフミラー112において反射して瞳孔122を通過し、やがて網膜124上に投影され、それにより、すべての情報アイテムが前記画像表示エリア上に表示される。ユーザである観察者は、その表示されたすべての情報アイテムを、観察者の左眼または右眼の前方に位置する現実外界に重ねて観察することになる。
なお付言するに、本実施形態においては、表示すべき各情報アイテムの重要度Yに応じて、各情報アイテムが表示されるサブエリアZが可変に決定されるが、1つまたは複数の情報アイテムが、前記9つのサブエリアのうち、前記快適度が十分に高いとして予め選択された一つのサブエリアまたは互いに隣接した複数のサブエリアを、固定の1つの表示エリアとして、その表示エリアに、各情報アイテムが表示される態様で本発明を実施することが可能である。
この態様においては、そのような表示エリアを、最大の快適度を有する1つのサブエリアであるサブエリアHとして定義したり、サブエリアHを有する1つのブロック(例えば、4つのサブエリアD,E,GおよびHの集合体より成るブロック)として定義することが可能である。すなわち、表示すべき各情報アイテムの重要度に応じて、各情報アイテムの表示位置を可変に決定することは、本発明を実施するために不可欠ではないのである。
以上、本発明の一実施形態を図面に基づいて詳細に説明したが、これは例示であり、前記[発明の開示]の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。

Claims (7)

  1. 1つまたは複数の表示オブジェクトを含む画像を表す画像光を観察者の眼に投影することにより、前記画像を表示画像として表示するとともに、その表示画像を外界に重ねて観察者が観察することを可能にするシースルー型画像表示装置であって、
    前記表示画像と共に観察者が観察している前記外界の色彩度を取得する外界色彩度取得部と、
    その取得された外界色彩度に応じ、前記1つまたは複数の表示オブジェクトを表示するために使用される色の合計数である色数を決定する色数決定部と、
    その決定された色数のもとに前記1つまたは複数の表示オブジェクトが表示されるように、前記画像光を生成する画像光生成部と
    を含むシースルー型画像表示装置。
  2. 前記色数決定部は、前記外界の視野範囲が低色彩度であることを前記取得された外界色彩度が表す場合に、前記色数を1に決定する第1決定部を含む請求項1に記載のシースルー型画像表示装置。
  3. 前記色数決定部は、前記外界の視野範囲が複数の有彩色が分散している状態であることを前記取得された外界色彩度が表す場合に、前記色数を、2以上である所定値に決定する第2決定部を含む請求項1または2に記載のシースルー型画像表示装置。
  4. 前記色数決定部は、前記外界色彩度取得部が新たな外界色彩度を取得するタイミングで、前記色数を再決定する請求項1ないし3のいずれかに記載のシースルー型画像表示装置。
  5. 各表示オブジェクトは、単色で表示され、
    前記色数には、2以上である上限値が予め設定されており、
    前記色数決定部は、前記表示画像中に同時に存在する表示オブジェクトの数が前記上限値と同じ数を超えた場合でも、前記色数を前記上限値に維持する請求項1ないし4のいずれかに記載のシースルー型画像表示装置。
  6. 1つまたは複数の表示オブジェクトを含む画像を表す画像光を観察者の眼に投影することにより、前記画像を表示画像として表示するとともに、その表示画像を外界に重ねて観察者が観察することを可能にするシースルー型画像表示方法であって、
    前記表示画像の観察中に、観察者が観察している前記外界の色彩度を取得する外界色彩度取得工程と、
    その取得された外界色彩度に応じ、前記1つまたは複数の表示オブジェクトを表示するために使用される色の合計数である色数を決定する色数決定工程と、
    その決定された色数のもとに前記1つまたは複数の表示オブジェクトが表示されるように、前記画像光を生成する画像光生成工程と
    を含むシースルー型画像表示方法。
  7. 請求項6に記載のシースルー型画像表示方法を実施するためにコンピュータによって実行されるプログラム。
JP2010269918A 2010-12-03 2010-12-03 シースルー型画像表示装置およびシースルー型画像表示方法 Pending JP2012120067A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2010269918A JP2012120067A (ja) 2010-12-03 2010-12-03 シースルー型画像表示装置およびシースルー型画像表示方法
PCT/JP2011/077914 WO2012074091A1 (ja) 2010-12-03 2011-12-02 シースルー型画像表示装置およびシースルー型画像表示方法
US13/848,028 US20130207991A1 (en) 2010-12-03 2013-03-20 Wearable displays methods, and computer-readable media for determining display conditions

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010269918A JP2012120067A (ja) 2010-12-03 2010-12-03 シースルー型画像表示装置およびシースルー型画像表示方法

Publications (1)

Publication Number Publication Date
JP2012120067A true JP2012120067A (ja) 2012-06-21

Family

ID=46172013

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010269918A Pending JP2012120067A (ja) 2010-12-03 2010-12-03 シースルー型画像表示装置およびシースルー型画像表示方法

Country Status (3)

Country Link
US (1) US20130207991A1 (ja)
JP (1) JP2012120067A (ja)
WO (1) WO2012074091A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014071277A (ja) * 2012-09-28 2014-04-21 Brother Ind Ltd ヘッドマウントディスプレイ、それを作動させる方法およびプログラム
JP2019191600A (ja) * 2015-08-18 2019-10-31 マジック リープ, インコーポレイテッドMagic Leap,Inc. 仮想および拡張現実システムならびに方法
US11616911B2 (en) 2018-02-22 2023-03-28 Magic Leap, Inc. Virtual and augmented reality systems and methods

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102271833B1 (ko) * 2014-09-01 2021-07-01 삼성전자주식회사 전자 장치, 그 제어 방법 및 기록 매체
GB2532953A (en) * 2014-12-02 2016-06-08 Ibm Overlay display
US10509467B1 (en) * 2018-06-01 2019-12-17 Facebook Technologies, Llc Determining fixation of a user's eyes from images of portions of the user's face enclosed by a head mounted display
USD968401S1 (en) 2020-06-17 2022-11-01 Focus Labs, LLC Device for event-triggered eye occlusion
CN116883519A (zh) * 2023-06-21 2023-10-13 海通证券股份有限公司 走势图配色方法、装置、设备和介质

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3744984B2 (ja) * 1995-10-04 2006-02-15 キヤノン株式会社 情報表示装置
JP3724157B2 (ja) * 1997-10-30 2005-12-07 コニカミノルタホールディングス株式会社 映像観察装置
KR100848757B1 (ko) * 2004-01-29 2008-07-25 올림푸스 가부시키가이샤 색 재현 시스템 및 색 재현 방법
JP2008516352A (ja) * 2004-10-13 2008-05-15 シーメンス アクチエンゲゼルシヤフト 強化現実システムにおける照明シミュレーションおよび影シミュレーションのための装置および方法
JP2007101618A (ja) * 2005-09-30 2007-04-19 Konica Minolta Photo Imaging Inc 表示装置
JP2007121625A (ja) * 2005-10-27 2007-05-17 Konica Minolta Photo Imaging Inc 画像表示装置
KR100809351B1 (ko) * 2006-04-03 2008-03-05 삼성전자주식회사 투사 영상을 보정하는 방법 및 장치
WO2009094587A1 (en) * 2008-01-23 2009-07-30 Deering Michael F Eye mounted displays
US8466864B2 (en) * 2008-10-08 2013-06-18 Dell Products, Lp Grayscale-based field-sequential display for low power operation
JP5201015B2 (ja) * 2009-03-09 2013-06-05 ブラザー工業株式会社 ヘッドマウントディスプレイ
US8964298B2 (en) * 2010-02-28 2015-02-24 Microsoft Corporation Video display modification based on sensor input for a see-through near-to-eye display
US8520027B2 (en) * 2010-05-14 2013-08-27 Intuitive Surgical Operations, Inc. Method and system of see-through console overlay
US8884984B2 (en) * 2010-10-15 2014-11-11 Microsoft Corporation Fusing virtual content into real content

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014071277A (ja) * 2012-09-28 2014-04-21 Brother Ind Ltd ヘッドマウントディスプレイ、それを作動させる方法およびプログラム
JP2019191600A (ja) * 2015-08-18 2019-10-31 マジック リープ, インコーポレイテッドMagic Leap,Inc. 仮想および拡張現実システムならびに方法
JP7036773B2 (ja) 2015-08-18 2022-03-15 マジック リープ, インコーポレイテッド 仮想および拡張現実システムならびに方法
US11302018B2 (en) 2015-08-18 2022-04-12 Magic Leap, Inc. Virtual and augmented reality systems and methods
US11481911B2 (en) 2015-08-18 2022-10-25 Magic Leap, Inc. Virtual and augmented reality systems and methods
US11616911B2 (en) 2018-02-22 2023-03-28 Magic Leap, Inc. Virtual and augmented reality systems and methods
US11800218B2 (en) 2018-02-22 2023-10-24 Magic Leap, Inc. Virtual and augmented reality systems and methods

Also Published As

Publication number Publication date
WO2012074091A1 (ja) 2012-06-07
US20130207991A1 (en) 2013-08-15

Similar Documents

Publication Publication Date Title
WO2012074091A1 (ja) シースルー型画像表示装置およびシースルー型画像表示方法
US9060693B2 (en) Visual function testing device
JP5136442B2 (ja) ヘッドマウントディスプレイ
US11188149B2 (en) Image display device using retinal scanning display unit and method thereof
KR100873231B1 (ko) 프로젝터의 색 보정 방법
JP4735234B2 (ja) 画像表示システム
WO2016158151A1 (ja) 視線検出システム、ヘッドマウントディスプレイ、視線検出方法
US20240046432A1 (en) Compensation for deformation in head mounted display systems
TW201730627A (zh) 用於檢測顯示器所產生的光場缺陷之光學計量系統
CN109409251A (zh) 虚拟和增强现实***和方法
JP2023525191A (ja) 環境的に整合した人工現実コンテンツを生成するために光センサーを使用するディスプレイ
WO2013073028A1 (ja) 画像処理装置、立体画像表示装置、画像処理方法および画像処理プログラム
US11960086B2 (en) Image generation device, head-mounted display, and image generation method
US20220113543A1 (en) Head-mounted display and image display method
US20220113794A1 (en) Display device and image display method
US11657545B2 (en) Device, method, smart glasses for color vision deficiency correction
JP5418480B2 (ja) 画像表示装置および画像表示方法
JP2005250978A (ja) 三次元画像処理装置および三次元画像処理方法
US10578871B2 (en) Retinal scan display device for correcting distortion of and inverting image
US20140362197A1 (en) Image processing device, image processing method, and stereoscopic image display device
JP7133163B2 (ja) 網膜走査型画像投影装置、網膜走査型画像投影方法、網膜走査型画像投影システム
EP2549760A2 (en) Method for improving three-dimensional display quality
WO2023136072A1 (ja) キャリブレーション装置、表示装置、キャリブレーション方法、および画像表示方法
JPH06215092A (ja) 表示装置
KR101082915B1 (ko) 레이저를 이용한 입체 영상 디스플레이 방법 및 이를 이용한 디스플레이 장치