JP7242693B2 - 完全性モニタリング - Google Patents

完全性モニタリング Download PDF

Info

Publication number
JP7242693B2
JP7242693B2 JP2020544172A JP2020544172A JP7242693B2 JP 7242693 B2 JP7242693 B2 JP 7242693B2 JP 2020544172 A JP2020544172 A JP 2020544172A JP 2020544172 A JP2020544172 A JP 2020544172A JP 7242693 B2 JP7242693 B2 JP 7242693B2
Authority
JP
Japan
Prior art keywords
display
image
optical
image area
integrity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020544172A
Other languages
English (en)
Other versions
JP2021506191A (ja
Inventor
ミルズ、コリン・リチャード
マッケン、イアン・トーマス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BAE Systems PLC
Original Assignee
BAE Systems PLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BAE Systems PLC filed Critical BAE Systems PLC
Publication of JP2021506191A publication Critical patent/JP2021506191A/ja
Application granted granted Critical
Publication of JP7242693B2 publication Critical patent/JP7242693B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/006Electronic inspection or testing of displays and display drivers, e.g. of LED or LCD displays
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/004Diagnosis, testing or measuring for television systems or their details for digital television systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0112Head-up displays characterised by optical features comprising device for genereting colour display
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/02Improving the quality of display appearance
    • G09G2320/029Improving the quality of display appearance by monitoring one or more pixels in the display panel, e.g. by monitoring a fixed reference pixel
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0693Calibration of display systems
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2330/00Aspects of power supply; Aspects of display protection and defect management
    • G09G2330/12Test circuits or failure detection circuits included in a display system, as permanent part thereof
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0464Positioning
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/12Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00Aspects of the architecture of display systems
    • G09G2360/14Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/145Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light originating from the display screen
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00Specific applications
    • G09G2380/12Avionics applications
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/002Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to project the image of a two-dimensional display, such as an array of light emitting or modulating elements or a CRT

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Testing Of Optical Devices Or Fibers (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Devices For Indicating Variable Information By Combining Individual Elements (AREA)

Description

本発明は、完全性モニタリングに関し、排他的ではないが、特にディスプレイシステムの完全性モニタリングに関する。
アビオニクスディスプレイ、特にセーフティクリティカル情報を表示するために必要とされるものは、非常に高いレベルの完全性で動作すること、及び完全性に関連する非常に高い基準に進展していることが必要とされる。そのようなシステムの認証は、非常に費用と時間がかかることもある。
本明細書に開示される第1の態様によれば、ディスプレイシステムのための完全性モニタであって、ディスプレイシステムは、画像源及びディスプレイを備え、完全性モニタは、ディスプレイシステムの画像エリア内の1つ又は複数の所定の位置における感知された特性を分析し、感知された特性を、システムに注入されたときの刺激の所定の特性に関連させ、それによって、システムにおける障害の存在を決定するように構成されたコントローラを備える、完全性モニタが提供される。
一例では、刺激は、ディスプレイシステムの光センサへの注入のための、所定の特性を有する光学的刺激を備える。光学的刺激を注入することにより、光センサの完全な機能を働かせることが可能となる。
一例では、完全性モニタは、波長、輝度、及び持続時間の所定の特性を有する光を備える光学的刺激を生成するように配置された光学注入源を備える。光学注入源は、所定の特性を有する光学的刺激を生成するように動作し得る。代替的に、一例では、光学注入源は、コントローラによって制御可能である。
一例では、完全性モニタは、光学注入源からの光を光センサの画像感知エリア内の1つ又は複数の位置に導くための1つ又は複数の光ファイバを備える。代替の例では、完全性モニタは、光センサに光学的刺激を含む光を出力するように配置された光導波路を備える。
一例では、ディスプレイシステムは、表示のための記号の生成器を備える。任意選択的に、記号の生成器は、システムの画像エリア内の所定の位置に各々、1つ又は複数の記号を備える刺激を生成するように構成される。記号は、英数字又は様々な方法で表されるデータと共に、三角、丸、又は四角などの形状及び線を備え得る。
一例では、刺激が、システム内の画像エリアを表すデータの操作を備える。システムの画像エリアを表すデータは、例えば、ディスプレイの画像エリア内の画素ごとの画素輝度又はカラーを規定する画像データを備え得る。
一例では、刺激は、システムの画像エリアを表すデータに、システムの構成要素によって生成される固有ノイズ成分を備える。ノイズ成分は、例えば、ディスプレイシステムの光センサ又はディスプレイシステムの電子機器に固有のノイズにより、若しくは誘導ノイズにより生じ得る。
一例では、完全性モニタは、ディスプレイの画像エリア内の1つ又は複数の所定の位置に放出された光の特性を感知し、感知された特性を示すデータをコントローラに出力するための光検出器を備える。
一例では、完全性モニタは、1つ又は複数の所定の位置に放出された光を光検出器に導くための1つ又は複数の光ファイバを備え、ここにおいて、1つ又は複数の所定の位置は、ディスプレイのユーザの視野の外側にある。このようにして、ユーザのディスプレイの通常使用を妨げることなく、完全性モニタリングが行われ得る。
一例では、完全性モニタは、ディスプレイの画像エリアにおけるコリメートされた光の一部分を捕捉し、捕捉された光をイメージセンサに導き、それによって、分析のためにコントローラに画像データを提供するために、ディスプレイの画像プロジェクタ内に配置された光導波路を備える。光導波路及び関連するイメージセンサの使用により、ディスプレイの画像エリア内の固定位置にのみ放出される光を感知することによって制約されることなく、ディスプレイの画像エリア内の特定の位置に放出される感知光のより高度な分析が可能となる。
一例では、コントローラは、所定の時間期間にわたるディスプレイの画像エリア内の1つ又は複数の所定の位置から放出された光に対する感知された変化から、ディスプレイがフリーズしたかどうか、又は表示されている画像要素が望ましくない振動を受けているかどうかを識別するように構成される。
一例では、コントローラは、システム内の画像エリアを表すデータを受信し、ディスプレイの画像エリア内の1つ又は複数の所定の位置に対応する、データ内に表された位置を決定するように構成され、その結果、決定された位置についてのデータの操作を備える刺激は、ディスプレイの画像エリア内の1つ又は複数の所定の位置における感知された特性の変化をもたらすことが予期される。この技法によって、例えば、ディスプレイの画像エリア内の固定位置に放出された光を捕捉するための光ファイバの正確な配置が回避され得る。代わりに、コントローラ、又はディスプレイシステム内で実施される機能は、データを操作することによって、データ内に表されたどの位置が、ディスプレイの画像エリア内の1つ又は複数の所定の位置に放出される光の特性の感知される変化をもたらすと予期されるかを決定することができる。
一例では、コントローラは、システム内の画像エリアを表すデータを受信し、光学的刺激が注入され得る光センサの画像感知エリア内の1つ又は複数の位置に対応する、データ内に表された位置を決定するように構成される。この技法によって、例えば、光センサの画像感知エリア内の固定位置に光学的刺激を注入するための光ファイバの正確な配置が回避され得る。代わりに、コントローラは、システム内の画像エリアを表すデータを分析することによって、光学的刺激が感知された画像エリア内の位置を決定することができる。
一例では、コントローラは、刺激を注入するように、又はシステム内の画像エリアを表すデータの操作によって、注入された刺激を方向転換させるように構成され、その結果、注入された刺激は、ディスプレイの画像エリア内の1つ又は複数の所定の位置における感知された特性の変化をもたらすことが予期される。このようにして、コントローラは、光学的に注入された刺激の供給源又はディスプレイの画像エリア内の特定の位置に放出された光の検出器のいずれかの正確でない配置を調整することができる。
一例では、ディスプレイは、カラー又は複数の波長の画像を表示するように配置され、コントローラは、ディスプレイの画像エリア内の1つ又は複数の所定の位置において感知された注入された刺激の予期されるカラー又は波長特性から、ディスプレイの画像プロジェクタ内のLEDの故障があるかどうかを決定するように構成される。カラーは、赤外線LEDによって生成される赤外線成分を含み得る。
例示的な適用例では、ディスプレイは、ヘッド又はヘルメットマウントディスプレイ、ヘッドアップディスプレイ、若しくはヘッドダウンディスプレイのうちの1つ又は複数を備える。
本明細書に開示される第2の態様によれば、ディスプレイシステムの完全性をモニタリングするための方法であって、ディスプレイシステムの画像エリア内の1つ又は複数の所定の位置における感知された特性を分析することと、感知された特性を、システムに注入されたときの刺激の所定の特性に関連させ、それによって、システム内の障害の存在を決定することとを備える方法が提供される。
本発明の例示的な実施形態は、ここから、以下の付随する図面を参照して、単に実施例として説明される。
本明細書に開示される一例による完全性モニタリングシステムを組み込んだディスプレイシステムの例示的な構成要素を示す。 本明細書に開示される一例による、入力センサの例示的な画像エリアが表示画面の画像エリアにどのように関連し得るかを示す。 本明細書に開示される一例による、光学的又は非光学的刺激の一例、及びそれが図2に示される画像エリアにどのように配置され得るかを示す。 本明細書に開示される一例による、ヘルメットマウントディスプレイのための例示的な画像プロジェクタの構成要素の断面図を概略的に示す。 本明細書に開示される一例による、画像プロジェクタの表示画面に適用される例示的な光捕捉技法の断面図を概略的に示す。 本明細書に開示される一例による、代替的な光捕捉技法を組み込んだ、図4のようなヘルメットマウントディスプレイのための例示的な画像プロジェクタの構成要素の断面図を概略的に示す。 本明細書に開示される実施例が適用され得る例示的なHUDの構成要素の断面図を概略的に示す。
詳細な説明
アビオニクスディスプレイ、特にセーフティクリティカル情報を表示するために必要とされるものの認証は、非常に高い水準の完全性への進展についての証拠及び非常に高いレベルの完全性への動作についての証拠を必要とする。
アビオニクスディスプレイが少なくとも必要なレベルの完全性まで動作することを保証するためのアプローチは、独立した完全性モニタリング機能を提供することである。完全性モニタリング機能は、必要とされる最高レベルの完全性にしたがって進展し得、動作し得る。しかしながら、典型的なエンドツーエンドディスプレイシステムと比較して比較的単純な構成であるので、最高水準への完全性モニタリング機能の証明は、達成するのがより容易であろう。
完全性モニタの実施例については、ディスプレイシステムへの例示的な適用において以下で説明される。特定の実施例では、暗視カメラ(NVC)によって出力された画像を、NVC画像上にオーバーレイされて表示される記号又は他のディスプレイアーチファクトと組み合わせて表示するように構成されたディスプレイシステムの完全性をモニタリングするための完全性モニタが説明される。しかしながら、説明される原理が、当業者であれば明らかであるように、他のタイプのディスプレイシステム又は他のタイプのセーフティクリティカルシステムの完全性をモニタリングすることに適用され得ることが明らかとなる。
説明される完全性モニタの実施例は、特定の既知のタイプの完全性障害又は他の危険の検出に合わせて、既知の刺激がディスプレイシステムに初期段階で注入され得るという原理に基づいて動作する。次いで、刺激を注入した結果が、ディスプレイシステムにおいて後期段階で検出され、その結果は、予期され得るものと比較され得る。加えて、刺激の効果は、完全性障害又は他の危険の証拠を探すときにディスプレイシステムの出力を分析するための根拠を提供し得る。
既知の刺激の注入の代替として、システム内で生じるノイズ信号などの未知の形態の既存の刺激が、以下で説明されるように、少なくともいくつかの形態のディスプレイシステムの故障又は潜在的に危険な動作モードを検出するために利用され得る。
画像入力の1つとしてNVCを有する上述の例示的なディスプレイシステムでは、エンドツーエンドシステムのすべての光学及び電子構成要素を働かせるために、既知の刺激が、理想的には、NVCに光学的に注入され、システムのディスプレイ出力において光学的に検出され得る。また、ディスプレイシステムによって表示されている画像をユーザが正常に見ることを妨げることなく、既知の刺激が注入され、効果がその後に検出され得る場合も有益である。それにより、ディスプレイシステムの正常動作中に完全性モニタリング機能が連続的に動作することが可能となる。
センサ入力における光学的に注入された刺激と、ディスプレイ出力における光学的に検出された効果との直接の関係を維持するには、代替形態がない場合、光学注入位置(単数又は複数)及び光学検出位置(単数又は複数)における高精度の位置合わせが必要とされる。しかしながら、光学注入及び光学検出構成要素の高精度な位置合わせ及び組立ての必要性を回避する、例示的な代替アプローチが、以下で説明される。
検出され得る完全性障害又は他の安全上の危険の例は、カラーディスプレイでは、赤、緑、又は青のLEDのうちの1つ又は複数のLEDの故障、フリーズしたディスプレイ、画像スケーリングエラー、画像振動、配置エラー、及び画像輝度障害を含む。そのような故障又は危険が検出され得るディスプレイタイプの例は、ヘッドアップディスプレイ(HUD)、ヘッドダウンディスプレイ(HDD)、及びヘッドマウントディスプレイ(HMD)を含む。そのようなシステムによって表示される画像は、デジタルマイクロミラーデバイス(DMD)、液晶オンシリコン(LCoS)デバイス、有機発光ダイオード(OLED)デバイス、又は他のデジタルディスプレイデバイスタイプなどのディスプレイデバイスによって出力され得る。
以下、本発明の一実施形態による完全性モニタリング構成を組み込んだ例示的なヘルメットマウントディスプレイシステムが、図1を参照して説明される。以下で説明される別の例示的なディスプレイシステムでは、ディスプレイシステムは、ヘルメットマウントディスプレイに加えて又はその代わりに、HUDを含み得る。
図1を参照すると、外部夜間シーン12を感知するための暗視カメラ(NVC)10と、センサ画像プロセッサ14と、表示画像プロセッサ/ドライバ16と、画像プロジェクタ18とを備えるヘルメットマウントディスプレイシステムの構成要素の構成が概略的に示されている。画像プロジェクタ18は、ユーザ22が見るために部分的に反射型のバイザー20による反射のために、当該バイザーに向けて画像を投影するように構成される。
ディスプレイシステムはまた、表示のために表示画像プロセッサ/ドライバ16にも入力され得る記号及び他のデータなどの画像要素を生成するための記号生成器24を含む。記号は、英数字又は様々な方法で表されるデータと共に、三角、丸、又は四角などの形状及び線を備え得る。生成された記号は、典型的には、使用時に、NVC10によって供給される画像上にオーバーレイされてユーザ22にみえるように表示される。
このようなディスプレイシステムでは、構成要素10、14、16、18、及び24のいずれか1つにおける構成要素の故障又は潜在的な設計の故障により障害が発生し得、潜在的に危険な状況につながる。ユーザ22への画像の生成及び表示に干渉せずにそのような故障を検出する目的で、完全性モニタリング構成1が組み込まれてディスプレイシステムと共に機能し得る。しかしながら、故障又は他の危険な動作モードを検出すると、完全性モニタは、例えば、ユーザ22が見る表示されているものに故障が最初に影響を及ぼす所定の時間期間内、例えば0.5秒以内にディスプレイシステムをディスエーブルにする措置をトリガし得る。
この目的のために、完全性モニタリング構成1は、構成1の完全性モニタリング機能を実施するために設けられた高完全性プロセッサ30を備える。光学注入源32が、所定の特性を有する光を生成するために設けられる。光学注入源32は、所定の特性を有する光学的刺激の生成のために予め構成されたシーケンスに完全にしたがって動作し得、高完全性プロセッサ30へのリンクを必要としない。代替的に、光学注入源32は、光学的刺激をトリガするように、又は特定の特性を有する刺激を生成するように、高完全性プロセッサ30によって制御可能であり得る。生成された光は、NVC10に光ファイバ34によって光学的刺激として注入され得る。例えば、光ファイバ34は、光学注入源32によって生成された光を、NVC10の光学系内の適切な位置に注入し得る。理想的には、光ファイバ34は、NVC10内のセンサに近い地点から光を注入し得、その結果、光は、NVC10の光学系によって許容される視野の外側の、その感知エリアの縁部にあるセンサによって検出され得る。そのようにして、注入された光が、画像プロジェクタ18によって表示されユーザ22が見得る外部シーン12のビューと干渉する見込みはない。生成された光についての例示的な特性は、以下でより詳細に説明される。
光学注入源32からNVC10に注入された光学的刺激は、外部シーン12からNVC10の光学系を介して受け取られた光についてと同様に、NVC10内のセンサによって検出され、対応する信号又は画像データがNVC10によってセンサ画像プロセッサ14に出力される。信号又は画像データは次いで、対応する画像を出力するように画像プロジェクタ18のディスプレイデバイスを制御する、表示画像プロセッサ/ドライバ14に渡される。外部シーン12のビューを含む画像の少なくともその部分が、ユーザ22が見るために画像プロジェクタによってバイザー20上に投影される。光学的刺激がNVC10内のセンサの感知エリアの縁部に注入された場合、画像プロジェクタ18内のディスプレイデバイスによって生成される光は、そのディスプレイデバイスの画像エリア内の対応する位置から検出可能であるべきである。
完全性モニタリング構成1は、好ましくは画像が画像プロジェクタ18の光学系内で形成された地点から、画像プロジェクタ18内で捕捉された光の特性を感知するように構成された光検出器36を含む。光は、例えば、適切に配置された光ファイバ38又は他の光学構成を使用して捕捉され、ファイバ38によって光検出器36に導かれ得る。光検出器36は、感知された光を表すデータを、分析のために高完全性プロセッサ30に出力し、これの更なる詳細は以下に提供される。
NVC10に光学的刺激を適用することで、NVC10のすべての機能及びハードウェアがテストされることが可能となるという利点を有する。同様に、光出力を検出することにより、画像プロジェクタ18の機能及びハードウェアが、NVC10と画像プロジェクタ18との間にあるすべての構成要素14、16と共にテストされることが可能となる。
高完全性プロセッサ30はまた、信号若しくはデータ、又はディスプレイシステム内の様々な地点におけるデータの操作を備える非光学的刺激を導入し、モニタリング目的でそのような地点からのデータを受信するように構成され得る。例えば、高完全性プロセッサ30は、画像エリアの縁部にある1つ又は複数の画素グループを規定するデータを上書きするように、システム内の画像エリアを表す、NVC10によって出力されたデータを修正し得る。修正された画素は次いで、表示画像プロセッサ/ドライバ16によって処理される画像データに現れ、その後、画像プロジェクタ18内のディスプレイデバイスによって生成される画像に現れるはずである。この技法によれば、例えば、光学的刺激を注入することが実際的でない場合に、ディスプレイシステムの異なる部分の追加のより具体的なテストが提供される。
高完全性プロセッサ30はまた、表示画像プロセッサ/ドライバ16及び画像プロジェクタ18のうちの一方又は両方内のインターフェースにある画像エリアを表す信号又はデータを受信するように構成される。高完全性プロセッサ30は、導入された刺激又はその効果がこれらの構成要素の各々から検出及び分析されることを可能にするために、受信された信号又はデータを分析するように構成される。加えて又は代替的に、注入された刺激に関連する任意の結果として生じる光学効果が、光検出器36によって検出され得る。非光学的刺激の特性は、以下でより詳細に説明される。
光信号及び非光信号又はデータは、既知で検出可能な刺激を、ディスプレイシステムの入力段階の選択された構成要素に導入することが意図される。導入された刺激は、次いで、ディスプレイシステムからの出力に関連する選択された構成要素で検出されて、様々なタイプの潜在的故障のうちのいずれか1つ又は複数を明らかにし得る。
NVC10又はディスプレイシステムの他の構成要素における既存のノイズ源も、導入される刺激の一例と考えられ得、その効果は、表示画像プロセッサ/ドライバ16又は画像プロジェクタ18によって、表示される画像又は処理されるデータにおいて検出され得る。ノイズは、例えば、画素輝度を制御する画像データの最下位ビットにおける変動によって認識可能な、ランダムに変化する刺激を、選択された画素に提供し得る。選択された画素に対するノイズの効果は、刺激が、モニタリングの時点でシステムについての予想ノイズレベルを超えるかどうかを決定するために使用することができる。例えば、これは、フリーズしたディスプレイが検出されたかどうかを決定するために適切な閾値を利用して高完全性プロセッサ30によって非光学的に検出され得る。閾値及びデータ上で使用される任意のフィルタリングは、ノイズの変動により、障害が検出されないままとなること、又はシステムが誤って障害を検出することが可能とならないことを保証するために適切に設定されなければならない。
図1に示される例示的なディスプレイシステムは、ヘルメットマウントディスプレイシステムである。しかしながら、当業者であれば明らかなように、完全性モニタリング構成は、ヘッドアップディスプレイ(HUD)、ヘッドダウンディスプレイ(HDD)、又は他の形態のヘッドマウントディスプレイを含む、他のタイプのディスプレイシステムに適用され得る。異なるディスプレイシステムには、ディスプレイシステムの入力関連段階において光学的又は非光学的刺激を注入し、ディスプレイシステムの出力関連段階において刺激の効果を検出する異なる機会が提供される。図2をさらに参照してここから説明されるように、すべての場合において、ユーザが画像を正常に見るのを妨げることを回避することを意図している。
最初に図2aを参照すると、NVC10内のセンサの実質的に矩形のアクティブセンサエリア40の例示的な表現が示されている。
図2bを参照すると、アクティブセンサエリア40上にオーバーレイされた、外部シーン12のNVC10の視野42から光を受け取り得るアクティブセンサエリア40の部分の例示的な表現が示されている。視野は、例えば、NVC10のレンズ系によって制約される。本開示の完全性構成1を考慮すると、NVC10のレンズ系を通して注入される任意の光学的刺激は、NVC10の視野を表す部分42内のどこかのセンサに必ず到達する。しかしながら、上述のように、NVC10のレンズ系とセンサとの間の地点からの光学的刺激の注入は、領域42の外側にあるエリア40に光を注入する機会を提供する。
図2cを参照すると、画像プロジェクタ18内の、又はHUDなどの別のタイプのディスプレイの画像プロジェクタ内の画面エリア44の例示的な表現が示されており、そこに、コリメートされた画像が形成され得る。
図2dを参照すると、画面エリア44上にオーバーレイされた、画像プロジェクタ18内のディスプレイデバイスのアクティブ画像エリア46から出力された光を受け取り得る画面内のエリアの例示的な表現が示されている。
図2eを参照すると、画面44のエリア46上にオーバーレイされた、バイザー20から反射された投影画像を見るときにユーザ22が見ることになる画像エリア48の例示的な表現が示されている。エリア48は、ディスプレイデバイスによって放出された光の、ユーザ22が利用可能な視野を表す。すなわち、ユーザ22は、画面44上に形成された画像のうちエリア48内にある部分を見ることができる。ユーザに見える視野48は、画像プロジェクタ18の投影光学系とバイザー20との組合せによって決定される。
図1に示されるものなどのヘルメットマウントディスプレイは、湾曲したバイザー20を用いる。画像プロジェクタ18からの光が、湾曲したバイザー20からの反射後に歪んでいないようにみえるために、ディスプレイデバイスによって出力される画像光は、バイザー20及び画像プロジェクタ18の他の任意の光学系の既知の光学特性を補償するように表示画像プロセッサ/ドライバ16によって予め歪められる。したがって、適切に予め歪めることで、予め歪められた画像が画像プロジェクタ18におけるユーザの視野を表す画面エリア44の部分48から出力された場合に、歪められていない完全な画像をユーザ22が見ることになる。
NVC10において外部シーン12の視野42から受け取られた任意の光が、システムを通してデータ中で伝達されて画面44のエリア48内から表示され得る画像として、NVCセンサによって感知され得るように構成され得る。しかしながら、図2eに見ることができるように、ユーザ22が利用可能な視野を表すエリア48の外側にある画面44の領域50が残っている。領域50にある画面44上に形成された画像の部分からの光をユーザ22は見ることができないが、図1に示されるように、例えば適切に位置付けられた光ファイバ38によって捕捉され得る。したがって、光学注入源32が、領域50内の画面44上に形成された画像において検出可能であるNVCセンサの感知エリア内の位置においてNVC10に光学的刺激を注入することが好ましいが、ただし必須ではない。この特性は、ディスプレイシステムのユーザの通常使用を妨げることなく、ディスプレイシステムの動作完全性をテストするために、完全性構成1によって利用され得る。
光学注入源32及び光検出器36の高精度の物理的位置合わせが必要なことを回避するために、システムは、各光学注入源32及び/又は光検出器36の配置を予め決定することができ、その結果、高完全性プロセッサ30は、これらの実際の位置を決定するためにこの情報を使用することができる。高完全性プロセッサ30は、次いで、光学注入源32の実際の位置をチェックし、注入源(単数又は複数)の関連する検出される画素エリアをコピーすることによって、修正された非光学注入源(単数又は複数)を生成し得るか、又は代替的に、光検出器36と正しく位置が合うように完全に新しい非光学注入源(単数又は複数)を生成し得る。
図1に示されるシステムでは、適切に配置された光ファイバ34を使用してNVC10に光学的刺激を注入するための1つの例示的な技法が、図2eを参照して示され、上述された。しかしながら、他の技法が、NVC10に光学的刺激を注入するために使用され得る。
例えば、光学的刺激は、以下のうちの1つ又は複数によって、NVC10のセンサエリア内の特定の位置に方向付けられ得る。
・例えばNVCレンズ系の外部に取り付けられた1つ又は複数の小型光学系による、NVCレンズ系を通したコリメートされた光源の注入
・NVCレンズ系の一部又は全部の要素をバイパスして、光ファイバ結合によるNVCセンサ上の選択された位置への直接注入
・適切に配置された1つ又は複数のテスト点のコリメートされた画像を提供するために、NVCレンズ系の外側に位置付けられた導波路を使用する注入
・適切に位置する1つ又は複数のテスト点のコリメートされた画像を提供するために、NVCレンズ系の内部(絞り内)に位置付けられた導波路を使用する注入
光学的刺激を使用して図2eを参照して上述された特性を利用するために、1つの実施例では、1つ又は複数の光ファイバが、センサの感知エリアの縁部に近い1つ又は複数の領域に光学的刺激を注入することを可能にする位置においてNVC10内に位置付けられる。代替的に、実質的に透明な光導波路がNVCレンズ系の内部に位置付けられてもよく、テストパターンのコリメートされた画像の形態の光学的刺激が、導波路によってNVC10のセンサへと注入されてもよい。光導波路には、導波路上又は導波路内に形成された回折格子が設けられ、導波路からセンサに向かって光を結合する。ここで、図3を参照して、光学的刺激の例示的な配置が説明される。
図3aを参照すると、1つの実施例では、光学的刺激は、光の形状を備える1つ又は複数のマーカ60、62、64、66を備え得る。各マーカ60~66は、NVC10の通常の視野42の外側だがアクティブセンサエリア40の縁部に近い位置においてNVCセンサによって感知されるように配置され得る。
図3bを参照すると、画像プロジェクタ18内の画面44の領域50は、1つ又は複数のマーカ70、72、74、76が表示及び検出され得るエリアを提供する。そのようなマーカは、システムに以前に非光学的刺激として注入され得るか、又はそれらは、NVC10に注入された光学的刺激の結果であり得、例えば、マーカ60~66のうちの1つ又は複数は、領域50内に表示される対応するマーカ70~76をもたらすように配置され得る。これら4つのマーカ70~76のいずれかは、図4及び図5をさらに参照してここで説明されるように、例えば、それぞれ配置された光ファイバ36を使用して、完全性構成1によって検出され得る。
さらに図4を参照すると、ヘルメットマウントカラーディスプレイのための画像プロジェクタ18の構成要素の例示的なセットの断面図が概略的に示されている。構成要素は、画像担持光を出力し、及びレンズ構成82を含む光学系を通して折り返しミラー86に光を方向付けるように構成されたディスプレイデバイス80を備え、当該折り返しミラーにおいて、光は、最終光学系88を通して方向転換されて画面44上に画像を形成する。画面44上に形成された画像は、次いで、バイザー20を介してユーザ22に投影され得る。
図5を参照して、図2eを参照して上述されたような、画面44の領域50からの光を捕捉するための2つの技法がここから説明される。
最初に図5aを参照すると、画面44の例示的な概略断面図が提供されており、当該画面44に、プリズム94が、図2eに示される領域50に対応する画面44の縁部において光学的に結合されて、光を受け取り、実質的に90°通して光ファイバ96のセクション内に光を方向転換させる。方向転換した光は、光検出器98に到達するまで光ファイバ96を通って伝搬し、当該光検出器において、光が感知され、対応するセンサデータが高完全性プロセッサ30(図5bには図示せず)に渡され得る。
図5bを参照すると、図5aのプリズムの代わりに、実質的に45°傾斜した研磨端部102を有する光ファイバ100のセクションが設けられて、領域50から出力された光を受け取り、それを光ファイバ100に沿って、高完全性プロセッサ30にリンクされた光検出器104に同様に方向転換させる。
図5に示されるような光ファイバを使用した画面44の領域50からの光の捕捉の代替として、図6を参照してここから説明されるような導波路が使用され得る。
図6を参照すると、図4のようなヘルメットマウントカラーディスプレイのための画像プロジェクタ18の構成要素の例示的なセットの断面図が概略的に示されている。実質的に透明な光導波路110が、画像が実質的にコリメートされる位置において画像プロジェクタ18内に挿入される。導波路110には、コーティング、例えば回折格子(図6には図示せず)が設けられており、これは、コリメートされた光のごく一部を、光が捕捉されるのに十分な角度で導波路110内に結合させ、内部全反射によって導波路110に沿って伝搬させるように構成される。伝搬光は、出力要素(図6には図示せず)、例えば、別の回折格子に到達し、当該出力要素は、導波路110からの伝搬光を結合し、光112を光学系114を通して光学イメージセンサ116に渡すように構成される。光センサ116からの画像データは、分析のために、特に、システムに以前に注入された光学的刺激又は非光学的刺激に対応する感知画像の部分を認識するために、高完全性プロセッサ30に渡され得る。
上述されたように、光が画面44において検出されるか又はNVC10のイメージセンサに注入される物理的位置が正確に知られる必要はない。例示的な方法では、これから説明されるように、注入された光学的刺激と画面44における1つ又は複数の検出位置との位置合わせは、高完全性プロセッサ30によってデータ内で行われることができる。
図1及び図3aを参照して上述された構成では、光ファイバ34は、例えばマーカ60~66の1つ又は複数の位置でNVC10のイメージセンサに光を注入するように配置され得る。マーカ60~66の位置は、製造/較正プロセス中に予め決定されるか、又は当業者に明らかな方法を使用したシステムの初期化中に動的に予め決定される。一旦決定されると、これらの位置は、正しく動作しているシステムにおいて注入光がどこに発生するべきかについての基準として使用される。
図1及び図5を参照して上述された構成では、光ファイバ38は、画面44の周辺部周りの1つ又は複数の固定位置からの光を結合するように構成される。光検出器の位置は、製造/較正プロセス中に予め決定されるか、又は当業者に明らかな方法を使用したシステムの初期化中に動的に予め決定される。一旦決定されると、これらは、光検出器が光刺激をどこで測定するかについての基準位置として使用される。
光学的刺激のデータ内の位置及び/又は光が画面44から結合される地点のデータ内の位置を確立しているので、高完全性プロセッサ30は、イメージセンサの決定された位置から画面44上の対応する決定された位置に光学的刺激の効果を、データ内で方向転換させることができる。ディスプレイシステムに適用される唯一の刺激が非光学的刺激である場合、高完全性プロセッサ30の方向転換機能は必要とされない。
上述されたように、完全性モニタリング構成1は、図7を参照して簡単にここから説明されるように、HUDなどの他のタイプのディスプレイシステムに適用され得る。
図7を参照すると、画像プロジェクタ120をハウジング122内に収容したHUDの断面図が概略的に示されている。画像プロジェクタ120は、ヘルメットマウントディスプレイのための画像プロジェクタ18の画面44と目的が同等である画面124を組み込んでいる。HUDの画面124上に形成された画像は、窓126を介してコンバイナ128に向かって投影され、当該コンバイナ128は、投影された画像をユーザ130に向かって方向転換させるために、窓126の平面に対して約45°傾斜している。
画面44上に形成された画像の位置で光を感知するためにヘルメットマウントディスプレイの画像プロジェクタ18に適用される、図2、図3、図5、及び図6を参照して上述された様々な技法は、原則として、HUDの画像プロジェクタ120内の画面124上の同等の位置で光を感知することに適用され得る。
光学的刺激を注入することの表示結果の光検出は、画像の表示に関与するディスプレイシステムのすべての構成要素を働かせるが、高完全性プロセッサ30は、例えば、表示画像プロセッサ/ドライバ16又は画像プロジェクタ18からの画像データを受信及び分析するようにも構成され得る。受信された画像データには、注入された刺激の結果を含む最終的な意図された画像の領域内の画素の状態についての情報が含まれる。したがって、画像データは、措置を必要とする故障の証拠を探すために、高完全性プロセッサ30によって分析され得る。
ディスプレイシステムに光学的刺激又は非光学的刺激を注入し、注入された刺激の結果をヘルメットマウントディスプレイの画像プロジェクタ18において検出するための例示的な技法が上述された。しかしながら、高完全性プロセッサ30の制御下で注入される光学的刺激又は非光学的刺激は、検出されるシステムの故障又は危険のタイプにしたがって異なる特性を有し得る。同様に、高完全性プロセッサ30によって行われる、注入された刺激の光学的に検出又は非光学的に検出された効果の分析は、ディスプレイシステムの故障又は潜在的な危険のタイプごとに異なる。ここで、いくつかの例示的な刺激特性及び分析技法が、例示的な範囲の様々なタイプのディスプレイシステムの故障又は危険について説明される。
(1)フリーズしたディスプレイ
「フリーズしたディスプレイ」は、ディスプレイがリフレッシュに失敗し、変化する画像コンテンツの表示に失敗したときに発生する。この事象を検出するために、高完全性プロセッサ30は、例えば図3aに示されるマーカ60~66の構成を備える光学的刺激の注入をトリガする。高完全性プロセッサ30は、次いで、ディスプレイシステムが所定の時間期間内、例えば20msの2つのディスプレイフレーム期間内に刺激の結果を表示することを保証するために、光学的に検出された反応を分析する。完全性システムがディスプレイシステムのフレーム期間に同期されている場合、より短い期間が設定され得る。
代替の技法では、NVC10において生じるノイズの形態の既存の刺激が、ディスプレイからの画素のサンプルにわたる画素輝度の対応する小規模変動を検出するために利用され得る。例えば、マーカ60~66は各々、マーカ60~66によって表される画素のサンプルが、フリーズしたディスプレイを検出するのに十分な大きさのディスプレイの画素のサンプルを提供するように、少なくとも所定のサイズの画素のブロックに影響を及ぼすように構成される。例えば20msの2つ以上のフレーム期間にわたるマーカ60~66から形成される画像70~76における画素輝度の小さい変化は、図1に示される構成の光検出器36から出力されたデータにおいて、図5の検出器98又は104若しくは図6に示される構成の検出器116によって識別可能であり得る。代替的に、高完全性プロセッサ30は、例えば、表示画像プロセッサ/ドライバ16又は画像プロジェクタ18から画像データを受信し、同じ時間期間にわたって、表示されたマーカ70~76のための画像データ内の最下位ビットに対する変化を探し得る。
(2)画像スケーリングエラー
画像スケーリングエラーの症状は、通常とは異なるサイズで外部シーン12の画像を表示し、その結果、その表示された画像内の特徴の上に記号生成器24によってオーバーレイされた任意の記号が誤って位置付けられて現れることを含み得る。高完全性プロセッサ30は、図3aのマーカ60~66などの既知の間隔の2つ以上のマーカを備える刺激の注入をトリガし、画面44上のこれらのマーカの正しく配置された画像70~76から予期される光レベル又は他の特性を検出することによって、画像スケーリングエラーを検出することができる。スケーリングエラーにより誤って配置されたマーカは、正しく配置されたマーカのものと比較して、各位置において異なる感知光レベル又は特性をもたらすことになる。
完全性システムのための較正段階中、光学的刺激又は非光学的刺激におけるマーカ60~66の位置は、例えば、図5に示される光カプラ94、102の位置に位置合わせされ、検出可能な特性が確立されるように調整され得る。配置エラーは、光カプラ94、102の位置における異なる特性の感知から明らかとなる。
画像スケーリングエラーの検出は、例えば、上記(1)のフリーズしたディスプレイの検出に使用されるものと同じ注入刺激を使用して行われ得る。
(3)画像振動
画像振動は、画素輝度(オン/オフ)、グレースケールレベル、画素のカラー又は位置の意図しない振動変化によって特徴付けられ得る。これらの症状のいずれかは、高完全性プロセッサ30によって、例えば図3aのマーカ60~66を備える注入された刺激に起因することが意図される、例えばカプラ94、102の位置で検出された光の感知された特性を分析することによって検出され得る。マーカ60~66は、画像振動の証拠が検出されることを可能にするために、いくつかのフレーム期間、例えば20msの時間期間にわたって、位置、カラー、及び輝度が固定されてよい。
(4)配置エラー
配置エラーは、意図しない位置における画像要素の表示によって特徴付けられる。スケーリングエラーの検出についてと同様に、例えば、較正段階中に決定されたマーカ60~66の正しく配置された画像70~76についての画面44において予期される位置における光の特性の感知された差が、配置エラーの証拠を提供する。マーカ70~76の実際の表示位置は、図6を参照して上述された構成のイメージセンサ116からの画像データの分析によって決定することができる。
(5)画像輝度障害
画像輝度障害は、ディスプレイの画像エリアの異なる部分において生じる絶対輝度エラー又は相対輝度エラーによって特徴付けられ得る。画像輝度エラーは、既知の輝度又は既知の相対輝度の1つ又は複数のマーカ、例えばマーカ60~66を備える刺激を注入し、マーカ70~76の検出された表示輝度又は相対輝度を、それらが画面44に形成された画像に現れたときに、予期される輝度(単数又は複数)と比較することによって検出することができる。
(6)カラーディスプレイにおける赤、緑、又は青のLEDのうちの1つ又は複数のLEDの故障
カラーディスプレイのための画像プロジェクタ18内の赤、緑、及び青のLEDの各々は、高完全性プロセッサ30によって、光学的であろうが非光学的であろうが1つ又は複数の刺激の注入をトリガし、1つ又は複数の赤、緑、及び青のマーカを規定し、LEDが駆動されている画像プロジェクタ18から情報を受信することによってテストされ得る。代替的に、光検出器36は、別個の検出器を有するカラーフィルタの構成を備え得、当該検出器は、赤、緑、又は青のLEDのいずれか1つが故障しているかどうかを識別するために、各カラーフィルタを通過する光の輝度を検出するためのものである。
(7)記号体系の完全性
記号生成器24によって生成される記号の完全性もモニタリングされ得る。1つの例示的な技法では、記号生成器24は、その記号セット中に1つ又は複数の「完全性記号」を含み、記号生成器の画像エリア内の所定の位置に完全性記号を生成するように構成され得る。実際的には、「完全性記号」は、例えば図3aに示されるマーカ60~66のうちの1つなどの、立体形状の光のみを備える。完全性モニタリング構成1の構成段階中に、生成された完全性記号を位置付けるための所定の位置は、光が画面44において検出可能である対応する記号の表示をもたらすように決定され得る。代替的に、同様の方法が高完全性プロセッサ30によって適用されて、記号生成器24によって生成された完全性記号のデータ内の位置を検出し、データ内の完全性記号を、それが画面44において光を検出する位置で領域50に表示されるように方向転換させ得る。
ディスプレイシステムの故障又は潜在的に危険なディスプレイシステム問題の他の例は、当業者であれば明らかであるように、高完全性プロセッサ30の制御下で検出され得る。適切に構築された光学的刺激又は非光学的刺激を注入し、その刺激の表示された、又は表示される結果を検出することによって、各々が検出され得る。かかる実施例は、本発明の範囲内に入ることが意図される。
高完全性プロセッサ30は、デジタルプロセッサに上述の完全性モニタリング機能を実施させるコンピュータプログラムを実行するように構成された従来のデジタルプロセッサを使用して実装され得る。代替的又は追加的に、高完全性プロセッサ30の機能は、1つ又は複数の構成可能なハードウェア論理デバイス、又は1つ又は複数の構成可能なハードウェア論理デバイスとコンピュータプログラムを実行するデジタルプロセッサとの組合せを使用して実施され得る。
本明細書で説明される実施例は、本発明の実施形態の例示的な実施例として理解されるべきである。さらなる実施形態及び実施例が想定される。任意の1つの実施例又は実施形態に関連して説明される任意の特徴は、単独で、又は他の特徴と組み合わせて使用され得る。加えて、任意の1つの実施例又は実施形態に関連して説明される任意の特徴はまた、実施例又は実施形態の任意の他のもの、若しくは実施例又は実施形態の任意のほかのものの任意の組合せの1つ又は複数の特徴と組み合わせて使用され得る。さらに、本明細書で説明されていない同等物及び改変物もまた、特許請求の範囲に規定される本発明の範囲内で用いられ得る。
以下に本願の出願当初の特許請求の範囲に記載された発明を付記する。
[C1]
ディスプレイシステムのための完全性モニタであって、前記ディスプレイシステムは、画像源及びディスプレイを備え、前記完全性モニタは、前記ディスプレイシステムの画像エリア内の1つ又は複数の所定の位置における感知された特性を分析し、前記感知された特性を、前記ディスプレイシステムに注入されたときの刺激の所定の特性に関連させ、それによって、前記システムディスプレイにおける障害の存在を決定するように構成されたコントローラを備える、完全性モニタ。
[C2]
前記刺激は、前記ディスプレイシステムの光センサへの注入のための、所定の特性を有する光学的刺激を含む、C1に記載の完全性モニタ。
[C3]
波長、輝度、及び持続時間の所定の特性を有する光を備える光学的刺激を生成するように配置された光学注入源を備える、C2に記載の完全性モニタ。
[C4]
前記光学注入源は、前記コントローラによって制御可能である、C3に記載の完全性モニタ。
[C5]
前記光学注入源からの光を前記光センサの画像感知エリア内の1つ又は複数の位置に導くための1つ又は複数の光ファイバを備える、C3又は4に記載の完全性モニタ。
[C6]
前記光センサに、光学的刺激を含む光を出力するように配置された光導波路を備える、C3又は4に記載の完全性モニタ。
[C7]
前記ディスプレイシステムは、表示のための記号の生成器を備える、C1~6のいずれか一項に記載の完全性モニタ。
[C8]
前記記号の生成器は、前記システムの画像エリア内の所定の位置に各々、1つ又は複数の記号を備える刺激を生成するように構成される、C7に記載の完全性モニタ。
[C9]
前記刺激が、前記システム内の画像エリアを表すデータの操作を備える、C1~8のいずれか一項に記載の完全性モニタ。
[C10]
前記刺激は、前記システムの画像エリアを表すデータに、前記システムの構成要素によって生成される固有ノイズ成分を備える、C1~9のいずれか一項に記載の完全性モニタ。
[C11]
前記ディスプレイの画像エリア内の1つ又は複数の所定の位置に放出された光の特性を感知し、前記感知された特性を示すデータを前記コントローラに出力するための光検出器を備える、C1~10のいずれか一項に記載の完全性モニタ。
[C12]
前記1つ又は複数の所定の位置に放出された光を前記光検出器に導くための1つ又は複数の光ファイバを備え、ここにおいて、前記1つ又は複数の所定の位置は、前記ディスプレイのユーザの視野の外側にある、C11に記載の完全性モニタ。
[C13]
前記ディスプレイの前記画像エリアにおけるコリメートされた光の一部分を捕捉し、前記捕捉された光をイメージセンサに導き、それによって、分析のために前記コントローラに画像データを提供するために、前記ディスプレイの画像プロジェクタ内に配置された光導波路を備える、C11に記載の完全性モニタ。
[C14]
前記コントローラは、所定の時間期間にわたる前記ディスプレイの前記画像エリア内の前記1つ又は複数の所定の位置から放出された光に対する感知された変化から、前記ディスプレイがフリーズしたかどうか、又は表示されている画像要素が望ましくない振動を受けているかどうかを識別するように構成される、C11~13のいずれか一項に記載の完全性モニタ。
[C15]
前記コントローラは、前記システム内の画像エリアを表すデータを受信し、前記ディスプレイの前記画像エリア内の前記1つ又は複数の所定の位置に対応する、前記データ内に表された位置を決定するように構成され、その結果、前記決定された位置についての前記データの操作を備える刺激は、前記ディスプレイの前記画像エリア内の前記1つ又は複数の所定の位置における感知された特性の変化をもたらすことが予期される、C11~14のいずれか一項に記載の完全性モニタ。
[C16]
前記コントローラは、前記システム内の画像エリアを表すデータを受信し、光学的刺激が注入され得る前記光センサの前記画像感知エリア内の前記1つ又は複数の位置に対応する、前記データ内に表された位置を決定するように構成される、C5に記載の完全性モニタ。
[C17]
前記コントローラは、前記システム内の画像エリアを表すデータの操作によって、刺激を注入するように、又は注入された刺激を方向転換させるように構成され、その結果、前記注入された刺激は、前記ディスプレイの前記画像エリア内の前記1つ又は複数の所定の位置における感知された特性の変化をもたらすことが予期される、C15又は16に記載の完全性モニタ。
[C18]
前記ディスプレイは、カラー又は複数の波長の画像を表示するように配置され、前記コントローラは、前記ディスプレイの前記画像エリア内の前記1つ又は複数の所定の位置において感知された注入された刺激の予期されるカラー又は波長特性から、前記ディスプレイの画像プロジェクタ内のLEDの故障があるかどうかを決定するように構成される、C1~17のいずれか一項に記載の完全性モニタ。
[C19]
前記ディスプレイは、ヘッド又はヘルメットマウントディスプレイ、ヘッドアップディスプレイ、又はヘッドダウンディスプレイのうちの1つ又は複数を備える、C1~18のいずれか一項に記載の完全性モニタ。
[C20]
ディスプレイシステムの完全性をモニタリングするための方法であって、前記ディスプレイシステムの画像エリア内の1つ又は複数の所定の位置における感知された特性を分析することと、前記感知された特性を、前記システムに注入されたときの刺激の所定の特性に関連させ、それによって、前記ディスプレイシステム内の障害の存在を決定することとを備える、方法。

Claims (17)

  1. ディスプレイシステムのための完全性モニタであって、前記ディスプレイシステムは、画像源及びディスプレイを備え、前記完全性モニタは、前記ディスプレイの画像エリア内の1つ又は複数の所定の位置における感知された特性を分析し、前記感知された特性を、前記ディスプレイシステムに注入されたときの刺激の所定の特性に関連させ、それによって、前記ディスプレイシステムにおける障害の存在を決定するように構成されたコントローラを備え、前記コントローラは、前記ディスプレイシステム内の画像エリアを表すデータを受信し、前記ディスプレイの前記画像エリア内の前記1つ又は複数の所定の位置に対応する前記データ内に表された位置を決定するように構成され、その結果、前記決定された位置についての前記データの操作を備える刺激は、前記ディスプレイの前記画像エリア内の前記1つ又は複数の所定の位置における感知された特性の変化をもたらすことが予期され、前記コントローラは、前記ディスプレイシステム内の画像エリアを表すデータの操作によって、注入された刺激の出力先を変更するように構成され、その結果、前記注入された刺激は、前記ディスプレイの前記画像エリア内の前記1つ又は複数の所定の位置における感知された特性の変化をもたらすことが予期される、完全性モニタ。
  2. 前記刺激は、前記ディスプレイシステムの光センサへの注入のための、所定の特性を有する光学的刺激を含む、請求項1に記載の完全性モニタ。
  3. 波長、輝度、及び持続時間の所定の特性を有する光を備える光学的刺激を生成するように配置された光学注入源を備える、請求項2に記載の完全性モニタ。
  4. 前記光学注入源は、前記コントローラによって制御可能である、請求項3に記載の完全性モニタ。
  5. 前記光学注入源からの光を前記光センサの画像感知エリア内の1つ又は複数の位置に導くための1つ又は複数の光ファイバを備える、請求項3又は4に記載の完全性モニタ。
  6. 前記光センサに、光学的刺激を含む光を出力するように配置された光導波路を備える、請求項3又は4に記載の完全性モニタ。
  7. 前記ディスプレイシステムは、表示のための記号の生成器を備える、請求項1~6のいずれか一項に記載の完全性モニタ。
  8. 前記記号の生成器は、前記ディスプレイシステムの画像エリア内の所定の位置に各々、1つ又は複数の記号を備える刺激を生成するように構成される、請求項7に記載の完全性モニタ。
  9. 前記刺激は、前記ディスプレイシステムの画像エリアを表すデータに、前記ディスプレイシステムの構成要素によって生成される固有ノイズ成分を備える、請求項1~8のいずれか一項に記載の完全性モニタ。
  10. 前記ディスプレイの画像エリア内の1つ又は複数の所定の位置に放出された光の特性を感知し、前記感知された特性を示すデータを前記コントローラに出力するための光検出器を備える、請求項1~9のいずれか一項に記載の完全性モニタ。
  11. 前記1つ又は複数の所定の位置に放出された光を前記光検出器に導くための1つ又は複数の光ファイバを備え、ここにおいて、前記1つ又は複数の所定の位置は、前記ディスプレイのユーザの視野の外側にある、請求項10に記載の完全性モニタ。
  12. 前記ディスプレイの前記画像エリアにおけるコリメートされた光の一部分を捕捉し、前記捕捉された光をイメージセンサに導き、それによって、分析のために前記コントローラに画像データを提供するために、前記ディスプレイの画像プロジェクタ内に配置された光導波路を備える、請求項10に記載の完全性モニタ。
  13. 前記コントローラは、所定の時間期間にわたる前記ディスプレイの前記画像エリア内の前記1つ又は複数の所定の位置から放出された光に対する感知された変化から、前記ディスプレイがフリーズしたかどうか、又は表示されている画像要素が望ましくない振動を受けているかどうかを識別するように構成される、請求項10~12のいずれか一項に記載の完全性モニタ。
  14. 前記コントローラは、前記ディスプレイシステム内の画像エリアを表すデータを受信し、光学的刺激が注入され得る前記光センサの前記画像感知エリア内の前記1つ又は複数の位置に対応する、前記データ内に表された位置を決定するように構成される、請求項5に記載の完全性モニタ。
  15. 前記ディスプレイは、カラー又は複数の波長の画像を表示するように配置され、前記コントローラは、前記ディスプレイの前記画像エリア内の前記1つ又は複数の所定の位置において感知された注入された刺激の予期されるカラー又は波長特性から、前記ディスプレイの画像プロジェクタ内のLEDの故障があるかどうかを決定するように構成される、請求項1~14のいずれか一項に記載の完全性モニタ。
  16. 前記ディスプレイは、ヘッド又はヘルメットマウントディスプレイ、ヘッドアップディスプレイ、又はヘッドダウンディスプレイのうちの1つ又は複数を備える、請求項1~15のいずれか一項に記載の完全性モニタ。
  17. ディスプレイシステムの完全性をモニタリングするための方法であって、ディスプレイの画像エリア内の1つ又は複数の所定の位置における感知された特性を分析することと、前記感知された特性を、前記ディスプレイシステムに注入されたときの刺激の所定の特性に関連させ、それによって、前記ディスプレイシステム内の障害の存在を決定することと、前記ディスプレイシステム内の画像エリアを表すデータを受信し、前記ディスプレイの前記画像エリア内の前記1つ又は複数の所定の位置に対応する前記データ内に表された位置を決定すること、その結果、前記決定された位置についての前記データの操作を備える刺激は、前記ディスプレイの前記画像エリア内の前記1つ又は複数の所定の位置における感知された特性の変化をもたらすことが予期され、と、前記ディスプレイシステム内の画像エリアを表すデータの操作によって、注入された刺激の出力先を変更すること、その結果、前記注入された刺激は、前記ディスプレイの前記画像エリア内の前記1つ又は複数の所定の位置における感知された特性の変化をもたらすことが予期される、と、を備える、方法。
JP2020544172A 2017-11-13 2018-11-06 完全性モニタリング Active JP7242693B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GB1718703.0 2017-11-13
GB1718703.0A GB2568296B (en) 2017-11-13 2017-11-13 Integrity monitoring
PCT/GB2018/053222 WO2019092413A1 (en) 2017-11-13 2018-11-06 Integrity monitoring of a display system

Publications (2)

Publication Number Publication Date
JP2021506191A JP2021506191A (ja) 2021-02-18
JP7242693B2 true JP7242693B2 (ja) 2023-03-20

Family

ID=60788308

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020544172A Active JP7242693B2 (ja) 2017-11-13 2018-11-06 完全性モニタリング

Country Status (5)

Country Link
US (1) US11176858B2 (ja)
EP (1) EP3711043A1 (ja)
JP (1) JP7242693B2 (ja)
GB (1) GB2568296B (ja)
WO (1) WO2019092413A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2568296B (en) 2017-11-13 2022-06-01 Bae Systems Plc Integrity monitoring
US11373567B2 (en) 2020-01-24 2022-06-28 Rockwell Collins, Inc. Light modulated photodiode-based display monitor system
US11462192B2 (en) * 2020-05-18 2022-10-04 Rockwell Collins, Inc. Flipped or frozen display monitor
CN114727144A (zh) * 2021-01-05 2022-07-08 广州汽车集团股份有限公司 一种显示器显示卡滞的监测***及方法
US11999506B2 (en) 2021-02-16 2024-06-04 Rockwell Collins, Inc. Camera core monitor using gradient filter
US11733522B2 (en) 2021-04-02 2023-08-22 Rockwell Collins, Inc. Advanced monitoring solution of displays
GB2611034A (en) * 2021-09-21 2023-03-29 Bae Systems Plc Integrity monitoring of image sensor data
WO2023047074A1 (en) * 2021-09-21 2023-03-30 Bae Systems Plc Integrity monitoring of image sensor data
EP4152738A1 (en) * 2021-09-21 2023-03-22 BAE SYSTEMS plc Integrity monitoring of image sensor data
US20230418055A1 (en) * 2022-06-23 2023-12-28 Rockwell Collins, Inc. Head wearable display device with image monitoring

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003143446A (ja) 2001-10-31 2003-05-16 Fuji Photo Film Co Ltd 撮像装置
JP2005165224A (ja) 2003-12-05 2005-06-23 Olympus Corp 画像投影表示装置
JP2007251555A (ja) 2006-03-15 2007-09-27 Omron Corp 診断装置および方法、プログラム、並びに、記録媒体
JP2008501995A (ja) 2004-06-04 2008-01-24 ヤコブ・ハッテランド・ディスプレイ・アーエス 画像フリーズ検出器
US20080252489A1 (en) 2002-09-10 2008-10-16 Hubert Naimer Display generation system
JP2008252307A (ja) 2007-03-29 2008-10-16 Denso Corp 画像表示システム
JP2012073312A (ja) 2010-09-28 2012-04-12 Toshiba Tec Corp 表示異常検知システムおよび表示異常検知プログラム
JP2016039508A (ja) 2014-08-07 2016-03-22 株式会社デンソー 表示装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3238474B2 (ja) * 1992-06-08 2001-12-17 旭光学工業株式会社 スチルビデオカメラのリモコン装置
US7355179B1 (en) * 2005-07-30 2008-04-08 Rockwell Collins, Inc. Scene imaging system integrity monitor and method thereof
US8102591B2 (en) * 2006-12-18 2012-01-24 Bae Systems Plc Display apparatus
PL2346251T3 (pl) * 2008-09-28 2017-08-31 Shenzhen Aoto Electronics Co., Ltd. Sposób i system do nadzorowania działania wyświetlaczy led
CN201489795U (zh) * 2009-08-03 2010-05-26 俞权锋 显示缺陷自动检测装置
CN102081895A (zh) * 2011-03-02 2011-06-01 厦门市华泰视通科技有限公司 一种led显示屏故障采集分析***
CN104318879A (zh) * 2014-10-20 2015-01-28 京东方科技集团股份有限公司 显示装置、显示装置故障分析***和方法
CN105301810A (zh) * 2015-11-24 2016-02-03 上海斐讯数据通信技术有限公司 一种屏幕缺陷检测方法及装置
GB2568296B (en) 2017-11-13 2022-06-01 Bae Systems Plc Integrity monitoring

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003143446A (ja) 2001-10-31 2003-05-16 Fuji Photo Film Co Ltd 撮像装置
US20080252489A1 (en) 2002-09-10 2008-10-16 Hubert Naimer Display generation system
JP2005165224A (ja) 2003-12-05 2005-06-23 Olympus Corp 画像投影表示装置
JP2008501995A (ja) 2004-06-04 2008-01-24 ヤコブ・ハッテランド・ディスプレイ・アーエス 画像フリーズ検出器
JP2007251555A (ja) 2006-03-15 2007-09-27 Omron Corp 診断装置および方法、プログラム、並びに、記録媒体
JP2008252307A (ja) 2007-03-29 2008-10-16 Denso Corp 画像表示システム
JP2012073312A (ja) 2010-09-28 2012-04-12 Toshiba Tec Corp 表示異常検知システムおよび表示異常検知プログラム
JP2016039508A (ja) 2014-08-07 2016-03-22 株式会社デンソー 表示装置

Also Published As

Publication number Publication date
US20200349874A1 (en) 2020-11-05
GB201718703D0 (en) 2017-12-27
GB2568296B (en) 2022-06-01
US11176858B2 (en) 2021-11-16
JP2021506191A (ja) 2021-02-18
WO2019092413A1 (en) 2019-05-16
GB2568296A (en) 2019-05-15
EP3711043A1 (en) 2020-09-23

Similar Documents

Publication Publication Date Title
JP7242693B2 (ja) 完全性モニタリング
EP3602178B1 (en) Method and system for tracking eye movement in conjunction with a light scanning projector
US8434873B2 (en) Interactive projection device
US10684477B2 (en) Near-eye display device and methods with coaxial eye imaging
US11202043B1 (en) Self-testing display device
EP3495797B1 (en) Method and system for multi-fiber cable testing
US8170325B2 (en) Image inspecting device and method for a head-mounted display
JP2020514831A5 (ja)
US20170339378A1 (en) Projection apparatus and interface apparatus
JP2014132719A (ja) 表示装置、および、表示装置の制御方法
JP6903998B2 (ja) ヘッドマウントディスプレイ
US20150253185A1 (en) Measuring parallelism in lightguide surfaces
JP2012002889A (ja) シースルー型画像表示装置
WO2015004724A1 (ja) 表示装置
US20180246566A1 (en) Eye tracking
WO2021117409A1 (ja) 眼球情報検出装置及び映像表示装置
US20230418055A1 (en) Head wearable display device with image monitoring
KR100414920B1 (ko) 광섬유 모재의 내부 스트레스 및 유동 상태를모니터링하기 위한 장치
CN115291393A (zh) 亮度调节方法、调节装置、头戴设备和存储介质
WO2023049307A1 (en) Active illumination systems

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200624

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210804

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210824

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211108

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220405

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220722

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20220722

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20220803

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20220809

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220927

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20221122

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20230104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230117

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230207

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230308

R150 Certificate of patent or registration of utility model

Ref document number: 7242693

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150