JP2004533129A - 車載ディスプレイ用画像形成システム及び方法 - Google Patents

車載ディスプレイ用画像形成システム及び方法 Download PDF

Info

Publication number
JP2004533129A
JP2004533129A JP2002534777A JP2002534777A JP2004533129A JP 2004533129 A JP2004533129 A JP 2004533129A JP 2002534777 A JP2002534777 A JP 2002534777A JP 2002534777 A JP2002534777 A JP 2002534777A JP 2004533129 A JP2004533129 A JP 2004533129A
Authority
JP
Japan
Prior art keywords
detector
information
image
vehicle
display unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2002534777A
Other languages
English (en)
Inventor
エル コーモス,アレクサンダー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Raytheon Co
Original Assignee
Raytheon Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Raytheon Co filed Critical Raytheon Co
Publication of JP2004533129A publication Critical patent/JP2004533129A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • G01C21/365Guidance using head up displays or projectors, e.g. virtual vehicles or arrows projected on the windscreen or on the road itself
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Optics & Photonics (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)
  • Liquid Crystal (AREA)
  • Steering-Linkage Mechanisms And Four-Wheel Steering (AREA)
  • Automobile Manufacture Line, Endless Track Vehicle, Trailer (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

車載ディスプレイ向けの画像を形成するシステムが、情景からのエネルギを検知器へ向けて方向付けるレンズ系と、検知器へ接続されたディスプレイ・ユニットと、を有する。ディスプレイ・ユニットは、検知器から受信した情報を用いて画像を形成する。本システムは、更に、検知器素子のアレーを含む検知器を有する。検知器素子のそれぞれは、情景の一部からエネルギを受信し、受信したエネルギを該受信したエネルギを表す情報へ変換する。検知器は、検知器素子の少なくとも一部に関連する情報をディスプレイ・ユニットへ送る。コンピュータは、進行方向情報を受信し、該進行方向情報に基づいて画像を形成するのに用いられるべき検知器素子を選択し、いずれの検知器素子に関連する情報がディスプレイ・ユニットへ送られるべきかを検知器に指示する。

Description

【0001】
(発明の属する技術分野)
本発明は、概して、画像表示システムに係り、特に、車載ディスプレイ向けの画像を形成するシステム及び方法に関する。
【0002】
(発明の背景)
日中、車両の運転者は、夜間では検知又は認識が困難な又は不可能な対象物であっても容易に検知・認識することができる。例えば、車両前方約500メートルの道路上に鹿が入り込んできたとする。このシナリオが晴れた日の昼間に起きたのであれば、運転者は何かが前方に存在するという事実を検知できるだけでなく、それが鹿であることを容易に認識する。他方、同じシナリオが夜中に起こった場合、特に照明が当該車両のヘッドライトだけの場合、運転者はそこに何かが存在することを検知できず、ましてはそれが鹿であることは認識できない。なぜなら、鹿はヘッドライトのレンジを越えたところに位置するからである。さらに、運転者が何かが道路上に存在すると検知するまでに、そして運転者がそれが何であるかを認識できるよりかなり前に、運転者は日中の場合と比べて鹿により接近する。したがって、結果として生じる接触事故のリスクは、日中に比べて夜間の方が非常に高い。
【0003】
その結果、運転者の自然の視力を補い、よって接触事故のリスクを低減するために、消費市場で売られている自動車などの車両向けの暗視システムが開発されている。典型的な暗視システムは、車両のグリル上にマウントされ、車両前方の情景に関する情報を集める赤外線カメラ・ユニットと、車両のダッシュボードにマウントされ、上記カメラ・ユニットによって提供された情報から得られた画像をウィンドシールド上へ投影するヘッドアップ・ディスプレイと、を有する。
【0004】
これらシステムにおいて、投影される画像は、通常、水平方向に約12度、垂直方向に約4度、の視野を有する。この視野は直線で平坦な道路を走行する場合には許容できるものであるが、例えば、カーブを通過しているとき(カーブ内を見るのに役立つ)や、丘を登っているとき(頂上に差し掛かったときに丘の頂上を見るのに役立つ)などには不十分である。残念ながら、この限定された視野の問題に対するシンプルな解決策は容易には利用可能とならない。
【0005】
最もストレートな解決策は、より大きな視野を表示するためにウィンドシールド上に投影される画像サイズを増やすことである。しかし、ダッシュボード内にフィットしなければならないヘッドアップ・ディスプレイのスペースは、このような努力を大幅に制限する。
【0006】
別の解決策は、ウィンドシールド上に投影される画像を改良し、よってより多くの車両前方情景をウィンドシールドの同じエリア上に投影することである。しかし、縮小すると、対象物の実際のサイズに対して運転者が投影された画像において見る対象物のサイズが小さくなるため、画像において見られる対象物のレンジを感知する運転者の能力が低減する。
【0007】
(発明の開示)
本発明は、従来技術の欠点の少なくとも一部を大幅に低減する又は除去するシステム及び方法を提供する。したがって、本発明は、少なくとも一部の実施形態において、車両の運転者に対して投影された画像を車両の進行方向に基づいて調整するシステム及び方法を提供する。
【0008】
特定の実施形態において、車載ディスプレイ向けの画像を形成するシステムは、情景からのエネルギを検知器へ向けて方向付けるレンズ系と、検知器へ接続されたディスプレイ・ユニットと、を有する。ディスプレイ・ユニットは、検知器から受信した情報を用いて画像を形成する。本システムは、更に、検知器素子のアレーを含む検知器を有する。検知器素子のそれぞれは、情景の一部からエネルギを受信し、受信したエネルギを該受信したエネルギを表す情報へ変換する。検知器は、検知器素子の少なくとも一部に関連する情報をディスプレイ・ユニットへ送る。コンピュータは、進行方向情報を受信し、該進行方向情報に基づいて画像を形成するのに用いられるべき検知器素子を選択し、いずれの検知器素子に関連する情報がディスプレイ・ユニットへ送られるべきかを検知器に指示する。
【0009】
特定の実施形態において、車載ディスプレイ向けの画像を形成する方法は、情景からのエネルギを検知器へ向けて方向付け、複数の検知器素子のそれぞれにおいて情景の一部からのエネルギを受信し、各検知器素子において受信されたエネルギを該受信したエネルギを表す情報へ変換する。本方法は、更に、車両の進行方向情報を判断し、該進行方向情報に基づいて画像を形成するのに用いられるべき検知器素子を選択し、選択された検知器素子に関連する情報を用いて画像を形成する。
【0010】
本発明は、複数の技術的特徴及び利点を所有する。例えば、いくつかの実施形態において、本発明は、旋回中に表示される画像を車両の真正面から旋回内側へ調整し、よって旋回中に来たる道路を運転者に見やすくすることを可能にする。別の例として、特定の実施形態において、本発明は、上り坂を登坂中に表示される画像を車両の真正面から水平方向下方へ調整し、よって登坂中に、特に頂上付近で、来たる道路を運転者に見やすくすることを可能にする。更に別の例として、複数の実施形態において、本発明は、比較的コンパクトなサイズのカメラ・ユニットを提供する。当然、特定の実施形態は、複数の及び/又は追加的な技術的特徴及び/又は利点を含み得る。
【0011】
他の技術的特徴及び利点は、以下の図面、説明、及び請求項から当業者には容易に示唆される。
【0012】
(発明の詳細な説明)
特に以下の説明と共に見た時の本発明のより完全な理解のために、添付図面が参照される。
【0013】
図1は、本発明に係る補助視システムの一実施形態を搭載した車両10の概略図である。補助視システム20は、図示した実施形態では車両10のフロントでフロントグリル12の中央にマウントされた、カメラ・ユニット30を含む。カメラ・ユニット30は、同じく補助視システム20の一部であるディスプレイ・ユニット40と電気的に接続される(39)。ディスプレイ・ユニット40は、車両10のダッシュボード14の上面に設けられた上方に開口したくぼみ内にマウントされる。ディスプレイ・ユニット40は、図中の矢印49で示すようにウィンドシールド17の内表面上へ画像と投影して運転者に対して表示することができる。ディスプレイ・ユニット40は、ヘッドアップ・ディスプレイ(HUD)として一般的に知られているタイプのものである。カメラ・ユニット30は、更に、コンピュータ60にも接続される(69)。コンピュータ60も補助視システム20の一部である。コンピュータ60は、角度エンコーダ70及び/又は傾角計80から受信した進行方向情報に基づいてカメラ・ユニット30に命令を与える。角度エンコーダ70は、車両10のステアリング・コラム16に接続され、コンピュータ60に電気的に接続される(79)。傾角計80は、車両10のフレームに接続され、コンピュータ60に電気的に接続される(89)。これら2つのタイプのセンサ:角度エンコーダ70及び傾角計80も補助視システム20の一部である。一般的に、補助視システム20では、例えば、操舵速度、傾斜速度、及び/又は方位などの車両10の向きに関する情報を提供し得るあらゆるセンサを用いることができる。加えて、異なる実施形態において、1つ、2つ、又は数個のセンサが用いられてもよい。図1の補助視システム20については後に詳述する。
【0014】
運転者が夜間に車両を運転しているとき、運転者の前方道路を見る能力は日中に同じ道路を通る場合よりも大幅に制限される。これは、月明かりがほとんどなく、街灯がなく、他の車両のヘッドライトもない状態下の農村部では特に顕著である。鹿などの動物が車両前方500メートルの位置で突然道路上へ入り込んできた場合、運転者は、日中であれば、その鹿を容易に知覚・認識するであろうが、夜間では、鹿は該車両のヘッドライトからの照明の有効到達長を当初は越えている。さらに、ヘッドライトが鹿を照らしたときでも、運転者は最初は鹿に気が付かない。なぜなら、鹿は茶色っぽい色であり、周囲の暗さから区別するのが難しいからである。その結果、運転者が最初に道路上に鹿が存在することが気が付いた時点において、車両は、日中の場合よりも夜間の状況でははるかに鹿に接近していることになる。例えば、歩行者が道路に沿って歩いている場合など他にも同様にリスクの高い状況は多く存在する。
【0015】
図1の補助視システム20の主たる目的は、車両10の運転者に運転者が夜間に裸眼で認識できる以上の情報を提供することである。この点、カメラ・ユニット30は、車両10のヘッドライトの有効到達長をはるかに越えた距離の赤外線情報を検知できる。動物や人間などの生命体の場合、カメラ・ユニット30から得られた赤外線画像に存在する生命体の熱の痕跡は、通常、比較的熱い又は冷たい周辺の自然環境と比較して、著しいコントラストを持つ。上述のように、これは、可視光に基づく夜間画像に類似する場合に限られない。
【0016】
したがって、ヘッドライト照明及び他のあらゆる利用可能な光に基づいてウィンドシールド17を通して運転者によって直接観測される可視画像に加えて、補助視システム20は、ウィンドシールド17の内部上に投影される赤外線放射に基づいた別の補助画像を提供する。この補助画像は、裸眼では見えない前方の生命体若しくは対象物の検知し得る描写を提供することができる。さらに、この補助画像は、生命体若しくは対象物と周囲の情景との間の可視画像よりもはっきりとしたコントラストを提供することができる。補助視システム20は、日中自然光で対象物を見ることを補うためにも有用であることに注意。
【0017】
図1の補助視システムなどの補助視システムにおいて、補助画像における対象物は、運転者に対して、運転者がウィンドシールドを通して見たときに対応する現実の対象物が持つように見えるサイズとほぼ同じサイズを持つように見えるべきであるという設計上の原則が一般に認められている。したがって、例えば、ウィンドシールドを通して見ると前方道路に沿った対称物が運転者には約1インチの高さに見える場合、同じ対象物は同時点で補助画像を見ても運転者には1インチに見えるべきである。これは、補助ディスプレイに対して1:1の倍率を維持することとして本分野では既知である。当然、倍率は正確に1:1である必要はなく、例えば1:1より±25%内でもよい。しかし、本発明の説明を容易にするために、倍率はおよそ1:1であるものとする。
【0018】
図1の補助視システム20は、それが提供する視野(FOV)に関して競争的設計検討を含む。当然、カメラ・ユニット30及びディスプレイ・ユニット40双方のサイズ及び重量はできるだけ小さくされることが望ましい。しかし、補助視システム20の有効視野(FOV)が変わると、カメラ・ユニット30及びディスプレイ・ユニット40の最小サイズが反比例的に変わる傾向にある。特に、有効FOVを徐々に増やすと、カメラ・ユニット30の光学系のサイズ、引いてはカメラ・ユニット30自体のサイズを徐々に小さくすることができるが、ディスプレイ・ユニット40のサイズを徐々に大きくしなければならない。逆に、有効FOVを徐々に減らすと、ディスプレイ・ユニット40のサイズを小さくすることができるが、カメラ・ユニット30の光学系のサイズ、引いてはカメラ・ユニット30自体のサイズを大きくしなければならない。このように、カメラ・ユニット30及びディスプレイ・ユニット40のサイズは反比例するため、あらゆる特定のシステムのためにバランスに達しなければならない。
【0019】
実際問題として、このバランスの一方は、更に別の検討のために、ディスプレイ・ユニット40などのディスプレイ・ユニットによって決定される。特に、比較的大きい画像をウィンドシールド17などのウィンドシールド上へ投影することが通常は望ましい。しかし、現実問題として、これを達成する能力は、ダッシュボード14などのダッシュボードが持つディスプレイ・ユニットを収容するのに用いることができるスペースの広さによって制限される。特に、ディスプレイ・ユニットに平均的な自動車のダッシュボード・エリアにとってリーズナブルな物理的に最大のサイズが与えられ、且つ、上述のように1:1倍率が維持される場合、ディスプレイ・ユニットは、およそ10〜14度の有効水平FOVを持つ画像をウィンドシールド上に生成する。ここに開示する実施形態においては、水平FOVはおよそ12度である。当然、本発明は、14度より大きいFOVや10度より小さいFOVとも互換性を有する。しかし、ここに開示する実施形態は、約12度のFOVを用いる。なぜなら、これは自動車業界に現存する暗視システムにおいて現在用いられているディスプレイにとって典型的な値だからである。
【0020】
ここに開示する実施形態において、ディスプレイ・ユニット40に関する基準によって規定された有効水平FOVが約12度であるものとすると、関連するカメラ・ユニット30は、適切な解像度でこの必要な水平FOVを提供しなければならない。本発明の特定の実施形態の特徴は、適切なレベルの解像度を持つ必要なFOVを提供すると共に、従来のカメラ・ユニットと比べての大幅に低減されたサイズ、重量、及びコストを有する改善されたカメラ・ユニット30を提供することである。
【0021】
図2は、図1の補助視システムの概略図であって、カメラ・ユニット30及びディスプレイ・ユニット40の内部構造を詳細に示す図である。より具体的には、情景50からの熱放射がカメラ・ユニット30に入り、レンズ系32及びチョッパ34を通って検知器36へ進む。レンズ系32は、入射を検知器36の画像面上へ方向付ける。
【0022】
ここに開示する実施形態において、チョッパ34は、円周上で間隔をあけて配置された1又は複数の開口部を有する既知のタイプの回転ディスクである。チョッパ34が回転すると、入射赤外線の検知器36への移動を周期的に許可及び防止する。
【0023】
さらに、ここに開示する実施形態において、検知器36は、2次元の検知器素子のマトリックスを有し、各検知器素子が結果として得られる画像の各ピクセルを生成する、市場で入手可能な焦点面アレー又は凝視アレー検知器である。特に、検知器36は、非冷却焦電チタン酸バリウム・ストロンチウム(BST)検知器である。しかし、多くの他の種類の検知器も補助視システム20において使用可能である。
【0024】
検知器36を制御し、検知器36が検知した画像を読み出し、更に、チョッパ34を検知器36のオペレーションに同期させる回路38が設けられる。さらに、コンピュータ60からの情報に基づいて、回路38は、検知器36から得られた情報を電気的結合39を通じてディスプレイ・ユニット40内の回路42へ送る。
【0025】
回路42は、液晶ディスプレイ(LCD)44を制御する。ここに開示する実施形態において、LCD44は384×220ピクセル素子の2次元アレーを有する。ディスプレイ・ユニット40は、LCD44のうち実際には384×107ピクセル素子が用いられることの結果として、縦横アスペクト比:3を有する。回路42は、回路38を通じて検知器36から得られた連続した画像を取り、LCD44上に提示する。ここに開示する実施形態において、LCD44は、LCD44上の画像を夜間でも見えるようにするバックライティングを有する。
【0026】
この可視画像は、ミラー48上へ投影される。ミラー48は、この画像を反射し、ウィンドシールド17の内面上へ方向付け、運転者向けの仮想画像を作成する。図2においてミラー48は平面的な構成要素として示されているが、実際には、ウィンドシールド17の非線形的な曲率やウィンドシールド17の傾きによる視差などの要因を補償するために、当業者には既知の比較的複雑な曲率を有する。この曲率は、更に、ミラー48がウィンドシールド17上に投影する画像に対する倍率の度合を伝えるために、ミラー48にいくらかの光出力を与える。ミラー48は、移動可能に支持され、その位置はいつでも駆動機構46によって決められる。駆動機構46を用いることによって、運転者は、ウィンドシールド17上の画像がその運転者にとって快適な目視位置にあるようにミラー48を調整し得る。これは、運転者が車両のサイドミラーを適切且つ快適な位置へ調整し得るのと類似する。運転者がミラー48を一旦適切な位置へ調整し終わると、ミラー48は、補助視システム20の通常のオペレーションの間、その位置を維持する。
【0027】
図3は、カメラ・ユニットの概略図であり、レンズ系32内の光学構造をより詳細に示す。より具体的には、レンズ系32は、検知器36に隣接する画像面100において画像を形成するように入射を方向付ける対物レンズ92を含む。レンズ92は、検知器36に近い方の側に回折面パターン94を有する。以下に詳述するように、ここに開示する実施形態は、各画像について検知器36のピクセル素子の一部しか使わない。よって、図3は、検知器36全体ではなく、検知器36の一部だけの上に画像化された放射を示している。しかし、実際には、レンズ系32は、情景50からの放射をすべての検知器36上へ方向付けている。
【0028】
ここに開示する実施形態において、レンズ92は、本分野ではTI−1173として一般に知られるタイプのガラスであって、レイセオン社(マサチューセッツ州レキシントン)から入手可能なカルゴゲナイドガラスから作られる。さらに、対物レンズ92は、直径1.5インチ、有効焦点距離(EFL):1.5インチ、オプティカル・スピード:f/1を有する。ここで、オプティカル・スピードとは、単位寸法当たりの屈折力についての規格化された尺度である。したがって、レンズ系32は、従来の系よりも小さいアパーチャを有する。カメラ・ユニット30が、画像に対して約14度(好ましくは約12度)より小さい水平FOVを提供しながら、約2.25インチ(好ましくは約1.9インチ)より短いEFLを持つことが可能であることは、本発明に係る補助視システム20の少なくとも一実施形態の特徴である。この実施形態の別の特徴は、現存する系で用いられているf/1.2オプティカル・スピードではなく、f/1オプティカル・スピードのレンズ92を用いることである。なぜなら、f/1オプティカル・スピードにより、f/1.2オプティカル・スピードを用いた場合と比べて、検知器36上に画像化される赤外線エネルギを40%以上向上されるからである。レンズ92がf/1オプティカル・スピードを有するとき、検知器36から得られる画像情報は、レンズ92がf/1.2オプティカル・スピードを有する場合よりもより多くのコントラストを有する。
【0029】
レンズ92を通過すると、集束放射は、開口絞り96を通り、次いでほぼ平坦な回折視野レンズ98を通る。この回折視野レンズ98は、ポリマー材から成り、一方の側に回折表面パターンを有する。レンズ92及び98上の回折表面パターンは、色補正を容易にする。レンズ系32は、米国特許第5,973,827号に開示されたタイプのものである。ここに開示する実施形態のレンズ系32に特有の処方情報を表1に示す。
【0030】
【表1】
Figure 2004533129
図4は、検知器36の概略図である。図示するように、検知器36は、検知器素子の2次元アレーを含む。各検知器素子は、検知された画像の各ピクセルに対応する。より詳細には、図4に示すように、検知器36は、320×240の検知器素子アレーである。各検知器素子は、約48.5×48.5ミクロンのサイズを有する。上述のように、ここに開示する実施形態は、破線37で示すように、検知器36の検知器素子の一部だけしか事実上一度に用いない。この検知器36の一部分37は、検知器素子の25%、換言すれば160×120の検知器素子アレーである。図4に示す一部分37は、たまたま検知器36の中心に位置しているが、これは以下に述べる車両10が真っ直ぐで平坦な移動をしている場合に用いられる部分であって、一部分37は検知器36の任意の一部分でよい。例えば、検知器36の左上隅に位置する等しいサイズの一部分であってもよい。カメラ・ユニット30は、検知器36の一部分37に位置する160×120の検知器素子のすべてから取得した情報を処理し、出力する。しかし、ここに開示する実施形態において、特定のディスプレイ・ユニット40は、この情報の一部を破棄する。より具体的には、上述のように、ディスプレイ・ユニット40は、約3の水平対垂直アスペクト比を有する。結果として、ディスプレイ・ユニット40は、図4に点線で示すように、水平方向においては検知器36からの160ピクセル分の情報をすべて用いるが、垂直方法においては53ピクセルしか用いない。別の考察によれば、回路38はより少ないピクセルを有する画像を受信するため、処理負荷が低減し、よって、より少ない回路及び/又はより遅い回路を用いることができ、回路38のコストが低減される。
【0031】
検知器36は、ディスプレイ・ユニット40が画像を形成するために有するピクセル数(384×220)よりも少ない数の検知器素子(160×120)を用いて情景50における画像を検知することに注意。よって、画像の縮小を回避するために、選択された検知器素子からの情報はすべてのピクセル上へ分散されなければならない。これを達成するために、例えば、良く知られた最近隣アルゴリズムなどの補間法が、画像を検知し、ディスプレイ・ユニット40のために追加的情報を生成するのに用いられる検知器素子のそれぞれによって決定された情報の間を補間するのに用いられる。特に、この補間法は、対応する検知器素子を持たないディスプレイ・ユニット40の各ピクセルに対する情報を生成するのに用いられる。当然、他の実施形態において、検知器36は、ディスプレイ・ユニット40が有するピクセル数と同じ又はより多くの検知器素子を用いて画像を検知してもよい。
【0032】
図5は、補助視システム20の概略図であって、コンピュータ60の内部構造をより詳細に示す図である。図示するように、コンピュータ60は、メモリ64、インターフェース66、及びインターフェース68に連結されたプロセッサ62を有する。メモリ64は、進行方向情報に基づいて画像を形成するのに用いられる検知器素子を選択する命令を含むプログラム65を有する。
【0033】
作動中、プロセッサ62は、インターフェース66を通じた角度エンコーダ70からの電気的結合79及び傾角計80からの電気的結合89上で進行方向情報を受信する。この進行方向情報を用いて、プロセッサ62は、プログラム65内の命令に従って、ディスプレイ・ユニット40が画像を形成するのに用いるべき関連情報のための検知器36の検知器素子を選択する。プロセッサ62は、これら検知器素子に関する適切な命令をインターフェース68を通じて電気的結合69上でカメラ・ユニット30の回路38へ送る。回路38は、この選択された検知器素子に関する命令を受信し、各選択された検知器素子に関連する情報を補間された情報と共にディスプレイ・ユニット40へ送る。
【0034】
図示する実施形態において、回路38は、検知器素子において情報を基本的には無視する選択されていない検知器素子を通じた高速クロッキングによって選択された検知器素子から情報を取得する。他の実施形態において、回路38は、すべての検知器素子からの情報をメモリに格納してから選択された検知器素子についての情報を選択することによって、選択された検知器素子からの情報を取得する。更に別の実施形態において、回路38は、選択された検知器素子からの情報を取得するための画像について検知器素子の走査を開始する最初の検知器素子を動的に変える。選択された検知器素子からの情報を取得する技術は他にもたくさん存在する。
【0035】
プロセッサ62は、例えば、特定用途向け集積回路(ASIC)、ディジタル・シグナル・プロセッサ(DSP)、フィールド・プログラマブル・ゲート・アレー(FPGA)、複雑命令セット・コンピュータ(CISC)、又は縮小命令セット・コンピュータ(RISC)、などの電子情報を電子的に操作するタイプのデバイスであれば任意のものでよい。メモリ64は、例えば、ランダム・アクセス・メモリ(RAM)、コンパクト・ディスク・リード・オンリ・メモリ(CD−ROM)、又はレジスタ、などの光学式又は磁気式の揮発性又は不揮発性の情報ストレージ・デバイスであれば任意のものでよい。特定の実施形態において、コンピュータ60は、コントロール・エリア・ネットワーク(CAN)バスを通じて、複数のセンサ及びカメラ・ユニット30へ接続される。
【0036】
特定の実施形態において、コンピュータ60は、車両10の進行方向を決定するのに用いることができる道路の方向を決定し、運転者に表示する画像を選択する画像処理ソフトウェア(プログラム65の一部でもよく、別のプログラムでもよい)を含み得る。これを実現するために、コンピュータ60は、一部又は全部の検知器素子に関連する情報をアナログ又はディジタル信号として受信し、この情報を画像処理ソフトウェアへの入力として用いる。この情報から、コンピュータ60は、画像処理ソフトウェアを用いて、道路の方向(曲率、勾配、など)を判断し、この判断により画像を形成するのに用いる検知器素子を選択する。この画像処理ソフトウェアは、道路ジオメトリ分析、又はレーン分析などの道路の現在又は将来の方向を判断する画像処理技術を用いてもよい。この画像処理ソフトウェアは、角度エンコーダ70や傾角計80などの任意のセンサと共に機能するものでもよく、あらゆるセンサを用いずに機能するものでもよい。さらに、他の実施形態において、この画像処理ソフトウェアは、補助視システム20のカメラ・ユニット30又は他の構成要素の一部であってもよい。
【0037】
図6A〜Dは、車両の様々な運転状況中に用いられる検知器36の異なる部分の一部を示す図である。図6Aにおいて、車両10は、真っ直ぐで平らな道路上を移動中である。したがって、角度エンコーダ70は、旋回実行中ではないことを示しており、傾角計80は勾配通過中ではないことを示している。したがって、進行方向情報に基づいて、コンピュータ60は、カメラ・ユニット30に中央の160×120の検知器素子に関連する情報をあらゆる補間された情報と共にディスプレイ・ユニット40へ送るように命令している。
【0038】
図6Bにおいて、車両10は、右に急旋回している。したがって、角度エンコーダ70は、強烈な右旋回を実行中であることを示しており、傾角計80は勾配通過中ではないことを示している。したがって、進行方向情報に基づいて、コンピュータ60は、カメラ・ユニット30に最も右寄りで垂直方向については中心の160×120の検知器素子に関連する情報をあらゆる補間された情報と共にディスプレイ・ユニット40へ送るように命令している。
【0039】
図6Cにおいて、車両10は、急な勾配を登っている。したがって、角度エンコーダ70は、旋回実行中ではないことを示しており、傾角計80は上り勾配を通過中であることを示している。したがって、進行方向情報に基づいて、コンピュータ60は、カメラ・ユニット30に最も底寄りで水平方向については中心の160×120の検知器素子に関連する情報をあらゆる補間された情報と共にディスプレイ・ユニット40へ送るように命令している。
【0040】
図6Dにおいて、車両10は、急な勾配を下りながら、左に急旋回している。したがって、角度エンコーダ70は、左急旋回を実行中であることを示しており、傾角計80は下り勾配を通過中であることを示している。したがって、進行方向情報に基づいて、コンピュータ60は、カメラ・ユニット30に左上の160×120の検知器素子に関連する情報をあらゆる補間された情報と共にディスプレイ・ユニット40へ送るように命令している。
【0041】
明らかなように、図示する検知器36を用いると、車両10の運転者に表示される情景50の画像化される部分は、検知器36の部分37を調整することによって、左右に最大6度、上下に最大4.5度、調整することができる。この表示される情景50の画像化される部分は、車両10が進行方向をいろいろと変えるときに中央から端まで徐々に調整されてもよい。なぜなら、新しい画像は1/16秒ごとに決定されるからである(すなわち、検知器36は、60Hzのレートで走査される)。他の実施形態において、異なる走査レートが用いられてもよい。加えて、検知器36は、一方向に水平に動く際には80段階、一方向に垂直に動く際には60段階を可能とする。これら段階により、表示された画像を検知器36が検知した情景50の全体にわたって比較的スムーズに走査することが可能となる。当然、より多くの又はより少ない検知器素子が用いられる実施形態において、車両10の運転者に提示されるFOVが動かされ得る角度は、それぞれより大きく又はより小さくなる。
【0042】
以上の説明から明らかなように、補助視システム20は、車両10の進行方向が変わったときに車両10の運転者に提示される画像を調整するために、検知器36は、大幅な縮小無しでディスプレイ・ユニット40によって瞬時に表示され得る情景よりも大きい情景50からエネルギを受信している、という事実を利用する。したがって、補助視システム20は、車両10の進行方向に基づいて、運転者に表示される画像の視野方向を電子的に調整する。加えて、本発明の特定の実施形態は、検知器がディスプレイ・ユニットが瞬時に利用できる視野より大きい視野を検知できる限り、他の様々なレンズ系/検知器/ディスプレイ・ユニットの組み合わせと共に実施することができる。
【0043】
ここに開示する実施形態のカメラ・ユニット30の説明に戻る。以上の説明から明らかなように、カメラ・ユニット30は、画像を形成するために検知器36に存在する検知器素子のうちの25%しか用いない。このように部分的であるのは、検知器36が容易に利用可能な現存部分だからである。本発明は、既述のように、択一的に他の検知器を備えるように実施され得る。検知器製造技術の向上により、検知器素子が例えば25×25ミクロンのオーダなどのより小さい検知器の製造がすぐに可能になるであろう。このような検知器において、300×400アレーの検知器素子は、現在の製造技術を用いて作られた同等の検知器のサイズのたった25%でしかない。図3を参照すると、これにより、レンズ92の直径、レンズ92のEFL、開口絞り96の直径、及びレンズ98の直径をそれぞれ約1/2に低減することができ、3次元においてレンズ系32の全体の体積を約1/8に低減する。これは、本発明の範囲内であるサイズ、重量、及びコストの更なる削減を表す。
【0044】
本発明の特定の実施形態の1つの特徴は、ディスプレイ・ユニット40によって提供されるFOV、倍率、又は解像度の有効レベルについて何ら変更せずに、補助視システム用のカメラ・ユニットのサイズ、重量、及びコストを現存するカメラ・ユニットに比べて大幅に低減することができるということの認識である。本発明によれば、これは、現存のカメラ・ユニットにおいて必要と考えられているよりも大幅に少ない数の検知器素子を有する検知器素子アレーをカメラ・ユニット30において用いることによって実現できる。この点、便宜上ディスプレイ・ユニット40がカメラ・ユニットから受信した画像の解像度を再現する理想的な能力を有するものと仮定すると、赤外線検知システム及びそのドライバの遠くの対象物を検知する能力又は該対象物の詳細を認識する能力には限界がある。さらに、対象物を検知し、詳細を認識する能力が様々な要因によって変わり得る。結果として、赤外線検知システム及びそのドライバの遠くの対象物を検知する能力及びその対象物に関する詳細を認識する能力を測定するのに用いられる業界基準が存在する。
【0045】
このような業界基準の1つは、最小分解可能温度(MRT)及び最小検知可能温度(MDT)の判断を含む。これらは、それぞれ、所定の周囲条件群の下での複数の観測者についての平均値を表す。それらは、補助視システムという面で適用された場合の赤外線検知システムからの画像の人間の観測者による評価を含むため、それらは運転者の目の詳細を分解する限界を考慮する。これらの基準をカメラ・ユニット30の概略上面図である図7を参照して説明する。図7では、MRT基準に基づいて認識能力を測定するのに基準ターゲット106が用いられ、MDT基準に基づいて検知能力を測定するのに基準ターゲット107が用いられる。現実問題として、ターゲット106及び107は実際にはそれぞれ図7の面に垂直に延びるように向いているため、それぞれカメラ・ユニット30と向き合う。しかし、図7は概略図であるため、それらは、以下の説明のためにはっきりと見えるように、図7の面に平行に向けられている。
【0046】
より具体的には、ターゲット106は、正方形であり、同じ幅の4つの黒い棒と3つの白い棒とを平行に交互に配置したものである。ターゲット106までの距離111がさほど大きくなければ、カメラ・ユニット30を含むシステムのオペレータは、ターゲット106が存在することを検知できるだけでなく、各縦棒を容易に区別できる。ターゲット106が視点99から離れる方へ進められ、距離111が増加すると、ターゲット106は、ゆくゆくは、ターゲット106が存在するという事実を検知することは可能であるが、黒棒と白棒の存在などの詳細を認識することはできない位置へ到達する。この位置は、検知能力ではなく認識能力の限界を表す。
【0047】
ターゲット106が視点99から更に離れる方へ進められると、カメラ・ユニット30がターゲット106が存在することすらもはや検知できない位置に到達する。認識能力ではなくこの検知能力を測定するためには、107で示すような異なるタイプのターゲットを用いるのが業界では一般的である。ターゲット107は、ターゲット106と同じサイズを持ち、同じく正方形のターゲットであるが、正方形の黒い縁と正方形の白い中央部とを有する。ターゲット107が視点99から離れる方へ進められ、距離112が増加すると、ターゲット107はオペレータがターゲット107の存在をもはや検知できない位置に到達する。MDT業界基準によれば、これが検知能力の限界である。
【0048】
MRT及びMDT基準のために、視点に対するターゲットの位置及びサイズは、実際のターゲットまでの物理的距離で表されず、ターゲット又はその一部によって定められた角度で表される。例えば、図7において、MDTターゲット107は角度116を規定する。よって、同じサイズでより視点99に近いターゲット106は、より大きい角度117を規定する。MRTターゲット106の特有のケースにおいて、ターゲット106の位置は、通常、ミリラジアンあたりのサイクルで表される。ここで、1サイクル118は、黒棒1本と白棒1本を合わせた幅である。したがって、ターゲット106は、3.5サイクルの累積幅を有する。角度117がxミリラジアンだとすると、図7において、ターゲット106の位置は、3.5/x[サイクル/ミリラジアン]として表される。
【0049】
図7のMRTターゲット106が、夜間走行にとって典型的な周囲条件のために、MRT基準によれば認識が可能な視点99からの最大距離の位置にあるものとする。換言すれば、ターゲット106が視点から離れる方へ更に動かされると、ターゲット106が存在することを検知することは依然として可能であるが、黒棒及び白棒の存在などの詳細を認識することはできない。さらに、カメラ・ユニット30が視点99に位置するものとする。現存の補助視システムにおいて、MRTターゲットの各棒は、解像度の損失を回避するために、カメラ・ユニットの(ターゲットの棒に垂直に延びる線に沿った方向の)2以上の検知器素子上に画像化されなければならなかったものとする。本発明のこれら実施形態の1つの特徴は、補助視システムにおける検知を実現するために適切な解像度を得るために2以上の素子上にターゲットの各棒を画像化する必要はなく、現行のアプローチはオーバーデザインを表す、という認識である。
【0050】
より具体的には、下限として、ターゲット106の黒棒及び白棒のそれぞれは棒に垂直に延びる線に沿った方向の1つの検知器素子上に直接的に画像化されれば十分である。この限界は、カメラ・ユニット30のナイキスト空間周波数と呼ばれる。本発明の特定の実施形態の1つの特徴は、ナイキスト空間周波数がカメラ・ユニットのサイズ、重量、及びコストを事実上増加させる解像度の過剰なレベルを提供するように検知器が使われるのを回避するためのMRT認識限界と関係を有するように、カメラ・ユニット30が設計されることである。この点、本発明のこれら実施形態は、約0.63サイクル/ミリラジアン未満の、好ましくは0.46サイクル/ミリラジアン未満のナイキスト空間周波数を有する多棒ターゲットのMRT認識を提供することができる補助視システムを提供する。ここに開示する実施形態において、ナイキスト空間周波数は、約0.38サイクル/ミリラジアンである。
【0051】
図8及び9は、同じ基本的関係を表すことなる方法を示す。図8は、遠隔情景120を観察中の視点99に位置するカメラ・ユニット30の概略図である。符号122は、情景120の非常に小さな部分を示す。この部分122は、カメラ・ユニット30内の検知器36の1つの検知器素子上に画像化される。情景120の部分122は、視点99について角度126を規定する。別の言い方をすれば、ミリラジアンである角度126は、特定のカメラ・ユニット30の1つの検知器素子上に画像化されるあらゆる情景の一部分を規定する。
【0052】
この点、図9は、カメラ・ユニット30を含む図8の一部分の拡大図である。カメラ・ユニット30のチョッパ34及び回路38は、簡便のため図9では省略されている。図9は、角度126が、レンズ系32によって光学的に処理された後で検知器36の1つの検知器素子131上に画像化されるあらゆる情景の一部分を表す、ことを示す。本発明の特定の実施形態によれば、1つの検知器素子上に画像化される情景の一部分は、約0.8〜3.5ミリラジアンの範囲、好ましくは1.1〜1.5ミリラジアンの範囲のサイズを有する。ここに開示する実施形態において、カメラ・ユニット30は、各検知器素子131上に情景50の約1.3ミリラジアンを画像化する。
【0053】
本発明は、特定の実施形態において、複数の技術的利点を提供する。カメラ・ユニット30に対するレンズ系32の物理的体積は、現存の暗視システムと比べて約1/8に減らすことができ、よって、カメラ・ユニット30の全体のサイズ及び重量が大幅に削減される。関連する利点は、対物レンズ92のサイズが大幅に低減されることである。これにより、対物レンズを製造するのに必要なカルゴゲナイドガラスなどの高価な材料の量が減り、よってレンズのコストが削減される。さらに、レンズのサイズが低減されるため、レンズ製造工程からの実効利回りが増加し、レンズのコストを更に削減する。
【0054】
より小さい検知器ユニット、特に現行の暗視システムよりも大幅に少ない検知器素子を有する検知器ユニットを用いることができるという事実から、更に別のサイズ及びコストの削減が可能である。これにより、ウエハー処理コストがほぼ固定的な所定のウエハーから得られる検知器素子の数を増やし、且つ各ウエハーからの部品の実効利回りを増やしながら、検知器ユニットを作るのに必要な高価な赤外線感知材料の量が削減される。さらに、レンズ系のサイズが大幅に低減されるため、系の性能を向上させる改善されたオプティカル・スピードをレンズに用いることがより現実的となる。
【0055】
総合すれば、これら利点は、改善された性能のオプションと共に、補助視システムのカメラ・ユニットについてコスト、重量、及びサイズを大幅に削減する。これらはすべて、大衆自動車市場などの非常に競争的な市場では重要である。加えて、カメラ・ユニットのサイズ及び重量を削減することによって、グリルやバンパなどの車両のフロント部分の中への一体化がより効率良くより目立たなくできる。
【0056】
一実施形態を図示し詳細に説明してきたが、本発明の範囲を逸脱することなく、様々な変更、置換、及び交換が可能であることは明らかである。例えば、レンズ系について1つの考えられる光学的構成について図示し詳細に説明したが、本発明の範囲内でこの光学的構成に対する変形例及び修正例が存在することは明らかである。加えて、ここに開示した実施形態はチョッパ34を含むが、チョッパ34が省かれた本発明の変形例を存在することは明らかである。
【0057】
さらに、既述のように、ここに開示した実施形態は、赤外線検知器の検知器素子の一部しか用いないが、本発明は、ここに開示した実施形態によって実際に利用される検知器素子数により密接に対応した検知器素子数を有するより小さい検知器を用いることも包含する。加えて、ここに開示した実施形態の上記説明では、用いられる検知器素子の具体的な数について述べたが、この検知器素子の具体的な数は、例えばディスプレイ・ユニットの有効視野の変化などの様々な要因を受け入れるためにある程度は変更可能であることは明らかである。さらに、ここに開示した実施形態はヘッドアップ・ディスプレイを用いるが、例えば、運転者によって直接的に閲覧される陰極線管(CRT)又はLCDを有するディスプレイなどの他のタイプのディスプレイが用いられてもよいことは明らかである。以下の請求項に規定されるように、本発明の意図及び範囲を逸脱することなく、他の置換及び交換も可能である。
【0058】
加えて、コンピュータ60は本発明の個別の構成要素として図示されているが、コンピュータ60は、カメラ・ユニット30やディスプレイ・ユニット40などの補助視システムの他の構成要素の一部でもあってもよい。さらに、コンピュータ60の機能は、回路38や回路42などの補助視システムの他の回路内に統合されてもよい。
【図面の簡単な説明】
【図1】
本発明に係る補助視システムの一実施形態を含む車両の概略図である。
【図2】
図1の補助視システムの概略図であって、該補助視システムのカメラ・ユニット及びディスプレイ・ユニットの内部構造を詳細に示す図である。
【図3】
図1及び2のカメラ・ユニットの概略図であって、該カメラ・ユニットの一構成要素であるレンズ系を詳細に示す図である。
【図4】
図1及び2のカメラ・ユニットの一構成要素である赤外線検知器の概略図である。
【図5】
補助視システムの概略図であって、該補助視システムの一構成要素であるコンピュータを詳細に示す図である。
【図6A】
車両の一運転状況中に用いられたカメラ・ユニットの一部である検知器の一部を示す図である。
【図6B】
車両の一運転状況中に用いられたカメラ・ユニットの一部である検知器の一部を示す図である。
【図6C】
車両の一運転状況中に用いられたカメラ・ユニットの一部である検知器の一部を示す図である。
【図6D】
車両の一運転状況中に用いられたカメラ・ユニットの一部である検知器の一部を示す図である。
【図7】
標準的な検知・認識技術に従って図2のカメラ・ユニットを用いた場合の概略上面図である。
【図8】
図2のカメラ・ユニットに配置された検知器の一検知素子上に画像化された情景の一部を示す概略図である。
【図9】
図6の部分拡大図であって、カメラ・ユニット内の追加的詳細を示す図である。

Claims (28)

  1. 車載ディスプレイ向けの画像を形成するシステムであって、
    情景からのエネルギを検知器へ向けて方向付けるレンズ系と、
    前記検知器へ接続されたディスプレイ・ユニットと、
    前記検知器へ接続されたコンピュータと、を有し、
    前記ディスプレイ・ユニットは、前記検知器から受信した情報を用いて画像を形成し、
    前記検知器は、検知器素子のアレーを含み、
    前記検知器素子のそれぞれは、前記情景の一部からエネルギを受信し、受信したエネルギを該受信したエネルギを表す情報へ変換し、
    前記検知器は、前記検知器素子の少なくとも一部に関連する情報を前記ディスプレイ・ユニットへ送り、
    前記コンピュータは、進行方向情報を受信し、該進行方向情報に基づいて画像を形成するのに用いられるべき検知器素子を選択し、いずれの検知器素子に関連する情報が前記ディスプレイ・ユニットへ送られるべきかを前記検知器に指示する、ことを特徴とするシステム。
  2. 請求項1記載のシステムであって、
    前記レンズ系によって各検知器素子へ向けて方向付けられるエネルギは、約1.3ミリラジアンのサイズを有することを特徴とするシステム。
  3. 請求項1記載のシステムであって、
    前記レンズ系は、1.5インチの直径、1.5インチの有効焦点距離、及びf/1のオプティカル・スピードを有する対物レンズを有することを特徴とするシステム。
  4. 請求項1記載のシステムであって、
    前記ディスプレイ・ユニットは、ヘッドアップ・ディスプレイを有することを特徴とするシステム。
  5. 請求項4記載のシステムであって、
    前記ヘッドアップ・ディスプレイは、液晶ディスプレイ及び非球面ミラーを含むことを特徴とするシステム。
  6. 請求項1記載のシステムであって、
    前記情景は、幅12度×高さ4度よりも大きいことを特徴とするシステム。
  7. 請求項1記載のシステムであって、
    前記情景は、幅約24度×高さ約8度であることを特徴とするシステム。
  8. 請求項1記載のシステムであって、
    前記検知器は、非冷却焦電チタン酸バリウム・ストロンチウム検知器であることを特徴とするシステム。
  9. 請求項1記載のシステムであって、
    前記検知器は、前記ディスプレイ・ユニットに送る情報に対して補間法を用い、前記画像を形成するのに用いられる追加的情報を生成することを特徴とするシステム。
  10. 請求項1記載のシステムであって、
    前記車両の進行方向情報を判断するセンサを更に有し、
    前記センサは前記コンピュータに接続され、該コンピュータは前記センサから前記進行方向情報を受信する、ことを特徴とするシステム。
  11. 請求項10記載のシステムであって、
    前記センサは、前記車両の操舵角を判断することを特徴とするシステム。
  12. 請求項11記載のシステムであって、
    前記センサは、前記車両のステアリング・コラムに接続された角度エンコーダであることを特徴とするシステム。
  13. 請求項10記載のシステムであって、
    前記コンピュータは、前記センサからの前記進行方向情報を毎秒約60回の速度で検査することを特徴とするシステム。
  14. 請求項1記載のシステムであって、
    前記コンピュータは、前記検知器素子の少なくとも一部に関連した情報を受信して進行方向情報を受信し、画像処理ソフトウェアを用いて該情報を処理し、道路のジオメトリを判断し、前記進行方向情報に基づいて画像を形成するのに用いられるべき検知器素子を選択する、ことを特徴とするシステム。
  15. 請求項1記載のシステムであって、
    前記検知器は、前記コンピュータからの情報に基づいて、前記ディスプレイ・ユニットに送られるべき情報を持っていない検知器素子を通じた高速クロッキングによって、前記検知器素子の一部のみに関連する情報を前記ディスプレイ・ユニットへ送る、ことを特徴とするシステム。
  16. 車載ディスプレイ向けの画像を形成する方法であって、
    情景からのエネルギを検知器へ向けて方向付け、
    複数の検知器素子のそれぞれにおいて前記情景の一部からのエネルギを受信し、
    各検知器素子において受信されたエネルギを該受信したエネルギを表す情報へ変換し、
    前記車両の進行方向情報を判断し、
    該進行方向情報に基づいて画像を形成するのに用いられるべき検知器素子を選択し、
    選択された検知器素子に関連する情報を用いて前記画像を形成する、ことを特徴とする方法。
  17. 請求項16記載の方法であって、
    各検知器素子へ向けて方向付けられるエネルギは、約1.3ミリラジアンのサイズを有することを特徴とする方法。
  18. 請求項16記載の方法であって、
    前記画像をヘッドアップ・ディスプレイに表示することを更に有することを特徴とする方法。
  19. 請求項18記載の方法であって、
    前記画像が液晶ディスプレイから非球面ミラー上へ投影され、前記ヘッドアップ・ディスプレイが構成される、ことを特徴とする方法。
  20. 請求項16記載の方法であって、
    前記情景は、幅12度×高さ4度よりも大きいことを特徴とする方法。
  21. 請求項16記載の方法であって、
    前記情景は、幅約24度×高さ約8度であることを特徴とする方法。
  22. 請求項16記載の方法であって、
    前記検知器は、非冷却焦電チタン酸バリウム・ストロンチウム検知器であることを特徴とする方法。
  23. 請求項16記載の方法であって、
    前記選択された検知器素子に関連する情報を補間し、前記画像を形成するのに用いられる追加的情報を生成することを更に含むことを特徴とする方法。
  24. 請求項16記載の方法であって、
    前記進行方向情報は、前記車両の操舵角であることを特徴とする方法。
  25. 請求項24記載の方法であって、
    前記進行方向情報は、前記車両のステアリング・コラムに接続された角度エンコーダを用いて判断されることを特徴とする方法。
  26. 請求項16記載の方法であって、
    前記車両の進行方向情報の判断は、前記検知器素子の少なくとも一部からの情報を処理して道路の方向を判断することを含むことを特徴とする方法。
  27. 請求項16記載の方法であって、
    前記車両の進行方向情報の判断は、毎秒約60回の速度で行われることを特徴とする方法。
  28. 請求項16記載の方法であって、
    前記ディスプレイ・ユニットに送られるべき情報を持っていない検知器素子を通じて高速クロッキングを行い、前記画像を形成するのに用いられる情報を生成することを更に含むことを特徴とする方法。
JP2002534777A 2000-10-13 2001-10-11 車載ディスプレイ用画像形成システム及び方法 Pending JP2004533129A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US24051000P 2000-10-13 2000-10-13
US09/972,543 US6897892B2 (en) 2000-10-13 2001-10-08 System and method for forming images for display in a vehicle
PCT/US2001/031952 WO2002031439A2 (en) 2000-10-13 2001-10-11 System and method for forming images for display in a vehicle

Publications (1)

Publication Number Publication Date
JP2004533129A true JP2004533129A (ja) 2004-10-28

Family

ID=26933462

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002534777A Pending JP2004533129A (ja) 2000-10-13 2001-10-11 車載ディスプレイ用画像形成システム及び方法

Country Status (8)

Country Link
US (2) US6897892B2 (ja)
EP (1) EP1325379B1 (ja)
JP (1) JP2004533129A (ja)
AT (1) ATE398789T1 (ja)
AU (1) AU2002213161A1 (ja)
CA (1) CA2424290A1 (ja)
DE (1) DE60134482D1 (ja)
WO (1) WO2002031439A2 (ja)

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060284839A1 (en) * 1999-12-15 2006-12-21 Automotive Technologies International, Inc. Vehicular Steering Wheel with Input Device
US7860626B2 (en) * 1995-06-07 2010-12-28 Automotive Technologies International, Inc. Vehicular heads-up display system with adjustable viewing
US20070135982A1 (en) 1995-06-07 2007-06-14 Automotive Technologies International, Inc. Methods for Sensing Weight of an Occupying Item in a Vehicular Seat
US6897892B2 (en) * 2000-10-13 2005-05-24 Alexander L. Kormos System and method for forming images for display in a vehicle
US20030202097A1 (en) * 2000-10-26 2003-10-30 Autoliv Development Ab Night vision arrangement
SE520042C2 (sv) * 2000-10-26 2003-05-13 Autoliv Dev Anordning för förbättring av mörkersikten hos ett fordon såsom en bil
JP4784013B2 (ja) * 2001-07-31 2011-09-28 トヨタ自動車株式会社 視界補助装置
US6731435B1 (en) 2001-08-15 2004-05-04 Raytheon Company Method and apparatus for displaying information with a head-up display
US7995095B2 (en) * 2001-10-18 2011-08-09 Autoliv Development Ab Night vision device for a vehicle
DE10253378B4 (de) * 2001-11-16 2010-07-01 AutoNetworks Technologies, Ltd., Nagoya Visuelles Fahrzeugumgebungs-Erkennungssystem, Kamera und Fahrzeugumgebungs-Überwachungsvorrichtung sowie Fahrzeugumgebungs-Überwachungssystem
US6909408B2 (en) * 2001-12-20 2005-06-21 Bendix Commercial Vehicle Systems Llc Mounting assembly for night vision display unit
US6789901B1 (en) * 2002-01-04 2004-09-14 Raytheon Company System and method for providing images for an operator of a vehicle
DE10202163A1 (de) * 2002-01-22 2003-07-31 Bosch Gmbh Robert Verfahren und Vorrichtung zur Bildverarbeitung sowie Nachtsichtsystem für Kraftfahrzeuge
DE10203413C2 (de) * 2002-01-28 2003-11-27 Daimler Chrysler Ag Automobiles Infrarot-Nachtsichtgerät
US6808274B2 (en) * 2002-06-04 2004-10-26 Raytheon Company Method and system for deploying a mirror assembly from a recessed position
US6815680B2 (en) * 2002-06-05 2004-11-09 Raytheon Company Method and system for displaying an image
JP2004023472A (ja) * 2002-06-17 2004-01-22 Denso Corp 車両前方暗視システム
DE10253510A1 (de) * 2002-11-16 2004-05-27 Robert Bosch Gmbh Vorrichtung und Verfahren zur Verbesserung der Sicht in einem Kraftfahrzeug
US20070035625A9 (en) * 2002-12-20 2007-02-15 Hamdan Majed M Vehicle video processing system
US20040119822A1 (en) * 2002-12-20 2004-06-24 Custer Robert J. Multiple camera system on single monitor display
US7337160B2 (en) * 2002-12-31 2008-02-26 Bae Systems Information And Electronic Systems Integration Inc. Use of radiation-hardened chalcogenide technology for spaceborne reconfigurable digital processing systems
FR2853090B1 (fr) * 2003-03-28 2005-06-10 Valeo Vision Procede d'affichage d'une image sur un pare-brise de vehicule et dispositif de mise en oeuvre.
JP3809431B2 (ja) * 2003-08-28 2006-08-16 トヨタ自動車株式会社 駐車支援装置
US20050093975A1 (en) * 2003-10-30 2005-05-05 Hamdan Majed M. Adaptation of vision systems for commerical vehicles
JP4376653B2 (ja) * 2004-02-17 2009-12-02 富士重工業株式会社 車外監視装置
DE102004014671A1 (de) 2004-03-25 2005-10-13 Robert Bosch Gmbh Vorrichtung zur visuellen Darstellung einer Information
US7195379B2 (en) * 2005-01-03 2007-03-27 Ford Global Technologies, Llc Anti-blinding system for a vehicle
DE102005043159A1 (de) * 2005-09-12 2007-03-15 Robert Bosch Gmbh Einrichtung zur Darstellung eines Bildes im Blickfeld eines Fahrzeugführers
FR2896070B1 (fr) * 2006-01-11 2008-02-15 Commissariat Energie Atomique Systeme magnetique de controle de trafic
EP1921867B1 (en) * 2006-10-17 2016-05-25 Harman Becker Automotive Systems GmbH Sensor assisted video compression
US20080198372A1 (en) * 2007-02-21 2008-08-21 Spatial Photonics, Inc. Vehicle headlight with image display
US20090016571A1 (en) * 2007-03-30 2009-01-15 Louis Tijerina Blur display for automotive night vision systems with enhanced form perception from low-resolution camera images
US7734171B2 (en) * 2008-01-29 2010-06-08 Autoliv Asp, Inc. Snap-in retainer for a sensor system
US8786519B2 (en) * 2008-03-04 2014-07-22 Elbit Systems Ltd. Head up display utilizing an LCD and a diffuser
IL193326A (en) * 2008-08-07 2013-03-24 Elbit Systems Electro Optics Elop Ltd Wide field of view coverage head-up display system
FR2935810B1 (fr) 2008-09-09 2010-10-22 Airbus France Procede de reglage d'une compensation d'harmonisation entre capteur video et dispositif de visualisation tete haute, et dispositifs correspondants
DE102008046453A1 (de) * 2008-09-09 2010-03-11 Huf Hülsbeck & Fürst Gmbh & Co. Kg Modulare Bilderfassungseinheit
US9179104B2 (en) * 2011-10-13 2015-11-03 At&T Intellectual Property I, Lp Method and apparatus for managing a camera network
GB201217104D0 (en) * 2012-09-25 2012-11-07 Jaguar Cars Computing apparatus and method
DE102012024970A1 (de) * 2012-12-20 2013-07-04 Daimler Ag Verfahren zum Bestimmen einer Soll-Kurvenneigung eines Kraftfahrzeugs beim Befahren eines kurvenförmigen Fahrbahnabschnitts
US9008908B2 (en) 2013-07-09 2015-04-14 Denso International America, Inc. Head-up display and method with speed sensitive light intensity
US9223135B2 (en) 2013-08-20 2015-12-29 Denso International America, Inc. Head-up display and method with light intensity output monitoring
US10101584B2 (en) * 2014-03-24 2018-10-16 Calsonic Kansei Corporation Mounting structure for head up display
CN111757857A (zh) * 2018-01-29 2020-10-09 铁路视像有限公司 轻量且低f数的透镜及制造方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03209210A (ja) * 1989-09-28 1991-09-12 Hughes Aircraft Co ヘッドアップデイスプレイ、楔形フロントガラス及び楔形フロントガラスの組立方法
JPH06268894A (ja) * 1993-03-10 1994-09-22 Hitachi Ltd 自動撮像装置
JPH06321011A (ja) * 1993-05-17 1994-11-22 Mitsubishi Electric Corp 周辺視野表示装置
JPH07159190A (ja) * 1993-12-09 1995-06-23 Zanabui Informatics:Kk 車載用音響装置統合システム
JPH08236514A (ja) * 1995-01-03 1996-09-13 Texas Instr Inc <Ti> 感熱素子のアレイを形成するドライエッチング技術を含む構造および方法
JPH0952555A (ja) * 1995-08-11 1997-02-25 Mitsubishi Electric Corp 周辺監視装置
JPH10258682A (ja) * 1997-03-19 1998-09-29 Mitsubishi Motors Corp 車両用周辺視認装置

Family Cites Families (81)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US2716193A (en) 1951-06-08 1955-08-23 Siemens Ag Albis Poor-visibility scope for road vehicles
US4131818A (en) 1967-10-12 1978-12-26 Varian Associates, Inc. Night vision system
US4052123A (en) 1971-11-29 1977-10-04 Hitachi, Ltd. Correcting lenses utilized in the manufacture of fluorescent screen of color picture tubes
US3803407A (en) 1972-08-18 1974-04-09 Us Army Night viewing pocket scope
US3887273A (en) 1973-07-27 1975-06-03 Friedemann Conrad J Speedometer optical projection system
DE2633067C2 (de) 1976-07-22 1986-07-17 Bayerische Motoren Werke Ag, 8000 Muenchen Einrichtung zur optischen Anzeige eines veränderlichen Sicherheitsabstandes eines Fahrzeuges
GB1584573A (en) 1976-11-29 1981-02-11 Sfena System for projecting images
GB2213019B (en) 1980-08-19 1989-10-25 Elliott Brothers London Ltd Head-up display systems
US4527861A (en) 1983-11-23 1985-07-09 General Motors Corporation Antiglare rear view mirror
JPS61188236A (ja) 1985-02-18 1986-08-21 Nissan Motor Co Ltd 車両用表示装置
GB8511978D0 (en) 1985-05-11 1987-09-09 Pilkington Perkin Elmer Ltd Optical apparatus
US5001558A (en) 1985-06-11 1991-03-19 General Motors Corporation Night vision system with color video camera
US4740780A (en) 1985-06-24 1988-04-26 Gec Avionics, Inc. Head-up display for automobile
US4664475A (en) 1985-08-14 1987-05-12 Hughes Aircraft Company Combiner mounting and stowage mechanism
GB2179716B (en) 1985-08-27 1989-11-01 Gec Avionics Head-up displays
GB2204713B (en) 1987-04-16 1991-09-04 Yazaki Corp Displaying apparatus for motor vehicle
US4961625A (en) 1987-09-18 1990-10-09 Flight Dynamics, Inc. Automobile head-up display system with reflective aspheric surface
EP0393098B1 (en) 1987-09-18 1996-07-10 Hughes Flight Dynamics, Inc. Automobile head-up display system
DE3735124A1 (de) 1987-10-16 1989-05-03 Bayerische Motoren Werke Ag Bildwiedergabeeinrichtung fuer kraftfahrzeuge
GB2213951B (en) 1987-12-17 1991-09-18 Gec Avionics Head-up displays
US4901146A (en) * 1988-05-05 1990-02-13 Applied Engineering Products Co. Imaging assembly and mounting for surveillance viewing under remote control
US4970653A (en) 1989-04-06 1990-11-13 General Motors Corporation Vision method of detecting lane boundaries and obstacles
US5028119A (en) 1989-04-07 1991-07-02 Hughes Aircraft Company Aircraft head-up display
US5013135A (en) 1989-07-10 1991-05-07 Matsushita Electric Industrial Co., Ltd. Head-up display with two fresnel lenses
US5401968A (en) * 1989-12-29 1995-03-28 Honeywell Inc. Binary optical microlens detector array
US5023451A (en) 1990-02-20 1991-06-11 General Motors Corporation Indicia contrast enhancement for vehicle borne infrared vision system
US5343313A (en) * 1990-03-20 1994-08-30 James L. Fergason Eye protection system with heads up display
JPH0416910A (ja) 1990-05-11 1992-01-21 Omron Corp 光学レンズ
JP3141081B2 (ja) 1990-08-10 2001-03-05 矢崎総業株式会社 車両用表示装置
US5486002A (en) * 1990-11-26 1996-01-23 Plus4 Engineering, Inc. Golfing apparatus
IT1245555B (it) 1991-05-23 1994-09-29 Fiat Auto Spa Visore ad immagine virtuale, in particolare per la restituzione di immagini a bordo di veicoli
JPH0728999Y2 (ja) 1991-05-29 1995-07-05 セントラル硝子株式会社 多色表示ヘッドアップディスプレイ用ガラス
US5221956A (en) * 1991-08-14 1993-06-22 Kustom Signals, Inc. Lidar device with combined optical sight
US5394520A (en) * 1991-09-26 1995-02-28 Hughes Aircraft Company Imaging apparatus for providing a composite digital representation of a scene within a field of regard
JP3085481B2 (ja) 1991-09-28 2000-09-11 株式会社ニコン 反射屈折縮小投影光学系、及び該光学系を備えた露光装置
US5237455A (en) 1991-12-06 1993-08-17 Delco Electronics Corporation Optical combiner with integral support arm
US5361165A (en) 1992-01-03 1994-11-01 General Motors Corporation Reflective cluster display with stowable viewing screen
FR2693807B1 (fr) 1992-07-17 1994-09-16 Renault Dispositif de visualisation d'informations sur la planche de bord d'un véhicule automobile.
IL107441A (en) 1992-11-05 1997-09-30 Hughes Aircraft Co Virtual image instrument panel display
JP3573765B2 (ja) 1993-03-18 2004-10-06 カルソニックカンセイ株式会社 車両のヘッドアップディスプレイ装置
GB9318520D0 (en) 1993-09-07 1993-10-20 Jaguar Cars Head up displays for motor vehicles
US5638116A (en) 1993-09-08 1997-06-10 Sumitomo Electric Industries, Ltd. Object recognition apparatus and method
US5859714A (en) 1993-11-16 1999-01-12 Asahi Glass Company, Ltd. Head-up display, a combiner used for the head-up display and a method of designing the head-up display
US5729016A (en) 1994-04-12 1998-03-17 Hughes Aircraft Company Low cost night vision system for nonmilitary surface vehicles
US5414439A (en) 1994-06-09 1995-05-09 Delco Electronics Corporation Head up display with night vision enhancement
US5508734A (en) 1994-07-27 1996-04-16 International Business Machines Corporation Method and apparatus for hemispheric imaging which emphasizes peripheral content
GB9420758D0 (en) 1994-10-14 1994-11-30 Pilkington Plc Projection unit for automotive head up display
JP3727078B2 (ja) 1994-12-02 2005-12-14 富士通株式会社 表示装置
US5642106A (en) * 1994-12-27 1997-06-24 Siemens Corporate Research, Inc. Visual incremental turn detector
US5781243A (en) 1995-05-08 1998-07-14 Hughes Electronics Display optimization for night vision enhancement systems
US5657163A (en) 1995-05-31 1997-08-12 Delco Electronics Corporation Fiber optic illumination of HUD image source
US6014259A (en) 1995-06-07 2000-01-11 Wohlstadter; Jacob N. Three dimensional imaging system
US5748377A (en) 1995-10-26 1998-05-05 Fujitsu Limited Headup display
DE19540108C2 (de) 1995-10-27 1998-08-06 Ldt Gmbh & Co Vorrichtung zur Darstellung eines ersten Bildes in einem durch eine durchsichtige Scheibe sichtbaren zweiten Bild
JPH09185012A (ja) 1995-12-27 1997-07-15 Honda Motor Co Ltd 車両用ヘッドアップディスプレイ
AU2123297A (en) * 1996-02-12 1997-08-28 Golf Age Technologies Golf driving range distancing apparatus and methods
US6100943A (en) 1996-07-09 2000-08-08 Harness System Technologies Research, Inc. Vehicular display device for directly and indirectly displaying information
US5867133A (en) 1996-12-13 1999-02-02 Ut Automotive Dearborn, Inc. Dual use display
US6034371A (en) 1996-12-20 2000-03-07 Raytheon Company Semi-opaque chopper for thermal imaging system and method
JP3040356B2 (ja) 1997-01-27 2000-05-15 三菱電機株式会社 赤外線固体撮像素子
US5973827A (en) 1997-03-27 1999-10-26 Raytheon Company Refractive/diffractive infrared imager and optics
US6587573B1 (en) * 2000-03-20 2003-07-01 Gentex Corporation System for controlling exterior vehicle lights
US6057966A (en) * 1997-05-09 2000-05-02 Via, Inc. Body-carryable display devices and systems using E.G. coherent fiber optic conduit
US7038398B1 (en) * 1997-08-26 2006-05-02 Color Kinetics, Incorporated Kinetic illumination system and methods
WO1999033684A2 (en) 1997-12-31 1999-07-08 Gentex Corporation Vehicle vision system
US6072444A (en) 1998-02-02 2000-06-06 The United States Of America As Represented By The Secretary Of The Air Force Adaptable hud mount
FR2785903B1 (fr) 1998-11-17 2002-10-25 Synthelabo Derives de 1-aminoethylquinoleine, leur preparation et leur application en therapeutique
US6996171B1 (en) * 1999-01-29 2006-02-07 Sony Corporation Data describing method and data processor
JP4096445B2 (ja) * 1999-03-31 2008-06-04 アイシン精機株式会社 駐車補助装置
US6262848B1 (en) 1999-04-29 2001-07-17 Raytheon Company Head-up display
GB2353017B (en) 1999-08-07 2003-07-16 Marconi Electronic Syst Ltd Mounting of an optical combiner assembly
GB2354835A (en) 1999-09-29 2001-04-04 Marconi Electronic Syst Ltd Head up displays
US20050174473A1 (en) * 1999-11-18 2005-08-11 Color Kinetics, Inc. Photography methods and systems
US6678394B1 (en) * 1999-11-30 2004-01-13 Cognex Technology And Investment Corporation Obstacle detection system
WO2001063232A1 (en) 2000-02-24 2001-08-30 University Of Virginia Patent Foundation High sensitivity infrared sensing apparatus and related method thereof
US6648477B2 (en) 2000-07-06 2003-11-18 Donnelly Corporation Rearview mirror assembly with information display
US6977630B1 (en) * 2000-07-18 2005-12-20 University Of Minnesota Mobility assist device
US6359737B1 (en) 2000-07-28 2002-03-19 Generals Motors Corporation Combined head-up display
US6646799B1 (en) * 2000-08-30 2003-11-11 Science Applications International Corporation System and method for combining multiple energy bands to improve scene viewing
US6897892B2 (en) 2000-10-13 2005-05-24 Alexander L. Kormos System and method for forming images for display in a vehicle
US20040180369A1 (en) * 2003-01-16 2004-09-16 North Carolina State University Photothermal detection of nucleic acid hybridization

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03209210A (ja) * 1989-09-28 1991-09-12 Hughes Aircraft Co ヘッドアップデイスプレイ、楔形フロントガラス及び楔形フロントガラスの組立方法
JPH06268894A (ja) * 1993-03-10 1994-09-22 Hitachi Ltd 自動撮像装置
JPH06321011A (ja) * 1993-05-17 1994-11-22 Mitsubishi Electric Corp 周辺視野表示装置
JPH07159190A (ja) * 1993-12-09 1995-06-23 Zanabui Informatics:Kk 車載用音響装置統合システム
JPH08236514A (ja) * 1995-01-03 1996-09-13 Texas Instr Inc <Ti> 感熱素子のアレイを形成するドライエッチング技術を含む構造および方法
JPH0952555A (ja) * 1995-08-11 1997-02-25 Mitsubishi Electric Corp 周辺監視装置
JPH10258682A (ja) * 1997-03-19 1998-09-29 Mitsubishi Motors Corp 車両用周辺視認装置

Also Published As

Publication number Publication date
CA2424290A1 (en) 2002-04-18
WO2002031439A3 (en) 2002-08-29
US7227515B2 (en) 2007-06-05
US20020063778A1 (en) 2002-05-30
ATE398789T1 (de) 2008-07-15
EP1325379B1 (en) 2008-06-18
AU2002213161A1 (en) 2002-04-22
EP1325379A2 (en) 2003-07-09
DE60134482D1 (de) 2008-07-31
US6897892B2 (en) 2005-05-24
WO2002031439A2 (en) 2002-04-18
US20050206727A1 (en) 2005-09-22

Similar Documents

Publication Publication Date Title
JP2004533129A (ja) 車載ディスプレイ用画像形成システム及び方法
US6222447B1 (en) Rearview vision system with indicia of backup travel
US10384610B2 (en) Rearview vision system for vehicle
TWI287402B (en) Panoramic vision system and method
US10071688B2 (en) Multi-focus optical system
JP2000019259A (ja) 環境認識装置
Kallhammer The road ahead for car night-vision
JP7158521B2 (ja) 車両用のビューイングシステム、およびビューイングシステムによって表示される画像領域間で切り換える方法
CN107303849B (zh) 显示控制器和用于控制显示控制器的显示控制方法
US11689811B2 (en) Method and apparatus for obtaining enhanced resolution images
US6815680B2 (en) Method and system for displaying an image
JP7207038B2 (ja) 撮像装置、撮像光学系及び移動体
WO2001081972A2 (en) Method and apparatus for obtaining infrared images in a night vision system
JP7207889B2 (ja) 測距装置および車載カメラシステム
JP2007008197A (ja) 車両周辺視認装置
JP2005117136A (ja) 車両用物体検出装置
JP7244129B1 (ja) ナイトビジョンカメラ
Sarkar Vision Sensors in Automobiles: An Indian Perspective

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20041007

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20051024

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20051101

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060126

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20060322

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20060327

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20060327

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060614

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20060728

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20070406

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20081015

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20081020