JP6390032B2 - ヘッドアップディスプレイの歪補正方法とそれを用いたヘッドアップディスプレイの歪補正装置 - Google Patents

ヘッドアップディスプレイの歪補正方法とそれを用いたヘッドアップディスプレイの歪補正装置 Download PDF

Info

Publication number
JP6390032B2
JP6390032B2 JP2015172989A JP2015172989A JP6390032B2 JP 6390032 B2 JP6390032 B2 JP 6390032B2 JP 2015172989 A JP2015172989 A JP 2015172989A JP 2015172989 A JP2015172989 A JP 2015172989A JP 6390032 B2 JP6390032 B2 JP 6390032B2
Authority
JP
Japan
Prior art keywords
image
imaging unit
viewpoint
coordinate correspondence
coordinate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015172989A
Other languages
English (en)
Other versions
JP2017047794A (ja
Inventor
奈緒美 山▲崎▼
奈緒美 山▲崎▼
康次 桑原
康次 桑原
孝 小室
孝 小室
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Calsonic Kansei Corp
Saitama University NUC
Original Assignee
Calsonic Kansei Corp
Saitama University NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Calsonic Kansei Corp, Saitama University NUC filed Critical Calsonic Kansei Corp
Priority to JP2015172989A priority Critical patent/JP6390032B2/ja
Publication of JP2017047794A publication Critical patent/JP2017047794A/ja
Application granted granted Critical
Publication of JP6390032B2 publication Critical patent/JP6390032B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Instrument Panels (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Description

本発明は、運転者の前方に虚像を結像させて必要な情報を表示する車両用ヘッドアップディスプレイ装置に関するものである。
昨今、航空機や自動車等のフロントウインドウガラスに表示像を投影して、操縦者や運転者の前方に虚像を結像させて、視線を前方からそらすことなく表示像を視認することが可能なヘッドアップディスプレイ装置が実用化されている(例えば特許文献1,非特許文献1)。
このようなヘッドアップディスプレイ装置にあっては、コンバイナと呼ばれる反射部材やフロントウインドウガラスに虚像を表示しているため、表示される虚像には歪が生じていた。そのため、例えば特許文献1にあっては、虚像を投影する光学系の光学パラメータを調整することによって、虚像の歪を低減させていた。また、非特許文献1にあっては、視点移動に対応して虚像の歪補正を行っていた。
米国特許第3723805号
Folker Wientapper, 他3名, "A Camera-Based Calibration for Automotive Augmented Reality Head-Up-Displays", IEEE International Symposium on Mixed and Augmented Reality 2013 Science and Technology Proceedings, 1-4 October 2013, Adelaide, SA, Australia
しかしながら、特許文献1に記載されたヘッドアップディスプレイ装置にあっては、観測者の視点位置の移動には対応していなかった。
したがって、観測者が、予め決められた位置にいるときには歪のない虚像を観測することができるが、観測者の視点位置が移動したときには、虚像の歪が発生して、その歪を補正することはできないという問題があった。
また、非特許文献1に記載されたヘッドアップディスプレイ装置にあっては、予め、既知のドットパターンをヘッドアップディスプレイに表示して、この表示像をカメラを移動させながら撮影することによって観測画像を得、この観測画像におけるドットパターンを表す点の位置と、歪のない理想的な表示像の点の位置と、の差を視点位置(カメラ位置)とカメラ画像の座標の三次多項式で表して、その係数を最小二乗法によって求めていた。
その際、カメラを移動させながら多くの枚数(例えば1000枚以上)の画像を撮像する必要があるため、作業の手間がかかるという問題があった。
本発明は、このような従来の問題点に鑑みなされたもので、視点位置に関わらず歪のないヘッドアップディスプレイの投影像を、少ない計算量で効率よく生成することを目的とするものである。
前記課題を解決するために、本発明に係るヘッドアップディスプレイの歪補正方法は、運転者の前方視界の中に虚像を表示するヘッドアップディスプレイの歪補正方法であって、運転者の視点の位置に相当する位置に車両の前方へ向けて撮像部を設置する撮像部設置プロセスと、前記撮像部が所定の方向に向くように調整する観測方向調整プロセスと、前記撮像部の設置位置を検出する撮像部位置検出プロセスと、運転者の前方視界の中に基準パターンを投影して投影像を生成する基準パターン投影プロセスと、前記投影像を前記撮像部で撮像して撮像画像を得る投影像撮像プロセスと、前記基準パターンを構成する点の座標と、前記撮像画像の中の前記点と同じ点の座標と、の間の第1の座標対応関係を算出する第1の座標対応関係算出プロセスと、前記撮像部の設置位置を変更する撮像部位置変更プロセスと、前記撮像部の各設置位置において、前記第1の座標対応関係算出プロセスを繰り返して行うことによって得られた各第1の座標対応関係をそれぞれ記憶する第1の座標対応関係記憶プロセスと、運転者の視点の位置を検出する運転者視点位置検出プロセスと、前記各第1の座標対応関係に基づいて、前記撮像部を前記視点の位置に設置したときに得られると考えられる、前記基準パターンを構成する点の座標と、前記視点の位置で撮像されると予測される前記基準パターンの投影像の中の前記点と同じ点の座標と、の間の第2の座標対応関係を推定する第2の座標対応関係推定ステップと、前記視点の位置において推定された前記第2の座標対応関係に基づいて予め変形された画像情報を生成する画像情報生成プロセスと、前記画像情報を投影して投影像を生成する画像情報投影プロセスと、からなることを特徴とする。
本発明に係るヘッドアップディスプレイの歪補正方法によれば、前記した構成とすることによって、運転者の視点の位置によらずに、歪が補正されたヘッドアップディスプレイ投影像を表示するために投影する、予め逆方向に歪ませた変形パターンを容易に生成することができる。
本発明の一実施形態である実施例1に係るヘッドアップディスプレイの歪補正方法を用いたヘッドアップディスプレイの歪補正装置の機能構成を示す機能ブロック図である。 図1に示したヘッドアップディスプレイの歪補正装置を用いて、校正を行う際に必要な構成要素のみを示した機能ブロック図である。 図1に示したヘッドアップディスプレイの歪補正装置を用いて、歪補正されたヘッドアップディスプレイの投影像を生成して表示する際に必要な構成要素のみを示した機能ブロック図である。 実施例1で実施する校正の内容について説明する図であり、(a)は基準パターンの一例を示す図である。(b)は基準パターンの投影像の一例を示す図である。(c)は基準パターンの投影像を撮像したカメラ画像の一例を示す図である。 校正を行う際に利用するグレイコードについて説明する図である。 作成する対応マップについて説明する図であり、(a)は歪のないヘッドアップディスプレイ表示像を投影するために形成された事前変形パターンの一例を示す図である。(b)は歪のないヘッドアップディスプレイ表示像の一例を示す図である。 実施例1において、撮像部を移動させた際に行う位置合わせの方法について説明する図である。 任意の視点位置における対応マップを補間生成する方法について説明する第1の図であり、移動させた撮像部の複数の設置位置の一例を示す図である。 任意の視点位置における対応マップを補間生成する第1の方法について説明する図であり、対応マップを視点位置の一次式で表す方法について説明する図である。 任意の視点位置における対応マップを補間生成する第2の方法について説明する図であり、対応マップを視点位置の区分線形関数で表す方法について説明する図である。 実施例1における校正の一連の処理の流れを示す第1のフローチャートである。 実施例1における校正の一連の処理の流れを示す第2のフローチャートである。 実施例1において歪のないHUD表示像を投影する一連の流れを示すフローチャートである。
以下、本発明のヘッドアップディスプレイの歪補正方法の具体的な実施形態について、図面を参照して説明する。
図1は、本発明の一実施形態であるヘッドアップディスプレイの歪補正方法を用いたヘッドアップディスプレイの歪補正装置100の構成を示す機能ブロック図である。また、図2は、図1に示したヘッドアップディスプレイの歪補正装置100のうち、校正を行う際に必要となる構成部位のみを示す機能ブロック図である。そして、図3は、図1に示したヘッドアップディスプレイの歪補正装置100のうち、実際に歪が補正されたヘッドアップディスプレイの投影像(以下、HUD表示像)を表示する際に必要となる構成部位のみを示す機能ブロック図である。
以下、図1から図3を用いて、ヘッドアップディスプレイの歪補正装置100の全体構成について説明する。
(ヘッドアップディスプレイの歪補正装置の全体構成の説明)
図1に示すように、ヘッドアップディスプレイの歪補正装置100は、図1に非図示の車両に搭載されており、車両のウインドシールド16に投影されて虚像表示を生成する基準パターン・画像情報生成部10と、車速や誘導経路情報等の画像情報を生成するために必要な車両情報を取得する車両情報取得部12と、基準パターン・画像情報生成部10で生成された画像情報をウインドシールド16に向かって投影して、基準パターンの投影像IpまたはHUD表示像Iiを生成させる情報投影部14と、基準パターンの投影像Ipを観測する撮像部40と、撮像部40または運転者50の視点52を観測する、撮像部・視点観測カメラ60と、撮像部・視点観測カメラ60で観測された画像の中から、撮像部40の設置位置、または運転者50の視点52の位置を検出する撮像部設置位置・視点位置検出部64と、基準パターン・画像情報生成部10で生成された基準パターンと撮像部40で撮像した、基準パターンの投影像Ipとから、同じ点を表す座標同士の対応関係である第1の座標対応関係を算出する第1の座標対応関係算出部70と、算出された第1の座標対応関係に基づいて生成された対応マップを記憶する対応マップ記憶部80(第1の座標対応関係記憶部)と、第1の座標対応関係に基づいて、運転者50の視点52の位置において得られると推定される、基準パターンの投影像Ipと、その投影像Ipを投影するための基準パターンと、の同じ点を表す座標同士の対応関係である第2の座標対応関係を推定して、推定された第2の座標対応関係に基づいて、視点52の位置において歪のないHUD表示像Ii(投影像)が観測されるように予め変形された事前変形パターンId(図4C(a))を生成するための座標変換テーブルを生成する座標変換テーブル生成部90(第2の座標対応関係推定部)と、からなる。
ヘッドアップディスプレイの歪補正装置100を使用する際には、予め、投影像の歪の補正に必要な情報を収集する、いわゆる校正を行う必要がある。そして、校正が終了した後で、実際に運転者50の視点52の位置を計測して、視点位置に応じた歪のないHUD表示像Iiの生成・表示を行う。その際、図1に示した各構成部位が、「校正」と「HUD表示像Iiの生成・表示」のそれぞれの場面に応じて機能する。
図2は、ヘッドアップディスプレイの歪補正装置100を用いて校正を行う際の機能構成を示す。
校正時には、図2に示すように、図1に示した構成部位の一部のみが、校正を行うために必要な機能を発揮する。すなわち、図1に示した基準パターン・画像情報生成部10は、校正用の基準パターンIr(図4A)を生成する基準パターン生成部10aとして機能する。そして、情報投影部14から投影された基準パターンIrは、ウインドシールド16で正反射して基準パターンの投影像Ipを生成する。
図1に示した撮像部・視点観測カメラ60は、基準パターンの投影像Ipを観測するために設置された撮像部40を観測する撮像部観測カメラ60aとして機能する。そして、図1に示した撮像部設置位置・視点位置検出部64は、撮像部40の設置位置を検出する撮像部設置位置検出部64aとして機能する。また、座標変換テーブル生成部90(第2の座標対応関係推定部)は、事前変形パターンId(図4C(a))を生成するための座標変換テーブルを生成して記憶する。
なお、図1に示した第1の座標対応関係算出部70,対応マップ記憶部80(第1の座標対応関係記憶部)は、そのまま用いられる。
図3は、ヘッドアップディスプレイの歪補正装置100を用いて、実際にHUD表示像Iiの表示を行う際、すなわち実運用時の機能構成を示す。
実運用時には、図3に示すように、図1に示した構成部位のうち必要な部位のみが、HUD表示像Iiの生成・表示を行うために必要な機能を発揮する。
すなわち、図1に示した撮像部・視点観測カメラ60は、運転者50の視点52を観測する視点観測カメラ60bとして機能する。なお、この撮像部・視点観測カメラ60は、図1に非図示の車両の、例えばインスツルメントパネルに、視点の存在範囲であるアイレンジ全体を観測できるようなレイアウトで設置されている。そして、図1に示した撮像部設置位置・視点位置検出部64は、視点52の位置を検出する視点位置検出部64bとして機能する。
なお、図1に示した座標変換テーブル生成部90は、視点位置検出部64bで検出された視点52の位置に応じた座標変換テーブルを読み出して、読み出した座標変換テーブルを画像情報生成部10bに提供する。画像情報生成部10bは、車両情報取得部12から取得した車両情報を参照し、座標変換テーブル生成部90から読み出した座標変換テーブルを用いて、車速や誘導経路等の車両情報を含む画像情報を生成する。そして、生成された画像情報は情報投影部14から投影されて、ウインドシールド16で正反射してHUD表示像Iiを生成する。
(校正の説明)
図4A〜図4Cを用いて、校正の概要を説明する。基準パターンの投影像Ip上の点Q(p,q)と、図4A(a)に示した基準パターンIr上の点R(u,v)との対応関係は、式1によって記述される。
[式1]
式1に記載したMcp_xは水平座標の対応マップを表しており、Mcp_x(x,y)は、カメラ画像Icの点P(x,y)と対応する基準パターンIrの水平座標uを表している。また、Mcp,yは垂直座標の対応マップを表しており、Mcp_y(x,y)は、カメラ画像Icの点P(x,y)と対応する基準パターンIrの垂直座標vを表している。
図4A(a)〜図4A(c)は、基準パターンIrと、基準パターンの投影像Ipと、カメラ画像Icの関係の一例を示す図である。すなわち、図4A(a)〜図4A(c)は、基準パターンIr上の任意の点R(u,v)が、基準パターンIrの投影像Ip上の点Q(p,q)に投影されて、この点Q(p,q)がカメラ画像Ic上の点P(x,y)の位置に観測されることを示している。
なお、図4A(a)〜図4A(c)において、カメラ画像Ic上の点P(x,y)の位置が、基準パターンIr上の点R(u,v)の位置と対応していること、すなわち、同じ点を表していることを、本発明において第1の座標対応関係と呼ぶ。
(対応点の特定方法の説明)
次に、カメラ画像Ic上の点P(x,y)と対応する(一致する)、基準パターンIrの投影像Ip上の点Q(p,q)を特定する方法について、図4Bを用いて説明する。
図4Bは、基準パターン(Ir1,Ir2,Ir3,…)の一例を示す図である。本実施例においては、基準パターンIrの投影像Ip上の点とカメラ画像Ic上の点の対応関係を求めるために、複数の異なる基準パターン(Ir1,Ir2,Ir3,…)を順次投影する。
図4Bに示した基準パターン(Ir1,Ir2,Ir3,…)はグレイコードと呼ばれる符号化されたデータ列を2次元のパターンで表現したものである。図4Bの斜線を付した領域は「黒帯」、斜線を付していない領域は「白帯」で形成されている。図4Bに示した複数のパターン(Ir1,Ir2,Ir3,…)を順次投影して、投影像の各点に、白帯と黒帯がどんな順序で投影されたかを観測することによって、投影像の各点の座標をコード化することができる。
例えば、図4Bに示す点Aに着目する。基準パターンIr1を投影したとき、点Aには黒帯が投影される。このように黒帯が投影された点は“0”で表すものとする。同様にして基準パターンIr2を投影したときには、点Aには黒帯が投影される。すなわち、点Aは“0”で表される。そして、基準パターンIr3を投影したときには、点Aには白帯が投影される。このように白帯が投影された点は“1”で表すものとする。したがって、図4Bに示す点Aの座標は、3枚の基準パターン(Ir1,Ir2,Ir3)を順次投影したときに、先に投影した基準パターンの情報を下位ビットに割り当て、後で投影した基準パターンの情報を上位ビットに割り当てることにより、“100”というビット長3、すなわち3ビットの情報で表すことができる。
図4Bに示した複数の基準パターン(Ir1,Ir2,Ir3,…)をより細かいパターンまで用意して順次投影することにより、基準パターンが投影された領域の座標を、より長いビット長、すなわち、より高い分解能で特定することができる。例えば、n枚の異なる基準パターンを順次投影したときには、基準パターンが投影された点の座標をnビットで表すことができる。
次に、具体的な対応点の特定方法について説明する。まず、投影された基準パターン(Ir1,Ir2,Ir3,…)の投影像Ipは、撮像部40(図1)によって撮像された後、観測されたカメラ画像Icの中のどの領域に黒帯が写っており、どの領域に白帯が写っているかが認識される。
黒帯と白帯の認識を簡単かつ確実に行うために、本実施例では、図4Bに示した基準パターンIr1を投影した後で、基準パターンIr1の白黒を反転させたパターン(ネガポジ反転パターン)を投影する。すなわち、基準パターンIr1を投影して撮像部40で投影像Ipを撮像した後で、基準パターンIr1のネガポジ反転パターンを投影して撮像部40で投影像Ipを再び撮像する。
このようにして撮像された、ネガポジが反転した2枚の画像の差分演算を行うと、基準パターンIr1の白帯が投影された領域の差分値は正値となる。一方、基準パターンIr1の黒帯が投影された領域の差分値は負値となる。したがって、外部の明るさの変化に影響されることなく、白帯と黒帯が投影された領域を簡単かつ確実に認識することができる。
同様の処理を、異なる複数の基準パターンの各々の投影像に対して繰り返し行うことにより、カメラ画像Icの点(x,y)と同じコード化座標を有する、基準パターン(Ir1,Ir2,Ir3,…)が投影された点(p,q)の座標を、複雑な対応付け演算を行うことなしに、機械的に算出することができる。
なお、説明を簡単にするため、図4Bには帯が縦方向に延びたパターン(縦縞)のみを示したが、実際には帯が横方向に延びたパターン(横縞)も投影して、前記したのと同様に座標の特定を行うことによって、基準パターンの投影像の2次元座標を高い分解能で特定することができる。
このようにして、カメラ画像Icの座標(x,y)と投影像の座標(p,q)との対応関係を明確にすることができる。そして、投影像の座標(p,q)と、情報投影部14(図1)から投影される投影像Ipの元である基準パターンIrの座標(u,v)と、も1対1に対応しているため、カメラ画像Icの座標(x,y)と基準パターンIrの座標(u,v)との対応関係も明確にすることができる。
(事前変形パターンの生成方法の説明)
次に、校正の結果を用いて、歪のないヘッドアップディスプレイ(HUD)表示像Iiを得るために、情報投影部14(図1)から投影する画像情報を生成する方法について、図4C(a),図4(b)を用いて説明する。
この画像情報は、基準パターン・画像情報生成部10(図1)において生成される。その際、校正によって得られた、式1で示される対応マップMcp_xおよびMcp_yが、座標変換テーブルとして利用される。
すなわち、対応マップMcp_xおよびMcp_yに記述された座標の対応関係は、基準パターンIrを投影した際に生じる投影像の歪の情報を含んでいるため、これらの対応マップMcp_xおよびMcp_yを用いて座標変換を行うことによって、予め、逆方向の歪を有する(逆方向に歪んだ)画像情報を生成しておくことができる。この逆方向の歪を有する画像情報を、以後、事前変形パターンIdと呼ぶことにする。そして、事前変形パターンIdを情報投影部14(図1)から投影することによって、歪のないHUD表示像Iiを得ることができる。
すなわち、HUD表示像Iiの任意の点(x,y)と、点(x,y)と同じ点を表す、事前変形パターンIdの中の点(u,v)との関係は、式2のようになる。
[式2]
ここで、実際に投影されるヘッドアップディスプレイの投影像の大きさと、校正の際に投影された基準パターンIrの投影像Ipの大きさは一般に異なるため、校正で得られた対応マップMcp_xおよびMcp_yは、それぞれ、サイズ調整(リサイズ)を行った上で利用する。なお、対応マップMcp_xおよびMcp_yをリサイズすると、対応マップの隣接画素間で、対応マップの内容に不連続性が生じる虞がある。そのため、リサイズした対応マップに対して平滑化処理(スムージング処理)を施しておくのが望ましい。具体的には、リサイズした対応マップに対して、対象となる画素の値を、その画素および近傍画素の値の重み付き平均値で置換することによって、平滑化処理を行うことができる。
式2におけるMip_xは、対応マップMcp_xに対してリサイズと平滑化を行った対応マップであり、Mip_yは、対応マップMcp_yに対してリサイズと平滑化を行った対応マップである。これらの対応マップMip_xおよびMip_yが、座標変換テーブルとして対応マップ記憶部80(図1)に記憶される。以後、対応マップMip_xおよびMip_yを座標変換テーブルと呼ぶ。図4C(a)は、これらの座標変換テーブルMip_x,Mip_yを用いて生成された事前変形パターンIdの一例である。
なお、図4C(a),図4(b)は、HUD表示像Iiとして車速(40km/h)を表示するための事前変形パターンIdを形成する場合を例にあげて説明したものだが、実際には、40km/h以外の車速、また、車速に限らず、誘導経路,ワーニング等の様々な情報をHUD表示像Iiとしてリアルタイムに生成する必要がある。その際、座標変換テーブルである対応マップMip_xおよびMip_yは、情報の種類に関わらず共通に使用することができる。
(視点位置に応じた対応マップの生成方法の説明)
運転者50(図1)の体格や着座位置は個人によって異なっているため、図1に示したHUD表示像Iiは様々な位置にある視点52から観測される。視点52の位置が異なると、基準パターンの投影像Ipに生じる歪も異なるため、視点52の位置が移動する都度、移動した視点52の位置における対応マップMcp_xおよびMcp_yを用いて事前変形パターンIdを生成する必要がある。そのためには、予め、複数の異なる位置に撮像部40(図1)を設置して、各設置位置にそれぞれ対応する複数の対応マップMcp_xおよびMcp_yを作成しておく必要がある。
しかしながら、想定される視点位置における対応マップMcp_xおよびMcp_yを予め全て作成しておくことはできないため、本実施例では、必要最小限の複数の設置位置に撮像部40を設置して、各設置位置に対応する対応マップMcp_xおよびMcp_yをそれぞれ作成して、作成された各対応マップMcp_xおよびMcp_yに基づいて、視点52の任意の位置における対応マップMcp_xおよびMcp_yの補間生成を行う。
その際、撮像部40の各設置位置において得られた各対応マップMcp_xおよびMcp_yに対して、前記したようにリサイズと平滑化を行って、撮像部40の各設置位置における座標変換テーブルMip_xおよびMip_yを作成する。そして、撮像部40の各設置位置における座標変換テーブルMip_xおよびMip_yに基づいて、視点52の任意の位置に対応する座標変換の回帰式の係数を求めて、算出された係数を座標変換テーブル生成部90(第2の座標対応関係推定部)に記憶する。詳しくは後述する。
そして、実際に計測された視点52の位置に対応する回帰式の係数を読み出して座標変換を行い、視点52の位置において歪のないHUD表示像Ii(投影像)が観測されるように予め変形された事前変形パターンIdを生成し、生成された事前変形パターンIdを投影することによって、運転者50の視点52の位置に関わらずに、歪のないHUD表示像Ii(図4C(b))をリアルタイムで表示することができる。
(撮像部の設置位置の調整方法の説明)
次に、図5を用いて、校正の中で行う、撮像部40の設置位置の調整方法について説明する。撮像部40の設置位置の調整は、撮像部40で撮像されたカメラ画像Icをモニタしながら行う。その際、設置位置の調整のために、図5に示すように、カメラ画像Icの縦方向中心位置に基準線Ly(第1基準マーカ)を描画しておき、横方向中心位置に基準線Lx(第1基準マーカ)を描画しておく。さらに、図5のE矢視図に示すように、投影像Ipが表示されるスクリーンSの表面には、横方向に延びる(X軸に沿って延びる)基準線Mx(第2基準マーカ)と、縦方向に延びる(Y軸に沿って延びる)基準線My(第2基準マーカ)をHUD投影像として表示する。
撮像部40は、図5のXY平面上で設置位置を調整するものとする。撮像部40を所定の設置位置(例えば、撮像部40,40a,40bが示す位置)に移動した後、撮像されたカメラ画像(Ic,Ica,Icb)には、それぞれ、スクリーンSに表示した基準線Mx,My(第2基準マーカ)と、カメラ画像Icに直接描画した基準線Lx,Ly(第1基準マーカ)と、がともに写った状態となっている。
このとき、図5において、撮像部40,40a,40bの向きを、Y軸に平行な軸の周り、すなわち、図5の矢印Ca,Cb,Ccの向きに回転させると、カメラ画像(Ic,Ica,Icb)上で、基準線Mx,My(第2基準マーカ)の表示位置が、図5の矢印Da,Db,Dcの方向に移動する。そして、撮像部40,40a,40bが、それぞれスクリーンS上の点Rの方向を向いたときに、基準線Mx,Myは、それぞれ、基準線Lx,Ly(第1基準マーカ)と完全に重複した状態となる。
このようにして、基準線Mxと基準線Lx、および基準線Myと基準線Lyがともに重複した状態にあることを確認して、撮像部40,40a,40bの設置位置の調整が完了したものと判断する。
撮像部40,40a,40bの向きをこのように調整することによって、図5に示すように、設置位置を変更された撮像部40,40a,40bは、常に、基準線Mxと基準線Myの交点である点Rの方向を向いた状態となっている。すなわち、撮像部40,40a,40bの設置位置から撮像部40の向きを一意に特定することができる。
さらに、撮像部40,40a,40bの向きをこのように調整することによって、基準線Mxと基準線Myの交点である点Rの位置に表示されたHUD表示像Iiを、撮像部40の複数の設置位置から、それぞれ視野の中心で見る状態(注視した状態)を再現することができる。
(撮像部の任意の仮想設置位置における対応マップ(座標変換テーブル)の補間生成方法の説明)
次に、撮像部40の設置位置を変更して得た複数の対応マップMcp_xおよびMcp_yを用いて、仮想撮像部40vを、運転者の視点位置に対応する任意の設置位置(仮想設置位置)に設置した際に、その仮想設置位置における対応マップ(座標変換テーブル)を補間生成する2つの方法について、図6A〜図6Cを用いて説明する。なお、説明を簡単にするため、撮像部40を設置位置wに設置したときに、設置位置wにおける対応マップを、それぞれMcp_x(w),Mcp_y(w)で表すことにする。
図6Aは、撮像部40を、図5に示したXY平面上の複数の設置位置に移動させて、図6の矢印Fの方向から見た図である。すなわち、撮像部40を、XY平面上の9箇所の位置(1,2,3,4,5,6,7,8,9)にそれぞれ移動させた状態を示している。このとき、撮像部40は、上下の間隔、左右の間隔がそれぞれ、できるだけ等しくなるように設置されるものとする。
図6Aに示した撮像部40,40a,40b,40c,40d,40e,40f,40g,40hを示す丸印は、それぞれ、撮像部が備えるレンズ面を示している。
図6Bは、XY平面上の9箇所の位置(1〜9)(図6A)にそれぞれ設置された撮像部40,40a〜40hを、撮像部観測カメラ60a(図2)で撮像して、撮像された撮像部40,40a〜40hの位置を、1枚の画像J(x、y)に重畳した状態を示している。
図6Bに示すように、撮像部40,40a〜40hは、画像J(x,y)の中の、位置(1’,2’,3’,4’,5’,6’,7’,8’,9’)にそれぞれ観測される。
ここで、画像J(x、y)において、撮像部が観測される位置(1’〜9’)を、それぞれ、(xc(1),yc(1)),(xc(2),yc(2)),…,(xc(9),yc(9))とする。
撮像部40,40a〜40hが観測される位置(xc(1),yc(1)),(xc(2),yc(2)),…,(xc(9),yc(9))は、画像J(x、y)の中から、撮像部40,40a〜40h(図6A)のレンズの中心位置を検出することによって求めることができる。レンズは円形領域として観測されるため、レンズの中心位置は、例えば、一般化ハフ変換を用いて求めることができる。
一般化ハフ変換は、画像の中から特定の形状を検出する際によく使われる画像認識手法である。円形領域を検出する際には、例えば、画像J(x,y)の中からエッジ構成点を検出して、検出されたエッジ構成点におけるエッジの法線方向を求め、エッジ構成点から法線方向に沿って、検出する円の半径だけ離れた位置にある点を円の中心位置と考えて、用意されたハフ空間の対応する画素の画素値をインクリメントする。同様の処理を全てのエッジ構成点に対して行ったときに、突出した画素値を有する点を、円の中心位置であるとして検出することができる。本実施例の場合、使用する撮像部40に装着されたレンズの径は予めわかっているため、撮像部観測カメラ60a(図2)で観測されるレンズの径を予測することができる。すなわち、検出すべき円の半径は予め予測することができる。
次に、任意の視点位置における座標変換テーブルを補間生成する第1の方法について説明する。
図6Bにおいて、仮想撮像部40vが視点位置H(xe,ye)にあるとき、この視点位置H(xe,ye)における座標変換テーブルMip_x(xe,ye)およびMip_y(xe,ye)は、それぞれ、図6Bにおける各撮像部の位置(1’〜9’)における座標変換テーブル(対応マップMcp_xおよびMcp_yに対して、それぞれリサイズと平滑化を行ったもの)を線形補間したものであると近似できる。すなわち、式3,式4で表される1次回帰式によって求めることができる。
[式3]
[式4]
式3のax(x,y),bx(x,y),cx(x,y)、および式4のay(x,y),by(x,y),cy(x,y)は、それぞれ回帰係数であり、以下に示す式5,式6によってそれぞれ求めることができる。
[式5]
[式6]
式5,式6は、それぞれ、撮像部40の複数の設置位置における対応マップを画素毎に平面近似、すなわち、対応マップを画素毎に線形補間していることに相当する。そして、これらの回帰係数(ax(x,y),bx(x,y),cx(x,y),ay(x,y),by(x,y),cy(x,y))に基づいて、任意の視点位置H(xe,ye)における座標変換テーブルMip_x(xe,ye)およびMip_y(xe,ye)を求めることができる。このとき、算出された回帰係数(ax(x,y),bx(x,y),cx(x,y),ay(x,y),by(x,y),cy(x,y))は、座標変換テーブル生成部90(第2の座標対応関係推定部)に記憶され、必要に応じて読み出されて座標変換を行う。
次に、任意の視点位置における座標変換テーブルMip_xおよびMip_yを補間生成する第2の方法について説明する。
図6Cは、仮想撮像部40vが設置された任意の視点位置H(xe,ye)における座標変換テーブルMip_x(xe,ye)およびMip_y(xe,ye)を補間生成する第2の補間生成方法について説明する図である。
図6Cにおいて、任意の視点位置H(xe,ye)における座標変換テーブルは、撮像部の全ての位置(1’〜9’)における座標変換テーブルを用いることなく、視点位置H(xe,ye)の周囲近傍にある撮像部の位置における座標変換テーブルのみを用いて補間生成することができる。
すなわち、アイレンジ内の任意の視点位置H(xe,ye)における対応マップは、アイレンジ内に複数設置した撮像部の位置(1’〜9’)の水平方向座標の最小値と最大値、および垂直方向座標の最小値と最大値をそれぞれ頂点とする長方形領域Rrを、水平方向、垂直方向にそれぞれ予め決められた分割数に分割して複数の長方形状の部分領域(Pr1,Pr2,Pr3,Pr4)を形成し、このようにして形成された部分領域(Pr1,Pr2,Pr3,Pr4)のうち、視点位置H(xe,ye)がどの部分領域の内部に属しているかに応じて補間生成することができる。例えば、視点位置H(xe,ye)が属する部分領域Pr1の中心位置G1から所定距離(例えば半径d)以内、すなわち円形領域T1の内部に存在する各撮像部の位置(1’,2’,4’,5’)における座標変換テーブルを用いて補間生成することができる。このように、任意の視点位置H(xe,ye)における対応マップを、視点位置H(xe,ye)の区分線形関数で表すことができる。このとき、部分領域(Pr1,Pr2,Pr3,Pr4)毎に、前述した回帰係数(ax(x,y),bx(x,y),cx(x,y),ay(x,y),by(x,y),cy(x,y))が算出されて、それぞれ、座標変換テーブル生成部90(第2の座標対応関係推定部)に記憶される。そして、実際に検出された運転者50の視点位置H(xe,ye)に応じた回帰係数が読み出されて座標変換が行われる。なお、円形領域T1の内部に撮像部が2か所以下しか存在しないとき、すなわち、十分な数の撮像部が存在しないときは、部分領域の中心位置からの距離が近い順に最低3か所の撮像部の位置を選択するようにすればよい。
任意の視点位置における座標変換テーブルの補間生成は、以上説明した2つの方法のいずれを用いて行ってもよいが、撮像部の設置位置を変更した際に得られる、撮像部の位置を表す画像の歪の変化が大きいとき(図6Bに相当する画像において、場所によって隣接する撮像部の位置関係の歪の差が大きいとき)には、撮像部の各設置位置において得られた座標変換テーブルの画素毎に平面を当てはめると、例えば、画像の歪の変化が大きいときには、線形補間では誤差が大きくなる虞があるため、第2の方法、すなわち、視点位置の区分線形関数を用いて補間生成するのが望ましい。
(実施例1における処理の流れの説明)
実施例1における処理の全体の流れについて、図7A,図7B,図8を用いて説明する。図7A,図7Bは校正を行う際の一連の処理の流れを示すフローチャートである。また、図8は歪のないHUD表示像Iiを投影する一連の処理の流れを示すフローチャートである。まず、校正を行う際の一連の流れについて、図7A,図7Bのフローチャート、および図2の機能ブロック図を用いて説明する。
(ステップS10)撮像部40を、基準パターンの投影像Ipが投影される方向に向けて設置する。
(ステップS12)基準パターンの投影像Ipが結像する位置に置いたスクリーンS上に、図5に示した基準線Mx,My(第2基準マーカ)を設置する。
(ステップS14)第2基準マーカMx,Myがカメラ画像Icの所定の位置に写るように、撮像部40の向きを調整する。
(ステップS18)撮像部設置位置検出部64aによって、撮像部40の位置を検出する。
(ステップS20)基準パターン生成部10aにおいてグレイコード(ポジ)を生成して、情報投影部14からウインドシールド16に向けて投影する。
(ステップS22)投影されたグレイコードの投影像を撮像部40で撮像する。
(ステップS24)基準パターン生成部10aにおいてグレイコード(ネガ)を生成して、情報投影部14からウインドシールド16に向けて投影する。
(ステップS26)投影されたグレイコードの投影像を撮像部40で撮像する。
(ステップS28)撮像されたグレイコード(ポジ)の投影像を2値化処理する。その際、撮像されたグレイコード(ネガ)の投影像を2値化のしきい値とする。
(ステップS30)2値化処理の結果を第1の座標対応関係算出部70に記憶しておく。
(ステップS32)全てのグレイコード(ポジ)を投影したか否かを判定する。全てのグレイコードを投影したときはステップS34に進み、それ以外のときはステップS20に戻って、異なるグレイコード(ポジ)の投影を行う。
(ステップS34)第1の座標対応関係算出部70において、対応マップMcp_x,Mcp_yを作成する。作成された対応マップMcp_x,Mcp_yは、必要に応じてリサイズ、平滑化処理を施されて、対応マップ(座標変換テーブル)Mip_x,Mip_yとされる。そして、生成された対応マップMip_x,Mip_yを対応マップ記憶部80に記憶する。
(ステップS38)撮像部40を全ての設置位置に移動させたたか否かを判定する。全ての設置位置に移動させたときはステップS40に進み、それ以外のときは、ステップS10に戻って、撮像部40を別の設置位置に移動させる。
(ステップS40)撮像部40の各設置位置において得られた対応マップMip_x,Mip_yに基づいて、任意の視点の位置における対応マップを補間生成するための座標変換の回帰式を算出する。
(ステップS42)算出された回帰式の係数を座標変換テーブル生成部90(第2の座標対応関係推定部)に記憶して、図7A,図7Bの処理を終了する。
次に、歪のないHUD表示像Iiを投影する一連の処理の流れについて、図8のフローチャート、および図3の機能ブロック図を用いて説明する。
(ステップS80)視点位置検出部64bによって、視点52の位置を検出する。
(ステップS84)画像情報生成部10bが、座標変換テーブル生成部90から、検出された視点52の位置における座標変換の回帰式の係数を読み出して、読み出した係数に基づいて、HUD表示像Iiを生成するために投影する画像情報を座標変換して、事前変形パターンIdを作成する。
(ステップS86)作成した事前変形パターンIdを情報投影部14から投影してHUD表示像Iiを生成する。
(ステップS88)HUD表示像IiをOFFにする(消去する)条件を満たしているか否かを判定する。条件を満たすときはHUD表示を消去して処理を終了する。それ以外のときは、ステップS80に戻る。
以上説明したように、実施例1に係るヘッドアップディスプレイの歪補正装置100において行われるヘッドアップディスプレイの歪補正方法によると、運転者の視点52に相当する位置に前方へ向けて設置した撮像部40を、所定の方向に向くように調整した後、撮像部40の設置位置を検出する。運転者の前方視界の中に基準パターンIrの投影像Ipを生成して、撮像部40でこの投影像Ipを撮像し、基準パターンIrを構成する点の座標と、撮像された画像の中でその点と同じ点を表す座標と、の間の第1の座標対応関係を算出する。同様の処理を、撮像部40の設置位置を変更して複数回繰り返した後、得られた第1の座標対応関係をそれぞれ記憶する。そして、検出された運転者の視点52の位置において得られると考えられる、基準パターンIrを構成する点の座標と、視点52の位置においた撮像されると予測される基準パターンIrの投影像Ipの対応する点の座標と、の間の第2の座標対応関係を推定して、視点の位置(x,y)から、投影像Ipを歪なく観測できるように基準パターンIrを変形させる座標変換テーブルMip_x(x,y)およびMip_y(x,y)を生成する。そして、座標変換テーブルMip_x(x,y)およびMip_y(x,y)に基づいて、予め変形された画像情報を生成し、この画像情報を投影してHUD表示像Iiを生成するため、座標変換テーブルの画素毎の値であるMip_x(x,y)およびMip_y(x,y)が、視点52の位置(x,y)のみの一次式で表されて、視点位置に関わらず歪のないHUD表示像Iiを、少ない計算量で効率よく生成することができる。
さらに、アルゴリズムが簡易であるため、実装が容易であり、ハードウェア化に向いている。また、ウインドシールド16の形状や光学系パラメータの事前測定が不要であるため、様々な要因によって発生する歪を一括して補正することができる。
そして、撮像部40を決まった位置に設置する必要がないため、校正を行う際に作業習熟の必要がなく、習熟者でなくても容易に校正を行うことができる。さらに、校正に用いる撮像部40の検出と、実際にHUD表示像Iiを表示する際の視点52の検出を同じ撮像部・視点観測カメラ60で行うことができるため、校正時の撮像部40の位置と実際の視点52の位置との間で相互に座標変換を行う必要がない。また、レンズの歪などの影響が相殺されるため、少ない手間で校正を容易に行うことができる。
また、実施例1に係るヘッドアップディスプレイの歪補正装置100において行われるヘッドアップディスプレイの歪補正方法によると、観測方向調整プロセスは、撮像部40で撮像された画像の中で、撮像部40に設置されて、撮像部40の移動によらずその位置が固定された第1基準マーカ(Lx,Ly)の像と、運転者の前方視界の所定位置に表示された第2基準マーカ(Mx,My)の像と、の位置を合致させることによって行うため、撮像部40の姿勢の推定が不要となって、校正を行う際の計算量を軽減することができる。
そして、実施例1に係るヘッドアップディスプレイの歪補正装置100において行われるヘッドアップディスプレイの歪補正方法によると、撮像部40の複数の設置位置の水平方向座標の最小値と最大値、および垂直方向座標の最小値と最大値をそれぞれ頂点とする長方形領域Rrを、水平方向、垂直方向にそれぞれ予め決められた分割数に分割して複数の部分領域(Pr1,Pr2,Pr3,Pr4)を形成し、形成された複数の部分領域(Pr1,Pr2,Pr3,Pr4)の中で、運転者の視点位置H(xe,ye)が属する部分領域Pr1の中心位置G1から所定距離d内にある撮像部40の各設置位置における第1の座標対応関係に基づいて、視点位置H(xe,ye)における第2の座標対応関係を推定するため、撮像部40の設置位置を変更した際に得られる、撮像部40の複数の設置位置を表す画像の歪の変化が大きいときであっても、精度の高い歪補正を行うことができる。
さらに、実施例1に係るヘッドアップディスプレイの歪補正装置100において行われるヘッドアップディスプレイの歪補正方法によると、第2の座標対応関係は視点52の位置(x,y)の一次式で表されるため、校正を行う際の計算量を減らすことができる。さらに、第2の座標対応関係を求める際に画素毎の対応付けを行っているため、歪のない滑らかな投影像を得ることができる。
また、実施例1に係るヘッドアップディスプレイの歪補正方法を用いたヘッドアップディスプレイの歪補正装置100によると、運転者の視点52に相当する位置に、所定の位置を向くように設置された撮像部40の設置位置が、撮像部設置位置検出部64aによって検出されて、情報投影部14が運転者の前方視界の中に基準パターンIrの投影像Ipを投影して、撮像部40でこの投影像Ipを撮像し、第1の座標対応関係算出部70が、基準パターンIrを構成する点の座標と、撮像された画像の中でその点と同じ点を表す座標と、の間の第1の座標対応関係を算出した後、撮像部40の設置位置を変更して、各設置位置で第1の座標対応関係を算出して、対応マップ記憶部80(第1の座標対応関係記憶部)に記憶する。
そして、座標変換テーブル生成部90(第2の座標対応関係推定部)が、撮像部40の複数の設置位置における各第1の座標対応関係に基づいて、視点52の任意の位置における座標変換の回帰式の係数を補間生成して記憶する。
次に、画像情報生成部10bが、座標変換テーブル生成部90(第2の座標対応関係推定部)に記憶された座標変換の回帰式の係数の中から、視点52の位置(x,y)に応じた回帰式の係数を参照して、予め変形された画像情報(事前変形パターンId)を生成し、この事前変形パターンIdを投影してHUD表示像Iiを生成するため、座標変換テーブルの画素毎の値Mip_x(x,y)およびMip_y(x,y)が、視点52の位置(x,y)のみの一次式で表されて、視点位置に関わらず歪のないHUD表示像Iiを、少ない計算量で効率よく生成することができる。
そして、実施例1に係るヘッドアップディスプレイの歪補正方法を用いたヘッドアップディスプレイの歪補正装置100によると、第1の座標対応関係算出部70は、撮像部40で撮像された画像の中で、撮像部40に設置されて、撮像部40の移動によらずその位置が固定された第1基準マーカ(Lx,Ly)の像と、運転者の前方視界の所定位置に表示された第2基準マーカ(Mx,My)の像と、の位置を合致させた状態で第1の座標対応関係を算出するため、テクスチャパターンやマーカ等を設置する必要がなく、校正を行う際の手間を減らすことができる。
さらに、実施例1に係るヘッドアップディスプレイの歪補正方法を用いたヘッドアップディスプレイの歪補正装置100によると、座標変換テーブル生成部90(第2の座標対応関係推定部)は、撮像部40の複数の設置位置(1’〜9’)の水平方向座標の最小値と最大値、および垂直方向座標の最小値と最大値をそれぞれ頂点とする長方形領域Rrを、水平方向、垂直方向にそれぞれ予め決められた分割数に分割して複数の部分領域(Pr1,Pr2,Pr3,Pr4)を形成し、形成された複数の部分領域(Pr1,Pr2,Pr3,Pr4)の中で、運転者の視点位置H(xe,ye)が属する部分領域Pr1の中心位置G1から所定距離d内にある撮像部40の各設置位置における第1の座標対応関係に基づいて、視点位置H(xe,ye)における第2の座標対応関係を推定するため、撮像部40の設置位置を変更した際に得られる、撮像部40の複数の設置位置を表す画像の歪の変化が大きいときであっても、精度の高い歪補正を行うことができる。
また、実施例1に係るヘッドアップディスプレイの歪補正方法を用いたヘッドアップディスプレイの歪補正装置100によると、座標変換テーブル生成部90(第2の座標対応関係推定部)は、第2の座標対応関係を視点52の位置(x,y)のみの一次式で表すため、HUD表示像を少ない計算量で効率よく生成することができる。さらに、第2の座標対応関係を求める際に画素毎の対応付けを行っているため、歪のない滑らかな投影像を得ることができる。
なお、前記した実施例1では、十字線状に形成された第1基準マーカLx,Lyと第2基準マーカMx,Myが一致するように撮像部40の方向を調整したが、第1基準マーカLx,Lyと第2基準マーカMx,Myの形状は、十字線に限定されるものではない。すなわち、撮像部40を所定の向きに合わせることができるような形状であれば、別の形状でも構わない。
また、前記した実施例1では、任意の視点位置における座標変換テーブルを予測する際に、撮像部40を9箇所に移動させて、部分領域を4個形成する構成としたが、撮像部40の移動箇所数および生成する部分領域数はこれらの数値に限定されるものではない。すなわち、より多くの位置に撮像部40を移動させて校正を行い、なおかつ部分領域数を増やしてもよく、このように部分領域数を増やすことによって、より滑らかな近似が可能となる。また、ある部分領域で用いた撮像部40の設置位置(校正点)を別の部分領域でも用いることによって、校正点を増やすことができ、より誤差に強い補間を行うことができるようになる。
以上、この発明の実施例を図面により詳述してきたが、実施例はこの発明の例示にしか過ぎないものであるため、この発明は実施例の構成にのみ限定されるものではなく、この発明の要旨を逸脱しない範囲の設計の変更等があってもこの発明に含まれることは勿論である。
10b・・・・・画像情報生成部
40・・・・・・撮像部
52・・・・・・視点
64・・・・・・撮像部設置位置・視点位置検出部
70・・・・・・第1の座標対応関係算出部
80・・・・・・対応マップ記憶部(第1の座標対応関係記憶部)
90・・・・・・座標変換テーブル生成部(第2の座標対応関係推定部)
100・・・・・ヘッドアップディスプレイの歪補正装置
Id・・・・・・事前変形パターン
Lx,Ly・・・第1基準マーカ(基準線)
Mx,My・・・第2基準マーカ(基準線)
Ir・・・・・・基準パターン
Ip・・・・・・基準パターンの投影像
Ii・・・・・・HUD表示像
Ic・・・・・・観測画像(カメラ画像)
Mip_x, Mip_y・・・対応マップ(座標変換テーブル)
w・・・・・・・設置位置

Claims (8)

  1. 運転者の前方視界の中に虚像を表示するヘッドアップディスプレイの歪補正方法であって、
    運転者の視点の位置に相当する位置に車両の前方へ向けて撮像部を設置する撮像部設置プロセスと、
    前記撮像部が所定の方向に向くように調整する観測方向調整プロセスと、
    前記撮像部の設置位置を検出する撮像部位置検出プロセスと、
    運転者の前方視界の中に基準パターンを投影して投影像を生成する基準パターン投影プロセスと、
    前記投影像を前記撮像部で撮像して撮像画像を得る投影像撮像プロセスと、
    前記基準パターンを構成する点の座標と、前記撮像画像の中の前記点と同じ点の座標と、の間の第1の座標対応関係を算出する第1の座標対応関係算出プロセスと、
    前記撮像部の設置位置を変更する撮像部位置変更プロセスと、
    前記撮像部の各設置位置において、前記第1の座標対応関係算出プロセスを繰り返して行うことによって得られた各第1の座標対応関係をそれぞれ記憶する第1の座標対応関係記憶プロセスと、
    運転者の視点の位置を検出する運転者視点位置検出プロセスと、
    前記各第1の座標対応関係に基づいて、前記撮像部を前記視点の位置に設置したときに得られると考えられる、前記基準パターンを構成する点の座標と、前記視点の位置で撮像されると予測される前記基準パターンの投影像の中の前記点と同じ点の座標と、の間の第2の座標対応関係を推定する第2の座標対応関係推定プロセスと、
    前記第2の座標対応関係を記憶する第2の座標対応関係記憶プロセスと、
    前記視点の位置において推定された前記第2の座標対応関係に基づいて、歪のない投影像が投影されるように予め変形された画像情報を生成する画像情報生成プロセスと、
    前記画像情報を投影して投影像を生成する画像情報投影プロセスと、からなることを特徴とするヘッドアップディスプレイの歪補正方法。
  2. 前記観測方向調整プロセスは、前記撮像部で撮像された画像の中で、前記撮像部に設置されて、前記撮像部の移動によらずその位置が固定された第1基準マーカの像と、運転者の前方視界の所定位置に表示された第2基準マーカの像と、の位置を合致させることによって行うことを特徴とする請求項1に記載のヘッドアップディスプレイの歪補正方法。
  3. 前記第2の座標対応関係推定プロセスは、前記撮像部位置変更プロセスにおいて設置された前記撮像部の複数の設置位置の水平方向座標の最小値と最大値、および垂直方向座標の最小値と最大値をそれぞれ頂点とする長方形を、水平方向、垂直方向にそれぞれ予め決められた分割数に分割して複数の部分領域を形成し、形成された複数の前記部分領域の中で、運転者の前記視点の位置が属する部分領域の中心位置から所定距離内にある前記撮像部の各設置位置における前記第1の座標対応関係に基づいて、前記視点の位置における第2の座標対応関係を推定するものであることを特徴とする請求項1または請求項2に記載のヘッドアップディスプレイの歪補正方法。
  4. 前記第2の座標対応関係は、前記視点の位置の一次式で表されることを特徴とする請求項1から請求項3のいずれか1項に記載のヘッドアップディスプレイの歪補正方法。
  5. 運転者の前方視界の中に虚像を表示するヘッドアップディスプレイの歪補正装置であって、
    運転者の前方に画像情報を投影して投影像を生成する情報投影部と、
    運転者の視点に相当する位置に、前記情報投影部によって投影された画像情報の所定の位置を向くように設置された撮像部と、
    前記画像情報として投影された基準パターンの投影像を前記撮像部で撮像して、撮像された観測画像と前記投影像とを比較して、同じ点を表す座標同士の第1の座標対応関係を、前記撮像部を複数の異なる設置位置に移動して、前記撮像部の各設置位置においてそれぞれ算出する第1の座標対応関係算出部と、
    前記各第1の座標対応関係をそれぞれ記憶する第1の座標対応関係記憶部と、
    前記撮像部の設置位置または運転者の視点の位置を検出する撮像部設置位置・視点位置検出部と、
    前記各第1の座標対応関係に基づいて、前記撮像部を前記視点の位置に設置したときに得られると考えられる、前記基準パターンを構成する点の座標と、前記視点の位置で撮像されると予測される前記基準パターンの投影像の中の前記点と同じ点を表す点の座標と、の間の第2の座標対応関係を推定して、前記視点の位置において歪のない投影像が観測されるように予め変形された事前変形パターンを生成するための座標変換テーブルを生成する座標変換テーブル生成部と、
    前記座標変換テーブルに基づいて、事前変形された画像情報を生成する画像情報生成部と、を有して、前記情報投影部から前記画像情報を投影して投影像を生成することを特徴とするヘッドアップディスプレイの歪補正装置。
  6. 前記第1の座標対応関係算出部は、前記撮像部で撮像された画像の中で、前記撮像部に設置されて、前記撮像部の移動によらずその位置が固定された第1基準マーカの像と、運転者の前方視界の所定位置に表示された第2基準マーカの像と、の位置を合致させた状態で前記第1の座標対応関係を算出することを特徴とする請求項5に記載のヘッドアップディスプレイの歪補正装置。
  7. 前記第2の座標対応関係推定部は、前記撮像部の異なる複数の設置位置の水平方向座標の最小値と最大値、および垂直方向座標の最小値と最大値をそれぞれ頂点とする長方形を、水平方向、垂直方向にそれぞれ予め決められた分割数に分割して形成された複数の部分領域の中で、運転者の前記視点の位置が属する部分領域の中心位置から所定距離内にある前記撮像部の各設置位置における前記第1の座標対応関係に基づいて、前記視点の位置における第2の座標対応関係を推定するものであることを特徴とする請求項5または請求項6に記載のヘッドアップディスプレイの歪補正装置。
  8. 前記第2の座標対応関係推定部は、前記第2の座標対応関係を、前記視点の位置の一次式で表すことを特徴とする請求項5から請求項7のいずれか1項に記載のヘッドアップディスプレイの歪補正装置。
JP2015172989A 2015-09-02 2015-09-02 ヘッドアップディスプレイの歪補正方法とそれを用いたヘッドアップディスプレイの歪補正装置 Active JP6390032B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015172989A JP6390032B2 (ja) 2015-09-02 2015-09-02 ヘッドアップディスプレイの歪補正方法とそれを用いたヘッドアップディスプレイの歪補正装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015172989A JP6390032B2 (ja) 2015-09-02 2015-09-02 ヘッドアップディスプレイの歪補正方法とそれを用いたヘッドアップディスプレイの歪補正装置

Publications (2)

Publication Number Publication Date
JP2017047794A JP2017047794A (ja) 2017-03-09
JP6390032B2 true JP6390032B2 (ja) 2018-09-19

Family

ID=58278020

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015172989A Active JP6390032B2 (ja) 2015-09-02 2015-09-02 ヘッドアップディスプレイの歪補正方法とそれを用いたヘッドアップディスプレイの歪補正装置

Country Status (1)

Country Link
JP (1) JP6390032B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109993713A (zh) * 2019-04-04 2019-07-09 百度在线网络技术(北京)有限公司 车载平视显示***图像畸变矫正方法和装置

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102436730B1 (ko) * 2017-12-06 2022-08-26 삼성전자주식회사 가상 스크린의 파라미터 추정 방법 및 장치
WO2020016994A1 (ja) * 2018-07-19 2020-01-23 三菱電機株式会社 画像歪み検査装置、画像歪み検査方法及びプログラム
KR102518661B1 (ko) 2018-10-16 2023-04-06 현대자동차주식회사 Hud 시스템의 이미지 왜곡 보정 방법
KR20200067641A (ko) 2018-12-04 2020-06-12 삼성전자주식회사 3차원 증강 현실을 위한 캘리브레이션 방법 및 그 장치
JP7419721B2 (ja) * 2018-12-20 2024-01-23 セイコーエプソン株式会社 回路装置、電子機器及び移動体
WO2020235400A1 (ja) * 2019-05-20 2020-11-26 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
JP7480602B2 (ja) 2019-12-31 2024-05-10 セイコーエプソン株式会社 表示システム、電子機器、移動体及び表示方法
CN112584114B (zh) * 2020-12-04 2023-03-24 浙江水晶光电科技股份有限公司 抬头显示器及其图像校正方法
CN117378198A (zh) * 2021-05-28 2024-01-09 京瓷株式会社 三维图像显示***的设定方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5731902A (en) * 1996-08-19 1998-03-24 Delco Electronics Corporation Head-up display combiner binocular test fixture
JPH10200836A (ja) * 1997-01-07 1998-07-31 Nikon Corp 画像投影装置
JP2005099150A (ja) * 2003-09-22 2005-04-14 Olympus Corp 画像表示装置の画像補正データ算出方法
JP2005244835A (ja) * 2004-02-27 2005-09-08 Olympus Corp マルチプロジェクションシステム
JP2015087619A (ja) * 2013-10-31 2015-05-07 日本精機株式会社 車両情報投影システム及び投影装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109993713A (zh) * 2019-04-04 2019-07-09 百度在线网络技术(北京)有限公司 车载平视显示***图像畸变矫正方法和装置
CN109993713B (zh) * 2019-04-04 2021-11-05 阿波罗智联(北京)科技有限公司 车载平视显示***图像畸变矫正方法和装置

Also Published As

Publication number Publication date
JP2017047794A (ja) 2017-03-09

Similar Documents

Publication Publication Date Title
JP6390032B2 (ja) ヘッドアップディスプレイの歪補正方法とそれを用いたヘッドアップディスプレイの歪補正装置
JP5739584B2 (ja) 車両周辺視角化のための3次元映像合成装置およびその方法
JP5491235B2 (ja) カメラキャリブレーション装置
JP4861574B2 (ja) 運転支援装置
JP3868876B2 (ja) 障害物検出装置及び方法
EP3032818B1 (en) Image processing device
US8134608B2 (en) Imaging apparatus
US20130002861A1 (en) Camera distance measurement device
JP5959311B2 (ja) データ導出装置、及び、データ導出方法
JP2008269139A (ja) 運転支援システム並びに車両
CN111664839B (zh) 车载抬头显示虚像距离测量方法
JPWO2017168986A1 (ja) 制御装置、内視鏡撮像装置、制御方法、プログラムおよび内視鏡システム
JP2012019552A (ja) 運転支援装置
JP2019209734A (ja) 軌道識別装置
JP5240517B2 (ja) 車載カメラの校正装置
JP4867709B2 (ja) 表示歪み測定装置及び表示歪み測定方法
JP7074546B2 (ja) 画像処理装置および方法
JP6529360B2 (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
JP2011228857A (ja) 車載カメラ用キャリブレーション装置
KR20170066749A (ko) 헤드업 디스플레이의 영상 왜곡 보정 장치 및 방법
CN108701349B (zh) 显示车辆周围环境前视图的方法和装置及相应车辆
US20220222947A1 (en) Method for generating an image of vehicle surroundings, and apparatus for generating an image of vehicle surroundings
CN112304291B (zh) 基于hud的车道线显示方法及计算机可读存储介质
JP4468019B2 (ja) 画像処理装置
JP6060612B2 (ja) 移動面状況認識装置、移動体、及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171012

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180704

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180710

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180730

R150 Certificate of patent or registration of utility model

Ref document number: 6390032

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250