JP2010157910A

JP2010157910A - 画像表示装置

Info

Publication number: JP2010157910A
Application number: JP2008335075A
Authority: JP
Inventors: Osamu Ozaki; 修尾崎
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2008-12-26
Filing date: 2008-12-26
Publication date: 2010-07-15

Abstract

【課題】路面上に立体物が存在する場合により効率的に視点変換に対する不要な調整を排除して適切な出力画像を表示することができる画像表示装置を提供すること。
【解決手段】撮像手段（１２ａ）により得られた車両周辺の画像を視点変換して表示する画像表示装置（１０）は、撮像手段（１２ａ）と被写体との間の距離を検出する距離検出手段（１６ａ）と、撮像手段（１２ａ）の撮像軸を含む鉛直平面内にありその距離が所定値（Ｌ_０）となる被写体上の点と撮像手段（１２ａ）とを結ぶ線が鉛直軸に対して形成する角度を算出する角度算出手段（２２）と、その角度に基づいて視点変換の度合いを調整する視点変換度調整手段（２８）と、その角度の時間変化に基づいて立体物の存否を判定する立体物存否判定手段（２６）とを備え、視点変換調整手段（２８）は、立体物が存在すると判定された場合に調整を中止する。
【選択図】図１

Description

本発明は画像表示装置に関し、特に、撮像手段により得られた車両周辺の画像を視点変換して表示する画像表示装置に関する。

従来、運転者による駐車を支援する駐車アシスト装置が知られている。これらの装置は、車両に搭載されたカメラによって車両周辺を撮像して得られる入力画像を視点変換して出力画像を生成し、その出力画像を運転者に対して表示する。しかし、これらの装置は、路面の起伏及び傾斜や、車両への荷物の搭載や、車両の経年変化等により、路面に対するカメラの角度（カメラの撮像軸（光軸）の角度）が変化した場合には、所望とする出力画像への視点変換ができなくなる場合があり、その結果、スケールが異なる出力画像や歪み補正が自然ではない出力画像を生成してしまう場合がある。

この問題を解決するために、特許文献１は、指向性のあるレーザ光線を発するレーザ発光装置やハイトセンサを使用して、路面に対するカメラの角度を測定し、その測定結果に基づいて視点変換の度合いを調整し、路面に対するカメラの角度の変化に応じた出力画像を生成する技術を記載する。

しかし、特許文献１に記載された装置は、路面上に縁石や輪止め等の立体物が存在しないことを前提としている。そのため、路面上に立体物がある場合、実際にはその立体物が路面に対するカメラの角度に影響を与えないにも関わらず、その立体物の表面を路面であると誤認して視点変換の度合いを調整してしまうので、運転者に違和感を与える出力画像を表示してしまうことになる。

これに対し、特許文献２に記載された装置は、カメラが連続的に取得した二つの画像データに基づいて縁石や輪止め等の立体物が存在する画像データ内の領域を特定し、且つ、そのカメラに対応するレーザレーダを用いてそのカメラからの距離が所定距離となる地点を検出し、その上で、検出した地点に対応する画像がその立体物が存在するとされる画像領域に含まれる場合には、その地点を路面でないと認識することで、路面上に立体物が存在する場合であっても視点変換における不要な調整を行うことなく、適切な出力画像を表示できるようにする。
特開２００３−２７４３９４号公報特開２００８−３４９６６号公報

しかしながら、特許文献２に記載の装置は、カメラが連続的に取得した少なくとも二つの画像データに対する画像処理によって立体物が存在する画像データ内の領域を特定する必要があるので、その処理負荷が大きく、リアルタイム性に悪影響を与える場合がある。

この点に鑑み、本発明は、路面上に立体物が存在する場合により効率的に視点変換に対する不要な調整を排除して適切な出力画像を表示することができる画像表示装置を提供することを目的とする。

上述の目的を達成するために、第一の発明に係る画像表示装置は、撮像手段により得られた車両周辺の画像を視点変換して表示する画像表示装置であって、前記撮像手段と被写体との間の距離を検出する距離検出手段と、前記撮像手段の撮像軸を含む鉛直平面内にあり前記距離が所定値となる被写体上の点と前記撮像手段とを結ぶ線が鉛直軸に対して形成する角度を算出する角度算出手段と、前記角度算出手段が算出する角度に基づいて視点変換の度合いを調整する視点変換度調整手段と、前記角度算出手段が算出する角度の変化に基づいて立体物の存否を判定する立体物存否判定手段と、を備え、前記視点変換調整手段は、前記立体物存否判定手段により立体物が存在すると判定された場合に調整を中止することを特徴とする。

上述の手段により、本発明は、路面上に立体物が存在する場合により効率的に視点変換に対する不要な調整を排除して適切な出力画像を表示することができる画像表示装置を提供することができる。

以下、本発明の実施の形態に係る画像表示装置について添付図面を参照して説明する。

図１は、実施形態に係る画像表示装置の構成を示すブロック図である。図１に示すように、本実施形態の画像表示装置１０は、車体１１に、カメラ（撮像手段）１２ａ〜１２ｄ、画像入力装置１４、レーザレーダ（距離検出手段）１６ａ〜１６ｄ、レーダ信号入力装置１８、入力同期装置２０、角度算出装置（角度算出手段）２２、初期セットアップ情報格納部２４、立体物検出装置（立体物存否判定手段）２６、視点変換装置２８（視点変換度調整手段）、映像合成装置３０、映像出力装置３２、及びディスプレイ３４を備えている。

カメラ１２ａ〜１２ｄは、ＣＣＤ又はＣＭＯＳ等の半導体素子を用いた単眼カメラであり、広角レンズ又は魚眼レンズが装着されている。図２は、実施形態に係るカメラの配置例を示す斜視図であり、魚眼レンズが装着された４台のカメラ１２ａ〜１２ｄが、車体１１の前後左右にそれぞれ一台ずつ設置されており、車体１１の全周囲を撮像して確認できることを示す。

画像入力装置１４は、カメラ１２ａ〜１２ｄのそれぞれが出力するカメラ画像を取得するための装置であり、好適には、一定周期毎に同期を取りながらカメラ１２ａ〜１２ｄのそれぞれが出力する画像を取得する。

レーザレーダ１６ａ〜１６ｄは、カメラ１２ａ〜１２ｄのそれぞれと被写体（例えば、路面である。）との間の距離を検出するための装置であり、例えば、レーザを照射する方向を周期的に左右上下に走査してカメラ１２ａ〜１２ｄの撮像範囲内にある被写体までの距離を検出する二次元スキャンレーザレーダである。なお、レーザレーダ１６ａ〜１６ｄは、カメラ１２ａ〜１２ｄのそれぞれに対応付けて配置されている。なお、レーザレーダ１６ａ〜１６ｄは、一次元スキャンレーザレーダであってもよい。

レーダ信号入力装置１８は、レーザレーダ１６ａ〜１６ｄのそれぞれが出力するレーザレーダ計測信号（水平方向角度、垂直方向角度、対象までの距離）を取得するための装置であり、実際には、ある一定周期毎に非同期にレーザレーダ１６ａ〜１６ｄのそれぞれが出力するレーダ計測信号を取得する。

入力同期装置２０は、画像入力装置１４及びレーダ信号入力装置１８の信号の入力タイミングを調整する装置であり、例えば、時刻Ｔにおいて、画像ＩＭ（Ｔ）とレーザレーダ計測信号ＬＭ（Ｔ）とを対応付けることができ、同様に、時刻Ｔ＋１において、画像ＩＭ（Ｔ＋１）とレーザレーダ計測信号ＬＭ（Ｔ＋１）とを対応付けることができる。

角度算出装置２２は、レーザレーダ１６ａ〜１６ｄの出力に基づいて算出される、カメラ１２ａ〜１２ｄのそれぞれから被写体までの距離を用いて、カメラ１２ａ〜１２ｄのそれぞれの撮像軸を含む鉛直平面内にありその距離が所定値Ｌ_０となる被写体上の点とカメラ１２ａ〜１２ｄの中心点のそれぞれとを結ぶ線（以下、「視点変換基準線」とする。）が鉛直軸に対して形成する角度（以下、「視点変換基準角度」とする。）を算出する装置である。なお、角度算出装置２２は、視点変換基準線の俯角を視点変換基準角度として算出するようにしてもよい。

所定値Ｌ_０は、初期セットアップ情報格納部２４に格納されている初期セットアップ情報のうちの一つであり、路面が水平である場合におけるカメラ１２ａ〜１２ｄのそれぞれから路面までの撮像軸（光軸）上の距離である。

初期セットアップ情報格納部２４は、各種情報を記憶するための装置であり、レーザレーダ距離計測初期情報（路面が水平である場合の水平方向角度ＨＡ、垂直方向角度ＶＡ、対象までの距離（上述の所定値Ｌ_０に相当する。））や、車両が水平面にいる際に計測したカメラ１２ａ〜１２ｄの俯角τ、焦点距離ｆ、設置高さＨを格納する。また、初期セットアップ情報格納部２４は、カメラ１２ａ〜１２ｄのそれぞれとレーザレーダ１６ａ〜１６ｄのそれぞれとの間の相対的な位置関係に関する情報を格納する。

立体物検出装置２６は、角度算出装置２２が算出する視点変換基準角度に基づいて立体物の存否を判定する装置であり、例えば、角度算出装置２２が算出する視点変換基準角度の時間変化に基づいてカメラ１２ａ〜１２ｄのそれぞれのカメラ画像における立体物の存否を判定する。

視点変換装置２８は、例えば、特開平１０−２１１８４９号公報、特開２００３−２７４３９４号公報等に記載の手法を用いて、画像入力装置１４が取得した画像を平面投影やお椀型モデル等にマッピングして、平面視の画像に変換し、映像合成の準備を行うための装置であり、初期セットアップ情報格納部２４に記憶されたカメラ１２ａ〜１２ｄの俯角τに基づいて、カメラ１２ａ〜１２ｄが撮像したカメラ画像の視点を変換する。

また、視点変換装置２８は、車両が上り坂や下り坂に接近してカメラ１２ａ〜１２ｄのそれぞれから路面までの撮像軸上の距離が所定値Ｌ_０ではない値となった場合、角度算出装置２２が出力する視点変換基準角度に応じて視点変換の度合いを調整する。

なお、視点変換装置２８は、立体物検出装置２６によりレーザレーダ１６ａ〜１６ｄのレーザビームを照射する位置に立体物が存在すると判定された場合には、角度算出装置２２が出力する視点変換基準角度に応じた視点変換の度合いの調整を中止する。立体物の表面を路面と誤認しながら視点変換を実行してしまうことがないようにするためである。

図３は、実施形態に係る透視変換原理を示す図である。図３に示す透視変換では、路面の画像の位置データをカメラ位置Ｒから焦点距離ｆにあるスクリーン平面Ｐに投影するときの透視変換を実行する。カメラ１２ａは、Ｚ軸上の点Ｒ（０、０、Ｈ）に位置し、俯角（見下ろし角）τで路面（ｘｙ座標面）における画像をモニタしているとする。この場合、次式（１）に示すようにして、スクリーン平面Ｐ（撮像画面上）の２次元座標（α，β）を路面上の座標（俯瞰図座標）に変換（逆の透視変換）できる。

つまり、上記式（１）を用いることにより、図４に示すように変換前イメージＩ１を変換後イメージＩ２へと変換でき、投影画像データ（俯瞰画像）を作成できる。

映像合成装置３０は、例えば、特開２００３−９１７２０号公報、特開２００２−１６６８０２号公報、特許第３３００３３４号公報等に記載の手法を用いて、視点変換装置２８によって調整されたカメラ１２ａ〜１２ｄからの４枚の画像を１枚の画像に合成する装置である。

映像出力装置３２は、合成された俯瞰画像をビデオ信号等に変換して出力するための装置である。

ディスプレイ３４は、輝度補正処理を施した俯瞰画像をドライバーに提示するためのものである。一般的には、ディスプレイ３４には、液晶モニタやナビゲーション用モニタを適用することができる。

次に、図５を参照して、本実施形態の画像表示装置１０の動作について説明する。図５は、実施形態に係る画像表示装置１０の動作を示すフローチャートである。

最初に、画像表示装置１０は、画像入力装置１４によりカメラ１２ａ〜１２ｄからシステム内に画像を取り込む（ステップＳ１）。画像表示装置１０は、任意のタイミングで画像を取り込むようにしてもよいが、全てのカメラ１２ａ〜１２ｄの同期を取って取り込むことが望ましく、画像取り込みの速度は、リアルタイムに近いものとするため、３０ｆｐｓ以上であることが望ましい。

また、画像表示装置１０は、レーダ信号入力装置１８によりレーザレーダ１６ａ〜１６ｄからシステム内にレーザレーダ計測信号を取り込む（ステップＳ２）。信号を取り込む速度は、リアルタイムに近いものとするため、３０Ｈｚ以上であることが望ましい。

その後、画像表示装置１０は、入力同期装置２０により、ステップＳ１で取り込んだ画像及びステップＳ２で取り込んだレーザレーダ計測信号を取得するためのトリガーを発生させ、情報取得を行う（ステップＳ３）。

画像表示装置１０は、ステップＳ１及びステップＳ２において並列処理でシステムにデータを取り込むため、情報取得のトリガーをステップＳ１及びステップＳ２の処理とは別に非同期で発生させ、リアルタイムに近いものとするため、３０回／ｓ以上の頻度でデータ取得を行う。

データ取得は、ステップＳ１及びステップＳ２の処理で取り込まれるデータのうち、最新の情報を取得するようにする。画像表示装置１０は、ステップＳ１からステップＳ３までの処理を、カメラ１２ａ〜１２ｄ及びレーザレーダ１６ａ〜１６ｄの全ての組に対して行う。

その後、画像表示装置１０は、視点変換装置２８により、初期セットアップ情報格納部２４に格納された初期セットアップ情報（例えば、俯角τである。）に基づいてステップＳ１で取り込んだ画像の視点変換を行い、その画像を仮想水平面に投影する（ステップＳ４）。

その後、画像表示装置１０は、角度算出装置２２により、ステップＳ３のトリガーで取得したレーザレーダ計測信号を基に、カメラ１２ａ〜１２ｄ及びレーザレーダ１６ａ〜１６ｄのそれぞれの組に対して視点変換基準角度を算出する。

図６〜１０は、角度算出装置２２が視点変換基準角度を算出する方法を示す図であり、カメラの光軸を路面（水平面）に投影した軸をＹ軸とし、そのＹ軸方向に直交する水平軸をＸ軸、ＸＹ平面に直交しカメラの中心点を通る軸をＺ軸として定義する。これを前方に取り付けたカメラ１２ａとレーザレーダ１６ａの組に対して適用すると、図６及び図７に示すとおりの座標系をとることになる。なお、車両の左側、右側及び後側に設置されたカメラ１２ｂ〜１２ｄ及びレーザレーダ１６ｂ〜１６ｄの組についても、座標位置関係は同様とする。

初期セットアップ情報格納部２４に格納しているレーザレーダ距離計測初期情報（路面が水平である場合に、視点変換基準線とＹ軸とが為すＸＹ平面上の角度θ_ＨＡ、視点変換基準線とＺ軸とが為すＹＺ平面上の角度θ_ＶＡ、対象までの距離Ｌ_０）は、図６及び図７に示すように、θ_ＨＡ＝０°、θ_ＶＡ＝１３５°に予め設定されている。

図８は、上り坂の場合におけるレーザレーダ１６ａと路面との間の位置関係を示す図であり、点ｓ_０は、初期セットアップ情報格納部２４に格納されているレーザレーダ１６ａの中心点であり、点ｄ_０は、レーザレーダ１６ａのレーザビームが着地する仮想水平面Ｈ上の点であり、点ｓ_０と点ｄ_０との間の距離は予め設定された値Ｌ_０となっている。

図８のような傾斜に車両が差し掛かった場合、レーザレーダ１６ａは、点ｄ_０ではなく点ｄ_ｒで反射したレーザビームを受信し、点ｓ_０と点ｄ_ｒとの間の距離Ｌを検出する。角度算出手段２２は、距離Ｌの値が所定値Ｌ_０と異なるため、レーザレーダ１６ａをＹ軸上で車両前後方向に走査して距離が所定値Ｌ_０となる点ｃを導き出し、所定の視点変換基準角度θ（例えば、初期セットアップ情報格納部２４に格納された角度θ_ＶＡであり、俯角τであってもよい。）からのズレ角Δθを算出する。ズレ角Δθは、線分ｓ_０・ｄ_０と線分ｓ_０・ｃとの間に形成される角度であり、例えば、上り坂が原点Ｏから勾配Φで延在する場合には、以下の式（２）のようなＬの関数で表わされる。

図９は、下り坂の場合における位置関係を示す図である。この場合、レーザレーダ１６ａの中心点ｓ_０とレーザレーダ１６ａで検出した点ｄ_ｒとの間の距離Ｌは、初期セットアップ情報格納部２４に格納されている所定値Ｌ_０（点ｓ_０と点ｄ_０との間の距離）よりも長い距離となる。角度算出装置２２は、上り坂の場合と同様に、レーザレーダ１６ａをＹ軸上で車両前後方向に走査して距離が所定値Ｌ_０となる点ｃを導き出し、所定の視点変換基準角度θからのズレ角Δθを算出する。ズレ角Δθは、線分ｓ_０・ｄ_０と線分ｓ_０・ｃとの間に形成される角度であり、例えば、下り坂が原点Ｏから勾配Φで始まる場合には、以下の式（３）のようなＬの関数で表わされる。

図１０は、路面上に立体物が存在する場合の位置関係を示す図である。この場合、レーザレーダ１６ａの中心点ｓ_０とレーザレーダ１６ａで検出した点ｄ_ｒとの間の距離Ｌは、初期セットアップ情報格納部２４に格納されている所定値Ｌ_０（点ｓ_０と点ｄ_０との間の距離）よりも短い距離となる。角度算出装置２２は、上り坂や下り坂の場合と同様に、レーザレーダ１６ａをＹ軸上で車両前後方向に走査して距離が所定値Ｌ_０となる点ｃを導き出し、所定の視点変換基準角度θからのズレ角Δθを算出する。ズレ角Δθは、線分ｓ_０・ｄ_０と線分ｓ_０・ｃとの間に形成される角度であり、上り坂や下り坂の場合と比べて大きな値となる。なお、距離Ｌが所定値Ｌ_０となる点が存在せず点ｃを導き出せない場合、角度算出装置２２は、ズレ角Δθを所定の最大値に設定する。

その後、画像表示装置１０は、角度算出装置２２が算出した所定の視点変換基準角度θからのズレ角Δθを取得し、ズレ角Δθがゼロにほぼ等しい場合には（ステップＳ６のＹＥＳ）、路面は水平であるとして視点変換度合いの調整を行うことなくステップＳ９に移行する。

一方、ズレ角Δθがゼロでない場合には（ステップＳ６のＮＯ）、画像表示装置１０は、立体物検出装置２６により、ズレ角Δθの大きさに基づいてカメラ画像内に立体物が存在するか否かを判定する（ステップＳ７）。

図１１は、ズレ角Δθの時間的推移を示す図であり、縦軸にズレ角Δθを配し、横軸に時間ｔを配する。また、図１１は、自車両が上り坂又は下り坂に接近する場合におけるズレ角Δθの推移を破線で示し、自車両が立体物に接近する場合におけるズレ角Δθの推移を実線で示す。

画像表示装置１０は、立体物検出装置２６により、ズレ角Δθの値が閾値ＴＨを超えた場合にはカメラ画像内に立体物が存在すると判定し（ステップＳ７のＹＥＳ）、路面上に立体物が存在するものの路面自体は水平のままであるとして視点変換度合いの調整を行うことなくステップＳ９に移行する。

また、画像表示装置１０は、立体物検出装置２６により、ズレ角Δθの値がゼロではないが閾値ＴＨを超えない場合にはカメラ画像内に立体物が存在しないと判定し（ステップＳ７のＮＯ）、自車両が斜面に接近しているとして角度算出装置２２が算出した所定の視点変換基準角度θに対するズレ角Δθの値に基づいて視点変換度合いを調整する（ステップＳ８）。

その後、画像表示装置１０は、映像合成装置３０により、ステップＳ４において視点変換したカメラ１２ａ〜１２ｄからの４枚の画像、又は、ステップＳ８において視点変換の度合いを調整したカメラ１２ａ〜１２ｄからの４枚の画像を、先行技術にあるような手法を用いて合成する（ステップＳ９）。画像の合成は、例えばαブレンディングを用いて、前後左右の重複領域の合成を実施する。本実施形態では前後画像はα値＝１００％で合成し、左右画像はα値＝０％で合成する。

その後、画像表示装置１０は、映像出力装置３２により、ステップＳ９で合成した画像をビデオ信号等に変換して、ディスプレイ３４に出力する（ステップＳ１０）。

その後、画像表示装置１０は、車両のエンジンが停止されること等により表示処理を終了すべきと判断するまで（ステップＳ１１のＮＯ）、ステップＳ１からステップＳ１０までのステップを繰り返し、表示処理を終了すべきと判断した場合に（ステップＳ１１のＹＥＳ）、処理を終了させる。

このように、実施形態に係る画像表示装置１０は、所定の視点変換基準角度θに対するズレ角Δθに基づいて路面上における立体物の存否を判定し、そのズレ角Δθがゼロでない場合であって、且つ、立体物が存在しないと判定された場合に限り、視点変換に対する調整を実行するので、立体物の表面を路面であると誤認することによる視点変換に対する不要な調整を効率的に排除して適切に視点変換された出力画像をディスプレイ３４上に表示することができる。

以上、本発明の好ましい実施形態について詳説したが、本発明は、上述した実施形態に制限されることはなく、本発明の範囲を逸脱することなしに上述した実施形態に種々の変形及び置換を加えることができる。

例えば、上述の実施形態において、立体物検出装置２６は、所定の視点変換基準角度θからのズレ角Δθの時間的推移に基づいて視点変換の度合いを調整するが、視点変換基準角度自体（所定の視点変換基準角度θにズレ角Δθを加算又は減算した角度）の時間的推移に基づいて視点変換の度合いを調整するようにしてもよく、レーザレーダが検出する距離Ｌの時間的推移に基づいて視点変換の度合いを調整するようにしてもよい。

また、立体物検出装置２６は、視点変換基準角度、ズレ角Δθ、距離Ｌにおける、自車両の移動距離に対する推移に基づいて視点変換の度合いを調整するようにしてもよい。自車両が速度を変更しながら断続的に移動する場合にも対応できるようにするためである。

また、立体物検出装置２６は、路面上に立体物が存在する場合に視点変換の度合いの調整を中止するが、路面に局所的な凹みや溝が存在する場合に視点変換の度合いの調整を中止するようにしてもよい。

実施形態に係る画像表示装置の構成を示すブロック図である。実施形態に係るカメラの配置を示す斜視図である。実施形態に係る透視変換原理を示す図である。実施形態に係る透視変換前後のイメージを示す図である。実施形態に係る画像表示装置の動作を示すフローチャートである。実施形態に係るカメラとレーザレーダの座標系を示す図（その１）である。実施形態に係るカメラとレーザレーダの座標系を示す図（その２）である。上り坂の場合におけるレーザレーダと路面との間の位置関係を示す図である。下り坂の場合におけるレーザレーダと路面との間の位置関係を示す図である。路面上に立体物が存在する場合におけるレーザレーダと路面との間の位置関係を示す図である。視点変換基準角からのズレ角の時間的推移を示す図である。

符号の説明

１０画像表示装置
１１車体
１２a、１２b、１２ｃ、１２ｄカメラ
１４画像入力装置
１６a、１６b、１６ｃ、１６ｄレーザレーダ
１８レーダ信号入力装置
２０入力同期装置
２２角度算出装置
２４初期セットアップ情報格納部
２６立体物検出装置
２８視点変換装置
３０映像合成装置
３２映像出力装置
３４ディスプレイ
Ｐスクリーン平面
Ｉ１変換前イメージ
Ｉ２変換後イメージ

Claims

撮像手段により得られた車両周辺の画像を視点変換して表示する画像表示装置であって、
前記撮像手段と被写体との間の距離を検出する距離検出手段と、
前記撮像手段の撮像軸を含む鉛直平面内にあり前記距離が所定値となる被写体上の点と前記撮像手段とを結ぶ線が鉛直軸に対して形成する角度を算出する角度算出手段と、
前記角度算出手段が算出する角度に基づいて視点変換の度合いを調整する視点変換度調整手段と、
前記角度算出手段が算出する角度の変化に基づいて立体物の存否を判定する立体物存否判定手段と、を備え、
前記視点変換調整手段は、前記立体物存否判定手段により立体物が存在すると判定された場合に調整を中止する、
ことを特徴とする画像表示装置。