JP5669791B2 - 移動体の周辺画像表示装置 - Google Patents

Description

本発明は、車両や船舶などの移動体の周辺画像表示装置に関し、特にカメラによって撮像される周辺画像と移動体そのものとを仮想的な鏡に映した鏡面画像を表示する周辺画像表示装置に関する。

特許文献１には、車両の周囲を複数のカメラによって撮影し、得られる画像に所定の処理を施すことにより俯瞰画像や鏡面画像を生成して表示する車両用画像表示装置が示されている。この装置によれば、車両の走行状態に応じてカメラの視野角の変更、及び表示画像の変更が行われるとともに、左右が反転した鏡面画像についてはそのことを示すための表示、例えば特定の色模様を周辺部に追加することが行われる。

特開２０１１−３００７８号公報

特許文献１に示される装置では、車両の走行状態（車線変更時、後退時、オフロード走行時など）に応じて運転者が必要とする画像の範囲が異なることを考慮したカメラ視野角の変更及び表示画像の変更が行われる。しかし、鏡面画像についてはカメラによって得られる画像を左右反転させて表示させ、かつ鏡面画像であることを示すための表示を行うのみであるため、撮像範囲の変化によって表示画像の縮尺が変化し、表示されている範囲や障害物の大きさを運転者が誤認するおそれがある。

本発明はこの点に着目してなされたものであり、鏡面画像を適切に表示することにより、移動体の周辺状況を移動体利用者がより的確に認識することができる周辺画像表示装置を提供することを目的とする。

上記目的を達成するため請求項１に記載の発明は、移動体（１）の周縁部に離間して配置された複数のカメラ（１１〜１４）と、該複数のカメラから得られる画像の一部または全部を用いて、前記移動体（１）を仮想的に鏡に映した鏡面画像を生成する鏡面画像生成手段と、生成された鏡面画像を表示する表示手段（１７）とを備える、移動体の周辺画像表示装置において、前記鏡面画像生成手段は、前記複数のカメラ（１１〜１４）から得られる画像を平面画像に変換する平面変換手段と、前記複数のカメラ（１１〜１４）から得られる画像を曲率の異なる曲面画像に変換する曲面変換手段とを含み、前記移動体利用者の操作または前記移動体の走行状態に基づいて、前記平面変換手段及び曲面変換手段の少なくとも一方による変換画像を含む鏡面画像を生成することにより、前記鏡面画像の形態を変化させ、前記移動体が所定走行速度より低速で交差点近辺を走行中であるときまたは後退中であるときは、前記曲面画像からなる鏡面画像を生成する一方、前記移動体が前記所定走行速度より低速で前記交差点近辺以外を前進走行しているときは、前記平面画像からなる鏡面画像を生成することを特徴とする。

請求項２に記載の発明は、請求項１に記載の移動体の周辺画像表示装置において、前記鏡面画像の形態は、平面画像の形態と、円柱表面画像の形態とを含み、前記円柱表面画像は、前記平面画像に対して移動体の幅方向の画素数を増加させることにより生成されることを特徴とする。

請求項３に記載の発明は、請求項１または２に記載の移動体の周辺画像表示装置において、前記複数のカメラ（１１〜１４）は魚眼レンズを備えるものであり、前記複数のカメラから得られる画像を用いて前記移動体（１）の俯瞰画像を生成する俯瞰画像生成手段をさらに備え、前記俯瞰画像は、前記移動体（１）の前方または後方の一方から他方に向かう視点からの画像であり、前記鏡面画像は前記移動体の前方側または後方側に仮想的に配置される鏡に映る画像であり、前記表示手段は、前記俯瞰画像と前記鏡面画像を同時に表示することを特徴とする。

請求項１に記載の発明によれば、複数のカメラから得られる画像の一部または全部を用いて、移動体を仮想的に鏡に映した鏡面画像が生成され、生成された鏡面画像が表示される。移動体の利用者の操作または移動体の走行状態に基づいて、鏡面画像の形態が変更されるので、移動体の周辺状況を適切かつ効果的に利用者に知らせることができる。より具体的には、複数のカメラから得られる画像が平面画像及び／または曲率の異なる曲面画像に変換され、移動体利用者の操作または移動体の走行状態に基づいて、平面画像及び／または曲面画像を含む鏡面画像を生成することにより、鏡面画像の形態が変更され、移動体が所定走行速度より低速で交差点近辺を走行中であるときまたは後退中であるときは、曲面画像からなる鏡面画像が生成される一方、移動体が所定走行速度より低速で交差点近辺以外を前進走行しているときは、平面画像からなる鏡面画像が生成される。したがって、交差点近辺を走行中であるときや後退中であるときは、曲面画像によって左右のより広い範囲を表示することがきる一方、交差点近辺以外で前進走行しているときは平面画像によって運転者が距離感をつかみ易くすることが可能となる。

請求項２に記載の発明によれば、鏡面画像の形態は、平面画像の形態と、円柱表面画像の形態とを含み、円柱表面画像は、平面画像に対して移動体の幅方向の画素数を増加させることにより生成される。移動体近くの周辺状況は比較的見やすい平面画像で表示し、移動体から離れた領域の状況をも表示することが適切である場合には円柱表面画像で表示することにより、表示領域を広げることができる。

請求項３に記載の発明によれば、複数の魚眼レンズカメラから得られる画像を用いて移動体の俯瞰画像が生成され、俯瞰画像は、移動体の進行方向前方または後方の一方から他方に向かう視点からの画像であり、鏡面画像は移動体の前方側または後方側に仮想的に配置される鏡に映る画像として生成され、俯瞰画像と鏡面画像が同時に表示される。したがって、移動体利用者は両画像を参照することによって、移動体周辺の全体的状況と、移動体近傍の詳細状況とを適切かつ効果的に認識できる。

本発明の一実施形態にかかる車両の周辺画像表示装置の構成を示すブロック図である。 車両に搭載されるカメラの配置を示す図である。 平面鏡画像の一例を示す図である。 一軸凸面鏡画像の一例を示す図である。 バーチャルミラーの向きを変更した平面鏡画像の一例を示す図である。 一軸凸面鏡画像と平面鏡画像とを組み合わせた複合面鏡画像の一例を示す図である。 平面鏡画像を一軸凸面鏡画像または複合面鏡画像に変換する手法を説明するための図である。 表示する鏡面画像を切り換える処理のフローチャートである。 俯瞰画像を生成するための仮想カメラの配置を示す図である。 俯瞰画像の一例を示す図である。

以下本発明の実施の形態を図面を参照して説明する。
図１は本発明の一実施形態にかかる車両の周辺画像表示装置の構成を示すブロック図である。図１に示す周辺画像表示装置は、車両１の周縁部に離間して配置された４つの魚眼レンズ付きカメラ１１〜１４と、カメラ１１〜１４により撮像される画像信号の信号処理（画像処理）を行う画像処理ユニット１５と、ナビゲーションユニット１６と、画像処理ユニット１５から出力される画像信号に応じた画像を表示する表示部１７と、車両１に搭載された他の制御ユニット（エンジン制御ユニット、変速機制御ユニットなど）との間でデータ伝送を行う通信部１８と、車両１の搭乗者が操作するための操作部１９とを備えている。

カメラ１１〜１４は、図２に示すようにそれぞれ車両１の前部、左右のフェンダーミラーの近傍、及び車両１の後部に配置されている。ナビゲーションユニット１６は、地図データ及びＧＰＳ(Global Positioning System)を備えており、車両１の走行位置及びその周辺の道路情報を画像処理ユニット１５に供給する。

通信部１８は、他の制御ユニットから車両１の走行状態を示す情報（車速、変速機のギヤ位置、ウインカ作動情報など）を取得し、画像処理ユニット１５に供給する。操作部１９は、例えばステアリングの近傍に配置されるステアリングスイッチなどによって構成され、車両１の運転者（搭乗者）による操作情報が画像処理ユニット１５に供給される。

表示部１７は、本実施形態ではナビゲーションユニット１６による地図画面表示及び案内画面表示を行う液晶表示装置によって構成される。

画像処理ユニット１５は、周辺画像合成部３１と、バーチャルミラー形状生成部３２と、画像切取変形合成部３３とを備えており、カメラ１１〜１４によって撮像された画像を合成することによって車両周辺画像を生成して対応する画像信号を出力するとともに、後述するように車両走行状態及び搭乗者の操作に応じた車両周辺画像の鏡面画像に対応する画像信号を出力する。鏡面画像は、例えばルームミラー（バックミラー）に映る画像のように左右が反転した画像であり、本実施形態では車両１（自車両）を示す自車画像と周辺画像とを合成することにより生成される。自車画像は、例えば事前に撮影した自車両の写真画像あるいは事前に作成したイラスト画像が使用される。

周辺画像合成部３１は、４つのカメラ１１〜１４によって得られる画像を合成することによって、車両周辺画像を生成する。本実施形態では、鏡面画像の形態として、平面鏡画像、一軸凸面鏡画像（円柱表面鏡画像）、及びそれらの鏡面画像を合成した複合鏡面画像が使用され、バーチャルミラー形状生成部３２は、車両１の走行状態を示す情報及び運転者による操作情報に応じて、上記異なる形状の鏡面画像に対応するミラー形状の生成を行う。画像切取変形合成部３３は、車両周辺画像の必要な領域を切り取って、ミラー形状に応じた画像変換を行うとともに、自車画像を合成することによって、表示する鏡面画像（以下「表示鏡面画像」という）を生成し、対応する画像信号を出力する。

図３は、平面鏡画像の一例を示す図であり、自車両１がイラスト画像で合成されて示されている。一般の市街路を走行している場合は、通常のルームミラーと同様に表示鏡面画像を平面鏡画像とすることにより、運転者は距離感がつかみ易くなる。

しかし、見通しの悪い交差点やＴ字路に進入するような場合、あるいは自車両を後退させる場合には、死角となる左右のより広い範囲を表示することが有効である。ところが、画像を表示する表示部１７の画面の大きさには限度があるため、死角情報を平面鏡画像として表示することは困難である。

そこで本実施形態では、死角情報を表示することが有効である場合には、図４に示すような一軸凸面鏡画像を表示鏡面画像することとしている。一軸凸面鏡画像は、平面鏡画像を横方向に圧縮した縦長の画像である。図４には自車両１とともに、他車両１０１，１０２が示されており、運転者は死角に存在する他車両を確実に認識することができる。さらに表示鏡面画像の枠形状を、図４に示すように湾曲した形状とすることによって、運転者（搭乗者）は一軸凸面鏡画像が示されていることを容易に認識することができる。その結果、表示範囲について運転者が誤認すること（誤った距離認識を得ること）を防止することができる。

また車線数の多い高速道路等を走行している場合には、通常は車両の正面に正対する方向で平面鏡画像を表示すればよいが、例えば右側への車線変更時（ウィンカ作動信号発生時）には、車両の右側の領域をより広く表示することが望ましい。そのような場合には、図５に示すように平面鏡画像の生成に仮想的に適用するバーチャルミラーの角度を右側に傾けて右側の画像を広く表示する（右強調表示を行う）ことにより、運転者がそのことを直観的に認識しやすくすることができる。

ただし、平面鏡画像による右強調表示を行うと、逆に車両１の左側の死角が大きくなるという問題がある。そのため、図６に示すように、表示鏡面画像の左半分を一軸凸曲面鏡画像とし、右半分を平面鏡画像とした複合面鏡画像によって右強調表示を行うことが望ましい。これにより、車両右側の領域をより広く・大きく表示しながら、車両左側の領域は横方向に圧縮して（縦長に）表示され、左側における死角の拡大も防止することができる。必要に応じて同様の手法により左強調表示を行うことが望ましい。

また、例えば車両の右後方に障害物が存在する場合なども同様にバーチャルミラーを変形させることにより、右側の危険をより強調して運転者（搭乗者）に知らせることができる。

本実施形態では、魚眼レンズを備えるカメラ１１〜１４を使用しているため、平面鏡画像の生成するための画像面座標系の変換を行う必要があり、例えば特開平１１−１８００７号に示されるような公知の変換手法が適用される。

図７は、平面鏡画像２０１の一軸凸面鏡画像２０２への変換手法、及び平面鏡画像２０１の複合面鏡画像２０３への変換手法を説明するための模式図である。実際の画像の画素数は数十万から数百万であるが、図７は説明ために簡略化して示されている。

予め各曲面鏡画像に対応する画素の対応関係を規定した変換パターンを設定しておき、設定された変換パターンにしたがって画像座標系の変換を行う。例えば、平面鏡画像２０１の画素Ａ，Ｂ，Ｃは、それぞれ一軸凸面鏡画像２０２及び複合面鏡画像２０３の画素ａ，ｂ，ｃに対応させるように変換パターンを設定しておく。

一軸凸面鏡画像２０２では、平面鏡画像２０１より広い範囲の表示を行うので、平面鏡画像２０１には含まれない外側の領域の画像についても対応領域の描画を行う。なお、実際の変換を行う際には、画素が一対一に対応しないため、変換対象画素の近傍の複数画素の画像信号値を線形補間などの手法を用いて曲面上の画素の画像信号値を決定する。なお、平面鏡画像と、一軸凸面鏡画像との変換には、例えば特開平３−３８７８９号公報に示される手法が適用可能である。

図８は、自車両１の走行状態に応じた表示鏡面画像の切換を行う処理のフローチャートであり、この処理は図１に示すバーチャルミラー形状生成部３２において所定時間毎に実行される。

ステップＳ１１では、車両１が高速走行中（例えば車速が８０ｋｍ／ｈ以上）であるか否かを判別し、否定（ＮＯ）であるときは、車両１が交差点近辺を走行中であるか否かを判別する（ステップＳ１２）。この答が肯定（ＹＥＳ）であるときは、一軸凸面鏡画像を選択する（ステップＳ１４）。

ステップＳ１２の答が否定（ＮＯ）であるときは、車両１が後退中であるか否かを判別する（ステップＳ１３）。その答が肯定（ＹＥＳ）であるときは、前記ステップＳ１４に進み、一軸凸面鏡画像を選択する。後退中でないときは、平面鏡画像を選択する（ステップＳ１７）。

車両１が高速走行中であるときは、ステップＳ１１からステップＳ１５に進み、右ウインカ信号が出力されているか否かを判別する。その答が肯定（ＹＥＳ）であるときは、複合面鏡画像（右強調表示）を選択する（ステップＳ１９）。ステップＳ１５の答が否定（ＮＯ）であるときは、左ウインカ信号が出力されているか否かを判別する（ステップＳ１６）。その答が肯定（ＹＥＳ）であるときは、複合面鏡画像（左強調表示）を選択する（ステップＳ１８）。ステップＳ１６の答が否定（ＮＯ）であるとき、すなわち高速直進走行を継続しているときは、平面鏡画像を選択する（ステップＳ１７）。

なお、ステップＳ１１における判別は、ナビゲーションユニット１６からの情報に基づいて、車両１が高速道路を走行中であるか否かを判別するようにしてもよい。

図８の処理により、自車両１の走行状態に応じて適切な表示鏡面画像を選択することができる。なお、画像処理ユニット１５は、図８に示す処理による切換だけでなく、搭乗者が操作部１９を介して切換操作を行うことによって表示鏡面画像を切り換えることができるように構成されている。

本実施形態の画像処理ユニット１５は、図９に示すように車両１の後方から前方に向かう視点から撮像する第１仮想カメラ３０１による俯瞰画像と、車両１の前方から後方に向かう視点から撮像する第２仮想カメラ３０２による俯瞰画像とを合成可能に構成されており、搭乗者の操作に応じて俯瞰画像と上述した鏡面画像とを表示部１７の画面上に並列に（同時に）表示する。俯瞰画像の合成には、上記特許文献１に示される手法が適用可能である。

図１０は第２仮想カメラ３０１による俯瞰画像（自車両１の画像を含む）の一例を示している。このような俯瞰画像と、一軸凸面鏡画像あるいは複合面鏡画像とを同時に表示することにより、車両周辺の全体的状況と、車両近傍の詳細状況とを適切かつ効果的に認識することが可能となる。

以上詳述したように本実施形態では、複数のカメラ１１〜１４から得られる画像を用いて、自車両１を仮想的に鏡に映した鏡面画像が生成され、生成された鏡面画像が表示部１７に表示される。さらに車両搭乗者の操作または車両走行状態に基づいて、鏡面画像の形態が変更される。したがって、車両周辺状況を適切かつ効果的に利用者に知らせることができる。

具体的には、カメラ１１〜１４から得られる画像が平面鏡画像及び一軸凸面鏡画像に変換され、車両搭乗者の操作または車両走行状態に基づいて、平面鏡画像、一軸凸面鏡画像、または複合面鏡画像が生成され、表示される。したがって、例えば強調すべき領域を平面鏡画像で表示し、付随的な領域を一軸凸面鏡画像で表示することなどにより、車両搭乗者が周辺状況を適切かつ効果的に認識できる。

また一軸凸面鏡画像は、平面鏡画像に対して車両１の幅方向の画素数を増加させることにより生成される。車両近くの周辺状況は比較的見やすい平面画像で表示し、車両から離れた領域の状況をも表示することが適切である場合には一軸凸面鏡画像で表示することにより、表示領域が広がり、搭乗者がより広い範囲について状況認識を行うことが可能となる。

さらにカメラ１１〜１４から得られる画像を用いて車両１周辺の俯瞰画像が生成される。この俯瞰画像は、車両１の後方から前方に向かう視点に配置された仮想カメラ３０１または前方から後方に向かう視点に配置された仮想カメラ３０２からの画像である。また鏡面画像は車両１の前方側に仮想的に配置される鏡に映る画像として生成され、俯瞰画像と鏡面画像が同時に表示部１７に表示される。したがって、車両搭乗者は両画像を参照することによって、車両周辺の全体的状況と、車両近傍の詳細状況とを適切かつ効果的に認識できる。

本実施形態では、表示部１７が表示手段に相当し、画像処理ユニット１５が鏡面画像生成手段、平面変換手段、曲面変換手段、及び俯瞰画像生成手段を構成する。

なお本発明は上述した実施形態に限るものではなく、種々の変形が可能である。例えば、曲面鏡の面形状としては、上述したような一軸凸曲面に限らず、二軸曲面、自由曲面などを用いてもよい。また上述した実施形態では、仮想的な鏡を車両の前方側に配置した鏡面画像を表示するようにしたが、仮想的な鏡を車両の後方側に配置した鏡面画像を表示するようにしてもよい。

またカメラ１１〜１４は、魚眼レンズではなく通常のカメラ用凸レンズを備えるものであってもよい。また表示部１７はヘッドアップディスプレイによって構成し、車両運転者の前方に画面を表示するようにしてもよい。また上述した実施形態では、移動体が車両である例を示したが、本発明は例えば船舶や航空機についても適用可能である。

１ 車両（自車両）
１１〜１４ カメラ
１５ 画像処理ユニット（鏡面画像生成手段、平面変換手段、曲面変換手段、俯瞰画像生成手段）
１６ ナビゲーションユニット
１７ 表示部（表示手段）

Claims (3)

1. 移動体の周縁部に離間して配置された複数のカメラと、該複数のカメラから得られる画像の一部または全部を用いて、前記移動体を仮想的に鏡に映した鏡面画像を生成する鏡面画像生成手段と、生成された鏡面画像を表示する表示手段とを備える、移動体の周辺画像表示装置において、
   前記鏡面画像生成手段は、前記複数のカメラから得られる画像を平面画像に変換する平面変換手段と、前記複数のカメラから得られる画像を曲率の異なる曲面画像に変換する曲面変換手段とを含み、
   前記移動体利用者の操作または前記移動体の走行状態に基づいて、前記平面変換手段及び曲面変換手段の少なくとも一方による変換画像を含む鏡面画像を生成することにより、前記鏡面画像の形態を変化させ、
   前記移動体が所定走行速度より低速で交差点近辺を走行中であるときまたは後退中であるときは、前記曲面画像からなる鏡面画像を生成する一方、前記移動体が前記所定走行速度より低速で前記交差点近辺以外を前進走行しているときは、前記平面画像からなる鏡面画像を生成することを特徴とする、移動体の周辺画像表示装置。
2. 前記鏡面画像の形態は、平面画像の形態と、円柱表面画像の形態とを含み、前記円柱表面画像は、前記平面画像に対して前記移動体の幅方向の画素数を増加させることにより生成されることを特徴とする請求項１に記載の移動体の周辺画像表示装置。
3. 前記複数のカメラは魚眼レンズを備えるものであり、前記複数のカメラから得られる画像を用いて前記移動体の俯瞰画像を生成する俯瞰画像生成手段をさらに備え、
   前記俯瞰画像は、前記移動体の前方または後方の一方から他方に向かう視点からの画像であり、前記鏡面画像は前記移動体の前方側または後方側に仮想的に配置される鏡に映る画像であり、
   前記表示手段は、前記俯瞰画像と前記鏡面画像を同時に表示することを特徴とする請求項１または２に記載の移動体の周辺画像表示装置。

Images