JP6754993B2

JP6754993B2 - 車載映像表示装置、車載映像表示方法、およびプログラム

Info

Publication number: JP6754993B2
Application number: JP2016189546A
Authority: JP
Inventors: 崇桑原; 金谷　昌宣; 昌宣金谷
Original assignee: Panasonic Intellectual Property Management Co Ltd
Current assignee: Panasonic Intellectual Property Management Co Ltd
Priority date: 2016-09-28
Filing date: 2016-09-28
Publication date: 2020-09-16
Anticipated expiration: 2036-09-28
Also published as: JP2018056755A

Description

本開示は、車載映像表示装置、車載映像表示方法、およびプログラムに関する。

近年、カメラ技術の進歩、コストダウンにより、車載カメラを利用して運転を支援するための様々なシステムが開発されている。車載カメラを活用するシステムの１つとして、自動車などの車両に搭載される電子ミラーシステムがある。電子ミラーシステムは車載カメラと表示装置を備え、従来は光学ミラーが映していた車外の領域の状況を車載カメラが撮像し、車載カメラに接続された表示装置が画像として表示する。

電子ミラーシステムの中には、夜間など、車両の周囲が暗い状況において、バンパーの輪郭など、自車両の輪郭をはっきりとさせることによって、運転者の運転を支援することのできる運転支援システムが提案されている（特許文献１参照）。

特開第２００６−１７３８３５号公報

車両に搭載されるサイドミラーに代えて用いられる電子ミラーシステムの場合、周囲の状況によっては、表示装置を視る乗員が自車両と道路等の境界を認識するのが困難な状況がある。そのような状況において車載カメラが撮像した画像に自車両の領域とその他の領域との境界を表す輪郭画像を重畳しても、輪郭画像の表示色によっては、表示装置を視る乗員が境界を認識することが困難である状況が想定される。

本開示の目的は、表示装置を視る乗員が自車両の領域とその他の領域との境界をより明確かつ容易に認識することができる車載映像表示装置を提供することである。

本開示の一態様に係る車載映像表示装置は、自車両の一部を撮像領域に含む車外撮像部から取得した撮像画像について、前記自車両の形状を示す情報から自車両領域および非自車両領域の境界を特定する境界特定部と、前記自車両領域または前記非自車両領域の色の特徴を抽出する色抽出部と、前記境界を含み前記色の特徴に応じた表示色を有する輪郭画像を生成する輪郭画像生成部と、前記撮像画像に前記輪郭画像を重畳して重畳画像を生成する画像重畳部と、前記撮像画像の前記非自車両領域のうち道路に対応する第１の領域および前記非自車両領域における前記第１の領域以外の領域である第２の領域を検出する道路形状検出部と、を備え、前記境界特定部は、前記自車両領域と前記第１の領域との第１の境界および前記自車両領域と前記第２の領域との第２の境界を特定し、前記色抽出部は、前記第１の領域についての第１の色の特徴と、前記第２の領域についての第２の色の特徴とを個別に抽出し、前記輪郭画像生成部は、前記第１の境界の表示色を、前記第１の色の特徴に応じて決定し、前記第２の境界の表示色を、前記第２の色の特徴に応じて決定する。

本開示の一態様に係る車載映像表示方法は、自車両の一部を撮像領域に含む車外撮像部から取得した撮像画像について、前記自車両の形状を示す情報から自車両領域および非自車両領域の境界を特定するステップと、前記自車両領域または前記非自車両領域の色の特徴を抽出するステップと、前記境界を含み前記色の特徴に応じた表示色を有する輪郭画像を生成するステップと、前記撮像画像に前記輪郭画像を重畳して重畳画像を生成するステップと、前記撮像画像の前記非自車両領域のうち道路に対応する第１の領域および前記非自車両領域における前記第１の領域以外の領域である第２の領域を検出するステップと、前記自車両領域と前記第１の領域との第１の境界および前記自車両領域と前記第２の領域との第２の境界を特定するステップと、前記第１の領域についての第１の色の特徴と、前記第２の領域についての第２の色の特徴とを個別に抽出するステップと、前記第１の境界の表示色を、前記第１の色の特徴に応じて決定し、前記第２の境界の表示色を、前記第２の色の特徴に応じて決定するするステップと、を備える。

本開示の一態様に係るプログラムは、車外撮像部からの撮像画像を表示部に表示させる車載映像表示装置のコンピュータを、自車両の一部を撮像領域に含む車外撮像部から取得した撮像画像について、前記自車両の形状を示す情報から自車両領域および非自車両領域の境界を特定する境界特定部、前記自車両領域または前記非自車両領域の色の特徴を抽出する色抽出部、前記境界を含み前記色の特徴に応じた表示色を有する輪郭画像を生成する輪郭画像生成部、前記撮像画像に前記輪郭画像を重畳して重畳画像を生成する画像重畳部、および、前記撮像画像の前記非自車両領域のうち道路に対応する第１の領域および前記非自車両領域における前記第１の領域以外の領域である第２の領域を検出する道路形状検出部、として機能させる、プログラムであって、前記境界特定部は、前記自車両領域と前記第１の領域との第１の境界および前記自車両領域と前記第２の領域との第２の境界を特定し、前記色抽出部は、前記第１の領域についての第１の色の特徴と、前記第２の領域についての第２の色の特徴とを個別に抽出し、前記輪郭画像生成部は、前記第１の境界の表示色を、前記第１の色の特徴に応じて決定し、前記第２の境界の表示色を、前記第２の色の特徴に応じて決定する。

本開示によれば、表示装置を視る乗員が自車両の領域とその他の領域との境界をより明確かつ容易に視認することができる車載映像表示装置を提供することができる。

第１の実施の形態に係る車載映像表示装置の構成図である。第１の実施の形態に係る車載映像表示装置の動作フローチャートの一例である。自車両の一部を含む撮像画像の一例を示す図である。自車両領域の色のＲＧＢ成分値の平均値ヒストグラムの一例である。輪郭画像の表示色のＲＧＢ成分値ヒストグラムの一例である。輪郭画像の一例を示す図である。重畳画像の一例を示す図である。第２の実施の形態に係る重畳画像の一例を示す図である。第３の実施の形態に係る車載映像表示装置の構成図である。第３の実施の形態に係る重畳画像の一例を示す図である。第４の実施の形態に係る車載映像表示装置の構成図である。第５の実施の形態に係る車載映像表示装置の構成図である。第５の実施の形態に係る車載映像表示装置の自車両形状抽出部の動作フローチャートである。コンピュータのハードウェア構成の一例を示す図である。

以下、本開示の実施の形態について、図面を参照して詳細に説明する。

（第１の実施の形態）
図１は、第１の実施の形態に係る車載映像表示装置１００の構成図である。車載映像表示装置１００は、車外撮像部１１０と、制御部１２０と、記憶部１２２と、境界特定部１２３と、表示部１３０とを備える。

車外撮像部１１０は、自車両の一部を含む画像を撮像し、撮像画像を出力する。一例において、車外撮像部１１０は自車両に対して固定されている。例えば、車外撮像部１１０は、自車両の右側面または左側面上に固定されたサイドカメラである。

制御部１２０は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等を備える。ＣＰＵは、例えばＲＯＭから処理内容に応じたプログラムを読み出してＲＡＭに展開し、展開したプログラムと協働して、車載映像表示装置１００の各ブロックの動作を集中制御する。制御部１２０は、境界特定部１２３、色抽出部１２４、輪郭画像生成部１２５、および画像重畳部１２６として機能する。

記憶部１２２は、自車両のうち、車外撮像部１１０の撮像領域の中に含まれる部分の形状を示す情報を、例えば２次元画像情報として記憶する。一例において、記憶部１２２は、不揮発性メモリである。

境界特定部１２３は、自車両の形状を示す情報から車外撮像部１１０の撮像画像の中の自車両領域および非自車両領域の境界を特定する。ここで、自車両領域とは、撮像画像の中の自車両が映っている領域をいい、非自車両領域とは、撮像画像の中の自車両領域以外の領域をいう。一例において、境界特定部１２３は、自車両の形状を示す情報を記憶部１２２から読み出す。色抽出部１２４は、車外撮像部１１０の撮像画像の中の自車両領域または非自車両領域の色の特徴を抽出する。

輪郭画像生成部１２５は、境界特定部１２３が特定した自車両領域および非自車両領域の境界を含み、色抽出部１２４が抽出した色の特徴に基づき輪郭画像を生成する。ここで、輪郭画像生成部１２５は、輪郭画像の表示色を、色抽出部１２４が抽出した色の特徴に応じて決定する。一例において、色抽出部１２４が抽出した色の反転色が、輪郭画像の表示色として決定される。また、一例において、色抽出部１２４が抽出した色が無彩色である場合、赤色等の目立つ色が輪郭画像の表示色として決定される。輪郭画像の表示色を反転色や目立つ色にすることにより、重畳画像を視る乗員が、自車両の領域とその他の領域との境界を明確かつ容易に認識することができるようになり、自車両と他車両等との位置関係をより容易に把握することができる。

画像重畳部１２６は、車外撮像部１１０が出力した撮像画像に、輪郭画像生成部１２５が生成した輪郭画像を重畳して、重畳画像を生成する。

表示部１３０は、重畳画像を乗員に対して表示する。例えば、表示部１３０は、光学ミラーに代えて自車両に搭載される電子ミラーである。

以下、第１の実施の形態に係る車載映像表示装置１００の動作を、フローチャートに従って説明する。図２は、第１の実施の形態に係る車載映像表示装置１００の動作フローチャートの一例である。この処理は、例えば自車両のエンジンが起動されることに伴い、車載映像表示装置１００のCPUがROMに格納されているプログラムを読みだして実行することにより実現される。

まず、ステップＳ１０１において、制御部１２０は、自車両の一部を含む撮像画像を入力する。

図３は、自車両の一部を含む撮像画像の一例を示す図である。図３に示される撮像画像は、自車両の後方を撮像した撮像画像であり、自車両領域３００と非自車両領域２００とを含む。例えば、自車両領域３００は、ピラー部分３１０と、窓部分３２０と、窓枠部分３３０と、車体部分３４０とからなる。

次いで、ステップＳ１０２において、制御部１２０は、撮像画像の自車両領域の色を取得し、ステップＳ１０３において、撮像画像の自車両領域のＲＧＢ成分値の平均値Ｒ_ａｖｅ１，Ｇ_ａｖｅ１，Ｂ_ａｖｅ１を、自車両領域の色の特徴として抽出する。

図４Ａは、自車両領域の色のＲＧＢ成分値の平均値ヒストグラムの一例である。色抽出部１２４は、撮像画像の中の自車両領域に属する画素の画素値を、例えばＲ成分、Ｇ成分、Ｂ成分毎に総和して、撮像画像の中の自車両領域に属する画素の画素数で割ることにより、自車両領域の色のＲＧＢ成分値の平均値ヒストグラムを取得することができる。図４Ａに示される例においては、自車両領域の色のＲＧＢ成分値の平均値は、それぞれＲ_ａｖｅ１，Ｇ_ａｖｅ１，Ｂ_ａｖｅ１である。

次いで、ステップＳ１０４において、制御部１２０は、ＲＧＢ成分値の比率αおよびβを計算する。αを自車両領域の色のＲＧＢ成分値の平均値Ｒ_ａｖｅ１，Ｇ_ａｖｅ１，Ｂ_ａｖｅ１のうち最大値に対する２番目に大きい値の比率とし、βをＲ_ａｖｅ１，Ｇ_ａｖｅ１，Ｂ_ａｖｅ１のうち２番目に大きい値に対する最小値の比率とする。比率αおよびβは、平均値Ｒ_ａｖｅ１，Ｇ_ａｖｅ１，Ｂ_ａｖｅ１を大きい順にＸ１，Ｘ２，Ｘ３として、次の（式１）を用いて計算することができる。

α＝Ｘ２／Ｘ１、β＝Ｘ３／Ｘ２…（式１）

（式１）から明らかであるように、比率αおよびβはそれぞれ０以上１以下の数となる。

次いで、ステップＳ１０５において、制御部１２０は、抽出した色が無彩色であるか否かを判定する。一例において、比率αおよびβが所定の比率より大きい場合、輪郭画像生成部１２５は、抽出した色が無彩色であると判定し、比率αおよびβのいずれかが所定の比率より小さい場合、制御部１２０は、自車両領域の色が無彩色でないと判定する。

無彩色であると判定した場合（ステップＳ１０５：ＹＥＳ）、ステップＳ１０６において、制御部１２０は、輪郭画像の表示色を所定の色とし（ステップＳ１０６）、ステップＳ１０８に進む。

一例において、ステップＳ１０６において、制御部１２０は、赤色等の目立つ所定の色を輪郭画像の表示色として決定する。ここで、所定の比率は、０より大きくかつ１より小さい任意の値であり、例えば０．９である。例えば、自車両の色が白色の場合、輪郭画像の表示色は赤色となる可能性が高い。

一方、無彩色でないと判定した場合（ステップＳ１０５：ＮＯ）、ステップＳ１０７において、制御部１２０は、反転色を輪郭画像の表示色として決定し、ステップＳ１０８に進む。一例において、ステップＳ１０７において、輪郭画像生成部１２５は、ＲＧＢ成分値の平均値Ｘ１，Ｘ２，Ｘ３に対応する輪郭画像の表示色のＲＧＢ成分値Ｙ１，Ｙ２，Ｙ３を、Ｙ１＝α×β×Ｃ，Ｙ２＝β×Ｃ，Ｙ３＝Ｃと計算する。ここで、Ｃは、予め定められた任意の値であり、例えば、ＲＧＢ成分値がとりうる値の最大値に等しく、ＲＧＢ成分値がそれぞれ８ビットで表される場合、Ｃ＝２５５である。これに代えて、例えばＣ＝２５０またはＣ＝２００でもよい。

図４Ａに示される例においては、Ｇ_ａｖｅ１＝α×Ｒ_ａｖｅ１であり、Ｂ_ａｖｅ１＝β×Ｇ_ａｖｅ１であり、α＜０．９およびβ＜０．９が成立する。この場合、自車両領域の色の反転色が輪郭画像の表示色として決定される。

図４Ｂは、輪郭画像の表示色のＲＧＢ成分値の一例である。図４Ａに示される自車両領域の色のＲＧＢ成分値の平均値Ｒ_ａｖｅ１，Ｇ_ａｖｅ１，Ｂ_ａｖｅ１の間にＲ_ａｖｅ１＞Ｇ_ａｖｅ１＞Ｂ_ａｖｅ１の関係が成立しているのに対し、図４Ｂに示される輪郭画像のＲＧＢ成分値Ｒ_ｏｕｔ，Ｇ_ｏｕｔ，Ｂ_ｏｕｔの間にＲ_ｏｕｔ＜Ｇ_ｏｕｔ＜Ｂ_ｏｕｔの関係が成立しており、ＲＧＢ成分値の大きさの関係が逆転している。これは、自車両領域の色の反転色が輪郭画像の表示色として決定されたためである。

次いで、ステップＳ１０８において、制御部１２０は、輪郭画像を生成する。

図５は、輪郭画像の一例を示す図である。輪郭画像は、撮像領域に含まれる境界の少なくとも一部を含み、自車両領域と非自車両領域との境界を、乗員が明瞭に認識できる限りにおいて特にその画像に制限はない。例えば図５に示されるように、輪郭画像は、ピラー部分と非自車両領域との境界３１２と車体部分と非自車両領域との境界３４２を含む。また、例えば図５に示されるように、輪郭画像は、さらに窓枠部分３３２を境界と同様に強調表示する画像を含んでもよい。さらに、輪郭画像は、自車両領域をハッチングした画像または半透明色で塗りつぶした半透過型画像をさらに含んでもよい。

次いで、ステップＳ１０９において、制御部１２０は、撮像画像に輪郭画像を重畳する。

図６は、重畳画像の一例を示す図である。図６に示される重畳画像においては、車両の後方を撮像した撮像画像に、車体部分およびピラー部分と非自車両領域との境界３５０と、窓枠部分３３４とを含む輪郭画像が重畳されている。前述したように、色抽出部１２４が抽出した自車両領域または非自車両領域の色の特徴に応じて、輪郭画像の表示色が決定されている。

このように、第１の実施の形態に係る車載映像表示装置１００は、自車両の一部を撮像領域に含む車外撮像部１１０から取得した撮像画像について、自車両の形状を示す情報から特定される自車両領域および非自車両領域の境界を特定する境界特定部１２３と、自車両領域の色の特徴を抽出する色抽出部１２４と、境界を含み、色の特徴に応じた表示色を有する輪郭画像を生成する輪郭画像生成部１２５と、撮像画像に輪郭画像を重畳して重畳画像を生成する画像重畳部１２６と、を備える構成を採る。

第１の実施の形態に係る車載映像表示装置１００によれば、乗員は、車両の後方を撮像した画像をそのまま視ることに代えて重畳画像を視ることにより、自車両領域および非自車両領域の境界を明確かつ容易に認識することができるようになり、自車両と他車両等との位置関係をより容易に把握することができる。

（第２の実施の形態）
図７は、第２の実施の形態に係る重畳画像の一例を示す図である。第１の実施の形態においては、色抽出部１２４は、自車両領域４００の色を抽出するのに対し、第２の実施の形態においては、色抽出部１２４は、非自車両領域５００の色を抽出する点において、第２の実施の形態は、第１の実施の形態と異なる。

このように、第２の実施の形態に係る車載映像表示装置１００は、自車両の一部を撮像領域に含む車外撮像部１１０から取得した撮像画像について、自車両の形状を示す情報から特定される自車両領域および非自車両領域の境界を特定する境界特定部１２３と、非自車両領域の色の特徴を抽出する色抽出部１２４と、境界を含み、色の特徴に応じた表示色を有する輪郭画像を生成する輪郭画像生成部１２５と、撮像画像に輪郭画像を重畳して重畳画像を生成する画像重畳部１２６と、を備える構成を採る。この場合、自車両領域４００と非自車両領域５００との境界５０２の表示色は、例えば、非自車両領域５００の色の反転色となる。

第２の実施の形態に係る車載映像表示装置１００によれば、自車両がトンネルに入る、他車両が接近する等の走行環境の変化が応じた場合であっても、乗員は、自車両領域および非自車両領域の境界を明確かつ容易に認識することができるようになる。

（第３の実施の形態）
図８は、第３の実施の形態に係る車載映像表示装置６００の構成図である。車載映像表示装置６００は、車外撮像部１１０と、記憶部１２２と、制御部６２０と、表示部１３０とを備える。このうち、車外撮像部１１０と、記憶部１２２と、表示部１３０とは、第１の実施の形態に係る車載映像表示装置１００が備えるものと同じであるので、ここでは説明を省略する。

制御部６２０は、道路形状検出部６２２と、境界特定部６２３と、色抽出部６２４と、輪郭画像生成部６２５と、画像重畳部６２６として機能する。

道路形状検出部６２２は、撮像画像の非自車両領域のうち道路に対応する第１の領域と非自車両領域のうち第１の領域を除いた領域である第２の領域とを検出する。道路に対応する領域の検出は、例えば撮像画像から段差や白線を検出し、検出された段差や白線に基づいて道路に対応する領域を検出する等、公知の画像処理手段により行うことができる。

境界特定部６２３は、撮像画像の中の自車両領域と道路形状検出部６２２が検出した第１の領域との第１の境界を特定し、さらに、撮像画像の中の自車両領域と道路形状検出部６２２が検出した第２の領域との第２の境界を特定する。

色抽出部６２４は、道路形状検出部６２２が検出した第１の領域についての第１の色の特徴と、道路形状検出部６２２が検出した第２の領域についての第２の色の特徴とを個別に抽出する。個別に抽出された第１の色の特徴および第２の色の特徴は、一般的に異なる。

輪郭画像生成部６２５は、境界特定部６２３が特定した第１の境界の表示色を、色抽出部６２４が抽出した第１の色の特徴に応じて決定し、境界特定部６２３が特定した第２の境界の表示色を、色抽出部６２４が抽出した第２の色の特徴に応じて決定する。輪郭画像生成部６２５は、決定された表示色に基づき輪郭画像を生成する。

画像重畳部６２６は、車外撮像部１１０が出力した撮像画像に、輪郭画像生成部６２５が生成した輪郭画像を重畳して、重畳画像を生成する。

図９は、第３の実施の形態に係る重畳画像の一例を示す図である。道路形状検出部６２２は、撮像画像の中の非自車両領域５００のうち道路に対応する第１の領域５１０と、非自車両領域５００のうち第１の領域５１０を除いた領域である第２の領域５２０とを検出する。

境界特定部６２３は、自車両領域４００と第１の領域５１０との第１の境界５１２および自車両領域５００と第２の領域５２０との第２の境界５２２を特定する。色抽出部６２４は、第１の領域５１０についての第１の色の特徴と、第２の領域５２０についての第２の色の特徴とを個別に抽出する。次いで、輪郭画像生成部６２５は、第１の境界５１２および第２の境界５２２を含み、第１の色の特徴および第２の色の特徴に応じた表示色を有する輪郭画像を生成する。

ここで、第１の境界５１２の表示色は、第１の領域５１０について個別に抽出された第１の色の特徴に応じて決定され、第２の境界５２２の表示色は、第２の領域５２０について個別に抽出された第２の色の特徴に応じて決定される。その結果、図９に示されるように、第１の領域５１０および第２の領域５２０のそれぞれと自車両領域４００との境界が異なる表示色で表示される。

このように、第３の実施の形態に係る車載映像表示装置６００は、撮像画像の非自車両領域５００のうち道路に対応する第１の領域５１０および非自車両領域５００における第１の領域５００以外の領域である第２の領域５２０を検出する道路形状検出部６２２をさらに備え、境界特定部６２３は、自車両領域４００と第１の領域５１０との第１の境界５１２および自車両領域４００と第２の領域５２０との第２の境界５２２を特定し、色抽出部６２４は、第１の領域５１０についての第１の色の特徴と第２の領域５２０についての第２の色の特徴とを個別に抽出し、輪郭画像生成部６２５は、第１の境界５１２の表示色を、第１の色の特徴に応じて決定し、第２の境界６２２の表示色を、第２の色の特徴に応じて決定する。

第３の実施の形態に係る車載映像表示装置６００によれば、第１の領域５１０と第２の領域５２０とが互いに反転色に近い関係にある場合であっても、乗員は、自車両領域および非自車両領域の境界を明確かつ容易に認識することができるようになる。

（第４の実施の形態）
図１０は、第４の実施の形態に係る車載映像表示装置７００の構成図である。車載映像表示装置７００は、車外撮像部１１０と、記憶部１２２と、車内撮像部１４０と、制御部７２０と、表示部１３０とを備える。このうち、車外撮像部１１０、記憶部１２２、および表示部１３０とは、第１の実施の形態に係る車載映像表示装置１００が備えるものと同じであるので、ここでは説明を省略する。

車内撮像部１４０は、車内に設けられ、運転手を撮像する。車内撮像部１４０は、例えば、運転手の状態を監視する監視カメラである。

制御部７２０は、視線検出部７２２と、境界特定部７２３と、色抽出部７２４と、輪郭画像生成部７２５と、画像重畳部７２６とを備える。

視線検出部７２２は、車内撮像部１４０が撮像した運転手の画像を解析して、運転手の視線方向を検出する。人物の画像を解析して、当該人物の視線方向を検出する手段については公知のものを用いてよく、ここでは説明を省略する。

境界特定部７２３は、自車両の形状を示す情報から撮像画像の中の自車両領域および非自車両領域の境界を特定する。色抽出部７２４は、撮像画像の中の自車両領域または非自車両領域の色の特徴を抽出する。

輪郭画像生成部７２５は、自車両の形状および色抽出部７２４が抽出した色の特徴に基づき輪郭画像を生成する。ここで、輪郭画像の表示色は、色抽出部７２４が抽出した色の特徴に応じて決定される。

さらに、輪郭画像生成部７２５は、視線検出部７２２が検出した視線方向に基づき、輪郭画像の表示色を変更する。例えば、運転手の視線方向が表示部１３０の方向を向いていることが検出された場合、輪郭画像生成部７２５は、輪郭画像の表示色をより明るい色に変更し、そうでない場合、輪郭画像の表示色をより暗い色に変更する。画像重畳部７２６は、車外撮像部１１０が出力した撮像画像に、輪郭画像生成部７２５が生成した輪郭画像を重畳して、重畳画像を生成する。

このように、第４の実施の形態に係る車載映像表示装置７００は、車内を撮像する車内撮像部１４０が出力した運転手の画像を解析して運転手の視線方向を検出する視線検出部７２２をさらに備え、輪郭画像生成部７２５は、視線方向に基づいて表示色を変更する。

第４の実施の形態に係る車載映像表示装置７００によれば、表示部１３０の消費電力を低減させながらも、表示部１３０を視る乗員が、自車両領域および非自車両領域を明確かつ容易に認識することができるようになる。また、運転手の視線方向が表示部１３０の方向を向いていない場合に輪郭画像の表示色を暗い色にすることにより、運転手にとっての煩わしさを少なくする効果がある。運転手が運転中にサイドミラーを注視していなくても、サイドミラーは運転手の視界の中にある。よって、輪郭画像が常に明るいと、運転手の視界に入り、サイドミラーを注視する必要がない場面でも、運転手の注意がサイドミラーに向いてしまう。そこで、運転手の視線方向が表示部１３０の方向を向いていない場合に、輪郭画像の表示色を暗い色にする構成により、運転手がサイドミラーを注視する必要のない場面でサイドミラーを注視してしまうのを防ぐことができる。

（第５の実施の形態）
図１１は、第５の実施の形態に係る車載映像表示装置８００の構成図である。車載映像表示装置８００は、車外撮像部１１０と、記憶部１２２と、制御部８２０と、表示部１３０とを備える。このうち、車外撮像部１１０と、記憶部１２２と、表示部１３０とは、第１の実施の形態に係る車載映像表示装置１００が備えるものと同じであるので、ここでは説明を省略する。

制御部８２０は、自車両形状抽出部８２２、境界特定部８２３、色抽出部８２４、輪郭画像生成部８２５、および画像重畳部８２６として機能する。

自車両形状抽出部８２２は、車外撮像部１１０が出力した撮像画像からエッジ部分を検出し、検出されたエッジ部分に基づき、自車両のうち、撮像領域の中に含まれる部分の形状を抽出する。撮像領域の中に含まれる部分は、例えば、ピラー部分、窓部分、窓枠部分、車体部分である。エッジ部分の検出は、Ｐｒｅｗｉｔｔ演算子やＳｏｂｅｌ演算子を用いる画像処理等の公知の方法に用いて行うことができるので、ここでは説明を省略する。一例において、自車両形状抽出部８２２が抽出した形状を示す情報を、記憶部１２２が記憶する。

境界特定部８２３は、自車両形状抽出部８２２が抽出した形状から、撮像画像の中の自車両領域および非自車両領域の境界を特定する。一例において、境界特定部８２３は、形状を示す情報を、記憶部１２２から読み出す。色抽出部８２４は、撮像画像の中の自車両領域または非自車両領域の色の特徴を抽出する。

輪郭画像生成部８２５は、自車両形状抽出部８２２が抽出した形状および色抽出部８２４が抽出した色の特徴に基づき輪郭画像を生成する。ここで、輪郭画像の表示色は、色抽出部８２４が抽出した色の特徴に応じて決定される。

画像重畳部８２６は、車外撮像部１１０が出力した撮像画像に、輪郭画像生成部８２５が生成した輪郭画像を重畳して、重畳画像を生成する。

このように、第５の実施の形態に係る車載映像表示装置８００は、車外撮像部１１０が出力した撮像画像からエッジ部分を検出し、エッジ部分に基づいて自車両の形状を抽出する自車両形状抽出部８２２をさらに備え、境界特定部８２３は、自車両形状抽出部８２２が抽出した形状に基づいて、境界を特定する。

第５の実施の形態に係る車載映像表示装置８００によれば、車載映像表示装置８００が自車両に後付けされた場合であっても、車載映像表示装置８００は、自車両領域と非自車両領域との境界を表示部１３０に表示することができる。したがって、車載映像表示装置８００を自車両の純正品として自車両に搭載された状態で販売するのみならず、それ自体を単独で市販することもできる。

図１２は、第５の実施の形態に係る車載映像表示装置８００の自車両形状抽出部８２２の動作フローチャートである。

まず、ステップＳ２０１において、制御部８２０は、車外撮像部１１０が出力した撮像画像からエッジ部分を検出する。次いで、ステップＳ２０２において、制御部８２０は、自車両の形状を抽出可能である否かを判定する。抽出可能である場合（ステップＳ２０２：ＹＥＳ）、ステップＳ２０３において、制御部８２０は、抽出した自車両の輪郭形状を記憶部１２２に格納し、フローを終了する。抽出可能でない場合（ステップＳ２０２：ＮＯ）、ステップＳ２０１に戻る。

自車両形状抽出部８２２が自車両の形状を抽出する周期については、例えば、エンジンを起動する毎、所定の期間（１ヶ月、３ヶ月）毎等に行うことにより、経年変化による車外撮像部１１０の位置ずれに対処することができる。

図１３は、コンピュータ２１００のハードウェア構成の一例を示す図である。上述した各実施の形態および各変形例における各部の機能は、コンピュータ２１００が実行するプログラムにより実現される。

図１３に示すように、コンピュータ２１００は、入力ボタン、タッチパッドなどの入力装置２１０１、ディスプレイ、スピーカなどの出力装置２１０２、ＣＰＵ（Central Processing Unit）２１０３、ＲＯＭ（Read Only Memory）２１０４、ＲＡＭ（Random Access Memory）２１０５を備える。また、コンピュータ２１００は、ハードディスク装置、ＳＳＤ（Solid State Drive）などの記憶装置２１０６、ＤＶＤ−ＲＯＭ（Digital Versatile Disk Read Only Memory）、ＵＳＢ（Universal Serial Bus）メモリなどの記録媒体から情報を読み取る読取装置２１０７、ネットワークを介して通信を行う送受信装置２１０８を備える。上述した各部は、バス２１０９により接続される。

そして、読取装置２１０７は、上記各部の機能を実現するためのプログラムを記録した記録媒体からそのプログラムを読み取り、記憶装置２１０６に記憶させる。あるいは、送受信装置２１０８が、ネットワークに接続されたサーバ装置と通信を行い、サーバ装置からダウンロードした上記各部の機能を実現するためのプログラムを記憶装置２１０６に記憶させる。

そして、ＣＰＵ２１０３が、記憶装置２１０６に記憶されたプログラムをＲＡＭ２１０５にコピーし、そのプログラムに含まれる命令をＲＡＭ２１０５から順次読み出して実行することにより、上記各部の機能が実現される。また、プログラムを実行する際、ＲＡＭ２１０５または記憶装置２１０６には、各実施の形態で述べた各種処理で得られた情報が記憶され、適宜利用される。

（その他の実施の形態）
一例において、輪郭画像生成部１２５は、車外撮像部１１０が出力した撮像画像に応じて、生成した輪郭画像の表示色の輝度を調整する。例えば、車外撮像部１１０が出力した撮像画像の平均画像レベル（ＡＰＬ）が増加した場合、輪郭画像生成部１２５は、生成した輪郭画像の表示色の輝度を上げる。こうすると、例えば後方車両からのハイビームを受けた場合であっても、表示部１３０を視る乗員は、自車両領域および非自車両領域の境界を明確かつ容易に認識することができるようになる。

一例において、輪郭画像生成部１２５は、輪郭画像に含まれる境界に対応する部分について、境界の輪郭幅方向にグラデーションをかける。この場合、グラデーションは、重畳画像内の自車両領域から非自車両領域に向かって輝度が高くなってもよい。こうすると、表示部１３０を視る乗員は、表示部１３０に自車両の形状を表すラインが単色で表示されている場合と比較して、自車両領域および非自車両領域の境界をより明確かつ容易に認識することができるようになる。

第５の実施の形態において、記憶部１２２は、自車両形状抽出部８２２が抽出した形状を示す情報を記憶し、境界特定部８２３は、記憶部１２２に記憶された形状を示す情報を読み出す。これに代えて、境界特定部８２３は、自車両形状抽出部８２２が抽出した形状を直接取得してもよい。

本開示に係る車載映像表示装置は、サイドミラーに代えて車両に搭載され、サイドミラーとして使用されるのに好適である。

１００車載映像表示装置
１１０車外撮像部
１２０制御部
１２２記憶部
１２３境界特定部
１２４色抽出部
１２５輪郭画像生成部
１２６画像重畳部
１３０表示部
１４０車内撮像部
２００非自車両領域
３００自車両領域
３１０ピラー部分
３１２境界
３２０窓部分
３３０，３３２，３３４窓枠部分
３４０車体部分
３４２境界
３５０境界
４００自車両領域
５００非自車両領域
５０２境界
５１０第１の領域
５１２第１の境界
５２０第２の領域
５２２第２の境界

Claims

自車両の一部を撮像領域に含む車外撮像部から取得した撮像画像について、前記自車両の形状を示す情報から自車両領域および非自車両領域の境界を特定する境界特定部と、
前記自車両領域または前記非自車両領域の色の特徴を抽出する色抽出部と、
前記境界を含み前記色の特徴に応じた表示色を有する輪郭画像を生成する輪郭画像生成部と、
前記撮像画像に前記輪郭画像を重畳して重畳画像を生成する画像重畳部と、
前記撮像画像の前記非自車両領域のうち道路に対応する第１の領域および前記非自車両領域における前記第１の領域以外の領域である第２の領域を検出する道路形状検出部と、
を備え、
前記境界特定部は、前記自車両領域と前記第１の領域との第１の境界および前記自車両領域と前記第２の領域との第２の境界を特定し、
前記色抽出部は、前記第１の領域についての第１の色の特徴と、前記第２の領域についての第２の色の特徴とを個別に抽出し、
前記輪郭画像生成部は、前記第１の境界の表示色を、前記第１の色の特徴に応じて決定し、前記第２の境界の表示色を、前記第２の色の特徴に応じて決定する、車載映像表示装置。
前記色抽出部は、前記自車両領域または前記非自車両領域のＲＧＢ成分値の平均値を、前記自車両領域または前記非自車両領域の色の特徴として抽出し、
前記輪郭画像生成部は、前記自車両領域または前記非自車両領域の色が無彩色でないと判定した場合、前記自車両領域または前記非自車両領域の色の反転色を、前記輪郭画像の表示色として決定する、請求項１に記載の車載映像表示装置。
前記色抽出部は、前記自車両領域または前記非自車両領域のＲＧＢ成分値の平均値を、前記自車両領域または前記非自車両領域の色の特徴として抽出し、
前記輪郭画像生成部は、前記自車両領域または前記非自車両領域の色が無彩色であると判定した場合、前記輪郭画像の表示色を赤に決定する、請求項１に記載の車載映像表示装置。
前記輪郭画像生成部は、前記輪郭画像に含まれる境界に対応する部分について、輪郭幅方向にグラデーションをかける、請求項２または３に記載の車載映像表示装置。
前記輪郭画像生成部は、前記グラデーションにおいて、前記輪郭画像の前記自車両領域から非自車両領域に向かって輝度を高くする、請求項４に記載の車載映像表示装置。
車内を撮像する車内撮像部が出力した運転手の画像を解析して運転手の視線方向を検出する視線検出部をさらに備え、
前記輪郭画像生成部は、前記視線方向に基づいて前記表示色を変更する、請求項２から５のいずれか一項に記載の車載映像表示装置。
前記車外撮像部が出力した撮像画像からエッジ部分を検出し、前記エッジ部分に基づいて前記自車両の形状を抽出する自車両形状抽出部をさらに備え、
前記境界特定部は、前記自車両形状抽出部が抽出した前記形状に基づいて前記境界を特定する、請求項２から６のいずれか一項に記載の車載映像表示装置。
前記輪郭画像生成部は、前記撮像画像の平均画像レベルに応じて前記輪郭画像の表示色の輝度を調整する、請求項２から７のいずれか一項に記載の車載映像表示装置。
自車両の一部を撮像領域に含む車外撮像部から取得した撮像画像について、前記自車両の形状を示す情報から自車両領域および非自車両領域の境界を特定するステップと、
前記自車両領域または前記非自車両領域の色の特徴を抽出するステップと、
前記境界を含み前記色の特徴に応じた表示色を有する輪郭画像を生成するステップと、
前記撮像画像に前記輪郭画像を重畳して重畳画像を生成するステップと、
前記撮像画像の前記非自車両領域のうち道路に対応する第１の領域および前記非自車両領域における前記第１の領域以外の領域である第２の領域を検出するステップと、
前記自車両領域と前記第１の領域との第１の境界および前記自車両領域と前記第２の領域との第２の境界を特定するステップと、
前記第１の領域についての第１の色の特徴と、前記第２の領域についての第２の色の特徴とを個別に抽出するステップと、
前記第１の境界の表示色を、前記第１の色の特徴に応じて決定し、前記第２の境界の表示色を、前記第２の色の特徴に応じて決定するするステップと、を備える、車載映像表示方法。
前記輪郭画像を生成するステップにおいて、前記自車両領域または前記非自車両領域の色が無彩色でないと判定された場合、前記自車両領域または前記非自車両領域の色の反転色が、前記輪郭画像の表示色として決定される、請求項９に記載の車載映像表示方法。
前記輪郭画像を生成するステップにおいて、前記自車両領域または前記非自車両領域の色が無彩色であると判定された場合、前記輪郭画像の表示色が赤に決定される、請求項９に記載の車載映像表示方法。
車外撮像部からの撮像画像を表示部に表示させる車載映像表示装置のコンピュータを、
自車両の一部を撮像領域に含む車外撮像部から取得した撮像画像について、前記自車両の形状を示す情報から自車両領域および非自車両領域の境界を特定する境界特定部、
前記自車両領域または前記非自車両領域の色の特徴を抽出する色抽出部、
前記境界を含み前記色の特徴に応じた表示色を有する輪郭画像を生成する輪郭画像生成部、
前記撮像画像に前記輪郭画像を重畳して重畳画像を生成する画像重畳部、および、
前記撮像画像の前記非自車両領域のうち道路に対応する第１の領域および前記非自車両領域における前記第１の領域以外の領域である第２の領域を検出する道路形状検出部、として機能させるプログラムであって、
前記境界特定部は、前記自車両領域と前記第１の領域との第１の境界および前記自車両領域と前記第２の領域との第２の境界を特定し、
前記色抽出部は、前記第１の領域についての第１の色の特徴と、前記第２の領域についての第２の色の特徴とを個別に抽出し、
前記輪郭画像生成部は、前記第１の境界の表示色を、前記第１の色の特徴に応じて決定し、前記第２の境界の表示色を、前記第２の色の特徴に応じて決定する、プログラム。
前記輪郭画像生成部は、前記自車両領域または前記非自車両領域の色が無彩色でないと判定した場合、前記自車両領域または前記非自車両領域の色の反転色を、前記輪郭画像の表示色として決定する、請求項１２に記載のプログラム。
前記輪郭画像生成部は、前記自車両領域または前記非自車両領域の色が無彩色であると判定した場合、前記輪郭画像の表示色を赤に決定する、請求項１２に記載のプログラム。