JP6673242B2 - 画像表示装置 - Google Patents

Description

本開示は画像表示装置に関する。

特許文献１には、以下のような画像表示装置が開示されている。画像表示装置は、車載カメラを用いて、車両の周囲を撮影した撮影画像を取得する。画像表示装置は、撮影画像の一部である表示画像を、車室内のモニタに表示する。画像表示装置は、撮影画像のうち、表示画像を除く領域に物体が存在する場合、モニタに、物体の存在を表す表示を行う。

特許第５８６１４４９号公報

表示画像を除く領域に存在する物体には、歩行者、他の車両等、様々な種類がある。表示画像を除く領域に存在する物体の種類が何であるかに応じて、ドライバの対処方法は異なることがある。特許文献１記載の技術では、ドライバは、モニタの表示を見ても、表示画像を除く領域に存在する物体の種類を判断できない。そのため、ドライバは、表示画像を除く領域に存在する物体の種類に応じて適切な対処を行うことが困難であった。本開示は、表示画像を除く領域に存在する物体の種類を反映した表示を行うことができる画像表示装置を提供する。

本開示の一態様は、車両に搭載される画像表示装置（１）であって、車両の周囲を撮影した撮影画像（２９）を取得する画像取得ユニット（７）と、前記撮影画像の一部である表示画像（２７）を表示装置（２５）に表示する表示ユニット（９）と、前記撮影画像のうち、前記表示画像を除く領域（３１）に存在する物体を認識する物体認識ユニット（１１）と、前記物体認識ユニットで認識した前記物体を表す物体表示（３５、３７）を、前記表示画像に重畳させた重畳画像（３３）を作成する画像作成ユニット（１３）と、を備える。

前記表示ユニットは、前記物体認識ユニットが前記物体を認識した場合、前記重畳画像を前記表示装置に表示するように構成される。前記物体表示は、（ａ）前記撮影画像のうち、前記物体の少なくとも一部を含む領域、又は（ｂ）前記物体の種類を表すアイコンを含む。

本開示の一態様である画像表示装置は、撮影画像のうち、表示画像を除く領域で認識した物体を表す物体表示を表示画像に重畳させて重畳画像を作成する。そして、本開示の一態様である画像表示装置は、その重畳画像を表示装置に表示する。

本開示の一態様である画像表示装置によれば、ドライバは、撮影画像のうち、表示画像を除く領域に物体が存在することを知ることができる。また、物体表示は、撮影画像のうち、物体の少なくとも一部を含む領域、又は、物体の種類を表すアイコンを含む。この物体表示は、物体の種類を反映したものである。そのため、ドライバは、物体表示を見れば、撮影画像のうち、表示画像を除く領域に存在する物体の種類を知ることができる。

なお、この欄及び特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本開示の技術的範囲を限定するものではない。

画像表示装置１の構成を表すブロック図である。 画像表示装置１の機能的構成を表すブロック図である。 画像表示装置１が実行する処理を表すフローチャートである。 撮影画像２９と表示画像２７とを表す説明図である。 重畳画像３３を表す説明図である。 画像表示装置１が実行する処理を表すフローチャートである。 画像表示装置１の機能的構成を表すブロック図である。 重畳画像３３を表す説明図である。 重畳画像３３を表す説明図である。 重畳画像３３を表す説明図である。 重畳画像３３を表す説明図である。

本開示の実施形態を図面に基づき説明する。
＜第１実施形態＞
１．画像表示装置１の構成
画像表示装置１の構成を図１、図２に基づき説明する。画像表示装置１は車両に搭載される車載装置である。以下では、画像表示装置１を搭載する車両を自車両とする。図１に示すように、画像表示装置１は、ＣＰＵ３と、ＲＡＭ、ＲＯＭ、フラッシュメモリ等の半導体メモリ（以下、メモリ５とする）と、を有する周知のマイクロコンピュータを中心に構成される。画像表示装置１の各種機能は、ＣＰＵ３が非遷移的実体的記録媒体に格納されたプログラムを実行することにより実現される。この例では、メモリ５が、プログラムを格納した非遷移的実体的記録媒体に該当する。また、このプログラムが実行されることで、プログラムに対応する方法が実行される。なお、画像表示装置１を構成するマイクロコンピュータの数は１つでも複数でもよい。

画像表示装置１は、ＣＰＵ３がプログラムを実行することで実現される機能の構成として、図２に示すように、画像取得ユニット７と、表示ユニット９と、物体認識ユニット１１と、画像作成ユニット１３と、距離算出ユニット１５と、態様変化ユニット１７と、方向取得ユニット１９と、位置取得ユニット２１と、を備える。

画像表示装置１を構成するこれらの要素を実現する手法はソフトウェアに限るものではなく、その一部又は全部の要素について、一つあるいは複数のハードウェアを用いて実現してもよい。例えば、上記機能がハードウェアである電子回路によって実現される場合、その電子回路は多数の論理回路を含むデジタル回路、又はアナログ回路、あるいはこれらの組合せによって実現してもよい。

図１に示すように、自車両は、画像表示装置１に加えて、カメラ２３、及び表示装置２５を備える。カメラ２３は自車両に搭載されている。カメラ２３は、自車両の周囲を撮影し、撮影画像を作成する。カメラ２３は撮影画像を画像表示装置１に出力する。表示装置２５は自車両の車室内に設置されており、自車両のドライバは表示装置２５を視認可能である。表示装置２５は、画像表示装置１から送られる信号に基づき画像を表示する。

２．画像表示装置１が実行する処理
画像表示装置１が実行する処理を図３〜図５に基づき説明する。画像表示装置１は、以下の処理を所定時間ごとに繰り返し実行する。

図３のステップ１では、画像取得ユニット７が、カメラ２３を用いて撮影画像を取得する。
ステップ２では、表示ユニット９が、前記ステップ１で取得した撮影画像から、表示画像を作成する。図４に示すように、表示画像２７は、撮影画像２９の一部である。さらに詳しくは、表示画像２７は、撮影画像２９のうち、左右両側の端部に位置する領域３１を除いた画像である。領域３１は、撮影画像２９のうち、表示画像２７を除く領域である。

ステップ３では、物体認識ユニット１１が、撮影画像において物体を認識する処理を行う。物体としては、例えば、他の車両、歩行者等が挙げられる。物体を認識する方法としては、例えば、公知のパターン認識の方法を用いることができる。

ステップ４では、前記ステップ３において物体を認識できたか否かを物体認識ユニット１１が判断する。物体を認識できなかった場合はステップ５に進み、物体を認識できた場合はステップ６に進む。

ステップ５では、前記ステップ２で作成した表示画像２７を表示ユニット９が表示装置２５に表示する。
ステップ６では、自車両から、前記ステップ４で認識したと判断した物体までの距離Ｒを、距離算出ユニット１５が算出する。距離算出ユニット１５は、撮影画像２９における物体の上下方向での位置から、距離Ｒを算出する。撮影画像２９において物体が上方向にあるほど、距離Ｒは大きい。

ステップ７では、前記ステップ４で認識したと判断した物体の移動方向Ｄを、方向取得ユニット１９が取得する。方向取得ユニット１９は、過去の撮影画像２９における物体の位置と、最新の撮影画像２９における同一の物体の位置との変化に基づき、物体の移動方向Ｄを取得する。

ステップ８では、前記ステップ４で認識したと判断した物体の、撮影画像２９における位置Ｐを位置取得ユニット２１が取得する。
ステップ９では、前記ステップ８で取得した位置Ｐが、表示画像を除く領域３１に存在するか否かを位置取得ユニット２１が判断する。位置Ｐが表示画像２７の中に存在する場合はステップ５に進み、位置Ｐが表示画像２７を除く領域３１に存在する場合はステップ１０に進む。

ステップ１０では、画像作成ユニット１３が、物体表示を作成する。物体表示とは、前記ステップ４で認識したと判断した物体を表す表示である。具体的には、物体表示とは、撮影画像２９のうち、前記ステップ４で認識したと判断した物体を含む領域（以下では物体領域とする）を含む。物体領域は、撮影画像２９の全体に比べて十分小さい。物体表示は、物体領域そのものであってもよいし、物体領域に他の表示を追加したものであってもよい。他の表示として、例えば、物体領域の外周を囲む枠等が挙げられる。

ステップ１１では、態様変化ユニット１７が、前記ステップ６で算出した距離Ｒに応じて、後述する重畳画像３３における物体表示の表示態様を決定する。表示態様とは、物体表示の大きさである。態様変化ユニット１７は、距離Ｒが小さいほど、物体表示を大きくする。

ステップ１２では、画像作成ユニット１３が、前記ステップ７で取得した移動方向Ｄを表す方向表示を作成する。方向表示とは、移動方向Ｄを表す矢印の表示である。
ステップ１３では、画像作成ユニット１３が、前記ステップ８で取得した位置Ｐを表す位置表示を作成する。

ステップ１４では、画像作成ユニット１３が、前記ステップ２で作成した表示画像２７に、前記ステップ１０で作成した物体表示と、前記ステップ１２で作成した方向表示と、前記ステップ１３で作成した位置表示とを重畳して、図５に示す重畳画像３３を作成する。

図５において、３５、３７は、それぞれ、前記ステップ１０で作成した物体表示である。物体表示３５は、他の車両を表す物体表示である。物体表示３７は、歩行者を表す物体表示である。物体表示３５、３７の大きさは、前記ステップ１１で決定した大きさである。物体表示３７が表す物体の距離Ｒは、物体表示３５が表す物体の距離Ｒよりも小さいため、物体表示３７は物体表示３５よりも大きい。

図５において、３９は、前記ステップ１２で作成した方向表示である。図５に示す重畳画像３３では、方向表示３９は、物体の移動方向Ｄが左方向であることを表す。図５において、４１は、前記ステップ１３で作成した位置表示である。図５に示す重畳画像３３では、位置表示４１は、物体の位置Ｐが、物体表示３５、３７の位置よりも右方向にあることを表す。

重畳画像３３のうち、物体表示３５、３７、方向表示３９、及び位置表示４１以外の部分は、前記ステップ２で作成した表示画像２７と同じである。
ステップ１５では、前記ステップ１４で作成した重畳画像３３を表示ユニット９が表示装置２５に表示する。

３．画像表示装置１が奏する効果
（１Ａ）画像表示装置１は、撮影画像２９のうち、表示画像２７を除く領域３１で認識した物体を表す物体表示３５、３７を表示画像２７に重畳させて重畳画像３３を作成する。そして、画像表示装置１は、その重畳画像３３を表示装置２５に表示する。

ユーザは、重畳画像３３に表示された物体表示３５、３７を見ることで、撮影画像２９のうち、表示画像２７を除く領域３１に物体が存在することを知ることができる。また、物体表示３５、３７は、撮影画像２９のうち、物体領域を含むものであるから、物体の種類を反映したものである。そのため、ユーザは、物体表示３５、３７を見ることで、撮影画像２９のうち、表示画像２７を除く領域３１に存在する物体の種類を知ることができる。

（１Ｂ）画像表示装置１は、自車両から物体までの距離Ｒを算出する。そして、画像表示装置１は、距離Ｒに応じて、重畳画像３３における物体表示３５、３７の表示態様を変化させる。そのため、ドライバは、物体表示３５、３７の表示態様から、自車両から物体までの距離Ｒを知ることができる。

（１Ｃ）画像表示装置１は、距離Ｒに応じて、重畳画像３３における物体表示３５、３７の大きさを変化させる。そのため、ドライバは、物体表示３５、３７の大きさから、自車両から物体までの距離Ｒを容易に知ることができる。

（１Ｄ）画像表示装置１は、物体の移動方向Ｄを取得する。そして、画像表示装置１は、移動方向Ｄを表す方向表示３９を、表示画像２７に重畳する。そのため、ドライバは、方向表示３９から、移動方向Ｄを知ることができる。

（１Ｅ）画像表示装置１は、物体の位置Ｐを取得する。そして、画像表示装置１は、位置Ｐを表す位置表示４１を、表示画像２７に重畳する。そのため、ドライバは、位置表示４１から、位置Ｐを知ることができる。
＜第２実施形態＞
１．第１実施形態との相違点
第２実施形態は、基本的な構成は第１実施形態と同様であるため、相違点について以下に説明する。なお、第１実施形態と同じ符号は、同一の構成を示すものであって、先行する説明を参照する。

前述した第１実施形態では、物体表示３５、３７は、撮影画像２９のうち、物体領域を含むものである。これに対し、第２実施形態では、物体表示３５、３７は、物体の種類を表すアイコンを含むものであるという点で、第１実施形態と相違する。物体表示３５、３７に含まれるアイコンの種類と、物体表示３５、３７が表す物体の種類とは、１：１に対応する。よって、物体の種類が決まれば、それに対応するアイコンの種類は一義的に決まる。アイコンとして、例えば、歩行者を表すアイコン、他の車両を表すアイコン等が挙げられる。物体表示３５、３７は、アイコンそのものであってもよいし、アイコンに加えて他の表示を含んでいてもよい。

２．画像表示装置１が実行する処理
画像表示装置１が実行する処理を、図６に基づき説明する。画像表示装置１は、以下の処理を所定時間ごとに繰り返し実行する。

図６のステップ２１〜２８の処理は、第１実施形態におけるステップ１〜８の処理と同様である。
ステップ２９では、物体認識ユニット１１が、前記ステップ２４で認識したと判断した物体の種類を判断する。物体の種類として、例えば、他の車両、歩行者等が挙げられる。

ステップ３０の処理は、第１実施形態におけるステップ９の処理と同様である。
ステップ３１では、画像作成ユニット１３が、物体表示を作成する。物体表示とは、前記ステップ２４で認識したと判断した物体を表す表示である。具体的には、物体表示とは、前記ステップ２９で判断した物体の種類を表すアイコンを含む表示である。なお、メモリ５には、物体の種類に対応するアイコンが予め記憶されている。例えば、メモリ５には、歩行者を表すアイコン、他の車両を表すアイコン等がそれぞれ記憶されている。

ステップ３２〜３６の処理は、基本的には、第１実施形態におけるステップ１１〜１５の処理と同様である。ただし、ステップ３５において、表示画像２７に重畳する物体表示は、物体の種類を表すアイコンを含む表示である。また、ステップ３６において示す重畳画像３３には、物体表示として、物体の種類を表すアイコンを含むものが表示されている。

３．画像表示装置１が奏する効果
以上詳述した第２実施形態によれば、前述した第１実施形態の効果（１Ｂ）〜（１Ｅ）を奏し、さらに、以下の効果を奏する。

（２Ａ）画像表示装置１は、撮影画像２９のうち、表示画像２７を除く領域３１で認識した物体を表す物体表示を表示画像に重畳させて重畳画像３３を作成する。そして、画像表示装置１は、その重畳画像３３を表示装置２５に表示する。

ドライバは、重畳画像３３に表示された物体表示を見ることで、撮影画像２９のうち、表示画像２７を除く領域３１に物体が存在することを知ることができる。また、物体表示は、物体の種類を表すアイコンを含む表示であるから、物体の種類を反映したものである。そのため、ドライバは、物体表示を見ることで、撮影画像２９のうち、表示画像２７を除く領域３１に存在する物体の種類を知ることができる。
＜他の実施形態＞
以上、本開示の実施形態について説明したが、本開示は上述の実施形態に限定されることなく、種々変形して実施することができる。

（１）画像表示装置１は、図７に示すように、物体判断ユニット４３を備えていてもよい。物体判断ユニット４３は、表示画像２７のうち、物体表示３５、３７を重畳する位置に、他の物体が存在するか否かを判断する。他の物体として、例えば、他の車両、歩行者等が挙げられる。表示ユニット９は、物体表示３５、３７を重畳する位置に他の物体が存在すると物体判断ユニット４３が判断した場合、物体表示３５、３７を重畳することなく表示画像２７を表示装置２５に表示する。そのことにより、表示画像２７に存在する物体が、物体表示３５、３７により隠れてしまうことを抑制できる。

（２）重畳画像は、図８〜図１１に示すものであってもよい。図８に示す重畳画像３３では、距離Ｒによらず、物体表示３５、３７の大きさは一定である。また、方向表示３９は重畳されていない。

図９に示す重畳画像３３は、その左右両側に、自車両の周囲の風景を表示していない非表示領域４５を含む。非表示領域４５は、表示装置２５のうち、左右両側の部分に表示される。物体表示３５、３７は、非表示領域４５に重畳されている。また、距離Ｒによらず、物体表示３５、３７の大きさは一定である。また、位置表示４１は重畳されていない。

図１０に示す重畳画像３３では、後方の視点から自車両を見た風景が表示されている。重畳画像３３は、その左右両側及び下側に、自車両の周囲の風景を表示していない非表示領域４５を含む。非表示領域４５は、表示装置２５のうち、左右両側及び下側の部分に表示される。物体表示３５、３７は、非表示領域４５に重畳されている。また、距離Ｒによらず、物体表示３５、３７の大きさは一定である。また、位置表示４１は重畳されていない。

図１１に示す重畳画像３３では、上方の視点から自車両を見た鳥瞰図が表示されている。重畳画像３３は、その左右両側に、自車両の周囲の風景を表示していない非表示領域４５を含む。非表示領域４５は、表示装置２５のうち、左右両側の部分に表示される。物体表示３５、３７は、非表示領域４５に重畳されている。また、距離Ｒによらず、物体表示３５、３７の大きさは一定である。また、位置表示４１は重畳されていない。

（３）第１実施形態において、物体表示３５、３７が含む物体領域は、撮影画像２９のうち、物体の全部ではなく一部を含む領域であってもよい。
（４）第１実施形態のステップ１１において、態様変化ユニット１７は、距離Ｒに応じて、物体表示３５、３７の上下方向における位置、物体表示３５、３７の少なくとも一部の色、物体表示３５、３７の少なくとも一部における点滅の有無を変化させてもよい。

例えば、距離Ｒが小さいほど、物体表示３５、３７の上下方向における位置を低くすることができる。また、例えば、距離Ｒが小さい場合は、距離Ｒが大きい場合に比べて、物体表示３５、３７の一部又は全部の色を目立ち易い色にすることができる。色を変化させる物体表示３５、３７の一部として、例えば、物体領域を囲む枠等が挙げられる。

また、例えば、距離Ｒが所定の閾値より小さい場合は、物体表示３５、３７の全部又は一部を点滅させ、距離Ｒが所定の閾値以上である場合は、その点滅を行わないようにすることができる。点滅させる物体表示３５、３７の一部として、例えば、物体領域を囲む枠等が挙げられる。上記の場合も、ドライバは、物体表示３５、３７の表示態様から、自車両から物体までの距離Ｒを知ることができる。

第２実施形態におけるステップ３２の処理についても上記と同様とすることができる。
（５）物体認識ユニット１１は、表示画像２７を除く領域３１では物体を認識する処理を実行し、表示画像２７では物体を認識する処理を実行しないようにしてもよい。

（６）上記実施形態における１つの構成要素が有する複数の機能を、複数の構成要素によって実現したり、１つの構成要素が有する１つの機能を、複数の構成要素によって実現したりしてもよい。また、複数の構成要素が有する複数の機能を、１つの構成要素によって実現したり、複数の構成要素によって実現される１つの機能を、１つの構成要素によって実現したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。なお、特許請求の範囲に記載した文言から特定される技術思想に含まれるあらゆる態様が本開示の実施形態である。

（７）上述した画像表示装置の他、当該画像表示装置を構成要素とするシステム、当該画像表示装置としてコンピュータを機能させるためのプログラム、このプログラムを記録した半導体メモリ等の非遷移的実態的記録媒体、画像表示方法、画像作成方法等、種々の形態で本開示を実現することもできる。

１…画像表示装置、７…画像取得ユニット、９…表示ユニット、１１…物体認識ユニット、１３…画像作成ユニット、２５…表示装置、２７…表示画像、２９…撮影画像、３１…領域、３３…重畳画像、３５、３７…物体表示

Claims (5)

1. 車両に搭載される画像表示装置（１）であって、
   車両の周囲を撮影した撮影画像（２９）を取得する画像取得ユニット（７）と、
   前記撮影画像の一部と、前記車両の周囲の風景を表示していない非表示領域とを含む表示画像（２７）を表示装置（２５）に表示する表示ユニット（９）と、
   前記撮影画像のうち、前記撮影画像の一部を除く領域（３１）に存在する物体を認識する物体認識ユニット（１１）と、
   前記物体認識ユニットで認識した前記物体の位置を取得する位置取得ユニット（２１）と、
   前記物体認識ユニットで認識した前記物体を表す物体表示（３５、３７）を、前記表示画像のうち前記非表示領域に重畳させるとともに、前記位置取得ユニットで取得した前記物体の位置を表す位置表示（４１）を、前記表示画像にさらに重畳させた重畳画像（３３）を作成する画像作成ユニット（１３）と、
   を備え、
   前記表示ユニットは、前記物体認識ユニットが前記物体を認識した場合、前記重畳画像を前記表示装置に表示するように構成され、
   前記物体表示は、（ａ）前記撮影画像のうち、前記物体の少なくとも一部を含む領域、又は（ｂ）前記物体の種類を表すアイコンを含み、
   前記位置表示は、前記物体の位置が、前記物体表示の位置に対しどちらの方向にあるかを表す画像表示装置。
2. 請求項１に記載の画像表示装置であって、
   前記車両から、前記物体認識ユニットで認識した前記物体までの距離を算出する距離算出ユニット（１５）と、
   前記距離算出ユニットで算出した前記距離に応じて、前記重畳画像における前記物体表示の表示態様を変化させる態様変化ユニット（１７）と、
   をさらに備える画像表示装置。
3. 請求項２に記載の画像表示装置であって、
   前記態様変化ユニットが変化させる前記表示態様は、前記物体表示の上下方向における位置、前記物体表示の大きさ、前記物体表示の少なくとも一部の色、及び、前記物体表示の少なくとも一部における点滅の有無から成る群から選択される１以上である画像表示装置。
4. 請求項１〜３のいずれか１項に記載の画像表示装置であって、
   前記物体認識ユニットで認識した前記物体の移動方向を取得する方向取得ユニット（１９）をさらに備え、
   前記画像作成ユニットは、前記方向取得ユニットで取得した前記移動方向を表す方向表示（３９）を、前記表示画像にさらに重畳して前記重畳画像を作成するように構成された画像表示装置。
5. 請求項１〜４のいずれか１項に記載の画像表示装置であって、
   前記表示画像のうち、前記物体表示を重畳する位置に、他の物体が存在するか否かを判断する物体判断ユニット（４３）をさらに備え、
   前記表示ユニットは、前記他の物体が存在すると前記物体判断ユニットが判断した場合、前記物体表示を重畳することなく前記表示画像を前記表示装置に表示するように構成された画像表示装置。

Images