JP7293852B2 - 画像表示装置および画像表示プログラム - Google Patents

Description

本開示は、画像表示装置および画像表示プログラムに関する。

従来、車両の乗員の目の向き（および／または顔の向き）を、当該乗員の顔が写った顔画像とともに視覚的に確認させる技術について種々に検討されている。このような技術の一つとして、乗員の目の向きを示す矢印を、乗員の目の開閉度を示す指標などといった他の情報とともに顔画像に重畳して表示する技術が知られている。

特許第５２８２６１２号公報

ところで、運転状況を確認する場合に、乗員（例えば、ドライバ）が何処を見ているかを知りたい場合がある。特に、ドライバが脇見等をしていた場合、上記のような従来の技術では、顔画像に重畳される情報が多くなりやすいので、乗員の目の向き（および／または顔の向き）の変化が視覚的に分かりにくく、結果的に乗員が何処を注視していたのかが分かりにくい場合がある。

そこで、本発明の課題の一つは、車両の乗員が何処に注視していたかを視覚的により分かりやすく表示することが可能な画像表示装置および画像表示プログラムを提供することである。

本発明の実施形態にかかる画像表示装置は、例えば、車両に設けられる１以上の撮像部による撮像結果に上記車両の乗員の目の向きと顔の向きのうち少なくとも一方を示す注視情報を関連付けた、上記乗員の顔が写った顔画像と、上記車両の車外を撮像した画像に当該画像を撮像したときに取得した上記注視情報とを関連付けた車外画像と、を取得する画像取得部と、上記顔画像と上記車外画像とを表示部に表示するとともに、上記注視情報に基づいて推定される上記乗員の注視方向を示す指標を、上記注視方向に対応する上記顔画像と上記車外画像の周縁部近傍に表示する表示処理部と、を備える。この構成によれば、例えば、表示する顔画像と車外画像の表示内容の視認の妨げになりにくい、顔画像と車外画像の周縁部近傍の位置に、乗員の注視方向を示す指標を表示するので、表示内容が把握しやすい顔画像と車外画像が表示できるとともに、利用者が何処を注視していたかが分かりやすい顔画像と車外画像が表示できる。また、例えば、車外画像を確認する際に乗員が車外のどの方向に注視していたかが分かりやすい画像が表示できる。また、例えば、顔画像とは別の車外画像でも同じ注視方向を示す指標が表示されるので、顔画像と車外画像が撮像されたときに乗員が何処に注視しているかを直感的に理解させやすい表示ができる。

本発明の実施形態にかかる画像表示装置の上記表示処理部は、例えば、上記顔画像に上記指標を表示する場合、上記乗員の上記顔と重ならない位置に上記指標を表示するようにしてもよい。この構成によれば、例えば、乗員の顔の認識、例えば表情の認識が行いやすくなり、注視方向の把握に加え、注視している原因等の推定が行いやすい表示ができる。

本発明の実施形態にかかる画像表示装置の上記表示処理部は、例えば、上記指標を上記顔画像と上記車外画像の表示領域内側の周縁部近傍または表示領域外側の周縁部近傍のいずれか一方に表示するようにしてもよい。この構成によれば、例えば、表示する顔画像と車外画像の表示領域の大きさやレイアウト等に応じて、指標の表示領域の変更が可能で、顔画像と車外画像および指標の視認性を向上させる表示ができる。

本発明の実施形態にかかる画像表示装置の上記表示処理部は、例えば、上記指標を上記顔画像と上記車外画像の周縁部の少なくとも一部で表示するようにしてもよい。この構成によれば、例えば、さらに、顔画像と車外画像の内容の把握の妨げになりにくい態様で指標の表示ができる。

本発明の実施形態にかかる画像表示プログラムは、例えば、車両に設けられる１以上の撮像部による撮像結果に上記車両の乗員の目の向きと顔の向きのうち少なくとも一方を示す注視情報を関連付けた、上記乗員の顔が写った顔画像と、上記車両の車外を撮像した画像に当該画像を撮像したときに取得した上記注視情報とを関連付けた車外画像と、を取得する画像取得ステップと、上記顔画像と上記車外画像とを表示部に表示するとともに、上記注視情報に基づいて推定される上記乗員の注視方向を示す指標を、上記注視方向に対応する上記顔画像と上記車外画像の周縁部近傍に表示する表示処理ステップと、をコンピュータに実行させる。この構成によれば、例えば、表示する顔画像と車外画像の表示内容の視認の妨げになりにくい、顔画像と車外画像の周縁部近傍の位置に、乗員の注視方向を示す指標を表示するので、表示内容が把握しやすい顔画像と車外画像が表示できるとともに、利用者が何処を注視していたかが分かりやすい顔画像と車外画像が表示できる。また、例えば、車外画像を確認する際に乗員が車外のどの方向に注視していたかが分かりやすい画像が表示できる。また、例えば、顔画像とは別の車外画像でも同じ注視方向を示す指標が表示されるので、顔画像と車外画像が撮像されたときに乗員が何処に注視しているかを直感的に理解させやすい表示ができる。

図１は、実施形態にかかる技術の適用対象としての運転行動確認システムの概要を説明するための例示的かつ模式的な図である。 図２は、実施形態にかかる運転行動確認システムを構成する各装置の概略的なハードウェア構成を示した例示的かつ模式的なブロック図である。 図３は、実施形態において検出されるドライバの目の向きおよび顔の向きを説明するための例示的かつ模式的な図である。 図４は、実施形態にかかる画像表示装置の機能を示した例示的かつ模式的な図である。 図５は、実施形態にかかる画像表示装置における、表示部に表示される画像の一例を示した例示的かつ模式的な図である。 図６は、実施形態にかかる画像表示装置における、表示部に表示される画像の他の一例を示した例示的かつ模式的な図である。 図７は、実施形態にかかる画像表示装置における、表示部に表示される画像のさらに他の一例を示した例示的かつ模式的な図である。 図８は、実施形態にかかる画像表示装置における、表示部に表示される画像のさらに他の一例を示した例示的かつ模式的な図である。 図９は、実施形態にかかる画像表示装置における、表示部に表示される画像のさらに他の一例を示した例示的かつ模式的な図である。 図１０は、実施形態にかかる画像表示装置が実行する一連の処理を示した例示的かつ模式的なフローチャートである。

以下、本開示の実施形態を図面に基づいて説明する。以下に説明される実施形態の構成、ならびに当該構成によってもたらされる作用および効果は、あくまで一例であって、以下の記載内容に限られるものではない。

図１は、実施形態にかかる技術の適用対象としての運転行動確認システムの概要を説明するための例示的かつ模式的な図である。

図１に示されるように、実施形態にかかる運転行動確認システムは、車両Ｖの乗員のうちの一人であるドライバＸ１の運転行動に関する情報をドライバモニタ１１０およびドライブレコーダ１２０によって記録する。そして、記録した運転行動に関する情報を記録媒体１５０によってＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）１３０に移管し、移管した運転行動に関する情報をＰＣ１３０によってオペレータＸ２に事後的に確認させることを実現するシステムである。車両Ｖは、例えば運送業者のトラックであり、ＰＣ１３０は、例えば運送業者のバックオフィス業務用の情報処理装置である。

なお、実施形態では、運転行動に関する情報のＰＣ１３０への移管に記録媒体１５０が利用される構成について説明するが、運転行動に関する情報のＰＣ１３０への移管は、ネットワーク上のクラウドサーバ経由で実行されてもよい。この場合、車両Ｖ側の装置としてのドライバモニタ１１０およびドライブレコーダ１２０のうち少なくとも一方と、ＰＣ１３０とが共にネットワーク通信機能を有していることが前提となる。なお、車両Ｖ側の装置とＰＣ１３０とが共にネットワーク通信機能を有していれば、ドライバＸ１の運転行動に関する情報をオペレータＸ２がリアルタイムで確認することが可能である。

図２は、実施形態にかかる運転行動確認システムを構成する各装置の概略的なハードウェア構成を示した例示的かつ模式的なブロック図である。

図１にも示されているが、図２に示されるように、実施形態にかかる運転行動確認システムは、主として、ドライバモニタ１１０と、ドライブレコーダ１２０と、ＰＣ１３０と、によって構成されている。

ドライバモニタ１１０は、撮像部１１１と、制御部１１２と、記憶部１１３と、入出力部１１４と、を備えている。

撮像部１１１は、車両Ｖの内部の状況を表す車内画像の一つとしての、ドライバＸ１の目を含む顔が写った顔画像を取得するカメラである（図１のドライバモニタ１１０から延びる一点鎖線も参照）。なお、顔画像という表現は、ある１つのタイミングにおける静止画の意味だけでなく、連続した複数のタイミングにおける静止画の集まりである動画（映像）としての意味も含んでいる。

また、制御部１１２は、ドライバモニタ１１０の動作を統括的に制御するプロセッサである。制御部１１２は、ドライバモニタ１１０において必要となる各種の演算処理を実行する。例えば、制御部１１２は、撮像部１１１により取得される顔画像に、顔の三次元モデルを利用したフィッティングなどといった各種の画像処理を実行することで、顔画像に写ったドライバＸ１の目の向きや顔の向き等を検出する機能を備える。また、検出した目の向きや顔の向き等と車両Ｖの制御情報等（例えば、車速、ウインカの操作状況、前進／後端の選択状態等）に基づき、目の向きや顔の向きが「脇見」に該当するか否かの判定を行っている。制御部１１２は、目の向きや顔の向きが正面等から外れた原因が、運転に必要となる周囲状況の確認動作等以外に起因すると判断できる場合に「脇見」と判定する。逆に、右左折のために左右に目や顔を向ける場合や後退のために後方を振り向く等の動作の場合、目の向きや顔の向きが正面から外れても「脇見ではない」と判定する。なお、ドライバモニタ１１０による目の向きや顔の向き等の検出処理、脇見等の判定処理は、周知のドライバモニタ１１０の機能を利用可能であり、詳細な説明は省略する。

また、記憶部１１３は、ドライバモニタ１１０により生成されるデータや、外部から取得されるデータなどといった各種のデータを記憶するメモリ（およびストレージ）である。ドライバモニタ１１０により生成されるデータとしては、ドライバＸ１の目の向きや顔の向き等の情報、脇見をしているか否かの情報等である。また、外部から取得されるデータとは、車両Ｖの制御情報等（例えば、車速、ウインカの操作状況、前進／後端の選択状態等）である。なお、以下の説明では、目の向きや顔の向き等の情報、脇見をしているか否かの情報は、ドライバＸ１が注視している方向を示す情報として、「注視情報」という場合がある。

入出力部１１４は、ドライバモニタ１１０を外部に接続するためのインターフェースである。図２に示される例では、ドライバモニタ１１０は、入出力部１１４を介してドライブレコーダ１２０（の入出力部１２４）に接続されている。

上述したドライバモニタ１１０と同様、ドライブレコーダ１２０も、撮像部１２１と、制御部１２２と、記憶部１２３と、入出力部１２４と、を備えている。

撮像部１２１は、車両Ｖの外部の状況が写った車外画像、より具体的には車両Ｖの前方の状況が写った前方画像を取得するカメラである（図１のドライブレコーダ１２０から延びる一点鎖線も参照）。なお、上述した顔画像と同様、前方画像という表現は、ある１つのタイミングにおける静止画の意味だけでなく、連続した複数のタイミングにおける静止画の集まりである動画（映像）としての意味も含んでいる。

また、制御部１２２は、ドライブレコーダ１２０の動作を統括的に制御するプロセッサである。制御部１２２は、ドライブレコーダ１２０において必要となる各種の演算処理を実行する。制御部１２２は、撮像部１２１が撮像した車外画像を、日時等を特定する情報を関連付けながら逐次記憶部１２３に記憶させる。また、特定のイベントが発生した場合、例えば、車両Ｖが閾値以上の衝撃を受けた場合等は、そのイベントを特定するマーク等を関連付けて記憶部１２３に記憶させる。制御部１２２の基本的な動作は、周知のドライブレコーダ１２０と同様であり，詳細な説明は省略する。

記憶部１２３は、ドライブレコーダ１２０により生成されるデータや、外部から取得されるデータなどといった各種のデータを記憶するメモリ（およびストレージ）である。ドライブレコーダ１２０により生成されるデータは、例えば、車外画像データ等であり、外部から取得されるデータは、ドライバモニタ１１０から取得した顔画像データや注視情報等である。

入出力部１２４は、ドライブレコーダ１２０を外部に接続するためのインターフェースである。図２に示される例では、ドライブレコーダ１２０は、入出力部１２４を介してドライバモニタ１１０（の入出力部１１４）に接続されている。また、図２に示される例では、記憶部１２３に記憶された各種のデータが、入出力部１２４に接続される記録媒体１５０を介してＰＣ１３０に移管される。

一方、ＰＣ１３０は、表示部１３１と、制御部１３２と、記憶部１３３と、入出力部１３４と、を備えている。

表示部１３１は、ＰＣ１３０のユーザとしてのオペレータＸ２に情報を視覚的に提供するための表示出力装置である。

制御部１３２は、ＰＣ１３０の動作を統括的に制御するプロセッサである。制御部１３２は、ＰＣ１３０において必要となる各種の演算処理を実行する。

記憶部１３３は、ＰＣ１３０により生成されるデータや、外部から取得されるデータなどといった各種のデータを記憶するメモリ（およびストレージ）である。

入出力部１３４は、ＰＣ１３０を外部に接続するためのインターフェースである。図２に示される例では、記録媒体１５０が入出力部１３４に接続されることで、ドライブレコーダ１２０の記憶部１２３に記憶された各種のデータの移管が実現される。なお、別の実施形態では、ドライバモニタ１１０が（記憶部１１３等に）保持するデータを、入出力部１１４に接続された記録媒体１５０を経由して入出力部１３４を介してＰＣ１３０に移管するようにしてもよい。同様に、ドライブレコーダ１２０が（記憶部１２３等に）保持するデータを、入出力部１２４に接続された記録媒体１５０を経由して入出力部１３４を介してＰＣ１３０に移管してもよい。また、ドライバモニタ１１０のデータやドライブレコーダ１２０のデータをそれぞれネットワーク上のクラウドサーバ経由でＰＣ１３０に移管するようにしてもよい。

以上のハードウェア構成により、実施形態にかかる運転行動確認システムは、ドライバモニタ１１０の撮像部１１１により取得される顔画像（車内画像）と、ドライブレコーダ１２０の撮像部１２１により取得される前方画像（車外画像）と、をＰＣ１３０の表示部１３１に表示することで、ドライバＸ１の運転行動に関する情報をＰＣ１３０のオペレータＸ２に視覚的に確認させることを実現する。

ここで、顔画像の撮像方向、すなわちドライバモニタ１１０の撮像部１１１の向きと、前方画像の撮像方向、すなわちドライブレコーダ１２０の撮像部１２１の向きとは、次の図３に示されるような関係を有している。

図３は、実施形態において検出されるドライバＸ１の目の向きおよび顔の向きを説明するための例示的かつ模式的な図である。

図３に示される例において、矢印Ａ３１１および矢印Ａ３１２は、ドライバＸ１の左右の目のそれぞれの向きを表しており、矢印Ａ３２１は、ドライバＸ１の顔の向きを表している。なお、図３には、説明の簡単化のため、目の向きと顔の向きとが実質的に一致している例が示されているが、一般に、左右の目の向きは互いに一致することが多いものの、目の向きと顔の向きとは、必ずしも一致するとは限らない。

図３に示される例において、ドライバモニタ１１０の撮像部１１１の向き、すなわち顔画像の撮像方向が矢印Ａ３３１で表される場合、ドライバＸ１の目の向きおよび顔の向きは、顔画像の撮像方向とは逆の正面方向となる。したがって、この場合、撮像部１１１は、ドライバＸ１の目および顔が正面方向から写った顔画像を取得する。

一方、図３に示される例において、顔画像の撮像方向が矢印Ａ３４１で表される場合、ドライバＸ１の目の向きおよび顔の向きは、顔画像の撮像方向とは逆の正面方向に対して角度θだけ傾いた方向となる。したがって、この場合、撮像部１１１は、ドライバＸ１の目および顔が正面方向に対して角度θだけ傾いた方向から写った顔画像を取得する。

なお、図３に示される例では、ドライバＸ１の目の向きおよび顔の向きが固定であり、顔画像の撮像方向が変化するように表現されているが、このような表現はあくまで説明の便宜のためである。現実には、ドライバＸ１の目の向きおよび／または顔の向きが変化し、顔画像の撮像方向は固定である。

また、図３に示される例において、矢印Ａ３３２および矢印Ａ３４２は、それぞれ、顔画像の撮像方向が矢印Ａ３３１および矢印Ａ３４１で表される場合における前方画像の撮像方向を表している。図１からも分かるように、実施形態において、ドライバモニタ１１０の撮像部１１１の向きと、ドライブレコーダ１２０の撮像部１２１の向きとは、実質的に逆である。したがって、撮像部１１１により取得される顔画像に写った像と、撮像部１２１により取得される前方画像に写った像とは、実質的に、左右が逆のいわゆる鏡像の関係となる。

ところで、従来から、車両Ｖに設けられる１以上の撮像部による撮像結果としての複数の撮像画像を同一の画面上に表示する技術について検討されている。

しかしながら、上記のような従来の技術では、上述した顔画像および前方画像のような、撮像方向が実質的に逆の２つの撮像画像が同一の画面上に表示されることがある。撮像方向が実質的に逆の２つの撮像画像に写った像は、実質的に互いに鏡像の関係となるので、それらの画像が同一の画面上に表示されると、表示内容を正確に認識することができない場合がある。

例えば、ドライバモニタ１１０の撮像部１１１が右を向いているドライバＸ１を撮像した場合、ＰＣ１３０の表示部１３１で表示される顔画像は、左を向いているように表示される。つまり、左右が反転する。一方、ドライブレコーダ１２０の撮像部１２１で車両Ｖの前方の車外画像を撮像した場合、ＰＣ１３０の表示部１３１で表示される車外画像は、左右が反転することなく、そのまま表示される。したがって、表示部１３１に顔画像と車外画像とが並べて表示した場合、左右の混同が生じて、ドライバＸ１の注視方向がどちらなのか、分かりにくくなる場合がある。また、顔画像と車外画像のいずれか一方のみが表示部１３１に表示される場合でも、上述したように左右逆転されて表示されることがあることを認識しているオペレータＸ２は、一方の画像を見た場合に、方向に関する咄嗟の判断を迷う場合がある。

そこで、本実施形態は、以下に説明するような機能を有した画像表示装置４００をＰＣ１３０内に実現することで、車両ＶのドライバＸ１が何処を注視していたかを視覚的により分かりやすく表示することを実現する。

図４は、実施形態にかかる画像表示装置４００の機能を示した例示的かつ模式的な図である。なお、実施形態において、「画像表示装置」は、「運転行動表示装置」とも表現しうる。

図４に示されるように、画像表示装置４００は、画像取得部４０１と、表示処理部４０２と、を備えている。これらの機能は、例えば、ＰＣ１３０の制御部１３２が記憶部１３３に記憶された所定の画像表示プログラムを読み出して実行した結果として実現される。なお、実施形態では、これらの機能の一部または全部が、専用のハードウェア（回路）のみによって実現されてもよい。

画像取得部４０１は、ドライバモニタ１１０の撮像部１１１により取得される顔画像と、ドライブレコーダ１２０の撮像部１２１により取得される前方画像とを、記録媒体１５０経由で取得する。画像取得部４０１は、例えば、ドライブレコーダ１２０の撮像部１２１で撮像した車外画像とドライバモニタ１１０の撮像部１１１で撮像した顔画像および顔画像に基づく注視情報とが関連付けた撮像画像を取得する。

表示処理部４０２は、ＰＣ１３０の表示部１３１の表示内容を制御する。例えば、表示処理部４０２は、次の図５に示されるような形で、撮像画像である、顔画像と前方画像（車外画像）とを同一の画面上に表示する。

図５は、実施形態にかかる画像表示装置における、表示部１３１に表示される画像の一例を示した例示的かつ模式的な図である。

図５に示されるように、表示処理部４０２は、ドライバＸ１の顔画像としての画像５１１と、車外画像である前方画像としての画像５１２と、を同一画面上にそのまま含む画像５１０を表示部１３１に表示する。なお、画像５１０内の表示領域５１３および表示領域５１４は、いずれも、各種の設定情報や動画の時系列に関する情報等を表示するための領域である。

表示処理部４０２は、撮像方向が実質的に逆である顔画像（画像５１１）および前方画像（画像５１２）を表示する場合、それぞれの画像において、ドライバＸ１が注視している方向を示す方向識別指標５２１および方向識別指標５２２を表示する。方向識別指標５２１および方向識別指標５２２は、画像取得部４０１が取得した撮像画像と関連づけられた注視情報に基づく、ドライバＸ１が注視している方向を示す指標であり、ドライバＸ１の目の向きまたは顔の向きの少なくとも一方に基づいて決定される。方向識別指標５２１および方向識別指標５２２は、画像５１１および画像５１２において、ドライバＸ１の目の向きおよび顔の向きのうち少なくとも一方で特定できる方向に対応した周縁部近傍で、それぞれの表示内容の視認の妨げにならない位置に表示される。

図５に示される場合、顔画像としての画像５１１に写ったドライバＸ１の目および顔は、紙面で左側を向いているので、表示処理部４０２は、矩形形状を有する画像５１１の左側の表示領域内側の辺（周縁部）に沿って、上下に延びる細長の帯状の方向識別指標５２１を表示する。なお、画像５１１は、前述したように、ドライバＸ１に向かう撮像部１１１で撮像されているので、左右が反転した状態で表示されるので、実際のドライバＸ１は右側を向いている。一方、ドライブレコーダ１２０の撮像部１２１で撮像された前方画像（画像５１２）は、実際にドライバＸ１が、車両Ｖに乗っている状態で見ている状態と同じ左右関係で表示される。つまり、ドライバＸ１が実際に注視している方向は、図５の紙面で右側となるので、表示処理部４０２は、矩形形状を有する画像５１２の右側の表示領域内側の辺（周縁部）に沿って、上下に延びる細長の帯状の方向識別指標５２２を表示する。つまり、画像５１１に表示されているドライバＸ１が注視している方向は、車外画像（画像５１２）で示される、車両Ｖの前方右側であることを、オペレータＸ２に容易に理解させることができる。

なお、方向識別指標５２１や方向識別指標５２２は、例えば、同じ方向を示していることを認識させやすい強調表示で行われればよく、同じ色で、かつ画像５１１や画像５１２の表示内容の認識の妨げにならないような色とすることが望ましい。例えば、車内や車外、路面等に通常存在し難い色（例えば、オレンジ色や赤色等）とすることができる。なお、図５に示される例では、ドライバＸ１の目の向きおよび顔の向きが実質的に一致しているが、両者は必ずしも一致するとは限らない。この場合、目の向きを示す指標として方向識別指標が表示されてもよいし、顔の向きを示す指標として方向識別指標が表示されてもよいし、目の向きを示す指標と顔の向きを示す指標との両方が別々の方向識別指標として表示されてもよい。また、方向識別指標５２１や方向識別指標５２２は、例えば点滅表示等の表示態様の変更によってさらに強調表示するようにしてもよい。

前述したように、ドライバモニタ１１０は、ドライバＸ１の目の向きや顔の向きが「脇見」に該当するか否かを判定することができる。したがって、表示処理部４０２は、ドライバＸ１が正面から注視方向を外した場合で、方向識別指標５２１や方向識別指標５２２を表示する場合、「脇見」と「非脇見」とで、表示形態を変化させてもよい。例えば、「脇見」の場合は、方向識別指標５２１や方向識別指標５２２を点滅表示し、「非脇見」の場合は、点灯表示するようにしてもよい。また、「脇見」と「非脇見」とで、表示色を変化させてもよい。「非脇見」の場合、方向識別指標を非表示としてもよい。この場合、「非脇見」であること通知する表示を別途行ってもよい。

なお，図５の例の場合、顔画像を示す画像５１１と車外画像を示す画像５１２を並べて表示しているが、画像５１２のみを拡大表示するようにしてもよい。この場合、ドライバＸ１が表示されないものの、ドライバＸ１の注視方向は、画像５１２に付加表示される方向識別指標５２２によって明示可能であり、オペレータＸ２にドライバＸ１の運転時の注視方向の変化を容易に理解させることができる。

図６は、実施形態にかかる画像表示装置における、表示部１３１に表示される画像の他の一例を示した例示的かつ模式的な図である。なお、図５と図６では、方向識別指標の表示形状が異なるのみで、他の表示内容は同じである。

図６の場合、顔画像を示す画像５１１に付加表示する、ドライバＸ１の注視方向を示す指標として、矢印形状の方向識別指標５２３を用いている。矢印形状の方向識別指標５２３の場合、図５に示す帯状の方向識別指標５２１に比べて注視方向をより明確かつ詳細に示すことができる。帯状の方向識別指標５２１の場合、矩形形状の画像５１１に対して、例えば、上下左右の４方向の表示となるが、矢印形状の方向識別指標５２３の場合、斜め方向を含む８方向の表示やさらにその中間方向の表示が可能であり、画像５１０を確認するオペレータＸ２により詳細なドライバＸ１の注視方向の変化を認識させることができる。なお、図６の場合、画像５１２には、図５と同様な方向識別指標５２２を表示している。図６の場合、画像５１２は画像５１１に比べて、画面サイズが小さいため、より少ない領域で注視方向を示せるように、方向識別指標５２２を用いる例が示されている。この場合も、例えば、方向識別指標５２３と方向識別指標５２２の表示色を同じにすることで、同じ注視方向を示していることをオペレータＸ２に容易に理解させることができる。なお、別の実施形態では、画像５１２に画像５１１と同様な矢印形状の方向識別指標を表示するようにしてもよい。

図７は、実施形態にかかる画像表示装置における、表示部１３１に表示される画像のさらに他の一例を示した例示的かつ模式的な図である。なお、図５と図７では、方向識別指標の表示形状が異なるのみで、他の表示内容は同じである。

図７は、顔画像を示す画像５１１に付加表示する、ドライバＸ１の注視方向を示す指標として、図５に示す帯状の方向識別指標５２１に比べて周縁部の辺方向について長さの短い矩形形状の方向識別指標５２４を用いている例である。同様に車外画像を示す画像５１２に付加表示する、ドライバＸ１の注視方向を示す指標として、図５に示す帯状の方向識別指標５２２に比べて周縁部の辺方向について長さの短い矩形形状の方向識別指標５２５を用いている例である。つまり、表示処理部４０２は、撮像画像の周縁部の少なくとも一部で方向識別指標５２４および方向識別指標５２４を表示している。

方向識別指標５２４および方向識別指標５２５は、図５に示す方向識別指標５２１および方向識別指標５２２と同様に、ドライバＸ１の注視している方向を相互に関連つけて認識させることができる。また、小片形状の方向識別指標５２４，５２５は、それぞれ周縁部を辺に沿って表示位置を移動可能であり、その表示位置によって、矢印形状の方向識別指標５２３と同様に細分化された注視方向を示すことができる。また、方向識別指標５２４や方向識別指標５２５は、矢印形状の方向識別指標５２３より小片形にできるため、画像５１１や画像５１２の表示の邪魔になることをさらに抑制することができる。

なお、方向識別指標５２４や方向識別指標５２５は、小形の輝点として示すことも可能であり、同様な効果を得ることができる。また、小形の方向識別指標５２４や方向識別指標５２５は、より目立ち易くするために、点滅表示を採用してもよい。また、小形であるため、赤色等の視覚的により刺激の強い色を採用することも可能であり、画像５１０全体としての違和感を伴うことなく注視方向の表示を行うことができる。

図８は、実施形態にかかる画像表示装置における、表示部１３１に表示される画像のさらに他の一例を示した例示的かつ模式的な図である。なお、図８は、図７の変形例であり、図７と同様に、方向識別指標以外の表示内容は同じである。

図８の場合、ドライバＸ１が斜め方向を注視している場合に表示される方向識別指標の形状を示すものである。図８の場合、ドライバＸ１が斜め方向を注視している場合、矩形形状の表示領域である画像５１１や画像５１２の角部に略Ｌ字形状の方向識別指標５２６や略三角形状の方向識別指標５２７を表示している。この場合、注視方向が斜め方向あることをオペレータＸ２に容易に理解させることができる。なお、注視方向が斜め方向から外れた場合は、例えば、図７に示すような方向識別指標５２４や方向識別指標５２５の表示に移行することができる。

図５～図８に示す方向識別指標は、画像５１１や画像５１２の表示領域内側、つまり、顔画像や車外画像を表示し得る領域の一部に方向識別指標を重畳表示している例である。一方、図９に示す方向識別指標は、画像５１１や画像５１２の表示領域外側に表示される。表示領域外側とは、画像５１０の上で実際に画像５１１や画像５１２を表示する場合に利用される領域の外である。図９の場合、例えば画像５１１の周囲の枠領域に方向識別指標５２８用の表示領域５２８ａを設けている。同様に、画像５１２の周囲の枠領域に方向識別指標５２９用の表示領域５２９ａを設けている。このように、専用の表示領域５２８ａ，５２９ａを設けることにより、画像５１１や画像５１２に方向識別指標が重なることがなくなり、画像５１１や画像５１２の視認性をさらに向上することができる。

なお、表示領域５２８ａ，５２９ａは、画像５１０上で画像５１１や画像５１２の周囲で、当該画像５１１や画像５１２を表示しない異なる表示領域に確保されてもよいし、非表示領域、例えば物理的な枠領域にＬＥＤ等を配置することにより、方向識別指標を表示するようにしてもよい。例えば、本実施形態の画像表示装置専用の表示装置を備える場合や、画像５１１，画像５１２、表示領域５１３，表示領域５１４等を個別の表示装置で構成する場合にＬＥＤ等を配置した表示領域５２８ａ，５２９ａを構成することができる。

なお、図６～図８に示す方向識別指標も図９と同様に画像５１１や画像５１２の表示領域外側の表示領域を用いて表示可能であり、同様の効果を得ることができる。

以上の構成に基づき、実施形態にかかる画像表示装置４００は、次の図１０に示されるような流れに従って処理を実行する。

図１０は、実施形態にかかる画像表示装置４００が実行する一連の処理を示した例示的かつ模式的なフローチャートである。図１０に示される一連の処理は、動画としての顔画像および／または前方画像の表示再生が終了するまでの間、繰り返し実行される。

図１０に示されるように、まず、画像表示装置４００の画像取得部４０１は、車両Ｖに設けられる１以上の撮像部により取得される複数の撮像画像を取得する（Ｓ１００）。実施形態では、撮像画像として、ドライバモニタ１１０の撮像部１１１により取得される顔画像や、ドライブレコーダ１２０の撮像部１２１により取得される前方画像などが挙げられる。なお、撮像画像には、ドライバモニタ１１０で検出されたドライバＸ１の目の向きや顔の向きを示す顔画像や、「脇見」の有無等を示す注視情報が関連付けられている。

そして、表示処理部４０２は、Ｓ１００で取得した撮像画像に関連付けられた注視情報に基づき、ドライバＸ１が脇見をしているか否かの判定を行う（Ｓ１０２）。なお、ドライバモニタ１１０からドライバＸ１の目の向きや顔の向きが撮像された顔画像および車両Ｖの制御状態が注視情報として送られてくる場合、表示処理部４０２側で脇見判定を行ってもよい。

Ｓ１０２において、表示処理部４０２が、ドライバＸ１は脇見をしていると判定した場合（Ｓ１０２のＹｅｓ）、例えば、図５～図９に例示したような方向識別指標を、顔画像である画像５１１や車外画像である画像５１２において、ドライバＸ１の目の向き顔の向き（注視情報）に対応する位置に表示する（Ｓ１０４）。一方、Ｓ１０２で表示処理部４０２が、ドライバＸ１は脇見をしていないと判定した場合（Ｓ１０２のＮｏ）、画像取得部４０１で取得した撮像画像（顔画像や車外画像）を方向識別指標を非表示としたまま表示して（Ｓ１０６）、一旦このフローを終了して、次の処理周期でＳ１００からの処理を繰り返し実行する。つまり、表示部１３１に表示する画像５１０を更新し、運転行動を認識させるための表示を行う。なお、この場合、ドライバＸ１が正面を注視していることを示す指標を別途表示するようにしてもよい。この場合の指標は、画像５１１および画像５１２のそれぞれで表示してもよいし、画像５１０のいずれかの位置（例えば１箇所）に表示するようにしてもよい。

また、Ｓ１０４の処理で、方向識別指標が表示されている場合、表示処理部４０２は、注視方向が正面（例えば、顔画像における正面）になったか否かの判定を注視情報に基づき行う（Ｓ１０８）。注視方向が正面になった場合（Ｓ１０８のＹｅｓ）、表示処理部４０２は、非脇見状態になったと判定し、方向識別指標の表示を終了し（Ｓ１１０）、一旦このフローを終了して、次の処理周期でＳ１００からの処理を繰り返し実行する。

また、Ｓ１０８において、注視方向が正面でない場合（Ｓ１０８のＮｏ）、このフローを一旦終了して、次の処理周期でＳ１００からの処理を繰り返し実行する。

上述した画像表示装置４００によれば、画像取得部４０１は、車両Ｖに設けられる１以上の撮像部１１１，１２１等による撮像結果に車両ＶのドライバＸ１の目の向きと顔の向きのうち少なくとも一方を示す注視情報を関連付けた撮像画像を取得する。そして、表示処理部４０２は、撮像画像を表示部１３１に表示するとともに、注視情報に基づいて推定されるドライバＸ１の注視方向を示す方向識別指標５２１，５２２等を、注視方向に対応する撮像画像の周縁部近傍に表示することができる。その結果、例えば、表示する撮像画像の表示内容の視認の妨げになりにくい、撮像画像の周縁部近傍の位置に、ドライバＸ１の注視方向を示す画像５１２，５２２等を表示するので、表示内容が把握しやすい撮像画像の表示ができるとともに、ドライバＸ１が何処を注視していたかが分かりやすい撮像画像が表示できる。

また、上述した画像表示装置４００の画像取得部４０１は、車両Ｖの車外を撮像した車外画像と、当該車外画像を撮像したときに取得した注視情報とを関連付けた撮像画像を取得する。そして、表示処理部４０２は、車外画像に方向識別指標５２１，５２２等を表示するようにしてもよい。その結果、例えば、車外画像を確認する際にドライバＸ１が車外のどの方向に注視していたかが分かりやすい撮像画像が表示できる。

また、上述した画像表示装置４００の画像取得部４０１は、注視情報として、車両のドライバＸ１の顔が写った顔画像をさらに取得する。そして、表示処理部４０２は、撮像画像と顔画像とのそれぞれに同じ注視方向を示す方向識別指標５２１，５２２等を表示するようにしてもよい。その結果、注視方向を示す方向識別指標５２１，５２２等が顔画像の周縁部近傍に表示されるので、注視方向が把握しやすくなるとともに、顔画像とは別の撮像画像でも同じ注視方向を示す方向識別指標５２１，方向識別指標５２２が表示されるので、撮像画像が撮像されたときにドライバＸ１が何処に注視しているかを直感的にオペレータＸ２に理解させやすい表示ができる。

また、上述した画像表示装置４００の表示処理部４０２は、顔画像に方向識別指標５２１等を表示する場合、ドライバＸ１の顔と重ならない位置に方向識別指標５２１等を表示するようにしてもよい。その結果、ドライバＸ１の顔の認識、例えば表情の認識が行いやすくなり、注視方向の把握に加え、注視している原因等の推定が行いやすい表示ができる。

また、上述した画像表示装置４００の表示処理部４０２は、方向識別指標５２１，５２２等を撮像画像の表示領域内側の周縁部近傍または表示領域外側の周縁部近傍のいずれか一方に表示するようにしてもよい。その結果、表示する撮像画像の表示領域の大きさやレイアウト等に応じて、方向識別指標５２１や方向識別指標５２２の表示領域の変更が可能で、撮像画像および指標の視認性を向上させる表示ができる。

また、上述した画像表示装置４００の表示処理部４０２は、方向識別指標５２４，５２５等を撮像画像の周縁部の少なくとも一部で表示するようにしてもよい。その結果、さらに、撮像画像の内容の把握の妨げになりにくい態様で指標の表示ができる。

なお、図５～図９に示す表示例では、ドライバモニタ１１０の撮像部１１１で撮像した顔画像をそのまま表示部１３１に表示しているため、左右が逆転した画像５１１となっている。この場合、顔画像について、左右を反転する鏡面処理を施した後、画像５１１として表示してもよい。その結果、車外画像として表示している画像５１２と左右関係を揃えることができるので、より違和感の少ない画像５１０の表示を行いつつ、ドライバＸ１が見ている車外の注視方向をオペレータＸ２に理解させやすい表示ができる。

また、図５～図９に示す表示例では、顔画像と車外画像として前方画像を並べて表示する例を示したが、表示する画像はこれに限定されず、適宜変更することができる。例えば、車外画像として、前方画像に代えて、または加えて、例えば車外の側方画像や後方画像、俯瞰画像等表示してもよい。この場合も、方向識別指標は、各画像においてドライバＸ１が注視している方向に対応した位置に表示される。したがって、異なる画像が表示されている場合でも、ドライバＸ１の注視方向をオペレータＸ２に容易に把握させることができる表示を提供することができる。

また、図５～図９に示す表示例では、画像５１１（顔画像）の表示サイズが画像５１２（車外画像）の表示サイズより大きい場合を示しているが、表示サイズは、適宜変更可能であり、表示処理部４０２は、例えばオペレータＸ２による操作により、主として注目した（観察したい）画像をメイン画像として拡大表示できるようにしてもよい。なお、この場合も方向識別指標の表示は維持され、ドライバＸ１が注視している方向が各画像において把握し易くすることができる。

上述した例では、ドライバモニタ１１０の撮像部１１１は、ドライバＸ１を撮像する例を示したが、他の乗員を撮像してもよく、他の乗員の注視方向を事後的に確認できるようにしてもよい。

また、図５～図９に示す表示例では、各方向識別指標が撮像画像の周縁部に接触している状態を示したが、撮像画像の表示内容の認識の妨げにならなければ、周縁部の近傍として周縁部から離れたい位置に方向識別指標を表示してもよい。特に、図９のように、方向識別指標を表示領域外側で表示する場合は、周縁部から離間した位置で表示するようにしてもよい。

なお、実施形態にかかるＰＣ１３０において実行される画像表示プログラムは、インターネットなどのネットワーク経由で提供または配布されてもよい。すなわち、実施形態にかかるＰＣ１３０において実行される画像表示プログラムは、インターネットなどのネットワークに接続されたコンピュータ上に格納された状態で、ネットワーク経由でのダウンロードを受け付ける、といった形で提供されてもよい。

以上、本開示の実施形態を説明したが、上述した実施形態はあくまで一例であって、発明の範囲を限定することは意図していない。上述した新規な実施形態は、様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。上述した実施形態およびその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１１０ ドライバモニタ、１１１，１２１ 撮像部、１１２，１２２，１３２ 制御部、１１３，１２３，１３３ 記憶部、１１４，１２４、１３４ 入出力部、１２０ ドライブレコーダ、１３０ ＰＣ、１３１ 表示部、１５０ 記録媒体、４００ 画像表示装置、４０１ 画像取得部、４０２ 表示処理部、５１０，５１１，５１２ 画像、５１３，５１４ 表示領域、５２１，５２２，５２３，５２４，５２５，５２６，５２７，５２８，５２９ 方向識別指標、５２８ａ，５２９ａ 表示領域、Ｘ１ ドライバ（乗員）、Ｘ２ オペレータ

Claims (5)

1. 車両に設けられる１以上の撮像部による撮像結果に前記車両の乗員の目の向きと顔の向きのうち少なくとも一方を示す注視情報を関連付けた、前記乗員の顔が写った顔画像と、前記車両の車外を撮像した画像に当該画像を撮像したときに取得した前記注視情報とを関連付けた車外画像と、を取得する画像取得部と、
   前記顔画像と前記車外画像とを表示部に表示するとともに、前記注視情報に基づいて推定される前記乗員の注視方向を示す指標を、前記注視方向に対応する前記顔画像と前記車外画像の周縁部近傍に表示する表示処理部と、
   を備える、画像表示装置。
2. 前記表示処理部は、前記顔画像に前記指標を表示する場合、前記乗員の前記顔と重ならない位置に前記指標を表示する、請求項１に記載の画像表示装置。
3. 前記表示処理部は、前記指標を前記顔画像と前記車外画像の表示領域内側の周縁部近傍または表示領域外側の周縁部近傍のいずれか一方に表示する、請求項１または請求項２に記載の画像表示装置。
4. 前記表示処理部は、前記指標を前記顔画像と前記車外画像の周縁部の少なくとも一部で表示する、請求項１から請求項３のいずれか１項に記載の画像表示装置。
5. 車両に設けられる１以上の撮像部による撮像結果に前記車両の乗員の目の向きと顔の向きのうち少なくとも一方を示す注視情報を関連付けた、前記乗員の顔が写った顔画像と、前記車両の車外を撮像した画像に当該画像を撮像したときに取得した前記注視情報とを関連付けた車外画像と、を取得する画像取得ステップと、
   前記顔画像と前記車外画像とを表示部に表示するとともに、前記注視情報に基づいて推定される前記乗員の注視方向を示す指標を、前記注視方向に対応する前記顔画像と前記車外画像の周縁部近傍に表示する表示処理ステップと、
   をコンピュータに実行させるための、画像表示プログラム。

Images