JP6605615B2 - 画像処理装置、撮像装置、カメラモニタシステム、および画像処理方法 - Google Patents

Description

関連出願の相互参照

本出願は、２０１５年９月２８日に日本国に特許出願された特願２０１５−１９０４３４の優先権を主張するものであり、この先の出願の開示全体をここに参照のために取り込む。

本発明は、車両等の移動体の周辺を撮像した撮像画像を表示するための画像処理装置、撮像装置、カメラモニタシステム（ＣＭＳ；Camera Monitor System）、および画像処理方法に関する。

従来、例えば移動体の後方を撮像した撮像画像を表示装置（電子ミラー）に表示させるカメラモニタシステムが知られている。例えば、特許文献１には、車両の運転者のミラーを使用する意志に応じてモニタへの電源供給を制御するカメラモニタシステムが開示されている。

特開２００９−４０１１３号公報

本発明の一実施形態に係る画像処理装置は、移動体内の対象者の顔を撮像した第１撮像画像を受信する通信部と、第１撮像画像に基づいて判定される対象者の顔の位置および向きの少なくとも一方と、対象者の視線の向きと、に応じて、第１撮像画像上または第１撮像画像とは異なる第２撮像画像上の特定領域の位置および大きさの少なくとも一方を変化させる制御部と、を備える。制御部は移動体の従来ルームミラーが設けられる位置に備えられる表示装置に、ルームミラーが存在した場合に該ルームミラーにより対象者に視認されるべき画像を、第１撮像画像または第２撮像画像から特定領域として切り出して表示させる。制御部は、対象者の視線が移動体に備えられる表示装置に向いている場合に、対象者の顔の位置および向きの少なくとも一方の変化に応じて、特定領域の位置および大きさの少なくとも一方を変化させ、対象者の視線が移動体に備えられる表示装置に向いていない場合、特定領域の位置および大きさの変化を停止させる。

本発明の一実施形態に係る撮像装置は、移動体の外部空間における領域を撮像した撮像画像を生成する撮像部と、移動体内の対象者の顔の位置および向きの少なくとも一方と、対象者の視線の向きと、を示す情報を取得する通信部と、取得された情報に基づいて、撮像画像上の特定領域の位置および大きさの少なくとも一方を変化させる制御部と、を備える。制御部は移動体の従来ルームミラーが設けられる位置に備えられる表示装置に、ルームミラーが存在した場合に該ルームミラーにより対象者に視認されるべき画像を、撮像画像から特定領域として切り出して表示させる。制御部は、対象者の視線が移動体に備えられる表示装置に向いている場合に、対象者の顔の位置および向きの少なくとも一方の変化に応じて、特定領域の位置および大きさの少なくとも一方を変化させ、対象者の視線が移動体に備えられる表示装置に向いていない場合、特定領域の位置および大きさの変化を停止させる

本発明の一実施形態に係る撮像装置は、移動体内の対象者の顔を撮像した第１撮像画像を生成する撮像部と、第１撮像画像に基づいて判定される対象者の顔の位置および向きの少なくとも一方と、対象者の視線の向きと、に応じて、第１撮像画像上または第１撮像画像とは異なる第２撮像画像上の特定領域の位置および大きさの少なくとも一方を変化させる制御部と、第２撮像画像の特定領域を示す情報、または、第１撮像画像の特定領域を切り出した画像を出力する通信部と、を備える。制御部は移動体の従来ルームミラーが設けられる位置に備えられる表示装置に、ルームミラーが存在した場合に該ルームミラーにより対象者に視認されるべき画像を、第１撮像画像または第２撮像画像から特定領域として切り出して表示させる。制御部は、対象者の視線が移動体に備えられる表示装置に向いている場合に、対象者の顔の位置および向きの少なくとも一方の変化に応じて、特定領域の位置および大きさの少なくとも一方を変化させ、対象者の視線が移動体に備えられる表示装置に向いていない場合、特定領域の位置および大きさの変化を停止させる

本発明の一実施形態に係るカメラモニタシステムは、移動体内の対象者の顔を撮像した第１撮像画像を受信する通信部と、第１撮像画像に基づいて判定される対象者の顔の位置および向きの少なくとも一方と、対象者の視線の向きと、に応じて、第１撮像画像上または第１撮像画像とは異なる第２撮像画像上の特定領域の位置および大きさの少なくとも一方を変化させる制御部と、を含む画像処理装置と、移動体の従来ルームミラーが設けられる位置に備えられ、第１撮像画像または第２撮像画像の特定領域を切り出した画像を表示する表示装置と、を備える。制御部は、ルームミラーが存在した場合に該ルームミラーにより対象者に視認されるべき画像を、第１撮像画像上または第２撮像画像上の特定領域とする。制御部は、対象者の視線が移動体に備えられる表示装置に向いている場合に、対象者の顔の位置および向きの少なくとも一方の変化に応じて、特定領域の位置および大きさの少なくとも一方を変化させ、対象者の視線が移動体に備えられる表示装置に向いていない場合、特定領域の位置および大きさの変化を停止させる

本発明の一実施形態に係る画像処理方法は、移動体内の対象者の顔を撮像した第１撮像画像を受信するステップと、第１撮像画像に基づいて判定される対象者の顔の位置および向きの少なくとも一方と、対象者の視線の向きと、に応じて、第１撮像画像上または第１撮像画像とは異なる第２撮像画像上の特定領域の位置および大きさの少なくとも一方を変化させるステップと、移動体の従来ルームミラーが設けられる位置に備えられる表示装置に、ルームミラーが存在した場合に該ルームミラーにより対象者に視認されるべき画像を、第１撮像画像または第２撮像画像から特定領域として切り出して表示させるステップと、対象者の視線が移動体に備えられる表示装置に向いている場合に、対象者の顔の位置および向きの少なくとも一方の変化に応じて、特定領域の位置および大きさの少なくとも一方を変化させ、対象者の視線が移動体に備えられる表示装置に向いていない場合、特定領域の位置および大きさの変化を停止させるステップと、を含む。

本発明の一実施形態に係るカメラモニタシステムの概略構成を示すブロック図である。 図１のカメラモニタシステムを備える車両を左側方から見た図である。 図１のカメラモニタシステムを備える車両を上方から見た図である。 図１の画像処理装置の記憶部に記憶される対応情報を示す図である。 対象者の顔の位置が基準位置である様子を車両の上方から見た図である。 図５に示す状況において第２撮像画像に設定される特定領域を示す図である。 対象者の顔の位置が基準位置から変化した様子を車両の上方から見た図である。 図７に示す状況において第２撮像画像に設定される特定領域を示す図である。 対象者の顔の向きが基準方向から変化した様子を車両の上方から見た図である。 図９に示す状況において第２撮像画像に設定される特定領域を示す図である。 図１の画像処理装置の動作を説明するフローチャートである。 Ｃｌａｓｓ Ｉ ｆｉｅｌｄ ｏｆ ｖｉｓｉｏｎを示す図である。 Ｃｌａｓｓ ＩＩ ｆｉｅｌｄ ｏｆ ｖｉｓｉｏｎを示す図である。 Ｃｌａｓｓ ＩＩＩ ｆｉｅｌｄ ｏｆ ｖｉｓｉｏｎを示す図である。 本発明の他の実施形態に係るカメラモニタシステムを備える車両を上方から見た図である。 本発明の他の実施形態に係るカメラモニタシステムが備える２つの表示装置の位置の第１例を示す図である。 本発明の他の実施形態に係るカメラモニタシステムが備える２つの表示装置の位置の第２例を示す図である。

以下、本発明の実施形態について、図面を参照して説明する。

図１を参照して、本発明の一実施形態に係るカメラモニタシステム１０について説明する。

図１に示すように、カメラモニタシステム１０は、照明装置１１と、第１撮像装置１２と、１つ以上の第２撮像装置１３と、画像処理装置１４と、１つ以上の表示装置１５と、を備える。図１においては、１つ以上の第２撮像装置１３のうち、１つの第２撮像装置１３を例示している。図１においては、１つ以上の表示装置１５のうち、１つの表示装置１５を例示している。カメラモニタシステム１０の各構成要素は、ネットワーク１６を介して情報を送受信可能である。ネットワーク１６は、例えば無線、有線、またはＣＡＮ（Controller Area Network）などを含んでよい。他の実施形態において、カメラモニタシステム１０の一部または全部の構成要素が、１つの装置として一体的に構成されてよい。例えば、表示装置１５に画像処理装置１４および第１撮像装置１２を内蔵させる構成が考えられる。他の実施形態において、カメラモニタシステム１０は、第１撮像装置１２と、第２撮像装置１３と、画像処理装置１４と、表示装置１５と、を備えてよい。この場合、照明装置１１は、カメラモニタシステム１０とは別に設けられてよい。他の実施形態において、カメラモニタシステム１０は、画像処理装置１４と、表示装置１５と、を備えてよい。この場合、照明装置１１、第１撮像装置１２、および第２撮像装置１３は、カメラモニタシステム１０とは別に設けられてよい。

照明装置１１は、対象者１９の顔に光を照射可能な任意の位置にある。対象者１９は、例えば車両１７の運転者を含んでよい。例えば図２および図３に示すように、照明装置１１は、車両１７のダッシュボード１８に配置されてよい。第１撮像装置１２は、照明装置１１からの光が照射された対象者１９の顔を撮像可能な任意の位置にある。第１撮像装置１２は、例えば車両１７のダッシュボード１８に配置されてよい。一実施形態において、第１撮像装置１２は、画像上の対象者１９の眼の瞳孔が明るい撮像画像を生成する。以下、瞳孔が明るい撮像画像を、明瞳孔画像ともいう。例えば、照明装置１１および第１撮像装置１２が互いに近接して配置されることによって、第１撮像装置１２に明瞳孔画像を生成させてよい。他の実施形態において、第１撮像装置１２は、瞳孔が暗い撮像画像を生成してよい。以下、瞳孔が暗い撮像画像を、暗瞳孔画像ともいう。例えば、照明装置１１および第１撮像装置１２が互いに離れて配置されることによって、第１撮像装置１２に暗瞳孔画像を生成させてよい。以下、第１撮像装置１２の撮像画像を第１撮像画像ともいう。

第２撮像装置１３は、画角の広いレンズを備える。画角の広いレンズは、例えば魚眼レンズなどを含んでよい。第２撮像装置１３は、車両１７の外部空間における所定領域を撮像可能な任意の位置にある。所定領域は、例えばＵＮＥＣＥ（United Nations Economic Commission for Europe），Ｒｅｇｕｌａｔｉｏｎ Ｎｏ．４６，１５．Ｒｅｑｕｉｒｅｍｅｎｔｓに記載のＣｌａｓｓ Ｉ−ＩＩＩ ｆｉｅｌｄ ｏｆ ｖｉｓｉｏｎの少なくとも１つを含んでよい。以下、Ｃｌａｓｓ Ｉ−ＩＩＩ ｆｉｅｌｄ ｏｆ ｖｉｓｉｏｎを、単にＣｌａｓｓ Ｉ−ＩＩＩという。図１２の斜線領域Ｉは、Ｃｌａｓｓ Ｉを示す。図１３の斜線領域ＩＩは、Ｃｌａｓｓ ＩＩを示す。図１４の斜線領域ＩＩＩは、Ｃｌａｓｓ ＩＩＩを示す。一実施形態において、１つの第２撮像装置１３が、例えば図２に示すように車両１７の後方に配置されてよい。他の実施形態において、２つの第２撮像装置１３が、例えば図１５に示すように車両１７の左側方と右側方とに１つずつ配置されてよい。他の実施形態において、所定領域は、Ｃｌａｓｓ Ｉ−ＩＩＩの全てを含む領域であってよい。第２撮像装置１３は、上述した所定領域を撮像した撮像画像を生成する。以下、第２撮像装置１３の撮像画像を第２撮像画像ともいう。

表示装置１５は、運転席から対象者１９が視認可能な任意の位置にある。一実施形態において、表示装置１５は、例えば図２に示すように、車両１７において従来ルームミラーが設けられる位置に、ルームミラーに替えて配置されてよい。他の実施形態において、車両１７の左側方に配置された第２撮像装置１３に対応する１つの表示装置１５と、車両１７に右側方に配置された第２撮像装置１３に対応する１つの表示装置１５と、が車両１７に配置されてよい。図１６に示すように、２つの表示装置１５は、車両１７のダッシュボード１８上に配置されてよい。例えば、一方の表示装置１５がダッシュボード１８上の左側領域に配置され、他方の表示装置１５がダッシュボード１８上の右側領域に配置されてよい。図１７に示すように、２つの表示装置１５は、車両１７のインパネル４６上に配置されてよい。例えば、一方の表示装置１５がインパネル４６上の左側領域に配置され、他方の表示装置１５がインパネル４６上の右側領域に配置されてよい。後述するように、表示装置１５は、ミラーとしての機能と、ディスプレイとしての機能と、を切替可能に有する電子ミラーであってよい。後述するように、表示装置１５には、ディスプレイとして機能する場合に、第２撮像装置１３の第２撮像画像の一部の領域が表示される。以下、第２撮像画像の当該一部の領域を、特定領域ともいう。例えば、表示装置１５がミラーとして機能している状態において、例えば後部座席に存在する障害物で対象者１９の視界が遮られる場合がある。かかる場合、対象者１９は、表示装置１５の機能をミラーからディスプレイに切り替えることによって、表示画像を介して車両１７の外部空間における所定領域の様子を認識可能である。

カメラモニタシステム１０の各構成要素について説明する。

第１撮像装置１２について説明する。図１に示すように、第１撮像装置１２は、第１撮像光学系２４と、第１撮像素子２５と、第１ＡＦＥ（Analog Front End）２６と、第１画像処理部２７と、第１通信部２８と、第１カメラ制御部とを備える。

第１撮像光学系２４は、絞りおよび１以上のレンズを含む。第１撮像光学系２４は、通過する光による被写体像を結像させる。第１撮像光学系２４は、少なくとも所定の波長帯域の光を通過させる。所定の波長帯域は、後述するように照明装置１１から出る光の波長を含んでよい。例えば、照明装置１１から出る光が赤外光を含む場合、所定の波長帯域は、当該赤外光の波長が含まれる帯域であってよい。一実施形態において、第１撮像光学系２４は、当該所定の波長帯域の光のみを通過させるフィルタをさらに含んでよい。第１撮像光学系２４は、後述するように照明装置１１から出る光の照射先からの反射光を取込可能となる任意の位置にある。一実施形態において、第１撮像光学系２４は、照明装置１１からの光が照射された対象者１９の顔を含む被写体の像を結像可能であってよい。一実施形態において、第１撮像光学系２４は、照明装置１１の後述する照明光学系２１の近傍に設けられてよい。他の実施形態において、第１撮像光学系２４は、照明装置１１の照明光学系２１から離れた位置に設けられてよい。

第１撮像素子２５は、例えばＣＣＤ（Charge Coupled Device）撮像素子またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）撮像素子を含む。第１撮像素子２５は、第１撮像光学系２４によって結像される被写体像を撮像して、第１撮像画像を生成する。第１撮像素子２５がＣＭＯＳ撮像素子である場合には、第１ＡＦＥ２６の各機能を第１撮像素子２５が有する構成であってもよい。

第１ＡＦＥ２６は、例えばＣＤＳ（Correlated Double Sampling）、ＡＧＣ（Auto Gain Control）、およびＡＤＣ（Analog-to-Digital Converter）を含む。第１ＡＦＥ２６は、第１撮像素子２５によって生成されたアナログの第１撮像画像に対し、ＣＤＳ、ゲイン調整、およびＡ／Ｄ変換などの所定の前段画像処理を施す。

第１画像処理部２７は、例えばＤＳＰ（Digital Signal Processor）などの画像処理専用のプロセッサを含む。第１画像処理部２７は、第１ＡＦＥ２６によって前段画像処理が施された第１撮像画像に対して、露出調整処理などの所定の後段画像処理を施す。

第１通信部２８は、ネットワーク１６を介して情報の入力および出力を行うインターフェースを含む。

第１カメラ制御部２９は、例えば専用のマイクロプロセッサまたは特定のプログラムを読み込むことによって特定の機能を実行する汎用のＣＰＵを含む。第１カメラ制御部２９は、第１撮像装置１２全体の動作を制御する。例えば、第１カメラ制御部２９は、撮像のタイミングを示す同期信号を生成し、第１通信部２８の動作を制御して当該同期信号を照明装置１１へ出力させる。第１カメラ制御部２９は、同期信号が出力されると、第１撮像素子２５の動作を制御して、被写体を撮像させる。第１カメラ制御部２９は、第１画像処理部２７および第１通信部２８の動作を制御して、後段画像処理が施された第１撮像画像を、ネットワーク１６を介して画像処理装置１４へ出力させる。他の実施形態において、同期信号は、カメラモニタシステム１０に含まれる構成要素のうち、第１撮像装置１２以外の構成要素によって生成されてよい。例えば、照明装置１１、第２撮像装置１３、画像処理装置１４、または表示装置１５によって、同期信号が生成されてよい。生成された同期信号は、第１撮像装置１２および照明装置１１にそれぞれ入力されてよい。

照明装置１１について説明する。照明装置１１は、１以上の光源２０と、照明光学系２１と、照明装置通信部２２と、照明装置制御部２３と、を備える。

光源２０は、例えばＬＥＤなどを含む。光源２０は、少なくとも所定の波長帯域の光を発する。所定の波長帯域の光は、第１撮像装置１２の第１撮像光学系２４を通過可能な光である。一実施形態において、光源２０は赤外帯域の拡散光を発する赤外ＬＥＤであってよい。

照明光学系２１は、例えば画角が調整されたレンズを含む。照明光学系２１は、照明光学系２１を透過する光を照射する。一実施形態において、照明光学系２１を透過した光源２０からの光は、対象者１９の顔全体に照射される。

照明装置通信部２２は、ネットワーク１６を介して情報の入力および出力を行うインターフェースを含む。以下、情報の入力を、情報の取得または受信ともいう。

照明装置制御部２３は、例えば専用のマイクロプロセッサまたは特定のプログラムを読み込むことによって特定の機能を実行する汎用のＣＰＵ（Central Processing Unit）を含む。照明装置制御部２３は、照明装置１１の各部位の動作を制御する。例えば、照明装置制御部２３は、第１撮像装置１２の撮像タイミングと同期して、光源２０を発光させる。一実施形態において、照明装置制御部２３は、照明装置通信部２２を介して取得する同期信号に応じて周期的に、光源２０に赤外帯域の光を所定の発光時間パルス発光させる。上述したように、第１撮像装置１２は、同期信号に応じて撮像画像を生成する。このため、照明装置１１の発光タイミングと、第１撮像装置１２の撮像タイミングと、が同期される。

第２撮像装置１３について説明する。第２撮像装置１３は、第２撮像光学系３０と、第２撮像素子３１と、第２ＡＦＥ３２と、第２画像処理部３３と、第２通信部３４と、第２カメラ制御部３５とを備える。

第２撮像光学系３０は、絞りおよび１以上のレンズを含む。第２撮像光学系３０は、被写体像を結像させる。一実施形態において、第２撮像光学系３０は広い画角を有しており、上述のように車両１７の外部空間における所定領域の被写体像を結像可能である。

第２撮像素子３１は、例えばＣＣＤ撮像素子またはＣＭＯＳ撮像素子を含む。第２撮像素子３１は、第２撮像光学系３０によって結像される被写体像を撮像して、第２撮像画像を生成する。第２撮像素子３１がＣＭＯＳ撮像素子である場合には、第２ＡＦＥ３２の各機能を第２撮像素子３１が有する構成であってもよい。第２撮像素子３１を、撮像部ともいう。

第２ＡＦＥ３２は、例えばＣＤＳ、ＡＧＣ、およびＡＤＣを含む。第２ＡＦＥ３２は、第２撮像素子３１によって生成されたアナログの第２撮像画像に対し、ＣＤＳ、ゲイン調整、およびＡ／Ｄ変換などの所定の前段画像処理を施す。

第２画像処理部３３は、例えばＤＳＰなどの画像処理専用のプロセッサを含む。第２画像処理部３３は、第２ＡＦＥ３２によって前段画像処理が施された第２撮像画像に対して、ホワイトバランス調整処理および露出調整処理などの所定の後段画像処理を施す。一実施形態において、後段画像処理には、第２撮像画像を左右方向に反転する左右反転処理が含まれる。したがって、例えば車両１７の左後方に位置する被写体は、第２撮像画像上の左方側に撮像される。このため、後述するように第２撮像画像が表示装置１５に表示されると、対象者１９は実際のルームミラーを視認する場合と同様の感覚で車両１７の後方周辺を視認可能である。

第２通信部３４は、ネットワーク１６を介して情報の入力および出力を行うインターフェースを含む。

第２カメラ制御部３５は、例えば専用のマイクロプロセッサまたは特定のプログラムを読み込むことによって特定の機能を実行する汎用のＣＰＵを含む。第２カメラ制御部３５は、第２撮像装置１３全体の動作を制御する。例えば、第２カメラ制御部３５は、第２撮像素子３１の動作を制御して、周期的に、例えば３０ｆｐｓ(flame per seconds)で被写体を撮像させる。第２カメラ制御部３５は、第２画像処理部３３および第２通信部３４の動作を制御して、後段画像処理が施された第２撮像画像を、ネットワーク１６を介して画像処理装置１４へ出力させる。

画像処理装置１４について説明する。画像処理装置１４は、通信部３６と、記憶部３７と、制御部３８とを備える。

通信部３６は、ネットワーク１６を介して情報の入力および出力を行うインターフェースを含む。

記憶部３７は、画像処理装置１４の動作に必要な種々の情報およびプログラムを記憶する。例えば記憶部３７は、第１撮像画像上で検出され得る対象者１９の、第１撮像画像上の顔の位置を示す第１パラメータ、顔の向きを示す第２パラメータ、および顔の大きさを示す第３パラメータのうち少なくとも１つと、第１撮像画像上の眼全体における瞳孔部分または虹彩部分の位置を示す第４パラメータと、の多様な組み合わせを予め記憶する。記憶部３７は、当該多様な組み合わせそれぞれに対応付けて、車両１７における対象者１９の顔の位置および向きの少なくとも一方を示す第１情報、ならびに対象者１９の視線が表示装置１５に向いているか否かを示す第２情報を含む対応情報を予め記憶する。車両１７における対象者１９の顔の位置および向きを示す第１情報は、例えば車両１７における対象者１９の顔の位置を示す座標および方向ベクトルであるが、これに限られない。対応情報は、例えば図４に示すように、ルックアップテーブルとして記憶されてもよい。対応情報は、車両１７に設置される第１撮像装置１２および表示装置１５の位置関係に基づき、例えば実験またはシミュレーションによって予め生成可能である。

後述するように対応情報は、車両１７における対象者１９の顔の位置および向きの少なくとも一方と、対象者１９の視線の向きと、を判定するために、制御部３８によって用いられる。

制御部３８は、例えば専用のマイクロプロセッサまたは特定のプログラムを読み込むことによって特定の機能を実行する汎用のＣＰＵを含む。制御部３８は、画像処理装置１４全体の動作を制御する。

例えば制御部３８は、通信部３６の動作を制御して、第１撮像装置１２から第１撮像画像を受信させ、第２撮像装置１３から第２撮像画像を受信させる。

制御部３８は、第１撮像画像上の対象者１９の顔および眼を検出する。顔および眼の検出には、例えばパターンマッチングを用いる手法、または第１撮像画像上の特徴点を抽出する手法など、任意の手法が採用可能である。特徴点は、例えば、顔の輪郭、眼、鼻、および口などに対応する画像上の点を含む。

制御部３８は、第１撮像画像上で検出された運転者の第１パラメータ乃至第４パラメータを決定する。

第１撮像画像上の顔の位置を示す第１パラメータの決定には、例えば第１撮像画像上の対象者１９の顔の輪郭を検出し、検出された輪郭の画像上の位置を判定する手法が採用可能である。

第１撮像画像上の顔の向きを示す第２パラメータの決定には、例えば第１撮像画像上の対象者１９の顔の輪郭および鼻を検出し、検出された輪郭と鼻の画像上の相対位置関係に基づいて顔の向きを判定する手法が採用可能である。

第１撮像画像上の顔の大きさを示す第３パラメータの決定には、例えば第１撮像画像上の対象者１９の顔の輪郭を検出し、検出された輪郭の画像上の大きさを判定する手法が採用可能である。

第１撮像画像上の眼全体における瞳孔部分または虹彩部分の位置を示す第４パラメータの決定には、例えば第１撮像画像上の対象者１９の眼および瞳孔を検出し、検出された眼全体における瞳孔部分または虹彩部分の画像上の位置を判定する手法が採用可能である。

制御部３８は、決定された第１パラメータ乃至第４パラメータの組み合わせを、予め記憶した対応情報と照合する。制御部３８は、照合結果に基づき、車両１７における対象者１９の顔の位置および向きの少なくとも一方と、対象者１９の視線が表示装置１５に向いているか否かと、を判定する。

制御部３８は、第１撮像画像の現在フレームに対応付けて、第１パラメータ乃至第４パラメータと、判定結果と、を記憶部３７に記憶する。一実施形態において、判定結果は、車両１７における対象者１９の顔の位置および向きを示す情報と、対象者１９の視線が表示装置１５に向いているか否かを示す情報と、を含む。

制御部３８は、現在フレームに対応付けられた判定結果が、対象者１９の視線が表示装置１５に向いていることを示すか否かを判別する。

現在フレームに対応付けられた判定結果が、対象者１９の視線が表示装置１５に向いていないことを示す場合に、制御部３８は、第２撮像画像に設定する特定領域の位置および大きさを、それぞれ所定の値に定める。所定の値を、基準値ともいう。基準値は、任意に定められてよい。あるいは制御部３８は、過去フレームにおいて第２撮像画像に設定された特定領域の位置および大きさを維持してもよい。過去フレームは、例えば直前のフレームを含んでもよいが、これに限られない。特定領域の位置および大きさを維持する処理は、特定領域の位置および大きさの変化を停止する処理を含んでもよい。制御部３８は、通信部３６の動作を制御して、第２撮像画像の特定領域を切り出した画像を表示装置１５へ出力させる。

一方、現在フレームに対応付けられた判定結果が、対象者１９の視線が表示装置１５に向いていることを示す場合に、制御部３８は、過去フレームに対応付けられた判定結果が、対象者１９の視線が表示装置１５に向いていることを示すか否かを判別する。

制御部３８は、過去フレームに対応付けられた判定結果が、対象者１９の視線が表示装置１５に向いていることを示す場合に、車両１７における対象者１９の顔の位置および向きの少なくとも一方の、過去フレームから現在フレームまでの間の変化に応じて、第２撮像画像に設定する特定領域の位置および大きさの少なくとも一方を変化させる。特定領域の位置および大きさの少なくとも一方を変化させる制御部３８の動作の詳細については後述する。

制御部３８は、通信部３６の動作を制御して、第２撮像画像の特定領域を切り出した画像を表示装置１５へ出力させる。

表示装置１５について説明する。表示装置１５は、表示装置通信部３９と、表示部４０と、光学部材４１と、を備える。

表示装置通信部３９は、ネットワーク１６を介して情報の入力および出力を行うインターフェースを含む。

表示部４０は、例えば液晶ディスプレイまたは有機ＥＬ（Electroluminescence）ディスプレイなどの表示デバイスを含む。表示部４０は、例えば表示装置通信部３９が受信した画像を表示可能である。表示部４０は、車室内に向かって開口する表示装置１５の筐体の内部に、表示部４０のバックライトまたは自発光による光を車室内に向かって放射可能となるように備えられる。表示部４０は、例えば表示装置１５に対する対象者１９の所定操作に応じて、動作のオンオフを切替可能に構成される。

光学部材４１は、例えばハーフミラーなどのビームスプリッタとして機能する部材を含む。光学部材４１は、光学部材４１に対する入射光の一部を反射し、一部を透過する。光学部材４１は、パネル状であり、表示装置１５の筐体に備えられた表示部４０よりも車室側に、例えば筐体の開口を覆うように備えられる。したがって、表示部４０の動作がオフである場合に、すなわち表示部４０が発光していない場合に、表示装置１５は、光学部材４１によって外光を反射するミラーとして機能する。一方、表示部４０の動作がオンである場合に、すなわち表示部４０が発光している場合に、表示部４０からの光のうち光学部材４１を透過した光が車室に向かって放射される。このとき、表示装置１５はディスプレイとして機能する。

特定領域の位置および大きさの少なくとも一方を変化させる画像処理装置１４の制御部３８の動作について具体的に説明する。上述したように、制御部３８は、現在フレームに対応付けられた判定結果および過去フレームに対応付けられた判定結果の両方が、対象者１９の視線が表示装置１５に向いていることを示す場合に、特定領域の位置および大きさの少なくとも一方を変化させる。具体的には、制御部３８は、車両１７における対象者１９の顔の位置および向きの少なくとも一方に基づいて、特定領域の位置および大きさの少なくとも一方を変化させる。したがって、例えば対象者１９の視線が表示装置１５に向けられたまま、車両１７における対象者１９の顔の位置および向きの少なくとも一方が変化すると、特定領域の位置および大きさの少なくとも一方が変化する。以下、車両１７における対象者１９の顔の位置および向きの少なくとも一方を、対象者１９の「姿勢」ともいう。「姿勢」には、対象者１９の視線は含まれない。したがって、対象者１９は、例えばある１つの姿勢を維持したまま、視線を自由に変化させてよい。図５乃至図１０を参照して、対象者１９の視線が表示装置１５に向けられたまま、対象者１９の姿勢が変化する例について説明する。

車両１７において対象者１９が所定の基準姿勢である状態について説明する。基準姿勢は、車両１７の運転を行う対象者１９が通常の態様で運転席に着座した状態における、対象者１９の姿勢である。基準姿勢は、例えばカメラモニタシステム１０の初回動作時にキャリブレーションを行うことによって、対象者１９毎に決定される。以下、基準姿勢において、車両１７における対象者１９の顔の位置を基準位置といい、顔の向きを基準方向という。基準方向は、例えば車両１７の前方方向に略一致する方向である。

例えば図５は、対象者１９が基準姿勢である場合における、対象者１９と表示装置１５との位置関係を示している。かかる場合において、例えば図６に示すように、第２撮像画像４２の特定領域４３の位置および大きさがそれぞれ基準値に定められる。

車両１７における対象者１９の顔の位置が移動した場合について説明する。顔の位置の移動を、顔の位置の変化ともいう。対象者１９の顔の向きは、基準方向のままであるものとする。すなわち、対象者１９の顔が車両１７の前方方向を向いた状態である。例えば図７は、対象者１９の顔が、車両１７の前方に向かって左方向に基準位置から変化した様子を示している。かかる場合において、対象者１９の顔の位置の変化分は、対象者１９の顔から表示装置１５へ向かう第１方向の成分４４と、当該第１方向に垂直な第２方向の成分４５と、を有する。

制御部３８は、対象者１９の顔の位置の変化分が第１方向の成分４４を有する場合に、特定領域４３の大きさを大きくまたは小さくする。好適には、制御部３８は、第１方向の成分４４が正である場合、すなわち対象者１９の顔が表示装置１５に近付いた場合に、例えば図８に示すように、特定領域４３の大きさを大きくする。かかる構成によって、対象者１９が実際のミラーを介して車両１７の後方周辺を視認する場合に近い使用感が実現される。

制御部３８は、対象者１９の顔の位置の変化分が第２方向の成分４５を有する場合に、特定領域４３の位置を、第２方向と略同一の方向または略逆向きの方向に向かって変化させる。好適には、制御部３８は、第２方向と略逆向きの方向に向かって特定領域の位置を変化させる。例えば第２方向が左方向である場合、制御部３８は、図８に示すように、左方向と略逆向きの右方向に向かって特定領域の位置を変化させる。かかる構成によって、対象者１９が実際のミラーを介して車両１７の後方周辺を視認する場合に近い使用感が実現される。

車両１７における対象者１９の顔の向きが、例えば顔の正面に向かって上下左右何れかの第３方向に変化した場合について説明する。顔の向きが第３方向に変化することを、顔が第３方向に回転するともいう。例えば、図９は、対象者１９の顔の向きが、顔の正面に向かって右方向に変化した様子を示している。すなわち、図９は、対象者１９の顔が右方向に回転した様子を示している。かかる場合において、制御部３８は、第３方向と略同一の方向または略逆向きの方向に向かって、特定領域４３の位置を変化させる。好適には、制御部３８は、第３方向と略逆向きの方向に向かって、特定領域４３の位置を変化させる。例えば第３方向が右方向である場合、制御部３８は、図１０に示すように、左方向に向かって特定領域４３の位置を変化させる。かかる構成によって、対象者１９が実際のミラーを介して車両１７の後方周辺を視認する場合に近い使用感が実現される。

あるいは、制御部３８は、車両１７における対象者１９の顔の向きが、所定方向と異なる場合に、当該所定方向から対象者１９の顔の向きへ向かう第４方向と略同一の方向または略逆向きの方向に向かって、特定領域４３の位置を変化させてもよい。所定方向は、例えば車両１７の前方方向である基準方向、または基準位置から表示装置１５に向かう方向であるが、任意に定められてよい。かかる構成によって、対象者１９は、視線を表示装置１５に向けたまま、顔の方向を所定方向から上下左右に変化させることで、表示装置１５に表示される画像の領域を変化させることが可能となる。

図１１のフローチャートを参照して、画像処理装置１４の動作について説明する。本動作は、例えば表示装置１５の表示部４０の動作がオンに切り替わったときに開始され、表示部４０の動作がオフに切り替わるまで、第１撮像画像が生成される各フレームで実行される。

ステップＳ１００：制御部３８は、通信部３６の動作を制御して、第１撮像装置１２から第１撮像画像を受信させ、第２撮像装置１３から第２撮像画像４２を受信させる。

ステップＳ１０１：制御部３８は、第１撮像画像上の対象者１９の顔および眼を検出する。

ステップＳ１０２：制御部３８は、第１撮像画像上で検出された対象者１９の第１パラメータ乃至第４パラメータを決定する。

ステップＳ１０３：制御部３８は、決定された第１パラメータ乃至第４パラメータの組み合わせを、予め記憶した対応情報と照合して、車両１７における対象者１９の顔の位置および向きの少なくとも一方と、対象者１９の視線が表示装置１５に向いているか否かと、を判定する。

ステップＳ１０４：制御部３８は、第１撮像画像の現在フレームに対応付けて、ステップＳ１０２で決定した第１パラメータ乃至第４パラメータと、ステップＳ１０３における判定結果と、を記憶部３７に記憶する。

ステップＳ１０５：制御部３８は、現在フレームに対応付けられた判定結果が、対象者１９の視線が表示装置１５に向いていることを示すか否かを判別する。視線が表示装置１５に向いている場合には（ステップＳ１０５−Ｙｅｓ）、ステップＳ１０６に進む。一方、視線が表示装置１５に向いていない場合には（ステップＳ１０５−Ｎｏ）、ステップＳ１０８に進む。

ステップＳ１０６：ステップＳ１０５で視線が表示装置１５に向いている場合には（ステップＳ１０５−Ｙｅｓ）、制御部３８は、過去フレームに対応付けられた判定結果が、対象者１９の視線が表示装置１５に向いていることを示すか否かを判別する。視線が表示装置１５に向いている場合には（ステップＳ１０６−Ｙｅｓ）、ステップＳ１０７に進む。一方、視線が表示装置１５に向いていない場合には（ステップＳ１０６−Ｎｏ）、ステップＳ１０９に進む。

ステップＳ１０７：ステップＳ１０６で視線が表示装置１５に向いている場合には（ステップＳ１０６−Ｙｅｓ）、制御部３８は、車両１７における対象者１９の顔の位置および向きの少なくとも一方の、過去フレームから現在フレームまでの間の変化に応じて、第２撮像画像４２に設定する特定領域４３の位置および大きさの少なくとも一方を変化させる。その後ステップＳ１０９に進む。

ステップＳ１０８：ステップＳ１０５で視線が表示装置１５に向いていない場合には（ステップＳ１０５−Ｎｏ）、制御部３８は、第２撮像画像４２に設定する特定領域４３の位置および大きさを、それぞれ所定の基準値に定める。あるいは制御部３８は、過去フレームにおいて第２撮像画像４２に設定された特定領域４３の位置および大きさを維持（位置および大きさの変化を停止）してもよい。その後ステップＳ１０９に進む。

ステップＳ１０９：ステップＳ１０６で視線が表示装置１５に向いていない場合（ステップＳ１０６−Ｎｏ）、ステップＳ１０７の後、またはステップＳ１０８の後に、制御部３８は、通信部３６の動作を制御して、第２撮像画像４２の特定領域４３を切り出した画像を表示装置１５へ出力させる。その後ステップＳ１００に戻る。

以上述べたように、一実施形態に係るカメラモニタシステム１０の画像処理装置１４は、対象者１９の顔の位置および向きの少なくとも一方と、対象者１９の視線の向きと、に応じて、特定領域の位置および大きさの少なくとも一方を変化させる。対象者１９の顔の位置、向き、および視線の向きは、対象者１９の顔を撮像した第１撮像画像に基づいて判定される。画像処理装置１４によれば、以下に説明するように、カメラモニタシステム１０の使用感が向上する。

従来技術において、実際のミラーを用いる従来の構成と、カメラモニタシステムを用いる構成とでは、運転者の使用感が異なる。例えば実際のミラーが用いられる構成において、車両における運転者の姿勢に応じて、ミラーを介して視認可能な車両の周辺領域が変化する。このため、カメラモニタシステムにおいても、運転者の姿勢に応じて、表示装置の表示を変化させることが、使用感の観点から望ましい。一方、運転者が意図せず姿勢を変更することが想定され、かかる場合に表示装置の表示が頻繁に変更されると、カメラモニタシステムの使用感を損なう可能性がある。したがって、カメラモニタシステムの使用感について改善の余地があった。

一方、上述した構成を有する画像処理装置１４によれば、表示装置１５に表示される画像の特定領域４３が、ユーザが実際のミラーを介して車両１７の周辺領域を見ているかのように、ユーザの姿勢に応じて変化し得る。このため、カメラモニタシステム１０の使用感が向上可能となる。

画像処理装置１４は、対象者１９の視線が表示装置１５に向いている場合に、特定領域４３の位置および大きさの少なくとも一方を変化させてもよい。かかる構成によって、例えば対象者１９が表示装置１５に注目している蓋然性が高い場合にのみ、特定領域４３が変化するので、カメラモニタシステム１０の使用感がさらに向上する。

画像処理装置１４は、車両１７における対象者１９の顔の位置の変化分が第１方向の成分４４を有する場合に、特定領域４３の大きさを大きくまたは小さくしてもよい。かかる構成によって、例えば対象者１９が実際のミラーを介して車両１７の後方周辺を視認する場合に近い使用感が実現し得るので、カメラモニタシステム１０の使用感がさらに向上する。

画像処理装置１４は、車両１７における対象者１９の顔の位置の変化分が第２方向の成分４５を有する場合に、第２方向と略同一の方向または略逆向きの方向に向かって、特定領域４３の位置を変化させてもよい。かかる構成によって、例えば対象者１９が実際のミラーを介して車両１７の後方周辺を視認する場合に近い使用感が実現し得るので、カメラモニタシステム１０の使用感がさらに向上する。

画像処理装置１４は、車両１７における対象者１９の顔の向きが上下左右に変化した第３方向と略同一の方向または略逆向きの方向に向かって、特定領域４３の位置を変化させてもよい。かかる構成によって、例えば対象者１９が実際のミラーを介して車両１７の後方周辺を視認する場合に近い使用感が実現し得るので、カメラモニタシステム１０の使用感がさらに向上する。

あるいは画像処理装置１４は、車両１７における対象者１９の顔の向きが所定方向と異なる場合に、当該所定方向から対象者１９の顔の向きへ向かう第４方向と略同一の方向または略逆向きの方向に向かって、特定領域４３の位置を変化させてもよい。かかる構成によって、対象者１９は、視線を表示装置１５に向けたまま、顔の方向を所定方向から上下左右に変化させることで、表示装置１５に表示される画像の特定領域４３を連続的に変化させることができ、カメラモニタシステム１０の使用感がさらに向上する。

本発明を諸図面や実施形態に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。したがって、これらの変形や修正は本発明の範囲に含まれることに留意されたい。例えば、各手段、各ステップなどに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の手段やステップなどを１つに組み合わせたり、あるいは分割したりすることが可能である。

例えば、上述した実施形態において、画像処理装置１４は、第２撮像装置１３から第２撮像画像４２を受信する構成について説明したが、第２撮像画像４２の受信を省略してもよい。かかる場合には、画像処理装置１４の制御部３８は、第２撮像画像４２に設定するための特定領域４３の位置および大きさを決定すると、特定領域４３の位置および大きさを示す情報を第２撮像装置１３へ出力する。第２撮像装置１３の第２カメラ制御部３５は、画像処理装置１４から受信した情報に基づいて特定領域４３を決定し、第２撮像画像４２の特定領域４３を切り出した画像を表示装置１５へ出力する。かかる構成によれば、第２撮像装置１３が第２撮像画像４２を画像処理装置１４へ出力する必要がないので、第２撮像装置１３と画像処理装置１４との間で通信すべき情報量が低減される。

上述した実施形態に係るカメラモニタシステム１０は、照明装置１１と、第１撮像装置１２と、第２撮像装置１３と、画像処理装置１４と、表示装置１５と、を備えるが、カメラモニタシステム１０の各構成要素および機能は再配置可能である。例えば、画像処理装置１４の構成および機能の一部または全部を、第１撮像装置１２および第２撮像装置１３の少なくとも一方に包含させてもよい。好適には、第１撮像装置１２の第１カメラ制御部２９は、第２撮像画像４２に設定する特定領域４３の位置および大きさを決定し、特定領域４３の位置および大きさを示す情報を第２撮像装置１３へ出力する。第２撮像装置１３の第２カメラ制御部３５は、画像処理装置１４から受信した情報に基づいて特定領域４３を決定し、第２撮像画像４２の特定領域４３を切り出した画像を表示装置１５へ出力する。

上述した実施形態において、第２撮像画像４２の特定領域４３を切り出した画像が表示装置１５に表示される構成について説明したが、例えば第１撮像装置１２の第１撮像光学系２４において赤外帯域の光のみを通過させるフィルタを省略した構成、すなわち、第１撮像装置１２を可視光カメラとして用いる構成において、第１撮像画像の特定領域を切り出した画像が表示装置１５に表示されてもよい。

上述した実施形態において、画像処理装置１４の記憶部３７が対応情報を予め記憶する構成について説明したが、記憶部３７が対応情報を記憶しない構成であってもよい。かかる場合には、画像処理装置１４の制御部３８は、第１撮像画像に基づいて決定した第１パラメータ乃至第４パラメータに基づいて、例えばシミュレーションの実行によって、車両１７における対象者１９の顔の位置および向き、ならびに視線が表示装置１５に向かっているか否かを決定する。

上述の実施形態に係るカメラモニタシステム１０の構成要素の一部は、車両１７の外部に設けられてもよい。例えば、画像処理装置１４などは、携帯電話または外部サーバなどの通信機器として実現され、カメラモニタシステム１０の他の構成要素と有線または無線によって接続されてもよい。

上述した実施形態において、カメラモニタシステム１０を車両１７に搭載する構成について説明した。しかしながら、車両１７に限られず、多様な移動体にカメラモニタシステム１０が搭載されてよい。本開示における「移動体」は、例えば車両、船舶、および航空機等を含んでよい。車両は、例えば自動車、産業車両、鉄道車両、生活車両、および滑走路を走行する固定翼機等を含んでよい。自動車は、例えば乗用車、トラック、バス、二輪車、およびトロリーバス等を含んでよい。産業車両は、例えば農業および建設向けの産業車両等を含んでよい。産業車両は、例えばフォークリフトおよびゴルフカート等を含んでよい。農業向けの産業車両は、例えばトラクター、耕耘機、移植機、バインダー、コンバイン、および芝刈り機等を含んでよい。建設向けの産業車両は、例えばブルドーザー、スクレーバー、ショベルカー、クレーン車、ダンプカー、およびロードローラ等を含んでよい。車両は、人力で走行するものを含んでよい。車両の分類は、上述した例に限られない。例えば、自動車は、道路を走行可能な産業車両を含んでよい。複数の分類に同じ車両が含まれてよい。船舶は、例えばマリンジェット、ボート、およびタンカー等を含んでよい。航空機は、例えば固定翼機および回転翼機等を含んでよい。

１０ カメラモニタシステム
１１ 照明装置
１２ 第１撮像装置
１３ 第２撮像装置
１４ 画像処理装置
１５ 表示装置
１６ ネットワーク
１７ 車両
１８ ダッシュボード
１９ 対象者
２０ 光源
２１ 照明光学系
２２ 照明装置通信部
２３ 照明装置制御部
２４ 第１撮像光学系
２５ 第１撮像素子
２６ 第１ＡＦＥ
２７ 第１画像処理部
２８ 第１通信部
２９ 第１カメラ制御部
３０ 第２撮像光学系
３１ 第２撮像素子
３２ 第２ＡＦＥ
３３ 第２画像処理部
３４ 第２通信部
３５ 第２カメラ制御部
３６ 通信部
３７ 記憶部
３８ 制御部
３９ 表示装置通信部
４０ 表示部
４１ 光学部材
４２ 第２撮像画像
４３ 特定領域
４４ 第１方向の成分
４５ 第２方向の成分
４６ インパネル

Claims (11)

1. 移動体内の対象者の顔を撮像した第１撮像画像を受信する通信部と、
   前記第１撮像画像に基づいて判定される前記対象者の顔の位置および向きの少なくとも一方と、前記対象者の視線の向きと、に応じて、前記第１撮像画像上または前記第１撮像画像とは異なる第２撮像画像上の特定領域の位置および大きさの少なくとも一方を変化させる制御部と、
   を備える、画像処理装置であって、
   前記制御部は前記移動体の従来ルームミラーが設けられる位置に備えられる表示装置に、ルームミラーが存在した場合に該ルームミラーにより前記対象者に視認されるべき画像を、前記第１撮像画像または前記第２撮像画像から前記特定領域として切り出して表示させ、
   前記制御部は、前記対象者の視線が前記移動体に備えられる表示装置に向いている場合に、前記対象者の顔の位置および向きの少なくとも一方の変化に応じて、前記特定領域の位置および大きさの少なくとも一方を変化させ、前記対象者の視線が前記移動体に備えられる表示装置に向いていない場合、前記特定領域の位置および大きさの変化を停止させる、
   画像処理装置。
2. 請求項１に記載の画像処理装置であって、
   前記通信部は、前記特定領域を示す情報、または、前記第１撮像画像もしくは前記第２撮像画像の前記特定領域を切り出した画像を出力する、画像処理装置。
3. 請求項１または２に記載の画像処理装置であって、
   前記制御部は、前記移動体における前記対象者の顔の位置の変化分が、前記対象者の顔から前記移動体に備えられる表示装置へ向かう第１方向の成分を有する場合、前記特定領域の大きさを大きくまたは小さくする、画像処理装置。
4. 請求項１乃至３の何れか一項に記載の画像処理装置であって、
   前記制御部は、前記移動体における前記対象者の顔の位置の変化分が、前記対象者の顔から前記移動体に備えられる表示装置へ向かう第１方向に垂直な第２方向の成分を有する場合、該第２方向と略同一の方向または略逆向きの方向に向かって、前記特定領域の位置を変化させる、画像処理装置。
5. 請求項１乃至４の何れか一項に記載の画像処理装置であって、
   前記制御部は、前記移動体における前記対象者の顔の向きが、顔の正面に向かって上下左右に変化した第３方向と略同一の方向または略逆向きの方向に向かって、前記特定領域の位置を変化させる、画像処理装置。
6. 請求項１乃至４の何れか一項に記載の画像処理装置であって、
   前記制御部は、前記移動体における前記対象者の顔の向きが所定方向と異なる場合、該所定方向から前記対象者の顔の向きへ向かう第４方向と略同一の方向または略逆向きの方向に向かって、前記特定領域の位置を変化させる画像処理装置。
7. 請求項１乃至６の何れか一項に記載の画像処理装置であって、
   前記第２撮像画像は、前記移動体の外部空間における領域を撮像した撮像画像である、画像処理装置。
8. 移動体の外部空間における領域を撮像した撮像画像を生成する撮像部と、
   前記移動体内の対象者の顔の位置および向きの少なくとも一方と、前記対象者の視線の向きと、を示す情報を取得する通信部と、
   取得された前記情報に基づいて、前記撮像画像上の特定領域の位置および大きさの少なくとも一方を変化させる制御部と、
   を備える、撮像装置であって、
   前記制御部は前記移動体の従来ルームミラーが設けられる位置に備えられる表示装置に、ルームミラーが存在した場合に該ルームミラーにより前記対象者に視認されるべき画像を、前記撮像画像から前記特定領域として切り出して表示させ、
   前記制御部は、前記対象者の視線が前記移動体に備えられる表示装置に向いている場合に、前記対象者の顔の位置および向きの少なくとも一方の変化に応じて、前記特定領域の位置および大きさの少なくとも一方を変化させ、前記対象者の視線が前記移動体に備えられる表示装置に向いていない場合、前記特定領域の位置および大きさの変化を停止させる、
   撮像装置。
9. 移動体内の対象者の顔を撮像した第１撮像画像を生成する撮像部と、
   前記第１撮像画像に基づいて判定される前記対象者の顔の位置および向きの少なくとも一方と、前記対象者の視線の向きと、に応じて、前記第１撮像画像上または前記第１撮像画像とは異なる第２撮像画像上の特定領域の位置および大きさの少なくとも一方を変化させる制御部と、
   前記第２撮像画像の前記特定領域を示す情報、または、前記第１撮像画像の前記特定領域を切り出した画像を出力する通信部と、
   を備える、撮像装置であって、
   前記制御部は前記移動体の従来ルームミラーが設けられる位置に備えられる表示装置に、ルームミラーが存在した場合に該ルームミラーにより前記対象者に視認されるべき画像を、前記第１撮像画像または前記第２撮像画像から前記特定領域として切り出して表示させ、
   前記制御部は、前記対象者の視線が前記移動体に備えられる表示装置に向いている場合に、前記対象者の顔の位置および向きの少なくとも一方の変化に応じて、前記特定領域の位置および大きさの少なくとも一方を変化させ、前記対象者の視線が前記移動体に備えられる表示装置に向いていない場合、前記特定領域の位置および大きさの変化を停止させる、撮像装置。
10. 移動体内の対象者の顔を撮像した第１撮像画像を受信する通信部と、前記第１撮像画像に基づいて判定される前記対象者の顔の位置および向きの少なくとも一方と、前記対象者の視線の向きと、に応じて、前記第１撮像画像上または前記第１撮像画像とは異なる第２撮像画像上の特定領域の位置および大きさの少なくとも一方を変化させる制御部と、を含む画像処理装置と、
    前記移動体の従来ルームミラーが設けられる位置に備えられ、前記第１撮像画像または前記第２撮像画像の前記特定領域を切り出した画像を表示する表示装置と、
    を備える、カメラモニタシステムであって、
    前記制御部は、ルームミラーが存在した場合に該ルームミラーにより前記対象者に視認されるべき画像を、前記第１撮像画像上または前記第２撮像画像上の前記特定領域とし、
    前記制御部は、前記対象者の視線が前記移動体に備えられる表示装置に向いている場合に、前記対象者の顔の位置および向きの少なくとも一方の変化に応じて、前記特定領域の位置および大きさの少なくとも一方を変化させ、前記対象者の視線が前記移動体に備えられる表示装置に向いていない場合、前記特定領域の位置および大きさの変化を停止させる、カメラモニタシステム。
11. 移動体内の対象者の顔を撮像した第１撮像画像を受信するステップと、
    前記第１撮像画像に基づいて判定される前記対象者の顔の位置および向きの少なくとも一方と、前記対象者の視線の向きと、に応じて、前記第１撮像画像上または前記第１撮像画像とは異なる第２撮像画像上の特定領域の位置および大きさの少なくとも一方を変化させるステップと、
    前記移動体の従来ルームミラーが設けられる位置に備えられる表示装置に、ルームミラーが存在した場合に該ルームミラーにより前記対象者に視認されるべき画像を、前記第１撮像画像または前記第２撮像画像から前記特定領域として切り出して表示させるステップと、
    前記対象者の視線が前記移動体に備えられる表示装置に向いている場合に、前記対象者の顔の位置および向きの少なくとも一方の変化に応じて、前記特定領域の位置および大きさの少なくとも一方を変化させ、前記対象者の視線が前記移動体に備えられる表示装置に向いていない場合、前記特定領域の位置および大きさの変化を停止させるステップと、
    を含む、画像処理方法。

Images