JP7383549B2 - 画像記録システム及び画像記録方法 - Google Patents

Description

本発明は、画像記録システム及び画像記録方法に関するものである。

自動車に搭載される撮像システムにおいて、同乗者の顔向きを検出して、同一方向の顔向きの同乗者の数が数値条件を満たしていれば、同乗者の顔向きの延長線上を向くように車外カメラを駆動させて車外画像の撮像を実行する技術が知られている（例えば、特許文献１）。

特開２０１４－９６６３２号公報

しかしながら、特許文献１に係る技術は、複数の乗員の視線方向が同一の方向に向かなければ、車載カメラを駆動させて当該方向の車外画像の撮像を実行しない。そのため、特許文献１に係る技術には、一人の乗員が取得すべきと感じた車外風景の画像を取得できないという問題がある。

本発明が解決しようとする課題は、一人の乗員が取得すべきと感じた車外風景の画像を取得できる画像記録システム及び画像記録方法を提供することである。

本発明は、少なくとも車両の乗員を含む車両の車内の車内画像を取得し、車内画像の画像認識により、乗員のジェスチャを検出し、一人の乗員のジェスチャが検出された場合、ジェスチャで指示される指示方向、又はジェスチャと一人の乗員との位置関係によって指示される方向の指示範囲を特定し、車両の車外の車外画像を取得し、取得された車外画像のうち、指示方向又は指示範囲の車外画像を指示画像として記録することによって上記課題を解決する。

本発明によれば、一人の乗員が取得すべきと感じた車外風景の画像を取得できる。

図１は、第１実施形態における画像記録システムの構成の一例を示す図である。 図２は、乗員による範囲指定のジェスチャを示す一例である。 図３は、第１実施形態における画像記録制御の手順の一例を示すフローチャートある。 図４は、第２実施形態における画像記録システムの構成の一例を示す図である。 図５は、乗員による指示方向の変化の一例を示す図である。 図６は、第２実施形態における画像表示制御の手順の一例を示すフローチャートである。 図７は、第３実施形態における画像記録システムの構成の一例を示す図である。 図８は、第３実施形態における画像表示制御の手順の一例を示すフローチャートである。

≪第１実施形態≫
本発明に係る画像記録システムの一実施形態を図面に基づいて説明する。

本実施形態に画像記録システムの構成を図１を用いて説明する。図１は、本実施形態における画像記録装置１を含む画像記録システム１００の一例を示すブロック図である。

画像記録装置１は、コントローラ１０、加速度センサ２０、ジャイロセンサ２１、ＧＰＳ２２、車速センサ２３、地図データ２４、車内カメラ３０、車外カメラ３１と、記憶装置４０を備える。画像記録装置１は、車両２に搭載されている装置であり、車外の風景等の画像を取得して記録する。

コントローラ１０は、加速度センサ２０、ジャイロセンサ２１、ＧＰＳ２２、車速センサ２３、地図データ２４、車内カメラ３０、車外カメラ３１、記憶装置４０とお互いに通信可能である。コントローラ１０は、各種センサ等からの情報に基づいて、乗員が画像取得したい車外の景色等の方向又は範囲を特定し、当該景色の画像を取得して記録させる制御を行う。本実施形態におけるコントローラ１０は、ハードウェア及びソフトウェアを有するコンピュータを備えており、このコンピュータはプログラムを格納したＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）と、ＲＯＭに格納されたプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）と、アクセス可能な記憶装置として機能するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）を含むものである。なお、動作回路としては、ＣＰＵに代えて又はこれとともに、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）などを用いることができる。コントローラ１０は、機能ブロックとして、車内画像取得部１１と、車外画像取得部１２と、ジェスチャ検出部１３と、車両状態推定部１４と、指示内容特定部１５と、画像記録制御部１６とを含んで構成され、上記各機能を実現する又は各処理を実行するためのソフトウェアと、ハードウェアとの協働により各機能を実行する。なお、本実施形態では、コントローラ１０が有する機能を６つのブロックとして分けた上で、各機能ブロックの機能を説明するが、コントローラ１０の機能は必ずしも６つのブロックに分ける必要はなく、５以下の機能ブロック、あるいは、７つ以上の機能ブロックで分けてもよい。

車内画像取得部１１は、車内カメラ３０により撮像された車内画像を取得する。具体的には、車内画像取得部１１は、車内カメラ３０により所定周期で車両内を撮像させる。そして、車内画像取得部１１は、車内カメラ３０により撮像された車内画像を所定周期で取得する。

車外画像取得部１２は、車外カメラ３１により撮像された車外画像を取得する。具体的には、車外画像取得部１２は、車外カメラ３１により所定周期で車両外を撮像させる。そして、車外画像取得部１２は、ジェスチャ検出部１３により乗員の所定のジェスチャが検出されると、乗員のジェスチャが検出された時間に撮像された車外画像を取得する。車外画像取得部１２により取得される車外画像には、撮像された撮像時間と車外に対する撮像方向の情報が記憶されているため、車外画像取得部１２は、この撮像時間に基づいて、乗員のジェスチャが検出された時間に撮像された車外画像を取得する。

ジェスチャ検出部１３は、一人の乗員によるジェスチャを検出する。具体的には、ジェスチャ検出部１３は、車内画像取得部１１により取得された車内画像から画像認識処理により、一人の乗員の所定のジェスチャを検出する。検出の対象となる所定のジェスチャとしては、例えば、方向指示ジェスチャである。方向指示ジェスチャは、すなわち、特定の方向に向けて人差し指を向けるジェスチャである。また、所定のジェスチャは、範囲指定ジェスチャであってもよい。範囲指定ジェスチャは、図２で示されるように、指示範囲を両手の指で形成するジェスチャである。例えば、ジェスチャ検出部１３は、画像認識処理により、一人の乗員の両手の人差し指と親指を特定し、両手の人差し指と親指に接するように設定された矩形を指示範囲として特定する。また、乗員がトラッキングデバイスを装着又は把持する場合には、ジェスチャ検出部１３は、トラッキングデバイスにより取得される手や指の動きにより、一人の乗員のジェスチャを検出してもよい。例えば、乗員がグローブ型のトラッキングデバイスを装着している場合には、ジェスチャ検出部１３は、指差し等の動作を検出する。なお、遠隔ユーザのアバターが仮想的に車両２内に表示されている場合には、ジェスチャ検出部１３は、トラッキングデバイスにより遠隔ユーザのジェスチャを検出してもよい。

車両状態推定部１４は、車両２の現在位置及び向きを推定する。具体的には、車両状態推定部１４は、加速度センサ２０、ジャイロセンサ２１、ＧＰＳ２２、地図データ２４から各種情報を取得し、取得された情報に基づいて、車両２の現在位置及び向きを推定する。例えば、車両状態推定部１４は、ＧＰＳ２２により、車両２の現在位置を推定する。また、車両状態推定部１４は、例えば、ジャイロセンサ２１により、進行方向に対する車両２の向きを検出する。また、車両状態推定部１４は、車速センサ２３により、車両２の車速を検出する。

指示内容特定部１５は、ジェスチャ検出部１３により一人の乗員のジェスチャが検出された場合に、検出されたジェスチャにより示される指示方向又は指示範囲を特定する。まず、指示内容特定部１５は、ジェスチャの形に基づいて、ジェスチャの指示内容を判定する。ジェスチャの指示内容は、指示方向の特定及び指示範囲の特定のいずれかである。ジェスチャの指示内容は、ジェスチャの形にあらかじめ対応づけられている。例えば、指示内容特定部１５は、検出されたジェスチャが方向指示ジェスチャである場合には、指示内容を、指示方向の特定であると判定する。また、指示内容特定部１５は、検出されたジェスチャが範囲指定ジェスチャである場合には、指示内容は、指示範囲の特定であると判定する。

次に、指示内容特定部１５は、指示内容の判定結果に応じて、ジェスチャで指示される指示方向、又はジェスチャと一人の乗員との位置関係によって指示される方向の指示範囲を特定する。指示内容特定部１５は、指示内容が指示方向の特定であると判定された場合には、ジェスチャによって示される指示方向を特定する。まず、指示内容特定部１５は、検出されたジェスチャの車内における位置と向きに基づいて、車両２を基準とした相対的な方向を特定する。例えば、指示内容特定部１５は、車内画像から一人の乗員の指の向きを検出して、車両２の前後方向（進行方向）を基準とした相対的な方向を特定する。また、指示内容特定部１５は、画像認識処理により、一人の乗員の指の位置と肩の位置を検出して、指の位置と肩の位置を通る直線方向から、車両２の進行方向を基準とした相対的な方向を特定してもよい。次に、指示内容特定部１５は、車両２を基準とした相対的な方向と車両２の向きから、車両２を基準とした相対的な方向が示している車外の方向を指示方向として特定する。例えば、指示内容特定部１５は、ジャイロセンサ２１の検出情報に基づいて、車両２が走行する道路の進行方向を基準として、車両２の相対的な向きを推定する。そして指示内容特定部１５は、車両２を基準とした相対的な方向と車両２の相対的な向きに基づいて、車外に対する指示方向を特定する。

また、指示内容特定部１５は、指示内容が指示範囲の特定であると判定された場合には、ジェスチャを行っている乗員の視点位置とジェスチャの位置によって示される方向の指示範囲を特定する。具体的には、指示内容特定部１５は、ジェスチャを行った乗員の両目の間の中心点から、ジェスチャによって形成される範囲の中心位置を通る直線に沿った視線方向を範囲方向とする。このとき、指示内容特定部１５は、指示方向と同様に、車内画像から画像認識処理により、車両２を基準とした範囲方向を特定する。そして、指示内容特定部１５は、車両２を基準とした範囲方向と車両２の向きに基づいて、車外に対する範囲方向を特定する。車外に対する範囲方向が特定されると、指示内容特定部１５は、車外に対する範囲方向における、ジェスチャで形成された範囲を指示範囲として特定する。なお、範囲方向は、乗員の位置から指示範囲の中心点を通る直線の延長方向を範囲方向としてもよい。また、指示内容特定部１５は、車内画像から画像認識処理により、乗員が片目をつぶっていると判定される場合には、開いているほうの目の位置から指示範囲の中心点を通る直線の延長方向を範囲方向としてもよい。

画像記録制御部１６は、車外画像取得部１２により取得された車外画像から、指示内容特定部１５により特定された指示方向又は指示範囲を特定して、特定された指示方向又は指示範囲に含まれる画像を指示画像として抽出して記憶装置４０に記録させる。具体的には、まず、画像記録制御部１６は、車外画像に記憶されている撮像方向の情報に基づいて、指示方向又は範囲方向に一致する撮像方向の車外画像を特定する。次に、画像記録制御部１６は、指示方向の所定範囲又は範囲方向の指示範囲に含まれる画像を指示画像として特定し、特定された指示画像を記憶装置４０に記憶させる。例えば、画像記録制御部１６は、指示方向の車外画像を特定する場合には、指示方向を示している指先を頂点として、指示方向に沿った直線に対して左右３０度、上下３０度の範囲の車外画像を指示画像として記録させる。

加速度センサ２０は、運転者の操縦等によって生じる車両２の加速度を検出する。運転者の操縦は、加減速及び操舵を含む。具体的には、加速度センサ２０は、お互いに直交するＸ軸、Ｙ軸、Ｚ軸の３軸について、それぞれの軸方向に沿った加速度を取得する。加速度センサ２０により取得された加速度は、コントローラ１０の車両状態推定部１４に出力される。

ジャイロセンサ２１は、車両２の姿勢変化によって生じる車両２の角速度を検出する。車両２の姿勢変化は、加減速及び操舵といった運転者の操縦等に伴って生じる。具体的には、ジャイロセンサ２１は、上述のＸ軸、Ｙ軸、Ｚ軸の３軸について、それぞれの軸回りの角速度を検出する。ジャイロセンサ２１により取得された角速度は、コントローラ１０の車両状態推定部１４に出力される。

ＧＰＳ２２は、車両２の現在位置を検出するＧＰＳ機器である。ＧＰＳ２２は、複数の衛星通信から送信される電波を受信機で受信することで、車両２の位置情報を取得する。また、ＧＰＳ２２は、周期的に複数の衛星通信から送信される電波を受信することで、車両２の位置情報の変化を検出できる。

車速センサ２３は、車両２の車速を検出する。例えば、車速センサ２３は、車両２のドライブシャフトなどの駆動系の回転速度を計測し、これに基づいて車両２の車速を検出する。車速センサ２３より検出された車両２の車速の情報はコントローラ１０に出力される。

地図データ２４は、道路情報等の情報を含む地図データである。道路情報としては、例えば、道路境界、車線、道路標示等に関する情報を含む。また、地図データ２４は、道路周辺等に位置する地物に関する地物情報を含む。例えば、地物情報は、河川や山、建築物等のランドマークに関する地図上の位置情報等である。

車内カメラ３０は、いわゆるＣＣＤやＣＭＯＳなどの撮像素子、光学レンズ、光学フィルタ、電源等の周辺電子回路を備え、撮像素子により画像を撮像する撮像装置である。車内カメラ３０は、車両２内の乗員を含む車内の車内画像を撮像するように車両２内に配置されている。特に、車内カメラ３０は、乗員の顔や乗員の指・手を含む車内画像を撮像する。また、車内カメラ３０は、車内画像を、所定の時間間隔で繰り返し撮像する。車内カメラ３０は、一台であってもよいし、複数台であってもよい。

車外カメラ３１は、いわゆるＣＣＤやＣＭＯＳなどの撮像素子、光学レンズ、光学フィルタ、電源等の周辺電子回路を備え、撮像素子により画像を撮像する周知の撮像装置である。車外カメラ３１は、車両２周囲の環境を撮像するように配置されている。例えば、車外カメラ３１は、車両２の前後左右に配置された複数台のカメラであり、様々な方向の車外の風景を撮像する。また、車外カメラ３１は、車外画像を、所定の時間間隔で繰り返し撮像する。車外カメラ３１は、車外画像を撮像したときに、当該車外画像が撮像された撮像時間と撮像方向の情報を、撮像された車外画像に付加する。

記憶装置４０は、画像記録制御部１６により特定された指示画像を記憶する。記憶される指示画像は、１枚でも複数枚であってもよい。

次に、図３のフローチャートを用いて、本実施形態に係る画像記録制御を行う手順を説明する。本実施形態では、車両２が走行を開始すると、ステップＳ３０１からフローを開始する。コントローラ１０は、ステップＳ３０１の車内画像の取得処理と、ステップＳ３０２のジェスチャの検出処理を繰り返し実行し、ジェスチャが検出されると、ステップＳ３０３に進む。

ステップＳ３０１では、コントローラ１０は、乗員を含む車両２の車内の車内画像を取得する。具体的には、コントローラ１０は、車内カメラ３０に車内を撮像させて、撮像された車内画像を取得する。また、本実施形態では、コントローラ１０は、一定の時間間隔で、車内カメラ３０により車内の撮像を実行し、車内画像を取得する。

ステップＳ３０２では、コントローラ１０は、ステップＳ３０２で取得された車内画像から、一人の乗員によるジェスチャを検出したか否かの判定を行う。ジェスチャは、方向指示ジェスチャ及び範囲指定ジェスチャを含む。コントローラ１０は、画像認識処理により、車内画像から、予め記憶されたジェスチャの形の特徴点を抽出し、ジェスチャを検出する。一人の乗員のジェスチャが検出された場合には、ステップＳ３０３に進む。乗員のジェスチャが検出されない場合には、ステップＳ３０１に戻り、以下、乗員のジェスチャが検出されるまでステップＳ３０１、Ｓ３０２を繰り返す。なお、本実施形態では、検出対象となるジェスチャは、方向指示ジェスチャ及び範囲指定ジェスチャとしているが、ジェスチャの種類はこれに限らず、その他の形のジェスチャ等を含むこととしてもよい。

ステップＳ３０３では、コントローラ１０は、ステップＳ３０２で判定されたジェスチャが方向指示ジェスチャ及び範囲指定ジェスチャのいずれかのうち、範囲指定ジェスチャであるか否かを判定する。具体的には、コントローラ１０は、車内画像から画像認識技術により、ジェスチャの特徴を抽出し、範囲指定ジェスチャであるか否かを判定する。ジェスチャが範囲指定ジェスチャであると判定される場合には、ステップＳ３０４に進む。また、ジェスチャが範囲指定ジェスチャであると判定されない、すなわち、ジェスチャが方向指示ジェスチャである場合には、ステップＳ３０７に進む。

ステップＳ３０４では、コントローラ１０は、指示範囲を特定する。具体的には、コントローラ１０は、まず、車内画像から、車両２を基準としたジェスチャの位置を推定する。すなわち、コントローラ１０は、ジェスチャを行った一人の乗員の指を検出し、一人の乗員の指で形成される矩形の範囲の位置を推定する。次に、コントローラ１０は、車内画像から、ジェスチャを行った一人の乗員の両目の位置を検出し、両目の間の中心点を視点位置として推定する。ジェスチャの位置及び視点位置の推定後、コントローラ１０は、視点位置からジェスチャにより形成される範囲の中心点を通る直線の延長方向を範囲方向とする。これにより、コントローラ１０は、車両２を基準とした範囲方向を推定する。そして、コントローラ１０は、車両２を基準とした範囲方向と、車両２の向きに基づいて、車外に対する範囲方向を特定し、車外に対する範囲方向における、ジェスチャで形成される範囲を指示範囲として特定する。

ステップＳ３０５では、コントローラ１０は、車外カメラ３１により撮像された車外画像を取得する。具体的には、コントローラ１０は、車外画像から、ジェスチャが検出された時間に撮像された車外画像を取得する。

ステップＳ３０６では、コントローラ１０は、ステップＳ３０４で特定された指示範囲に基づいて、ステップＳ３０５で取得された車外画像から、指示範囲に含まれる画像を指示画像として特定して、当該指示画像を記憶装置４０に記録する。

ステップＳ３０７では、指示方向を特定する。具体的には、コントローラ１０は、まず、車内画像から、車両２を基準とした指示方向を推定する。すなわち、コントローラ１０は、ジェスチャを行った一人の乗員の指を検出し、指で指示される方向を特定する。そして、コントローラ１０は、車両２を基準とした相対的な方向と車両２の向きとに基づいて、車外に対する指示方向を特定する。

ステップＳ３０８では、コントローラ１０は、車外カメラ３１により撮像された車外画像を取得する。具体的には、コントローラ１０は、ステップＳ３０５と同様に、ジェスチャが検出された時間に撮像された車外画像を取得する。

ステップＳ３０９では、コントローラ１０は、ステップＳ３０７で特定された指示方向に基づいて、ステップＳ３０８で取得された車外画像から、指示方向を中心とした所定範囲に含まれる画像を指示画像として特定して、当該指示画像を記憶装置４０に記録する。

以上のように、本実施形態では、少なくとも車両の乗員を含む車両の車内の車内画像を取得し、取得された車内画像の画像認識により、乗員のジェスチャを検出し、一人の乗員のジェスチャが検出された場合、ジェスチャで指示される指示方向、又はジェスチャと一人の乗員との位置関係によって指示される方向の指示範囲を特定し、車両の車外の車外画像を取得し、取得された車外画像のうち、指示方向又は指示範囲の車外画像を指示画像として記録する。これにより、一人の乗員が取得すべきと感じた車外風景の画像を取得できる。

また、本実施形態では、車内画像に基づいて、乗員の視線方向を検出し、検出された視線方向及びジェスチャの位置によって示される方向の指示範囲を特定する。これにより、乗員の視線方向と乗員のジェスチャから画像取得すべき車外風景の方向を特定できる。

また、本実施形態では、ジェスチャは、乗員が指差しをする方向指示ジェスチャを含み、検出されたジェスチャが方向指示ジェスチャである場合には、方向指示ジェスチャにより指差しがされた方向を、指示方向として特定する。これにより、乗員のジェスチャから画像取得すべき車外風景の方向を特定できる。

また、本実施形態では、ジェスチャは、乗員が両手の指によって指示範囲を形成する範囲指定ジェスチャを含み、検出されたジェスチャが範囲指定ジェスチャである場合には、範囲指定ジェスチャを行った乗員の両目の間の中心点と指示範囲の中心点を結ぶ直線の延長方向の指示範囲を特定する。これにより、乗員が範囲指定を行うことで、画像取得すべき車外風景の範囲を構図も含めて特定できる。

≪第２実施形態≫
次に、図４を用いて、第２実施形態に係る画像記録システム１００について説明する。第２実施形態に係る画像記録システム１００は、以下に説明する点において第１実施形態に係る画像記録システムと異なること以外は、第１実施形態と同様の構成を有し、第１実施形態と同様に動作するものであり、第１実施形態の記載を適宜、援用する。本実施形態の構成では、画像記録システム１００は、車載表示装置５０及び端末装置６０をさらに備える。なお、本実施形態では、画像記録システム１００が、車載表示装置５０及び端末装置６０のいずれかひとつを含む構成であってもよい。また、画像記録装置１は、通信装置４１をさらに備える。また、コントローラ１０は、機能構成として、距離取得部１７及び画像表示制御部１８をさらに備える。車載表示装置５０は、車両２に備えつけられている装置であって、例えば、モニタである。端末装置６０は、車両２に搭乗している乗員が利用する装置であって、例えば、携帯電話、スマートフォン、ヘッドマウントディスプレイ等である。なお、端末装置６０の利用者は、車両２に搭乗している乗員に限らず、車外のユーザであってもよい。本実施形態では、コントローラ１０は、記憶装置４０に記録した指示画像を取得して、車載表示装置５０及び端末装置６０に、指示画像及び指示画像を表示させる制御信号を送信して、車載表示装置５０及び端末装置６０に指示画像を表示させる。

車両２が走行している状態で、一人の乗員が、他の乗員と車外の風景を共有したい場合、以下のような問題がある。すなわち、一人の乗員が、車両２から距離の近い風景を共有したいと思った場合に、距離の近い風景は、車両の走行に合わせてすぐに車両後方に流れてしまうため、他の乗員が当該風景の方向に視線を向ける時間がないという問題である。このような問題に対して、本実施形態では、画像記録システム１００は、一人の乗員が共有したいと感じる風景までの距離に応じて、取得された指示画像の表示形態を制御する。具体的には、共有したい風景の距離が近い場合には、画像記録システム１００は、指示画像を表示する際のフレームレートを低くして指示画像を表示する。例えば、画像記録システム１００は静止画像として指示画像を表示する。これにより、他の乗員が当該風景の方向に視線を向ける時間がなかったとしても、一人の乗員は、表示された静止画像によって他の乗員と車外風景を共有することができる。以下、本実施形態における具体的な機能構成や制御手順について説明する。

指示内容特定部１５は、所定の時間間隔で、一人の乗員が指し示す指示方向を特定する。車両２が走行している場合には、車両の位置と向きが変化するのに応じて、車両２を基準とした指示方向も変化する。例えば、最初は、一人の乗員が車両２の前方方向を指示していたとしても、時間の経過とともに、走行する車両の位置も変化する。車両２が撮像対象の横方向まで来ると、一人の乗員は車両２の横方向を指示するようになる。指示内容特定部１５は、このような指示方向の時系列変化を特定する。具体的には、指示内容特定部１５は、所定の時間間隔で、ジェスチャによって示される方向を車両２を基準として特定する。また、このとき、車両状態推定部１４は、車両２を基準とした相対的な方向が特定された時間ごとに、車両２の位置と向きを推定する。そして、指示内容特定部１５は、所定の時間間隔で、車両２を基準とした指示方向と、車両２の位置と向きとに基づいて、車外に対する指示方向を特定する。これにより、指示内容特定部１５は、指示方向の時系列変化の情報を取得する。

距離取得部１７は、車両２から撮像対象位置までの距離を取得する。撮像対象位置は、一人の乗員が指示している撮像対象の位置である。撮像対象とは、地物等を含む車外の風景である。図５では、車両２が走行しているときに、車両２に乗車している一人の乗員Ｐが指示方向Ｑを指差ししている状況を示す一例である。図５は、車両２の位置と向きを時系列順に車両２、車両２′、車両２′′で示していて、指示方向Ｑを時系列順に指示方向Ｑ、指示方向Ｑ′、指示方向Ｑ′′で示している。一人の乗員による指示方向Ｑは、車両２の位置と向きに応じて変化する。本実施形態では、距離取得部１７は、指示内容特定部１５により特定された指示方向Ｑの時系列変化の情報に基づいて、車両２の現在位置と撮像対象位置までの距離を取得する。具体的には、距離取得部１７は、時系列変化する指示方向Ｑを用いて、各時間における指示方向Ｑがそれぞれ交わる交点を算出する。指差しによる指示方向には誤差が生じるため、それぞれの指示方向は異なる複数の交点を有すると考えられる。したがって、距離取得部１７は、複数の交点の中心点を撮像対象位置Ｒとして設定する。中心点は、例えば、複数の交点で形成される図形の重心である。そして、距離取得部１７は、撮像対象位置が設定されると、車両２の現在位置と撮像対象位置との間の距離を推定する。例えば、まず、距離取得部１７は、車速と時間から車両２の移動距離を取得する。そして、距離取得部１７は、所定の時間間隔ごとに、指示方向の角度と車両２の移動距離に基づいて、車両２の現在位置と撮像対象位置との間の距離を推定する。

画像表示制御部１８は、指示画像の表示形態を設定し、設定された表示形態によって指示画像を表示させる制御を行う。本実施形態では、画像記録制御部１６は、一人の乗員のジェスチャが検出された時点から所定時間の間に、一定の時間間隔で撮像された２以上の車外画像から、指示方向又は指示範囲に含まれる画像を指示画像として特定して、２以上の指示画像を記録する。２以上の指示画像は、時系列的に連続する画像である。すなわち、記憶装置４０には、時系列的に連続する２以上の指示画像が記録される。画像表示制御部１８は、記憶装置４０に指示画像が記録されると、まず、動画像の表示形態を設定する。具体的には、画像表示制御部１８は、距離取得部１７で取得された距離に基づいて、当該距離が閾値以下であるか否かを判定する。そして、画像表示制御部１８は、閾値による距離の評価に基づいて、指示画像を表示する際のフレームレートを設定する。例えば、画像表示制御部１８は、距離が閾値以下である場合の第１フレームレートを、距離が閾値より大きいと判定される場合の第２フレームレートよりも低く設定する。また、距離が閾値より大きいと判定される場合の第２フレームレートを、距離が閾値以下であると判定される場合の第１フレームレートよりも高く設定する。例えば、画像表示制御部１８は、第１フレームレートを１枚、すなわち、静止画像として表示形態を設定し、第２フレームレートを、車外画像を撮像した時のフレームレートで、すなわち、動画像として表示形態を設定する。一般に、走行している車両から見える車外の景色は、車両から近いほど車両の進行方向とは反対方向に速く流れていくように見える。そのため、画像表示制御部１８が、車両２から近い景色を動画像として撮像した場合、車両２から近い景色はすぐに車両後方に流れて見えなくなってしまう。そこで、画像表示制御部１８は、静止画像として指示画像を表示させる。例えば、画像表示制御部１８は、距離が閾値より大きいと判定される場合には、車外画像を撮像した時のフレームレートで表示し、距離が閾値以下であると判定される場合には、車外画像を撮像した時のフレームレートよりも低いフレームレート、すなわちスローモーションで表示してもよい。以上のように、画像表示制御部１８は、指示画像の表示形態を設定する。なお、第１フレームレートで表示される画像は、静止画像に限らず、第２フレームレートよりも低いフレームレートで表示される動画像でもよい。

距離を評価するための閾値は、例えば４０ｍである。また、画像表示制御部１８は、あらかじめ設定された閾値のみならず、車両２の現在の車速に応じて設定される閾値を用いて距離を評価してもよい。具体的には、画像表示制御部１８は、車両２の車速が高いほど、閾値を高く設定する。例えば、表１に示されるように、車速が２０ｋｍ／ｈの場合には、閾値を３０ｍに設定し、車速が８０ｋｍ／ｈの場合には、閾値を３００ｍに設定する。これは、車両２の車速が高い場合には、車速が低い場合よりも、車両２は短時間のうちに撮像対象位置を通り過ぎてしまうため、撮像のための時間的余裕を確保するためには、車速が高いほど距離を長くとる必要があるからである。本実施形態では、画像表示制御部１８は、車両状態推定部１４により推定された車速を取得し、取得された車速に対応する閾値を設定する。なお、車速と閾値の対応関係は、表１の内容に限定されるものではない。

また、画像表示制御部１８は、車両２から見た撮像対象の位置の方向の変化量、例えば、車両２から見た撮像対象の位置の方向の角度の変化量が閾値以上であるか否かを判定してもよい。車外風景そのものは静止しているが、車両２が走行していることで、乗員の視点からは、車外風景が車両２の進行方向とは反対方向に流れていくように見える。このような場合、乗員の視野に映る撮像対象の位置の方向の変化量は、車両２の進行方向を基準とした角度の変化量で表すことができる。たとえば、車両２の進行方向を基準にした撮像対象の方向の角度が、閾値の１０度／秒以上変化すると判定される場合には、画像表示制御部１８は、静止画像として表示形態を設定する。また、角度が閾値の１０度／秒以上変化すると判定されない場合には、画像表示制御部１８は、動画像として表示形態を設定する。車両２と撮像対象との距離が近いほど、車両２から見た撮像対象が流れていく速度が高いからである。

また、画像表示制御部１８は、車両２と撮像対象との距離を評価する閾値による判定のみに限らず、車両２を基準とした撮像対象の方向による判定を行ってもよい。例えば、画像表示制御部１８は、車両２の進行方向を前方として、撮像対象が車両２の後方に位置すると判定される場合には、距離が閾値より大きかったとしても、静止画像として表示形態を設定する。撮像対象が遠くにあったとしても、既に車両が撮像対象位置を通り過ぎている場合には、距離が離れていくからである。

次に、画像表示制御部１８は、指示画像を表示させる制御を行う。例えば、画像表示制御部１８は、車載表示装置５０及び端末装置６０に指示画像を表示させる制御を行う。具体的には、画像表示制御部１８は、設定された表示形態に基づいて指示画像を表示させる制御信号を生成する。そして、画像表示制御部１８は、通信装置４１を介して、指示画像と、生成された制御信号とを車載表示装置５０及び端末装置６０に送信する。なお、画像表示制御部１８は、指示画像と制御信号とを車載表示装置５０及び端末装置６０の両方に送信することに限らず、車載表示装置５０及び端末装置６０のいずれかに送信してもよい。

なお、画像表示制御部１８は、一人の乗員が共有したい車外風景が遠くにあって乗員が車両２の窓から直接視認できる時間がある場合には、当該車外風景を強調表示するように画像表示を制御してもよい。例えば、画像表示制御部１８は、車両２から撮像対象位置までの距離が閾値以上であると判定される場合には、乗員が利用する端末装置６０の端末出力装置６１（ディスプレイ画面）上で、一人の乗員が共有したい車外風景を強調するための強調画像を表示させる制御を行う。強調画像は、例えば、一人の乗員が共有したい車外風景を囲むような矩形の画像を表示する。

通信装置４１は、車載表示装置５０及び端末装置６０とお互いに送受信が可能である。通信装置４１は、コントローラ１０により出力された指示画像及び制御信号を車載表示装置５０及び端末装置６０に送信する。

車載表示装置５０は、車両２に搭載され、乗員に指示画像を表示する装置である。車載表示装置５０は、車載出力装置５１と、車載通信装置５２を備える。車載出力装置５１は、乗員から見える位置に設定され、制御信号に基づいて、画像を表示させる。車載出力装置５１は、例えば、モニタ等であって、インスツルメントパネルの近くや各座席に設置される。車載通信装置５２は、通信装置４１と無線又は有線で接続されていて、相互に情報の送受信が可能である。車載表示装置５０は、車載通信装置５２を介して画像表示制御部１８から制御信号を受信すると、当該制御信号に基づいて、車載通信装置５２の車載出力装置５１に指示画像を表示する。

端末装置６０は、車両２の乗員及び車外のユーザに利用される装置である。端末装置６０は、端末出力装置６１と、端末通信装置６２とを備える。端末出力装置６１は、例えば、ディスプレイ画面であって、制御信号に基づいて、画像を表示させる。端末通信装置６２は、通信装置４１と無線で接続されていて、相互に情報の送受信が可能である。端末装置６０は、端末通信装置６２を介して画像表示制御部１８から制御信号を受信すると、当該制御信号に基づいて、端末装置６０の端末出力装置６１に指示画像を表示する。

次に、図６のフローチャートを用いて、本実施形態に係る画像表示制御を行う手順を説明する。本実施形態では、図３のＳ３０６又はＳ３０９で指示画像を記録すると、図６で示される画像表示制御を開始する。また、本実施形態では、指示画像は、時系列的に連続する２以上の指示画像として記憶装置４０に記録されている。

ステップＳ６０１では、コントローラ１０は、所定の時間に、一定の時間間隔で、指示方向又は範囲方向を特定する。所定の時間は、たとえば、走行中の場合であれば、少なくとも２秒以上である。車両２が走行している間に、乗員が車外の撮像対象位置を指差ししている場合には、車両２を基準とした撮像対象位置の相対的な位置が変化するため、ジェスチャにより指示される方向も変化する。これにより、コントローラ１０は、所定時間における時系列的に連続する２以上の指示方向又は範囲方向を特定する。

ステップＳ６０２では、コントローラ１０は、ステップＳ６０１で取得された、時系列的に連続する２以上の指示方向又は範囲方向に基づいて、それぞれの指示方向又は範囲方向の交点を複数特定する。そして、コントローラ１０は、指示方向又は範囲方向の複数の交点の中心点を車外の撮像対象位置として推定し、推定された撮像対象位置と車両２の位置との間の距離を取得する。

ステップＳ６０３では、コントローラ１０は、ステップＳ６０２で算出された距離が閾値以下であるか否かを判定する。距離が閾値以下であると判定される場合には、ステップＳ６０４に進む。距離が閾値以下であると判定されない場合には、ステップＳ６０６に進む。

ステップＳ６０４では、コントローラ１０は、指示画像を表示する際の表示形態を静止画像に設定する。

ステップＳ６０５では、コントローラ１０は、ステップＳ６０４で設定された表示形態、すなわち静止画像で指示画像を表示させる制御を行う。具体的には、コントローラ１０は、指示画像を静止画像で表示させる制御信号を生成し、指示画像と生成された制御信号とを車載表示装置５０及び端末装置６０に送信する。車載表示装置５０及び端末装置６０の出力装置は、制御信号の入力があると、当該制御信号に基づいて、指示画像を静止画像で表示させる。これにより、一人の乗員は、出力装置に表示された車外の風景の静止画像を見ながら他の乗員と会話できる。また、車外のユーザが利用する端末装置６０の出力装置に表示することで、車外のユーザに対しても一人の乗員が共有すべきと感じた風景等を共有できる。

ステップＳ６０６では、コントローラ１０は、指示画像を表示する際の表示形態を動画像に設定する。

ステップＳ６０７では、コントローラ１０は、指示画像を動画像で表示させる制御を行う。具体的には、コントローラ１０は、時系列的に連続する２以上の指示画像を、車外画像を撮像した時のフレームレートで表示させる制御信号を生成し、指示画像と生成された制御信号とを車載表示装置５０及び端末装置６０に送信する。車載表示装置５０及び端末装置６０の出力装置は、制御信号の入力があると、当該制御信号に基づいて、指示画像を動画像で表示させる。

なお、本実施形態では、画像表示制御部１８は、端末装置６０を利用するユーザのうち対象ユーザとして選択されたユーザの端末装置６０に指示画像を表示させる制御をしてもよい。対象ユーザとは、指示画像を表示させる対象として選択されたユーザである。具体的には、一人の乗員により他ユーザの情報が入力されると、画像表示制御部１８は、まず、入力された他ユーザの情報に基づいて、他ユーザの端末装置６０を特定する。そして、画像表示制御部１８は、特定された端末装置６０の端末出力装置６１に、表示画像及び制御信号を送信する。他ユーザは、車両２に乗車しているユーザであってもよいし、車両２の車外にいるユーザであってもよい。また、一人の乗員が、自分自身を、指示画像を表示させたい対象ユーザとして選択してもよいし、一人の乗員以外の他ユーザが、指示画像を表示させたい対象ユーザを選択してもよい。

以上のように、本実施形態では、指示画像に含まれる対象物を検出し、車両の現在位置情報及び地図情報、又は車両の距離センサの検出情報に基づいて、車両から対象物までの距離を取得し、距離が閾値以下である場合の第１フレームレートを、距離が前記閾値より大きい場合の第２フレームレートよりも低く設定し、設定された第１フレームレートにより指示画像を表示部に表示させる制御を行い、指示画像を表示する。これにより、取得すべき車外風景までの距離に応じて、指示画像を表示する表示形態を制御できる。

また、本実施形態では、画像を表示させる表示部に指示画像及び指示画像を表示させる制御信号を送信する。これにより、表示部に車外風景を表示させることができる。

また、本実施形態では、車両の速度を取得し、速度が第１速度である場合の閾値を、速度が、第１速度より低い第２速度である場合の閾値よりも高く設定する。これにより、車両の速度が高い場合には、車両の現在位置と撮像対象位置との距離が遠くても、低いフレームレートで指示画像を表示できる。

また、本実施形態では、指示画像を静止画像として表示させる。これにより、速く通り過ぎてしまいすぐに見えなくなる風景であっても、一人の乗員がジェスチャした時の静止画像により乗員は車外風景を共有できる。

また、本実施形態では、指示画像を動画像として表示させる。これにより、乗員は、車両から見える時間が長い車外風景を動画像により把握できる。

また、本実施形態では、表示部を備える端末装置を利用するユーザのうち、指示画像を表示させる対象ユーザとして選択されたユーザの情報に基づいて、対象ユーザの端末装置に備えられる表示部に指示画像を表示させる。これにより、指示画像を表示させたいユーザを選択して指示画像を表示できる。

また、本実施形態では、対象物を強調表示するように画像表示を制御する。これにより、車両から見える実際の景色に乗員の視線を誘導できる。

≪第３実施形態≫
次に、図７を用いて、第３実施形態に係る画像記録システム１００について説明する。第３実施形態に係る画像記録システム１００は、以下に説明する点において第１及び２実施形態に係る画像記録システムと異なること以外は、第１及び第２実施形態と同様の構成を有し、第１及び第２実施形態と同様に動作するものであり、第１及び第２実施形態の記載を適宜、援用する。本実施形態の構成では、第１及び第２実施形態の構成と異なり、コントローラ１０は機能ブロックとして対象推定部１９をさらに備える。

対象推定部１９は、指示内容特定部１５により特定された指示方向又は範囲方向に特徴的な対象物が存在するかを地図データ２４から検索し、特徴的な対象物が存在する場合には、指示画像において当該対象物を推定する。特徴的な対象物とは、地図データ２４から情報が取得可能な地物であり、例えば、車両の車外風景の中で目印となるランドマーク（河川、山、植物、建物、橋梁等）である。対象推定部１９は、ＧＰＳ２２により取得された車両２の現在位置情報と地図データ２４の地図情報から、地図上において車両２の現在位置から指示方向又は範囲方向にある特徴的な対象物を検索する。例えば、対象推定部１９は、地図データに記憶されている地物情報から、指示方向又は範囲方向にある地物を検索する。そして、コントローラ１０は、地物が存在すると判定できた場合には、指示画像から画像認識処理により、当該地物を、特徴的な対象物として推定する。また、指示方向又は範囲方向に特徴的な対象物が複数ある場合や、特徴的な対象物が存在しない場合には、対象推定部１９は、特徴的な対象物を推定できなかったと判定する。例えば、指示方向又は範囲方向の地物の数が所定値以上である場合には、対象推定部１９は、対象物が複数あると判定する。特徴的な対象物を推定できなかったと判定される場合、コントローラ１０は、第１実施形態と同様に、一定の時間間隔で一人の乗員の指示方向を取得して、車両２と対象物との間の距離を取得する。

距離取得部１７は、車両２の現在位置と特徴的な対象物の位置との間の距離、及び車両２を基準とした対象物の方向を取得する。具体的には、距離取得部１７は、地図データの距離情報に基づいて、車両２の現在位置と特徴的な対象物の位置との間の距離を取得する。また、距離取得部１７は、車両２に搭載された距離センサの検出情報により、特徴的な対象物との距離を取得する。距離センサは、レーザーセンサやデプスカメラ等を含む。

次に、本実施形態に係る画像表示制御の手順について、図８のフローチャートを用いて説明する。なお、ステップＳ８０３～ステップＳ８０９は、図６に記載された第２実施形態に係る画像表示制御のステップＳ６０１～ステップＳ６０７と同様の手順となるため、説明を省略する。本実施形態では、図３で示されるステップＳ３０６又はステップＳ３０９で、画像記録制御部１６が指示画像を取得した後、ステップＳ８０１からのフローを開始する。

ステップＳ８０１では、コントローラ１０は、地図情報に基づいて、指示画像に含まれる特徴的な対象物を推定したか否かを判定する。コントローラ１０が特徴的な対象物を推定したと判定される場合には、ステップＳ８０２に進む。コントローラ１０が特徴的な対象物を推定したと判定されない場合には、ステップＳ８０３に進む。

ステップＳ８０２では、コントローラ１０は、車両２の位置と特徴的な対象物の位置との間の距離を算出する。例えば、コントローラ１０は、地図データの距離情報に基づいて、車両２と特徴的な対象物との距離を算出する。コントローラ１０は、距離を算出すると、ステップＳ８０５に進む。ステップＳ８０５では、図６のＳ６０３と同様の処理を行うため、説明を省略する。

ステップＳ８０３では、コントローラ１０は、図６のステップＳ６０１と同様に、一定の時間間隔で、指示方向を取得する。以下、ステップＳ８０３からステップＳ８０７までの手順は、図６のステップＳ６０１からステップＳ６０５までの手順と同様であるため、説明を省略する。

以上のように、本実施形態では、指示画像に含まれる対象物を検出し、車両の現在位置情報及び地図情報、又は車両の距離センサの検出情報に基づいて、車両から対象物までの距離を取得し、距離が閾値以下である場合の第１フレームレートを、距離が前記閾値より大きい場合の第２フレームレートよりも低く設定し、設定された第１フレームレートにより指示画像を表示部に表示させる制御を行い、指示画像を表示する。これにより、取得した指示画像に映る景色までの距離に応じて、指示画像を表示する表示形態を制御できる。

なお、以上に説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。

１００…画像記録システム
１…画像記録装置
１０…コントローラ
１１…車内画像取得部
１２…車外画像取得部
１３…ジェスチャ検出部
１４…車両状態推定部
１５…指示内容特定部
１６…画像記録制御部
１７…距離取得部
１８…画像表示制御部
１９…対象推定部
２０…加速度センサ
２１…ジャイロセンサ
２２…ＧＰＳ
２３…車速センサ
２４…地図データ
３０…車内カメラ
３１…車外カメラ
４０…記憶装置
４１…通信装置
５０…車載表示装置
６０…端末装置

Claims (12)

1. 少なくとも車両の乗員を含む前記車両の車内の車内画像を取得する車内画像取得部と、
   前記車内画像取得部により取得された前記車内画像の画像認識により、前記乗員のジェスチャを検出するジェスチャ検出部と、
   前記ジェスチャ検出部により一人の乗員の前記ジェスチャが検出された場合、前記ジェスチャで指示される指示方向、又は前記ジェスチャと前記一人の乗員との位置関係によって指示される方向の指示範囲を特定する指示内容特定部と、
   前記車両の車外の車外画像を取得する車外画像取得部と、
   前記車外画像取得部により取得された前記車外画像のうち、前記指示方向又は前記指示範囲の前記車外画像を指示画像として記録する画像記録制御部とを備える画像記録システム。
2. 請求項１に記載の画像記録システムであって、
   前記指示画像に含まれる対象物を検出する対象物検出部と、
   前記車両の現在位置情報及び地図情報、又は前記車両の距離センサの検出情報に基づいて、前記車両から前記対象物までの距離を取得する距離取得部と、
   前記指示画像を表示する表示部と、
   前記距離が閾値以下である場合の第１フレームレートを、前記距離が前記閾値より大きい場合の第２フレームレートよりも低く設定し、
   設定された前記第１フレームレートにより前記指示画像を前記表示部に表示させる制御を行う画像表示制御部とをさらに備える画像記録システム。
3. 請求項２に記載の画像記録システムであって、
   前記表示部に前記指示画像及び前記指示画像を表示させる制御信号を送信する通信部とをさらに備える画像記録システム。
4. 請求項２～３のいずれかに記載の画像記録システムであって、
   前記画像表示制御部は、
   前記車両の速度を取得し、
   前記速度が第１速度である場合の前記閾値を、前記速度が、前記第１速度より低い第２速度である場合の前記閾値よりも高く設定する画像記録システム。
5. 請求項２～４のいずれかに記載の画像記録システムであって、
   前記画像表示制御部は、前記指示画像を静止画像として表示させる画像記録システム。
6. 請求項２～４のいずれかに記載の画像記録システムであって、
   前記画像表示制御部は、前記指示画像を動画像として表示させる画像記録システム。
7. 請求項２～６のいずれかに記載の画像記録システムであって、
   前記画像表示制御部は、
   前記表示部を備える端末装置を利用するユーザのうち、前記指示画像を表示させる対象ユーザとして選択されたユーザの情報に基づいて、前記対象ユーザの前記端末装置に備えられる前記表示部に前記指示画像を表示させる画像記録システム。
8. 請求項２～７のいずれかに記載の画像記録システムであって、
   前記画像表示制御部は、前記対象物を強調表示するように画像表示を制御する画像記録システム。
9. 請求項１～８のいずれかに記載の画像記録システムであって、
   前記指示内容特定部は、
   前記車内画像に基づいて、前記乗員の視線方向を検出し、
   検出された前記視線方向及び前記ジェスチャの位置によって示される方向の前記指示範囲を特定する画像記録システム。
10. 請求項１～９のいずれかに記載の画像記録システムであって、
    前記ジェスチャは、前記乗員が指差しをする方向指示ジェスチャを含み、
    前記指示内容特定部は、前記ジェスチャ検出部により検出された前記ジェスチャが前記方向指示ジェスチャである場合には、前記方向指示ジェスチャにより指差しがされた方向を、前記指示方向として特定する画像記録システム。
11. 請求項１～１０のいずれかに記載の画像記録システムであって、
    前記ジェスチャは、前記乗員が両手の指によって範囲を形成する範囲指定ジェスチャを含み、
    前記指示内容特定部は、前記ジェスチャ検出部により検出された前記ジェスチャが前記範囲指定ジェスチャである場合には、前記範囲指定ジェスチャを行った前記乗員の両目の間の中心点と前記範囲の中心点を結ぶ直線の延長方向の前記指示範囲を特定する画像記録システム。
12. 少なくとも車両の乗員を含む前記車両の車内の車内画像を取得し、
    取得された前記車内画像の画像認識により、前記乗員のジェスチャを検出し、
    一人の乗員の前記ジェスチャが検出された場合、前記ジェスチャで指示される指示方向、又は前記ジェスチャと前記一人の乗員との位置関係によって指示される方向の指示範囲を特定し、
    前記車両の車外の車外画像を取得し、
    取得された前記車外画像のうち、前記指示方向又は前記指示範囲の前記車外画像を指示画像として記録する画像記録方法。

Images