JP2020156056A - 撮影制御装置、撮影制御方法、プログラム、解析システム - Google Patents

Abstract

【課題】所定の撮影領域において自動で撮影領域内の適切な撮影方向を調整することができる撮影制御装置を提供する。【解決手段】撮影制御装置は、撮影対象物を撮影する撮影領域を撮影した撮影画像と、撮影領域を構成する構造物の理想的な位置を示す状態情報とに基づいて、撮影画像の撮影方向と現在の撮影方向とのずれを算出し、撮影方向に基づいて撮影画像の撮影方向を制御する。【選択図】図１Ａ

Description

本発明は、撮影制御装置、撮影制御方法、プログラム、解析システムに関する。

顔画像を取得する撮像装置の撮影する範囲を調節する技術が特許文献１に開示されている。

特開２００８−２２７９０６号公報

しかしながら、特許文献１に記載の技術では、撮像装置が取得する顔画像に基づいて撮像装置の撮影する範囲を変更しているため、人の顔が写っていない場合には撮影する範囲を自動で調整することができない。

そこでこの発明は、上述の課題を解決する撮影制御装置、撮影制御方法、プログラム、解析システムを提供することを目的としている。

本発明の第１の態様によれば、撮影制御装置は、撮影対象物を撮影する撮影領域を構成する構造物の理想的な位置を示す状態情報を記憶する記憶部と、前記撮影領域を撮影した撮影画像と、前記状態情報とに基づいて、前記撮影画像の撮影方向と現在の撮影方向とのずれを算出するずれ算出部と、前記撮影方向に基づいて前記撮影画像の撮影方向を制御する撮影方向制御部と、を備えることを特徴とする。

本発明の第２の態様によれば、撮影制御方法は、撮影対象物を撮影する撮影領域を撮影した撮影画像と、前記撮影領域を構成する構造物の理想的な位置を示す状態情報とに基づいて、前記撮影画像の撮影方向と現在の撮影方向とのずれを算出し、前記撮影方向に基づいて前記撮影画像の撮影方向を制御することを特徴とする。

本発明の第３の態様によれば、プログラムは、撮影制御装置のコンピュータを、撮影対象物を撮影する撮影領域を撮影した撮影画像と、前記撮影領域を構成する構造物の理想的な位置を示す状態情報とに基づいて、前記撮影画像の撮影方向と現在の撮影方向とのずれを算出するずれ算出手段、前記撮影方向に基づいて前記撮影画像の撮影方向を制御する撮影方向制御手段、として機能させることを特徴とする。

本発明の第４の態様によれば、解析システムは、撮影制御装置と解析装置とを備え、前記撮影制御装置が、撮影対象物を撮影する撮影領域を構成する構造物の理想的な位置を示す状態情報を記憶する記憶部と、前記撮影領域を撮影した撮影画像と、前記状態情報とに基づいて、前記撮影画像の撮影方向と現在の撮影方向とのずれを算出するずれ算出部と、前記撮影方向に基づいて前記撮影画像の撮影方向を制御する撮影方向制御部と、を備え、前記解析装置が、前記撮影画像に基づいて前記撮影対象物の状態を判定する解析部を備えることを特徴とする。

本発明によれば、所定の撮影領域において自動で撮影領域内の適切な撮影方向を調整することができる。

本発明の一実施形態による撮影制御装置を備えた撮影装置の外観構成を示す正面図である。 本発明の一実施形態による撮影制御装置を備えた撮影装置の外観構成を示す側面図である。 本発明の一実施形態による撮影装置の構成を示すブロック図である。 本発明の一実施形態による撮影制御装置のハードウェア構成図である。 本発明の一実施形態による撮影制御装置の機能構成図である。 本発明の一実施形態によるカメラの撮影方向の一例を示す図である。 本発明の一実施形態による撮影方向の調整前の撮影画像の一例を示す図である。 本発明の一実施形態による撮影方向の調整後の撮影画像の一例を示す図である。 本発明の一実施形態による撮影制御装置の処理フローを示す図である。 本発明の一実施形態による撮影制御装置の最小構成を示す図である。

以下、本発明の一実施形態による撮影制御装置を図面を参照して説明する。
図１は同実施形態による撮影制御装置を備えた撮影装置の外観構成を示す図である。図１Ａは撮影装置の外観構成を示す正面図である。図１Ｂは撮影装置の外観構成を示す側面図である。
撮影装置１００は車両の内部（例えば運転者や車内全体）を撮影する装置である。例えば撮影装置１００はセンタコンソールやハンドルコラム等の車両の内部を撮影できる任意の位置に設置される。

図１で示すように撮影装置１００は、一例としては、カメラ２とモータ３と回転台６とを含んで構成される。
カメラ２は撮影領域である車両の内部を撮影する。カメラ２は回転台６に設置されている。
回転台６はカメラ２の撮影方向を水平方向に回転させる回転台である。
モータ３は回転台６を回転させるステッピングモータである。

図２は撮影装置の構成を示すブロック図である。
撮影装置１００は、撮影制御装置１、カメラ２、モータ３、表示装置４、入力装置５を少なくとも備える。
表示装置４は液晶ディスプレイや有機ＥＬ（Electro-Luminescence）ディスプレイ等であり、カメラ２が撮影する画像を表示する。
入力装置５は各種ボタンや表示装置４上に設置されたタッチパネル等であり、入力を受け付ける。
撮影制御装置１は撮影装置１００を統括して制御する。

図３は撮影制御装置のハードウェア構成図である。
この図が示すように撮影制御装置１はＣＰＵ（Central Processing Unit）１０１、ＲＯＭ（Read Only Memory）１０２、ＲＡＭ（Random Access Memory）１０３、大容量記憶装置１０４、通信モジュール１０５等の各ハードウェアを備えたコンピュータである。

図４は撮影制御装置の機能構成図である。
撮影制御装置１は電源が投入されると起動し、予め記憶する撮影制御プログラムを実行する。これにより撮影制御装置１には、記憶部１１、撮影画像取得部１２、ずれ算出部１３、撮影方向制御部１４、出力部１５が少なくとも備わる。

記憶部１１は、撮影対象物を撮影する撮影領域を構成する構造物の理想的な位置を示す状態情報を記憶する。撮影対象物は例えば人の顔である。記憶部１１は、撮影画像の使用目的（用途）に応じた撮影領域の理想的な状態情報を予め記憶する。例えば記憶部１１は、撮影画像の使用目的が運転者を検知することである場合には、運転者を中心とした撮影画像における、撮影領域を構成する構造物の理想的な位置（例えば撮影画像における座標値等）を示す状態情報を記憶する。この場合には、撮影対象物は運転者の顔であり、撮影領域を構成する構造物は例えばハンドル（ステアリングホイール）や運転席等である。撮影制御装置１は、撮影対象物が運転者の顔である場合には、撮影画像に映るハンドルや運転席の位置と、記憶部１１の記憶するハンドルや運転席について予め定められた画像内の位置（状態情報）とが、一致するように撮影方向を水平方向に回転させる。これにより、撮影制御部１１は、運転者の顔の位置が画像内の適切な位置となるよう制御する。また記憶部１１は、撮影画像の使用目的が乗員を検知することである場合には、乗員全員が写る撮影画像における、撮影領域を構成する構造物の理想的な位置を示す状態情報を記憶する。この場合には、撮影対象物は乗員の顔であり、撮影領域を構成する構造物は車両に設置されている各椅子（シート）等である。撮影制御装置１は、撮影対象物が乗員全員である場合には、撮影画像に映る複数のシートの位置や形状と、記憶部１１の記憶する車内の複数のシートについて予め定められた画像内の位置や形状（状態情報）とが一致するように、撮影方向を水平方向に回転させる。これにより、撮影制御部１１は、乗員全員の顔の位置が画像内の適切な位置となるよう制御する。なお、状態情報に設定されている椅子の位置は、車両に設置されている全ての椅子の位置であってもよいし、一部の椅子（例えば、最前列にある椅子）の位置であってもよい。

撮影画像取得部１２は、カメラ２が撮影領域を撮影した撮影画像を取得する。
ずれ算出部１３は、撮影領域を撮影した撮影画像と、状態情報とに基づいて、撮影画像の撮影方向と現在の撮影方向とのずれを算出する。
撮影方向制御部１４は、撮影方向に基づいて撮影画像の撮影方向を制御する。
出力部１５は、カメラ２が撮影領域を撮影した撮影画像を出力する。例えば出力部１５は、撮影画像を表示装置４に表示させる。或いは出力部１５は、通信ネットワークを介して他のコンピュータに撮影画像を送信してもよい。他のコンピュータの一例として、撮影画像から人の顔画像を抽出し、その人物の状態を解析する解析装置５０（図５参照）がある。例えば解析装置５０は、顔画像から運転者の余所見運転や居眠り運転等を判定する。また他のコンピュータの他の例として、撮影画像から人の顔画像を抽出し、その人物を特定する顔認証装置がある。

図５はカメラの撮影方向の一例を示す図である。本図は車両の内部を上面から見た図である。
図６はカメラの撮影画像の一例を示す図である。図６Ａは撮影方向の調整前の撮影画像の一例を示す図である。図６Ｂは撮影方向の調整後の撮影画像の一例を示す図である。
次に、カメラ２の撮影方向について説明する。ここで、使用目的に応じて取得したい撮影画像は異なる。例えば使用目的が運転者を検知することである場合には、運転者を中心とする撮影画像が望ましい。また使用目的が乗員を検知することである場合には、車両の全員が写る撮影画像が望ましい。

本例では、撮影画像の使用目的が車両の乗員を検知すること、つまり撮影対象物が車両の全ての乗員Ｐ１〜Ｐ４である場合を例に説明する。この場合には、全ての乗員Ｐ１〜Ｐ４が写るようにカメラ２の撮影方向を調整する必要がある。

図に例示するカメラ２がセンタコンソールに取り付けられた際の初期の撮影方向Ｆ０では、ハンドルＨ前にいる運転者Ｐ１がカメラ２の撮影範囲Ｒ０にいない。よって図６Ａに示すようにカメラ２の撮影画像には運転者Ｐ１が写っていない。よって運転者Ｐ１が撮影範囲に入るようカメラ２の撮影方向を調整する必要がある。この調整は例えば、撮影装置１００が設置された初期において一度行われる。または撮影装置１００は所定の間隔で撮影方向を調整するようにしてもよい。

撮影制御装置１は、運転者Ｐ１が撮影範囲に入るよう、撮影画像に基づいて撮影方向を水平方向へ回転させて自動調整する。自動調整後の撮影方向Ｆ１では乗員Ｐ１〜Ｐ４全員が撮影範囲Ｒ１にいるため、図６Ｂに示すように撮影画像には運転者Ｐ１を含む乗員Ｐ１〜Ｐ４全員が写っている。

図７は撮影制御装置の処理フローを示す図である。
次に、撮影制御装置１による処理を説明する。
まず撮影制御装置１の撮影画像取得部１２はカメラ２から撮影領域を撮影した撮影画像を取得する（ステップＳ１０１）。撮影画像取得部１２は撮影画像をずれ算出部１３に出力する。

ずれ算出部１３は撮影画像と状態情報とに基づいて、撮影画像の撮影方向と現在の撮影方向とのずれを算出する（ステップＳ１０２）。具体的にはずれ算出部１３は、状態情報が示す構造物の理想的な位置と、撮影画像における当該構造物の位置との画素のずれの量に基づいて撮影方向のずれを算出する。例えば、撮影画像の使用目的が運転者を検知することである場合には、撮影対象物は運転者の顔であり、状態情報は運転者が中心になる撮影画像におけるハンドルや運転席の理想的な位置である。この場合にはずれ算出部１３は、撮影画像におけるハンドルや運転席の位置と、状態情報が示すハンドルや運転席の理想的な位置とを比較することにより撮影方向のずれを算出する。ずれ算出部１３は、撮影画像に映るハンドルや運転席などの構造物の位置だけでなく形状を認識し、それら位置や形状の撮影画像中の位置と、予め記憶するそれら構造物の位置や形状とのずれを算出するようにしてもよい。また、撮影画像の使用目的が乗員を検知することである場合には、撮影対象物は乗員全員の顔であり、状態情報は乗員全員が写る撮影画像における車両の各椅子それぞれの理想的な位置である。この場合にはずれ算出部１３は、撮影画像における椅子の位置と、状態情報が示す椅子の理想的な位置とを比較することにより撮影方向のずれを算出する。ずれ算出部１３は、撮影画像に映る複数の椅子などの構造物の位置だけでなく形状を認識し、それら複数の椅子などの構造物の位置や形状の撮影画像中の位置と、予め記憶するそれら椅子の位置や形状とのずれを算出するようにしてもよい。なお撮影装置１００が撮影した結果、生成した撮影画像には、乗員全員の顔だけでなく、上半身が写るような範囲を撮影する。撮影装置１０は撮影画像を解析装置５０へ送信する。これにより撮影装置１００から撮影画像を取得した解析装置５０の解析部は、撮影画像から乗員全員の姿勢、人体サイズ（身体サイズ）、シートベルト着用有無などを、画像認識により判定することができる。当該画像認識は、撮影画像を機械学習によって得られた認識モデルに入力し、その結果出力された情報に基づいて、乗員全員の姿勢、人体サイズ（身体サイズ）、シートベルト着用有無などを、判定してよい。

続いてずれ算出部１３は、算出したずれの量が所定の閾値以上であるか否かを判定する（ステップＳ１０３）。所定の閾値は、撮影方向が略一致するとみなすことができるずれの量である。

ずれの量が所定の閾値以上である場合（ステップＳ１０３；ＹＥＳ）、撮影方向制御部１４はずれに応じた角度量の回転を指示する駆動信号をモータ３に出力する（ステップＳ１０４）。モータ３は、入力された駆動信号に基づいて回転台６を回転させる。その後ステップＳ１０１の処理に戻る。

一方、ずれの量が所定の閾値より小さい場合（ステップＳ１０３；ＮＯ）、撮影方向の調整が完了したとみなし、出力部１５は撮影画像を出力する（ステップＳ１０５）。例えば出力部１５は撮影画像を表示装置４に表示させる。或いは出力部１５は通信ネットワークを介して他のコンピュータに撮影画像を送信する。その後処理を終了する。

上述の処理により、撮影制御装置１は、撮影領域を撮影した撮影画像と、撮影領域を構成する構造物の理想的な位置を示す状態情報とに基づいて、撮影画像の撮影方向と現在の撮影方向とのずれを算出し、撮影方向に基づいて撮影画像の撮影方向を制御する。これにより、撮影画像に人が写っていない場合であっても、自動的にカメラ２の撮影方向を調整することができる。すなわち撮影制御装置１は、カメラ２の撮影方向を自動調整して使用目的に応じた撮影画像を自動的に取得することができる。

例えば撮影画像の使用目的が運転者を検知することである場合には、車両が右ハンドルであるか左ハンドルであるかによって撮影方向が大きく異なるため手動で調整するには手間が掛かる。撮影制御装置１では、運転者が中心になる撮影画像におけるハンドル等の理想的な位置を予め状態情報に設定しておくことにより、運転者が中心になる撮影方向へ自動調整することができる。また撮影制御装置１は、撮影画像の使用目的が乗員を検知することであれば、乗員全員が写る撮影画像における車両の各椅子それぞれの理想的な位置を予め状態情報に設定しておくことにより、乗員全員を撮影することができる撮影方向へ自動調整することができる。すなわち撮影制御装置１は、撮影画像の使用目的に適した方向へカメラ２の撮影方向を自動調整することができる。よって、カメラ２を車両に取り付ける際にユーザが手動でカメラ２の撮影方向を調整する必要がないため、カメラ２の取り付けが大幅に容易になる。

なお、上述した実施形態では、カメラ２の画角により垂直方向は車両内部を略全て撮影できるため撮影方向を水平方向の回転のみで調整しているが、これに限らず、撮影方向を垂直方向にも調整できるようにしてもよい。

また、ユーザが入力装置５を操作することにより撮影画像の使用目的を選択できるようにしてもよい。この場合には、撮影制御装置１は、選択された撮影画像の使用目的に応じた状態情報に基づいてカメラ２の撮影方向を自動調整する。例えば撮影制御装置１は、選択された使用目的が運転者を検知することである場合には、運転者が中心になる撮影画像におけるハンドル等の理想的な位置に基づいて、運転者が中心となる方向へ撮影方向を調整する。また撮影制御装置１は、選択された使用目的が乗員を検知することである場合には、乗員全員が写る撮影画像における各椅子それぞれの理想的な位置に基づいて、乗員全員が写る方向へ撮影方向を調整する。

また状態情報が位置を示す構造物が椅子である場合、シートが倒れているときであっても自動調整できるように、シートの傾きに応じた複数のパターンの状態情報を記憶部１１に予め記憶しておいてもよい。この場合には、ずれ算出部１３は構造物の位置が撮影画像に最も近いパターンの状態情報に基づいて撮影方向のずれを算出する。

図８は撮影制御装置の最小構成を示す図である。
撮影制御装置１は、少なくとも記憶部１１、ずれ算出部１３、撮影方向制御部１４の機能を発揮する。
記憶部１１は、撮影対象物を撮影する撮影領域を構成する構造物の理想的な位置を示す状態情報を記憶する。
ずれ算出部１３は、撮影領域を撮影した撮影画像と、状態情報とに基づいて、撮影画像の撮影方向と現在の撮影方向とのずれを算出する。
撮影方向制御部１４は、撮影方向に基づいて撮影画像の撮影方向を制御する。

上述の説明においては、撮影装置１００が車内に設置される場合の例を用いて説明したが、撮影装置１００はその他の空間に設置されるものであってもよい。例えば電車、飛行機、部屋、などの空間に設置されるものであってもよい。そして、撮影装置１００に含まれる撮影制御装置１は、所定の空間における撮影対象物を撮影する撮影領域を構成する構造物の理想的な位置を示す状態情報を記憶し、撮影領域を撮影した撮影画像と、状態情報とに基づいて、撮影画像の撮影方向と現在の撮影方向とのずれを算出し、撮影方向のずれに基づいて撮影画像の撮影方向を制御してよい。

上述の撮影制御装置１は内部に、コンピュータシステムを有している。そして、上述した各処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。

また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

１００・・・撮影装置
１・・・撮影制御装置
１１・・・記憶部
１２・・・撮影画像取得部
１３・・・ずれ算出部
１４・・・撮影方向制御部
１５・・・出力部
２・・・カメラ
３・・・モータ
４・・・表示装置
５・・・入力装置
６・・・回転台

Claims (9)

1. 撮影対象物を撮影する撮影領域を構成する構造物の理想的な位置を示す状態情報を記憶する記憶部と、
   前記撮影領域を撮影した撮影画像と、前記状態情報とに基づいて、前記撮影画像の撮影方向と現在の撮影方向とのずれを算出するずれ算出部と、
   前記撮影方向に基づいて前記撮影画像の撮影方向を制御する撮影方向制御部と、
   を備える撮影制御装置。
2. 前記撮影対象物は、人の顔である
   請求項１に記載の撮影制御装置。
3. 前記記憶部は、撮影画像の使用目的に応じた前記状態情報を記憶する
   請求項１または請求項２に記載の撮影制御装置。
4. 撮影対象物は、運転者の顔であり、
   前記状態情報は、車両のハンドルの理想的な位置を示す
   請求項１から請求項３の何れか一項に記載の撮影制御装置。
5. 撮影対象物は、乗員の顔であり、
   前記状態情報は、車両内に設置された椅子の理想的な位置を示す
   請求項１から請求項４の何れか一項に記載の撮影制御装置。
6. 撮影対象物を撮影する撮影領域を撮影した撮影画像と、前記撮影領域を構成する構造物の理想的な位置を示す状態情報とに基づいて、前記撮影画像の撮影方向と現在の撮影方向とのずれを算出し、
   前記撮影方向に基づいて前記撮影画像の撮影方向を制御する
   撮影制御方法。
7. 撮影制御装置のコンピュータを、
   撮影対象物を撮影する撮影領域を撮影した撮影画像と、前記撮影領域を構成する構造物の理想的な位置を示す状態情報とに基づいて、前記撮影画像の撮影方向と現在の撮影方向とのずれを算出するずれ算出手段、
   前記撮影方向に基づいて前記撮影画像の撮影方向を制御する撮影方向制御手段、
   として機能させるプログラム。
8. 撮影制御装置と解析装置とを備え、
   前記撮影制御装置が、
   撮影対象物を撮影する撮影領域を構成する構造物の理想的な位置を示す状態情報を記憶する記憶部と、
   前記撮影領域を撮影した撮影画像と、前記状態情報とに基づいて、前記撮影画像の撮影方向と現在の撮影方向とのずれを算出するずれ算出部と、
   前記撮影方向に基づいて前記撮影画像の撮影方向を制御する撮影方向制御部と、
   を備え、
   前記解析装置が、
   前記撮影画像に基づいて前記撮影対象物の状態を判定する解析部を備える
   解析システム。
9. 前記撮影対象物が車内の人であり、
   前記撮影画像が前記車内の人の上半身であり、
   前記解析部は、前記人の姿勢、身体サイズ、シートベルト着用有無の何れか一つの前記状態を判定する
   請求項８に記載の解析システム。

Images