JP2005051472A - 自動撮影制御装置、自動撮影用プログラム、カメラ - Google Patents

Abstract

【課題】被撮影者の位置が一定ではない屋外などにおいて、複数の被撮影者を自動撮影することができる自動撮影制御装置を提供する。
【解決手段】雲台２に組み込まれた自動撮影制御装置１０において、カメラ１より入力された入力画像から被撮影者５を特定し、被撮影者５が行うジェスチャーによって、カメラ１および雲台２を制御する。これにより、カメラ１のパン、チルト、ズーム、レリーズなどの動作を行う。
【選択図】図１

Description

本発明は、撮影装置を用いて自動撮影を行う自動撮影制御装置に関する。

写真ボックス内での撮影前に撮影状態を被撮影者に表示し、かつ自然な撮影となるように被撮影者に情報を提供する自動写真撮影装置が知られている（特許文献１）。

特開２００２−４０５５０号公報

特許文献１に開示される自動写真撮影装置は、写真ボックス内の決められた位置にいる１人の被撮影者を自動撮影するものであり、被撮影者の位置が一定ではない屋外などにおいて、複数の被撮影者を自動撮影することはできない。

請求項１の発明による自動撮影制御装置は、入力画像から指示者を特定する指示者特定手段と、特定された指示者が行うジェスチャーを入力画像に基づいて判断するジェスチャー判断手段と、判断されたジェスチャーに基づいて撮影手段を制御する制御手段とを備えるものである。
請求項２の発明は、請求項１の自動撮影制御装置において、指示者特定手段は、指示者が行うジェスチャーに基づいてその指示者を特定することとするものである。
請求項３の発明は、請求項１または２の自動撮影制御装置において、制御手段は、撮影手段のパン、チルト、ズーム、またはレリーズのいずれか１つ以上の動作を制御することとするものである。
請求項４の発明は、請求項３の自動撮影制御装置において、制御手段は、指示者が撮影手段の撮影範囲からフレームアウトしないように、撮影手段の動作を制御することとするものである。
請求項５の発明は、請求項３または４の自動撮影制御装置において、制御手段は、撮影手段のパンまたはチルト動作のいずれか少なくとも一方における撮影画面内での動作ピッチを、指示者が行うジェスチャーに基づいて制御することとするものである。
請求項６の発明は、請求項３〜５のいずれかの自動撮影制御装置において、制御手段は、撮影手段のパンまたはチルト動作のいずれか少なくとも一方における撮影画面内での動作ピッチを、その撮影手段から被写体までの距離およびズーム倍率に基づいて制御することとするものである。
請求項７の発明による自動撮影用プログラムは、入力画像から指示者を特定する指示者特定ステップと、特定された指示者が行うジェスチャーを入力画像に基づいて判断するジェスチャー判断ステップと、判断されたジェスチャーに基づいて撮影手段を制御する制御ステップとをコンピュータで実行するものである。
請求項８の発明は、請求項７の自動撮影用プログラムにおいて、指示者特定ステップでは、指示者が行うジェスチャーに基づいてその指示者を特定することとするものである。
請求項９の発明は、請求項７または８の自動撮影用プログラムにおいて、制御ステップでは、撮影手段のパン、チルト、ズーム、またはレリーズのいずれか１つ以上の動作を制御することとするものである。
請求項１０の発明は、請求項９の自動撮影用プログラムにおいて、制御ステップでは、指示者が撮影手段の撮影範囲からフレームアウトしないように、撮影手段の動作を制御することとするものである。
請求項１１の発明は、請求項９または１０の自動撮影用プログラムにおいて、制御ステップでは、撮影手段のパンおよびチルト動作のいずれか少なくとも一方における撮影画面内での動作ピッチを、指示者が行うジェスチャーに基づいて制御することとするものである。
請求項１２の発明は、請求項９〜１１のいずれかの自動撮影用プログラムにおいて、制御ステップでは、撮影手段のパンまたはチルト動作のいずれか少なくとも一方における撮影画面内での動作ピッチを、その撮影手段から被写体までの距離およびズーム倍率に基づいて制御することとするものである。
請求項１３の発明によるカメラは、請求項１〜６のいずれかの自動撮影制御装置を有するものである。
請求項１４の発明は、請求項１３のカメラにおいて、前記入力画像を表示する画像表示装置を有することとするものである。

本発明によれば、入力画像から指示者を特定し、その指示者が行うジェスチャーを入力画像に基づいて判断し、判断したジェスチャーに基づいて、撮影手段を制御することとした。このようにしたので、被撮影者の位置が一定ではない屋外などにおいて、複数の被撮影者の中から指示者を特定し、その指示者のジェスチャーによって撮影範囲の調整やレリーズを行って、複数の被撮影者を自動撮影することができる。

本発明の一実施形態を以下に説明する。図１の自動撮影制御装置１０は、雲台２に組み込まれており、この雲台２に設置されたカメラ１の動作を、被撮影者５が行うジェスチャーによって制御する。自動撮影制御装置１０は、カメラ１のパン、チルト、ズーム、レリーズの各動作をそれぞれ制御する。これらの動作を被撮影者５のジェスチャーに応じて使い分けることによって、カメラ１を用いて被撮影者５を自動撮影することができる。なお、カメラ１はデジタルカメラであり、また、雲台２は三脚３によって保持されている。

被撮影者５の像は、カメラ１に画像入力された後、自動撮影制御装置１０に取り込まれる。取り込んだその入力画像に基づいて、自動撮影制御装置１０は被撮影者５のジェスチャーが何であるかを判断し、それに応じて、カメラ１の上記各動作のいずれかの制御を行う。カメラ１は、パンおよびチルトによって入力画像の範囲を移動し、ズームによって倍率を変更する。そして、自動撮影制御装置１０に制御されてレリーズを行うと、そのときの入力画像を撮影する。撮影された被写体５の像が含まれた入力画像は、不図示のメモリカードなどの記憶用デバイスに記録される。こうして、被撮影者５の像が撮影される。

また、自動撮影制御装置１０に取り込まれたカメラ１の入力画像は、画像表示装置４に出力される。画像表示装置４は、自動撮影制御装置１０と有線または無線で接続されており、出力されたカメラ１の入力画像をディスプレイに表示する。被撮影者５は、この画像表示装置４に表示される画像を確認することで、カメラ１において撮影される画像の状態を確認することができる。なお、図１では可搬型の画像表示装置の例を示しているが、雲台２に固定されているようなものでもよい。さらに、カメラ１が液晶モニタなどの表示デバイスを備えており、これを被撮影者へ向けることができる場合は、この表示デバイスを画像表示装置として兼用してもよい。

また、図１では被撮影者が１人である例を図示しているが、被撮影者は複数人であってもよい。たとえば、被撮影者が５人である場合、画像表示装置４には、その５人の被撮影者が図示するようにして表示される。このように被撮影者が複数人の場合、自動撮影制御装置１０はそのうちの１人を指示者として特定し、その指示者からのジェスチャーに応じてカメラ１の制御を行う。この指示者の特定方法については、後で説明する。

本実施形態による自動撮影制御装置の機能ブロックを図２に示す。自動撮影制御装置１０は、制御部１１と駆動機構部１２を有している。制御部１１は、カメラ１の入力画像に基づいて被撮影者のジェスチャーを判断し、そのジェスチャーに応じて、カメラ１のパン、チルト、ズーム、レリーズの各動作を制御する制御信号をそれぞれ出力する。ズームおよびレリーズの制御信号は、カメラ１に対して直接出力される。カメラ１は、これらの制御信号が入力されることにより、自身のズームレンズの調節およびレリーズ制御を行う。このようにして、カメラ１のズームおよびレリーズ動作が行われる。

一方、パンおよびチルトの制御信号は、制御部１１より駆動機構部１２に対して出力される。駆動機構部１２は、図１の雲台２に設置されたカメラ１を水平方向および垂直方向に駆動するための機構、たとえば電池やモータ、ギヤ類等を有している。この駆動機構部１２に制御部１１からのパンおよびチルト制御信号が入力されると、駆動機構部１２がカメラ１を駆動することにより、カメラ１のパンおよびチルト動作が行われる。なお、画像表示装置４には、カメラ１からの入力画像が制御部１１より出力される。

本実施形態において実行される処理フローを図３のフローチャートに示す。このフローチャートは、自動撮影制御装置１０が起動されると、図２の制御部１１において実行される。ステップＳ１では、カメラ１の入力画像に基づいて、指示者の特定を行う。この指示者の特定には顔認識などの様々な方法を用いることができるが、ここでは、入力画像において図４（ａ）に示すジェスチャー、すなわち両腕を頭上で斜め上に広げたジェスチャーをしている被撮影者を、指示者として特定することとする。

ステップＳ１で実行する指示者の特定において、入力画像中のどの部分が人物に該当するかを判断するため、入力画像から人物（被撮影者）の部分を抽出する。このときの抽出方法としては様々な手法が周知となっており、いずれの手法を用いてもよい。たとえば、連続して入力された画像のフレーム間差分を求め、それに空間ローパスフィルタを適用することによって、動きのある人物の輪郭部分を背景から抽出する方法が提案されている。また、画像内から色識別を用いて顔位置を検出し、しかる後に予め構築された人物の顔位置に対する身***置の形状に関する知識データベースを用いて、人物を抽出する方法が提案されている（特開平１０−５１７５５号公報）。いずれかの方法で抽出された人物の輪郭部分の形状によって、どの人物が図４（ａ）に示すジェスチャーを行っているかを特定することができる。以降に説明するステップＳ２やＳ３においてジェスチャーの認識を行うときについても、同様の手法を用いることができる。

なお、このステップＳ１において指示者を特定した後には、画像表示装置４への表示や音声などによって、次のステップの処理へ進むことを指示者に知らせることが望ましい。このようにすれば、指示者は次のジェスチャーを行うことができる。これは、以降に説明する各ステップにおいても同様である。また、被撮影者が１人の場合には、抽出された人物がジェスチャーを行っていなくても、その人物を指示者として特定することとしてもよい。

ステップＳ１で指示者を特定したら、ステップＳ２では、パン、チルトおよびズーム時の動作ピッチの設定を行う。ここでは、ステップＳ１で特定された指示者が行うジェスチャーによって、この動作ピッチの設定を行うこととする。たとえば、ステップＳ１で指示者を特定したジェスチャー（図４（ａ））を利用して、指示者が両手を水平方向に広げた長さをパン時の動作ピッチ、肩から手までの垂直方向の高さをチルト時の動作ピッチとする。なお、ここでいう動作ピッチとは、撮影画面内での動作ピッチであり、後で説明するステップＳ９が実行されて駆動機構部１２がパンまたはチルトを１回行ったときに、入力画像の範囲が移動する長さである。すなわち、パンまたはチルトを行うことにより、このステップＳ２で設定された動作ピッチごとに入力画像の範囲が水平または垂直方向へ移動するよう、駆動機構部１２はカメラ１を駆動する。このとき、カメラ１から指示者を含む被写体までの距離がオートフォーカス装置などによって測定され、その測定結果に基づいて、駆動機構部１２の駆動量が制御される。たとえば、撮影距離が長い場合は短い場合に比べて駆動量が小さくなる。なお、動作ピッチを設定するジェスチャーは、図４（ａ）と異なるジェスチャーを利用してもよい。

ズーム時の動作ピッチについては、上記のようにして設定されたパンおよびチルト時の動作ピッチに応じて設定する。あるいは、ズーム時の動作ピッチは固定としてもよい。なお、上記に説明したパンおよびチルト時の動作ピッチは、ズーム倍率が変化しても一定とすることが好ましい。すなわち、ズーム倍率に応じて駆動機構部１２の駆動量を変化させ、高倍率のときには駆動量を小さく、低倍率のときには駆動量を大きくするようにする。これにより、ズーム倍率に関わらず、常に設定された一定の動作ピッチとすることができる。

上記のようにしてステップＳ２で動作ピッチを設定したら、ステップＳ３では、ステップＳ１において特定された指示者がこの時に行っているジェスチャーを認識する。ここで認識されるジェスチャーの例を図４（ｂ）〜（ｉ）に示す。なお、図４に示す各ジェスチャーは、全て指示者を正面から見たときの例を示している。

図４（ｂ）および（ｃ）はパンを表すジェスチャーであり、（ｂ）のように右腕を降ろして左腕を水平に伸ばしている場合は、右方向（指示者から見た左方向）へのパンを表す。逆に、（ｃ）のように右腕を水平に伸ばして左腕を降ろしている場合は、左方向、すなわち指示者から見た右方向へのパンを表す。（ｄ）および（ｅ）はチルトを表すジェスチャーであり、（ｄ）のようにいずれか一方の腕の肘から先を上げて、もう一方の腕を降ろしている場合は、上方向へのチルトを表す。また、（ｅ）のように降ろしていない方の腕の肘から先を下げている場合は、下方向へのチルトを表す。なお、（ｄ）および（ｅ）のチルトを表すジェスチャーについては、左右の腕を図と逆にしてもよい。

（ｆ）および（ｇ）はズームを表すジェスチャーであり、（ｆ）のようにいずれか一方の腕の肘から先を上げて、もう一方の腕を水平に伸ばしている場合は、拡大方向へのズームを表す。（ｇ）のように、一方の腕の肘から先を下げ、もう一方の腕を水平に伸ばしている場合は、縮小方向へのズームを表す。なお、（ｇ）および（ｆ）のズームを表すジェスチャーについても、上記のチルトと同様に、左右の腕を図と逆にしてもよい。

（ｈ）はレリーズを表すジェスチャーである。このジェスチャーによって、カメラ１においてレリーズが行われて入力画像が撮影されるが、即時にレリーズが行われたのでは、指示者は（ｈ）に示すジェスチャーをした状態で撮影されてしまう。そのため、このレリーズのジェスチャーが行われた場合、自動撮影制御装置１０は所定時間、たとえば数秒後にレリーズを行うようカメラ１を制御する。（ｉ）は停止を表すジェスチャーであり、このジェスチャーが指示者によって行われると、自動制御装置１０はその動作を停止して自動撮影を中止する。このとき、合わせてカメラ１の電源を切断し、カメラ１の電池消費を抑えるようにすることが好ましい。

以上説明したようなジェスチャーのいずれかがステップＳ３において認識されると、次のステップＳ４へ進む。ステップＳ４では、ステップＳ３において認識されたジェスチャーが、図４（ｉ）に示す停止を表すものであるか否かを判定する。停止を表すジェスチャーであった場合は、図３の処理フローを終了する。このとき、前述したようにカメラ１の電源切断も行うようにするのがよい。停止を表すジェスチャーでなかった場合は、ステップＳ５へ進む。

ステップＳ５では、ステップＳ３において認識されたジェスチャーが撮影の実行、すなわち図４（ｈ）に示すレリーズを表すものであるか否かを判定する。撮影を表すジェスチャーであった場合は、ステップＳ６へ進み、レリーズ制御信号をカメラ１に対して出力する。カメラ１においてこのレリーズ制御信号が入力されると、レリーズが行われてそのときの入力画像が記録され、撮影が行われる。なお、このときには前述したように、所定時間後にカメラ１においてレリーズが行われるようにする。判定の結果が撮影を表すジェスチャーでなかった場合は、ステップＳ７へ進む。

ステップＳ７では、ステップＳ３において認識されたジェスチャーがパン、チルトまたはズームのいずれかを表すものであるか否かを判定する。図４（ｂ）〜（ｇ）に示すいずれかのジェスチャーであった場合はステップＳ８へ進む。そうでない場合、すなわち図４（ａ）に示した指示者を特定するためのジェスチャーや、上記に説明したいずれとも異なるジェスチャーなどが認識された場合は、そのジェスチャーを無視してステップＳ３へ戻る。

ステップＳ８では、ステップＳ３において認識されたジェスチャーに従ってパン、チルトまたはズームを行ったときに、指示者がフレームアウトして画面からはみ出すか否かを判定する。この判定は、ステップＳ２において設定された動作ピッチの大きさと、ステップＳ３においてジェスチャーを認識されたときに抽出された指示者の輪郭とに基づいて、行うことができる。そのときの画面がフレームアウトする方向において、指示者の輪郭から画面端までの距離が動作ピッチよりも小さい場合は、画面からはみ出すと判定し、ステップＳ３へ戻る。このとき、そのジェスチャーに対応する動作を行うと指示者がフレームアウトすることを、音声や画面表示などによって指示者に知らせることが好ましい。このようにすることで、指示者が撮影範囲からフレームアウトしないようにカメラ１の動作を制御することができる。一方、はみ出さないと判定した場合は、ステップＳ９へ進む。

ステップＳ９では、ステップＳ３において認識されたジェスチャーに従って、対応するパン、チルトまたはズームのいずれかの制御信号をカメラ１または駆動制御部１２へ出力する。このとき、ステップＳ２において設定された動作ピッチ分だけいずれかの動作が行われるよう、カメラ１または駆動制御部１２を制御する。ステップＳ９の処理を実行したら、ステップＳ３へ戻る。

以上説明した実施の形態によれば、次の作用効果が得られる。
（１）カメラ１の入力画像からそこに含まれている指示者を特定し（ステップＳ１）、特定された指示者が行うジェスチャーを入力画像に基づいて判断し（ステップＳ３）、そのジェスチャーに基づいて、カメラ１の動作を制御することとした（ステップＳ４〜Ｓ９）。このようにしたので、被撮影者の位置が一定ではない屋外などにおいて、複数の被撮影者の中から指示者を特定し、その指示者のジェスチャーによってカメラ１の撮影範囲調整やレリーズを行って、その複数の被撮影者を自動撮影することができる。
（２）指示者が行うジェスチャーに基づいて、入力画像から指示者を特定することとした（ステップＳ１）ので、特別な処理を用いずに指示者を特定することができる。

（３）指示者のジェスチャーに基づいて、カメラ１のパン、チルト、ズーム、およびレリーズを制御することとしたので、カメラ１を用いて、撮影範囲の調整および撮影をすることができる。
（４）カメラ１の撮影範囲から指示者がフレームアウトしないように制御することとした（ステップＳ８）ので、指示者からのジェスチャーが認識されなくなるのを防ぐことができる。

（５）パンおよびチルトの動作ピッチを撮影画面内での動作ピッチとし、指示者が行うジェスチャーに基づいて、この動作ピッチを設定することとした（ステップＳ２）。このようにしたので、撮影の状況に応じて、適切な動作ピッチでパンおよびチルトを実行することができる。
（６）パンおよびチルトの撮影画面内での動作ピッチを、カメラ１から被写体までの距離およびズーム倍率に基づいて制御することとした。このようにしたので、ズーム倍率に関わらず、常に設定された一定の動作ピッチとすることができる。

なお、本発明において用いられるジェスチャーは、上記の実施形態において説明したものには限定されず、様々なジェスチャーを用いることができ、静止したポーズだけでなく、動きのある動作を用いてもよい。また、上記の実施形態では、カメラと別構成である自動撮影制御装置を本発明の実施例として説明したが、この内容には限定されず、カメラ内にこのような装置を組み込んでもよい。さらに、このような制御を行い、カメラや雲台などにおいて用いられるプログラムについても、本発明を適用することができる。

また、上記の実施形態ではデジタルカメラを用いる例について説明したが、銀塩カメラについても同様に、本発明を適用することが可能である。この場合、カメラの撮影画面をＣＣＤなどによって画像情報に変換し、その画像を自動撮影制御装置へ出力する。

なお、上記実施形態で説明した各処理において用いる画像は、撮影画面よりも少ない情報量のものとしてよい。たとえば、各処理では間引いた画素情報の画像を用い、撮影時は全画素の情報を用いるようにする。このようにすることで、処理速度を向上しつつ、緻密な撮影画面を得ることができる。

本発明は上記実施の形態に限定されるものではなく、本発明の技術的思想の範囲内で考えられるその他の態様も、本発明の範囲内に含まれる。

本発明の一実施形態による自動撮影制御装置を説明する図である。 自動撮影制御装置の機能ブロックを示す図である。 自動撮影制御装置の制御部において実行される処理フローを示す図である。 指示者が行うジェスチャーの例を示す図である。

符号の説明

１：カメラ
２：雲台
３：三脚
４：画像表示装置
５：被撮影者
１０：自動撮影制御装置
１１：制御部
１２：駆動機構部

Claims (14)

1. 入力画像から指示者を特定する指示者特定手段と、
   前記特定された指示者が行うジェスチャーを前記入力画像に基づいて判断するジェスチャー判断手段と、
   前記判断されたジェスチャーに基づいて撮影手段を制御する制御手段とを備えることを特徴とする自動撮影制御装置。
2. 請求項１の自動撮影制御装置において、
   前記指示者特定手段は、指示者が行うジェスチャーに基づいてその指示者を特定することを特徴とする自動撮影制御装置。
3. 請求項１または２の自動撮影制御装置において、
   前記制御手段は、前記撮影手段のパン、チルト、ズーム、またはレリーズのいずれか１つ以上の動作を制御することを特徴とする自動撮影制御装置。
4. 請求項３の自動撮影制御装置において、
   前記制御手段は、前記指示者が前記撮影手段の撮影範囲からフレームアウトしないように、前記撮影手段の動作を制御することを特徴とする自動撮影制御装置。
5. 請求項３または４の自動撮影制御装置において、
   前記制御手段は、前記撮影手段のパンまたはチルト動作のいずれか少なくとも一方における撮影画面内での動作ピッチを、前記指示者が行うジェスチャーに基づいて制御することを特徴とする自動撮影制御装置。
6. 請求項３〜５のいずれかの自動撮影制御装置において、
   前記制御手段は、前記撮影手段のパンまたはチルト動作のいずれか少なくとも一方における撮影画面内での動作ピッチを、その撮影手段から被写体までの距離およびズーム倍率に基づいて制御することを特徴とする自動撮影制御装置。
7. 入力画像から指示者を特定する指示者特定ステップと、
   前記特定された指示者が行うジェスチャーを前記入力画像に基づいて判断するジェスチャー判断ステップと、
   前記判断されたジェスチャーに基づいて撮影手段を制御する制御ステップとをコンピュータで実行する自動撮影用プログラム。
8. 請求項７の自動撮影用プログラムにおいて、
   前記指示者特定ステップでは、指示者が行うジェスチャーに基づいてその指示者を特定することを特徴とする自動撮影用プログラム。
9. 請求項７または８の自動撮影用プログラムにおいて、
   前記制御ステップでは、前記撮影手段のパン、チルト、ズーム、またはレリーズのいずれか１つ以上の動作を制御することを特徴とする自動撮影用プログラム。
10. 請求項９の自動撮影用プログラムにおいて、
    前記制御ステップでは、前記指示者が前記撮影手段の撮影範囲からフレームアウトしないように、前記撮影手段の動作を制御することを特徴とする自動撮影用プログラム。
11. 請求項９または１０の自動撮影用プログラムにおいて、
    前記制御ステップでは、前記撮影手段のパンおよびチルト動作のいずれか少なくとも一方における撮影画面内での動作ピッチを、前記指示者が行うジェスチャーに基づいて制御することを特徴とする自動撮影用プログラム。
12. 請求項９〜１１のいずれかの自動撮影用プログラムにおいて、
    前記制御ステップでは、前記撮影手段のパンまたはチルト動作のいずれか少なくとも一方における撮影画面内での動作ピッチを、その撮影手段から被写体までの距離およびズーム倍率に基づいて制御することを特徴とする自動撮影用プログラム。
13. 請求項１〜６のいずれかの自動撮影制御装置を有することを特徴とするカメラ。
14. 請求項１３のカメラにおいて、
    前記入力画像を表示する画像表示装置を有することを特徴とするカメラ。
    

Images