JP2010147691A - 画像生成装置、方法及びプログラム - Google Patents

Abstract

【課題】複数の部分画像から生成される結合画像において、人物が写りこむことを防止する。
【解決手段】撮影装置と情報処理装置とがネットワークを介して接続し、前記撮影装置で撮影された複数の部分画像から結合画像を生成する画像生成システムにおいて、複数の撮影方向で部分画像を撮影し（ステップＳ４０２〜Ｓ４０７）、撮影された部分画像に人物が含まれるか否かを判定し（ステップＳ４０５）、部分画像に人物が含まれると判定された場合、当該部分画像を再撮影するよう制御し（ステップＳ４０８〜Ｓ４１１）、その後撮影あるいは再撮影された部分画像から結合画像を生成する（ステップＳ４１２）。
【選択図】 図４

Description

本発明は画像生成装置、方法及びプログラム、並びに画像生成システムに関し、特に複数の画像（部分画像）から結合画像を生成する技術に関する。

従来、複数の撮影方向（カメラを向ける方向）で撮影した複数の部分画像を結合することにより広域画像（広い領域の画像）等の結合画像を作成する技術が知られており、例えば、パノラマ作成ツールなどの製品が市販されている。

また、複数の撮影方向で撮影した部分画像に移動物体が写りこんでしまう場合の問題点を解決する提案もなされている。例えば特許文献１では、撮影された部分画像中に移動物体が含まれると判定した場合に、同一の撮影方向で部分画像を再撮影することにより、移動物体が含まれない結合画像を生成している。

特開２００１−１８９８８９号公報

しかしながら、上記特許文献１に記載の技術では、複数の撮影方向で撮影した部分画像の中に、例えばカメラの前でたまたま人が居合わせ立ち話をしている場合などは、移動物体と判定されず人物を含んだ広域画像を生成してしまうことがある。この場合、この広域画像を背景画像として用い、背景画像とライブ画像とを重畳して表示したり、背景画像とライブ画像とを比較することによりライブ画像中の移動物体を抽出したりする場合に、不都合が生じてしまうという課題があった。

一方、人物が含まれない広域画像を作成するために、ユーザが撮影方向を変えながら複数の部分画像を撮影すると、それにより長時間を要してしまい、例えば、明るさ等の撮影環境の変化による影響が現れてしまうことがある。従って、可能な限り短時間で必要な部分画像の撮影を終えることが望まれる。

本発明は係る実情に鑑みてなされたものであり、複数の部分画像から生成される結合画像において、人物が写りこむことを防止し、かつこのような画像を短時間で生成することができる画像生成装置等を提供することを目的とする。

本発明の画像生成装置は、複数の部分画像をつなぎ合わせて結合画像を生成する画像生成装置であって、撮影手段に複数の撮影方向で部分画像を撮影させる撮影制御手段と、前記撮影手段で撮影された部分画像に人物が含まれるか否かを判定する人物判定手段と、前記人物判定手段で部分画像に人物が含まれると判定された場合、前記撮影手段に当該部分画像を再撮影させる再撮影制御手段とを有することを特徴とする。
また、本発明の画像生成システムは、撮影装置と情報処理装置とがネットワークを介して接続し、前記撮影装置で撮影された複数の部分画像をつなぎ合わせて結合画像を生成する画像生成システムであって、前記撮影装置に複数の撮影方向で部分画像を撮影させる撮影制御手段と、前記撮影された部分画像に人物が含まれるか否かを判定する人物判定手段と、前記人物判定手段で部分画像に人物が含まれると判定された場合、前記撮影装置に当該部分画像を再撮影させる再撮影制御手段とを有することを特徴とする。
また、本発明の画像生成方法は、複数の部分画像をつなぎ合わせて結合画像を生成する画像生成方法であって、撮影手段に複数の撮影方向で部分画像を撮影させる撮影制御ステップと、前記撮影手段で撮影された部分画像に人物が含まれるか否かを判定する人物判定ステップと、前記人物判定ステップで部分画像に人物が含まれると判定された場合、前記撮影手段に当該部分画像を再撮影させる再撮影制御ステップと、前記撮影あるいは前記再撮影された部分画像をつなぎ合わせて結合画像を生成する画像生成ステップとを有することを特徴とする。
また、本発明のプログラムは、複数の部分画像をつなぎ合わせて結合画像を生成する画像生成方法をコンピュータに実行させるためのプログラムであって、撮影手段に複数の撮影方向で部分画像を撮影させる撮影制御ステップと、前記撮影手段で撮影された部分画像に人物が含まれるか否かを判定する人物判定ステップと、前記人物判定ステップで部分画像に人物が含まれると判定された場合、前記撮影手段に当該部分画像を再撮影させる再撮影制御ステップと、前記撮影あるいは前記再撮影された部分画像をつなぎ合わせて結合画像を生成する画像生成ステップとをコンピュータに実行させるためのプログラムである。

本発明によれば、複数の部分画像から生成される結合画像において、部分画像に人物が写っていた場合に、再度撮影をしなおすことで、結合画像への人物の写りこみを避けることができ、人物の写り込みのない結合画像を短時間で生成することができる。

以下、本発明を実施するための最良の形態について図面を参照して説明する。
（第１の実施の形態）
図１は、本発明の第１の実施の形態に係るネットワークカメラシステムの概念図である。図１に示すようにネットワークカメラシステム（画像生成システムを含む）は、撮影装置であるネットワークカメラ１０１と情報処理装置であるパーソナルコンピュータ（ＰＣ）１０３とがネットワーク１０２を介して接続されることで構成される。

図２は、ネットワークカメラ１０１の内部構成を示すブロック図である。図２に示すようにネットワークカメラ１０１は、撮像部２０１、可動雲台２０２、カメラ・雲台制御部２０３、映像入力部２０４、映像圧縮部２０５、通信制御部２０６、コマンド解釈部２０７、記憶部２０８、及び顔検出部２０９を有する。

撮像部２０１はＣＣＤ等の撮像素子を含み光学像を撮像する。可動雲台２０２は撮像部２０１をパン・チルト方向へ駆動する。カメラ・雲台制御部２０３は撮像部２０１による撮影を制御（撮影動作の制御やズーム制御）すると共に、可動雲台２０２のパン・チルト角度を制御（パン制御、チルト制御）する。

映像入力部２０４は撮像部２０１からの画像（動画及び静止画）を取り込み、顔検出部２０９は取り込んだ映像データから顔を検出する。また、映像圧縮部２０５は映像入力部２０４が取り込んだ映像データを圧縮する。

通信制御部２０６は映像圧縮部２０５で圧縮された映像データをネットワーク１０２上に配信する。なお、映像圧縮部２０５は撮像部２０１からのＮＴＳＣ映像信号を取り込み、Ａ／Ｄ変換後、ＭｏＴｉｏｎＪＰＥＧで圧縮して、通信制御部２０６に渡し、ネットワーク１０２に送出するものとする。ここでは映像の圧縮方式として、ＭｏＴｉｏｎＪＰＥＧ圧縮としたが、本発明は、この圧縮方式に限定されるものではない。

コマンド解釈部２０７はネットワーク１０２経由でＰＣ１０３から受け取ったコマンドを解釈し、ネットワークカメラ１０１の各部を制御する。これにより、ネットワークカメラ１０１は、ＰＣ１０３からの要求に基づき可動雲台２０２を制御しつつ撮像部２０１からの映像を取り込むことができる。記憶部２０８はネットワークカメラ１０１の各部に対するデータの受け渡しの際に用いられる。

上述のような構成を備えたネットワークカメラ１０１では、撮像部２０１からの画像の要求のあったＰＣ１０３に画像を配信すると共に、ＰＣ１０３からのカメラ制御コマンドを受け付け、可動雲台２０２の制御を行いつつ撮影を行うことができる。

ＰＣ１０３は、ネットワークカメラ１０１から配信された画像をつなぎ合わせて、パノラマ画像を生成し、映像表示部３０４（後述する図３に示す）において表示することができる。図３は、ＰＣ１０３の内部構成を示すブロック図である。

図３に示すようにＰＣ１０３は、通信制御部３０１、映像伸長部３０２、パノラマ生成部３０３、映像表示部３０４、表示制御部３０５、及びコマンド発生部３０６を有する。

コマンド発生部３０６はネットワークカメラ１０１に対するカメラ制御コマンドを生成する。通信制御部３０１はカメラ制御コマンドをネットワークカメラ１０１に送信する。

通信制御部３０１はまた、ネットワークカメラ１０１から配信されてきた圧縮映像データを受信する。映像伸長部３０２はネットワークカメラ１０１からの圧縮映像データを伸長し、伸長された映像データは映像表示部３０４で表示される。

また、ＰＣ１０３ではパノラマ画像生成モードを設定できる。このパノラマ画像生成モード時には、パノラマ生成部３０３が複数のデータをつなぎ合わせ、パノラマ画像を生成できる。生成したパノラマ画像は、映像表示部３０４で表示され、ユーザーインターフェース（ＧＵＩ）操作によりカメラ制御や画像蓄積保存操作等ができる。これらの画面表示・操作の制御は表示制御部３０５で行われる。

なお、ネットワークカメラ１０１、ＰＣ１０３は共に、ネットワーク１０２に接続される数に特に制限は無いが、本実施の形態では、説明の簡略化のため各々１台ずつと仮定する。また、ネットワーク１０２に関しても、カメラ制御信号、圧縮した映像信号を通すのに十分な帯域があるインターネットやイントラネット等のディジタルネットワークであればどのようなものでもよい。本実施の形態では、ネットワークプロトコルとして、ＴＣＰ／ＩＰ（ＵＤＰ／ＩＰ）プロトコルを仮定し、以下、アドレスといった場合にはＩＰアドレスを指すこととする。また、ネットワークカメラ１０１、ＰＣ１０３には、共にＩＰアドレスが割り当てられているものとする。

次に、本実施の形態に係るネットワークカメラシステムによって実行されるパノラマ画像の撮影及び生成処理の手順を説明する。図４は係る処理の手順を示したフローチャートであり、図５は係る処理においてカメラ制御コマンドや映像の受け渡しの際に用いるパケットの内容を示した図である。カメラ制御コマンドや映像の受け渡しの際に用いるパケットとしては、図５に示すような形式のものが生成され、ＰＣ１０３からネットワーク１０２に送信されることになる。

ここで先ず図５を用いてカメラ制御コマンドの受け渡しの際に用いるパケット情報の内容について説明する。なお、パケット情報の内容は厳密には、ＴＣＰ／ＩＰやＵＤＰ／ＩＰ等のパケットで用いられているフォーマットを使用することになるが、図５では本実施の形態の説明に必要なパケット情報のみ記述することにする。

図５に示すように本実施の形態で必要となるパケット情報としては、ズーム要求５０１、パン角度変更要求５０２、チルト角度変更要求５０３、静止画撮影取得要求５０４、静止画撮影取得応答５０５が挙げられる。

これらパケット情報には、共通して送信元アドレスと送信先アドレスとを示す情報が含まれる。また、ズーム要求５０１、パン角度変更要求５０２、チルト角度変更要求５０３には、特有の識別情報（ＺＭ；Ｚｏｏｍ要求等）及び設定値（Ｚｏｏｍであれば、ズーム値Ｘ）を示す情報が含まれる。また、静止画撮影取得要求５０４には、映像を要求する指令であることを示す識別情報（ＰＩＣ）が含まれる。また、静止画撮影取得応答５０５には、映像を送信する指令であることを示す識別情報（ＰＩＣ＿ＤＡＴＡ）及び画像の撮影時のズーム値、パン角、チルト角、顔情報（Ｆａｃｅ＿Ｉｎｆｏ）の有無及び映像データ（ＤＡＴＡ）が含まれる。

以下、上述したような内容のパケット情報を用いて実行される本実施の形態に係る動作を図４のフローチャートを用いて説明する。

先ずステップＳ４０１においてネットワークカメラ１０１は、パノラマ画像生成モードに遷移されたかどうかを監視する。ＰＣ１０３上では、ユーザはＰＣ１０３のＧＵＩ上のパノラマ撮影ボタン等（図示せず）を押下することによりパノラマ画像生成モードに遷移させることができ、表示制御部３０５によって表示された画面により遷移したか否かを確認できるようになっている。また、ＰＣ１０３でパノラマ画像生成モードが設定された場合、ＰＣ１０３はネットワークカメラ１０１に対しその旨を通知する。

次にステップＳ４０２において、ＰＣ１０３からズーム値の変更要求が行われ、ネットワークカメラ１０１は、撮像部２０１に含まれるレンズをワイド端に移動させる。このとき、ＰＣ１０３のコマンド発生部３０６においては、図５に示したズーム要求５０１にてズーム値をｘに設定したパケットが生成される。このパケットが通信制御部３０１を介して、ネットワークカメラ１０１に送信されることになる。ネットワークカメラ１０１は、通信制御部２０６を介してこの要求パケットを受信し、コマンド解釈部２０７にて要求内容を解釈し、カメラ・雲台制御部２０３において、レンズをワイド端に移動させる。

次にステップＳ４０３において、ＰＣ１０３からパン値、チルト値の変更要求が行われ、ネットワークカメラ１０１は、撮影方向を決定する。このとき、ＰＣ１０３のコマンド発生部３０６においては、図５に示したパン角度変更要求５０２にてパン値をθに設定したパケット、及び、チルト角度変更要求５０３にてチルト値をφに設定したパケットが生成される。このパケットは、通信制御部３０１を介して、ネットワークカメラ１０１に送信され、ネットワークカメラ１０１が受信する。そして、ネットワークカメラ１０１は、コマンド解釈部２０７にて要求内容を解釈し、カメラ・雲台制御部２０３において、可動雲台２０２のパン値及びチルト値を変更させる。

次にステップＳ４０４において、ＰＣ１０３から図５に示した静止画撮影取得要求５０４が送信され、ネットワークカメラ１０１は、静止画（部分画像）を撮影する。ネットワークカメラ１０１は、撮影した部分画像を図５に示した静止画撮影取得応答５０５のＤＡＴＡ部分に含める。静止画撮影取得応答５０５には、ＤＡＴＡ部分のほか、ズーム値、パン値、チルト値等の撮影パラメータ、及びステップＳ４０５で検出される顔検出情報であるＦａｃｅ＿Ｉｎｆｏが含まる。ズーム値、パン値、チルト値については、現在設定している値が記録される。

ここで、図６を用いて、撮影されるパノラマ画像の構成について説明する。図６は、縦５枚、横５枚、計２５枚によって構成されるパノラマ画像である。図中Ｐはパン値、Ｔはチルト値を示す。パノラマ画像生成モードでは、図６に示す初期位置のＩｍｇ（Ｐ１、Ｔ１）から撮影を開始し、パン方向に沿ってＩｍｇ（Ｐ５、Ｔ１）まで撮影する。その後、チルト角度を変更してＩｍｇ（Ｐ５、Ｔ２）を撮影し、再びパン方向に沿ってＩｍｇ（Ｐ１、Ｔ２）まで撮影する。以上の繰り返しにより、ジグザグに撮影を行い、最後は、Ｉｍｇ（Ｐ５、Ｔ５）を撮影し、撮影処理を終了する。なお、例えばＩｍｇ（Ｐ１、Ｔ１）は、パン角度変更要求５０２においてθ＝Ｐ１、チルト角度変更要求５０３においてφ＝Ｔ１としたものである。

次にステップＳ４０５、Ｓ４０６においては、ネットワークカメラ１０１は、ステップＳ４０４で撮影された部分画像に対して顔検出を行う。ここでは、顔検出部２０９において、映像入力部２０４から出力される画像信号に基づいて、顔検出処理が実行された結果、顔が映っていると判断された場合に、上述した、静止画撮影取得応答５０５におけるＦａｃｅ＿Ｉｎｆｏ（本発明でいう判定情報に対応）に情報が記入される。更に、Ｆａｃｅ＿Ｉｎｆｏには、顔検出フラグ（本発明でいう検出結果）と顔角度情報（以下、角度情報）が含まれる。顔検出フラグは、顔が写っていると判断した場合１がセットされ、写っていると判断されなかった場合０がセットされる。また角度情報は、顔検出フラグが１にセットされた場合のみ記入され、垂直上方向に対する顔方向（口から鼻への方向）の角度の情報が記入される。図７に角度情報を説明する図を示す。角度情報には、１（０度から４５度、３１５度から３６０度）、２（４５度から１３５度）、３（１３５度から２２５度）、４（２２５度から３１５度）の４段階がある。

顔の検出及び角度検出は、例えば、予め目や鼻等のデータを記憶しておき判別する方法や撮影画像の色彩判定処理（肌色検出処理）等、既存の技術を用いることができ、ここでは、その詳細な説明は省略する。静止画撮影取得応答５０５は、ステップＳ４０４〜Ｓ４０６までのステップにおいて、生成が完了され、ＰＣ１０３に送信される。ＰＣ１０３は、通信制御部３０１を介して静止画撮影取得応答５０５を受信し、部分画像は映像伸長部３０２で伸長され、パノラマ生成部３０３に送られる。

ステップＳ４０７においては、ＰＣ１０３は、パノラマ画像の構成に必要なすべての部分画像が取得されたかどうかを判定する。取得されていない場合は、ステップＳ４０３〜Ｓ４０６の処理を繰り返し、図６で説明した撮影順序に沿って行い、すべての部分画像の撮影を終了するまで繰り返す。一方、すべての部分画像が取得された場合はステップＳ４０８に進む。なお、ステップＳ４０２〜Ｓ４０４及びＳ４０７の処理は、本発明でいう撮影制御手段の一処理に対応する処理である。

その後ステップＳ４０８、Ｓ４０９、Ｓ４１０、Ｓ４１１では、ステップＳ４０６で顔検出処理後にＦａｃｅ＿Ｉｎｆｏに顔検出がセットされたすべての部分画像に対して、顔が検出されなくなるまで、再撮影を繰り返す。なお、ここでＦａｃｅ＿Ｉｎｆｏに顔検出がセットされた部分画像を一度確認する処理は、本実施の形態では本発明の人物判定手段の一処理例に対応する処理である。

この再撮影では、先ずステップＳ４０８においてＰＣ１０３は、コマンド発生部３０６により撮影に必要な要求パケットを生成する。具体的にはコマンド発生部３０６は、Ｆａｃｅ＿Ｉｎｆｏが１にセットされた静止画撮影取得応答５０５に含まれる、ズーム値、パン値、チルト値を用いて、ズーム要求５０１、パン角度変更要求５０２、チルト角度変更要求５０３を送信する。更にネットワークカメラ１０１の撮影方向が変更された後、静止画撮影取得要求５０４を送信し、ネットワークカメラ１０１に部分画像の撮影を行わせる。

その後ステップＳ４０９においてネットワークカメラ１０１が顔検出を行う。ここで顔検出がされた場合は、ステップＳ４１１を介してステップＳ４０８に戻り再撮影が行われることになる。また、顔検出がされなかった場合は、ステップＳ４１０でネットワークカメラ１０１は、Ｆａｃｅ＿Ｉｎｆｏが０の新たな静止画撮影取得応答５０５をＰＣ１０３に送信し、ＰＣ１０３が再度撮影された部分画像を取得する。その後ＰＣ１０３は、取得した部分画像を上述のようにパノラマ生成部３０３に送り、最初に同一の撮影方向にて撮影された部分画像を、この再撮影によって取得した部分画像によって置き換える。

そしてステップＳ４１１においてＰＣ１０３は、当初Ｆａｃｅ＿Ｉｎｆｏに検出がセットされたすべての部分画像について顔が検出されていないかどうかを確認する。ここで、顔検出されたものがまだある場合はコマンド発生部３０６によって、顔が検出されなくなるまで再撮影を行うようにし、そうでない場合はステップＳ４１２に進む。なお、ステップＳ４０８〜Ｓ４１１までの処理は、本発明でいう再撮影制御手段の一処理に対応する処理である。

そしてステップＳ４１２においては、ＰＣ１０３は、パノラマ生成部３０３によってすべての部分画像をつなぎ合わせて結合画像であるパノラマ画像を生成し、映像表示部３０４で表示し、パノラマ画像生成処理を終了する。

なお再撮影では、再撮影を行う対象をＦａｃｅ＿Ｉｎｆｏの顔検出フラグがセットされた部分画像の撮影方向だけでなく、Ｆａｃｅ＿Ｉｎｆｏに含まれる角度情報から胴体等の人物部分を推測（想定）し、その撮影方向も合わせて再撮影を行うようにしても良い。

例えば図６において、Ｉｍｇ（Ｐ１、Ｔ４）にて、角度情報が１（０度から４５度、３１５度から３６０度）であった場合は、人物画Ｉｍｇ（Ｐ１、Ｔ４）から下方向にかけて写っていると判断し、Ｉｍｇ（Ｐ１、Ｔ５）の再撮影も実施してもよい。また、人物の胴体部分が、角度方向に何枚まで写っているかは、顔検出処理において、顔の大きさ、頭の大きさを分析し、頭の大きさから平均的な人間の体格を想定することで、導き出すことは可能であるが、ここでは、その詳細な説明は省略する。

続いて、図８を用いて具体的なパノラマ画像を例示し、図４のパノラマ画像生成処理を具体的に説明する。

図８は、ステップＳ４０１〜Ｓ４０７のステップにおいて、２５回の繰り返しの撮影でパノラマ生成部３０３が取得した部分画像から生成されたパノラマ画像を示す図である。図８を見て分かるように、このパノラマ画像には、たまたま二人の人物が写っており、詳細にはＩｍｇ（Ｐ３、Ｔ３）、Ｉｍｇ（Ｐ４、Ｔ３）で撮影された部分画像にそれぞれの顔が写っている。

図９は、ＰＣ１０３が２５回分の静止画撮影取得応答５０５から取得する、ズーム値、パン値、チルト値、Ｆａｃｅ＿Ｉｎｆｏの一覧表を示す図である。上述したように、図９においても、Ｉｍｇ（Ｐ３、Ｔ３）、Ｉｍｇ（Ｐ４、Ｔ３）では顔が検出されており、Ｆａｃｅ＿Ｉｎｆｏのフラグに１がセットされている。ＰＣ１０３は、すべての部分画像がネットワークカメラ１０１から送信された際、このような情報を保持することになる。

図９に示した例では、ステップＳ４０８、Ｓ４０９、Ｓ４１０、Ｓ４１１で、Ｉｍｇ（Ｐ３、Ｔ３）、Ｉｍｇ（Ｐ４、Ｔ３）に対する再撮影が行われることになる。そして、更に、Ｉｍｇ（Ｐ３、Ｔ３）に対する再撮影では、Ｆａｃｅ＿Ｉｎｆｏの角度情報が１（０度から４５度、３１５度から３６０度）であるため、胴体が下方向に写っていると判断し、コマンド発生部３０６は、Ｉｍｇ（Ｐ３、Ｔ３）、Ｉｍｇ（Ｐ３、Ｔ４）、Ｉｍｇ（Ｐ３、Ｔ５）の撮影方向に対し、再撮影を行う。同様に、Ｉｍｇ（Ｐ４、Ｔ３）に対しても、角度情報に基づいて、複数の部分画像の再撮影を行う。

その後図８中に写りこんでいる二人の人物が、一定時間経った後いなくなったとき、ステップＳ４１１はＹＥＳとなり、ステップＳ４１２においてパノラマ生成部３０３により顔、人物が写りこんでいないパノラマ画像が生成され、映像表示部３０４で表示される。図１０に、このとき表示されるパノラマ画像を示す。

なお、以上の説明ではステップＳ４１１からステップＳ４１２に進む条件を、顔が検出されなくなった場合としたが、これに代えて、例えば３回など所定回数の再撮影を実施した場合は、たとえ顔が検出されたとしても、ステップＳ４１２に進むようにしてもよい。このような態様では、ポスターや写真等、背景の中に顔が入っている場合に有効になる。

また、ステップＳ４０５では、顔検出について説明したが、主目的は人物を検出することであり、この限りではない。顔検出部２０９に動き検出回路を含むことにより、動き検出も同時に処理させ、人物検出の精度を高めることも、もちろん可能である。

以上、本発明の第１の実施の形態を説明した。この構成では、部分画像に人物が写っていた場合に、再度撮影をしなおすことで、結合画像であるパノラマ画像への人物の写りこみの可能性を抑えることが可能となる。また、再撮影の処理は、パノラマ画像の生成前に自動で行われるため、人物の写り込みのない結合画像を短時間で生成することが可能である。

（第２の実施の形態）
次に本発明の第２の実施の形態について説明する。第１の実施の形態では、図４のパノラマ画像生成処理において、ステップＳ４０３〜Ｓ４０７で、まず一通りすべての部分画像を撮影した後、顔を検出した箇所について再度撮影を行っている。第２の実施の形態では、これに代えて、ネットワークカメラ１０１が、顔を検出した直後に再撮影を行うようにする。以下、この際の動作手順を図１１を用いて説明する。なお、図１１のパノラマ画像生成処理において、図４と同一のステップについては、同一のステップ番号を示し、説明を省略する。

ステップＳ４０４の撮影の後、ステップＳ１１０１においてネットワークカメラ１０１は、顔検出部２０９によって撮影した部分画像に顔があるかどうかを検出する。ここで顔を検出した場合は、ネットワークカメラ１０１は、静止画撮影取得応答５０５を生成せず、同一の撮影方向で再度撮影するようにする（Ｓ４０４）。本実施の形態では、これらの処理を、顔が検出されなくなるまで繰り返す。顔が検出されなくなった場合、その部分画像用いて静止画撮影取得応答５０５を生成し、ＰＣ１０３へ送信するようにする。なお、ステップＳ１１０１の処理は、本実施の形態では本発明の人物判定手段の一処理例に対応する処理である。

また、ここでは、ステップＳ１１０１からステップＳ４０７に進む条件を、顔が検出されなくなった場合としたが、この限りでなく、例えば３回など所定回数の再撮影を実施した場合は、たとえ顔が検出されたとしてもステップＳ４０７に進むようにしてもよい。このような態様では、ポスターや写真など、背景の中に顔が入っている場合に有効になる。

以上、本発明の第２の実施の形態を説明した。この構成では、上述した第１の実施の形態の構成と同様に、部分画像に人物が写っていた場合に、再度撮影をしなおすことで、結合画像であるパノラマ画像への人物の写りこみの可能性を抑えることが可能となる。また、再撮影の処理は、パノラマ画像の生成前に自動で行われるため、人物の写り込みのない結合画像を短時間で生成することが可能である。

以上、本発明を第１の実施の形態及び第２の実施の形態により説明したが、本発明を実施できる形態はこれらに限定されるものでなく、これら実施の形態の構成を変更しても本発明を実施することができる。例えば、ネットワークカメラ１０１において、部分画像の撮影、人物の判定、部分画像の再撮影、パノラマ画像の生成という一連の処理をする構成であっても本発明を実施できる。また、顔検出の機能をＰＣ１０３に持たせ、ネットワークカメラ１０１から部分画像のみを取得する構成であっても本発明を実施することができる。

また、本発明の目的は、以下の処理を実行することによっても達成される。即ち、上述した実施の形態の機能を実現するプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出す処理である。

この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコード及び該プログラムコードを記憶した記憶媒体は本発明を構成することになる。

また、プログラムコードを供給するための記憶媒体としては、次のものを用いることができる。例えば、フロッピー（登録商標）ディスク、ハードディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等である。または、プログラムコードをネットワークを介してダウンロードしてもよい。

また、コンピュータが読み出したプログラムコードを実行することにより、上記実施の形態の機能が実現される場合も本発明に含まれる。加えて、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施の形態の機能が実現される場合も含まれる。

更に、前述した実施の形態の機能が以下の処理によって実現される場合も本発明に含まれる。即ち、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う場合である。

本発明の第１の実施の形態に係るネットワークカメラシステムの概念図である。 本発明の第１の実施の形態に係るネットワークカメラシステムに含まれるネットワークカメラの内部構成を示すブロック図である。 本発明の第１の実施の形態に係るネットワークカメラシステムに含まれるパーソナルコンピュータ（ＰＣ）の内部構成を示すブロック図である。 本発明の第１の実施の形態に係るネットワークカメラシステムによって実行されるパノラマ画像の撮影及び生成処理の手順を示したフローチャートである。 本発明の第１の実施の形態に係るネットワークカメラシステムによって実行されるパノラマ画像の撮影及び生成処理においてカメラ制御コマンドや映像の受け渡しの際に用いるパケットの内容を示した図である。 本発明の第１の実施の形態に係るネットワークカメラによって撮影されるパノラマ画像の構成例を示した図である。 本発明の第１の実施の形態に係るネットワークカメラシステムにおいて映像の受け渡しの際に用いるパケットに含まれる顔角度情報を示した図である。 本発明の第１の実施の形態に係るネットワークカメラによって撮影された部分画像及びそれから生成される結合画像の一例を示した図である。 本発明の第１の実施の形態に係るパーソナルコンピュータ（ＰＣ）がネットワークカメラから取得する、ズーム値、パン値、チルト値、Ｆａｃｅ＿Ｉｎｆｏの一覧表を示した図である。 本発明の第１の実施の形態に係るネットワークカメラシステムによって生成された人物の写りこみのない結合画像の一例を示した図である。 本発明の第２の実施の形態に係るネットワークカメラシステムによって実行されるパノラマ画像の撮影及び生成処理の手順を示したフローチャートである。

符号の説明

１０１ ネットワークカメラ
１０２ ネットワーク
１０３ パーソナルコンピュータ（ＰＣ）
２０１ 撮像部
２０２ 可動雲台
２０３ カメラ・雲台制御部
２０４ 映像入力部
２０５ 映像圧縮部
２０６ 通信制御部
２０７ コマンド解釈部
２０８ 記憶部
２０９ 顔検出部
３０１ 通信制御部
３０２ 映像圧縮部
３０３ パノラマ生成部
３０４ 映像表示部
３０５ 表示制御部
３０６ コマンド発生部

Claims (14)

1. 複数の部分画像をつなぎ合わせて結合画像を生成する画像生成装置であって、
   撮影手段に複数の撮影方向で部分画像を撮影させる撮影制御手段と、
   前記撮影手段で撮影された部分画像に人物が含まれるか否かを判定する人物判定手段と、
   前記人物判定手段で部分画像に人物が含まれると判定された場合、前記撮影手段に当該部分画像を再撮影させる再撮影制御手段とを有することを特徴とする画像生成装置。
2. 前記撮影制御手段は、ズーム制御、パン制御、及びチルト制御を行うことを特徴とする請求項１に記載の画像生成装置。
3. 前記人物判定手段は、顔検出、又は肌色検出、又は動き検出の検出結果を基に、部分画像に人物が含まれるか否かの判定を行うことを特徴とする請求項１又は２に記載の画像生成装置。
4. 前記再撮影制御手段は、前記人物判定手段で部分画像に人物が含まれると判定された場合、その直後に同一の撮影方向において再撮影を行うよう制御することを特徴とする請求項１〜３のいずれか１項に記載の画像生成装置。
5. 前記人物判定手段は、前記撮影手段による部分画像についての一通りすべての撮影方向への撮影が終了するまで、これら部分画像に人物が含まれるか否かの判定情報を撮影パラメータとともに保持しておき、
   前記再撮影制御手段は、前記判定情報及び前記撮影パラメータを基に再撮影を行うよう制御することを特徴とする請求項１〜３のいずれか１項に記載の画像生成装置。
6. 前記撮影パラメータには、撮影時のズーム制御、パン制御、チルト制御における設定値のうちの一つあるいは複数が含まれることを特徴とする請求項５に記載の画像生成装置。
7. 前記判定情報には、顔の角度を示す顔角度情報も含まれることを特徴とする請求項５又は６に記載の画像生成装置。
8. 前記再撮影制御手段は、前記顔角度情報に基づき人物部分を想定し、前記人物部分を含むと想定される部分画像について再撮影を行うよう制御することを特徴とする請求項７に記載の画像生成装置。
9. 前記人物判定手段は、前記再撮影制御手段により再撮影された部分画像に対し、再度、人物判定を行い、
   前記再撮影制御手段は、人物が含まれると判定されなくなるまで、再撮影を繰り返すよう制御することを特徴とする請求項１〜８のいずれか１項に記載の画像生成装置。
10. 前記人物判定手段は、前記再撮影制御手段により再撮影された部分画像に対し、再度、人物判定を行い、
    前記再撮影制御手段は、人物が含まれると判定されなくなるまで、又は所定回数の再撮影を実施するまで、再撮影を繰り返すよう制御することを特徴とする請求項１〜８のいずれか１項に記載の画像生成装置。
11. 前記結合画像は、パノラマ画像であることを特徴とする請求項１〜１０のいずれか１項に記載の画像生成装置。
12. 撮影装置と情報処理装置とがネットワークを介して接続し、前記撮影装置で撮影された複数の部分画像をつなぎ合わせて結合画像を生成する画像生成システムであって、
    前記撮影装置に複数の撮影方向で部分画像を撮影させる撮影制御手段と、
    前記撮影された部分画像に人物が含まれるか否かを判定する人物判定手段と、
    前記人物判定手段で部分画像に人物が含まれると判定された場合、前記撮影装置に当該部分画像を再撮影させる再撮影制御手段とを有することを特徴とする画像生成システム。
13. 複数の部分画像をつなぎ合わせて結合画像を生成する画像生成方法であって、
    撮影手段に複数の撮影方向で部分画像を撮影させる撮影制御ステップと、
    前記撮影手段で撮影された部分画像に人物が含まれるか否かを判定する人物判定ステップと、
    前記人物判定ステップで部分画像に人物が含まれると判定された場合、前記撮影手段に当該部分画像を再撮影させる再撮影制御ステップと、
    前記撮影あるいは前記再撮影された部分画像をつなぎ合わせて結合画像を生成する画像生成ステップとを有することを特徴とする画像生成方法。
14. 複数の部分画像をつなぎ合わせて結合画像を生成する画像生成方法をコンピュータに実行させるためのプログラムであって、
    撮影手段に複数の撮影方向で部分画像を撮影させる撮影制御ステップと、
    前記撮影手段で撮影された部分画像に人物が含まれるか否かを判定する人物判定ステップと、
    前記人物判定ステップで部分画像に人物が含まれると判定された場合、前記撮影手段に当該部分画像を再撮影させる再撮影制御ステップと、
    前記撮影あるいは前記再撮影された部分画像をつなぎ合わせて結合画像を生成する画像生成ステップとをコンピュータに実行させるためのプログラム。

Images