JP2010147691A - 画像生成装置、方法及びプログラム - Google Patents
画像生成装置、方法及びプログラム Download PDFInfo
- Publication number
- JP2010147691A JP2010147691A JP2008321342A JP2008321342A JP2010147691A JP 2010147691 A JP2010147691 A JP 2010147691A JP 2008321342 A JP2008321342 A JP 2008321342A JP 2008321342 A JP2008321342 A JP 2008321342A JP 2010147691 A JP2010147691 A JP 2010147691A
- Authority
- JP
- Japan
- Prior art keywords
- image
- photographing
- person
- shooting
- partial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Processing (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
【課題】複数の部分画像から生成される結合画像において、人物が写りこむことを防止する。
【解決手段】撮影装置と情報処理装置とがネットワークを介して接続し、前記撮影装置で撮影された複数の部分画像から結合画像を生成する画像生成システムにおいて、複数の撮影方向で部分画像を撮影し(ステップS402〜S407)、撮影された部分画像に人物が含まれるか否かを判定し(ステップS405)、部分画像に人物が含まれると判定された場合、当該部分画像を再撮影するよう制御し(ステップS408〜S411)、その後撮影あるいは再撮影された部分画像から結合画像を生成する(ステップS412)。
【選択図】 図4
【解決手段】撮影装置と情報処理装置とがネットワークを介して接続し、前記撮影装置で撮影された複数の部分画像から結合画像を生成する画像生成システムにおいて、複数の撮影方向で部分画像を撮影し(ステップS402〜S407)、撮影された部分画像に人物が含まれるか否かを判定し(ステップS405)、部分画像に人物が含まれると判定された場合、当該部分画像を再撮影するよう制御し(ステップS408〜S411)、その後撮影あるいは再撮影された部分画像から結合画像を生成する(ステップS412)。
【選択図】 図4
Description
本発明は画像生成装置、方法及びプログラム、並びに画像生成システムに関し、特に複数の画像(部分画像)から結合画像を生成する技術に関する。
従来、複数の撮影方向(カメラを向ける方向)で撮影した複数の部分画像を結合することにより広域画像(広い領域の画像)等の結合画像を作成する技術が知られており、例えば、パノラマ作成ツールなどの製品が市販されている。
また、複数の撮影方向で撮影した部分画像に移動物体が写りこんでしまう場合の問題点を解決する提案もなされている。例えば特許文献1では、撮影された部分画像中に移動物体が含まれると判定した場合に、同一の撮影方向で部分画像を再撮影することにより、移動物体が含まれない結合画像を生成している。
しかしながら、上記特許文献1に記載の技術では、複数の撮影方向で撮影した部分画像の中に、例えばカメラの前でたまたま人が居合わせ立ち話をしている場合などは、移動物体と判定されず人物を含んだ広域画像を生成してしまうことがある。この場合、この広域画像を背景画像として用い、背景画像とライブ画像とを重畳して表示したり、背景画像とライブ画像とを比較することによりライブ画像中の移動物体を抽出したりする場合に、不都合が生じてしまうという課題があった。
一方、人物が含まれない広域画像を作成するために、ユーザが撮影方向を変えながら複数の部分画像を撮影すると、それにより長時間を要してしまい、例えば、明るさ等の撮影環境の変化による影響が現れてしまうことがある。従って、可能な限り短時間で必要な部分画像の撮影を終えることが望まれる。
本発明は係る実情に鑑みてなされたものであり、複数の部分画像から生成される結合画像において、人物が写りこむことを防止し、かつこのような画像を短時間で生成することができる画像生成装置等を提供することを目的とする。
本発明の画像生成装置は、複数の部分画像をつなぎ合わせて結合画像を生成する画像生成装置であって、撮影手段に複数の撮影方向で部分画像を撮影させる撮影制御手段と、前記撮影手段で撮影された部分画像に人物が含まれるか否かを判定する人物判定手段と、前記人物判定手段で部分画像に人物が含まれると判定された場合、前記撮影手段に当該部分画像を再撮影させる再撮影制御手段とを有することを特徴とする。
また、本発明の画像生成システムは、撮影装置と情報処理装置とがネットワークを介して接続し、前記撮影装置で撮影された複数の部分画像をつなぎ合わせて結合画像を生成する画像生成システムであって、前記撮影装置に複数の撮影方向で部分画像を撮影させる撮影制御手段と、前記撮影された部分画像に人物が含まれるか否かを判定する人物判定手段と、前記人物判定手段で部分画像に人物が含まれると判定された場合、前記撮影装置に当該部分画像を再撮影させる再撮影制御手段とを有することを特徴とする。
また、本発明の画像生成方法は、複数の部分画像をつなぎ合わせて結合画像を生成する画像生成方法であって、撮影手段に複数の撮影方向で部分画像を撮影させる撮影制御ステップと、前記撮影手段で撮影された部分画像に人物が含まれるか否かを判定する人物判定ステップと、前記人物判定ステップで部分画像に人物が含まれると判定された場合、前記撮影手段に当該部分画像を再撮影させる再撮影制御ステップと、前記撮影あるいは前記再撮影された部分画像をつなぎ合わせて結合画像を生成する画像生成ステップとを有することを特徴とする。
また、本発明のプログラムは、複数の部分画像をつなぎ合わせて結合画像を生成する画像生成方法をコンピュータに実行させるためのプログラムであって、撮影手段に複数の撮影方向で部分画像を撮影させる撮影制御ステップと、前記撮影手段で撮影された部分画像に人物が含まれるか否かを判定する人物判定ステップと、前記人物判定ステップで部分画像に人物が含まれると判定された場合、前記撮影手段に当該部分画像を再撮影させる再撮影制御ステップと、前記撮影あるいは前記再撮影された部分画像をつなぎ合わせて結合画像を生成する画像生成ステップとをコンピュータに実行させるためのプログラムである。
また、本発明の画像生成システムは、撮影装置と情報処理装置とがネットワークを介して接続し、前記撮影装置で撮影された複数の部分画像をつなぎ合わせて結合画像を生成する画像生成システムであって、前記撮影装置に複数の撮影方向で部分画像を撮影させる撮影制御手段と、前記撮影された部分画像に人物が含まれるか否かを判定する人物判定手段と、前記人物判定手段で部分画像に人物が含まれると判定された場合、前記撮影装置に当該部分画像を再撮影させる再撮影制御手段とを有することを特徴とする。
また、本発明の画像生成方法は、複数の部分画像をつなぎ合わせて結合画像を生成する画像生成方法であって、撮影手段に複数の撮影方向で部分画像を撮影させる撮影制御ステップと、前記撮影手段で撮影された部分画像に人物が含まれるか否かを判定する人物判定ステップと、前記人物判定ステップで部分画像に人物が含まれると判定された場合、前記撮影手段に当該部分画像を再撮影させる再撮影制御ステップと、前記撮影あるいは前記再撮影された部分画像をつなぎ合わせて結合画像を生成する画像生成ステップとを有することを特徴とする。
また、本発明のプログラムは、複数の部分画像をつなぎ合わせて結合画像を生成する画像生成方法をコンピュータに実行させるためのプログラムであって、撮影手段に複数の撮影方向で部分画像を撮影させる撮影制御ステップと、前記撮影手段で撮影された部分画像に人物が含まれるか否かを判定する人物判定ステップと、前記人物判定ステップで部分画像に人物が含まれると判定された場合、前記撮影手段に当該部分画像を再撮影させる再撮影制御ステップと、前記撮影あるいは前記再撮影された部分画像をつなぎ合わせて結合画像を生成する画像生成ステップとをコンピュータに実行させるためのプログラムである。
本発明によれば、複数の部分画像から生成される結合画像において、部分画像に人物が写っていた場合に、再度撮影をしなおすことで、結合画像への人物の写りこみを避けることができ、人物の写り込みのない結合画像を短時間で生成することができる。
以下、本発明を実施するための最良の形態について図面を参照して説明する。
(第1の実施の形態)
図1は、本発明の第1の実施の形態に係るネットワークカメラシステムの概念図である。図1に示すようにネットワークカメラシステム(画像生成システムを含む)は、撮影装置であるネットワークカメラ101と情報処理装置であるパーソナルコンピュータ(PC)103とがネットワーク102を介して接続されることで構成される。
(第1の実施の形態)
図1は、本発明の第1の実施の形態に係るネットワークカメラシステムの概念図である。図1に示すようにネットワークカメラシステム(画像生成システムを含む)は、撮影装置であるネットワークカメラ101と情報処理装置であるパーソナルコンピュータ(PC)103とがネットワーク102を介して接続されることで構成される。
図2は、ネットワークカメラ101の内部構成を示すブロック図である。図2に示すようにネットワークカメラ101は、撮像部201、可動雲台202、カメラ・雲台制御部203、映像入力部204、映像圧縮部205、通信制御部206、コマンド解釈部207、記憶部208、及び顔検出部209を有する。
撮像部201はCCD等の撮像素子を含み光学像を撮像する。可動雲台202は撮像部201をパン・チルト方向へ駆動する。カメラ・雲台制御部203は撮像部201による撮影を制御(撮影動作の制御やズーム制御)すると共に、可動雲台202のパン・チルト角度を制御(パン制御、チルト制御)する。
映像入力部204は撮像部201からの画像(動画及び静止画)を取り込み、顔検出部209は取り込んだ映像データから顔を検出する。また、映像圧縮部205は映像入力部204が取り込んだ映像データを圧縮する。
通信制御部206は映像圧縮部205で圧縮された映像データをネットワーク102上に配信する。なお、映像圧縮部205は撮像部201からのNTSC映像信号を取り込み、A/D変換後、MoTionJPEGで圧縮して、通信制御部206に渡し、ネットワーク102に送出するものとする。ここでは映像の圧縮方式として、MoTionJPEG圧縮としたが、本発明は、この圧縮方式に限定されるものではない。
コマンド解釈部207はネットワーク102経由でPC103から受け取ったコマンドを解釈し、ネットワークカメラ101の各部を制御する。これにより、ネットワークカメラ101は、PC103からの要求に基づき可動雲台202を制御しつつ撮像部201からの映像を取り込むことができる。記憶部208はネットワークカメラ101の各部に対するデータの受け渡しの際に用いられる。
上述のような構成を備えたネットワークカメラ101では、撮像部201からの画像の要求のあったPC103に画像を配信すると共に、PC103からのカメラ制御コマンドを受け付け、可動雲台202の制御を行いつつ撮影を行うことができる。
PC103は、ネットワークカメラ101から配信された画像をつなぎ合わせて、パノラマ画像を生成し、映像表示部304(後述する図3に示す)において表示することができる。図3は、PC103の内部構成を示すブロック図である。
図3に示すようにPC103は、通信制御部301、映像伸長部302、パノラマ生成部303、映像表示部304、表示制御部305、及びコマンド発生部306を有する。
コマンド発生部306はネットワークカメラ101に対するカメラ制御コマンドを生成する。通信制御部301はカメラ制御コマンドをネットワークカメラ101に送信する。
通信制御部301はまた、ネットワークカメラ101から配信されてきた圧縮映像データを受信する。映像伸長部302はネットワークカメラ101からの圧縮映像データを伸長し、伸長された映像データは映像表示部304で表示される。
また、PC103ではパノラマ画像生成モードを設定できる。このパノラマ画像生成モード時には、パノラマ生成部303が複数のデータをつなぎ合わせ、パノラマ画像を生成できる。生成したパノラマ画像は、映像表示部304で表示され、ユーザーインターフェース(GUI)操作によりカメラ制御や画像蓄積保存操作等ができる。これらの画面表示・操作の制御は表示制御部305で行われる。
なお、ネットワークカメラ101、PC103は共に、ネットワーク102に接続される数に特に制限は無いが、本実施の形態では、説明の簡略化のため各々1台ずつと仮定する。また、ネットワーク102に関しても、カメラ制御信号、圧縮した映像信号を通すのに十分な帯域があるインターネットやイントラネット等のディジタルネットワークであればどのようなものでもよい。本実施の形態では、ネットワークプロトコルとして、TCP/IP(UDP/IP)プロトコルを仮定し、以下、アドレスといった場合にはIPアドレスを指すこととする。また、ネットワークカメラ101、PC103には、共にIPアドレスが割り当てられているものとする。
次に、本実施の形態に係るネットワークカメラシステムによって実行されるパノラマ画像の撮影及び生成処理の手順を説明する。図4は係る処理の手順を示したフローチャートであり、図5は係る処理においてカメラ制御コマンドや映像の受け渡しの際に用いるパケットの内容を示した図である。カメラ制御コマンドや映像の受け渡しの際に用いるパケットとしては、図5に示すような形式のものが生成され、PC103からネットワーク102に送信されることになる。
ここで先ず図5を用いてカメラ制御コマンドの受け渡しの際に用いるパケット情報の内容について説明する。なお、パケット情報の内容は厳密には、TCP/IPやUDP/IP等のパケットで用いられているフォーマットを使用することになるが、図5では本実施の形態の説明に必要なパケット情報のみ記述することにする。
図5に示すように本実施の形態で必要となるパケット情報としては、ズーム要求501、パン角度変更要求502、チルト角度変更要求503、静止画撮影取得要求504、静止画撮影取得応答505が挙げられる。
これらパケット情報には、共通して送信元アドレスと送信先アドレスとを示す情報が含まれる。また、ズーム要求501、パン角度変更要求502、チルト角度変更要求503には、特有の識別情報(ZM;Zoom要求等)及び設定値(Zoomであれば、ズーム値X)を示す情報が含まれる。また、静止画撮影取得要求504には、映像を要求する指令であることを示す識別情報(PIC)が含まれる。また、静止画撮影取得応答505には、映像を送信する指令であることを示す識別情報(PIC_DATA)及び画像の撮影時のズーム値、パン角、チルト角、顔情報(Face_Info)の有無及び映像データ(DATA)が含まれる。
以下、上述したような内容のパケット情報を用いて実行される本実施の形態に係る動作を図4のフローチャートを用いて説明する。
先ずステップS401においてネットワークカメラ101は、パノラマ画像生成モードに遷移されたかどうかを監視する。PC103上では、ユーザはPC103のGUI上のパノラマ撮影ボタン等(図示せず)を押下することによりパノラマ画像生成モードに遷移させることができ、表示制御部305によって表示された画面により遷移したか否かを確認できるようになっている。また、PC103でパノラマ画像生成モードが設定された場合、PC103はネットワークカメラ101に対しその旨を通知する。
次にステップS402において、PC103からズーム値の変更要求が行われ、ネットワークカメラ101は、撮像部201に含まれるレンズをワイド端に移動させる。このとき、PC103のコマンド発生部306においては、図5に示したズーム要求501にてズーム値をxに設定したパケットが生成される。このパケットが通信制御部301を介して、ネットワークカメラ101に送信されることになる。ネットワークカメラ101は、通信制御部206を介してこの要求パケットを受信し、コマンド解釈部207にて要求内容を解釈し、カメラ・雲台制御部203において、レンズをワイド端に移動させる。
次にステップS403において、PC103からパン値、チルト値の変更要求が行われ、ネットワークカメラ101は、撮影方向を決定する。このとき、PC103のコマンド発生部306においては、図5に示したパン角度変更要求502にてパン値をθに設定したパケット、及び、チルト角度変更要求503にてチルト値をφに設定したパケットが生成される。このパケットは、通信制御部301を介して、ネットワークカメラ101に送信され、ネットワークカメラ101が受信する。そして、ネットワークカメラ101は、コマンド解釈部207にて要求内容を解釈し、カメラ・雲台制御部203において、可動雲台202のパン値及びチルト値を変更させる。
次にステップS404において、PC103から図5に示した静止画撮影取得要求504が送信され、ネットワークカメラ101は、静止画(部分画像)を撮影する。ネットワークカメラ101は、撮影した部分画像を図5に示した静止画撮影取得応答505のDATA部分に含める。静止画撮影取得応答505には、DATA部分のほか、ズーム値、パン値、チルト値等の撮影パラメータ、及びステップS405で検出される顔検出情報であるFace_Infoが含まる。ズーム値、パン値、チルト値については、現在設定している値が記録される。
ここで、図6を用いて、撮影されるパノラマ画像の構成について説明する。図6は、縦5枚、横5枚、計25枚によって構成されるパノラマ画像である。図中Pはパン値、Tはチルト値を示す。パノラマ画像生成モードでは、図6に示す初期位置のImg(P1、T1)から撮影を開始し、パン方向に沿ってImg(P5、T1)まで撮影する。その後、チルト角度を変更してImg(P5、T2)を撮影し、再びパン方向に沿ってImg(P1、T2)まで撮影する。以上の繰り返しにより、ジグザグに撮影を行い、最後は、Img(P5、T5)を撮影し、撮影処理を終了する。なお、例えばImg(P1、T1)は、パン角度変更要求502においてθ=P1、チルト角度変更要求503においてφ=T1としたものである。
次にステップS405、S406においては、ネットワークカメラ101は、ステップS404で撮影された部分画像に対して顔検出を行う。ここでは、顔検出部209において、映像入力部204から出力される画像信号に基づいて、顔検出処理が実行された結果、顔が映っていると判断された場合に、上述した、静止画撮影取得応答505におけるFace_Info(本発明でいう判定情報に対応)に情報が記入される。更に、Face_Infoには、顔検出フラグ(本発明でいう検出結果)と顔角度情報(以下、角度情報)が含まれる。顔検出フラグは、顔が写っていると判断した場合1がセットされ、写っていると判断されなかった場合0がセットされる。また角度情報は、顔検出フラグが1にセットされた場合のみ記入され、垂直上方向に対する顔方向(口から鼻への方向)の角度の情報が記入される。図7に角度情報を説明する図を示す。角度情報には、1(0度から45度、315度から360度)、2(45度から135度)、3(135度から225度)、4(225度から315度)の4段階がある。
顔の検出及び角度検出は、例えば、予め目や鼻等のデータを記憶しておき判別する方法や撮影画像の色彩判定処理(肌色検出処理)等、既存の技術を用いることができ、ここでは、その詳細な説明は省略する。静止画撮影取得応答505は、ステップS404〜S406までのステップにおいて、生成が完了され、PC103に送信される。PC103は、通信制御部301を介して静止画撮影取得応答505を受信し、部分画像は映像伸長部302で伸長され、パノラマ生成部303に送られる。
ステップS407においては、PC103は、パノラマ画像の構成に必要なすべての部分画像が取得されたかどうかを判定する。取得されていない場合は、ステップS403〜S406の処理を繰り返し、図6で説明した撮影順序に沿って行い、すべての部分画像の撮影を終了するまで繰り返す。一方、すべての部分画像が取得された場合はステップS408に進む。なお、ステップS402〜S404及びS407の処理は、本発明でいう撮影制御手段の一処理に対応する処理である。
その後ステップS408、S409、S410、S411では、ステップS406で顔検出処理後にFace_Infoに顔検出がセットされたすべての部分画像に対して、顔が検出されなくなるまで、再撮影を繰り返す。なお、ここでFace_Infoに顔検出がセットされた部分画像を一度確認する処理は、本実施の形態では本発明の人物判定手段の一処理例に対応する処理である。
この再撮影では、先ずステップS408においてPC103は、コマンド発生部306により撮影に必要な要求パケットを生成する。具体的にはコマンド発生部306は、Face_Infoが1にセットされた静止画撮影取得応答505に含まれる、ズーム値、パン値、チルト値を用いて、ズーム要求501、パン角度変更要求502、チルト角度変更要求503を送信する。更にネットワークカメラ101の撮影方向が変更された後、静止画撮影取得要求504を送信し、ネットワークカメラ101に部分画像の撮影を行わせる。
その後ステップS409においてネットワークカメラ101が顔検出を行う。ここで顔検出がされた場合は、ステップS411を介してステップS408に戻り再撮影が行われることになる。また、顔検出がされなかった場合は、ステップS410でネットワークカメラ101は、Face_Infoが0の新たな静止画撮影取得応答505をPC103に送信し、PC103が再度撮影された部分画像を取得する。その後PC103は、取得した部分画像を上述のようにパノラマ生成部303に送り、最初に同一の撮影方向にて撮影された部分画像を、この再撮影によって取得した部分画像によって置き換える。
そしてステップS411においてPC103は、当初Face_Infoに検出がセットされたすべての部分画像について顔が検出されていないかどうかを確認する。ここで、顔検出されたものがまだある場合はコマンド発生部306によって、顔が検出されなくなるまで再撮影を行うようにし、そうでない場合はステップS412に進む。なお、ステップS408〜S411までの処理は、本発明でいう再撮影制御手段の一処理に対応する処理である。
そしてステップS412においては、PC103は、パノラマ生成部303によってすべての部分画像をつなぎ合わせて結合画像であるパノラマ画像を生成し、映像表示部304で表示し、パノラマ画像生成処理を終了する。
なお再撮影では、再撮影を行う対象をFace_Infoの顔検出フラグがセットされた部分画像の撮影方向だけでなく、Face_Infoに含まれる角度情報から胴体等の人物部分を推測(想定)し、その撮影方向も合わせて再撮影を行うようにしても良い。
例えば図6において、Img(P1、T4)にて、角度情報が1(0度から45度、315度から360度)であった場合は、人物画Img(P1、T4)から下方向にかけて写っていると判断し、Img(P1、T5)の再撮影も実施してもよい。また、人物の胴体部分が、角度方向に何枚まで写っているかは、顔検出処理において、顔の大きさ、頭の大きさを分析し、頭の大きさから平均的な人間の体格を想定することで、導き出すことは可能であるが、ここでは、その詳細な説明は省略する。
続いて、図8を用いて具体的なパノラマ画像を例示し、図4のパノラマ画像生成処理を具体的に説明する。
図8は、ステップS401〜S407のステップにおいて、25回の繰り返しの撮影でパノラマ生成部303が取得した部分画像から生成されたパノラマ画像を示す図である。図8を見て分かるように、このパノラマ画像には、たまたま二人の人物が写っており、詳細にはImg(P3、T3)、Img(P4、T3)で撮影された部分画像にそれぞれの顔が写っている。
図9は、PC103が25回分の静止画撮影取得応答505から取得する、ズーム値、パン値、チルト値、Face_Infoの一覧表を示す図である。上述したように、図9においても、Img(P3、T3)、Img(P4、T3)では顔が検出されており、Face_Infoのフラグに1がセットされている。PC103は、すべての部分画像がネットワークカメラ101から送信された際、このような情報を保持することになる。
図9に示した例では、ステップS408、S409、S410、S411で、Img(P3、T3)、Img(P4、T3)に対する再撮影が行われることになる。そして、更に、Img(P3、T3)に対する再撮影では、Face_Infoの角度情報が1(0度から45度、315度から360度)であるため、胴体が下方向に写っていると判断し、コマンド発生部306は、Img(P3、T3)、Img(P3、T4)、Img(P3、T5)の撮影方向に対し、再撮影を行う。同様に、Img(P4、T3)に対しても、角度情報に基づいて、複数の部分画像の再撮影を行う。
その後図8中に写りこんでいる二人の人物が、一定時間経った後いなくなったとき、ステップS411はYESとなり、ステップS412においてパノラマ生成部303により顔、人物が写りこんでいないパノラマ画像が生成され、映像表示部304で表示される。図10に、このとき表示されるパノラマ画像を示す。
なお、以上の説明ではステップS411からステップS412に進む条件を、顔が検出されなくなった場合としたが、これに代えて、例えば3回など所定回数の再撮影を実施した場合は、たとえ顔が検出されたとしても、ステップS412に進むようにしてもよい。このような態様では、ポスターや写真等、背景の中に顔が入っている場合に有効になる。
また、ステップS405では、顔検出について説明したが、主目的は人物を検出することであり、この限りではない。顔検出部209に動き検出回路を含むことにより、動き検出も同時に処理させ、人物検出の精度を高めることも、もちろん可能である。
以上、本発明の第1の実施の形態を説明した。この構成では、部分画像に人物が写っていた場合に、再度撮影をしなおすことで、結合画像であるパノラマ画像への人物の写りこみの可能性を抑えることが可能となる。また、再撮影の処理は、パノラマ画像の生成前に自動で行われるため、人物の写り込みのない結合画像を短時間で生成することが可能である。
(第2の実施の形態)
次に本発明の第2の実施の形態について説明する。第1の実施の形態では、図4のパノラマ画像生成処理において、ステップS403〜S407で、まず一通りすべての部分画像を撮影した後、顔を検出した箇所について再度撮影を行っている。第2の実施の形態では、これに代えて、ネットワークカメラ101が、顔を検出した直後に再撮影を行うようにする。以下、この際の動作手順を図11を用いて説明する。なお、図11のパノラマ画像生成処理において、図4と同一のステップについては、同一のステップ番号を示し、説明を省略する。
次に本発明の第2の実施の形態について説明する。第1の実施の形態では、図4のパノラマ画像生成処理において、ステップS403〜S407で、まず一通りすべての部分画像を撮影した後、顔を検出した箇所について再度撮影を行っている。第2の実施の形態では、これに代えて、ネットワークカメラ101が、顔を検出した直後に再撮影を行うようにする。以下、この際の動作手順を図11を用いて説明する。なお、図11のパノラマ画像生成処理において、図4と同一のステップについては、同一のステップ番号を示し、説明を省略する。
ステップS404の撮影の後、ステップS1101においてネットワークカメラ101は、顔検出部209によって撮影した部分画像に顔があるかどうかを検出する。ここで顔を検出した場合は、ネットワークカメラ101は、静止画撮影取得応答505を生成せず、同一の撮影方向で再度撮影するようにする(S404)。本実施の形態では、これらの処理を、顔が検出されなくなるまで繰り返す。顔が検出されなくなった場合、その部分画像用いて静止画撮影取得応答505を生成し、PC103へ送信するようにする。なお、ステップS1101の処理は、本実施の形態では本発明の人物判定手段の一処理例に対応する処理である。
また、ここでは、ステップS1101からステップS407に進む条件を、顔が検出されなくなった場合としたが、この限りでなく、例えば3回など所定回数の再撮影を実施した場合は、たとえ顔が検出されたとしてもステップS407に進むようにしてもよい。このような態様では、ポスターや写真など、背景の中に顔が入っている場合に有効になる。
以上、本発明の第2の実施の形態を説明した。この構成では、上述した第1の実施の形態の構成と同様に、部分画像に人物が写っていた場合に、再度撮影をしなおすことで、結合画像であるパノラマ画像への人物の写りこみの可能性を抑えることが可能となる。また、再撮影の処理は、パノラマ画像の生成前に自動で行われるため、人物の写り込みのない結合画像を短時間で生成することが可能である。
以上、本発明を第1の実施の形態及び第2の実施の形態により説明したが、本発明を実施できる形態はこれらに限定されるものでなく、これら実施の形態の構成を変更しても本発明を実施することができる。例えば、ネットワークカメラ101において、部分画像の撮影、人物の判定、部分画像の再撮影、パノラマ画像の生成という一連の処理をする構成であっても本発明を実施できる。また、顔検出の機能をPC103に持たせ、ネットワークカメラ101から部分画像のみを取得する構成であっても本発明を実施することができる。
また、本発明の目的は、以下の処理を実行することによっても達成される。即ち、上述した実施の形態の機能を実現するプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)が記憶媒体に格納されたプログラムコードを読み出す処理である。
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコード及び該プログラムコードを記憶した記憶媒体は本発明を構成することになる。
また、プログラムコードを供給するための記憶媒体としては、次のものを用いることができる。例えば、フロッピー(登録商標)ディスク、ハードディスク、光磁気ディスク、CD−ROM、CD−R、CD−RW、DVD−ROM、DVD−RAM、DVD−RW、DVD+RW、磁気テープ、不揮発性のメモリカード、ROM等である。または、プログラムコードをネットワークを介してダウンロードしてもよい。
また、コンピュータが読み出したプログラムコードを実行することにより、上記実施の形態の機能が実現される場合も本発明に含まれる。加えて、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているOS(オペレーティングシステム)等が実際の処理の一部または全部を行い、その処理によって前述した実施の形態の機能が実現される場合も含まれる。
更に、前述した実施の形態の機能が以下の処理によって実現される場合も本発明に含まれる。即ち、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPU等が実際の処理の一部または全部を行う場合である。
101 ネットワークカメラ
102 ネットワーク
103 パーソナルコンピュータ(PC)
201 撮像部
202 可動雲台
203 カメラ・雲台制御部
204 映像入力部
205 映像圧縮部
206 通信制御部
207 コマンド解釈部
208 記憶部
209 顔検出部
301 通信制御部
302 映像圧縮部
303 パノラマ生成部
304 映像表示部
305 表示制御部
306 コマンド発生部
102 ネットワーク
103 パーソナルコンピュータ(PC)
201 撮像部
202 可動雲台
203 カメラ・雲台制御部
204 映像入力部
205 映像圧縮部
206 通信制御部
207 コマンド解釈部
208 記憶部
209 顔検出部
301 通信制御部
302 映像圧縮部
303 パノラマ生成部
304 映像表示部
305 表示制御部
306 コマンド発生部
Claims (14)
- 複数の部分画像をつなぎ合わせて結合画像を生成する画像生成装置であって、
撮影手段に複数の撮影方向で部分画像を撮影させる撮影制御手段と、
前記撮影手段で撮影された部分画像に人物が含まれるか否かを判定する人物判定手段と、
前記人物判定手段で部分画像に人物が含まれると判定された場合、前記撮影手段に当該部分画像を再撮影させる再撮影制御手段とを有することを特徴とする画像生成装置。 - 前記撮影制御手段は、ズーム制御、パン制御、及びチルト制御を行うことを特徴とする請求項1に記載の画像生成装置。
- 前記人物判定手段は、顔検出、又は肌色検出、又は動き検出の検出結果を基に、部分画像に人物が含まれるか否かの判定を行うことを特徴とする請求項1又は2に記載の画像生成装置。
- 前記再撮影制御手段は、前記人物判定手段で部分画像に人物が含まれると判定された場合、その直後に同一の撮影方向において再撮影を行うよう制御することを特徴とする請求項1〜3のいずれか1項に記載の画像生成装置。
- 前記人物判定手段は、前記撮影手段による部分画像についての一通りすべての撮影方向への撮影が終了するまで、これら部分画像に人物が含まれるか否かの判定情報を撮影パラメータとともに保持しておき、
前記再撮影制御手段は、前記判定情報及び前記撮影パラメータを基に再撮影を行うよう制御することを特徴とする請求項1〜3のいずれか1項に記載の画像生成装置。 - 前記撮影パラメータには、撮影時のズーム制御、パン制御、チルト制御における設定値のうちの一つあるいは複数が含まれることを特徴とする請求項5に記載の画像生成装置。
- 前記判定情報には、顔の角度を示す顔角度情報も含まれることを特徴とする請求項5又は6に記載の画像生成装置。
- 前記再撮影制御手段は、前記顔角度情報に基づき人物部分を想定し、前記人物部分を含むと想定される部分画像について再撮影を行うよう制御することを特徴とする請求項7に記載の画像生成装置。
- 前記人物判定手段は、前記再撮影制御手段により再撮影された部分画像に対し、再度、人物判定を行い、
前記再撮影制御手段は、人物が含まれると判定されなくなるまで、再撮影を繰り返すよう制御することを特徴とする請求項1〜8のいずれか1項に記載の画像生成装置。 - 前記人物判定手段は、前記再撮影制御手段により再撮影された部分画像に対し、再度、人物判定を行い、
前記再撮影制御手段は、人物が含まれると判定されなくなるまで、又は所定回数の再撮影を実施するまで、再撮影を繰り返すよう制御することを特徴とする請求項1〜8のいずれか1項に記載の画像生成装置。 - 前記結合画像は、パノラマ画像であることを特徴とする請求項1〜10のいずれか1項に記載の画像生成装置。
- 撮影装置と情報処理装置とがネットワークを介して接続し、前記撮影装置で撮影された複数の部分画像をつなぎ合わせて結合画像を生成する画像生成システムであって、
前記撮影装置に複数の撮影方向で部分画像を撮影させる撮影制御手段と、
前記撮影された部分画像に人物が含まれるか否かを判定する人物判定手段と、
前記人物判定手段で部分画像に人物が含まれると判定された場合、前記撮影装置に当該部分画像を再撮影させる再撮影制御手段とを有することを特徴とする画像生成システム。 - 複数の部分画像をつなぎ合わせて結合画像を生成する画像生成方法であって、
撮影手段に複数の撮影方向で部分画像を撮影させる撮影制御ステップと、
前記撮影手段で撮影された部分画像に人物が含まれるか否かを判定する人物判定ステップと、
前記人物判定ステップで部分画像に人物が含まれると判定された場合、前記撮影手段に当該部分画像を再撮影させる再撮影制御ステップと、
前記撮影あるいは前記再撮影された部分画像をつなぎ合わせて結合画像を生成する画像生成ステップとを有することを特徴とする画像生成方法。 - 複数の部分画像をつなぎ合わせて結合画像を生成する画像生成方法をコンピュータに実行させるためのプログラムであって、
撮影手段に複数の撮影方向で部分画像を撮影させる撮影制御ステップと、
前記撮影手段で撮影された部分画像に人物が含まれるか否かを判定する人物判定ステップと、
前記人物判定ステップで部分画像に人物が含まれると判定された場合、前記撮影手段に当該部分画像を再撮影させる再撮影制御ステップと、
前記撮影あるいは前記再撮影された部分画像をつなぎ合わせて結合画像を生成する画像生成ステップとをコンピュータに実行させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008321342A JP2010147691A (ja) | 2008-12-17 | 2008-12-17 | 画像生成装置、方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008321342A JP2010147691A (ja) | 2008-12-17 | 2008-12-17 | 画像生成装置、方法及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2010147691A true JP2010147691A (ja) | 2010-07-01 |
Family
ID=42567682
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008321342A Pending JP2010147691A (ja) | 2008-12-17 | 2008-12-17 | 画像生成装置、方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2010147691A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013070212A (ja) * | 2011-09-22 | 2013-04-18 | Fuji Xerox Co Ltd | 画像処理装置、画像処理プログラム |
CN113724131A (zh) * | 2021-09-02 | 2021-11-30 | 北京有竹居网络技术有限公司 | 信息处理方法、装置和电子设备 |
US20230171502A1 (en) * | 2021-11-29 | 2023-06-01 | 3I Inc. | Image generation method using terminal cradle and portable terminal therefor |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001189889A (ja) * | 1999-12-28 | 2001-07-10 | Canon Inc | 画像処理装置及びその方法、撮影装置の制御装置及び制御方法、並びに記憶媒体 |
JP2004289434A (ja) * | 2003-03-20 | 2004-10-14 | Fuji Photo Film Co Ltd | 撮影システム |
-
2008
- 2008-12-17 JP JP2008321342A patent/JP2010147691A/ja active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001189889A (ja) * | 1999-12-28 | 2001-07-10 | Canon Inc | 画像処理装置及びその方法、撮影装置の制御装置及び制御方法、並びに記憶媒体 |
JP2004289434A (ja) * | 2003-03-20 | 2004-10-14 | Fuji Photo Film Co Ltd | 撮影システム |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013070212A (ja) * | 2011-09-22 | 2013-04-18 | Fuji Xerox Co Ltd | 画像処理装置、画像処理プログラム |
CN113724131A (zh) * | 2021-09-02 | 2021-11-30 | 北京有竹居网络技术有限公司 | 信息处理方法、装置和电子设备 |
US20230171502A1 (en) * | 2021-11-29 | 2023-06-01 | 3I Inc. | Image generation method using terminal cradle and portable terminal therefor |
WO2023095971A1 (ko) * | 2021-11-29 | 2023-06-01 | 주식회사 쓰리아이 | 단말 거치대를 이용한 이미지 생성 방법 및 그를 위한 휴대 단말 |
KR20230081990A (ko) * | 2021-11-29 | 2023-06-08 | 주식회사 쓰리아이 | 단말 거치대를 이용한 이미지 생성 방법 및 그를 위한 휴대 단말 |
KR102571932B1 (ko) * | 2021-11-29 | 2023-08-29 | 주식회사 쓰리아이 | 단말 거치대를 이용한 이미지 생성 방법 및 그를 위한 휴대 단말 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8199221B2 (en) | Image recording apparatus, image recording method, image processing apparatus, image processing method, and program | |
JP5235798B2 (ja) | 撮影装置及びその制御方法 | |
TWI311286B (ja) | ||
JP2013239861A (ja) | 画像撮影システム | |
JP2010147769A (ja) | 撮像システム、画像提示方法、プログラム | |
WO2011145539A1 (en) | Multiple-site drawn-image sharing apparatus, multiple-site drawn-image sharing system, method executed by multiple-site drawn-image sharing apparatus, program, and recording medium | |
JP2009088768A (ja) | 撮影装置、及び撮影方法 | |
JP2007281646A (ja) | 電子カメラ | |
JP5180349B2 (ja) | 撮影装置および方法並びにプログラム | |
JP2010171797A (ja) | 撮像装置及びプログラム | |
JP4818999B2 (ja) | 撮影装置および方法並びにプログラム | |
JP2008154073A (ja) | 撮像装置および撮像システム | |
JP4364466B2 (ja) | 撮像装置 | |
JP2010147691A (ja) | 画像生成装置、方法及びプログラム | |
JP6261191B2 (ja) | 表示制御装置、表示制御方法、プログラム | |
WO2016015539A1 (zh) | 物体运动轨迹拍摄方法、终端及*** | |
JP2005033692A (ja) | 監視カメラシステム | |
JP2012124614A (ja) | 撮像装置及び撮像装置の制御方法 | |
JP2011119934A (ja) | 画像撮影装置及び画像撮影方法 | |
JP5098917B2 (ja) | 構図判定装置、構図判定方法、プログラム | |
JP4750634B2 (ja) | 画像処理システム、画像処理装置、情報処理装置並びにプログラム | |
JP2016036081A (ja) | 画像処理装置、方法及びプログラム並びに記録媒体 | |
JPWO2006016461A1 (ja) | 撮像装置 | |
JP2006270578A (ja) | 画像提示システムおよび画像提示装置 | |
JP2007072210A (ja) | 撮像装置、その制御方法およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20111125 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120921 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120925 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20130723 |