JP2023154181A - 画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】撮影画角に応じて効率的に背景画像とシルエット画像を合成できる画像処理装置を提供すること。【解決手段】画像処理装置は、撮像装置により複数の異なる画角で撮影した画像から、パノラマ背景画像を生成する第一の生成手段と、前記撮像装置の現在の画角に対応する背景画像を前記パノラマ背景画像から取得する取得手段と、前記背景画像と前記現在の画角の撮影画像との差分に基づいて、シルエット画像を生成する第二の生成手段と、前記シルエット画像を前記背景画像に合成する合成手段と、を備える。【選択図】 図１

Description

本発明は画像処理装置および画像処理方法に関する。

現在、介護施設や病院の入居者の見守り用として監視カメラが普及している。一方で、監視カメラに映る個人のプライバシー保護の重要性が高まっている。個人のプライバシーを保護するための技術として、入力された画像を背景画像と比較することによって、人物等の前景物をシルエット画像等により隠蔽することにより、個人のプライバシーを保護した画像（プライバシー保護画像）を生成する技術がある。当該技術を実行するには入力された画像と比較される背景画像が必要である。特許文献１には、画像から背景画像を生成する手法が記載されている。

特開２０１８－１１２９９１号公報

カメラの画角が変化したとき、背景を更新することが必要になる。しかしながら特許文献１の技術では、背景の更新が完了するまで時間を要し、その間はプライバシー保護画像を表示することが出来ない。

本発明の目的は、撮影画角に応じて効率的に背景画像とシルエット画像を合成することができる画像処理装置を提供することである。

上記した目的を達成するために、本発明の１つの態様による画像処理装置は、撮像装置により複数の異なる画角で撮影した画像から、パノラマ背景画像を生成する第一の生成手段と、前記撮像装置の現在の画角に対応する背景画像を前記パノラマ背景画像から取得する取得手段と、前記背景画像と前記現在の画角の撮影画像との差分に基づいて、シルエット画像を生成する第二の生成手段と、前記シルエット画像を前記背景画像に合成する合成手段と、を備える。

本発明によれば、撮影画角に応じて効率的に背景画像とシルエット画像を合成することができる。

第一の実施形態の画像処理システムの構成例を示すブロック図。 画像処理システム内の各装置のハードウェア構成例を示すブロック図。 パノラマ背景画像の生成処理の例を示すフローチャート。 パノラマ背景画像の画角構成例を示す図。 パノラマ背景画像の画角構成に特徴点を重ねた例を示す図。 プライバシー保護画像の生成処理の例を示すフローチャート。 第一の実施形態の差分用背景画像更新の処理の例を示すフローチャート。 第一の実施形態の表示用背景画像更新の処理の例を示すフローチャート。 第二の実施形態の画像処理システムの構成例を示すブロック図。 画角の変化前と変化後の領域が重複している例を示す図。 画角変化前の重複領域を差分用背景画像へコピーする例を示す図。 第三の実施形態の差分用背景画像更新の処理の例を示すフローチャート。

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

第一の実施形態
図１は、本実施形態に係る画像処理システム１００の構成例を示す。画像処理システム１００は、一例として、録画装置（撮像装置）１０１と表示装置１０２を有する。録画装置１０１および表示装置１０２のそれぞれは、例えば図２のようなハードウェア構成を有し得る。なお、図２は一例であり、録画装置１０１および表示装置１０２は図２に示されたハードウェア構成以外の構成を有してもよいし、図２に示された構成の一部を有さなくてもよい。

録画装置１０１および表示装置各装置１０２は、図２に示すように、記憶部２０１、制御部２０２、機能部２０３、入力部２０４、出力部２０５および通信部２０６を有する。
記憶部２０１は、ＲＯＭ、ＲＡＭの両方、または、いずれか一方により構成され、後述する各種動作を行うためのプログラムや、通信や各種処理のためのパラメータ等の各種情報を記憶する。なお、記憶部２０１として、ＲＯＭおよびＲＡＭの他に、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、磁気テープ、不揮発性のメモリカード、ＤＶＤなどの記憶媒体が用いられてもよい。ＲＯＭはＲｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙの略である。ＲＡＭはＲａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙの略である。ＣＤ－ＲＯＭのＣＤはＣｏｍｐａｃｔ Ｄｉｓｃの略である。ＣＤ－ＲはＣｏｍｐａｃｔ Ｄｉｓｃ Ｒｅｃｏｒｄａｂｌｅの略である。ＤＶＤはＤｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃの略である。

制御部２０２は、例えば、ＣＰＵやＭＰＵ等のプロセッサー、ＡＳＩＣ（特定用途向け集積回路）、ＤＳＰ（デジタルシグナルプロセッサ）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）等により構成される。ＣＰＵはＣｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略である。ＭＰＵはＭｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略である。制御部２０２は、記憶部２０１に記憶されたプログラムを実行することにより装置全体を制御する。なお、制御部２０２は、記憶部２０１に記憶されたプログラムとＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）との協働により装置全体を制御するようにしてもよい。

また、制御部２０２は、機能部２０３を制御して、撮像等の所定の処理を実行する。機能部２０３は、装置が所定の処理を実行するためのハードウェアである。例えば、図２の装置が録画装置（撮像装置）１０１である場合、機能部２０３は撮像部であり、撮像処理を行う。撮像部はレンズおよびセンサを有する。図２の装置が表示装置１０２であって、表示装置１０２がプリント機能を有する場合、機能部２０３は、例えば、印刷部である。表示装置１０２がプロジェクタ機能を有する場合、機能部２０３は、例えば、投影部である。機能部２０３が処理するデータは、記憶部２０１に記憶されているデータであってもよいし、通信部２０６を介して他の装置から受信したデータであってもよい。

入力部２０４は、ユーザからの各種操作の受け付ける（受け入れる）。入力部２０４は例えば、テンキー、ボタン、スイッチ、マウス等を含む。入力部２０４はタッチパネルを含んでもよい。
出力部２０５は、ユーザに対して各種出力を行う。出力部２０５による出力とは、画面上への表示や、スピーカーによる音声出力、振動出力等の少なくとも１つを含む。つまり、出力部２０５は、ディスプレイ、スピーカー、振動体などを備える。なお、タッチパネルのように入力部２０４と出力部２０５の両方を１つのモジュールで実現するようにしてもよい。

通信部２０６は、例えば有線通信（又は無線通信）の制御や、ＩＰ通信の制御を行う。図２の装置（録画装置１０１、表示装置各装置１０２）は通信部２０６を介して、画像データ、文書データ、映像データ等のコンテンツを相手側装置（１０２、１０１）や他の装置に送信する。例えば、録画装置１０１と表示装置１０２との間の通信は、各装置の通信部２０６を介して行われる。

図１に示すように、録画装置１０１は、その機能構成として、画像取得部１１１、画像保存部１１２、画像送信部１１３およびＰＴＺ制御部１１４を含む。ＰＴＺはＰａｎ（パン）、Ｔｉｌｔ（チルト）、Ｚｏｏｍ（ズーム）の略である。本実施形態の画像処理システム１００では、事前設定として、録画装置１０１のパンおよびチルトを変化させながらパノラマ画像（１６個の画角の撮影画像からなる）を生成し、当該パノラマ画像から特徴点を抽出して記憶する。特徴点とは画像上で特徴のある点である。例えば、構造物の角や隅などの輝度の変化が大きくて検出しやすい点を特徴点とする。パノラマ画像は例えば図４に示したような画像である。事前設定については、図３～図５を用いて後述する。
画像取得部１１１は、例えば制御部２０２が記憶部２０１に記憶されたプログラムを実行して機能部（撮像部）２０３を制御することで実現される。画像取得部１１１は、機能部（撮像部）２０３を用いて、所定の間隔で画像を取得して、当該画像を画像保存部１１２に供給する。

画像保存部１１２は、例えば記憶部２０１によって実現される。画像保存部１１２は、画像取得部１１１から取得した画像を保存する。すなわち機能部（撮像部）２０３によって撮像された画像が、画像保存部１１２に録画されることになる。
画像送信部１１３は、例えば通信部２０６によって実現される。画像送信部１１３は、表示装置１０２から画像の取得要求を受信したことに応じて、画像保存部１１２に保存された画像の中から、要求された画像を取得して表示装置１０２へと送信する。なお、画像送信部１１３が表示装置１０２から受信する取得要求は、例えば、少なくとも画像の撮影時刻を指定する情報を含む信号であり、画像送信部１１３は、当該情報により指定された撮影時刻に従って、表示装置１０２に送信すべき画像を決定することができる。
ＰＴＺ制御部１１４は、例えば、録画装置１０１の撮影方向を変化（変動）させる。

表示装置１０２は、その機能構成として、画像受信部１２１、検出部１２２、パノラマ画像生成部１２３、画角算出部１２４、背景更新部１２５、パノラマ背景保存部１２６および表示用背景保存部１２７を有する。また、表示装置１０２は、その機能構成として、シルエット画像生成部１２８、差分用背景保存部１２９、出力部１３０、特徴点抽出部１３１、特徴点保存部１３２および画角保存部１３３を含む。表示装置１０２は、録画装置１０１から受信した画像を処理するので、画像処理装置と称してもよい。

画像受信部１２１は、例えば通信部２０６によって実現される。画像受信部１２１は、録画装置１０１へ画像の取得要求を送信し、録画装置１０１からその応答として画像を受信して取得する。そして、画像受信部１２１は、取得した画像を検出部１２２、画角算出部１２４、背景更新部１２５、シルエット画像生成部１２８および特徴点抽出部１３１へ供給する。以下の記載において、画像受信部１２１により取得された画像を取得画像と称する場合がある。

検出部１２２は、例えば制御部２０２が記憶部２０１に記憶されたプログラムを実行することによって実現される。検出部１２２は、取得画像に写っている人物の領域を検出する。人物の領域の検出は、例えばパターンマッチング法を用いて実行される。検出部１２２は、取得画像に人物が写っているか否かを判定し、人物が１つ以上写っている場合に当該人物それぞれが写っている取得画像上の領域の座標の情報を生成する。以下の記載では、検出部１２２により生成された情報を検出結果と称する。本実施形態において、領域の座標は、人物が写っている領域を含む矩形領域の座標であるとする。なお、領域の座標は、例えば、人物の形状に沿った曲線で囲まれた領域を特定するための座標であってもよい。人物が写っている領域は、例えば、人物の顔と体が写っている領域である。人物が写っている領域は、例えば、人物の顔のみを含む領域であってもよい。以下の記載では、人物が写っている領域を人物領域と称する。検出部１２２は、取得画像の中の人物領域を所定の画像に置き換え、人物を画像から削除することもできる。人物を画像から削除して得られた画像を、検出画像または検出後画像と称する。

なお、検出部１２２は、人物を検出する処理ではなく、背景差分法を用いた動体検出処理やその他の物体検出処理など、取得画像から任意の前景物の領域を抽出する任意の処理を実行しうる。検出部１２２は、さらに、人や車など物体領域の属性を判定し、人などの所定の属性を持つ背景物でない物体の領域のみを検出結果としてもよい。検出部１２２は、動画符号化に使用するフレーム間の動き情報を、物体の有無を示す情報として用いてもよい。検出結果の生成は、背景画像の生成時に行われてもよいが、これに限定されない。例えば、録画装置１０１において、画像保存部１１２に画像を保存する際や、画像取得部１１１が撮影された画像を取得した際に、上述のような検出処理が行われてもよい。この場合、検出結果が、画像と共に、メタデータとして画像保存部１１２に保存されるようにしてもよい。

パノラマ画像生成部１２３は、例えば制御部２０２が記憶部２０１に記憶されたプログラムを実行することによって実現される。パノラマ画像生成部１２３は、検出部１２２から供給された検出後画像を合成してパノラマ背景画像を生成する。パノラマ画像生成部１２３は、パノラマ背景生成部と称してもよい。
特徴点抽出部１３１は、例えば制御部２０２が記憶部２０１に記憶されたプログラムを実行することによって実現される。徴点抽出部１３１は、画像受信部１２１から取得画像を受け取り、当該取得画像から特徴点を抽出する。画像から特徴点を抽出する方法は、公知のものを使用する。
特徴点保存部１３２は、例えば制御部２０２が記憶部２０１に記憶されたプログラムを実行することによって実現される。特徴点保存部１３２は、特徴点抽出部１３１が抽出した特徴点を保存する。

画角算出部１２４は、例えば制御部２０２が記憶部２０１に記憶されたプログラムを実行することによって実現される。画角算出部１２４は、録画装置１０１の画角を算出する。画角を算出する方法として、例えば、特徴点を使用する方法がある。本実施形態では、事前にパノラマ画像４００（図４）を生成しており、パノラマ画像４００を生成する過程において画像中の特徴点の特徴と位置を、例えば、記憶部２０１に保存している。記憶部２０１に保存された特徴点と、撮影されて取得された取得画像から特徴点抽出部１３１により抽出され特徴点保存部１３２に保存された特徴点とのマッチング（照合）を行い、その結果を用いて画角を算出する。算出された画角は、以下の記載において、算出画角と称される場合がある。

背景更新部１２５は、例えば制御部２０２が記憶部２０１に記憶されたプログラムを実行することによって実現される。背景更新部１２５は、差分用背景画像と表示用背景画像の更新を行う。差分用背景画像は、取得画像との差分に基づいて、人物のシルエット画像（隠蔽画像）を生成するための画像である。
パノラマ背景保存部１２６は、例えば制御部２０２が記憶部２０１に記憶されたプログラムを実行することによって実現される。パノラマ背景保存部１２６は、パノラマ画像生成部１２３により生成されたパノラマ背景画像を保存する。
表示用背景保存部１２７は、例えば制御部２０２が記憶部２０１に記憶されたプログラムを実行することによって実現される。表示用背景保存部１２７は、背景更新部１２５から表示用背景画像を受け取り、当該表示用背景画像を保存する。
差分用背景保存部１２９は、例えば制御部２０２が記憶部２０１に記憶されたプログラムを実行することによって実現される。差分用背景保存部１２９は、背景更新部１２５から差分用背景画像を受け取り、当該差分用背景画像を保存する。

シルエット画像生成部１２８は、例えば制御部２０２が記憶部２０１に記憶されたプログラムを実行することによって実現される。シルエット画像生成部１２８は、差分用背景画像と取得画像の差分に基づいて、人物のシルエット画像を生成する。なお、シルエット画像生成部１２８は、人物に限らずに前景物のシルエット画像を生成しうるが、例えばパターン認識によって人物を特定し、人物以外についてはシルエット画像を生成しないようにしてもよい。シルエット画像生成部１２８は、例えば、差分用背景画像を差分用背景保存部１２９から取得し、取得画像を画像受信部１２１から取得する。シルエット画像は人物等の所定のオブジェクト（被写体）を隠蔽する画像であるので、オブジェクト隠蔽画像と称してもよい。

出力部１３０は、例えば図２の出力部２０５によって実現される。出力部１３０は、表示用背景保存部１２７に保存されている表示用背景画像にシルエット画像生成部１２８が生成したシルエット画像を合成してディスプレイの表示画面（不図示）のいずれかに出力する。表示用背景画像にシルエット画像を合成した画像を、本実施形態では、プライバシー保護画像と称する。
画角保存部１３３は、例えば制御部２０２が記憶部２０１に記憶されたプログラムを実行することによって実現される。画角保存部１３３は、画角算出部１２４が算出した画角を保存する。

本実施形態の処理を行う前に事前設定を行う。事前設定は、パノラマ背景画像の作成とパノラマ背景画像の特徴点の抽出とを含む。
図３、図４及び図５を用いてパノラマ背景画像の生成と特徴点の抽出を説明する。図中、Ｓはステップの略である。本実施形態では、１６個の画角でパノラマ背景画像の撮影・生成が行われるとする。

まずＳ３０１で録画装置１０１はＰＴＺ制御部１１４により機能部（撮像部）２０３を所定の画角に設定する。所定の画角とは、図４に示した「１」から「１６」までの１６個の画角である。なお、「１」～「１６」は、図中〇の中に数字を記載している。
図４はパノラマ画像４００が録画装置１０１の１６個の画角「１」～「１６」で撮影した１６個の撮影画像４０１～４１６から構成されていることを表した図である。撮影画像４０１～４１６の各々は、パノラマ画像４００の部分画像と称してもよい。なお画角の個数は１６個に限定されない。１６個の画角「１」～「１６」はＰＴＺ制御部１１４の最大限の可動範囲での画角の構成である。図４に示した画角「１」～「１６」は、隣接する撮影画像の間にすき間が出来ないように設定されていて、撮影画像の周辺部には隣接する撮影画像と重複する領域がある。例えば、図４の撮影画像４０１と撮影画像４０５の間の縦２本線は、撮影画像４０１と撮影画像４０５が重複する領域を示している。ＰＴＺ制御部１１４は、まず「１」の画角を設定し、その後、順次、「２」「３」・・・「１５」の画角を設定し、「１６」の画角の設定をして終了する。なお、画角の設定の順番は「１」→「２」→「３」→・・・→「１６」に限定されない。パノラマ画像４００を生成する際、ＰＴＺ制御部１１４はズーム機能を使用しなくてよい。

次にＳ３０２で検出部１２２は画像受信部１２１から取得画像を取得する。
次にＳ３０３で特徴点抽出部１３１は取得画像から特徴点を抽出する。
次にＳ３０４で特徴点保存部１３２は、抽出した特徴点の位置と特徴を保存する。図５はパノラマ画像４００上に抽出した特徴点を配置したことを表す図である。録画装置１０１が撮影方向（パン、チルト）を変えた時に撮影されている画像から抽出される特徴点と保存されている特徴点をマッチングさせ撮影方向（画角）を算出することができる。

次にＳ３０５で検出部１２２は取得画像から人物領域を検出する。
次にＳ３０６で検出部１２２は、検出した人物領域（人物画像）を所定の画像に置き換え、人物を画像から削除する（人物画像の除去）。
次にＳ３０７で検出部１２２は、検出画像（部分画像４０１）を保存する。

次にＳ３０８でパノラマ画像生成部１２３は検出画像を、図４の４行×４列のマトリックス内の所定の位置に配置する。
次にＳ３０９で全ての画角（「１」～「１６」）の撮影が終了したか判定し、終了していなければＳ３０１に戻り、終了していればＳ３１０に進む。
次にＳ３１０でパノラマ画像生成部１２３が配置された検出画像（部分画像４０１～４１６）を合成してパノラマ画像４００を生成する。
以上でパノラマ背景画像生成と特徴点の抽出を終了する。

次に事前設定後の処理について説明する。
画像処理システム１００は録画装置１０１がパンチルトを制御しながら画像を撮影し、その画像を表示装置１０２が取得し、適切な背景に更新し、更新した背景を用いてプライバシー保護画像を生成して表示する。以下のその詳細を説明する。

画像処理システム１００の処理の概要を図６で説明する。
まずＳ６０１で録画装置１０１が画像を撮影する。
次にＳ６０２で表示装置１０２が画像を取得する。
次にＳ６０３で表示装置１０２が差分用背景画像と表示用背景画像を更新する。
次にＳ６０４で表示装置１０２がプライバシー保護画像を生成して表示する。
次にＳ６０５で処理を終了するかしないかの判定をする。終了しない場合はＳ６０１に戻ってＳ６０１～Ｓ６０５を繰り返す。以上が画像処理システム１００の処理の概要である。

次にＳ６０３の差分用背景画像と表示用背景画像の更新について、図７と図８を用いて説明する。
まず差分用背景画像の更新を図７のフローチャートで説明する。
まずＳ７０１で背景更新部１２５は画角算出部１２４から、表示装置１０１の現在のフレームの算出画角を取得する。また、背景更新部１２５は画角保存部１３３から前フレーム（現在のフレームの前のフレーム）の画角を取得する。

次にＳ７０２で背景更新部１２５は算出画角と前フレーム画角を比較し、算出画角が前フレーム画角から変化しているか否かを判定する。算出画角が前フレーム画角から変化している場合にはＳ７０３に進み、変化していない場合にはＳ７０６に進む。
Ｓ７０３で背景更新部１２５は取得した画角に相当する背景画像をパノラマ背景保存部１２６から取得する。この画像を取得背景画像と称する。

次にＳ７０４で背景更新部１２５は差分用背景画像をパノラマ背景保存部１２６から取得した取得背景画像を用いて更新する。取得背景画像と差分用背景画像の画像サイズが異なる場合は、取得背景画像を差分用背景画像の画像サイズにリサイズして更新する。
次にＳ７０５で背景更新部１２５は、更新した差分用背景画像を、差分用背景保存部１２９に保存する。

算出画角（現在の画角）が前フレーム画角（以前の画角）から変化していない場合、Ｓ７０６で、背景更新部１２５は、画像受信部１２１から取得画像を取得する。
次にＳ７０７で背景更新部１２５は、検出部１２２から検出結果を取得する。
次にＳ７０８で背景更新部１２５は、取得画像と検出結果を用いて差分用背景画像を更新する。そしてＳ７０５に進む。
以上で差分用背景画像の更新を終了する。

次に表示用背景画像の更新を図８のフローチャートで説明する。
まずＳ８０１で背景更新部１２５は画角算出部１２４から表示装置１０１の算出画角を取得する。また、背景更新部１２５は画角保存部１３３から前フレーム画角を取得する。
次にＳ８０２で背景更新部１２５は算出画角と前フレーム画角を比較し、算出画角が前フレーム画角から変化しているか否かを判定する。算出画角が前フレーム画角から変化している場合にはＳ８０３に進み、変化していない場合は処理を終了する。

Ｓ８０３で背景更新部１２５は取得した画角に相当する背景画像をパノラマ背景保存部１２６から取得する。この画像は取得背景画像である。
次にＳ８０４で背景更新部１２５は表示用背景画像を、パノラマ背景保存部１２６から取得した取得背景画像を用いて更新する。取得背景画像と表示用背景画像の画像サイズが異なる場合は、取得背景画像を表示用背景画像の画像サイズにリサイズして更新する。
次にＳ８０５で背景更新部１２５は、更新した表示用背景画像を表示用背景保存部１２７に保存する。
以上で表示用背景画像の更新を終了する。

本実施形態では、予め１６個の画角で撮影したパノラマ背景画像を用意してある。従って、画像録画装置（撮像装置）１０１の画角が変化したとき、それに対応する背景画像は既に用意されている。よって、特許文献１の技術と比べて、背景画像の更新に要する時間を短縮することができる。
本実施形態によれば、録画装置（撮像装置）１０１の撮影画角が変わっても、背景画像を短時間で更新し、更新された背景画像に人物（人体）のマスク画像を重畳・合成してプライバシー保護画像を作成することが出来る。

なお、録画装置１０１のＰＴＺ制御部１１４、表示装置１０２の検出部１２２、パノラマ画像生成部１２３、画角算出部１２４、背景更新部１２５、シルエット画像生成部１２８および特徴点抽出部１３１は、ＡＳＩＣ等の専用のハードウェアで実装されてもよい。ハードウェアとして実装される場合は、各機能部それぞれ又はいくつかをまとめた専用のハードウェアモジュールとして実装してもよい。ＡＳＩＣは、Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ（特定用途向け集積回路）の略である。
また、画像処理システム１００は、録画装置１０１および表示装置１０２の機能を有する１つの画像処理装置によって構成されてもよい。つまり、撮像装置である録画装置１０１は、表示装置１０２に内蔵されてもよい。あるいは、録画装置１０１は複数の装置やモジュール等によって構成されてもよいし、表示装置１０２も複数の装置やモジュール等によって構成されてもよい。
また、表示装置１０２は、自装置内で画角を算出するのではなく、録画装置１０１から画角情報そのものを取得してもよい。

第二の実施形態
図９に、本実施形態に係る画像処理システム１００Ａの構成例を示す。本実施形態は第一の実施形態の構成から特徴点抽出部１３１と特徴点保存部１３２を外し、ＰＴ送信部９１１とＰＴ受信部９２１を追加したものである。ＰＴ送信部９１１は録画装置１０１に設けられ、ＰＴ受信部９２１は表示装置１０２に設けられる。第一の実施形態との動作の違いは録画装置１０１の画角の算出方法である。第一の実施形態では画角の算出に画像の特徴点を用いたが、本実施形態では特徴点を用いない。特徴点を用いないので第一の実施形態の事前設定で行われた特徴点の抽出と保存は省略される。本実施形態では、予め画角算出部１２４に録画装置１０１のレンズ情報を入力されているとする。以下、第一実施形態との相違点について説明する。

ＰＴ送信部９１１は、例えば制御部２０２が記憶部２０１に記憶されたプログラムを実行することによって実現される。ＰＴ送信部９１１は、ＰＴＺ制御部１１４で用いているパン、チルトの値を表示装置１０２に送信する。パン、チルトの値はパンチルト情報と称してよい。
ＰＴ受信部９２１は、例えば制御部２０２が記憶部２０１に記憶されたプログラムを実行することによって実現される。ＰＴ受信部９２１は、ＰＴ送信部９１１から送信されたパン、チルトの値を受信する。

本実施形態の画角の算出について説明する。画角算出部１２４はＰＴ受信部９２１から録画装置１０１のパン、チルト情報を取得する。画角算出部１２４はパン、チルト情報とレンズ情報を用いて録画装置１０１の画角を算出する。
なお、録画装置１０１のレンズ情報は、予め表示装置１０２に入力されていなくてもよい。例えば、録画装置１０１のレンズ情報は、録画装置１０１から表示装置１０２に送信されてもよい。

第二の実施形態においても、第一の実施形態と同様に、録画装置（撮像装置）１０１の撮影画角が変化しても、背景画像を短時間で更新し、更新された背景画像に人体のマスク画像を重畳してプライバシー保護画像を作成することが出来る。

第三の実施形態
本実施形態の画像処理システム１００の構成は第一の実施形態（図１）と同じである。第一の実施形態との違いは差分用背景画像の更新に関する処理である。以下、第一実施形態との相違点について説明する。
画角が変化したときに（例えば、図４の「６」の画角から「１」の画角へ変化したとき）、変化前の画角の画像（例えば、画像４０６）と変化後の画角の画像（例えば、画像４０１）に重複領域がある場合がある。この場合、重複領域の差分用背景画像はそのまま画角変化後も使用することができる。本実施形態では、重複領域の差分用背景画像を画角変化後も使用する。これが、本実施形態と第一の実施形態との違いである。画角が変化したときに重複領域があるとは図１０のような場合を表す。画角の変化前と変化後に重複領域（重複領域画像、差分用背景画像）がある場合は、図１１のように画角変化前の重複領域の画像を画角変化後の重複領域に複製する（コピーする）。

図１２のフローチャートを用いて、重複領域の差分用背景画像の設定について説明する。
まずＳ１２０１で背景更新部１２５は画角算出部１２４から表示装置１０１の算出画角を取得する。また、背景更新部１２５は画角保存部１３３から前フレーム画角を取得する。
次にＳ１２０２で背景更新部１２５は算出画角と前フレーム画角を比較し、算出画角が前フレーム画角から変化しているか否かを判定する。算出画角が前フレーム画角から変化している場合にはＳ１２０３に進み、変化していない場合にはＳ１２０９に進む。

Ｓ１２０３で背景更新部１２５は取得した画角に相当する背景画像をパノラマ背景保存部１２６から取得する。この画像は取得背景画像である。
次にＳ１２０４で背景更新部１２５は算出画角と前フレーム画角に基づいて、算出画角の画像と前フレーム画角の画像との重複領域を算出することにより、重複領域（重複領域画像）が存在するか否かを判定する。重複領域が存在すればＳ１２０５に進み、存在していない場合にはＳ１２０８に進む。

Ｓ１２０５で背景更新部１２５は前フレーム画角の重複領域の差分用背景画像で算出画角の重複領域の差分用背景画像を更新する。前フレーム画角の重複領域と算出画角の重複領域の画像サイズが異なる場合は、算出画角の重複領域の画像サイズにリサイズして更新する。
次にＳ１２０６で背景更新部１２５は差分用背景画像の非重複領域をパノラマ背景保存部１２６から取得した取得背景画像を用いて更新する。取得背景画像と差分用背景画像の非重複領域の画像サイズが異なる場合は、取得背景画像を差分用背景画像の画像サイズにリサイズして更新する。

次にＳ１２０７で背景更新部１２５は、更新した差分用背景画像を、差分用背景保存部１２９に保存する。
算出画角と前フレーム画角に重複領域がなかった場合（つまり、Ｓ１２０８に進んだ場合）、背景更新部１２５は差分用背景画像をパノラマ背景保存部１２６から取得した取得背景画像を用いて更新する。取得背景画像と差分用背景画像の画像サイズが異なる場合は、取得背景画像を差分用背景画像の画像サイズにリサイズして更新する。

算出画角が前フレーム画角から変化していない場合（つまり、Ｓ１２０９に進んだ場合）、背景更新部１２５は、画像受信部１２１から取得画像を取得する。
次にＳ１２１０で背景更新部１２５は、検出部１２２から検出結果を取得する。
次にＳ１２１１で背景更新部１２５は、取得画像と検出結果を用いて差分用背景画像を更新する。そしてＳ７０５に進む。
以上で差分用背景画像の更新を終了する。
第三の実施形態においても、第一の実施形態と同様に、録画装置（撮像装置）１０１の撮影画角が変化しても、背景画像を短時間で更新し、更新された背景画像に人体のマスク画像を重畳してプライバシー保護画像を作成することが出来る。
本実施形態では、録画装置１０１の現在の画角の画像と前フレームの画角の画像で重複領域がある場合、シルエット画像生成部１２８が使用する背景画像は、当該重複領域において、前フレームの画角の画像の重複領域から複製した重複領域画像を使用することになる。

その他の実施形態
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行することによっても達成できる。 従って、本発明の機能処理をコンピュータで実現するために、当該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明には、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。また、本発明は、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

本実施形態の開示は、以下の構成および方法を含む。
構成１
撮像装置により複数の異なる画角で撮影した画像から、パノラマ背景画像を生成する第一の生成手段と、
前記撮像装置の現在の画角に対応する背景画像を前記パノラマ背景画像から取得する取得手段と、
前記背景画像と前記現在の画角の撮影画像との差分に基づいて、シルエット画像を生成する第二の生成手段と、
前記シルエット画像を前記背景画像に合成する合成手段と、
を備えることを特徴とする画像処理装置。
構成２
前記第一の生成手段は、前記複数の異なる画角で撮影した画像の各々から人物画像を除去する除去手段を有することを特徴とする構成１に記載の画像処理装置。
構成３
前記撮像装置の現在の画角を算出する算出手段をさらに備えることを特徴とする構成２に記載の画像処理装置。
構成４
前記画像処理装置は、前記複数の異なる画角で撮影した画像の各々から特徴点を抽出する抽出手段をさらに備え、
前記算出手段は、前記算出した画角の撮影画像の特徴点と前記抽出手段により抽出した特徴点とを照合して、前記画角を算出することを特徴とする構成３に記載の画像処理装置。
構成５
前記算出手段は、前記撮像装置の向きと前記撮像装置のレンズ情報から前記画角を算出することを特徴とする構成３に記載の画像処理装置。
構成６
前記撮像装置の向きは、前記撮像装置のパンチルト情報を含むことを特徴とする構成５に記載の画像処理装置。
構成７
前記撮像装置の現在の画角の画像とそれ以前の画角の画像で重複領域がある場合、前記第二の生成手段が使用する前記背景画像は、前記重複領域において、前記それ以前の画角の画像の重複領域から複製した重複領域画像を使用することを特徴とする構成１乃至６のいずれか１項に記載の画像処理装置。
構成８
前記現在の画角の重複領域の画像サイズと前記それ以前の画角の重複領域の画像サイズが異なる場合、前記それ以前の画角の重複領域の画像サイズを前記現在の画角の重複領域の画像サイズに合わせることを特徴とする構成７に記載の画像処理装置。
構成９
前記撮像装置は、前記画像処理装置に内蔵されていることを特徴とする構成１乃至８のいずれか１項に記載の画像処理装置。
方法
撮像装置により複数の異なる画角で撮影した画像から、パノラマ背景画像を生成するステップと、
前記撮像装置の現在の画角に対応する背景画像を前記パノラマ背景画像から取得するステップと、
前記背景画像と前記現在の画角の撮影画像との差分に基づいて、シルエット画像を生成するステップと、
前記シルエット画像を前記背景画像に合成するステップと、
を有することを特徴とする画像処理方法。

１００…画像処理システム、１０１…録画装置（撮像装置）、１０２…表示装置、１２１…画像受信部、１２２…検出部、１２３…パノラマ画像生成部、１２４…画角算出部、１２５…背景更新部、１２８…シルエット画像生成部、１３０…出力部、１３１…特徴点抽出部

Claims (18)

1. 撮像装置により複数の異なる画角で撮影した画像から、パノラマ背景画像を生成する第一の生成手段と、
   前記撮像装置の現在の画角に対応する背景画像を前記パノラマ背景画像から取得する取得手段と、
   前記背景画像と前記現在の画角の撮影画像との差分に基づいて、シルエット画像を生成する第二の生成手段と、
   前記シルエット画像を前記背景画像に合成する合成手段と、
   を備えることを特徴とする画像処理装置。
2. 前記第一の生成手段は、前記複数の異なる画角で撮影した画像の各々から人物画像を除去する除去手段を有することを特徴とする請求項１に記載の画像処理装置。
3. 前記撮像装置の現在の画角を算出する算出手段をさらに備えることを特徴とする請求項２に記載の画像処理装置。
4. 前記画像処理装置は、前記複数の異なる画角で撮影した画像の各々から特徴点を抽出する抽出手段をさらに備え、
   前記算出手段は、前記算出した画角の撮影画像の特徴点と前記抽出手段により抽出した特徴点とを照合して、前記画角を算出することを特徴とする請求項３に記載の画像処理装置。
5. 前記算出手段は、前記撮像装置の向きと前記撮像装置のレンズ情報から前記画角を算出することを特徴とする請求項３に記載の画像処理装置。
6. 前記撮像装置の向きは、前記撮像装置のパンチルト情報を含むことを特徴とする請求項５に記載の画像処理装置。
7. 前記撮像装置の現在の画角の画像とそれ以前の画角の画像で重複領域がある場合、前記第二の生成手段が使用する前記背景画像は、前記重複領域において、前記それ以前の画角の画像の重複領域から複製した重複領域画像を使用することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 前記現在の画角の重複領域の画像サイズと前記それ以前の画角の重複領域の画像サイズが異なる場合、前記それ以前の画角の重複領域の画像サイズを前記現在の画角の重複領域の画像サイズに合わせることを特徴とする請求項７に記載の画像処理装置。
9. 前記撮像装置は、前記画像処理装置に内蔵されていることを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
10. 前記撮像装置は、前記画像処理装置に内蔵されていることを特徴とする請求項７に記載の画像処理装置。
11. 前記撮像装置は、前記画像処理装置に内蔵されていることを特徴とする請求項８に記載の画像処理装置。
12. 撮像装置により複数の異なる画角で撮影した画像から、パノラマ背景画像を生成するステップと、
    前記撮像装置の現在の画角に対応する背景画像を前記パノラマ背景画像から取得するステップと、
    前記背景画像と前記現在の画角の撮影画像との差分に基づいて、シルエット画像を生成するステップと、
    前記シルエット画像を前記背景画像に合成するステップと、
    を有することを特徴とする画像処理方法。
13. コンピュータを、請求項１乃至６のいずれか１項に記載の画像処理装置の各手段として動作させるためのプログラム。
14. コンピュータを、請求項７に記載の画像処理装置の各手段として動作させるためのプログラム。
15. コンピュータを、請求項８に記載の画像処理装置の各手段として動作させるためのプログラム。
16. コンピュータを、請求項９に記載の画像処理装置の各手段として動作させるためのプログラム。
17. コンピュータを、請求項１０に記載の画像処理装置の各手段として動作させるためのプログラム。
18. コンピュータを、請求項１１に記載の画像処理装置の各手段として動作させるためのプログラム。

Images