JP7370769B2 - 画像処理装置、画像処理方法およびプログラム - Google Patents

Description

本発明は、画像処理技術に関する。

監視目的とした撮像装置の設置が広まる一方で、撮像装置により撮像された画像に映る人物のプライバシーを保護する重要性が高まっている。特許文献１では、入力画像と背景画像とを比較することで動体領域を抽出し、抽出した動体領域を所定のパターンに変換することで前景マスク画像を生成し、当該前景マスク画像を背景画像に重畳することで出力画像を生成する旨の技術が記載されている。

一般に、撮像画像に基づいて背景画像を生成する場合、椅子に座るなどして撮像画像上の人物が長時間静止すると、時間の経過と共に当該人物の画像が背景画像に含まれてしまうことがある。当該人物が含まれる背景画像と当該人物が含まれる撮像画像とを比較しても当該人物の領域が動体領域として抽出されず、当該人物の領域に対応する前景マスク画像が生成されなくなる。そして、当該人物が含まれる背景画像に重畳する前景マスク画像が生成されていないため、結果的に生成される出力画像において当該人物のプライバシーを保護できなくなってしまう。この課題を解決するために特許文献１では、次のような内容が開示されている。すなわち、最初に生成された背景画像である初期背景画像において人物が静止すると考えられる領域（抑制領域）を指定し、初期背景画像の抑制領域の画像を背景マスク画像とし、新たに生成された背景画像に当該背景マスク画像を重畳して出力画像を生成する。

特開２０１８－１４８３６８号公報

しかしながら特許文献１では、初期背景画像における抑制領域の画像に人物が含まれず、入力画像上の当該抑制領域に対応する領域の画像に人物が含まれる場合、初期背景画像上の人物が含まれない抑制領域の画像が重畳された出力画像が生成される。すなわち、特許文献１では、プライバシーの保護はできるものの、撮像画像における状況を反映した出力画像が生成されない。

そこで、本発明は、プライバシーの保護を行いつつ、撮像画像における状況を反映した出力画像を生成する技術の提供を目的としている。

上記課題を解決するために、本発明に係る画像処理装置は、例えば、以下の構成を備え
る。すなわち、撮像手段により撮像された撮像画像から前景物体の領域を抽出するための背景画像の少なくとも一部として用いられる候補背景画像であって、前記撮像画像の輝度値の平均値に最も近い輝度値の平均値を有する候補背景画像を取得する取得手段と、前記取得手段により取得された候補背景画像を用いて前記背景画像における部分領域の画像を生成し、当該背景画像における当該部分領域以外の領域の画像を前記撮像画像に基づき生成する第１生成処理を実行する生成手段と、前記第１生成処理により生成された背景画像と、前記撮像画像とから、前景物体の領域を抽出する抽出手段と、前記抽出手段により抽出された前景物体の領域を抽象化したマスク画像と、所定の画像とを合成した出力画像を生成する合成手段とを有し、前記生成手段は、前記撮像画像の輝度値の平均値と、前記背景画像の輝度値の平均値との差分値が第１の閾値以上である場合、前記第１生成処理を実行し、前記差分値が前記第１の閾値未満である場合、前記取得手段により取得された候補背景画像を用いず、前記撮像手段により撮像された撮像画像を用いて前記背景画像を生成する。

本発明によれば、プライバシーの保護を行いつつ、撮像画像における状況を反映した出力画像を生成することができる。

システム構成の一例を示す図である。 出力画像を生成する画像処理の機能ブロックを示す図である。 背景画像を生成する画像処理を説明するための図である。 背景画像を生成する画像処理の流れを示すフローチャートである。 出力画像を生成する画像処理の流れを示すフローチャートである。 出力画像を生成する画像処理の機能ブロックを示す図である。 各装置のハードウェア構成を示す図である。

以下、添付図面を参照しながら、本発明に係る実施形態について説明する。なお、以下の実施形態において示す構成は一例に過ぎず、図示された構成に限定されるものではない。

（実施形態１）
図１は、本実施形態におけるシステム構成を示す図である。本実施形態におけるシステムは、画像処理装置１００、撮像装置１１０、記録装置１２０、およびディスプレイ１３０を有している。

画像処理装置１００、撮像装置１１０、および記録装置１２０は、ネットワーク１４０を介して相互に接続されている。ネットワーク１４０は、例えばＥＴＨＥＲＮＥＴ（登録商標）等の通信規格に準拠する複数のルータ、スイッチ、ケーブル等から実現される。

なお、ネットワーク１４０は、インターネットや有線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、無線ＬＡＮ（Ｗｉｒｅｌｅｓｓ Ｌａｎ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）等により実現されてもよい。

画像処理装置１００は、例えば、後述する画像処理の機能を実現するためのプログラムがインストールされたパーソナルコンピュータ等によって実現される。なお、本実施形態では、画像処理装置１００と撮像装置１１０はネットワーク１４０を介して接続されるが、画像処理装置１００および撮像装置１１０は単一の筐体に設けられていてもよい。

撮像装置１１０は、画像を撮像する装置である。撮像装置１１０は、撮像した撮像画像の画像データと、撮像画像を撮像した撮像時刻の情報と、撮像装置１１０を識別する情報である識別情報とを関連付けて、ネットワーク１４０を介し、画像処理装置１００や記録装置１２０等の外部装置へ送信する。なお、本実施形態に係るシステムにおいて、撮像装置１１０は１つとするが、複数であってもよい。

記録装置１２０は、撮像装置１１０が撮像した撮像画像の画像データと、撮像画像を撮像した撮像時刻の情報と、撮像装置１１０を識別する識別情報とを関連付けて記録する。そして、画像処理装置１００からの要求に従って、記録装置１２０は、記録したデータ（撮像画像、識別情報など）を画像処理装置１００へ送信する。

ディスプレイ１３０は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）等により構成されており、画像処理装置１００の画像処理の結果や、撮像装置１１０が撮像した撮像画像などを表示する。ディスプレイ１３０は、ＨＤＭＩ（登録商標）（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）等の通信規格に準拠したディスプレイケーブルを介して画像処理装置１００と接続されている。

また、ディスプレイ１３０は、表示手段として機能し、撮像装置１１０が撮像した撮像画像や、後述する画像処理による結果等を表示する。なお、ディスプレイ１３０、画像処理装置１００、および記録装置１２０の少なくともいずれか２つ又は全ては、単一の筐体に設けられてもよい。

なお、画像処理装置１００の画像処理の結果や、撮像装置１１０により撮像された撮像画像は、画像処理装置１００にディスプレイケーブルを介して接続されたディスプレイ１３０に限らず、例えば、次のような外部装置が有するディスプレイに表示されてもよい。すなわち、ネットワーク１４０を介して接続されたスマートフォン、タブレット端末などのモバイルデバイスが有するディスプレイに表示されていてもよい。

次に、図２に示す本実施形態に係る画像処理装置１００の機能ブロックを参照して、本実施形態に係る画像処理装置１００の画像処理について説明する。なお、図２に示す各機能は、本実施形態の場合、図７を参照して後述するＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）７２０とＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）７００とを用いて、次のようにして実現されるものとする。図２に示す各機能は、画像処理装置１００のＲＯＭ７２０に格納されたコンピュータプログラムを画像処理装置１００のＣＰＵ７００が実行することにより実現される。

通信部２００は、図７を参照して後述するＩ／Ｆ（Ｉｎｔｅｒｆａｃｅ）７４０によって実現でき、ネットワーク１４０を介して、撮像装置１１０や記録装置１２０と通信を行う。通信部２００は、例えば、撮像装置１１０が撮像した撮像画像の画像データを受信したり、撮像装置１１０を制御するための制御コマンドを撮像装置１１０へ送信したりする。なお、制御コマンドは、例えば、撮像装置１１０に対して画像を撮像するよう指示を行うコマンド、または、撮像画像を送信するよう要求する送信要求であって送信対象となる撮像画像の撮像時刻の指定を含む送信要求のコマンドなどである。送信要求のコマンドを受け取った撮像装置１１０は、送信要求に含まれる撮像時刻に対応する撮像画像の画像データを画像処理装置１００に送信する。

記憶部２０１は、図７を参照して後述するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）７１０やＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）７３０等によって実現でき、例えば、通信部２００が取得した撮像画像を記憶（保持）する。

操作受付部２０２は、キーボードやマウス等の入力装置（不図示）を介して、ユーザが行った操作を受け付ける。例えば、操作受付部２０２は、背景画像上の部分領域であって撮像画像に基づく背景画像の生成（更新）が実行されない部分領域を指定する操作を受け付ける。

背景管理部２０３は、撮像画像から前景物体の領域を抽出するための背景画像の少なくとも一部として用いられる複数の候補背景画像を記憶（保持）する。また、操作受付部２０２が候補背景画像を指定するユーザ操作を受け付けた場合、背景管理部２０３は、当該候補背景画像の輝度を変換させることで当該候補背景画像から複数の候補背景画像を生成および保持するようにしてもよい。また、操作受付部２０２が複数の候補背景画像を指定するユーザ操作を受け付けた場合、背景管理部２０３は、当該複数の候補背景画像を保持するようにしてもよい。なお、候補背景画像は、隠蔽対象とする特定の物体（人物）が含まれない画像であるものとする。

設定部２０４は、撮像画像に基づく背景画像の生成（更新）が行われない部分領域を背景画像に対して設定する。本実施形態における設定部２０４は、操作受付部２０２が受け付けたユーザによる部分領域を指定する操作に基づき、部分領域を背景画像に対して設定する。

選択部２０５は、現在処理対象とする撮像画像の輝度に基づき、背景管理部２０３が保持する複数の候補背景画像のうち背景画像の生成に用いる候補背景画像を選択（取得）する。本実施形態に係る選択部２０５は、例えば、次のような処理を実行することで候補背景画像を選択（取得）する。すなわち、選択部２０５は、候補背景画像の各画素の輝度値の平均値を算出する処理を複数の候補背景画像の各々について実行する。更に、選択部２０５は、現在処理対象とする撮像画像の各画素の輝度値の平均値を算出する。そして、選択部２０５は、処理対象の撮像画像の輝度値の平均値と、候補背景画像の輝度値の平均値の各々とを比較し、複数の候補背景画像から、当該撮像画像の輝度値の平均値に最も近い輝度値の平均値を有する候補背景画像を選択（取得）する。すなわち、選択部２０５は、複数の候補背景画像から現在処理対象とする撮像画像の状況に近しい候補背景画像を選択（取得）する。

背景生成部２０６は、選択部２０５により取得された候補背景画像を用いて背景画像における部分領域の画像を生成し、背景画像における当該部分領域以外の領域の画像を撮像画像に基づき生成する第１生成処理を実行する。また、背景生成部２０６は、選択部２０５により取得された候補背景画像を背景画像とする第２生成処理を実行する。すなわち、第２生成処理は、選択部２０５により取得された候補背景画像を最新の背景画像とする処理である。なお、背景生成部２０６の詳細な説明については後述する。

抽出部２０７は、背景生成部２０６における第１生成処理または第２生成処理により生成された背景画像を用いて現在処理対象とする撮像画像から前景物体の領域を抽出する。具体的には、本実施形態に係る抽出部２０７は、処理対象とする撮像画像と、背景生成部２０６における第１生成処理または第２生成処理により生成された背景画像とを比較することで（背景差分法）、処理対象とする撮像画像から前景物体の領域を抽出する。

なお、本実施形態に係る抽出部２０７による前景物体の領域を抽出する方法として、次のような処理が実行される。すなわち、抽出部２０７は、生成された背景画像に対する差分の領域を示す前景領域を「１」とし、その他の領域を「０」とする２値画像を生成する。このとき、抽出部２０７は、背景画像の各画素と処理対象とする撮像画像の各画素とで差分値を算出し、算出した差分値が閾値以上の画素については前景領域を表す「１」を設定し、閾値未満の場合は「０」を設定することで、２値画像を生成する。

合成部２０８は、抽出部２０７により抽出された前景物体の領域を抽象化（Ａｎｏｎｙｍｉｚａｔｉｏｎ）したマスク画像を生成し、当該マスク画像と、所定の画像とを合成した出力画像を生成する。本実施形態に係る合成部２０８は、例えば、生成したマスク画像と、選択部２０５により取得された候補背景画像とを合成する。また、合成部２０８は、例えば、生成したマスク画像と、第１生成処理または第２生成処理により生成された背景画像とを合成するようにしてもよい。

なお、合成部２０８による前景物体の領域を抽象化（Ａｎｏｎｙｍｉｚａｔｉｏｎ）する処理として、合成部２０８は、例えば、次のような処理を実行する。すなわち、合成部２０８は、撮像画像から抽出した前景物体の領域を、任意の色（ＲＧＢ値）で塗りつぶすことで抽象化（Ａｎｏｎｙｍｉｚａｔｉｏｎ）したマスク画像を生成する。なお、前景物体の領域を抽象化（Ａｎｏｎｙｍｉｚａｔｉｏｎ）したマスク画像としては、例えば、当該領域に対しモザイク処理を施したモザイク画像、当該領域にぼかし処理を施したぼかし画像などであってもよい。

出力制御部２０９は、合成部２０８により生成された出力画像を外部装置（記録装置１２０、ディスプレイ１３０等）へ出力する。このとき、出力制御部２０９は、例えば、合成部２０８により生成された出力画像をディスプレイ１３０に表示させる。

次に、図３および図４を参照して、本実施形態に係る画像処理装置１００のプライバシー保護がなされた出力画像を生成する画像処理についてより詳細に説明する。

図３は本実施形態に係る画像処理を説明するための図である。まず、図３（ａ）～図３（ｃ）を参照して、出力画像を生成する処理について説明する。図３（ａ）に示す撮像画像３００ａは、撮像装置１１０により撮像された撮像画像であり、人物３０１がベッドに横になっている。また、図３（ｂ）に示す背景画像３００ｂは、隠蔽対象とする人物が含まれていない背景画像を示す。本実施形態に係る抽出部２０７は、撮像画像３００ａと背景画像３００ｂとを比較することで、撮像画像３００ａに含まれる人物３０１の領域を前景物体の領域として抽出する。そして、合成部２０８は、抽出した前景物体の領域を抽象化（Ａｎｏｎｙｍｉｚａｔｉｏｎ）したマスク画像３０２と背景画像３００ｂと合成することで出力画像３００ｃを生成する。

従来技術として、取得される複数の撮像画像に基づき背景画像を生成する処理がある。例えば、直近のＮフレーム（Ｎは整数）の撮像画像の各画素値の平均値を算出することで背景画像を生成する技術がある。また、撮像画像からフレーム間差分等により動体を検出し、当該撮像画像における当該動体以外の領域の画像を用いて背景画像を生成（更新）する技術がある。これらの技術では、例えば、撮像画像３００ａに映るベッドに横たわる人物のように一定時間にわたって静止し続ける人物がいる場合、当該人物の画像が背景化してしまい、背景画像３００ｄのような背景画像が生成されることがある。このとき、撮像画像３００ａと背景画像３００ｄとを比較した場合、人物３０１が前景領域として抽出されないため、人物３０１に対応するマスク画像が生成されなくなる。すなわち背景画像３００ｄと合成されるマスク画像が生成されないため、結果的に生成される出力画像では人物３０１が表示されてしまいプライバシーの保護がなされなくなる。

そこで、本実施形態に係る画像処理において、上述した第１生成処理または第２生成処理により背景画像を生成する処理を実行する。ここではまず第１生成処理について説明する。

本実施形態において、出力制御部２０９は、例えば、最初に生成された（設定された）背景画像をディスプレイ１３０に表示させる。そして、操作受付部２０２は、表示された背景画像において人物が一定時間にわたり静止すると考えられる領域を指定するユーザ操作を受け付け、設定部２０４は、操作受付部２０２が受け付けた当該ユーザ操作に基づき、背景画像に対し部分領域を設定する。図３（ｅ）に示す背景画像３００ｅには設定部２０４により設定された部分領域３０３が示されている。

第１生成処理において、背景画像３００ｅにおける部分領域３０３以外の領域の画像については随時入力される撮像画像に基づき生成（更新）される。例えば、背景画像３００ｅにおける部分領域３０３以外の領域の画像は、直近Ｎフレームの撮像画像における当該領域に対応する画像の各画素の平均値を算出することで生成（更新）される。一方、第１生成処理において、背景画像３００ｅにおける部分領域の画像については選択部２０５により現在処理対象の撮像画像の状況に近しいとして取得された候補背景画像を用いて生成（更新）される。例えば、背景画像３００ｅにおける部分領域の画像は、選択部２０５により取得された候補背景画像における当該部分領域に対応する領域の画像で置き換えられる。

ここで、第１生成処理により背景画像を生成する効果について説明する。まず、撮像画像３００ａが撮像されたのち、撮像対象の領域の照明がオンからオフに切り替わったことに伴い、図３（ｆ）に示すような撮像対象の領域が暗くなった撮像画像３００ｆが撮像された場合を想定する。このとき上述した第１生成処理ではなく、背景画像における部分領域３０３以外の領域の画像は撮像画像に基づき生成（更新）され、部分領域３０３の画像は生成（更新）しない処理を実行した場合、次のような課題が生じる。すなわち、撮像画像３００ｆが撮像されて以降、照明がオフの状態が続いて撮像画像３００ｆと同様の画像が撮像され続けると、部分領域３０３以外の領域の画像は撮像画像に基づき生成（更新）されるため図３（ｇ）に示すような背景画像３００ｇが生成される。このとき、部分領域３０３の画像は撮像画像に基づき生成（更新）されないため、背景画像３００ｇに示す部分領域３０３内の画像は背景画像３００ｅから変化していない。この場合、抽出部２０７は、背景画像３００ｇと撮像画像３００ｆとを比較し、撮像画像３００ｆにおける部分領域３０３に対応する領域を前景物体の領域として抽出してしまう。その結果、合成部２０８は、図３（ｈ）に示すような、出力画像３００ｈが生成されることになり、人物が存在しているのか否か判別ができない出力画像が生成されてしまう。

しかしながら、本実施形態に係る第１生成処理では、上述したように、背景画像３００ｅにおける部分領域３０３の画像について選択部２０５により取得された候補背景画像を用いて生成（更新）される。具体的には、まず、予め保持した複数の候補背景画像のうち、撮像画像３００ｆの輝度に近しい候補背景画像３００ｋが取得される。そして、選択された候補背景画像３００ｋにおける部分領域３０３に対応する領域の画像を用いて背景画像３００ｅ上の部分領域３０３の画像が更新（生成）されることで、図３（ｉ）に示す背景画像３００ｉが生成される。この場合、抽出部２０７は、撮像画像３００ｆと背景画像３００ｉとを比較することで、撮像画像３００ｆにおける人物３０１を前景物体の領域として抽出することができる。そして、合成部３０８は、抽出部２０７により抽出された前景物体の領域を抽象化（Ａｎｏｎｙｍｉｚａｔｉｏｎ）したマスク画像３０５を生成する。さらに、合成部３０８は、生成したマスク画像３０５と背景画像３００ｉとを合成することで図３（ｊ）に示すような出力画像３００ｊを生成することができる。出力画像３００ｊでは、撮像画像に映っていた人物が誰であるかを特定できないようプライバシーを保護しつつ、人物が存在していることがわかる、すなわち撮像画像の状況が反映されている。

以上説明したように、第１生成処理により生成された背景画像を用いて撮像画像から前景物体の領域を抽出することで、撮像画像に映っていた人物のプライバシーを保護しつつ、撮像画像の状況が反映された出力画像を生成することができる。

続いて、第２生成処理について説明する。第２生成処理は、部分領域を考慮せず、選択部２０５により取得された候補背景画像を最新の背景画像とする処理である。例えば、現在の背景画像が図３（ｂ）に示す背景画像３００ｂであり、現在処理対象とする撮像画像が撮像画像３００ａから撮像画像３００ｆに移ったとする。このとき、選択部２０５により現在処理対象とする撮像画像の輝度に近い候補背景画像として複数の候補背景画像から候補背景画像３００ｋが取得される。そして、第２生成処理では、選択部２０５により取得された候補背景画像３００ｋを最新の背景画像とする。この場合、抽出部２０７は、撮像画像３００ｆと現在の背景画像である候補背景画像３００ｋとを比較することで、撮像画像３００ｆにおける人物３０１を前景物体の領域として抽出することができる。そして、合成部３０８は、抽出部２０７により抽出された前景物体の領域を抽象化（Ａｎｏｎｙｍｉｚａｔｉｏｎ）したマスク画像３０５を生成する。さらに、合成部３０８は、生成したマスク画像３０５と候補背景画像３００ｋとを合成することで図３（ｊ）に示すような出力画像３００ｊを生成することができる。

なお、本実施形態における背景生成部２０６は、現在の背景画像の輝度値の平均値と、現在の処理対象とする撮像画像の輝度値の平均値との差分に基づき、第１生成処理または第２生成処理を実行する。具体的には、背景生成部２０６は、現在の背景画像の各画像の輝度値の平均値と、現在処理対象とする撮像画像の各画素の輝度値の平均値との差分値を算出する。そして、背景生成部２０６は、例えば、当該差分値が第１閾値以上第２閾値未満である場合、第１生成処理を実行し、当該差分値が第２閾値以上である場合、第２生成処理を実行する。なお、第２閾値は第１閾値よりも大きい値である。第１生成処理では、背景画像における部分領域以外の領域の画像は随時入力される複数の撮像画像に基づき生成（更新）されるものとした。しかしながら、撮像対象の領域の明るさが大きく変化するなどして、現在処理対象とする撮像画像と、現在の背景画像とで輝度値が大きく異なる場合、現在の撮像画像における輝度が最新の背景画像に反映されるまで時間を要することがある。そこで、本実施形態における背景生成部２０６は、現在の背景画像の輝度値の平均値と、現在の処理対象の撮像画像の輝度値の平均値との差分が第１閾値より大きい第２閾値以上である場合、第２生成処理を実行するようにする。このようにすることで、現在の撮像画像の状況に近しい背景画像を短時間で生成することが可能となる。

次に、図４および図５に示すフローを参照して、本実施形態に係る画像処理装置１００による画像処理について更に詳細に説明する。図４に示すフローの処理を実行することで、第１生成処理または第２生成処理を実行することができる。また、図５に示すフローの処理を実行することで、生成された背景画像を用いて出力画像を生成することができる。

なお、図４および図５に示すフローの処理は、画像処理装置１００のＲＯＭ７２０に格納されたコンピュータプログラムを画像処理装置１００のＣＰＵ７００が実行して実現される図２に示す機能ブロックにより実行されるものとする。また、図４に示すフローの処理は、例えば、ユーザによる指示に従って、開始又は終了するものとする。

まず、図４に示すフローの処理について説明する。Ｓ４０１にて、背景生成部２０６は、初期の背景画像である初期背景画像を取得する。初期背景画像としては、例えば、出力制御部２０７によりディスプレイ１３０に表示された複数の撮像画像のうち、ユーザにより選択された撮像画像を初期背景画像としてもよい。また、図４に示すフローの処理に先立って、背景生成部２０６は、隠蔽対象とする特定の物体（人物等）がいない状態で撮像された複数の撮像画像に基づき、初期背景画像を生成してもよい。このとき、背景生成部２０６は、例えば、複数の撮像画像の各画素値の平均を算出することで、初期背景画像を生成するようにしてもよい。

次に、Ｓ４０２にて、通信部２００は、処理対象とする撮像画像を取得する。なお、本実施形態において、通信部２００は、ネットワーク１４０を介して撮像装置１１０から処理対象とする撮像画像を取得するが、例えば、記録装置１２０から処理対象とする撮像画像を取得してもよい。

次に、Ｓ４０３にて、選択部２０５は、撮像画像の輝度値の平均値を算出する。具体的には、選択部２０５は、例えば、現在処理対象とする撮像画像の各画素の輝度値の平均値を算出する。

次に、Ｓ４０４にて、選択部２０５は、現在処理対象とする撮像画像の輝度に基づき、背景管理部２０２が保持する複数の候補背景画像のうち背景画像の生成に用いる候補背景画像を取得する。具体的には、選択部２０５は、候補背景画像の各画素の輝度値の平均値を算出する処理を複数の候補背景画像の各々について実行する。そして、選択部２０５は、処理対象の撮像画像の輝度値の平均値と、候補背景画像の輝度値の平均値の各々とを比較し、複数の候補背景画像から、当該撮像画像の輝度値の平均値に最も近い輝度値の平均値を有する候補背景画像を取得する。すなわち、選択部２０５は、複数の候補背景画像から現在処理対象とする撮像画像の状況に近しい候補背景画像を取得する。なお、予め候補背景画像の各々の輝度値の平均値を算出しておき、背景管理部２０３は、候補背景画像と、当該候補背景画像の輝度値の平均値とを関連付けて保持しておくようにしてもよい。そして、選択部２０５は、処理対象の撮像画像の平均値と、背景管理部２０３が保持する輝度値であって候補背景画像の輝度値の平均値の各々とを比較し、撮像画像の輝度値の平均値に最も近い候補背景画像を取得するようにしてもよい。

次に、Ｓ４０５にて、背景生成部２０６は、現在の背景画像の輝度値の平均値と、現在の処理対象とする撮像画像の輝度値の平均値との差分値を算出する。具体的には、背景生成部２０６は、現在の背景画像の各画像の輝度値の平均値と、現在処理対象とする撮像画像の各画素の輝度値の平均値との差分値を算出する。図４に示すフローの処理が開始して初めてＳ４０５の処理が実行される場合、背景生成部２０６は、初期背景画像の輝度値の平均値と、処理対象の撮像画像の輝度値の平均値との差分値を算出する。

Ｓ４０６にて、背景生成部２０６は、Ｓ４０５にて算出された輝度値の差分値が第１閾値以上であるかを判定する。Ｓ４０５にて算出された輝度値の差分値が第１閾値以上である場合（Ｓ４０６にてＹｅｓ）、Ｓ４０７に遷移し、Ｓ４０５にて算出された輝度値の差分値が第１閾値未満である場合（Ｓ４０６にてＮｏ）、Ｓ４１０に遷移する。Ｓ４０７にて、背景生成部２０６は、Ｓ４０５にて算出された輝度値の差分値が第２閾値以上であるかを判定する。Ｓ４０５にて算出された輝度値の差分値が第２閾値以上である場合（Ｓ４０７にてＹｅｓ）、Ｓ４０８に遷移し、Ｓ４０７にて算出された輝度値の差分値が第２閾値未満である場合（Ｓ４０７にてＮｏ）、Ｓ４０９に遷移する。

Ｓ４０８にて、背景生成部２０６は、選択部２０５により取得された候補背景画像を背景画像とする第２生成処理を実行する。すなわち、第２生成処理は、選択部２０５により取得された候補背景画像を最新の背景画像とする処理である。背景管理部２０３は、第２生成処理により生成された背景画像を最新の背景画像として保持する。

Ｓ４０９にて、背景生成部２０６は、選択部２０５により取得された候補背景画像を用いて背景画像における部分領域の画像を生成し、背景画像における当該部分領域以外の領域の画像を撮像画像に基づき生成する第１生成処理を実行する。背景管理部２０３は、第１生成処理により生成された背景画像を最新の背景画像として保持する。

Ｓ４１０にて、出力画像を生成する処理が実行される。ここで、図５に示すフローを参照して、出力画像を生成する処理について更に詳細に説明する。図５に示すＳ５０１にて、抽出部２０７は、現在の背景画像を用いて現在処理対象とする撮像画像から前景物体の領域を抽出する。次に、Ｓ５０２にて、合成部２０８は、抽出部２０７により抽出された前景物体の領域を抽象化（Ａｎｏｎｙｍｉｚａｔｉｏｎ）したマスク画像を生成する。なお、本実施形態に係る合成部２０８は、撮像画像から抽出した前景物体の領域を、任意の色（ＲＧＢ値）で塗りつぶすことで抽象化（Ａｎｏｎｙｍｉｚａｔｉｏｎ）したマスク画像を生成する。なお、前景物体の領域を抽象化（Ａｎｏｎｙｍｉｚａｔｉｏｎ）したマスク画像としては、例えば、当該領域に対しモザイク処理を施したモザイク画像、当該領域にぼかし処理を施したぼかし画像などであってもよい。次に、Ｓ５０３にて、合成部２０８は、Ｓ５０２にて生成したマスク画像と、所定の画像とを合成した出力画像を生成する。なお、合成部２０８は、例えば、Ｓ５０２にて生成したマスク画像と、Ｓ４０４にて選択部２０５により取得された候補背景画像とを合成することで出力画像を生成する。なお、合成部２０８は、例えば、Ｓ５０２にて生成したマスク画像と、最新の背景画像（第１生成処理により生成された背景画像、第２生成処理により生成された背景画像、または初期背景画像）とを合成することで出力画像を生成してもよい。

Ｓ５０３の処理の後、Ｓ４１１へ遷移し、Ｓ４１１にて、出力制御部２０９は、Ｓ４１０にて生成された出力画像を外部装置（ディスプレイ１３０、記録装置１２０等）へ出力する。なお、出力制御部２０９は、Ｓ４１０にて生成された出力画像をディスプレイ１３０に表示させてもよい。次に、Ｓ４１２にて、終了の指示がない場合（Ｓ４１２にてＮｏ）、Ｓ４０２に遷移し、Ｓ４０２にて、通信部２００は、次の処理対象とする撮像画像を取得する。一方、Ｓ４１２にて、終了の指示がある場合（Ｓ４１２にてＹｅｓ）、図４に示す処理を終了する。

なお、本実施形態において、Ｓ４０６にて、背景生成部２０６は、Ｓ４０５にて算出された輝度値の差分値が第１閾値以上であるかを判定し、第１閾値未満である場合、Ｓ４１０へ遷移するようにしたが、これに限らない。背景生成部２０６は、例えば、処理対象の撮像画像の輝度値の平均値と、現在の背景画像の輝度値の平均値との差分値が所定の閾値以上である場合、第１生成処理を実行し、当該差分値が所定の閾値未満である場合、次のような処理を実行してもよい。すなわち、背景生成部２０６は、算出した輝度値の平均値の差分値が所定の閾値未満である場合、取得した候補背景画像を用いず、撮像画像を用いて背景画像を生成するようにしてもよい。この場合、背景生成部２０６は、例えば、直近Ｎフレーム（Ｎは整数）の複数の撮像画像を用いて、当該複数の撮像画像各々の画素値の平均をとることで、背景画像を生成してもよい。なお、このとき、背景生成部２０６は、撮像された撮像画像を用いて背景画像を生成する処理であれば公知の技術を用いてもよい。

以上説明したように、本実施形態に係る画像処理装置は、第１生成処理として次のような処理を実行する。すなわち、画像処理装置は、第１生成処理において、背景画像における人物が長時間静止すると考えられる部分領域の画像は候補背景画像を用いて生成（更新）し、当該背景画像における部分領域以外の領域の画像は撮像画像を用いて生成（更新）する。また、本実施形態に係る画像処理装置は、第２生成処理において、選択部２０５により取得された候補背景画像を最新の背景画像とする。このようにすることで、人物が長時間静止してしまう場合であっても、当該人物に対応する前景領域を適切に抽出することができ、結果的に現在の撮像画像の状況を適切に反映しつつ当該人物のプライバシーを保護した出力画像を生成することができる。

（実施形態２）
実施形態１において、設定部２０４は、背景画像において人物が長時間静止すると考えられる領域としてユーザが指定した領域を部分領域として設定した。本実施形態に係る設定部２０４は、特定の物体を検出する検出結果に基づき、背景画像における部分領域を設定する。なお、実施形態１と異なる部分を主に説明し、実施形態１と同一または同等の構成要素、および処理には同一の符号を付すとともに、重複する説明は省略する。

以下、図６を参照して、本実施形態に係る画像処理装置１００の画像処理について説明する。なお、図６に示す各機能は、本実施形態の場合、図７を参照して後述するＲＯＭ７２０とＣＰＵ７００とを用いて、次のようにして実現されるものとする。図６に示す各機能は、画像処理装置１００のＲＯＭ７２０に格納されたコンピュータプログラムを画像処理装置１００のＣＰＵ７００が実行することにより実現される。

図６に示すように、本実施形態に係る画像処理装置１００は、図２に示す機能に加えて、更に検出部６００を有する。本実施形態に係る検出部６００は、背景画像または撮像画像から特定物体を検出する。特定の物体としては、例えば、椅子やベッドなど人物が長時間静止する（位置する）と考えられる物体である。本実施形態に係る検出部６００は、照合パターン（辞書）を使用して、パターンマッチング等の処理を行うことで、背景画像または撮像画像に含まれる特定の物体の検出を行う。なお、パターンマッチングに限らず特定の物体を検出する方法として他の公知技術を用いてもよい。検出部６００は、例えば、撮像画像から特定物体としてベッドを検出し、当該ベッドの位置およびサイズの情報を取得する。具体的には、検出部６００は、特定物体としてベッドを検出した場合に、当該ベッドを囲う外接矩形を設定し、当該外接矩形の左上の頂点の座標と、当該外接矩形の横のサイズおよび縦のサイズを取得する。なお、撮像画像および背景画像の画像サイズは同じものであるとし、撮像画像上および背景画像上の位置を示す座標は、撮像画像および背景画像それぞれの左上の端点を原点としてＸＹ座標であるものとする。

そして、本実施形態に係る設定部２０４は、検出部６００により検出された特定物体の位置およびサイズに基づき、背景画像に対し部分領域を設定する。設定部２０４は、例えば、検出部６００により特定物体としてベッドが検出された場合、当該ベッドの外接矩形を部分領域として設定する。なお、設定部２０４は、検出部６００により検出された特定物体の外接矩形を所定の倍率だけ拡張した領域を部分領域として設定してもよい。

以上説明したように、本実施形態に係る画像処理装置１００では、検出部６００により検出された特定物体の位置に基づき、背景画像に対し部分領域の設定を行うため、部分領域の設定を行うユーザの負荷を低減することができる。

（その他の実施形態）
次に図７を参照して、各実施形態の各機能を実現するための画像処理装置１００のハードウェア構成を説明する。なお、以降の説明において画像処理装置１００のハードウェア構成について説明するが、記録装置１２０および撮像装置１１０も同様のハードウェア構成によって実現されるものとする。

本実施形態における画像処理装置１００は、ＣＰＵ７００と、ＲＡＭ７１０と、ＲＯＭ７２０、ＨＤＤ７３０と、Ｉ／Ｆ７４０と、を有している。

ＣＰＵ７００は画像処理装置１００を統括制御する中央処理装置である。ＲＡＭ７１０は、ＣＰＵ７００が実行するコンピュータプログラムを一時的に記憶する。また、ＲＡＭ７１０は、ＣＰＵ７００が処理を実行する際に用いるワークエリアを提供する。また、ＲＡＭ７１０は、例えば、フレームメモリとして機能したり、バッファメモリとして機能したりする。

ＲＯＭ７２０は、ＣＰＵ７００が画像処理装置１００を制御するためのプログラムなどを記憶する。ＨＤＤ７３０は、画像データ等を記録する記憶装置である。

Ｉ／Ｆ７４０は、ネットワーク１４０を介して、ＴＣＰ／ＩＰやＨＴＴＰなどに従って、外部装置との通信を行う。

なお、上述した各実施形態の説明では、ＣＰＵ７００が処理を実行する例について説明するが、ＣＰＵ７００の処理のうち少なくとも一部を専用のハードウェアによって行うようにしてもよい。例えば、ディスプレイ１３０にＧＵＩ（ＧＲＡＰＨＩＣＡＬ ＵＳＥＲ ＩＮＴＥＲＦＡＣＥ）や画像データを表示する処理は、ＧＰＵ（ＧＲＡＰＨＩＣＳ ＰＲＯＣＥＳＳＩＮＧ ＵＮＩＴ）で実行してもよい。また、ＲＯＭ７２０からプログラムコードを読み出してＲＡＭ７１０に展開する処理は、転送装置として機能するＤＭＡ（ＤＩＲＥＣＴ ＭＥＭＯＲＹ ＡＣＣＥＳＳ）によって実行してもよい。

なお、本発明は、上述の実施形態の１以上の機能を実現するプログラムを１つ以上のプロセッサが読出して実行する処理でも実現可能である。プログラムは、ネットワーク又は記憶媒体を介して、プロセッサを有するシステム又は装置に供給するようにしてもよい。また、本発明は、上述の実施形態の１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。また、画像処理装置１００の各部は、図７に示すハードウェアにより実現してもよいし、ソフトウェアにより実現することもできる。

なお、上述した各実施形態に係る画像処理装置１００の１以上の機能を他の装置が有していてもよい。例えば、各実施形態に係る画像処理装置１００の１以上の機能を撮像装置１１０が有していてもよい。なお、上述した各実施形態を組み合わせて、例えば、上述した実施形態を任意に組み合わせて実施してもよい。

以上、本発明を実施形態と共に説明したが、上記実施形態は本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲は限定的に解釈されるものではない。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱しない範囲において、様々な形で実施することができる。例えば、各実施形態を組み合わせたものも本明細書の開示内容に含まれる。

１００ 画像処理装置
１１０ 撮像装置
２００ 通信部
２０１ 記憶部
２０２ 操作受付部
２０３ 背景管理部
２０４ 設定部
２０５ 選択部
２０６ 背景生成部
２０７ 抽出部
２０８ 合成部
２０９ 出力制御部
６００ 検出部

Claims (12)

1. 撮像手段により撮像された撮像画像から前景物体の領域を抽出するための背景画像の少なくとも一部として用いられる候補背景画像であって、前記撮像画像の輝度値の平均値に最も近い輝度値の平均値を有する候補背景画像を取得する取得手段と、
   前記取得手段により取得された候補背景画像を用いて前記背景画像における部分領域の画像を生成し、当該背景画像における当該部分領域以外の領域の画像を前記撮像画像に基づき生成する第１生成処理を実行する生成手段と、
   前記第１生成処理により生成された背景画像と、前記撮像画像とから、前景物体の領域を抽出する抽出手段と、
   前記抽出手段により抽出された前景物体の領域を抽象化したマスク画像と、所定の画像とを合成した出力画像を生成する合成手段とを有し、
   前記生成手段は、前記撮像画像の輝度値の平均値と、前記背景画像の輝度値の平均値との差分値が第１の閾値以上である場合、前記第１生成処理を実行し、前記差分値が前記第１の閾値未満である場合、前記取得手段により取得された候補背景画像を用いず、前記撮像手段により撮像された撮像画像を用いて前記背景画像を生成することを特徴とする画像処理装置。
2. 前記背景画像の少なくとも一部として用いられる複数の候補背景画像を保持する保持手段を更に有し、
   前記取得手段は、前記撮像手段により撮像された撮像画像の輝度値に基づき、前記保持手段が保持する複数の候補背景画像から前記背景画像の生成に用いる候補背景画像を取得することを特徴とする請求項１に記載の画像処理装置。
3. 前記取得手段は、前記撮像画像の輝度値と、前記複数の候補背景画像の各々の輝度値とに基づき、前記背景画像の生成に用いる候補背景画像を取得することを特徴とする請求項２に記載の画像処理装置。
4. 前記生成手段は、前記撮像画像の輝度値の平均値と、前記背景画像の輝度値の平均値との差分値に基づき、当該差分値が前記第１閾値以上第２閾値未満である場合、前記第１生成処理を実行し、または当該差分値が前記第２閾値以上である場合、前記部分領域および前記部分領域以外の領域において、前記取得手段により取得された候補背景画像を前記背景画像とする第２生成処理を実行することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記背景画像に対し前記部分領域を設定する設定手段を更に有することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記設定手段は、ユーザにより領域を指定する操作に基づき、前記背景画像に対し前記部分領域を設定することを特徴とする請求項５に記載の画像処理装置。
7. 前記撮像画像から特定の物体を検出する検出手段を更に有し、
   前記設定手段は、前記検出手段により検出された特定の物体の位置に基づき、前記背景画像に対し前記部分領域を設定することを特徴とする請求項５に記載の画像処理装置。
8. 前記合成手段は、前記マスク画像と、前記取得手段により取得された候補背景画像とを合成した出力画像を生成することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 前記合成手段は、前記マスク画像と、前記生成手段により生成された背景画像とを合成した出力画像を生成することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
10. 前記合成手段により生成された出力画像を表示手段に表示させる出力制御手段を更に有することを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
11. 撮像手段により撮像された撮像画像から前景物体の領域を抽出するための背景画像の少なくとも一部として用いられる候補背景画像であって、前記撮像画像の輝度値の平均値に最も近い輝度値の平均値を有する候補背景画像を取得する取得する取得工程と、
    前記取得工程において取得された候補背景画像を用いて前記背景画像における部分領域の画像を生成し、前記背景画像における当該部分領域以外の領域の画像を前記撮像画像に基づき生成する第１生成処理を実行する生成工程と、
    前記第１生成処理により生成された背景画像と、前記撮像画像とから、前景物体の領域を抽出する抽出工程と、
    前記抽出工程において抽出された前景物体の領域を抽象化したマスク画像と、所定の画像とを合成した出力画像を生成する合成工程とを有し、
    前記生成工程は、前記撮像画像の輝度値の平均値と、前記背景画像の輝度値の平均値との差分値が第１の閾値以上である場合、前記第１生成処理を実行し、前記差分値が前記第１の閾値未満である場合、前記取得工程により取得された候補背景画像を用いず、前記撮像手段により撮像された撮像画像を用いて前記背景画像を生成することを特徴とする画像処理方法。
12. コンピュータを、請求項１乃至１０のいずれか１項に記載された画像処理装置の各手段として機能させるためのプログラム。

Images