以下、添付図面を参照しながら、本発明に係る実施形態について説明する。なお、以下の実施形態において示す構成は一例に過ぎず、図示された構成に限定されるものではない。
(実施形態1)
図1は、本実施形態におけるシステム構成を示す図である。本実施形態におけるシステムは、情報処理装置100、撮像装置110、記録装置120、およびディスプレイ130を有している。
情報処理装置100、撮像装置110、および記録装置120は、ネットワーク140を介して相互に接続されている。ネットワーク140は、例えばETHERNET(登録商標)等の通信規格に準拠する複数のルータ、スイッチ、ケーブル等から実現される。
なお、ネットワーク140は、インターネットや有線LAN(Local Area Network)、無線LAN(Wireless Lan)、WAN(Wide Area Network)等により実現されてもよい。
情報処理装置100は、例えば、後述する情報処理の機能を実現するためのプログラムがインストールされたパーソナルコンピュータ等によって実現される。撮像装置110は、画像を撮像する装置である。なお、本実施形態に係るシステムにおいて、撮像装置110は1つとするが、複数であってもよい。
なお、本実施形態に係る撮像装置110は、IRCF(Infrared Ray Cut Filter)を有する。IRCFとは、可視光を通過させ赤外光を通過させないフィルタである。CMOSセンサなどの撮像素子は、可視光の波長範囲よりも広い波長範囲に対して感度を有している。そのため、被写体輝度が低下する低照度下においてIRCFを光路から取り除き、赤外光を通過させることにより感度を上昇させる手法がとられる。例えば、日中にIRCFを光路に挿入して撮影するデイモードと、夜間にIRCFを光路から取り外して撮影するナイトモードと、の2つのモードを切り替えて画像の撮像が可能である。
なお、本実施形態に係る撮像装置110は、さらに赤外光の照射が可能な赤外照明を有しているものとする。撮像装置110は、第1モード(デイモード)において、赤外照明をオフにし、IRCFを光路に挿入して画像を撮像する。一方、撮像装置110は、第2モード(ナイトモード)において、赤外照明をオンにし、IRCFを光路から取り外して画像を撮像する。なお、以降の説明において、第1モードにおいて撮像された画像を可視光画像とし、第2モードにおいて撮像された画像を赤外光画像とする。そして、撮像装置110は、撮像した画像の画像データと、当該画像を撮像した時刻の情報と、当該画像が可視光画像か赤外光画像かを示す情報とを関連付けて、ネットワーク140を介し、情報処理装置100や記録装置120等の外部装置へ送信する。
記録装置120は、撮像装置110が撮像した画像の画像データと、当該画像を撮像した時刻の情報と、当該画像が可視光画像か赤外光画像かを示す情報とを関連付けて記録する。そして、情報処理装置100からの要求に従って、記録装置120は、記録したデータ(画像データ、時刻の情報など)を情報処理装置100へ送信する。
ディスプレイ130は、LCD(Liquid Crystal Display)等により構成されており、情報処理装置100の情報処理の結果や、撮像装置110が撮像した画像などを表示する。ディスプレイ130は、HDMI(登録商標)(High Definition Multimedia Interface)等の通信規格に準拠したディスプレイケーブルを介して情報処理装置100と接続されている。
また、ディスプレイ130は、表示手段として機能し、撮像装置110が撮像した画像や、後述する情報処理による結果等を表示する。なお、ディスプレイ130、情報処理装置100、および記録装置120の少なくともいずれか2つ又は全ては、単一の筐体に設けられてもよい。
なお、情報処理装置100の情報処理の結果や、撮像装置110により撮像された画像は、情報処理装置100にディスプレイケーブルを介して接続されたディスプレイ130に限らず、例えば、次のような外部装置が有するディスプレイに表示されてもよい。すなわち、ネットワーク140を介して接続されたスマートフォン、タブレット端末などのモバイルデバイスが有するディスプレイに表示されていてもよい。
なお、本実施形態におけるシステム構成では、情報処理装置100および撮像装置110はネットワーク140を介して接続されるが、これに限らない。例えば、情報処理装置100および撮像装置110の筐体は一体であってもよい。
次に図2を参照して、本実施形態に係る撮像装置110について説明する。図2は、本実施形態に係る撮像装置110の機能ブロックを示す図である。本実施形態に係る撮像装置110は、レンズ210の光軸の向く方向が撮像装置110の撮像方向であり、レンズ210を通過した光束は、撮像部201の撮像素子に結像する。撮像部201は、CMOS(complementary metal oxide semiconductor)センサ等の撮像素子(不図示)により構成される。そして、撮像部201は、レンズ210を通って結像された被写体像を光電変換して電気信号を生成する。画像処理部202は、撮像部201において光電変換された電気信号を所定のデジタル信号へ変換する処理や、圧縮符号化処理などを行い、画像データを生成する。
フィルタ制御部204は、フィルタホルダ209の切り替えを行うことでレンズ210および撮像部201間の光路に対するIRCF208の挿抜を行う。本実施形態におけるフィルタホルダ209は複数の開口部を有する円盤状であるものとし、フィルタ制御部204によりフィルタホルダ209は回転移動させられ、それによりIRCF208の挿抜を行う。なお、レンズ210と撮像部201との間の光路にIRCF208を挿抜する方法は上述した方法に限らず、他の方法であってもよい。フィルタ制御部204は、日中において画像を撮像する第1モードでは、IRCF208をレンズ210と撮像部201との間の光路へ挿入するようフィルタホルダ209を制御する。一方、フィルタ制御部204は、夜間において画像を撮像する第2モードでは、レンズ210と撮像部201との間の光路からIRCF208を取り外すようフィルタホルダ209を制御する。なお、フィルタ制御部204は、システム制御部203から伝達された指示に基づいて、フィルタホルダ209の制御を行う。
ズーム制御部205は、レンズ210を駆動させる駆動系により構成されるレンズ駆動部211を制御し、レンズ210の焦点距離を変更する。ズーム制御部205は、システム制御部203から伝達された指示に基づいて、レンズ駆動部211を制御する。
照明制御部206は、日中において画像を撮像する第1モードにおいて、赤外照明212をオフにして赤外光を照射しないよう制御する。一方、照明制御部206は、夜間において画像を撮像する第2モードにおいて、赤外照明212をオンにして赤外光を照射するよう制御する。照明制御部206は、システム制御部203から伝達された指示に基づいて、赤外照明212の制御を行う。
システム制御部203は、図7を参照して後述するCPU(Central Processing Unit)700によって実現するでき、撮像装置110の全体を制御し、例えば、次のような処理を行う。すなわち、システム制御部203は、通信部207から伝達された制御コマンドを解析し、コマンドに応じた処理を行う。制御コマンドとしては、例えば、撮像装置110のズーム値を制御するコマンド、IRCFの挿抜を制御するコマンド、または赤外照明の制御を行うコマンドなどがある。
また、システム制御部203は、可視光画像を撮像する第1モードと赤外光画像を撮像する第2モードとを切り替える制御を行う。このとき、システム制御部207は、例えば、情報処理装置100から送信された撮像モード(第1モードおよび第2モード)を変更する制御コマンドに基づき、第1モードと第2モードとを切り替える制御を行う。また、システム制御部203は、例えば、現在の時刻の情報を取得し、日中に対応する時刻であると判別したら第1モードとし、夜間に対応する時刻であると判別したら第2モードとするようにしてもよい。なお、本実施形態において、第2モードでは赤外照明212をオンにするものとするが、必ずしも点灯させる必要はない。また、システム制御部203は、撮像モードが切り替えた場合、切り替えた後の撮像モード(第1モードまたは第2モード)を示す情報を情報処理装置100へ送信する。
また、システム制御部203は、通信部207を介し、撮像された画像の画像データと、当該画像を撮像した時刻の情報と、当該画像が第1モードおよび第2モードのいずれで撮像されたかを示す情報と、を関連付けて情報処理装置100へ送信する。なお、撮像された画像が第1モードおよび第2モードのいずれで撮像されたかを示す情報とは、すなわち、当該画像が可視光画像か赤外光画像かを示す情報である。通信部207は、図7を参照して後述するI/F(Interface)740によって実現でき、情報処理装置100との通信を行う。
次に、図3を参照して、本実施形態に係る情報処理装置100の情報処理について説明する。なお、図3に示す各機能ブロックは、情報処理装置100のROM(Read Only Memory)720に格納されたコンピュータプログラムをCPU700が実行することにより実現される。
通信部301は、図7を参照して後述するI/F740によって実現でき、ネットワーク140を介して、撮像装置110や記録装置120と通信を行う。通信部301は、例えば、撮像装置110が撮像した可視光画像および赤外光画像を取得したり、撮像装置110を制御するための制御コマンドを撮像装置110へ送信したりする。
記憶部302は、図7を参照して後述するRAM(Random Access Memory)710やHDD(Hard Disk Drive)730等によって実現でき、情報処理装置100による情報処理に関わる情報やデータを記憶する。記憶部302は、通信部301が取得した画像(可視光画像および赤外光画像)と、当該画像が撮像された時刻の情報と、当該画像が可視光画像か赤外光画像かを示す情報とを関連付けて記憶する。また、記憶部302は、例えば、後述する生成部304により生成された背景画像を記憶する。
判別部303は、通信部301が取得した画像が第1モードで撮像された可視光画像か、第2モードで撮像された赤外光画像かを判別する。例えば、判別部303は、撮像装置110から送信された画像と関連付けられた情報(当該画像が可視光画像か赤外光画像かを示す情報)に基づき、当該画像が可視光画像か赤外光画像かを判別する。なお、判別部303による可視光画像か赤外光画像かを判別する方法として他の方法を用いてもよい。例えば、本実施形態に係る情報処理装置100は、撮像装置110が撮像した画像をリアルタイムで受信し、当該画像に対して本実施形態に係る情報処理を行う場合、判別部303は、次のような処理を行ってもよい。すなわち、判別部303は、例えば、撮像装置110に撮像モードの設定情報を要求するコマンドを生成し、通信部301を介して撮像装置110へ送信する。そして、撮像装置110から送信された撮像モードの設定情報に基づき、現在の撮像装置110の撮像モードが第1モードか第2モードかを判別する。現在の撮像モードが第1モードであれば、判別部303は、通信部301が取得した画像は可視光画像であると判別し、現在の撮像モードが第2モードであれば、判別部303は、通信部301が取得した画像は赤外光画像であると判別する。
検出部304は、可視光画像または赤外光画像から特定の物体を検出する。例えば、検出部304は、照合パターン(辞書)を用いて、画像から特定の物体を検出する。なお、画像から特定の物体として人物を検出する場合において、人物が正面向きである場合の照合パターンと横向きである場合の照合パターンとを両方使うことで検出精度の向上が期待できる。また、照合パターンは、斜め方向からや上方向からなど他の角度からのものを用意しておいてもよい。また、人物を検出する場合、必ずしも全身の特徴を示す照合パターン(辞書)を用意しておく必要はなく、上半身、下半身、頭部、顔、足などの人物の一部について照合パターンを用意してもよい。なお、検出部304は、画像から特定の物体として人物を検出する機能を有していればよく、パターンマッチング処理にのみ限定されるものではない。なお、本実施形態に係る検出部304は、可視光画像または赤外光画像から特定の物体を検出するものとしたが、例えば、可視光画像または赤外光画像から動体検出処理により動体を検出するようにしてもよい。動体検出処理としては、例えば、背景差分法を用いて、可視光画像または赤外光画像から動体(前景物体)を検出するようにしてもよい。
生成部305は、撮像装置110により撮像された画像であって判別部303により第1モードで撮像されたと判別された画像である可視光画像に基づき第1背景画像を生成する生成処理を実行する。同様に、生成部305は、撮像装置110により撮像された画像であって判別部303により第2モードで撮像されたと判別された画像である赤外光画像に基づき第2背景画像を生成する生成処理を実行する。第1背景画像とは、可視光画像に基づき生成部304により生成される背景画像を示し、第2背景画像とは、赤外光画像に基づき生成部304により生成される背景画像を示す。
なお、本実施形態において生成部305により生成される第1背景画像および第2背景画像は、プライバシーを保護する対象の物体を含まない画像である。本実施形態において、プライバシーを保護する対象を人物であるとする場合、生成部305は、次のような処理を実行することで第1背景画像および第2背景画像を生成する。例えば、生成部305は、可視光画像における領域であって検出部304により検出された人物の領域以外の領域を用いて第1背景画像を生成する。同様に、生成部305は、赤外光画像における領域であって検出部304により検出された人物の領域以外の領域を用いて第2背景画像を生成する。なお、生成部305による背景画像を生成する処理の詳細な説明は後述する。
処理対象とする画像が可視光画像である場合、生成部305は第1背景画像を生成する生成処理を実行し、処理対象とする画像が赤外光画像である場合、生成部305は第2背景画像を生成する生成処理を実行する。なお、生成部305による生成処理は所定の間隔ごとに実行され、生成処理により生成された最新の第1背景画像および第2背景画像は記憶部302に記憶される。
抽出部306は、撮像装置110により撮像された赤外光画像および可視光画像に含まれる前景物体の領域を抽出する。本実施形態に係る抽出部306は、処理対象とする画像が判別部303により可視光画像であると判別された場合、当該可視光画像と、生成部305により生成された最新の第1背景画像とから当該可視光画像に含まれる前景物体の領域を抽出する。同様に、抽出部306は、処理対象とする画像が判別部303により赤外光画像であると判別された場合、当該赤外光画像と、生成部305により生成された最新の第2背景画像とから当該赤外光画像に含まれる前景物体の領域を抽出する。
なお、本実施形態に係る抽出部306による前景物体の領域を抽出する方法として、次のような処理が実行される。すなわち、抽出部306は、背景画像に対する差分の領域を示す前景領域を「1」とし、その他の領域を「0」とする2値画像を生成する。この場合、抽出部204は、例えば、第1背景画像の各画素と可視光画像の各画素とで差分値を算出し、算出した差分値が閾値以上の画素については前景領域を表す「1」を設定し、閾値未満の場合は「0」を設定することにより、2値画像を生成することができる。同様に、抽出部306は、第2背景画像の各画素と赤外光画像の各画素とで差分値を算出し、算出した差分値が閾値以上の画素については前景領域を表す「1」を設定し、閾値未満の場合は「0」を設定する。なお、抽出部203は、背景差分のみならず、他の手法によって前景領域を特定してもよい。
合成部307は、抽出部306により抽出された前景物体の領域を抽象化した画像と、背景画像とを合成した出力画像を生成する。本実施形態に係る合成部307は、処理対象とする画像が可視光画像であると判別部303により判別された場合、可視光画像から抽出された前景物体の領域を抽象化したマスク画像を生成する。そして、合成部307は、当該マスク画像と、可視光画像に基づく第1背景画像とを合成した出力画像を生成する。
一方、合成部307は、処理対象とする画像が赤外光であると判別部303により判別された場合、赤外光画像から抽出された前景物体の領域を抽象化したマスク画像を生成する。そして、合成部307は、当該マスク画像と、可視光画像に基づく第1背景画像とを合成した出力画像を生成する。
なお、合成部307による前景物体の領域を抽象化(匿名化)する処理は、例えば、次のような処理を実行する。すなわち、合成部307は、前景物体の領域を、任意の色(RGB値)で塗りつぶすことで抽象化(匿名化)したマスク画像を生成する。なお、前景物体の領域を抽象化(匿名化)したマスク画像としては、例えば、当該領域に対しモザイク処理を施したモザイク画像、当該領域にぼかし処理を施したぼかし画像などであってもよい。
出力制御部308は、合成部307により生成された出力画像を外部装置(記録装置120、ディスプレイ130等)へ出力する。このとき、出力制御部308は、例えば、合成部307により生成された出力画像をディスプレイ130に表示させる。
次に、図4に示すフローを参照して、本実施形態に係る撮像装置110の処理について説明する。図4に示すフローの処理を実行することで、撮像装置110は、可視光画像を撮像する第1モードと、赤外光画像を撮像する第2モードとの切り替えを制御する。
なお、図4に示すフローの処理は、撮像装置110のROM920に格納されたコンピュータプログラムを撮像装置110のCPU900が実行して実現される図2に示すシステム制御部203等の機能ブロックにより実行されるものとする。
まず、S401にて、システム制御部207は、撮像モード(第1モードおよび第2モード)を切り替えるかを判別する。そして、撮像モードを切り替えると判別した場合(S401にてYes)はS402へ遷移し、切り替えない場合(S401にてNo)はS401の処理を繰り返す。なお、システム制御部207は、例えば、現在の撮像モードが第1モードである場合において、現在時刻の情報を取得し、夜間に対応する所定の時刻に達したと判別した場合は、第2モードへ切り替えると判別する。同様に、システム制御部207は、現在の撮像モードが第2モードである場合において、現在時刻の情報を取得し、日中に対応する所定の時刻に達したと判別した場合は、第1モードへ切り変えると判別する。
S401において第1モードへの切り替えると判別された場合(S402にてYes)は、S403へ遷移し、S401において第2モードへ切り替えると判別された場合(S402にてNo)の場合は、S405へ遷移する。
S402にてYesであった場合において、S403にて、照明制御部206は、日中において画像を撮像する第1モードにおいて、赤外照明212をオフにして赤外光を照射しないよう制御する。次に、S404にて、フィルタ制御部204は、日中において画像を撮像する第1モードでは、IRCF208をレンズ210と撮像部201の間の光路へ挿入するようフィルタホルダ209を制御する。次に、S402にてYesであった場合において、S407にて、システム制御部203は、撮像モードが第1モードへ切り替わったことを示す情報を情報処理装置100へ送信する。
S402にてNoであった場合において(第2モードへ切り替わった場合において)、S405にて、照明制御部206は、赤外照明212をオンにして赤外光を照射するよう制御する。次に、S406にて、フィルタ制御部204は、レンズ210と撮像部201の間の光路からIRCF208を取り外すようフィルタホルダ209を制御する。次に、S402にてNoであった場合において、S407にて、システム制御部207は、撮像モードが第2モードへ切り替わったことを示す情報を情報処理装置100へ送信する。
S408にて、終了の指示があった場合(S408にてYes)、図4に示すフローの処理を終了し、終了の指示がなかった場合(S408にてYes)、S401へ遷移する。
次に、図5(a)および図5(b)に示すフローと、図6とを参照して、本実施形態に係る情報処理装置100の情報処理について説明する。なお、図5(a)に示す第1モード処理を実行することで、情報処理装置100は、可視光画像に含まれる前景物体の領域を抽象化した出力画像を生成する。また、図5(b)に示す第2モード処理を実行することで、情報処理装置100は、赤外光画像に含まれる前景物体の領域を抽象化した出力画像を生成する。なお、本実施形態において、情報処理装置100は、撮像装置110が撮像した画像をリアルタイムで取得し、取得した画像に対して本実施形態に係る情報処理を実行するものとする。
なお、図5(a)および図5(b)に示すフローの処理は、情報処理装置100のROM920に格納されたコンピュータプログラムを情報処理装置100のCPU900が実行して実現される図3に示す機能ブロックにより実行されるものとする。
ここでまず、図5(a)に示す第1モード処理について説明する。S511にて、判別部303は、撮像モードが第1モードから第2モードへ変更されたかを判別する。本実施形態に係る判別部303は、撮像装置110から送信された撮像モードの情報に基づき、現在の撮像装置110の撮像モードが第1モードか第2モードかを判別する。そして、撮像モードが第2モードであると判別された場合(S511にてYes)、S518へ遷移し、S518にて、情報処理装置100は第2モード処理を開始する。第2モード処理の詳細な説明については図5(b)を参照して後述する。
S511にて、判別部303により撮像モードが現在の撮像モードが第1モードであると判別された場合(S511にてNo)、撮像モードは変更されていないとして、S512へ遷移する。S512にて、通信部301は、撮像装置110が撮像した可視光画像を取得する。なお、図6(a)に示す画像は、撮像装置110により撮像された可視光画像の一例であり、本実施形態におけるプライバシーを保護する対象である人物601を含む。
次に、S513にて、抽出部306は、最新の第1背景画像を取得する。最新の第1背景画像とは、生成部305により可視光画像に基づき生成された第1背景画像のうち最新の第1背景画像を示す。なお、図6(b)に示す画像は、生成部305により生成された最新の第1背景画像を示す。ここで、生成部305による第1背景画像および第2背景画像の生成処理について説明する。例えば、生成部305は、検出部304の検出結果に基づき、第1背景画像および第2背景画像を生成する。
第1背景画像を生成する場合、生成部305は、第1モードにおいて撮像装置110が撮像した可視光画像を複数のブロックに分割し、ブロックごとに検出部304により人物(または動体)が検出されなかった時間(安定背景時間)を計測する。各ブロックの安定背景時間を計測する間、検出部304により検出された人物(または動体)の領域を含むブロックは安定背景時間がゼロにリセットされる。生成部305は、更新前の第1背景画像を、安定背景時間が所定値を超えたブロック内の可視光画像で置換することで最新の第1背景画像を生成する。
同様に、第2背景画像を生成する場合、生成部305は、第2モードにおいて撮像装置110が撮像した赤外光画像を複数のブロックに分割し、ブロックごとに検出部304により人物(または動体)が検出されなかった時間(安定背景時間)を計測する。各ブロックの安定背景時間を計測する間、検出部304により検出された人物(または動体)の領域を含むブロックは安定背景時間がゼロにリセットされる。生成部305は、更新前の第2背景画像を、安定背景時間が所定値を超えたブロック内の赤外光画像で置換することで最新の第2背景画像を生成する。
なお、第1背景画像および第2背景画像を生成する処理は上述した方法に限らず、プライバシーを保護する対象の物体を含まないような第1背景画像および第2背景画像を生成する処理であれば任意の方法を用いてよい。
図5(a)の説明に戻り、S514にて、抽出部306は、S513で取得した最新の第1背景画像と、可視光画像とを比較することで(背景差分法)、可視光画像に含まれる前景物体の領域を抽出する。図6に示す例において、抽出部306は、図6(a)に示す可視光画像と、図6(b)に示す第1背景画像とを比較することで、可視光画像に含まれる前景物体の領域として人物601の領域を抽出する。
次に、S515にて、合成部307は、抽出部306により抽出された前景物体の領域を抽象化したマスク画像を生成する。図6に示す例において、合成部307は、抽出部306により前景物体の領域として抽出された人物601の領域を抽象化することでマスク画像602を生成する。
次に、S516にて、合成部307は、S515にて生成したマスク画像と、最新の第1背景画像とを合成した出力画像を生成する。図6(c)に示す画像は、S515にて生成したマスク画像602と、図6(b)に示す第1背景画像とを合成した出力画像である。
次に、S517にて、出力制御部308は、合成部307により生成された出力画像を外部装置(記録装置120、ディスプレイ130等)へ出力し、その後、S511へ遷移してS511の処理を繰り返す。なお本実施形態に係る出力制御部308は、合成部307により生成された出力画像をディスプレイ130に表示させる。
以上説明したように、第1モード処理では、可視光画像から抽出した前景物体の領域を抽象化してマスク画像を生成し、生成したマスク画像と最新の第1背景画像とを合成することで出力画像を生成する。
次に、図5(b)に示す第2モード処理について説明する。S521にて、判別部303は、撮像モードが第2モードから第1モードへ変更されたかを判別する。本実施形態に係る判別部303は、撮像装置110から送信された撮像モードの情報に基づき、現在の撮像装置110の撮像モードが第1モードか第2モードかを判別する。そして、撮像モードが第1モードであると判別された場合(S521にてYes)、S528へ遷移し、S528にて、情報処理装置100は第1モード処理を開始する。
S521にて、判別部303により撮像モードが現在の撮像モードが第2モードであると判別された場合(S511にてNo)、撮像モードは変更されていないとして、S522へ遷移する。S522にて、通信部301は、撮像装置110が撮像した赤外光画像を取得する。なお、図6(d)に示す画像は、撮像装置110により撮像された赤外光画像の一例であり、本実施形態におけるプライバシーを保護する対象である人物603、604を含む。
次に、S523にて、抽出部306は、最新の第2背景画像を取得する。最新の第2背景画像とは、生成部305により可視光画像に基づき生成された第2背景画像のうち最新の第2背景画像を示す。なお、図6(e)に示す画像は、生成部305により生成された最新の第2背景画像を示す。
次に、S524にて、抽出部306は、S523で取得した最新の第2背景画像と、赤外光画像とを比較することで(背景差分法)、赤外光画像に含まれる前景物体の領域を抽出する。図6に示す例において、抽出部306は、図6(d)に示す赤外光画像と、図6(e)に示す第2背景画像とを比較することで、赤外光画像に含まれる前景物体の領域として人物603、604の領域を抽出する。
次に、S525にて、合成部307は、抽出部306により抽出された前景物体の領域を抽象化したマスク画像を生成する。図6に示す例において、合成部307は、抽出部306により前景物体の領域として抽出された人物603、人物604の領域を抽象化することでマスク画像605、マスク画像606を生成する。
次に、S526にて、合成部307は、S515にて生成したマスク画像と、最新の第1背景画像とを合成した出力画像を生成する。図6(f)に示す画像は、S525にて生成したマスク画像605およびマスク画像606と、図6(b)に示す第1背景画像とを合成した出力画像である。なお、ここでの図6(b)に示す第1背景画像は、第2モード処理が開始される前に生成部305により生成された最新の第1背景画像を示す。
次に、S527にて、出力制御部308は、合成部307により生成された出力画像を外部装置(記録装置120、ディスプレイ130等)へ出力し、その後、S521へ遷移してS521の処理を繰り返す。なお本実施形態に係る出力制御部308は、合成部307により生成された出力画像をディスプレイ130に表示させる。
以上説明したように、第2モード処理では、第2背景画像を用いて赤外光画像から抽出した前景物体の領域を抽象化してマスク画像を生成し、生成したマスク画像と最新の第1背景画像とを合成することで出力画像を生成する。すなわち、第2モード処理では、赤外光画像から前景物体の領域を抽出するにあたって、赤外光画像に基づく第2背景画像を用いるが、出力画像を生成するにあたっては、可視光画像に基づく第1背景画像を用いる。このように、出力画像を生成する際、より視認性の高い可視光画像に基づく第1背景画像を用いることで、赤外光を用いて画像が撮像される場合であっても、プライバシーを保護しつつ視認性の低下を抑制した出力画像を生成することができる。
なお、第2モード処理におけるS526にて、合成部307は、第2背景画像を用いて抽出した前景物体の領域に対応するマスク画像と、最新の第1背景画像とを合成した出力画像を生成するものとしたが、本実施形態ではこれに限らない。例えば、合成部307は、最新の第1背景画像に対し所定の補正処理を実行して生成した第3背景画像を用いてもよい。ここでの第1背景画像に対する補正処理の方法としては、例えば、当該第1背景画像の色彩度や色温度を変更することで第3背景画像を補正する方法がある。そして、合成部307は、第2背景画像を用いて抽出した前景物体の領域に対応するマスク画像と、最新の第1背景画像を補正した第3背景画像とを合成した出力画像を生成する。
また、第2モード処理におけるS526にて、合成部307は、第2背景画像を用いて抽出した前景物体の領域に対応するマスク画像と、最新の第1背景画像と、赤外光画像を撮像中である情報を示す画像とを合成した出力画像を生成してもよい。赤外光画像を撮像中である情報を示す画像としては、例えば、「赤外光画像」という文言が記載されたラベルの画像など、赤外光画像であることを示す画像であれば任意の画像でよい。
以上説明したように、本実施形態における情報処理装置100は、第1モード処理において、第1背景画像を用いて可視光画像から抽出した前景物体の領域に対応するマスク画像と第1背景画像とを合成した出力画像を生成する。一方、第2モード処理において、情報処理装置100は、第2背景画像を用いて赤外光画像から抽出した前景物体の領域に対応するマスク画像と第1背景画像とを合成した出力画像を生成する。このように、第2モード処理において出力画像を生成する際、より視認性の高い可視光画像に基づく第1背景画像とマスク画像とを合成することで、プライバシーを保護しつつ視認性の低下を抑制した出力画像を生成することができる。
(その他の実施形態)
次に図7を参照して、各実施形態の各機能を実現するための情報処理装置100のハードウェア構成を説明する。なお、以降の説明において情報処理装置100のハードウェア構成について説明するが、記録装置120および撮像装置110も同様のハードウェア構成によって実現されるものとする。
本実施形態における情報処理装置100は、CPU700と、RAM710と、ROM720、HDD730と、I/F740と、を有している。
CPU700は情報処理装置100を統括制御する中央処理装置である。RAM710は、CPU700が実行するコンピュータプログラムを一時的に記憶する。また、RAM710は、CPU700が処理を実行する際に用いるワークエリアを提供する。また、RAM710は、例えば、フレームメモリとして機能したり、バッファメモリとして機能したりする。
ROM720は、CPU700が情報処理装置100を制御するためのプログラムなどを記憶する。HDD730は、画像データ等を記録する記憶装置である。I/F740は、ネットワーク140を介して、TCP/IPやHTTPなどに従って、外部装置との通信を行う。
なお、上述した各実施形態の説明では、CPU700が処理を実行する例について説明するが、CPU700の処理のうち少なくとも一部を専用のハードウェアによって行うようにしてもよい。例えば、ディスプレイ130にGUI(GRAPHICAL USER INTERFACE)や画像データを表示する処理は、GPU(GRAPHICS PROCESSING UNIT)で実行してもよい。また、ROM720からプログラムコードを読み出してRAM710に展開する処理は、転送装置として機能するDMA(DIRECT MEMORY ACCESS)によって実行してもよい。
なお、本発明は、上述の実施形態の機能を実現するプログラムを1つ以上のプロセッサが読出して実行する処理でも実現可能である。プログラムは、ネットワーク又は記憶媒体を介して、プロセッサを有するシステム又は装置に供給するようにしてもよい。また、本発明は、上述の実施形態の1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。また、画像処理装置100の各部は、図7に示すハードウェアにより実現してもよいし、ソフトウェアにより実現することもできる。
なお、上述した実施形態に係る情報処理装置100の1以上の機能を他の装置が有していてもよい。例えば、情報処理装置100の1以上の機能を撮像装置110が有し、上述した実施形態に係る情報処理を撮像装置110が実行してもよい。なお、上述した各実施形態を組み合わせて、例えば、上述した実施形態を任意に組み合わせて実施してもよい。
以上、本発明を実施形態と共に説明したが、上記実施形態は本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲は限定的に解釈されるものではない。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱しない範囲において、様々な形で実施することができる。例えば、各実施形態を組み合わせたものも本明細書の開示内容に含まれる。