JP5519085B1 - 動画像生成装置および動画像生成方法 - Google Patents

動画像生成装置および動画像生成方法 Download PDF

Info

Publication number
JP5519085B1
JP5519085B1 JP2014501121A JP2014501121A JP5519085B1 JP 5519085 B1 JP5519085 B1 JP 5519085B1 JP 2014501121 A JP2014501121 A JP 2014501121A JP 2014501121 A JP2014501121 A JP 2014501121A JP 5519085 B1 JP5519085 B1 JP 5519085B1
Authority
JP
Japan
Prior art keywords
moving image
area
region
image
complementing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2014501121A
Other languages
English (en)
Other versions
JPWO2014013673A1 (ja
Inventor
一生 登
亜矢子 丸山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2014501121A priority Critical patent/JP5519085B1/ja
Application granted granted Critical
Publication of JP5519085B1 publication Critical patent/JP5519085B1/ja
Publication of JPWO2014013673A1 publication Critical patent/JPWO2014013673A1/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Studio Circuits (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

動画像生成装置（１００）は、複数のピクチャで構成される入力動画像を取得する動画像取得部（１０１）と、入力動画像を構成する各ピクチャを複数の分割領域に分割し、ピクチャ間で対応付けられた分割領域の集まりを部分動画像として複数生成する領域分割部（１０２）と、入力動画像に含まれる複数の被写体のうちの一部の被写体の領域を除去領域として決定する除去領域決定部（１０３）と、部分動画像ごとに、除去領域において一部の被写体によって遮蔽されている他の被写体の領域である遮蔽領域の画像を補完し、補完された複数の部分動画像を重畳合成することにより補完動画像を生成する遮蔽領域補完部（１０５）と、補完動画像を出力する動画像出力部（１０６）とを備える。

Description

本発明は、入力動画像に含まれる複数の被写体から一部の被写体を除去した動画像または静止画像を生成する画像処理技術に関する。
入力動画像に含まれる複数の被写体から一部の被写体を除去した動画像または静止画像を生成する技術の研究開発が行われている。この技術は、動画像の編集のほか、監視カメラ映像処理における背景画像生成、動画像符号化におけるスプライト画像生成、多眼立体視映像生成における遮蔽領域の補完など、幅広い用途で共通して利用される基礎技術である。
動画像の編集において、一部の被写体を除去した動画像を生成する一般的な手順は、以下のような手順である。まず、ユーザーが、入力動画像に含まれる複数の被写体の中から除去の対象となる被写体を指定する。その後、指定された被写体に遮蔽されていた他の被写体の領域（遮蔽領域）の画像（画素値）を画像処理によって補完する。
遮蔽領域の画像の補完手法の１つとして、時空間画像補完手法がある。時空間画像補完手法では、遮蔽領域の画像は入力動画像中の他の時間のピクチャ内に存在すると仮定して、遮蔽領域の画像を補完する。具体的には、遮蔽領域の類似領域を、入力動画像中の他の時間のピクチャから探索し、探索された類似領域内の画像を遮蔽領域に複製する（例えば、非特許文献１参照）。
非特許文献１では、まず、動画像を構成する時系列画像において、遮蔽領域（除去領域）を囲む時空間窓を設定する。そして、時空間窓内の色および動きに最も類似する色および動きを有する類似領域を、入力動画像を構成する複数のピクチャから探索する。そして、探索された類似領域内の画像を遮蔽領域に複製する。このように、非特許文献１では、遮蔽領域が移動物の領域であっても、動画像中の別のピクチャに類似領域が存在していれば、適切に遮蔽領域の画像を補完することができる。
Y.Wexler, E.Shechtman, M.Irani, "Space-Time Video Completion", CVPR2004
しかしながら、上記の画像処理技術では、遮蔽領域の画像を適切に補完できないために、一部の被写体が除去された動画像を適切に生成できない場合がある。
そこで、本発明は、動画像中に含まれる複数の被写体のうちの一部の被写体に遮蔽されていた他の被写体の領域（遮蔽領域）の画像を画像処理によって適切に補完し、一部の被写体が除去された補完動画像を適切に生成することができる動画像生成装置を提供する。
本発明の一態様に係る動画像生成装置は、入力動画像に含まれる複数の被写体から一部の被写体を除去した動画像を生成する動画像生成装置であって、複数のピクチャで構成される入力動画像を取得する動画像取得部と、前記入力動画像を構成する各ピクチャを複数の分割領域に分割し、ピクチャ間で対応付けられた分割領域の集まりを部分動画像として複数生成する領域分割部と、前記入力動画像に含まれる複数の被写体のうちの一部の被写体の領域を除去領域として決定する除去領域決定部と、前記部分動画像ごとに、前記除去領域において前記一部の被写体によって遮蔽されている他の被写体の領域である遮蔽領域の画像を補完し、補完された複数の部分動画像を重畳合成することにより補完動画像を生成する遮蔽領域補完部と、前記補完動画像を出力する動画像出力部とを備える。
なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
本発明の一態様に係る動画像生成装置は、動画像中に含まれる複数の被写体のうちの一部の被写体に遮蔽されていた他の被写体の領域（遮蔽領域）の画像を画像処理によって適切に補完し、一部の被写体が除去された補完動画像を適切に生成することができる。
図１は、実施の形態１における動画像生成装置の機能構成を示す図である。 図２は、コンピュータによって構成された動画像生成装置のハードウェア構成の例を示す図である。 図３は、実施の形態１における動画像生成装置の動作を示すフローチャートである。 図４は、実施の形態１における撮影状況の例を示す図である。 図５は、実施の形態１における入力動画像を構成する複数のピクチャの例を示す図である。 図６は、実施の形態１における領域分割部の動作を示すフローチャートである。 図７は、実施の形態１における移動軌跡の例を示す図である。 図８は、実施の形態１における領域分割結果の例を示す図である。 図９は、実施の形態１における前後関係情報の例を示す図である。 図１０は、実施の形態１における除去領域の例を示す図である。 図１１は、実施の形態１における補完方法決定ルールの例を示す図である。 図１２は、実施の形態１における領域Ａの部分動画像の例を示す図である。 図１３は、実施の形態１における領域Ｂの部分動画像の例を示す図である。 図１４は、実施の形態１における領域Ｃの部分動画像の例を示す図である。 図１５は、実施の形態１における領域Ｄの部分動画像の例を示す図である。 図１６は、実施の形態１における遮蔽領域補完ステップの動作の説明図である。 図１７は、実施の形態１における領域Ａの補完部分動画像の例を示す図である。 図１８は、実施の形態１における領域Ｂの補完部分動画像の例を示す図である。 図１９は、実施の形態１における領域Ｄの補完部分動画像の例を示す図である。 図２０は、実施の形態１における補完動画像の例を示す図である。 図２１は、実施の形態１における補完部分動画像の例を示す図である。 図２２は、実施の形態２における動画像生成装置の機能構成を示す図である。 図２３は、実施の形態２における動画像生成装置の動作を示すフローチャートである。 図２４は、実施の形態２における補完方法決定ルールの例を示す図である。 図２５は、実施の形態２における撮影状況の例を示す図である。 図２６は、実施の形態２における動画像を構成する複数のピクチャの例を示す図である。 図２７は、実施の形態２における領域分割結果と除去領域の例を示す図である。 図２８は、実施の形態２における前後関係情報の例を示す図である。 図２９は、実施の形態２における領域Ｂの部分動画像の例を示す図である。 図３０は、実施の形態２における領域Ｂの補完部分動画像の例を示す図である。 図３１は、実施の形態２における領域Ｃの部分動画像の例を示す図である。 図３２は、実施の形態２における領域Ｃの補完部分動画像の例を示す図である。 図３３は、実施の形態２における領域Ｄの部分動画像の例を示す図である。 図３４は、実施の形態２における領域Ｄの補完部分動画像の例を示す図である。 図３５は、実施の形態２における補完動画像の例を示す図である。
（本発明の基礎となった知見）
本発明者らは、「背景技術」の欄において記載した遮蔽領域の画像の補完に関し、以下のような場合に、適切に遮蔽領域の画像を補完できない場合があることを見出した。
除去の対象となる被写体に複数の移動物が遮蔽されていた場合、入力動画像に含まれる他のピクチャに類似領域が存在する可能性が著しく低くなる。つまり、複数の移動物の位置関係が時間変化するために、遮蔽されていた時の複数の移動物の位置関係が他の時刻に再現される可能性が低くなる。その結果、遮蔽領域に類似する領域の探索が難しくなり、適切に遮蔽領域の画像を補完することが難しくなる。
そこで、本発明の一態様に係る動画像生成装置は、入力動画像に含まれる複数の被写体から一部の被写体を除去した動画像を生成する動画像生成装置であって、複数のピクチャで構成される入力動画像を取得する動画像取得部と、前記入力動画像を構成する各ピクチャを複数の分割領域に分割し、ピクチャ間で対応付けられた分割領域の集まりを部分動画像として複数生成する領域分割部と、前記入力動画像に含まれる複数の被写体のうちの一部の被写体の領域を除去領域として決定する除去領域決定部と、前記部分動画像ごとに、前記除去領域において前記一部の被写体によって遮蔽されている他の被写体の領域である遮蔽領域の画像を補完し、補完された複数の部分動画像を重畳合成することにより補完動画像を生成する遮蔽領域補完部と、前記補完動画像を出力する動画像出力部とを備える。
この構成によれば、部分動画像ごとに遮蔽領域の画像を補完することができる。したがって、例えば、除去領域において複数の移動物が除去の対象となる被写体に遮蔽されている場合であっても、各移動物に対応する部分動画像ごとに遮蔽領域の画像を補完することができる。つまり、複数の移動物間の位置関係に関わらず、例えば移動物ごとに遮蔽領域の画像を補完できるので、適切に遮蔽領域の画像を補完することが可能となる。
さらに、この構成によれば、このように補完された複数の部分動画像を重畳合成することにより、補完動画像を生成することができる。したがって、複数の移動物間の位置関係を補完動画像に反映させることができ、複数の移動物間の位置関係に適応した補完動画像を適切に生成することが可能となる。
また例えば、前記領域分割部は、各分割領域の動き情報を推定し、前記動画像生成装置は、さらに、前記各分割領域の動き情報に基づいて、各部分動画像の補完方法を決定する補完方法決定部を備え、前記遮蔽領域補完部は、決定された前記補完方法に従って、前記部分動画像ごとに遮蔽領域の画像を補完してもよい。
この構成によれば、分割領域の動き情報に基づいて、部分動画像の補完方法を決定することができる。したがって、分割領域の動きに応じて適応的に各部分動画像の補完を行うことができ、より適切に遮蔽領域の画像を補完することが可能となる。
また例えば、前記領域分割部は、各分割領域が関節体動きを有するか否かを示す情報を含む前記動き情報を推定し、前記補完方法決定部は、前記複数の部分動画像のうちの第１の部分動画像に含まれる分割領域が関節体動きを有すると推定された場合、前記第１の部分動画像の補完方法として、関節体動きの周期性に基づく第１の補完方法を決定してもよい。
この構成によれば、第１の部分動画像に含まれる分割領域が関節体動きを有する場合に、関節体動きの周期性に基づく第１の補完方法を、第１の部分動画像の補完方法として決定することができる。したがって、関節体動きに適した第１の補完方法を第１の部分動画像の補完方法として決定することができ、より適切に第１の部分動画像に含まれる遮蔽領域の画像を補完することが可能となる。
また例えば、前記遮蔽領域補完部は、前記第１の部分動画像の補完方法として前記第１の補完方法が決定された場合、前記第１の部分動画像に含まれるピクチャごとに、（ａ）当該ピクチャ内の遮蔽領域を含む探索対象領域に類似する類似領域を、前記第１の部分動画像に含まれる他のピクチャから探索し、（ｂ）前記類似領域内の画像を前記遮蔽領域に複製することにより前記遮蔽領域の画像を補完してもよい。
この構成によれば、第１の部分動画像の補完方法として第１の補完方法が決定された場合に、他のピクチャから探索された類似領域内の画像を遮蔽領域に複製することにより、第１の部分動画像に含まれる遮蔽領域の画像を補完することができる。したがって、関節体動きにより適した方法で遮蔽領域の画像を補完することができる。
また例えば、前記領域分割部は、前記各分割領域が剛体動きを有するか否かを示す情報を含む前記動き情報を推定し、前記補完方法決定部は、前記複数の部分動画像のうちの第２の部分動画像に含まれる分割領域が剛体動きを有すると推定された場合、前記第２の部分動画像の補完方法として、前記第１の補完方法とは異なる第２の補完方法であって剛体動きの特徴に基づく第２の補完方法を決定してもよい。
この構成によれば、第２の部分動画像に含まれる分割領域が剛体動きを有する場合に、剛体動きの特徴に基づく第２の補完方法を、第２の部分動画像の補完方法として決定することができる。したがって、剛体動きに適した第２の補完方法を第２の部分動画像の補完方法として決定することができ、より適切に第２の部分動画像に含まれる遮蔽領域の画像を補完することが可能となる。
また例えば、前記領域分割部は、前記各分割領域が静止しているか否かを示す情報を含む前記動き情報を推定し、前記補完方法決定部は、前記複数の部分動画像のうちの第３の部分動画像に含まれる分割領域が静止していると推定された場合、前記第３の部分動画像の補完方法として、前記第１の補完方法とは異なる第３の補完方法であって静止物の特徴に基づく第３の補完方法を決定してもよい。
この構成によれば、第３の部分動画像に含まれる分割領域が静止している場合に、静止物の特徴に基づく第３の補完方法を、第３の部分動画像の補完方法として決定することができる。したがって、静止物に適した第３の補完方法を第３の部分動画像の補完方法として決定することができ、より適切に第３の部分動画像に含まれる遮蔽領域の画像を補完することが可能となる。
また例えば、前記領域分割部は、前記複数の分割領域間の空間的な前後関係を推定し、前記遮蔽領域補完部は、推定された前記前後関係に基づいて、補完された複数の部分動画像を重畳合成することにより、前記補完動画像を生成してもよい。
この構成によれば、推定された前後関係に基づいて、補完された複数の部分動画像を重畳合成することができる。したがって、各部分動画像に含まれる遮蔽領域間の前後の位置関係を補完動画像に反映することができ、より適切に補完動画像を生成することが可能となる。
また例えば、前記遮蔽領域補完部は、前記複数の部分動画像のうち、前記除去領域に隣接する分割領域を含む部分動画像についてのみ、前記遮蔽領域の画像を補完してもよい。
この構成によれば、複数の部分動画像のうち、除去領域に隣接する分割領域を含む部分動画像についてのみ、遮蔽領域の画像を補完することができる。したがって、除去領域に隣接する分割領域を含まない部分動画像の補完処理を省略することができるので、処理負荷の軽減あるいは処理時間の短縮を図ることができる。
また例えば、前記遮蔽領域補完部は、前記除去領域に隣接する分割領域を含む部分動画像に含まれる複数のピクチャのうち、前記除去領域と隣接する分割領域を含むピクチャについてのみ、前記遮蔽領域の画像を補完してもよい。
この構成によれば、部分動画像に含まれる複数のピクチャのうち、除去領域と隣接する分割領域を含むピクチャについてのみ、遮蔽領域の画像を補完することができる。したがって、除去領域に隣接する分割領域を含む部分動画像に含まれる遮蔽領域の画像を補完する際に、除去領域に隣接する分割領域を含まないピクチャの補完処理を省略することができるので、処理負荷の軽減あるいは処理時間の短縮を図ることができる。
また例えば、前記除去領域決定部は、前記一部の被写体を示すユーザー入力に基づいて、前記複数の部分動画像から少なくとも１つの部分動画像を選択し、選択された前記少なくとも１つの部分動画像に含まれる分割領域を前記除去領域として決定してもよい。
この構成によれば、ユーザー入力に基づいて少なくとも１つの部分動画像を選択し、選択された少なくとも１つの部分動画像に含まれる分割領域を除去領域として決定することができる。したがって、例えば、ある１つのピクチャにおいて、複数の分割領域の中から少なくとも１つの分割領域が選択されれば、入力動画像中の除去領域を決定することができる。つまり、ユーザーは、複数のピクチャに対して、除去領域を決定するための入力を行う必要がないので、動画像生成装置は、ユーザーの負荷を軽減することが可能となる。
また例えば、前記遮蔽領域補完部は、前記複数の部分動画像の各々について、当該部分動画像に含まれるピクチャごとに、当該ピクチャ内の遮蔽領域を含む探索対象領域に類似する類似領域を、当該部分動画像に含まれる他のピクチャから探索し、前記類似領域内の画像を前記遮蔽領域に複製することにより前記遮蔽領域の画像を補完してもよい。
この構成によれば、他のピクチャから探索された類似領域内の画像を遮蔽領域に複製することにより、各部分動画像に含まれる遮蔽領域の画像を補完することができる。
なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。
以下、適宜図面を参照しながら、実施の形態を具体的に説明する。ただし、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明あるいは実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
なお、以下で説明する実施の形態は、いずれも本発明の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置および接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
また、本明細書において、被写体とは、入力動画像の撮影シーンに含まれる物体を意味する。したがって、被写体には、撮影の対象となる物体に加えて、背景の物体なども含まれる。
（実施の形態１）
以下、実施の形態１について、図面を用いて説明する。
＜動画像生成装置１００の機能構成＞
図１は、実施の形態１における動画像生成装置１００の機能構成を示す。図１に示されるように、動画像生成装置１００は、動画像取得部１０１と、領域分割部１０２と、除去領域決定部１０３と、補完方法決定部１０４と、遮蔽領域補完部１０５と、動画像出力部１０６とを備える。動画像生成装置１００は、入力として取得された動画像（入力動画像）に含まれる複数の被写体から一部の被写体を除去した動画像を生成する。以下において、この除去される一部の被写体は、除去対象被写体とも呼ばれる。
本実施の形態では、動画像生成装置１００は、カメラ１１０で撮影された動画像を入力動画像としてカメラ１１０から取得する。さらに、動画像生成装置１００は、入力動画像からユーザーが指定した一部の被写体を除去した補完動画像を生成し出力する。ディスプレイ１２０は、動画像生成装置１００から出力される補完動画像を表示する。以下に、動画像生成装置１００が備える各部について説明する。
＜動画像取得部１０１＞
動画像取得部１０１は、複数のピクチャで構成される入力動画像を取得する。具体的には、動画像取得部１０１は、例えば、カメラ、または、カメラと接続された通信インタフェース等である。
＜領域分割部１０２＞
領域分割部１０２は、動画像取得部１０１で取得された入力動画像を領域分割する。すなわち、領域分割部１０２は、入力動画像を構成する各ピクチャを複数の領域（分割領域）に分割する。そして、領域分割部１０２は、ピクチャ間で対応付けられた分割領域の集まりを部分動画像として複数生成する。さらに、領域分割部１０２は、このように生成された複数の部分動画像を示す領域分割情報を出力する。
なお、部分動画像を生成するとは、必ずしも独立した１つの動画像を生成することを意味しない。つまり、部分動画像を生成するとは、部分動画像を示す情報を生成することも含む。すなわち、部分動画像を示す情報とは、例えば、各ピクチャにおける各分割領域の位置と、ピクチャ間の分割領域の対応関係とを示す情報である。
本実施の形態では、領域分割部１０２は、まず、連続するピクチャ間の動きを推定する。そして、領域分割部１０２は、推定された動きに基づいて、各ピクチャを複数の領域に分割する。続いて、領域分割部１０２は、推定された動きに基づいて、各分割領域をピクチャ間で対応づけることで、各ピクチャにおける各分割領域の位置と、ピクチャ間の分割領域の対応関係とを示す領域分割情報を生成する。このように、領域分割部１０２は、動きに基づいて領域分割を行うことにより、動きの異なる被写体ごとに分割された動画像を部分動画像として生成することができる。
なお、領域分割部１０２は、必ずしも動きに基づいて、各ピクチャを複数の領域に分割する必要はない。例えば、領域分割部１０２は、画像特徴（輝度あるいは色など）に基づいて、各ピクチャを複数の領域に分割してもよい。また例えば、領域分割部１０２は、動きと画像特徴との組み合わせに基づいて、各ピクチャを複数の領域に分割してもよい。
また、領域分割部１０２は、必ずしも動きに基づいて、各分割領域をピクチャ間で対応付ける必要はない。例えば、領域分割部１０２は、各分割領域のピクチャ内の位置に基づいて、各分割領域をピクチャ間で対応付けてもよい。また例えば、領域分割部１０２は、各分割領域の画像特徴に基づいて、各分割領域をピクチャ間で対応付けてもよい。また例えば、領域分割部１０２は、動き、位置および画像特徴の任意の組合せに基づいて、各分割領域をピクチャ間で対応付けてもよい。
本実施の形態では、さらに、領域分割部１０２は、分割領域間の空間的な前後関係を推定する。具体的には、領域分割部１０２は、例えば、複数の分割領域のうちの隣接する２領域のいずれがカメラに近いか（手前か）を表す前後関係情報を推定する。
＜除去領域決定部１０３＞
除去領域決定部１０３は、除去対象被写体の領域を決定する。つまり、除去領域決定部１０３は、入力動画像に含まれる複数の被写体のうちの一部の被写体の領域を除去領域として決定する。
本実施の形態では、除去領域決定部１０３は、入力動画像に含まれる複数の被写体のうちの一部の被写体を示すユーザー入力に基づいて、複数の部分動画像から少なくとも１つの部分動画像を選択する。そして、除去領域決定部１０３は、選択された少なくとも１つの部分動画像に含まれる分割領域を除去領域として決定する。
より具体的には、除去領域決定部１０３は、例えば、複数の部分動画像のうちの少なくとも１つを選択するためのユーザー入力を、マウスやキーボードなどの入力デバイスを介してユーザーから受け付ける。そして、除去領域決定部１０３は、受け付けられたユーザー入力に基づいて部分動画像を選択し、選択された部分動画像に含まれる分割領域を除去領域として決定する。
＜補完方法決定部１０４＞
補完方法決定部１０４は、領域分割部１０２によって生成された複数の部分動画像と、除去領域決定部１０３によって決定された除去領域とに基づいて、遮蔽領域を含む部分動画像を遮蔽部分動画像として選択する。
なお、遮蔽領域とは、除去領域において除去対象被写体によって遮蔽された他の被写体の領域である。つまり、遮蔽領域とは、除去対象被写体によって入力動画像に写らなかった被写体の領域である。例えば、遮蔽領域は、カメラと除去対象被写体とを結ぶ直線上に位置する被写体であって、除去対象被写体よりもカメラから遠い側（奥側）に位置する被写体の領域である。
補完方法決定部１０４は、さらに、選択された遮蔽部分動画像に含まれる遮蔽領域の画像を補完する方法（補完方法）を決定する。
＜遮蔽領域補完部１０５＞
遮蔽領域補完部１０５は、生成された部分動画像ごとに遮蔽領域の画像を補完する。さらに、遮蔽領域補完部１０５は、補完された複数の部分動画像を重畳合成することにより補完動画像を生成する。
本実施の形態では、遮蔽領域補完部１０５は、補完方法決定部１０４によって、選択された複数の遮蔽部分動画像、および、決定された各遮蔽部分動画像の補完方法に基づいて、遮蔽部分動画像に含まれる遮蔽領域の画像を補完することにより、補完部分動画像を生成する。さらに、遮蔽領域補完部１０５は、生成した補完部分動画像および部分動画像を、領域分割部１０２によって推定された前後関係情報に基づいて重畳合成することで、補完動画像を生成する。
＜動画像出力部１０６＞
動画像出力部１０６は、生成された補完動画像を、ディスプレイ１２０に出力する。なお、動画像出力部１０６は、必ずしもディスプレイ１２０に出力する必要はない。例えば、動画像出力部１０６は、記録媒体（例えば、ハードディスクドライブ、光学ドライブ、半導体メモリなど）に出力してもよい。また例えば、動画像出力部１０６は、動画像生成装置の外部の端末（例えば、スマートフォンあるいはパーソナルコンピュータなど）に通信ネットワークを介して出力してもよい。
なお、動画像生成装置１００を構成する各構成要素は、コンピュータ上で実行されるプログラム等のソフトウェアで実現されてもよいし、電子回路または集積回路等のハードウェアで実現されてもよい。
＜動画像生成装置のハードウェア構成＞
図２は、コンピュータによって構成された動画像生成装置のハードウェア構成の例を示す。図２において、カメラ１１０は動画像を撮影して出力する。コンピュータ２００は、動画像（入力動画像）をカメラ１１０から取得し、一部の被写体を除去した補完動画像を生成する。ディスプレイ１２０は、コンピュータ２００で生成された補完動画像を表示する。
コンピュータ２００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０３、ＨＤＤ２０４、Ｉ／Ｆ（インタフェース）２０５およびビデオカード２０６を含む。コンピュータ２００を動作させるプログラムは、ＲＯＭ２０２またはＨＤＤ２０４にあらかじめ保持されている。プログラムは、プロセッサであるＣＰＵ２０１によって、ＲＯＭ２０２またはＨＤＤ２０４から読み出されてＲＡＭ２０３に展開される。ＣＰＵ２０１は、ＲＡＭ２０３に展開されたプログラム中のコード化された各命令を実行する。Ｉ／Ｆ２０５は、プログラムの実行に応じて、カメラ１１０で撮影されたピクチャを、ＲＡＭ２０３へ取り込む。また、Ｉ／Ｆ２０５は、マウス２３０あるいはキーボード２４０を介して、ユーザーから入力（ユーザー入力）を受け付ける。ビデオカード２０６は、プログラムの実行に応じて生成された動画像を出力し、ディスプレイ１２０がその動画像を表示する。
なお、コンピュータプログラムは、半導体であるＲＯＭ２０２またはＨＤＤ２０４に限られず、例えばＣＤ―ＲＯＭに格納されていてもよい。また、コンピュータプログラムは、有線や無線のネットワーク、放送などを介して伝送され、コンピュータのＲＡＭ２０３に取り込まれてもよい。
＜動画像生成装置１００の動作＞
以下、本実施の形態における動画像生成装置１００の動作を、図３を用いて説明する。
図３は、実施の形態１における動画像生成装置１００の動作を示すフローチャートである。図３において、６つのステップＳ３０１〜Ｓ３０６は、それぞれ図１の各部１０１〜１０６に対応している。すなわち、動画像取得部１０１は動画像取得ステップＳ３０１を実行する。また、領域分割部１０２は領域分割ステップＳ３０２を実行する。また、除去領域決定部１０３は除去領域決定ステップＳ３０３の処理を実行する。また、補完方法決定部１０４は補完方法決定ステップＳ３０４を実行する。また、遮蔽領域補完部１０５は遮蔽領域補完ステップＳ３０５を実行する。また、動画像出力部１０６は動画像出力ステップＳ３０６を実行する。
最初に、動画像取得ステップＳ３０１が、動画像取得部１０１により実行される。動画像取得部１０１は、カメラ１１０から、入力動画像を構成する複数のピクチャを取得する。本実施の形態では、カメラ１１０から取得される入力動画像は、縦１０８０画素×横１９２０画素×３０フレーム／秒の動画像とする。
図４は、実施の形態１における撮影状況の例を示す図である。本実施の形態では、２人の人物が歩行するシーンを、移動しているカメラ１１０で撮影した動画像を入力動画像の例として用いて、動画像生成装置１００の動作を説明する。このシーンには、人物以外に実空間中で静止した箱（直方体）の被写体も含まれる。
図５は、実施の形態１における入力動画像を構成する複数のピクチャの例を示す。具体的には、図５（ａ）〜（ｆ）は、カメラ１１０によって、図４の撮影状況におけるシーンを撮影して取得された複数のピクチャの例を示す。ここでは、動画像取得部１０１により、複数のピクチャ（Ｎフレーム）が取得されている。本実施の形態では、例えば、１０秒分（Ｎ＝３００）の動画像が入力される。
次に、領域分割ステップＳ３０２は、領域分割部１０２により実行される。領域分割部１０２は、動画像取得部１０１から複数のピクチャを取得する。そして、領域分割部１０２は、例えば、被写体ごとの領域に、各ピクチャを分割することで、ピクチャ間で対応する分割領域の集まりである部分動画像を複数生成する。本実施の形態の領域分割ステップＳ３０２では、ピクチャ間の動きに基づいて動画像を領域分割する手法が用いられる。
以下、領域分割部１０２の動作（領域分割ステップＳ３０２）の例を図６〜図８を用いて説明する。ここでは、Ｔフレームのピクチャ間の動きに基づいて動画像を領域分割する手法に基づいて入力動画像を領域分割する例を説明する。
図６は、実施の形態１における領域分割部１０２の動作を示すフローチャートである。つまり、図６は、領域分割ステップＳ３０２における詳細な動作を示すフローチャートである。
移動軌跡生成ステップＳ３０２１では、領域分割部１０２は、入力動画像を取得して、入力動画像を構成するＴ枚のピクチャ間の対応点を検出する。そして、領域分割部１０２は、検出された対応点に基づいて移動軌跡を生成する。本実施の形態において、移動軌跡ｘiは、１フレームからＴフレームまでのＴ枚のピクチャ間にわたる対応点である。領域分割部１０２は、１フレームのピクチャ上のある画素ｉの座標値（ｘ1 i，ｙ1 i）と、ｔフレーム後の画素の対応点の画素座標値（ｘt i，ｙt i）とから、（式１）の移動軌跡ｘ1 iを各画素ｉについて生成する（図７）。
Figure 0005519085
次に、測地距離算出ステップＳ３０２２では、領域分割部１０２は、生成した複数の移動軌跡間の類似度を表すユークリッド距離を算出する。さらに、領域分割部１０２は、ユークリッド距離から測地距離を算出する。測地距離とは、２つの移動軌跡間の類似度を表す距離であって、他の移動軌跡を中継点として一方の移動軌跡から他方の移動軌跡にたどりつく経路の距離のうち最短の距離である。
次に、軌跡クラスタリングステップＳ３０２３では、領域分割部１０２は、算出した移動軌跡間の測地距離に基づいて、移動軌跡をクラスタリングする。
次に、領域分割情報生成ステップＳ３０２４では、領域分割部１０２は、クラスタリングされた移動軌跡に基づいて、Ｔ枚のピクチャの各画素と、当該画素が有する移動軌跡に最も近い移動軌跡のクラスとを対応付ける。つまり、領域分割部１０２は、各ピクチャにおいて１つのクラスに対応付けられた画素の集合を１つの分割領域として領域分割を行い、複数のピクチャにおいて同一のクラスに対応付けられた分割領域の集まりを部分動画像として生成する。
上記した移動軌跡生成ステップＳ３０２１〜領域分割情報生成ステップＳ３０２４における領域分割手法は、特許文献１（特許第４５４２２０７号公報）および非特許文献２（菅谷保之、金谷健一、“複数運動分離の教師なし学習による多段階最適化”、情報処理学会研究報告、ＣＶＩＭ、２００３−ＣＶＩＭ−１３８、Ｍａｙ ２００３、ｐｐ．１８５−１９２）などに開示されているので、ここでは詳細な説明を省略する。なお、特許文献１には、複数のピクチャ間の動きに基づいて人物などの非剛体の被写体を含む動画像を領域分割する手法が開示されている。また、非特許文献２には、Ｔ枚の画像上の複数点の動きを示す（式１）に基づいて、各点の属する領域を分類する、より一般的な手法が開示されている。
最後に、前後関係推定ステップＳ３０２５では、領域分割部１０２は、領域分割情報生成ステップＳ３０２４において生成された複数の分割領域から、隣接する２つの分割領域の組を全て抽出する。そして、領域分割部１０２は、抽出された２つの分割領域の組ごとに、２つの分割領域のいずれが手前（カメラに近い）かを表す前後関係情報を、２つの分割領域が接する境界の近傍の動き（ピクチャ間の動き）に基づいて推定する。
具体的には、領域分割部１０２は、例えば、２つの分割領域の境界からあらかじめ定められた距離内の移動軌跡を抽出する。そして、領域分割部１０２は、それぞれの分割領域に対応する移動軌跡の数が多い方を、手前にある分割領域として推定する。
このように前後関係情報を推定する理由を以下に説明する。２つの分割領域のうち、奥にある（カメラから遠い）分割領域は、手前にある分割領域が動くと、境界の近傍が遮蔽される。そのため、奥にある分割領域は、手前にある分割領域と比べると、境界近傍の画素がＴフレーム間写っている可能性が低い。したがって、奥にある分割領域は、手前にある分割領域よりも移動軌跡の数が少ない可能性が高い。このことから、領域分割部１０２は、２つの分割領域のうち、境界から一定距離内の範囲から抽出された移動軌跡の数が多い方の分割領域が、他方の分割領域よりも手前にあると推定する。
さらに、前後関係推定ステップＳ３０２５では、領域分割部１０２は、前後関係情報を領域分割情報とともに出力する。
なお、前後関係推定ステップＳ３０２５における、分割領域間の空間的な前後関係を推定する方法は、これに限るものではなく、分割領域間の前後関係を推定できれば、どのような方法であってもよい。例えば、領域分割部１０２は、ユーザー入力に基づいて前後関係を推定してもよい。また例えば、領域分割部１０２は、画像のボケの大きさに基づいて各画素の奥行値を推定し、推定された奥行値を用いて分割領域間の前後関係を推定してもよい。
以上のように、領域分割ステップＳ３０２では、移動軌跡生成ステップＳ３０２１〜領域分割情報生成ステップＳ３０２４の動作により、Ｔ枚のピクチャがそれぞれ領域分割されて、Ｔ枚の領域分割情報が生成される。さらに、前後関係推定ステップＳ３０２５の動作により、領域の前後関係情報が生成される。領域分割部１０２は、上記した領域分割ステップＳ３０２の動作を繰り返すことで、入力動画像を構成するＮ（Ｎ＝３００）枚のピクチャを領域分割し、Ｎ枚の領域分割情報と前後関係情報とを生成する。
図８は、実施の形態１における領域分割結果の例を示す。具体的には、図８は、領域分割部１０２により、図５の各ピクチャを、５つの分割領域（領域Ａ〜領域Ｅ）に分割して得た領域分割情報の例を示す。図８（ａ）〜（ｆ）は、図５（ａ）〜（ｆ）のピクチャの各画素に対し、領域分割された５つの分割領域（領域Ａ〜Ｅ）を対応付けたデータである。つまり、図８（ａ）〜（ｆ）は、ピクチャ間で対応付けられた分割領域の集まりである部分動画像を示す。
図９は、実施の形態１における前後関係情報の例を示す。具体的には、図９は、領域分割部１０２によって領域分割された５つの分割領域に対して、２領域間の前後関係を推定した結果の例を示す。図９は、例えば、領域Ｅが、領域Ａ、Ｂ、およびＤより手前にあることを示している。また図９は、例えば、領域Ｅと、領域Ｅに接していない領域Ｃとの前後関係が不定「−」であることを示している。
領域分割部１０２が生成した領域分割情報には、例えば、動きが異なる被写体ごとの領域に分割して得られた部分動画像の情報が含まれる。領域分割情報は、複数の部分動画像を示す情報であるので、以降の説明では領域分割情報と部分動画像との両者を区別しない。
次に、除去領域決定ステップＳ３０３は、除去領域決定部１０３により実行される。除去領域決定部１０３は、入力動画像から除去する被写体の領域（除去領域）を決定する。本実施の形態では、除去領域決定部１０３は、領域分割部１０２が生成した複数の部分動画像のうちの１つに含まれる分割領域を除去領域として決定する。具体的には、除去領域決定部１０３は、例えば、ユーザーがマウスやキーボードを介して入力した情報に基づいて、除去領域を決定する。
つまり、除去領域決定部１０３は、一部の被写体を示すユーザー入力に基づいて、複数の部分動画像から少なくとも１つの部分動画像を選択し、選択された部分動画像に含まれる分割領域を除去領域として決定する。これにより、除去領域決定部１０３は、ユーザー入力に基づいて少なくとも１つの部分動画像を選択し、選択された少なくとも１つの部分動画像に含まれる分割領域を除去領域として決定することができる。したがって、例えば、ある１つのピクチャにおいて、複数の分割領域の中から少なくとも１つの分割領域が選択されれば、除去領域決定部１０３は、入力動画像中の除去領域を決定することができる。つまり、ユーザーは、複数のピクチャに対して、除去領域を決定するための入力を複数回行う必要がないので、除去領域決定部１０３は、ユーザーの負荷を軽減することが可能となる。
ここでは、５つの分割領域のうち、ユーザーによって領域Ｅが選択された場合について説明する。図１０は、ユーザーによって選択された除去領域の例を示す。図１０（ａ）〜（ｆ）中の、黒塗りの領域が除去領域を表している。
次に、補完方法決定ステップＳ３０４は、補完方法決定部１０４により実行される。補完方法決定部１０４は、領域分割部１０２が生成した領域分割情報と、除去領域決定部１０３が決定した除去領域とをもとに、各部分動画像の補完方法を決定する。
図１１は、実施の形態１における補完方法を決定するルールの例を示す。ここでは、補完方法は、「補完する」と「補完しない」とを含む。つまり、補完方法決定部１０４は、各部分動画像に含まれる分割領域が除去領域に接するか否かに応じて、各部分動画像の遮蔽領域の画像を補完するか否かを決定する。
部分動画像に含まれる分割領域が除去領域に接するとは、ある部分動画像に含まれる分割領域と除去領域とが、いずれかのピクチャにおいて接していることを意味する。図８の領域分割情報、および、図１０の除去領域においては、除去領域Ｅと、領域Ａ、領域Ｂ、および領域Ｄとは接しており、除去領域Ｅと領域Ｃとは接していない。したがって、補完方法決定部１０４は、領域Ａ、領域Ｂ、領域Ｄをそれぞれ含む部分動画像の補完方法として、「補完する」を決定する。一方、補完方法決定部１０４は、領域Ｃを含む部分動画像の補完方法として、「補完しない」を決定する。
遮蔽領域補完ステップＳ３０５は、遮蔽領域補完部１０５により実行される。遮蔽領域補完部１０５は、補完方法決定部１０４で決定された補完方法に基づいて、部分動画像ごとに、当該部分動画像に含まれる遮蔽領域の画像を補完することにより、補完部分動画像を生成する。
そして、遮蔽領域補完部１０５は、補完部分動画像および部分動画像を重畳合成する。このとき、遮蔽領域補完部１０５は、領域分割部１０２によって推定された前後関係に基づいて、奥にある分割領域の含む補完部分動画像および部分動画像から先に（手前にある分割領域を含む補完部分動画像および部分動画像を後に）順次、補完部分動画像および部分動画像を上書きしていくことで、補完部分動画像および部分動画像を重畳合成する。
本実施の形態では、遮蔽領域の画像を補完する手法として、時空間画像補完手法を用いる。時空間画像補完手法では、遮蔽領域の画像と類似する画像が動画像中の他の時間または位置に存在していると仮定する。したがって、時空間画像補完手法では、遮蔽領域に類似する領域（類似領域）を動画像中の他の時間または位置から探索し、探索された類似領域内の画像を遮蔽領域に複製する。
より具体的には、遮蔽領域補完部１０５は、例えば、部分動画像を構成する各ピクチャにおいて、部分動画像に含まれる分割領域（被写体領域）と遮蔽領域とを囲む時空間窓（探索対象領域）を設定する。続いて、遮蔽領域補完部１０５は、時空間窓内の色および動きに最も類似している色および動きを有する類似領域を他のピクチャから探索する。そして、遮蔽領域補完部１０５は、探索された類似領域内の遮蔽領域に対応する部分の画像を遮蔽領域に複製することで、遮蔽領域の画像を補完する。
つまり、遮蔽領域補完部１０５は、複数の部分動画像の各々について、当該部分動画像に含まれるピクチャごとに、当該ピクチャ内の遮蔽領域を含む探索対象領域に類似する類似領域を、当該部分動画像に含まれる他のピクチャから探索する。そして、遮蔽領域補完部１０５は、ピクチャごとに、探索された類似領域内の画像を遮蔽領域に複製することにより遮蔽領域の画像を補完する。
上記した時空間画像補完手法は、非特許文献１などに開示された手法であるため、ここでは詳細な説明を省略する。
以下、図１２〜図１７を用いて、遮蔽領域補完ステップＳ３０５の動作の例を説明する。図１２〜図１５は、領域Ａ〜Ｄをそれぞれ含む部分動画像の例を示す。具体的には、図１２は、領域Ａを含む部分動画像の例を示す。また、図１３は、領域Ｂを含む部分動画像の例を示す。図１４は、領域Ｃを含む部分動画像の例を示す。図１５は、領域Ｄを含む部分動画像の例を示す。
なお、各図中において、黒塗りの領域は、部分動画像に含まれる分割領域以外の領域を表す。つまり、黒塗りの領域は、部分動画像を構成しない領域を表す。また、この黒塗りの領域のうち、白い点線で囲まれた領域は、遮蔽領域であることを表す。
遮蔽領域補完ステップＳ３０５では、遮蔽領域補完部１０５は、各部分動画像の遮蔽領域の画像を適切に補完することで、除去領域を除いた動画像である補完動画像を生成する。具体的には、遮蔽領域補完部１０５は、補完方法決定部１０４で決定された補完方法に従い、領域Ａ、領域Ｂ、および領域Ｄをそれぞれ含む部分動画像について、遮蔽領域の画像を補完する。
なお、本実施の形態では、遮蔽領域補完部１０５は、領域Ｃを含む部分動画像について、遮蔽領域の画像を補完しない。つまり、遮蔽領域補完部１０５は、複数の部分動画像のうち、除去領域に隣接する分割領域を含む部分動画像についてのみ、遮蔽領域の画像を補完する。これにより、遮蔽領域補完部１０５は、除去領域に隣接する分割領域を含まない部分動画像の補完処理を省略することができるので、処理負荷の軽減あるいは処理時間の短縮を図ることができる。
図１６は、遮蔽領域補完ステップＳ３０５において、１つのピクチャの遮蔽領域の画像を補完する手順を示す図である。図１６（ａ）は、領域Ａの部分動画像に含まれる１枚のピクチャ（図１２（ｅ）と同じピクチャ）を示す。図１６（ａ）において、白い実線で囲まれた矩形領域は、領域Ａ（被写体領域）と遮蔽領域とを囲む時間窓（探索対象領域）の例である。遮蔽領域補完ステップＳ３０５では、この時間窓が有する色および動きに最も類似している色および動きを有する類似領域を、同じ部分動画像に含まれる他のピクチャから探索する。
図１６（ｂ）は、他のピクチャから探索された類似領域の例を示す。この例では、図１６（ｂ）のピクチャは、図１２（ａ）のピクチャと同じである。図中の白い一点鎖線で囲まれた矩形領域が、図１６（ａ）の時空間窓と最も類似する領域として探索された類似領域である。
図１６（ｃ）は、図１６（ａ）の遮蔽領域に、図１６（ｂ）の類似領域内の画像を複製したピクチャを示す。遮蔽領域補完ステップＳ３０５では、上記した補完処理を、領域Ａ、Ｂ、およびＤをそれぞれ含む部分動画像の各ピクチャに含まれる遮蔽領域に対して行うことで、遮蔽領域の画像を補完した各補完部分動画像を生成する。
図１７〜図１９は、領域Ａ、Ｂ、およびＤの部分動画像（図１２、図１３、および図１５）の各々において遮蔽領域の画像を補完した結果を示す。つまり、図１７〜図１９は、領域Ａ、Ｂ、およびＤの補完部分動画像を示す。
図２０は、領域Ａ、Ｂ、およびＤの補完部分動画像（図１７〜図１９）および領域Ｃの部分動画像（図１４）を重畳合成することにより生成された補完動画像の例を示す。図２０に示すように、遮蔽領域補完部１０５は、複数の部分動画像のうちの、除去領域を含む部分動画像を除く部分動画像（補完された部分動画像および補完されなかった部分動画像）を重畳合成する。
図２１は、各部分動画像に含まれるｔ＋４フレームのピクチャの例を示す。図２１（ａ）は、入力動画像に含まれるｔ＋４フレームのピクチャの例を示す。また、図２１（ｂ）、（ｃ）、および（ｅ）は、領域Ａ、Ｂ、およびＤの補完部分動画像に含まれるｔ＋４フレームのピクチャの例を示す。また、図２１（ｄ）は、領域Ｃの部分動画像に含まれるｔ＋４フレームのピクチャの例を示す。また、図２１（ｆ）は、補完動画像に含まれるｔ＋４フレームのピクチャの例を示す。
図２１（ａ）では、除去領域において、除去対象被写体によって３つの異なる被写体が遮蔽されている。このような複数の移動する被写体が除去領域において遮蔽されているときに画像を補完する場合、従来手法では適切に画像を補完することが難しい。
例えば、非特許文献１の手法によれば、図２１（ａ）の除去領域の周辺に時空間窓を設けて、他のピクチャから時空間窓に最も類似する領域を探索する。しかし、除去領域において除去対象被写体に遮蔽されている複数の移動する被写体間の位置関係は時間的に変化する。そのため、ある時刻のピクチャの除去領域において、除去対象被写体に遮蔽されている複数の被写体の画像と類似する画像が、他のピクチャに存在する可能性は極めて低くなる。その結果、従来手法では、複数の移動する被写体を遮蔽している除去対象被写体を除去する場合に、適切に画像を補完することができない。このことは、図２１（ａ）の除去領域（黒塗り領域）の近傍領域と類似する領域が、図１０（ａ）〜（ｆ）の各ピクチャに存在しないことからもわかる。
これに対して、本実施の形態では、領域分割部１０２は、入力動画像を、領域Ａ〜Ｅをそれぞれ含む５つの部分動画像に分割する。そして、遮蔽領域補完部１０５は、部分動画像（領域Ｅ（除去領域）を含む部分動画像を除く）ごとに、遮蔽領域の画像を補完する。被写体ごとに分割された部分動画像は、同じ部分動画像中の他のピクチャに、遮蔽領域に類似する領域が存在する可能性が高い。例えば、領域ＡおよびＢのような歩行する人物の分割領域の場合、分割領域は、歩行による周期的な姿勢変化を示す動きを有していることが期待できる。つまり、あるフレームのピクチャに類似する領域が他のピクチャに存在する可能性が高いといえる。また、領域Ｄのような静止背景の分割領域の場合も、あるフレームのピクチャに類似する領域が他のピクチャに存在する可能性が高いといえる。そのため、本実施の形態における動画像生成装置１００は、部分動画像ごとに遮蔽領域の画像を補完することで、図２１（ｆ）のように適切に遮蔽領域の画像を補完することができる。
最後に、動画像出力ステップＳ３０６は、動画像出力部１０６で実行される。動画像出力部１０６は、生成された補完動画像を、ディスプレイ１２０に出力する。
以上のように、本実施の形態では、領域分割部１０２は、入力動画像を複数の部分動画像（例えば、被写体ごとの部分動画像）に分割する。そして、遮蔽領域補完部１０５は、部分動画像ごとに、遮蔽領域の画像を補完する。さらに、遮蔽領域補完部１０５は、補完された複数の部分動画像を重畳合成することにより補完動画像を生成する。
この構成により、動画像生成装置１００は、除去領域において、除去対象被写体によって複数の移動する被写体が遮蔽されている場合であっても、適切に複数の移動する被写体の画像を補完して補完動画像を生成することができる。すなわち、動画像生成装置１００は、除去対象被写体がもとから存在しなかったように見える補完動画像を生成することができる。
すなわち、本実施の形態において、遮蔽領域補完部１０５は、部分動画像ごとに遮蔽領域の画像を補完することができる。したがって、例えば、除去領域において複数の移動物が除去の対象となる被写体に遮蔽されている場合であっても、遮蔽領域補完部１０５は、各移動物に対応する部分動画像ごとに遮蔽領域の画像を補完することができる。つまり、遮蔽領域補完部１０５は、複数の移動物間の位置関係に関わらず、例えば移動物ごとに遮蔽領域の画像を補完できるので、適切に遮蔽領域の画像を補完することが可能となる。
さらに、遮蔽領域補完部１０５は、このように補完された複数の部分動画像を重畳合成することにより、補完動画像を生成することができる。したがって、遮蔽領域補完部１０５は、複数の移動物間の位置関係を補完動画像に反映させることができ、複数の移動物間の位置関係に適応した補完動画像を適切に生成することが可能となる。
また、本実施の形態では、補完方法決定部１０４は、部分動画像に含まれる領域が遮蔽領域に接しているか否かに応じて、遮蔽領域の画像を補完する部分動画像を選択する。そして、遮蔽領域補完部１０５は、選択された部分動画像に対してのみ遮蔽領域の画像を補完する。
この構成により、選択された部分動画像内のみ遮蔽領域の画像を補完すればよいので、補完に必要な計算量および計算時間を低減することができる。
なお、遮蔽領域補完部１０５は、除去領域に隣接する分割領域を含む部分動画像に含まれるすべてのピクチャについて遮蔽領域の画像の補完処理を行う必要はない。つまり、遮蔽領域補完部１０５は、例えば、除去領域に隣接する分割領域を含む部分動画像に含まれる複数のピクチャのうち、除去領域と隣接する分割領域を含むピクチャについてのみ、遮蔽領域の画像を補完してもよい。これにより、遮蔽領域補完部１０５は、除去領域に隣接する分割領域を含まないピクチャの補完処理を省略することができるので、処理負荷の軽減あるいは処理時間の短縮を図ることができる。
また、本実施の形態において、除去領域決定部１０３は、ユーザー入力に基づいて、複数の部分動画像のうちの少なくとも１つの部分動画像を選択し、選択された部分動画像に含まれる分割領域を除去領域として決定する。この構成により、従来手法では、除去領域を決定するためにユーザーの多大な労力（動画像中の複数フレームにわたって除去すべき被写体領域をマウス等で指定するなど）が必要であったのに対し、本実施の形態では、ユーザーは、除去対象被写体に対応する部分動画像を選択するだけでよい。したがって、除去領域決定部１０３は、ユーザーの労力を低減することができる。
（実施の形態２）
実施の形態２を説明する前に、まず、時空間画像補完手法以外の補完手法について説明する。
遮蔽領域の画像の補完手法の他の１つとして、静止背景画像生成手法がある。静止背景画像生成手法では、除去対象被写体が移動し、かつ、遮蔽されている被写体が静止していると仮定して、遮蔽領域の画像を補完する（例えば、特許文献２（特開２００１−１５５１６３号公報）参照）。
特許文献２では、入力動画像の各画素において時間変化する輝度値の中から、頻度が高い輝度値を抽出する。そして、抽出された輝度値に基づいて、静止背景画像を生成する。そして、生成された静止背景画像を遮蔽領域に複製することにより、遮蔽領域の画像を補完する。この静止背景画像生成手法によれば、遮蔽されている被写体が静止物であり、かつ、除去の対象となる被写体が移動物である場合に、遮蔽領域の画像を適切に補完することができる。例えば、静止カメラで撮影された入力動画像において、除去の対象となる被写体が元から存在しなかったように見える動画像を生成することができる。
遮蔽領域の画像の補完手法の他の１つとして、モザイク画像生成手法がある。モザイク画像生成手法では、遮蔽されている被写体を含む背景が平行移動していると仮定して、遮蔽領域の画像を補完する。具体的には、動画像中の平行移動する被写体の領域を集約してモザイク状の画像を生成し、生成されたモザイク状の画像を遮蔽領域に複製する（例えば、特許文献３（特開平９−１３０８０３号公報）参照）。
特許文献３では、遮蔽されている被写体を含む背景が均一な動きをしていると仮定して、遮蔽領域の画像を補完する。具体的には、遮蔽領域の近傍の動きに基づいて、遮蔽領域を含むピクチャの前後のピクチャから遮蔽領域の画素値を補完する。このモザイク画像生成手法は、カメラの撮像面と背景平面との角度が一定になるようにカメラが平行移動し、かつ除去の対象となる被写体が背景に対して移動する場合に、適切に遮蔽領域の画像を補完することができる。
遮蔽領域の画像の補完手法の他の１つとして、静止移動分離補完手法がある。静止移動分離補完手法では、遮蔽されている被写体には、移動前景と静止背景とが含まれると仮定して、遮蔽領域の画像を補完する。具体的には、遮蔽領域中の移動領域の画像の補完と静止領域の画像の補完とを組み合わせて遮蔽領域の画像を補完する（例えば、非特許文献３（谷田川達也、山口泰、“動画補完のための動的背景の除去法”、情報処理学会研究報告、Ｖｏｌ．２０１１−ＣＶＩＭ−１７９、Ｎｏ．８）および非特許文献４（K.A.Patwardhan, Guillermo Sapiro and Marcelo Bertalmio, "Video Inpainting Under Constrained Camera Motion", IEEE Trans. on Image Processing, Vol.16, No.2, Feb.2007）を参照）。
非特許文献３および非特許文献４では、入力動画像を移動領域と静止領域とに分離する。そして、移動領域に対しては、遮蔽領域に類似する類似領域を動画像中のピクチャから探索し、探索された類似領域内の画像を用いて遮蔽領域の画像を補完する。また、静止領域に対しては、静止背景画像を生成することで、遮蔽領域の画像を補完する。入力動画像を静止領域と移動領域とに分離して、それぞれ異なる方法で遮蔽領域の画像の補完を行うことで、適切に遮蔽領域の画像を補完することができる。
このように複数の補完手法が開示されているが、いずれも遮蔽領域の状態によらず一定の方法で遮蔽領域の画像を補完している。具体的には、遮蔽されている被写体が一定の条件を満たすと仮定して、一定の方法で遮蔽領域の画像を補完している。
しかしながら、遮蔽領域の状態は一定とは限られないので、遮蔽領域の状態によっては遮蔽領域の画像を適切に補完できない場合がある。例えば、特許文献２および特許文献３に開示された静止背景画像生成手法やモザイク画像生成手法では、遮蔽されている被写体が人物などの移動物である場合に、遮蔽領域の画像を適切に補完することができない。
そこで、実施の形態２における動画像生成装置は、部分動画像に含まれる分割領域の状態に応じて、複数の補完方法の中から適切な補完方法を決定する。
以下、実施の形態２について図面を用いて具体的に説明する。
＜動画像生成装置１５０の機能構成＞
図２２は、実施の形態２における動画像生成装置１５０の機能構成を示す。本実施の形態において、この動画像生成装置１５０は、動画像取得部１０１と、領域分割部１５２と、除去領域決定部１０３と、補完方法決定部１５４と、遮蔽領域補完部１５５とを備える。
＜領域分割部１５２＞
領域分割部１５２は、実施の形態１の領域分割部１０２と同様に、複数の部分動画像を生成する。さらに、本実施の形態では、領域分割部１５２は、各分割領域の動き情報を推定する。動き情報とは、各分割領域の動きを示す情報である。
本実施の形態では、動き情報は、各分割領域が関節体動きを有するか否かを示す情報を含む。関節体動きとは、関節を有する物体（例えば、人、犬、猫など）の動きを意味する。
また本実施の形態では、動き情報は、各分割領域が剛体動きを有するか否かを示す情報を含む。剛体動きとは、移動時に大きく変形しない物体（例えば、車、電車、飛行機など）の動きを意味する。
また本実施の形態では、動き情報は、各分割領域が静止しているか否かを示す情報を含む。なお、静止している分割領域には、完全に静止している分割領域に加えて、所定の大きさの動きよりも小さな動きを有する分割領域を含む。
＜補完方法決定部１５４＞
補完方法決定部１５４は、推定された各領域の動き情報に基づいて、複数の部分動画像の各々の補完方法を決定する。つまり、補完方法決定部１５４は、部分動画像ごとに、当該部分動画像に含まれる領域の動き情報に基づく補完方法を、当該部分動画像の補完方法として決定する。
本実施の形態では、補完方法決定部１５４は、第１の部分動画像に含まれる分割領域が関節体動きを有すると推定された場合、第１の部分動画像の補完方法として、関節体動きの周期性に基づく第１の補完方法を決定する。また本実施の形態では、補完方法決定部１５４は、第２の部分動画像に含まれる分割領域が剛体動きを有すると推定された場合、第２の部分動画像の補完方法として、第１の補完方法とは異なる第２の補完方法であって剛体動きの特徴に基づく第２の補完方法を決定する。また本実施の形態では、補完方法決定部１５４は、第３の部分動画像に含まれる分割領域が静止していると推定された場合、第３の部分動画像の補完方法として、第１の補完方法および第２の補完方法とは異なる第３の補完方法であって静止物の特徴に基づく第３の補完方法を決定する。
＜遮蔽領域補完部１５５＞
遮蔽領域補完部１５５は、決定された補完方法に従って、部分動画像ごとに遮蔽領域の画像を補完する。例えば、遮蔽領域補完部１５５は、第１の部分動画像の補完方法として第１の補完方法が決定された場合、第１の部分動画像に含まれるピクチャごとに、（ａ）当該ピクチャ内の遮蔽領域を含む探索対象領域に類似する類似領域を、第１の部分動画像に含まれる他のピクチャから探索し、（ｂ）類似領域内の画像を遮蔽領域に複製することにより遮蔽領域の画像を補完する。
＜動画像生成装置１５０の動作＞
以下、本実施の形態における動画像生成装置１５０の動作を、図２３を用いて説明する。
図２３は、実施の形態２における動画像生成装置１５０の動作を示すフローチャートである。図２３において、６つのステップＳ３０１、Ｓ３５２、Ｓ３０３、Ｓ３５４、Ｓ３５５、Ｓ３０６は、それぞれ図２２の各部１０１、１５２、１０３、１５４、１５５、１０６に対応している。
最初に、動画像取得ステップＳ３０１では、動画像取得部１０１は、カメラ１１０から入力動画像を構成する複数のピクチャを取得する。
図２５は、実施の形態２における撮影状況の例を示す図である。本実施の形態では、１人の人物が歩行し、２台の車が走行するシーンを、静止したカメラ１１０で撮影した動画像を入力動画像の例として用いて、動画像生成装置１５０の動作を説明する。
図２６は、実施の形態２における入力動画像を構成する複数のピクチャの例を示す。具体的には、図２６（ａ）〜（ｆ）は、カメラ１１０によって、図２５の撮影状況におけるシーンを撮影して取得された複数のピクチャの例を示す。ここでは、動画像取得部１０１により、複数のピクチャ（Ｎフレーム）が取得されている。本実施の形態では、例えば、１０秒分（Ｎ＝３００）の動画像が入力される。
次に、領域分割ステップＳ３５２では、領域分割部１５２は、動画像取得部１０１から複数のピクチャを取得する。そして、領域分割部１５２は、例えば、被写体ごとの領域に、各ピクチャを分割することで、ピクチャ間で対応する分割領域の集まりである部分動画像を複数生成する。
本実施の形態では、領域分割部１５２は、さらに、生成した各部分動画像の複数の移動軌跡（すなわちＴ枚のピクチャ間のＮ点の動き（式１））を解析することで、各分割領域の動き情報を推定する。
ここでは、動き情報は、（ａ）分割領域が関節体動きを有するか否かを示す情報、（ｂ）剛体動きを有するか否かを示す情報、および（ｃ）静止しているか否かを示す情報を含む。なお、動き情報は、必ずしもこれらの３つの情報を含む必要はない。例えば、動き情報は、これらの３つの情報のうちの１つまたは２つのみを含んでもよい。
具体的には、領域分割部１５２は、例えば、ランク解析や幾何モデル当てはめに基づいて、複数の移動軌跡から、分割領域が剛体動きを有するか否かを判定する。この判定方法は、非特許文献２などに開示されているので、ここでは詳細な説明を省略する。
また例えば、領域分割部１５２は、移動軌跡間の測地距離の時間変化とユークリッド距離の時間変化とに基づいて、複数の移動軌跡から、分割領域が関節体動きを有するか否かを判定する。この判定方法は、特許文献４（特許第４９９４５２５号）などに開示されているので、ここでは詳細の説明を省略する。
図２７は、実施の形態２における領域分割結果の例を示す。具体的には、図２７は、領域分割部１０２により、図２６のピクチャを、４つの分割領域（領域Ａ〜領域Ｄ）に分割して得た領域分割情報の例を示す。図２７（ａ）〜（ｆ）は、図２６（ａ）〜（ｆ）のピクチャの各画素に対し、領域分割された４つの分割領域（領域Ａ〜Ｄ）を対応付けたデータである。つまり、図２７（ａ）〜（ｆ）は、ピクチャ間で対応付けられた分割領域の集まりである部分動画像を示す。
図２８は、実施の形態１における前後関係情報の例を示す。具体的には、図２８は、領域分割部１０２によって領域分割された４つの分割領域に対して、２つの分割領域間の前後関係を推定した結果、手前にあると推定された分割領域を示している。図２８は、例えば、領域Ｂが、領域Ａより奥にあり、領域Ｃ、Ｄより手前にあることを示している。また、本実施の形態では、領域分割部１０２によって、領域Ａは剛体動きを有し、領域Ｂは関節体動きを有し、領域Ｃは剛体動きを有し、領域Ｄは静止していると推定されたものとする。
次に、除去領域決定ステップＳ３０３では、除去領域決定部１０３は、実施の形態１と同様に、領域分割部１０２が生成した複数の部分動画像のうちの１つに含まれる分割領域を除去領域として決定する。
ここでは、除去領域決定部１０３によって、図２７中の領域Ａ（黒塗り領域）が除去領域として決定されたとする。
次に、補完方法決定ステップＳ３５４では、補完方法決定部１５４は、領域分割部１０２が生成した領域分割情報と、除去領域決定部１０３が決定した除去領域と、各部分動画像の動き情報とをもとに、各部分動画像の補完方法を決定する。
図２４は、実施の形態２における補完方法を決定するルールの例を示す。実施の形態１では、部分動画像の補完方法は時空間画像補完手法の１通りであったのに対して、実施の形態２では、補完方法決定部１５４は、時空間画像補完手法、静止背景画像生成手法、および、モザイク画像生成手法の３通りの補完方法の中から、部分動画像の動き情報に基づいて部分動画像の補完方法を選択する。
具体的には、補完方法決定部１５４は、例えば、分割領域が関節体動きを有すると推定された場合、当該分割領域を有する部分動画像の補完方法として、時空間画像補完手法を決定する。この時空間画像補間手法は、関節体動きの周期性に基づく第１の補完方法の一例である。
また、補完方法決定部１５４は、例えば、分割領域が剛体動きを有すると推定された場合、当該分割領域を有する部分動画像の補完方法として、モザイク画像生成手法を決定する。このモザイク画像生成手法は、剛体動きの特徴に基づく第２の補完方法の一例である。
また、補完方法決定部１５４は、例えば、分割領域が静止していると推定された場合、当該分割領域を有する部分動画像の補完方法として、静止背景画像生成手法を決定する。この静止背景画像生成手法は、静止物の特徴に基づく第３の補完方法の一例である。
遮蔽領域補完ステップＳ３５５では、遮蔽領域補完部１５５は、複数の部分動画像、および、補完方法決定部１０４で決定された補完方法に基づいて、部分動画像の遮蔽領域の画像を補完し、補完部分動画像を生成する。遮蔽領域補完ステップＳ３５５における３つの補完方法（静止背景画像生成手法、モザイク画像生成手法、および、時空間画像補完手法）は、それぞれ特許文献２、特許文献３、および非特許文献１などに開示された手法であるため、ここでは詳細な説明を省略する。
さらに遮蔽領域補完ステップＳ３５５では、生成した複数の補完部分動画像および部分動画像を重畳合成して、補完動画像を生成する。
最後に、動画像出力ステップＳ３０６では、動画像出力部１０６は、生成された補完動画像を、ディスプレイ１２０に出力する。
以下、図２９〜図３５を用いて、遮蔽領域補完ステップＳ３５５の動作の例を説明する。図２９、図３１、図３３は、領域Ｂ、Ｃ、Ｄの部分動画像の例をそれぞれ示す。遮蔽領域補完ステップＳ３５５では、遮蔽領域補完部１５５は、各部分動画像の遮蔽領域の画像を適切に補完することで、除去領域を除いた動画像である補完動画像を生成する。本実施の形態では、遮蔽領域補完部１５５は、補完方法決定部１５４で決定された補完方法に従い、領域Ｂ、領域Ｃ、領域Ｄの部分動画像について、遮蔽領域の画像を補完し、補完部分動画像を生成する。
ここでは、領域Ｂは、領域分割部１０２により、関節体動きを有すると推定されている。また、領域Ｃは、剛体動きを有すると推定されている。さらに、領域Ｄは、静止していると推定されている。したがって、補完方法決定部１５４は、図２４の補完方法決定ルールに従って、領域Ｂ〜Ｄの部分動画像の補完方法として、時空間画像補完手法、モザイクが像生成手法、静止背景画像生成手法の３つの異なる補完方法を決定する。その結果、遮蔽領域補完部１５５は、時空間画像補完手法、モザイクが像生成手法、静止背景画像生成手法の３つの異なる補完方法に従って、領域Ｂ〜Ｄの部分動画像の遮蔽領域の画像を補完する。
図３０は、関節体動きを有する領域Ｂの部分動画像に含まれる遮蔽領域の画像を、時空間画像補完手法によって補完した補完部分動画像の例を示す。時空間補完手法は、実施の形態１でも示したように、他のピクチャの類似する領域の画像を用いて遮蔽領域の画像を補完する方法である。人（関節体）の歩行動作のように、周期的な動きを有する分割領域を含む部分動画像では、類似する分割領域が周期的に含まれていることが多い。そのため、分割領域が関節体動きを有すると推定された場合に、遮蔽領域補完部１５５は、時空間画像補完手法に従って遮蔽領域の画像を適切に補完することができる。
図３２は、剛体動きを有する領域Ｃの部分動画像に含まれる遮蔽領域の画像を、モザイク画像生成手法によって補完した補完部分動画像の例を示す。モザイク画像生成手法は、被写体上の近傍２領域の動きは類似していると仮定することで、一時的に遮蔽された被写体の遮蔽領域を、前後のピクチャとその遮蔽領域の周辺の領域の動きとを用いて補完する。
剛体動きを有する被写体の遮蔽領域の動きは、その近傍の領域の動きに類似していると仮定することができる。そのため、分割領域が剛体動きを有すると推定された場合に、遮蔽領域補完部１５５は、モザイク画像生成手法によって遮蔽領域の画像を適切に補完することができる。
さらに、図３１の領域Ｃは、画像全体に対して被写体領域が比較的大きいため、１つのピクチャに被写体全体の画像が映っていない。そのため、他のピクチャの類似領域を用いて遮蔽領域の画像を補完する時空間画像補完手法では、被写体全体の領域を補完できない場合がある。これに対し、モザイク生成手法では、遮蔽領域と、当該遮蔽領域の近傍の領域との動きは類似するという仮定に基づいて、前後の複数のピクチャの組み合わせを用いて遮蔽領域の画像を補完する。そのため、遮蔽領域補完部１５５は、１つのピクチャに被写体全体の画像が映っていなくても、遮蔽領域の画像を適切に補完することが可能になる。
図３４は、静止している領域Ｄの部分動画像に含まれる遮蔽領域の画像を、静止背景画像生成手法によって補完した補完部分動画像の例を示す。静止背景画像生成手法は、被写体が静止しているという仮定に基づいて、全てのピクチャを用いて１枚の静止画を生成することで、遮蔽領域の画像を補完することができる。
静止背景画像生成手法では、他のピクチャにおける遮蔽領域と同じ位置の画像を用いて遮蔽領域の画像を補完する。つまり、静止背景画像生成手法では、時空間画像補完手法における探索処理（他のピクチャから類似領域を探索する処理）が不要になる。そのため、遮蔽領域補完部１５５は、静止背景画像生成手法に従って遮蔽領域の画像を補完する場合に、時空間画像補完手法よりも処理負荷を軽減あるいは処理時間を短縮することができる。
同様に、静止背景画像生成手法では、モザイク画像生成手法における推定処理（ピクチャ間の動きの推定処理）、および合成処理（動きに基づいて画像を合成する処理）が不要になる。そのため、遮蔽領域補完部１５５は、静止背景画像生成手法に従って遮蔽領域の画像を補完する場合に、モザイク画像生成手法よりも処理負荷を軽減あるいは処理時間を短縮することができる。
以上のように、補完方法決定部１５４が部分動画像に含まれる分割領域の動きに基づいて部分動画像の補完手法を決定することで、遮蔽領域補完部１５５は、より適切な補完部分動画像を生成できるとともに、補完部分動画像を生成するための処理負荷を軽減あるいは処理時間を短縮することができる。
図３５は、領域Ｂ、Ｃ、Ｄの補完部分動画像を重畳合成した補完動画像の例を示す。
以上のように、本実施の形態における動画像生成装置１５０は、実施の形態１における動画像生成装置１００と同様に、除去領域において、除去対象被写体によって複数の移動する被写体が遮蔽されている場合であっても、適切に遮蔽領域の画像を補完することができる。すなわち、動画像生成装置１５０は、除去対象被写体がもとから存在しなかったように見える補完動画像を生成することができる。
また、本実施の形態では、補完方法決定部１５４は、分割領域の動き情報に応じて各部分動画像の補完方法を決定する。そして、遮蔽領域補完部１５５は、決定された補完方法に従って、各部分動画像に含まれる遮蔽領域の画像を補完する。この構成により、特に、１つの除去領域において、動きの異なる複数の被写体が遮蔽されている場合にも、遮蔽領域補完部１５５は、それぞれの被写体に対応する部分動画像に適した補完方法で補完部分動画像の生成ができる。つまり、遮蔽領域補完部１５５は、分割領域の動きに応じて適応的に各部分動画像の補完を行うことができ、より適切に遮蔽領域の画像を補完することが可能となる。
また、本実施の形態では、補完方法決定部１５４は、第１の部分動画像に含まれる分割領域が関節体動きを有する場合に、例えば時空間画像補間手法を、第１の部分動画像の補完方法として決定することができる。したがって、補完方法決定部１５４は、関節体動きに適した補完方法を第１の部分動画像の補完方法として決定することができ、遮蔽領域補完部１５５は、より適切に第１の部分動画像に含まれる遮蔽領域の画像を補完することが可能となる。
また、本実施の形態では、補完方法決定部１５４は、第２の部分動画像に含まれる分割領域が剛体動きを有する場合に、例えばモザイク画像生成手法を、第２の部分動画像の補完方法として決定することができる。したがって、補完方法決定部１５４は、剛体動きに適した補完方法を第２の部分動画像の補完方法として決定することができ、遮蔽領域補完部１５５は、より適切に第２の部分動画像に含まれる遮蔽領域の画像を補完することが可能となる。
また、本実施の形態では、補完方法決定部１５４は、第３の部分動画像に含まれる分割領域が静止している場合に、静止背景画像生成手法を、第３の部分動画像の補完方法として決定することができる。したがって、補完方法決定部１５４は、静止物に適した補完方法を第３の部分動画像の補完方法として決定することができ、遮蔽領域補完部１５５は、より適切に第３の部分動画像に含まれる遮蔽領域の画像を補完することが可能となる。
以上、本発明の１つまたは複数の態様に係る動画像生成装置について、実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の１つまたは複数の態様の範囲内に含まれてもよい。
例えば、上記各実施の形態では、動画像取得部１０１は、入力動画像をカメラ１１０から取得していたが、必ずしも入力動画像をカメラ１１０から取得する必要はない。例えば、動画像取得部１０１は、事前に撮影された入力動画像が記憶された記憶装置から入力動画像を取得してもよい。つまり、動画像取得部１０１は、撮影された動画像をすぐに入力動画像として取得する必要はない。さらに、動画像取得部１０１は、どのように入力動画像を取得しても構わない。
なお、上記各実施の形態では、除去領域決定部１０３は、複数の部分動画像のうちの少なくとも１つをユーザー入力に基づいて選択し、選択された少なくとも１つの部分動画像に含まれる分割領域を除去領域として決定していたが、必ずしもこのように除去領域を決定する必要はない。つまり、除去領域決定部１０３は、除去領域を決定するために、必ずしも部分動画像を選択する必要はない。例えば、除去領域決定部１０３は、タッチパネルに表示された入力動画像に対してユーザーがタッチした領域をそのまま除去領域として決定してもよい。また、除去領域決定部１０３は、ユーザー入力を介さずに、除去領域を決定してもよい。例えば、除去領域決定部１０３は、入力動画像のデプスマップを取得し、取得されたデプスマップを参照して、合焦位置よりも手前にある被写体の領域を除去領域と決定してもよい。
なお、上記各実施の形態では、遮蔽領域補完部１０５、１５５は、除去領域に隣接する分割領域を含む部分動画像についてのみ、遮蔽領域の画像を保管していたが、必ずしもこのように補完する必要はない。例えば、遮蔽領域補完部１０５、１５５は、全ての部分動画像について、遮蔽領域の画像の補完処理を行ってもよい。この場合、実施の形態１における動画像生成装置１００は、補完方法決定部１０４を備えなくてもよい。つまり、動画像生成装置１００は、図３におけるステップＳ３０４を実行しなくてもよい。
なお、上記各実施の形態では、領域分割部１０２は、複数ピクチャ間で対応付けられた分割領域の集まりを１つの部分動画像として生成していたが、部分動画像に含まれる分割領域の集まりは１つである必要はない。また、領域分割部１０２は、部分動画像（分割領域の集まり）間で前後関係を推定したが、前後関係を推定する単位は、部分動画像に限るものでない。例えば、領域分割部１０２は、ピクチャごとに、分割領域間の前後関係を推定してもよい。
なお、上記各実施の形態では、遮蔽領域補完部１０５、１５５は、各部分動画像に含まれる遮蔽領域の画像を補完した補完部分動画像を生成したのちに、生成した複数の補完部分動画像を重畳合成することで補完動画像を生成したが、遮蔽領域の画像の補完方法はこれに限定するものではない。例えば、遮蔽領域補完部１０５、１５５は、各実施の形態と同様の処理によって生成した補完動画像において、まだ補完されていない画素（未補完画素）が存在する場合、未補完画素の画素値を部分動画像を用いて補完してもよい。例えば、最も奥に位置する（カメラから遠い）部分動画像を用いて、未補完画素の最近傍画素の画素値を未補完画素に複製してもよい。これにより、遮蔽領域補完部１０５、１５５は、部分動画像ごとの補完では完全に遮蔽領域の画像を補完できなかった場合でも、未補完の画素を残すことなく補完動画像を生成することができる。
なお、上記各実施の形態において、入力動画像は、単視点動画像であったが、多視点画像であってもよい。この場合、動画像生成装置１００、１５０は、例えば、視点動画像ごとに、補完動画像を生成すればよい。具体的には、動画像生成装置１００、１５０は、例えば、左目用動画像および右目用動画像の各々を入力動画像として取得し、補完動画像をそれぞれ生成すればよい。これにより、動画像生成装置１００、１５０は、例えば３Ｄ動画像についても補完動画像を生成することができる。
なお、上記各実施の形態において、動画像生成装置１００、１５０は、カメラ１１０あるいはディスプレイ１２０を備えていなかったが、カメラ１１０あるいはディスプレイ１２０を備えてもよい。
なお、上記各実施の形態において、補完動画像は、複数のピクチャを含んでいたが、必ずしも複数のピクチャを含む必要はない。つまり、補完動画像は、１つのピクチャ（つまり、静止画像）であってもよい。
また、上記各実施の形態における動画像生成装置が備える構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。例えば、動画像生成装置は、動画像取得部と、領域分割部と、除去領域決定部と、遮蔽領域補完部とを有するシステムＬＳＩから構成されてもよい。
システムＬＳＩは、複数の構成要素を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。前記ＲＯＭには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムに従って動作することにより、システムＬＳＩは、その機能を達成する。
なお、ここでは、システムＬＳＩとしたが、集積度の違いにより、ＩＣ、ＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、あるいはＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。
また、本発明の一態様は、動画像生成装置に含まれる特徴的な構成要素をステップとする動画像生成方法であってもよい。また、本発明の一態様は、動画像生成方法に含まれる特徴的な各ステップをコンピュータに実行させるコンピュータプログラムであってもよい。また、本発明の一態様は、そのようなコンピュータプログラムが記録された、コンピュータ読み取り可能な非一時的な記録媒体であってもよい。
なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記各実施の形態の動画像生成装置などを実現するソフトウェアは、次のようなプログラムである。
すなわち、このプログラムは、コンピュータに、入力動画像に含まれる複数の被写体から一部の被写体を除去した動画像を生成する動画像生成方法であって、複数のピクチャで構成される入力動画像を取得する動画像取得ステップと、前記入力動画像を構成する各ピクチャを複数の分割領域に分割し、ピクチャ間で対応付けられた分割領域の集まりを部分動画像として複数生成する領域分割ステップと、前記入力動画像に含まれる複数の被写体のうちの一部の被写体の領域を除去領域として決定する除去領域決定ステップと、前記部分動画像ごとに、前記除去領域において前記一部の被写体によって遮蔽されている他の被写体の領域である遮蔽領域の画像を補完し、補完された複数の部分動画像を重畳合成することにより補完動画像を生成する遮蔽領域補完ステップと、前記補完動画像を出力する動画像出力ステップとを含む動画像生成方法を実行させる。
本発明の一態様に係る動画像生成装置は、入力動画像に含まれる複数の被写体から一部の被写体を除去した動画像または静止画像を生成する動画像生成装置として、例えば、放送用動画編集システム、監視カメラシステム、動画像符号化システム、多眼立体視映像システムなどに幅広く利用できる。
１００、１５０ 動画像生成装置
１０１ 動画像取得部
１０２、１５２ 領域分割部
１０３ 除去領域決定部
１０４、１５４ 補完方法決定部
１０５、１５５ 遮蔽領域補完部
１０６ 動画像出力部
１１０ カメラ
１２０ ディスプレイ
２００ コンピュータ
２０１ ＣＰＵ
２０２ ＲＯＭ
２０３ ＲＡＭ
２０４ ＨＤＤ
２０５ Ｉ／Ｆ
２０６ ビデオカード
２３０ マウス
２４０ キーボード

Claims (13)

  1. 入力動画像に含まれる複数の被写体から一部の被写体を除去した動画像を生成する動画像生成装置であって、
    複数のピクチャで構成される入力動画像を取得する動画像取得部と、
    前記入力動画像を構成する各ピクチャを複数の分割領域に分割し、ピクチャ間で対応付けられた分割領域の集まりを部分動画像として複数生成する領域分割部と、
    前記入力動画像に含まれる複数の被写体のうちの一部の被写体の領域を除去領域として決定する除去領域決定部と、
    前記部分動画像ごとに、前記除去領域において前記一部の被写体によって遮蔽されている他の被写体の領域である遮蔽領域の画像を補完し、補完された複数の部分動画像を重畳合成することにより補完動画像を生成する遮蔽領域補完部と、
    前記補完動画像を出力する動画像出力部とを備える
    動画像生成装置。
  2. 前記領域分割部は、各分割領域の動き情報を推定し、
    前記動画像生成装置は、さらに、
    前記各分割領域の動き情報に基づいて、各部分動画像の補完方法を決定する補完方法決定部を備え、
    前記遮蔽領域補完部は、決定された前記補完方法に従って、前記部分動画像ごとに遮蔽領域の画像を補完する
    請求項１に記載の動画像生成装置。
  3. 前記領域分割部は、各分割領域が関節体動きを有するか否かを示す情報を含む前記動き情報を推定し、
    前記補完方法決定部は、前記複数の部分動画像のうちの第１の部分動画像に含まれる分割領域が関節体動きを有すると推定された場合、前記第１の部分動画像の補完方法として、関節体動きの周期性に基づく第１の補完方法を決定する
    請求項２に記載の動画像生成装置。
  4. 前記遮蔽領域補完部は、前記第１の部分動画像の補完方法として前記第１の補完方法が決定された場合、前記第１の部分動画像に含まれるピクチャごとに、（ａ）当該ピクチャ内の遮蔽領域を含む探索対象領域に類似する類似領域を、前記第１の部分動画像に含まれる他のピクチャから探索し、（ｂ）前記類似領域内の画像を前記遮蔽領域に複製することにより前記遮蔽領域の画像を補完する
    請求項３に記載の動画像生成装置。
  5. 前記領域分割部は、前記各分割領域が剛体動きを有するか否かを示す情報を含む前記動き情報を推定し、
    前記補完方法決定部は、前記複数の部分動画像のうちの第２の部分動画像に含まれる分割領域が剛体動きを有すると推定された場合、前記第２の部分動画像の補完方法として、前記第１の補完方法とは異なる第２の補完方法であって剛体動きの特徴に基づく第２の補完方法を決定する
    請求項３または４に記載の動画像生成装置。
  6. 前記領域分割部は、前記各分割領域が静止しているか否かを示す情報を含む前記動き情報を推定し、
    前記補完方法決定部は、前記複数の部分動画像のうちの第３の部分動画像に含まれる分割領域が静止していると推定された場合、前記第３の部分動画像の補完方法として、前記第１の補完方法とは異なる第３の補完方法であって静止物の特徴に基づく第３の補完方法を決定する
    請求項３〜５のいずれか１項に記載の動画像生成装置。
  7. 前記領域分割部は、前記複数の分割領域間の空間的な前後関係を推定し、
    前記遮蔽領域補完部は、推定された前記前後関係に基づいて、補完された複数の部分動画像を重畳合成することにより、前記補完動画像を生成する
    請求項１〜６のいずれか１項に記載の動画像生成装置。
  8. 前記遮蔽領域補完部は、前記複数の部分動画像のうち、前記除去領域に隣接する分割領域を含む部分動画像についてのみ、前記遮蔽領域の画像を補完する
    請求項１〜７のいずれか１項に記載の動画像生成装置。
  9. 前記遮蔽領域補完部は、前記除去領域に隣接する分割領域を含む部分動画像に含まれる複数のピクチャのうち、前記除去領域と隣接する分割領域を含むピクチャについてのみ、前記遮蔽領域の画像を補完する
    請求項８に記載の動画像生成装置。
  10. 前記除去領域決定部は、前記一部の被写体を示すユーザー入力に基づいて、前記複数の部分動画像から少なくとも１つの部分動画像を選択し、選択された前記少なくとも１つの部分動画像に含まれる分割領域を前記除去領域として決定する
    請求項１〜９のいずれか１項に記載の動画像生成装置。
  11. 前記遮蔽領域補完部は、前記複数の部分動画像の各々について、当該部分動画像に含まれるピクチャごとに、当該ピクチャ内の遮蔽領域を含む探索対象領域に類似する類似領域を、当該部分動画像に含まれる他のピクチャから探索し、前記類似領域内の画像を前記遮蔽領域に複製することにより前記遮蔽領域の画像を補完する
    請求項１に記載の動画像生成装置。
  12. 入力動画像に含まれる複数の被写体から一部の被写体を除去した動画像を生成する動画像生成方法であって、
    複数のピクチャで構成される入力動画像を取得する動画像取得ステップと、
    前記入力動画像を構成する各ピクチャを複数の分割領域に分割し、ピクチャ間で対応付けられた分割領域の集まりを部分動画像として複数生成する領域分割ステップと、
    前記入力動画像に含まれる複数の被写体のうちの一部の被写体の領域を除去領域として決定する除去領域決定ステップと、
    前記部分動画像ごとに、前記除去領域において前記一部の被写体によって遮蔽されている他の被写体の領域である遮蔽領域の画像を補完し、補完された複数の部分動画像を重畳合成することにより補完動画像を生成する遮蔽領域補完ステップと、
    前記補完動画像を出力する動画像出力ステップとを含む
    動画像生成方法。
  13. 請求項１２に記載の動画像生成方法をコンピュータに実行させるためのプログラム。
JP2014501121A 2012-07-20 2013-06-14 動画像生成装置および動画像生成方法 Expired - Fee Related JP5519085B1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014501121A JP5519085B1 (ja) 2012-07-20 2013-06-14 動画像生成装置および動画像生成方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2012161855 2012-07-20
JP2012161855 2012-07-20
JP2014501121A JP5519085B1 (ja) 2012-07-20 2013-06-14 動画像生成装置および動画像生成方法
PCT/JP2013/003748 WO2014013673A1 (ja) 2012-07-20 2013-06-14 動画像生成装置および動画像生成方法

Publications (2)

Publication Number Publication Date
JP5519085B1 true JP5519085B1 (ja) 2014-06-11
JPWO2014013673A1 JPWO2014013673A1 (ja) 2016-06-30

Family

ID=49948517

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014501121A Expired - Fee Related JP5519085B1 (ja) 2012-07-20 2013-06-14 動画像生成装置および動画像生成方法

Country Status (3)

Country Link
US (1) US9236090B2 (ja)
JP (1) JP5519085B1 (ja)
WO (1) WO2014013673A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6346157B2 (ja) * 2015-11-27 2018-06-20 日本電信電話株式会社 画像処理装置、画像処理方法及びコンピュータプログラム
JP6389452B2 (ja) * 2015-11-27 2018-09-12 日本電信電話株式会社 画像処理装置、画像処理方法及びコンピュータプログラム
US9633283B1 (en) * 2015-12-28 2017-04-25 Automotive Research & Test Center Adaptive device and adaptive method for classifying objects with parallel architecture
US10277844B2 (en) * 2016-04-20 2019-04-30 Intel Corporation Processing images based on generated motion data
US10157441B2 (en) * 2016-12-27 2018-12-18 Automotive Research & Testing Center Hierarchical system for detecting object with parallel architecture and hierarchical method thereof
JP7175715B2 (ja) * 2018-10-31 2022-11-21 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
JP7250588B2 (ja) * 2019-03-28 2023-04-03 キヤノン株式会社 画像処理装置、送信方法、及びプログラム
CN113747048B (zh) 2020-05-30 2022-12-02 华为技术有限公司 一种图像内容的去除方法及相关装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09130803A (ja) * 1995-10-27 1997-05-16 Fujitsu Ltd 背景画像復元方法および装置
JP2011076311A (ja) * 2009-09-30 2011-04-14 Dainippon Printing Co Ltd 移動物体検出装置および画素の類否判定方法
JP4979840B2 (ja) * 2010-07-27 2012-07-18 パナソニック株式会社 移動体検出装置および移動体検出方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0954181B1 (en) * 1998-04-28 2007-12-26 Canon Kabushiki Kaisha Data processing apparatus and method
JP2001155163A (ja) 1999-11-26 2001-06-08 Ntt Communications Kk 移動物体切り出し装置
US8213681B2 (en) 2009-01-09 2012-07-03 Panasonic Corporation Moving object detection method and moving object detection apparatus
JP4637275B2 (ja) 2010-09-09 2011-02-23 パナソニック株式会社 画像処理方法及び画像処理装置
CN103003846B (zh) 2011-01-26 2016-07-06 松下知识产权经营株式会社 关节区域显示装置、关节区域检测装置、关节区域归属度计算装置、关节状区域归属度计算装置以及关节区域显示方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09130803A (ja) * 1995-10-27 1997-05-16 Fujitsu Ltd 背景画像復元方法および装置
JP2011076311A (ja) * 2009-09-30 2011-04-14 Dainippon Printing Co Ltd 移動物体検出装置および画素の類否判定方法
JP4979840B2 (ja) * 2010-07-27 2012-07-18 パナソニック株式会社 移動体検出装置および移動体検出方法

Also Published As

Publication number Publication date
US9236090B2 (en) 2016-01-12
WO2014013673A1 (ja) 2014-01-23
US20140199048A1 (en) 2014-07-17
JPWO2014013673A1 (ja) 2016-06-30

Similar Documents

Publication Publication Date Title
JP5519085B1 (ja) 動画像生成装置および動画像生成方法
JP4938093B2 (ja) ２ｄ−ｔｏ−３ｄ変換のための２ｄ画像の領域分類のシステム及び方法
US10789765B2 (en) Three-dimensional reconstruction method
US9210398B2 (en) Method and apparatus for temporally interpolating three-dimensional depth image
US11557081B2 (en) Image processing apparatus, control method for an image processing apparatus, and medium
JP5923713B2 (ja) 画像処理装置、撮像装置および画像処理方法
GB2553782A (en) Predicting depth from image data using a statistical model
KR101960852B1 (ko) 배경 픽셀 확장 및 배경 우선 패치 매칭을 사용하는 멀티 뷰 렌더링 장치 및 방법
JPWO2019031259A1 (ja) 画像処理装置および方法
KR20140108828A (ko) 카메라 트래킹 장치 및 방법
US10560632B2 (en) Moving image reproducing apparatus, control method therefor, and storage medium storing control program therefor
WO2013190862A1 (ja) 画像処理装置及び画像処理方法
JP7285834B2 (ja) 三次元再構成方法および三次元再構成装置
US20120105601A1 (en) Apparatus and method for creating three-dimensional panoramic image by using single camera
KR20100088774A (ko) 중간 시점 영상 생성 장치 및 방법
JP4892113B2 (ja) 画像処理方法及び装置
JP2016063248A (ja) 画像処理装置および画像処理方法
US20130071008A1 (en) Image conversion system using edge information
JP2015527804A (ja) 多視点映像の視差情報を利用して、映像の動きを推定する方法及びその装置
EP2908527A1 (en) Device, program, and method for reducing data size of multiple images containing similar information
JP2017207818A (ja) 画像処理装置、画像処理方法、プログラム
KR101511315B1 (ko) 스테레오스코픽 컨텐츠를 위한 다이나믹 플로팅 윈도우 생성 방법 및 시스템
JP5307051B2 (ja) 立体映像調整装置及び調整方法
KR101920159B1 (ko) 지원점 보간법을 이용한 스테레오 매칭 방법 및 장치
US8879872B2 (en) Method and apparatus for restoring resolution of multi-view image

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140311

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140402

R151 Written notification of patent or utility model registration

Ref document number: 5519085

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees