JP2018169690A - 画像処理装置、画像処理方法及び画像処理プログラム - Google Patents
画像処理装置、画像処理方法及び画像処理プログラム Download PDFInfo
- Publication number
- JP2018169690A JP2018169690A JP2017064978A JP2017064978A JP2018169690A JP 2018169690 A JP2018169690 A JP 2018169690A JP 2017064978 A JP2017064978 A JP 2017064978A JP 2017064978 A JP2017064978 A JP 2017064978A JP 2018169690 A JP2018169690 A JP 2018169690A
- Authority
- JP
- Japan
- Prior art keywords
- image
- teacher
- image group
- viewpoint
- group
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
Abstract
【課題】被写体の背景が変化する場合に実写画像から被写体画像を頑健に抽出するためのアルファ画像を低コストで生成することが可能である画像処理装置、画像処理方法及び画像処理プログラムを提供する。
【解決手段】画像処理装置は、多視点の被写体画像のアルファ画像である多視点の教師アルファ画像群と、多視点の被写体画像及び背景画像を含む画像である教師画像群とを生成する教師画像生成部と、多視点の教師画像群を単視点の教師画像群に変換する教師画像変換部と、単視点の教師画像群をDNNの入力とし、多視点の教師アルファ画像群をDNNの出力として、DNNの学習パラメータを算出するパラメータ算出部と、多視点の実写画像群を単視点の実写画像群に変換する実写画像変換部と、単視点の実写画像群をニューラル・ネットワークに入力し、ニューラル・ネットワークの出力である多視点のアルファ画像群を生成する画像生成部とを備える。
【選択図】図1
【解決手段】画像処理装置は、多視点の被写体画像のアルファ画像である多視点の教師アルファ画像群と、多視点の被写体画像及び背景画像を含む画像である教師画像群とを生成する教師画像生成部と、多視点の教師画像群を単視点の教師画像群に変換する教師画像変換部と、単視点の教師画像群をDNNの入力とし、多視点の教師アルファ画像群をDNNの出力として、DNNの学習パラメータを算出するパラメータ算出部と、多視点の実写画像群を単視点の実写画像群に変換する実写画像変換部と、単視点の実写画像群をニューラル・ネットワークに入力し、ニューラル・ネットワークの出力である多視点のアルファ画像群を生成する画像生成部とを備える。
【選択図】図1
Description
本発明は、画像処理装置、画像処理方法及び画像処理プログラムに関する。
画像処理装置は、実景が写されている画像(以下「実写画像」という。)から、被写体の画像(以下「被写体画像」という。)を抽出する場合がある。画像処理装置は、背景のコンピュータ・グラフィックス(CG: Computer Graphics)である背景画像に、実写画像から抽出された被写体画像を前景画像として重畳することで、背景画像に被写体が入り込んだような画像を生成することができる。
映画制作のスタジオ等では、実写画像から被写体画像を抽出するために、背景造作を用いて被写体の背景の色が緑等の単色にされる場合がある。画像処理装置は、クロマキー技術によって、実写画像から被写体画像を抽出することができる。しかしながら、クロマキー技術では背景造作を用いて被写体の背景の色が単色にされるので、被写体の背景の色を単色にすることができない屋外での実写画像や実際のスポーツ競技の実写画像には、クロマキー技術は使用できない。
そこで、実写画像から被写体画像を抽出する技術として、画素値の差分(背景差分)を用いる手法(非特許文献1参照)と、ディープ・ニューラル・ネットワーク(DNN: deep neural network)を用いる手法(非特許文献2参照)と、深度センサを用いる手法(非特許文献3参照)とが提案されている。
松山隆司,和田俊和,波部斉,棚橋和也,"照明変化に頑健な背景差分",電子情報通信学会論文誌 D-II,J84-D-II No.10,pp.2201-2211.
Xiaoyong Shen, et al."Deep Automatic Portrait Matting",European Conference on Computer Vision,Springer International Publishing AG 2016.
宮下広夢,竹内広太,山口真理子,長田秀信,小野朗,"センサとカメラを活用した高速・高精度な被写体抽出",電気情報通信学会,信学技報,pp.17-22,MVE2016-1(2016-06).
非特許文献1の画素値の差分を用いる手法では、背景が事前に撮影されることによって、1枚の背景画像が生成される。画像処理装置は、実写画像の画素値と背景画像の画素値との差分が大きい領域の画像を、実写画像から抽出する。画像処理装置は、背景が変化しない環境の実写画像からは、画素値の差分を用いて被写体画像を正しく抽出することができる。しかしながら、画像処理装置は、照明の変化や被写体の動きによる影の変化等がある環境の実写画像からは、被写体画像を正しく抽出することができない場合がある。
非特許文献2のDNNを用いる手法では、抽出対象である人物画像が数千枚のポートレート画像から手動で抽出されることによって、DNNの学習パラメータを定めるために使用される教師画像が予め生成される。抽出対象である人物画像が数千枚のポートレート画像から手動で抽出されるので、非特許文献2の教師画像の生成は高コストである。画像処理装置は、学習パラメータが定められたDNNを用いて、ポートレート画像から人物画像を抽出する。
非特許文献3の深度センサを用いる手法では、画像処理装置は、深度センサとカラー画像とを用いて空間の奥行き(深度)を考慮することによって、実写画像から被写体画像を高速かつ頑健に抽出することができる。しかしながら、深度センサの照射光が干渉された場合や、カメラから被写体までの距離が遠い場合には、空間の奥行きが正しく観測されないので、画像処理装置は、実写画像から被写体画像を高速かつ頑健に抽出することができない場合がある。
これらのように、従来の画像処理装置は、被写体の背景が変化する場合に実写画像から被写体画像を頑健に抽出するためのアルファ画像を低コストで生成することができない、という問題があった。
上記事情に鑑み、本発明は、被写体の背景が変化する場合に実写画像から被写体画像を頑健に抽出するためのアルファ画像を低コストで生成することが可能である画像処理装置、画像処理方法及び画像処理プログラムを提供することを目的としている。
本発明の一態様は、多視点のコンピュータ・グラフィックスによる被写体画像のアルファ画像である多視点の教師アルファ画像群と、多視点の前記被写体画像及び背景画像を含む画像である教師画像群とを生成する教師画像生成部と、前記多視点の教師画像群を単視点の教師画像群に変換する教師画像変換部と、前記単視点の教師画像群をニューラル・ネットワークの入力とし、前記多視点の教師アルファ画像群を前記ニューラル・ネットワークの出力として、前記ニューラル・ネットワークの学習パラメータを算出するパラメータ算出部と、多視点の実写画像群を単視点の実写画像群に変換する実写画像変換部と、前記単視点の実写画像群を前記ニューラル・ネットワークに入力し、前記ニューラル・ネットワークの出力である多視点のアルファ画像群を生成する画像生成部とを備える画像処理装置である。
本発明の一態様は、上記の画像処理装置であって、前記教師アルファ画像群は、前記被写体画像における被写体の姿勢、前記教師画像群の教師画像における位置及び照明の条件が異なる前記被写体画像のアルファ画像群である。
本発明の一態様は、上記の画像処理装置であって、前記教師画像群は、実写された背景の画像である前記背景画像にコンピュータ・グラフィックスによる前記被写体画像が重畳された画像群である。
本発明の一態様は、画像処理装置が実行する画像処理方法であって、多視点のコンピュータ・グラフィックスによる被写体画像のアルファ画像である多視点の教師アルファ画像群と、多視点の前記被写体画像及び背景画像を含む画像である教師画像群とを生成するステップと、前記多視点の教師画像群を単視点の教師画像群に変換するステップと、前記単視点の教師画像群をニューラル・ネットワークの入力とし、前記多視点の教師アルファ画像群を前記ニューラル・ネットワークの出力として、前記ニューラル・ネットワークの学習パラメータを算出するステップと、多視点の実写画像群を単視点の実写画像群に変換するステップと、前記単視点の実写画像群を前記ニューラル・ネットワークに入力し、前記ニューラル・ネットワークの出力である多視点のアルファ画像群を生成するステップとを含む画像処理方法である。
本発明の一態様は、コンピュータに、多視点のコンピュータ・グラフィックスによる被写体画像のアルファ画像である多視点の教師アルファ画像群と、多視点の前記被写体画像及び背景画像を含む画像である教師画像群とを生成する手順と、前記多視点の教師画像群を単視点の教師画像群に変換する手順と、前記単視点の教師画像群をニューラル・ネットワークの入力とし、前記多視点の教師アルファ画像群を前記ニューラル・ネットワークの出力として、前記ニューラル・ネットワークの学習パラメータを算出する手順と、多視点の実写画像群を単視点の実写画像群に変換する手順と、前記単視点の実写画像群を前記ニューラル・ネットワークに入力し、前記ニューラル・ネットワークの出力である多視点のアルファ画像群を生成する手順とを実行させるための画像処理プログラムである。
本発明により、被写体の背景が変化する場合に実写画像から被写体画像を頑健に抽出するためのアルファ画像を低コストで生成することが可能である。
本発明の実施形態について、図面を参照して詳細に説明する。
図1は、画像処理システム1の構成の例を示す図である。画像処理システム1は、画像処理装置10と、カメラ20−0〜20−N(Nは、1以上の整数)と、データベース30とを備える。以下では、Nは一例として2である。画像処理装置10は、画像処理を実行する情報処理装置であり、例えば、パーソナルコンピュータやサーバ装置である。
図1は、画像処理システム1の構成の例を示す図である。画像処理システム1は、画像処理装置10と、カメラ20−0〜20−N(Nは、1以上の整数)と、データベース30とを備える。以下では、Nは一例として2である。画像処理装置10は、画像処理を実行する情報処理装置であり、例えば、パーソナルコンピュータやサーバ装置である。
画像処理装置10は、カメラ20−0〜20−2によって撮影された実写画像のアルファ値(透明度)を画素ごとに表す画像であるアルファ画像を生成する。アルファ画像は、背景画像の3チャネル(RGB: Red Green Blue)のカラー解像度と同一の解像度を有する1チャネル(alpha)を用いて、アルファ値を画素ごとに表す。例えば、抽出対象である被写体画像の画素のアルファ値は、抽出対象でない背景画像の画素のアルファ値よりも大きく定められる。
なお、画像処理装置10は、静止画である1枚の実写画像(静止画フレーム)に画像処理を施すことによって1枚のアルファ画像を生成してもよいし、時間的に連続する複数の実写画像(動画フレーム)のうち少なくとも2枚に画像処理を繰り返し施すことによって複数のアルファ画像を生成してもよい。
カメラ20−0〜20−2は、互いに異なる位置(視点)から同一の被写体を撮影するカメラ(多視点カメラ)である。カメラ20−0〜20−2は、多視点の実写画像群を画像処理装置10に出力する。以下では、カメラ20−0〜20−2が出力する背景画像同士の撮影時刻は同期している。以下では、予め定められた基準視点から実景を撮影するカメラ(基準カメラ)は、カメラ20−1である。カメラ20−0〜20−2は、被写体を含まない背景を事前に撮影することによって、多視点の背景画像である背景画像群を生成する。カメラ20−0〜20−2は、背景画像群を画像処理装置10及びデータベース30に出力する。
データベース30は、記憶装置である。データベース30は、例えば、磁気ハードディスク装置や半導体記憶装置等の不揮発性の記録媒体(非一時的な記録媒体)を有する。データベース30は、例えば、多視点の背景画像である背景画像群と、コンピュータを用いて生成された画像のデータ(以下「CGデータ」という。)と、ネットワーク構造を表すデータ(以下「ネットワーク構造データ」という。)と、カメラパラメータとを記憶する。ネットワーク構造データは、DNN等のニューラル・ネットワークのネットワーク構造を表すデータである。カメラパラメータは、各カメラ20の焦点距離を表す内部パラメータと、各カメラ20の位置及び姿勢を表す外部パラメータとを含む。
データベース30は、各カメラ20から背景の所定位置までの距離の最小値及び最大値を記憶してもよい。データベース30は、カメラ20−1の撮像面に対して平行な姿勢で奥行き方向に仮想的に配置される複数の仮想平面の位置を記憶してもよい。
被写体は、特に限定されないが、以下では一例として人物である。以下では、CGデータは、複数の姿勢の被写体に関する複数の被写体画像のデータを含む。以下では、CGデータは、複数の異なる照明条件で照明された被写体に関する被写体画像のデータを含む。CGデータは、被写体画像となる人体の3次元形状モデルデータを含む。3次元形状モデルデータは、例えば、3次元形状モデルの表面の頂点座標と、メッシュ連結情報と、テクスチャ情報と、スキニングパラメータと、3次元モデルの物体構造を表す情報(リグ情報:Rig Data)と、被写体の表面における照度や人物に対する照明方向等のデータ(照明データ)を含む。
次に、画像処理装置10の構成の例を説明する。
画像処理装置10は、教師画像生成部11と、実写画像変換部12と、教師画像変換部13と、パラメータ算出部14と、画像生成部15とを備える。これら各機能部の一部又は全部は、例えば、CPU(Central Processing Unit)等のプロセッサが、記憶部に記憶されたプログラムを実行することにより実現されてもよいし、LSI(Large Scale Integration)やASIC(Application Specific Integrated Circuit)等のハードウェアを用いて実現されてもよい。
画像処理装置10は、教師画像生成部11と、実写画像変換部12と、教師画像変換部13と、パラメータ算出部14と、画像生成部15とを備える。これら各機能部の一部又は全部は、例えば、CPU(Central Processing Unit)等のプロセッサが、記憶部に記憶されたプログラムを実行することにより実現されてもよいし、LSI(Large Scale Integration)やASIC(Application Specific Integrated Circuit)等のハードウェアを用いて実現されてもよい。
教師画像生成部11は、背景画像群とCGデータとカメラパラメータとを、データベース30から取得する。背景画像群は、画像生成部15が取得する実写画像群の視点と同一の視点が撮影されている背景の画像群である。背景画像群は、被写体の背景が多視点で撮影された画像群である。背景画像群は、抽出対象である被写体画像を含まない。
図2は、教師画像生成部11の入力及び出力の例を示す図である。教師画像生成部11は、被写体画像における被写体の姿勢、教師画像における位置及び照明等の条件が異なる複数のパターンで、被写体のCGデータを生成する。教師画像生成部11は、被写体のCGデータのリグ情報を用いて、CGデータの被写体画像における被写体の姿勢を変更する。教師画像生成部11は、例えば、棒立ちをしている姿勢や両手を広げている姿勢等に、被写体画像における被写体の姿勢を変更する。教師画像生成部11は、被写体画像における被写体の姿勢をランダムに変更してもよいし、画像生成部15が取得する実写画像の被写体画像がとりうる姿勢を網羅して、被写体画像における被写体の姿勢を変更してもよい。被写体画像がとりうる姿勢とは、例えば、両手を広げない状態で両足を開かずに立っている姿勢、両手を広げた状態で両足を開かずに立っている姿勢、両手を広げない状態で両足を開いて立っている姿勢である。
教師画像生成部11は、被写体画像がレンダリングされるCGデータに基づく画像のフレーム40内のいずれの位置に被写体画像を配置してもよい。例えば、教師画像生成部11は、CGデータに基づく画像のフレーム40内に仮定された床面に足をつけて被写体が立てる範囲であって、CGデータに基づく画像のフレーム40内でレンダリングされる範囲において床面を格子状に区切ることで、床面のいずれかの格子点を被写体画像の位置として選択してもよい。
教師画像生成部11は、CGデータに基づく画像内の照明条件をランダムに変更してもよいし、画像生成部15が取得する実写画像の照明条件に類似する照明条件に、CGデータに基づく画像内の照明条件を変更してもよい。教師画像生成部11は、被写体画像の位置を中心とする半天球面上の各格子点に対応付けられた各照明条件のうちから、照明条件をランダムに選択してもよい。
教師画像生成部11は、パラメータ算出部14によってDNNの学習パラメータを定めるために使用される教師画像を、被写体の姿勢、位置及び照明等の条件が異なる複数のパターンについて生成するので、DNNの学習において必要である数万枚という大量の教師画像を低コストで生成することができる。また、教師画像生成部11は、被写体の姿勢、位置及び照明が変化しても、大量の教師画像に基づいて、実写画像から被写体画像を高速かつ頑健に抽出することができる。
教師画像生成部11は、カメラ20ごとのカメラパラメータに基づいて、多視点の前景画像群をカメラ20ごとに生成する。教師画像生成部11は、被写体画像における被写体の姿勢、位置及び照明等の条件が異なるパターンごとにCGデータにレンダリング処理を施すことによって、多視点の前景画像群を生成する。前景画像は、色情報(RGB)及びアルファ値(A)を含む4チャネル(RGBA)の画像として生成される。教師画像生成部11は、前景画像となるCGデータにおいて被写体画像をレンダリングし、前景画像の色情報を生成する。
教師画像生成部11は、前景画像となるCGデータにおいて被写体画像をレンダリングし、前景画像のアルファ値を生成する。CGデータに基づく前景画像のアルファ値において、例えば、前景画像において被写体画像がレンダリングされる領域の画素のアルファ値は0(不透明)であり、被写体の影の領域の画素のアルファ値は0より大きく1未満であり、被写体でなく影でもない背景の領域の画素のアルファ値は1(透明)である。被写体の影の領域の画素のアルファ値は、照明の強度に応じて定められてもよいし、例えば0.5のような固定値でもよい。
教師画像生成部11は、基準カメラであるカメラ20−1の視点と同一の視点に関して、CGデータにおいて被写体画像がレンダリングされた画素の値が1であり、被写体画像がレンダリングされていない画素の値が0であるアルファ画像(以下「教師アルファ画像」という。)を生成する。したがって、教師アルファ画像は、基準視点と同一の視点に関して、CGデータに基づく前景画像における被写体画像の透明度又は不透明度を表すアルファ画像である。教師アルファ画像群は、被写体画像における被写体の姿勢、教師画像における位置及び照明の条件が異なる被写体画像のアルファ画像群である。
教師画像生成部11は、取得した背景画像群のうちから、カメラ20(視点)ごとに1枚の背景画像をランダムに選択する。教師画像生成部11は、前景画像のアルファ値に基づいて前景画像を背景画像に重畳することによって、多視点の教師画像を生成する。教師画像生成部11は、多視点の教師画像を生成するので、被写体の姿勢、位置及び照明が変化しても実写画像から被写体画像を高速かつ頑健に抽出することができる。
教師画像生成部11は、被写体画像における被写体の姿勢、位置及び照明等の条件の変更に関して全てのパターンで、3次元形状モデルのレンダリング処理を実行する。被写体画像における被写体の姿勢、位置及び照明の条件の変更に関する各パターンは、予め定められる。教師画像生成部11は、多視点の教師画像群と教師アルファ画像群とを、被写体画像における被写体の姿勢、位置及び照明の条件ごとに、パラメータ算出部14に出力する。
実写画像変換部12は、カメラパラメータをデータベース30から取得する。実写画像変換部12は、多視点の実写画像群をカメラ20−0〜20−2から取得する。実写画像変換部12は、カメラ20−1から出力された単視点の実写画像における被写体の対応点を表す画素の位置とカメラ20−0から出力された実写画像における被写体の対応点を表す画素の位置とが同じとなるように、カメラ20−0から出力された実写画像における画素の位置を補正する。また、実写画像変換部12は、カメラ20−1から出力された単視点の実写画像における被写体の対応点を表す画素の位置とカメラ20−2から出力された実写画像における被写体の対応点を表す画素の位置とが同じとなるように、カメラ20−2から出力された実写画像における画素の位置を補正する。
すなわち、実写画像変換部12は、カメラ20−0及びカメラ20−2が出力した多視点の実写画像を、基準カメラであるカメラ20−1から互いに異なる奥行き距離にある複数の仮想平面(奥行き平面)に投影する。実写画像変換部12は、カメラ20−0及びカメラ20−2が出力した多視点の実写画像群を、単視点の実写画像群である実写の投影画像群にカメラパラメータに基づいて変換する。したがって、投影画像とは、カメラ20の撮像面と平行である仮想平面に仮想的に投影された単視点の画像である。投影画像は、色情報(RGB)及びアルファ値(A)を含む4チャネル(RGBA)の画像である。
図3は、仮想平面の配置の例を示す図である。図3では、カメラ20−0〜20−2は、実景を各視点から撮影した実写画像を、実写画像変換部12に出力する。カメラ20−1の撮像面に対して平行な姿勢で奥行き方向に仮想的に配置される仮想平面の数は、任意である。例えば、基準カメラと平行に配置された巨大な1個の壁が背景であり、厚みの薄い1個の被写体が前景である場合、投影画像群100が投影される仮想平面の数は、背景の位置と被写体の位置とに対応する計2枚でもよい。例えば、カメラ20−1の撮影方向(奥行き方向)に複数の被写体が連続的に分布している場合、投影画像群100が投影される仮想平面の数は、一例として数百枚でもよい。図3では、仮想平面の数(D+1)は、一例として5枚である。
実写画像変換部12は、奥行き距離の最小値及び最大値を定める。奥行き距離の最小値は、図3における投影画像群100−0からカメラ20−1までの距離d(=0)である。奥行き距離の最大値は、図3における投影画像群100−4からカメラ20−1までの距離d(=4)である。奥行き距離のインデックス番号dは、例えば、実写画像における被写体画像の面積(範囲)に基づいて定められる。
図4は、変換前の画像の例を示す図である。実写画像変換部12は、画素p0を含む実写画像S0を、カメラ20−0から取得する。実写画像変換部12は、画素p1を含む実写画像S1を、基準カメラであるカメラ20−1から取得する。実写画像変換部12は、画素p2を含む実写画像S2を、カメラ20−2から取得する。画素p0と画素p1と画素p2とは、実空間における同一の位置(視点)を表す画素である。
以下では、画素p0の画素値は、S0(p0)と表記される。画素p1の画素値は、S1(p1)と表記される。以下では、画素p2の画素値は、S2(p2)と表記される。実写画像変換部12は、多視点の実写画像群のうちから、同一時刻に撮影された実写画像群を選択する。
図5は、変換後の画像の例を示す図である。実写画像変換部12は、選択された実写画像群の全ての画素をカメラ20ごとに各仮想平面に投影することによって、図3におけるカメラ20−0〜20−2の多視点の実写画像を投影画像群100−0〜100−4にそれぞれ変換する。投影画像群100−0〜100−4の生成の手順は同様であるため、一例として、カメラ20−1から距離d(=3)の位置に仮想的に配置されている仮想平面の投影画像群100−3を生成する手順を説明する。
以下では、基準カメラからの距離dの仮想平面にカメラ20−n(nは0〜Nまでのいずれかの整数)が撮影した実写画像が仮想的に投影された結果である投影画像は、Id,nと表記される。以下では、基準カメラであるカメラ20−1の実写画像S1の一つの画素の画像座標ベクトルは、p1と表記される。以下では、実写画像S1の画像座標ベクトルp1の画素値は、S1(p1)と表記される。
いずれの仮想平面もカメラ20−1に正対しているので、投影画像Id,1の画像座標ベクトルqは、画像座標ベクトルp1と等しい。したがって、式(1)が成立する。
Id,1(q)=S1(p1) …(1)
投影画像群100−3において、カメラ20−0が撮影した実写画像に基づく投影画像I3,0の画素値I3,0(q)は、式(2)及び式(3)で表される。
I3,0(q)=S0(p0) …(2)
p0=P3,0(q) …(3)
p0=P3,0(q) …(3)
投影画像群100−3において、カメラ20−2が撮影した実写画像に基づく投影画像I3,2の画素値I3,2(q)は、式(4)及び式(5)で表される。
I3,2(q)=S0(p2) …(4)
p2=P3,2(q) …(5)
p2=P3,2(q) …(5)
式(3)及び式(5)において、投影マッピングの関数は、奥行き距離のインデックス番号dと、投影された実写画像を撮影したカメラ20の識別番号cとを用いて、Pd,cと表記される。カメラ20の識別番号cは、カメラ20−nの符号nと等しい。
投影マッピングの関数Pd,cは、識別番号cが割り当てられたカメラ20−nのカメラパラメータと、奥行き距離を表す関数F(d)とに基づいて定められる。奥行き距離を表す関数Fは、特定の関数に限定されない。例えば、奥行き距離を表す関数Fは、カメラ20からの距離が長い仮想平面ほど仮想平面同士の間隔が疎になるほうが、DNNの学習パラメータを効率的に算出できるので、例えば、式(6)のように表される。式(6)において、a及びbは、任意の定数であり、奥行き距離のインデックス番号dに応じて定められる。
F=a/(d+b) …(6)
なお、投影マッピングの関数Pd,cは、アフィン変換の関数でもよい。
実写画像変換部12は、カメラ20−0〜20−2が撮影した実写画像に基づく投影画像Id,cを、全ての仮想平面について算出する。実写画像変換部12は、実写画像に基づいて算出された投影画像Id,cを、画像生成部15に出力する。投影画像Id,cのうち、投影画像Id,0の一部の画素がカメラ20−0の画角外であり、投影画像Id,2の一部の画素がカメラ20−2の画角外であるため、投影画像Id,0及び投影画像Id,2の一部の画素の画素値は不定である。画素値が不定である画素のアルファ値は、透明を表す1である。画素値が不定でない画素のアルファ値は、不透明を表す0である。
教師画像変換部13は、多視点の教師画像群とカメラパラメータとを、教師画像生成部11から取得する。教師画像変換部13は、教師画像変換部13から取得された教師画像に基づく投影画像Id,cを、実写画像変換部12の処理と同様に、全ての仮想平面について算出する。教師画像変換部13は、教師画像に基づいて算出された投影画像Id,cである教師投影画像群を、パラメータ算出部14に出力する。
パラメータ算出部14は、ネットワーク構造データをデータベース30から取得する。パラメータ算出部14は、ネットワーク構造データによって構造が表されるDNNを有する。パラメータ算出部14は、教師アルファ画像群を教師画像生成部11から取得する。パラメータ算出部14は、教師投影画像群を教師画像変換部13から取得する。DNNである学習済みネットワークの入力層に教師投影画像群を入力することによって、DNNの学習パラメータを算出する。
図6は、学習パラメータの算出の例を示す図である。ネットワーク構造データは、例えば、畳込層の順序と、畳込層の総数と、カーネル数と、チャネル数と、プーリング層の有無と、活性化関数の種類と、ロス関数の定義等とを含む。DNNのネットワーク構造は、図6に示された構造でもよいし、例えば、畳込層の総数が変更されてもよい。なお、図6では、画像サイズを調整するための層であるゼロ・パディング層(Zero Padding layer)の記載は、省略されている。
図6では、DNNは、一例として、投影画像群100の入力層101と、投影画像群100の畳込層102〜105と、畳込層200〜400と、出力層500とを備える。入力層101は、教師投影画像の解像度と同一の解像度の3チャネル(RGB)を、カメラ20の数(N+1)と仮想平面の数(D+1)との積の数だけ積み重ねた層である。畳込層102〜105と畳込層200〜400とは、DNNにおける畳み込みと同義であり、畳み込み演算と活性化関数とを併用している層である。出力層500は、各教師投影画像の解像度と同一の解像度の1チャネル(アルファ値)のアルファ画像を出力する。
パラメータ算出部14は、カメラ20(視点)の数と仮想平面の数との積の数に等しい枚数の教師投影画像を、入力層101に入力する。パラメータ算出部14は、中間層である畳込層を連結していくことにより、幾何制約がかけられた教師投影画像を入力層101に入力することができる。これにより、中間層においてDNNが幾何制約を改めて学習する必要がないので、パラメータ算出部14は、より効率的に学習パラメータを算出することができる。
パラメータ算出部14は、学習パラメータが更新されていないDNNの入力層101に教師投影画像群を入力し教師投影画像のアルファ画像を出力層500から得るという条件で、DNNの学習パラメータを算出する。パラメータ算出部14は、DNNの学習パラメータを算出する場合、DNNの一般的な学習方法を用いてよいが、例えば、DNNの各畳込層の学習パラメータの算出には誤差逆伝搬法を用いてもよい。
パラメータ算出部14は、教師投影画像及び教師アルファ画像の全ての対について、学習パラメータを算出する。パラメータ算出部14は、算出された学習パラメータとネットワーク構造データとを、画像生成部15に出力する。
画像生成部15は、多視点の実写画像群から変換された投影画像群である実写投影画像群を、実写画像変換部12から取得する。画像生成部15は、算出された学習パラメータと、ネットワーク構造データとを、パラメータ算出部14から取得する。すなわち、画像生成部15は、学習済みネットワークのデータを、パラメータ算出部14から取得する。
画像生成部15は、基準カメラであるカメラ20−1が撮影した実写画像のアルファ画像を、カメラ20−1が撮影した実写画像と学習済みネットワークとを用いて生成する。すなわち、画像生成部15は、DNNである学習済みネットワークの入力層に実写投影画像群を入力することによって、学習済みネットワークの出力層の出力値として、実写画像に基づく投影画像である実写投影画像群のアルファ画像を得る。
次に、画像処理装置10の動作の例を説明する。
図7は、教師画像生成部11の動作の例を示すフローチャートである。教師画像生成部11は、被写体のCGデータと、背景画像群と、カメラパラメータとを取得する(ステップS101)。教師画像生成部11は、前景画像における被写体画像における被写体の姿勢、位置及び照明等の条件を変更する(ステップS102)。教師画像生成部11は、背景画像をカメラ20ごとに選択する(ステップS103)。
図7は、教師画像生成部11の動作の例を示すフローチャートである。教師画像生成部11は、被写体のCGデータと、背景画像群と、カメラパラメータとを取得する(ステップS101)。教師画像生成部11は、前景画像における被写体画像における被写体の姿勢、位置及び照明等の条件を変更する(ステップS102)。教師画像生成部11は、背景画像をカメラ20ごとに選択する(ステップS103)。
教師画像生成部11は、前景画像となるCGデータにおいて被写体画像をレンダリングすることによって、前景画像の色情報を生成する(ステップS104)。教師画像生成部11は、前景画像となるCGデータにおいて被写体画像をレンダリングした結果に基づいて、前景画像のアルファ値を生成する(ステップS105)。教師画像生成部11は、条件の全てのバリエーションに関してレンダリングが完了したか否かを判定する(ステップS106)。
いずれかの条件に関してレンダリングが完了していない場合(ステップS106:NO)、教師画像生成部11は、ステップS102に処理を戻す。条件の全てのバリエーションに関してレンダリングが完了した場合(ステップS106:YES)、教師画像生成部11は、前景画像の色情報及びアルファ値を含む教師アルファ画像群とカメラパラメータとを、教師画像変換部13に出力する。教師画像生成部11は、教師画像群をパラメータ算出部14に出力する(ステップS107)。教師画像生成部11は、処理を終了する。
図8は、実写画像変換部12の動作の例を示すフローチャートである。実写画像変換部12は、実写画像群とカメラパラメータとを、カメラ20ごとに取得する(ステップS201)。実写画像変換部12は、奥行き距離の最小値及び最大値を、データベース30から取得する(ステップS202)。実写画像変換部12は、1枚の実写画像を実写画像群から選択する(ステップS203)。実写画像変換部12は、実写画像の全ての画素を、予め定められた全ての仮想平面にそれぞれ投影する(ステップS204)。
実写画像変換部12は、仮想平面ごとの実写投影画像を、カメラ20ごとに画像生成部15に出力する(ステップS205)。実写画像変換部12は、全ての実写画像に関して処理が完了したか否かを判定する(ステップS206)。いずれかの実写画像に関して処理が完了していない場合(ステップS206:NO)、実写画像変換部12は、ステップS203に処理を戻す。全ての実写画像に関して処理が完了している場合(ステップS206:YES)、実写画像変換部12は、処理を終了する。
図9は、教師画像変換部13の動作の例を示すフローチャートである。教師画像変換部13は、教師画像群とカメラパラメータとを、カメラ20ごとに取得する(ステップS301)。教師画像変換部13は、奥行き距離の最小値及び最大値を、データベース30から取得する(ステップS302)。教師画像変換部13は、1枚の教師画像を教師画像群から選択する(ステップS303)。教師画像変換部13は、教師画像の全ての画素を、予め定められた全ての仮想平面にそれぞれ投影する(ステップS304)。
教師画像変換部13は、仮想平面ごとの教師投影画像を、カメラ20ごとにパラメータ算出部14に出力する(ステップS305)。教師画像変換部13は、全ての教師画像に関して処理が完了したか否かを判定する(ステップS306)。いずれかの教師画像に関して処理が完了していない場合(ステップS306:NO)、教師画像変換部13は、ステップS203に処理を戻す。全ての教師画像に関して処理が完了している場合(ステップS306:YES)、教師画像変換部13は、処理を終了する。
図10は、パラメータ算出部14の動作の例を示すフローチャートである。パラメータ算出部14は、教師投影画像群を教師画像変換部13から取得する。パラメータ算出部14は、教師アルファ画像群を教師画像生成部11から取得する。パラメータ算出部14は、DNNのネットワーク構造データを、データベース30から取得する(ステップS401)。
パラメータ算出部14は、教師投影画像群から教師投影画像を選択する。パラメータ算出部14は、選択された教師投影画像をDNNの入力層に入力する(ステップS402)。パラメータ算出部14は、選択された教師アルファ画像をDNNの出力層から得ると定める(ステップS403)。パラメータ算出部14は、DNNの学習パラメータを、DNNの畳込層ごとに算出する(ステップS404)。
パラメータ算出部14は、予め定められた全ての教師投影画像に関して処理が完了したか否かを判定する(ステップS405)。いずれかの教師投影画像に関して処理が完了していない場合(ステップS405:NO)、パラメータ算出部14は、ステップS402に処理を戻す。全ての教師投影画像に関して処理が完了した場合(ステップS405:YES)、パラメータ算出部14は、算出された学習パラメータを、画像生成部15に出力する(ステップS406)。
図11は、画像生成部15の動作の例を示すフローチャートである。画像生成部15は、実写投影画像群を実写画像変換部12から取得する。画像生成部15は、DNNの畳込層ごとに算出された学習パラメータをパラメータ算出部14から取得する(ステップS501)。画像生成部15は、算出された学習パラメータに基づいて、学習済みネットワークの出力層の出力値として、実写投影画像のアルファ画像を投影画像群について生成する(ステップS502)。
以上のように、実施形態の画像処理装置10は、教師画像生成部11と、実写画像変換部12と、教師画像変換部13と、パラメータ算出部14と、画像生成部15とを備える。教師画像生成部11は、多視点のコンピュータ・グラフィックスによる被写体画像のアルファ画像である多視点の教師アルファ画像群と、多視点の被写体画像及び背景画像を含む画像である教師画像群とを生成する。教師画像変換部13は、多視点の教師画像群を単視点の教師画像群(教師投影画像群)に変換する。教師画像群は、実写された背景の画像である背景画像にコンピュータ・グラフィックスによる被写体画像が重畳された画像群である。パラメータ算出部14は、単視点の教師画像群をニューラル・ネットワークの入力とし、多視点の教師アルファ画像群をニューラル・ネットワークの出力として、DNN等のニューラル・ネットワークの学習パラメータを算出する。実写画像変換部12は、多視点の実写画像群を単視点の実写画像群(実写投影画像群)に変換する。画像生成部15は、学習パラメータが定められたニューラル・ネットワークに単視点の実写画像群を入力し、ニューラル・ネットワークの出力である多視点のアルファ画像群を生成する。
これによって、実施形態の画像処理装置10は、被写体の背景が変化する場合に実写画像から被写体画像を頑健に抽出するためのアルファ画像を低コストで生成することが可能である。
実施形態の画像処理装置10は、コンピュータ・グラフィックスによって意図的に条件を変えて被写体画像をレンダリングした多視点のCGデータを、事前に撮影した多視点の背景画像群に重畳する。実施形態の画像処理装置10は、重畳によって得られた多視点の教師画像を教師投影画像群に変換する。実施形態の画像処理装置10は、教師投影画像群をDNNの教師画像として生成するので、教師画像の作成コストを削減することができる。実施形態の画像処理装置10は、DNNの教師画像を大量に生成するので、被写体の背景が変化したとしても頑健に被写体画像を抽出することができる。
実施形態の画像処理装置10は、CGデータである被写体画像をそれぞれ含む教師アルファ画像群を生成するので、教師画像を簡単かつ大量に用意することができる。実施形態の画像処理装置10は、CGデータに基づく画像のフレーム内で照明を意図的に操作し、レンダリング処理によって教師アルファ画像を生成するので、被写体の影の領域を被写体の陰でないとして誤検出する確率を低下させることができる。
実施形態の画像処理装置10は、撮影会場で事前に撮影した実写の背景画像に被写体画像を重畳することによって、教師画像を生成する。これによって、実施形態の画像処理装置10は、撮影会場に特化した学習をパラメータ算出部14(DNN)が実行することができるので、被写体の背景が変化したとしても頑健に被写体画像を抽出することができる。
上述した実施形態における画像処理装置の少なくとも一部をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、FPGA(Field Programmable Gate Array)等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
本発明は、静止画又は動画である実写画像から被写体画像を抽出するためのアルファ画像を生成する画像処理装置に適用可能である。
1…画像処理システム、10…画像処理装置、11…教師画像生成部、12…実写画像変換部、13…教師画像変換部、14…パラメータ算出部、15…画像生成部、20…カメラ、30…データベース、40…フレーム、100…投影画像群、101…入力層、102…畳込層、103…畳込層、104…畳込層、105…畳込層、200…畳込層、300…畳込層、400…畳込層、500…出力層
Claims (5)
- 多視点のコンピュータ・グラフィックスによる被写体画像のアルファ画像である多視点の教師アルファ画像群と、多視点の前記被写体画像及び背景画像を含む画像である教師画像群とを生成する教師画像生成部と、
前記多視点の教師画像群を単視点の教師画像群に変換する教師画像変換部と、
前記単視点の教師画像群をニューラル・ネットワークの入力とし、前記多視点の教師アルファ画像群を前記ニューラル・ネットワークの出力として、前記ニューラル・ネットワークの学習パラメータを算出するパラメータ算出部と、
多視点の実写画像群を単視点の実写画像群に変換する実写画像変換部と、
前記単視点の実写画像群を前記ニューラル・ネットワークに入力し、前記ニューラル・ネットワークの出力である多視点のアルファ画像群を生成する画像生成部と
を備える画像処理装置。 - 前記教師アルファ画像群は、前記被写体画像における被写体の姿勢、前記教師画像群の教師画像における位置及び照明の条件が異なる前記被写体画像のアルファ画像群である、請求項1に記載の画像処理装置。
- 前記教師画像群は、実写された背景の画像である前記背景画像にコンピュータ・グラフィックスによる前記被写体画像が重畳された画像群である、請求項1又は請求項2に記載の画像処理装置。
- 画像処理装置が実行する画像処理方法であって、
多視点のコンピュータ・グラフィックスによる被写体画像のアルファ画像である多視点の教師アルファ画像群と、多視点の前記被写体画像及び背景画像を含む画像である教師画像群とを生成するステップと、
前記多視点の教師画像群を単視点の教師画像群に変換するステップと、
前記単視点の教師画像群をニューラル・ネットワークの入力とし、前記多視点の教師アルファ画像群を前記ニューラル・ネットワークの出力として、前記ニューラル・ネットワークの学習パラメータを算出するステップと、
多視点の実写画像群を単視点の実写画像群に変換するステップと、
前記単視点の実写画像群を前記ニューラル・ネットワークに入力し、前記ニューラル・ネットワークの出力である多視点のアルファ画像群を生成するステップと
を含む画像処理方法。 - コンピュータに、
多視点のコンピュータ・グラフィックスによる被写体画像のアルファ画像である多視点の教師アルファ画像群と、多視点の前記被写体画像及び背景画像を含む画像である教師画像群とを生成する手順と、
前記多視点の教師画像群を単視点の教師画像群に変換する手順と、
前記単視点の教師画像群をニューラル・ネットワークの入力とし、前記多視点の教師アルファ画像群を前記ニューラル・ネットワークの出力として、前記ニューラル・ネットワークの学習パラメータを算出する手順と、
多視点の実写画像群を単視点の実写画像群に変換する手順と、
前記単視点の実写画像群を前記ニューラル・ネットワークに入力し、前記ニューラル・ネットワークの出力である多視点のアルファ画像群を生成する手順と
を実行させるための画像処理プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017064978A JP2018169690A (ja) | 2017-03-29 | 2017-03-29 | 画像処理装置、画像処理方法及び画像処理プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017064978A JP2018169690A (ja) | 2017-03-29 | 2017-03-29 | 画像処理装置、画像処理方法及び画像処理プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2018169690A true JP2018169690A (ja) | 2018-11-01 |
Family
ID=64020270
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017064978A Pending JP2018169690A (ja) | 2017-03-29 | 2017-03-29 | 画像処理装置、画像処理方法及び画像処理プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2018169690A (ja) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020152927A1 (ja) * | 2019-01-22 | 2020-07-30 | 日本金銭機械株式会社 | 学習用データ生成方法、学習用データ生成装置、および、推論処理方法 |
JP2020141995A (ja) * | 2019-03-08 | 2020-09-10 | 富士フイルム株式会社 | 内視鏡画像学習装置、方法及びプログラム、内視鏡画像認識装置 |
JP2020166473A (ja) * | 2019-03-29 | 2020-10-08 | 三井情報株式会社 | 学習済みモデル生成装置、プログラム及び学習済みモデル生成システム |
JP6775697B1 (ja) * | 2019-06-20 | 2020-10-28 | 三菱電機株式会社 | 学習用データ生成装置、学習用データ生成方法、学習用データ生成プログラム、学習装置、学習方法、学習プログラム、推論装置、推論方法、推論プログラム、学習システム、及び推論システム |
JP2020201213A (ja) * | 2019-06-13 | 2020-12-17 | 株式会社神戸製鋼所 | ヒューム量推定システム、ヒューム量推定方法、学習装置、推定装置、及びプログラム |
JP2021196755A (ja) * | 2020-06-11 | 2021-12-27 | 日本電信電話株式会社 | 画像処理装置、画像処理方法及び画像処理プログラム |
JP2022501688A (ja) * | 2019-08-22 | 2022-01-06 | ベイジン センスタイム テクノロジー ディベロップメント カンパニー リミテッド | 画像処理方法及び装置、電子機器並びに記憶媒体 |
JPWO2022054124A1 (ja) * | 2020-09-08 | 2022-03-17 | ||
CN110399821B (zh) * | 2019-07-17 | 2023-05-30 | 上海师范大学 | 基于人脸表情识别的顾客满意度获取方法 |
JP7482070B2 (ja) | 2021-03-16 | 2024-05-13 | 株式会社東芝 | 学習方法、プログラム及び画像処理装置 |
-
2017
- 2017-03-29 JP JP2017064978A patent/JP2018169690A/ja active Pending
Cited By (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020119127A (ja) * | 2019-01-22 | 2020-08-06 | 日本金銭機械株式会社 | 学習用データ生成方法、プログラム、学習用データ生成装置、および、推論処理方法 |
WO2020152927A1 (ja) * | 2019-01-22 | 2020-07-30 | 日本金銭機械株式会社 | 学習用データ生成方法、学習用データ生成装置、および、推論処理方法 |
JP7128135B2 (ja) | 2019-03-08 | 2022-08-30 | 富士フイルム株式会社 | 内視鏡画像学習装置、方法及びプログラム、内視鏡画像認識装置 |
JP2020141995A (ja) * | 2019-03-08 | 2020-09-10 | 富士フイルム株式会社 | 内視鏡画像学習装置、方法及びプログラム、内視鏡画像認識装置 |
US11450079B2 (en) | 2019-03-08 | 2022-09-20 | Fujifilm Corporation | Endoscopic image learning device, endoscopic image learning method, endoscopic image learning program, and endoscopic image recognition device |
JP2020166473A (ja) * | 2019-03-29 | 2020-10-08 | 三井情報株式会社 | 学習済みモデル生成装置、プログラム及び学習済みモデル生成システム |
JP7267068B2 (ja) | 2019-03-29 | 2023-05-01 | 三井情報株式会社 | 学習済みモデル生成装置、プログラム及び学習済みモデル生成システム |
JP7150666B2 (ja) | 2019-06-13 | 2022-10-11 | 株式会社神戸製鋼所 | ヒューム量推定システム、ヒューム量推定方法、学習装置、推定装置、及びプログラム |
JP2020201213A (ja) * | 2019-06-13 | 2020-12-17 | 株式会社神戸製鋼所 | ヒューム量推定システム、ヒューム量推定方法、学習装置、推定装置、及びプログラム |
US20220075059A1 (en) * | 2019-06-20 | 2022-03-10 | Mitsubishi Electric Corporation | Learning data generation device, learning data generation method, learning data generation program, learning device, learning method, learning program, inference device, inference method, inference program, learning system, and inference system |
WO2020255326A1 (ja) * | 2019-06-20 | 2020-12-24 | 三菱電機株式会社 | 学習用データ生成装置、学習用データ生成方法、学習用データ生成プログラム、学習装置、学習方法、学習プログラム、推論装置、推論方法、推論プログラム、学習システム、及び推論システム |
DE112019007342B4 (de) | 2019-06-20 | 2023-12-14 | Mitsubishi Electric Corporation | Lerndaten-erzeugungsvorrichtung, lerndaten-erzeugungsverfahren, lerndatenerzeugungsprogramm, lernvorrichtung, lernverfahren, lernprogramm, inferenzvorrichtung, inferenzverfahren, inferenzprogramm, lernsystem und inferenzsystem |
JP6775697B1 (ja) * | 2019-06-20 | 2020-10-28 | 三菱電機株式会社 | 学習用データ生成装置、学習用データ生成方法、学習用データ生成プログラム、学習装置、学習方法、学習プログラム、推論装置、推論方法、推論プログラム、学習システム、及び推論システム |
CN110399821B (zh) * | 2019-07-17 | 2023-05-30 | 上海师范大学 | 基于人脸表情识别的顾客满意度获取方法 |
JP2022501688A (ja) * | 2019-08-22 | 2022-01-06 | ベイジン センスタイム テクノロジー ディベロップメント カンパニー リミテッド | 画像処理方法及び装置、電子機器並びに記憶媒体 |
JP7481171B2 (ja) | 2020-06-11 | 2024-05-10 | 日本電信電話株式会社 | 画像処理装置、画像処理方法及び画像処理プログラム |
JP2021196755A (ja) * | 2020-06-11 | 2021-12-27 | 日本電信電話株式会社 | 画像処理装置、画像処理方法及び画像処理プログラム |
WO2022054124A1 (ja) * | 2020-09-08 | 2022-03-17 | 楽天グループ株式会社 | 画像判定装置、画像判定方法及びプログラム |
US20220309648A1 (en) * | 2020-09-08 | 2022-09-29 | Rakuten Group, Inc. | Image judgement apparatus, image judgement method and non-transitory computer readable medium |
JP7401688B2 (ja) | 2020-09-08 | 2023-12-19 | 楽天グループ株式会社 | 画像判定装置、画像判定方法及びプログラム |
JPWO2022054124A1 (ja) * | 2020-09-08 | 2022-03-17 | ||
JP7482070B2 (ja) | 2021-03-16 | 2024-05-13 | 株式会社東芝 | 学習方法、プログラム及び画像処理装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2018169690A (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
CN107993216B (zh) | 一种图像融合方法及其设备、存储介质、终端 | |
JP7003994B2 (ja) | 画像処理装置および方法 | |
WO2017183470A1 (ja) | 三次元再構成方法 | |
JP6735592B2 (ja) | 画像処理装置及びその制御方法、画像処理システム | |
TW201915944A (zh) | 圖像處理方法、裝置、系統和儲存介質 | |
JP6793151B2 (ja) | オブジェクトトラッキング装置、オブジェクトトラッキング方法およびオブジェクトトラッキングプログラム | |
TW201520973A (zh) | 三維立體模型之建立方法和裝置 | |
JP2009515493A (ja) | カメラ動きの決定 | |
KR102152432B1 (ko) | 동적 3차원 모델을 이용한 실사 콘텐츠 생성 시스템 및 방법 | |
JP2013083505A (ja) | 3次元座標位置推定装置、その方法、そのプログラムおよび3次元座標推定システム、ならびに、カメラ較正情報生成装置 | |
US11315313B2 (en) | Methods, devices and computer program products for generating 3D models | |
US20200057778A1 (en) | Depth image pose search with a bootstrapped-created database | |
JP2018124939A (ja) | 画像合成装置、画像合成方法、及び画像合成プログラム | |
WO2021035627A1 (zh) | 获取深度图的方法、装置及计算机存储介质 | |
JPWO2020075252A1 (ja) | 情報処理装置、プログラム及び情報処理方法 | |
US11417019B2 (en) | Detection of a calibration object for modifying image parameters | |
Su et al. | Virtualpose: Learning generalizable 3d human pose models from virtual data | |
KR20180000696A (ko) | 적어도 하나의 라이트필드 카메라를 사용하여 입체 이미지 쌍을 생성하는 방법 및 장치 | |
US20220005224A1 (en) | Automatic detection of a calibration object for modifying image parameters | |
CN110288707B (zh) | 一种三维动态建模的方法及其*** | |
JP2007109126A (ja) | 移動体分布推定装置、移動体分布推定方法及び移動体分布推定プログラム | |
CN113706692B (zh) | 三维图像重构方法、装置、电子设备以及存储介质 | |
JP5478533B2 (ja) | 全方位画像生成方法、画像生成装置およびプログラム | |
TWI595446B (zh) | 擴充實境中基於深度攝影機之遮蔽邊緣品質改善方法 |