JP2023021735A - 画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】オブジェクトの一部を残像のように表現した仮想視点画像を得られるようにする。【解決手段】複数の撮像装置にて連続して同期撮像された期間における複数の時刻それぞれに対応するオブジェクトの形状データを取得する。また、オブジェクトの一部である特定部位を決定する。そして、複数の時刻のうち基準時刻におけるオブジェクトの形状データ及び複数の時刻のうち基準時刻とは異なる特定時刻におけるオブジェクトの特定部位の形状データを仮想視点に投影して、仮想視点画像を生成する。【選択図】図４

Description

本開示は、複数の撮像画像に基づいて仮想視点画像を生成する技術に関する。

複数の撮像装置を異なる位置に設置し、被写体（オブジェクト）を同期撮像することにより得られる複数の撮像画像を用いて、仮想視点からの見えを表す仮想視点画像を生成する技術がある。この仮想視点画像を応用した技術として特許文献１には、特定のオブジェクトを所望の仮想視点から見た仮想視点画像を異なる時点それぞれについて生成し、それらを重畳表示することでオブジェクトの軌跡を表現する手法が開示されている。

特開２０２１－１３０９５号公報

小川原光一，李 暁路，池内克史，"関節構造を持つ柔軟変形モデルを用いた人体運動の推定"、 Proc. of MIRU2006， pp.994-999，2006．

仮想視点画像においてオブジェクトの動きのある部分だけ（例えば人物の腕だけ）を残像として表現したい場合がある。この点、上記特許文献１の手法では腕以外の動きのない部分も残像として表現されることになり、動きのある腕だけが残像のように表現された仮想視点画像を得ることはできなかった。

本開示に係る画像処理装置は、複数の撮像装置にて連続して撮像される期間における複数の時刻それぞれに対応するオブジェクトの形状データを取得する取得手段と、前記オブジェクトの一部である特定部位を決定する決定手段と、前記複数の時刻のうち基準時刻における前記オブジェクトの形状データと、前記複数の時刻のうち前記基準時刻とは異なる特定時刻における前記オブジェクトの特定部位の形状データとを用いて仮想視点に対応する仮想視点画像を生成する生成手段と、を有することを特徴とする。

本開示の技術によれば、オブジェクトの一部を残像のように表現した仮想視点画像を得ることができる。

画像処理システムの構成の一例を示す図。 画像処理装置のハードウェア構成の一例を示す図。 画像処理装置のソフトウェア構成の一例を示す図。 実施形態１に係る、仮想視点画像の生成処理の流れを示すフローチャート。 （ａ）及び（ｂ）は、特定部位の検出を説明する図。 （ａ）～（ｄ）は、３Ｄモデルの投影画像を示す図。 （ａ）及び（ｂ）は、投影画像の合成処理を説明する図。 （ａ）～（ｃ）は、残像表現の一例を示す図。 実施形態２に係る、仮想視点画像の生成処理の流れを示すフローチャート。 部位指定用ＵＩ画面の一例を示す図。 （ａ）及び（ｂ）は、合成時の調整を説明する図。 （ａ）及び（ｂ）は、残像表現の一例を示す図。

以下、本実施形態を実施するための形態について図面などを参照して説明する。なお、以下の実施形態は、本開示の技術を限定するものではなく、また、以下の実施形態で説明されている全ての構成が課題を解決するための手段に必須であるとは限らない。

［実施形態１］
はじめに、仮想視点画像の概要を簡単に説明する。仮想視点画像は、実際のカメラ視点とは異なる、仮想的なカメラ視点（仮想視点）からの見えを表す画像であり、自由視点画像とも呼ばれる。仮想視点は、ユーザがコントローラを操作して直接指定したり、例えば予め設定された複数の仮想視点候補の中から選択したりするといった方法により設定される。なお、仮想視点画像には、動画と静止画の両方が含まれるが、以下の実施形態では、動画を例に説明を行うものとする。動画の仮想視点画像を生成する場合、仮想視点は固定でもよいし、オブジェクトの動きに合わせて追随するように変化してもよい。

＜システム構成について＞
図１は、本実施形態に係る、仮想視点画像を生成するための画像処理システムの構成の一例を示す図である。画像処理システム１００は、複数の撮像装置（カメラ）１０１、画像処理装置１０２、コントローラ１０３及び表示装置１０４を有する。画像処理システム１００では、複数のカメラ１０１の同期撮像による複数の撮像画像に基づいて、画像処理装置１０２が仮想視点画像を生成し、表示装置１０４に表示する。

カメラ１０１はオブジェクトを取り囲むように設置され、各カメラ１０１が時刻同期してオブジェクトを撮像する。ただし、スタジオやコンサートホールなど設置場所に制限がある場合には、複数のカメラ１０１は撮像対象領域の一部の方向にのみ設置されることになる。各カメラ１０１は、例えば、シリアルデジタルインタフェイス（ＳＤＩ）に代表される映像信号インタフェイスを備えたデジタル方式のビデオカメラにより実現される。各カメラ１０１は、出力する映像信号に対しタイムコードに代表される時刻情報を付加して、画像処理装置１０２に送信する。この際、カメラの三次元位置（x，y，z）、撮像方向（パン、チルト、ロール）、画角、解像度といった撮像パラメータセットも併せて送信される。撮像パラメータセットは、各カメラ１０１について公知のカメラキャリブレーションを行って予め算出し記憶しておく。

画像処理装置１０２は、複数のカメラ１０１が同期撮像して得た複数の撮像画像に基づき、オブジェクトの一部を残像のように表現した仮想視点画像を生成する。具体的には、前景となるオブジェクトの形状データの生成、当該オブジェクトのうち残像表現の対象となる動きのある一部（特定部位）の設定、オブジェクトの形状データの仮想視点への投影、投影画像の合成などを行なう。画像処理装置１０２の機能の詳細は後述する。

コントローラ１０３は、画像処理装置１０２に仮想視点画像を生成させるためユーザが操作する制御装置である。オペレータは、コントローラ１０３が有するジョイスティックやキーボード等の入力装置を介して、仮想視点画像を生成するために必要な各種の設定やデータ入力等を行う。具体的には、撮像空間内の仮想視点（仮想カメラ）の三次元位置、視線方向、画角、解像度、画像生成に必要なタイムコードなどを指定する。ここでタイムコードが表す時刻には、上記複数の撮像画像の撮像期間のうち仮想視点画像生成の開始及び終了の時刻、キーフレームの時刻（残像表現を行う際の基準時刻）などがある。こうしてユーザ指定に基づき設定された仮想視点画像生成のための情報（以下、「仮想視点情報」と呼ぶ。）は、画像処理装置１０２に送信される。

表示装置１０４は、画像処理装置１０２から送られてくる画像データ（グラフィカルユーザインタフェイスのためのＵＩ画面のデータや仮想視点画像のデータ）を取得して表示する。表示装置１０４は、例えば、液晶ディスプレイ、プロジェクタ、ヘッドマウントディスプレイ等で実現される。

＜ハードウェア構成について＞
図２は、画像処理装置１０２のハードウェア構成の一例を示す図である。情報処理装置である画像処理装置１０２は、ＣＰＵ２１１、ＲＯＭ２１２、ＲＡＭ２１３、補助記憶装置２１４、操作部２１５、通信Ｉ／Ｆ２１６、及びバス２１７を有する。

ＣＰＵ２１１は、ＲＯＭ２１２またはＲＡＭ２１３に格納されているコンピュータプログラムおよびデータを用いて画像処理装置１０２の全体を制御することで、画像処理装置１０２の各機能を実現する。なお、画像処理装置１０２は、ＣＰＵ２１１とは異なる専用の１又は複数のハードウェアあるいはＧＰＵ（Graphics Processing Unit）を有していてもよい。そして、ＣＰＵ２１１による処理の少なくとも一部をＧＰＵあるいは専用のハードウェアが行うようにしても良い。専用のハードウェアの例としては、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、およびＤＳＰ（デジタルシグナルプロセッサ）などがある。

ＲＯＭ２１２は、変更を必要としないプログラムなどを格納する。ＲＡＭ２１３は、補助記憶装置２１４から供給されるプログラムやデータ、及び通信Ｉ／Ｆ２１７を介して外部から供給されるデータなどを一時記憶する。補助記憶装置２１４は、例えばハードディスクドライブ等で構成され、画像データや音量データなどの種々のデータを記憶する。

操作部２１５は、例えばキーボードやマウス等で構成され、ユーザによる操作を受けて各種の指示をＣＰＵ２１１に入力する。ＣＰＵ２１１は、表示装置１０４を制御する表示制御部、及び操作部２１５を制御する操作制御部として動作する。通信Ｉ／Ｆ２１６は、画像処理装置１０２の外部の装置との通信に用いられる。例えば、画像処理装置１０２が外部の装置と有線で接続される場合には、通信用のケーブルが通信Ｉ／Ｆ２１６に接続される。画像処理装置１０２が外部の装置と無線通信する機能を有する場合には、通信Ｉ／Ｆ２１６はアンテナを備える。

バス２１７は、画像処理装置１０２の各部を繋いで情報を伝達する。なお、本実施形態では、コントローラ１０３及び表示装置１０４を外部装置として設けているが、いずれも画像処理装置１０２の機能部の１つとして内在する形で設けてもよい。

＜ソフトウェア構成について＞
図３は、画像処理装置１０２のソフトウェア構成の一例を示す図である。画像処理装置１０２は、データ取得部３００、モデル生成部３０１、モデル解析部３０２、仮想視点画像生成部３０３を有する。そして、仮想視点画像生成部３０３は、投影部３０４と合成部３０５とを有する。以下、各部の機能について説明する。

データ取得部３００は、仮想視点画像の生成に用いる各種データ、具体的には、各カメラ１０１で同期撮像された複数の撮像画像データ及びカメラ１０１毎の撮像パラメータセット、及び仮想視点情報を取得する。取得したデータは、補助記憶装置２１４に記憶される。

モデル生成部３０１は、複数の撮像画像と各カメラ１０１の撮像パラメータセットとに基づき、舞台演者など前景となるオブジェクトの三次元形状を表す形状データ（以下、「前景モデル」と呼ぶ。）を、例えば視体積交差法によって生成する。本実施形態の前景モデルは、テクスチャ付きポリゴンメッシュや各点に色の付いた三次元点群などで表現され、例えばスタンフォードＰＬＹやウェーブフロントＯＢＪといった汎用のフォーマットファイルにて生成される。なお、前景モデルは、色情報を持たない形状データでもよい。この場合、後述の投影部３０４において、仮想視点に対応した色を付ける処理（テクスチャマッピング）を行うことになる。生成した前景モデルは、補助記憶装置２１４に記憶される。

モデル解析部３０２は、モデル生成部３０１で生成された前景モデルの複数時刻に亘る形状変化（動き）を解析して、前景モデルのうち変化量の大きい部分を検出し、残像表現の対象となる特定部位を決定する。

投影部３０４は、コントローラ１０３から入力される仮想視点情報に基づき、前景モデルを仮想視点に投影して、仮想視点に対応した投影画像を生成する。ここで、投影対象には、上述の前景モデルに加え、当該前景モデルの特定部位に対応する形状データ（以下、「部分モデル」と呼ぶ。）や背景となるオブジェクトの形状データ（以下、「背景モデル」と呼ぶ。）が含まれる。背景モデルは、舞台設備など背景となるオブジェクトの三次元形状を表す色情報付きの形状データであり、予め生成し補助記憶装置２１４に記憶しておく。背景モデルの生成は、ＣＡＤなどの設計データを用いてもよいし、レーザースキャナーなどでスキャンした形状と色データを用いてもよい。あるいは複数視点の撮像画像からＳｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎなどのコンピュータビジョンの技術を用いて生成してもよい。

合成部３０５は、投影部３０４が各３Ｄモデル（前景モデル、部分モデル、背景モデル）を仮想視点に投影することで得られた投影画像を合成し、特定部位を残像のように表現した仮想視点画像を生成する。生成した仮想視点画像のデータは表示装置１０４へ送信される。

なお、上述した各機能部は、複数の画像処理装置に分散されていてもよい。例えば、データ取得部３００及びモデル生成部３０１を第１の画像処理装置が有し、モデル解析部３０２と仮想視点画像生成部３０３を第２の画像処理装置が有する、といった構成でもよい。

＜仮想視点画像の生成フロー＞
次に、画像処理装置１０２における仮想視点画像の生成フローについて、図４のフローチャートを参照して説明する。図４のフローチャートが示す一連の処理は、ＣＰＵ２１１が、ＲＯＭ２１２又は補助記憶装置２１４等に格納された制御プログラムを読み出してＲＡＭ２１３に展開し、これを実行することで実現される。なお、以下の説明において記号「Ｓ」はステップを意味する。

Ｓ４０１では、データ取得部３００が、連続する期間（例えば５ｓｅｃ）の複数の撮像画像データ、各カメラ１０１の撮像パラメータセット、及び仮想視点情報を取得する。取得されたデータはＲＡＭ２１３に展開して保持される。

Ｓ４０２では、モデル生成部３０１が、Ｓ４０１にて取得された撮像画像データと撮像パラメータセットを用いて、上記連続する期間のうち注目する基準時刻ｔから過去又は未来の複数時刻それぞれに対応する前景モデルを生成する。ここで、注目する時刻は、例えば取得された連続する期間のうちタイムコードによって指定された特定のキーフレームに対応する時刻である。また、前景モデルを生成する対象の過去又は未来の複数時刻については、予め設定しておいてもよいし、仮想視点情報において指定してもよい。

Ｓ４０３では、モデル解析部３０２が、Ｓ４０２で生成された前景モデルの形状の経時変化を解析し、残像表現を行いたい特定部位を決定する。具体的には、生成された複数時刻分の前景モデルに基づき、時間の経過に伴って大きな動きのある部位を検出し、当該部位を残像表現の処理対象となる特定部位として決定する。図５（ａ）は、特定部位の検出を説明する図であり、異なる時刻それぞれに対応する前景モデルを同一空間のy軸上で重畳して示した図である。また、図５（ｂ）は、時刻間の関係を示す図である。図５（ｂ）において、細い両方向矢印５０１は仮想視点画像の生成範囲を示し、太い両方向矢印５０２は残像として表現する範囲を示す。時刻ｔ－ｎは、範囲５０２のうちの基準時刻ｔ以外の時刻であり、変数ｎは上述の“過去又は未来の複数時刻”に対応した任意の整数を取る。例えば“ｎ＝１”であれば基準時刻ｔの１時刻過去、“ｎ＝２”であれば２時刻過去を表し、“ｎ＝－１”であれば基準時刻ｔの１時刻未来を表すことになる。いま、図５（ａ）において一点鎖線は時刻ｔ－１における前景モデルの左腕部分を表し、二点鎖線は時刻ｔ－２における前景モデルの左腕部分を表している。つまり、時刻ｔ－２から基準時刻ｔに掛けて左腕部分だけが動いていることを意味する。これは、前景モデルが表す形状のうち左腕に相当する部分だけ、範囲５０２が示す異なる時刻間の変化量が大きいことになる。このように、異なる時刻間の前景モデルの変化量を算出することで前景オブジェクトの動きのある部位を検出することができる。変化量の算出には、例えばポリゴンメッシュ形式の前景モデルであればポリゴン間の距離を利用できる。すなわち、ある時刻における前景モデルの各頂点から別の時刻における前景モデルの各頂点に対し、法線方向に最近傍点を探索し、別の時刻における前景モデルのメッシュとの接点を最近傍点とする。そして頂点と最近傍点の距離を符号付距離で求める。符号付距離とは、頂点から見て最近傍点がメッシュの外側にあれば正、内側にあれば負の値とする距離である。ある時刻における前景モデルの全頂点に対してこの符号付距離を求め、その分布の標準偏差（σ）よりも距離の絶対値の大きな頂点を抽出する。そして、抽出された頂点群で構成される前景モデルの部位を検出する。図５（ａ）の例では、前景モデルの左腕に相当する部分の各頂点は、符号付距離の絶対値が大きいため、上述の手順によって抽出されることになる。こうして抽出された頂点群で構成される前景モデルの一部が、残像表現の処理対象となる特定部位として決定される。そして、上述の処理を、Ｓ４０２で生成した前景モデルに対応する複数時刻すべてについて行い、各時刻における特定部位を決定する。決定された特定部位に対応する形状データ（前景モデルの一部部分に相当する形状データ。以下、「部分モデル」と呼ぶ。）は、前景モデルとは別にＲＡＭ２１３に保持される。

Ｓ４０４では、投影部３０４が、基準時刻における前景モデル、Ｓ４０３で決定された特定部位の部分モデル、及び予め用意していた背景モデルを仮想視点情報に基づき投影する処理を行う。投影処理には公知のモデルベースドレンダリングやイメージベースドレンダリングを用いればよい。図６の（ａ）は基準時刻ｓにおける上述の前景モデル５０１の投影画像を示し、同（ｂ）及び（ｃ）はそれぞれ時刻ｓ－１と時刻ｓ－２における前景モデル５０１の左腕の部分モデルの投影画像を示している。また、図６（ｄ）は背景モデルの投影画像を示している。これら投影画像は、例えば各画素が８ビット（０～２５５）のＲＧＢ値に加えアルファ値を持つ４チャンネルの画像である。ここで、アルファ値とは透明度を表す数値であり、最大値２５５のときは不透明で、数値が小さくなるにつれて透明度が上がり、最小値０のときに完全な透明となる。つまり、各モデルの形状データが投影される画素のアルファ値は０より大きい値となり、何も投影されない画素のアルファ値は０となる。よって、まったく透過させない背景モデルの投影画像及び現在時刻ｓの前景モデルの投影画像については、各画素のアルファ値を２５５に設定する。一方、残像を表現するため透過させたい部分モデルの投影画像については、時刻ｓ－１に対しては２５５×０．６＝１５３、時刻ｓ－２に対しては２５５×０．３＝７７といった具合に異なるアルファ値をそれぞれ設定する。この場合において、“０．６”及び“０．３”は透過率を制御するための係数であり、基準時刻からの差分値に応じた１．０未満の値が入ることになる。すなわち、上述の図６の（ｂ）及び（ｃ）の例では、対応する特定時刻が基準時刻に対して過去になるほど透過率が高くなるように（アルファ値が小さくなるように）している。ここで説明した透過率の制御方法は一例であり、例えば部分モデルに対応する特定時刻が基準時刻に対して未来になるほど透過率が高くなるようにしてもよい。

Ｓ４０５では、合成部３０５が、Ｓ４０４で生成された全ての投影画像を合成して仮想視点画像を生成する。図７（ａ）は、上述の図６（ａ）～（ｄ）に示す４つの投影画像をアルファ合成する様子を示す図である。図７（ａ）に示すように４つの投影画像７０１～７０４をレイヤー状に重ねてアルファ合成することで、図７（ｂ）に示すように左腕部分を残像のように表現した基準時刻ｔにおける仮想視点画像が得られる。

Ｓ４０６では、仮想視点情報で指定されたすべての基準時刻について処理が完了したか否かが判定される。未処理の基準時刻があればＳ４０７に進んで注目する基準時刻を更新し、Ｓ４０２に戻って処理を続行する。この際、仮想視点情報にて、仮想視点が時間経過と共に移動するように指定されていれば、任意のカメラアングルに投影した仮想視点画像が得られることになる。すべての基準時刻について処理が完了していれば本フローを終了する。

以上が、本実施形態に係る、仮想視点画像の生成フローである。こうして得られた仮想視点画像のデータは、表示装置１０４に送信されユーザの視聴に供されることになる。なお、対象となる前景オブジェクトは人物などの動的オブジェクトに限定されるものではなく、建造物などの静的オブジェクトでもよい。例えば、高層建築物などの建築過程を一定期間に亘って連続して撮像して得られた撮像画像に基づき、新たに建築された部分だけを不透明にし、既存の建築部分を透明にすることで、日々の変化を表現した図８（ａ）～（ｇ）に示すような各基準時刻に対応した仮想視点画像が得られる。この場合、例えば１日毎に建造物を撮像し（Ｓ４０１）、得られた撮像画像から前景モデルを生成し（Ｓ４０２）、１日前と比較して形状変化の大きい部分（すなわち当日に建造された部分）を検出して特定部位を決定する（Ｓ４０３）。そして、当日の建造部分に対応する部分モデル及び前日分の前景モデルを仮想視点に投影し（Ｓ４０４）、得られた投影画像を用いてアルファ合成を行う（Ｓ４０５）。この際、当日分についてはアルファ値を“１２７”、前日分についてはアルファ値を“２５５”といった具合に設定することで、前日分までとの差分を直感的に把握可能な仮想視点画像が得られる。

＜変形例１＞
上述の実施形態では複数時刻間の前景モデルの形状変化に基づき特定部位を決定したが、特定部位の決定方法はこれに限定されない。すなわち、特定部位の決定に先立って複数時刻分の仮想視点への投影処理を行い、得られた投影画像における複数時刻間の差分を求め、差分値の大きな画像領域に対応する部位を特定部位に決定してもよい。この際は、決定した特定部位に対応する部分モデルを前景モデルから生成し、改めて部分モデルの仮想視点への投影処理を行って図７（ｂ）や（ｃ）に相当する投影画像を得た上で、上述した合成処理を行えばよい。

＜変形例２＞
透過率を変化させるアルファ合成に代えて、例えば明度又は彩度を変化させる色変更処理によって残像を表現してもよい。この際は、投影画像の各画素はα値を持たないＲＧＢの３チャンネルの投影画像となる。そして、部分モデルに対応する特定時刻が、例えば基準時刻に対して過去になるほど明度又は彩度を低くしたり、基準時刻に対して未来になるほど明度又は彩度を低くしたりすればよい。これにより、時間経過に伴うオブジェクトの動きを視覚的に表現できる。その他、特定時刻における特定部位を目立たせるためのハイライト処理を行ってもよい。

＜変形例３＞
上述の実施形態では複数の時刻それぞれに対応する投影画像をレイヤー状に重ねて合成したが、当該複数の時刻における前景オブジェクトの遮蔽関係を正確に表現するために、デプス情報を用いた合成を行ってもよい。すなわち、Ｓ４０４にてモデル毎の投影画像を生成する際に、仮想視点から前景オブジェクトまでの距離を画素毎に記録したデプス画像も生成する。そして、Ｓ４０５にて合成する際に、デプスが小さい（つまり仮想視点に距離が近い）ほど上のレイヤーになるように投影画像を画素毎に選択して合成を行う。これにより実際の遮蔽関係を適切に表したより立体的な映像表現が可能となる。

＜変形例４＞
上述の実施形態では前景オブジェクトの動きを検出して特定部位を決定したが、撮像が行われた三次元空間中の特定領域との位置関係に基づいて決定してもよい。具体的には、人物の肩がその境界に位置し、かつ、腕以外の部分が内包されるようなバウンディングボックスを三次元空間中に設定し、当該バウンディングボックスの内側或いは外側にある部分を検出して特定部位を決定する。バウンディングボックスの形状は任意であり、直方体、円柱、球、楕円球など三次元空間において内外判定のできる形状であればよい。また、バウンディングボックスの位置や向き、大きさを時刻毎（フレーム毎）に変更してもよい。バウンディングボックスの形状、大きさ、時刻毎の変更の有無、内外のどちらを検出するか、などの情報は予め補助記憶装置２１４に格納しておき必要に応じて読み出して使用すればよい。これにより、より簡単に特定部位を決定することができる。

以上のとおり、本実施形態によれば、前景オブジェクトの動く部位を残像で表現した仮想視点画像を容易に得ることができる。

［実施形態２］
実施形態１では、前景モデルの形状の経時変化を解析して動きの大きい部分を検出することで、残像表現の対象となる特定部位を自動で決定していた。次に、生成した前景モデルの構造を解析してその結果をユーザに提示し、ユーザの明示的な指示に基づき特定部位を決定する態様を、実施形態２として説明する。また、実施形態１では特定部位以外の部位については複数時刻間で変化がないことを前提としていたが、本実施形態では前景オブジェクトの位置や姿勢などが複数時刻間で変化する場合の調整についても併せて説明する。なお、基本的なシステム構成など実施形態１と共通する内容については説明を省略し、以下では差異点を中心に説明を行うこととする。

＜仮想視点画像の生成フロー＞
本実施形態に係る仮想視点画像の生成フローについて、図９のフローチャートを参照して説明する。図９のフローチャートが示す一連の処理は、ＣＰＵ２１１が、ＲＯＭ２１２又は補助記憶装置２１４等に格納された制御プログラムを読み出してＲＡＭ２１３に展開し、これを実行することで実現される。なお、以下の説明において記号「Ｓ」はステップを意味する。

Ｓ９０１及びＳ９０２は、実施形態１に係る図４のフローチャートのＳ４０１及びＳ４０２にそれぞれ対応する。すなわち、連続する期間分の撮像画像データ、撮像パラメータセット及び仮想視点情報を取得され（Ｓ９０１）、続いて、複数の時刻それぞれに対応する前景モデルが生成される（Ｓ９０２）。

Ｓ９０３では、モデル解析部３０２が、Ｓ９０２で生成された前景モデルの構造を解析する。構造解析には公知の手法を適用すればよい。例えば、基準ボーンモデルと前景モデルとの表面同士の距離を最小化することで基準ボーンモデルを前景オブジェクトに重ね合わせ、ボーン構造を関連付ける手法が知られている（非特許文献１）。その他、オブジェクトの映像を入力として深層学習モデルを用いてボーン構造を推論する“ＯｐｅｎＰｏｓｅ”の手法やモーションキャプチャの手法を用いてもよい。ポリゴンメッシュ形式の前景モデルの場合、構造解析結果は構成要素であるメッシュポリゴン毎に部位名称や部位ＩＤを関連付けるメタデータとして得られる。こうして得られた構造解析の結果は、ＲＡＭ２１３に格納される。

Ｓ９０４では、Ｓ９０３で得られた構造解析結果を反映したＵＩ画面を介したユーザ入力に基づき特定部位が決定される。より詳細には、まず、残像表現を行いたい特定部位を指定するためのＵＩ画面（部位指定用ＵＩ画面）のデータが表示装置１０４に送信され、表示装置１０４に表示される。図１０は、部位指定用ＵＩ画面の一例である。図１０のＵＩ画面１０００の場合、特定部位を指定する対象の前景モデルが画面中央に表示され、その右側に、構造解析によって得られた全部位の一覧１００１と、上述の複数の時刻のうち所望の時刻を指定するためのシークバー１００２が表示される。ユーザは、マウス等を用いてポインタ１００３を操作して、残像表現を行いたい特定部位を指定する。例えば、左腕を指定する場合は、ポインタ１００３を左肩にマウスオーバーした後にドラッグしながら左手の指先付近まで移動させる操作を行う。こうしてユーザが指定した部位については、例えば一覧１００１内の対応する部位名称をハイライト表示する。これによりユーザは自身が指定した部位が特定部位として選択された事実を確認することができる。上記の指定方法は一例であり、例えば構造解析によって得られた各部位に対応するボタンを設け、所望の部位に対応するボタンを押下することで指定できるようにしてもよい。

Ｓ９０５は、実施形態１のＳ４０４に対応する。すなわち、基準時刻ｓにおける前景モデル、Ｓ９０４で決定された特定部位の部分モデル、及び予め用意していた背景モデルを仮想視点情報に基づき投影する処理が行われる。この際、本実施形態では、Ｓ９０４にて決定された特定部位に対応する部分モデルの位置や姿勢等の調整が必要に応じて行われる。図１１（ａ）は、特定部位に決定された左腕の付け根が各時刻において一致するよう、基準時刻の前景モデルの形状データに合わせてその位置や姿勢を調整する様子を説明する図である。いま、人物の前景オブジェクトが時刻ｔ－１から時刻ｔに掛けて左腕を動かしながら移動している。前景モデル１１００は時刻ｔに対応し、前景モデル１１００’は時刻ｔ－１に対応している。調整では、時刻ｔ－１における前景モデル１１００’の左腕の付け根１１０１’が、時刻ｔにおける前景モデル１１００の左腕の付け根１１０１と重なるように幾何学変換を行う。この際、例えば時刻ｔ－１と時刻ｔとの間で左腕のスケールが異なっていれば、スケールを一致させる変形処理を行ってもよい。図１１（ｂ）は、調整を行った結果を示しており、時刻ｔ－１における前景モデル１１００’と時刻ｔにおける前景モデルとが、特定部位に指定された左腕の付け根が一致する状態で三次元的に重なっている。このような調整を部分モデルに対し必要に応じ行って、前景モデル及び部分モデルが仮想視点に投影される。

Ｓ９０６～Ｓ９０８は、実施形態１のＳ４０５～Ｓ４０７にそれぞれ対応し特に異なるところはないので説明を省く。

以上が、本実施形態に係る、仮想視点画像の生成フローである。なお、図９のフローの開始に先立って各時刻における前景モデルの構造解析を別装置にて行っておき、Ｓ９０３ではその結果を取得するだけでもよい。また、Ｓ９０５にて調整を行った場合、調整結果をＵＩ画面に表示し、ユーザが位置や姿勢等の微調整を行えるようにしてもよい。

＜変形例１＞
ユーザが指定した特定部位の透過率を時刻に応じて変更するのに代えて、特定部位周辺の透過率を特定部位からの距離に応じて変更してもよい。このような残像表現は、例えばゴルフスイングの解析に有用である。すなわち、ゴルフクラブのヘッドを特定部位に決定し、ヘッドを不透明とした上で、ヘッドから離れるほど透明になるようにゴルフクラブの前景モデルの投影時に透過処理を行う。この透過処理においては、構造解析結果を参照しつつ、指定されたヘッド部分からの距離が大きくなるほどアルファ値を小さくし、ゴルフクラブをグラデーション状に透明化して、各時刻における前景モデルを仮想視点に投影する。この際、距離とアルファ値との関係については、透過開始距離と透過終了距離を予め設定しておけばよい。或いは、動きの大きい部分を検出した上でヘッド部分から最も遠い部分までの距離を透過終了距離として設定してもよい。このときの透過開始距離はヘッドから最も近い部分までの距離とすればよい。図１２（ａ）に、本変形例に係る合成処理によって得られる仮想視点画像の一例を示す。時間的に最も進んだ最新時刻の前景モデルの投影画像と、それよりも過去の各時刻における前景モデルの投影画像であってゴルフクラブのヘッドの付け根から持ち手にかけて徐々に透明になるように処理された投影画像とが合成されている。本変形例によって、ユーザ指定に係る特定部位の軌跡を強調する仮想視点画像を得ることができる。

なお、本変形例の手法を適用した上で、時刻が過去になるほど透明にする上述の実施形態の手法を重畳して適用することで、図１２（ｂ）に示すような仮想視点画像が得られる。このとき、仮想視点を移動（例えば、人物を正面から捉える位置から開始し、打ち終わりの時点で人物の背中から捉える位置になるように等速移動）させてもよい。これにより、クラブヘッド部分の動きを任意のカメラアングルに投影した仮想視点画像が得られる。

以上のとおり、本実施形態によれば、前景オブジェクトのうちユーザが指定した部位のみを残像で表現した仮想視点画像を容易に得ることができる。また、必要に応じて前景モデルの位置や姿勢の調整を行うことで、より違和感の少ない仮想視点画像が得られる。

（その他の実施例）
本開示は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０２ 画像処理装置
３００ データ取得部
３０２ モデル解析部
３０３ 仮想視点画像生成部
３０４ 投影部
３０５ 合成部

Claims (28)

1. 複数の撮像装置にて連続して撮像される期間における複数の時刻それぞれに対応するオブジェクトの形状データを取得する取得手段と、
   前記オブジェクトの一部である特定部位を決定する決定手段と、
   前記複数の時刻のうち基準時刻における前記オブジェクトの形状データと、前記複数の時刻のうち前記基準時刻とは異なる特定時刻における前記オブジェクトの特定部位の形状データとを用いて仮想視点に対応する仮想視点画像を生成する生成手段と、
   を有することを特徴とする画像処理装置。
2. 前記生成手段は、前記基準時刻における前記オブジェクトの形状データを前記仮想視点に投影して得られた第１の投影画像と、前記特定時刻における前記オブジェクトの特定部位の形状データを前記仮想視点に投影して得られた第２の投影画像とを合成して、前記仮想視点画像を生成する、ことを特徴とする請求項１に記載の画像処理装置。
3. 前記第１の投影画像及び前記第２の投影画像は、各画素がＲＧＢ値に加えアルファ値を持つ４チャンネルの画像であり、
   前記生成手段は、前記第１の投影画像と前記第２の投影画像とを用いたアルファ合成によって前記仮想視点画像を生成する、
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記アルファ合成においては、前記第２の投影画像における前記特定時刻の特定部位に対応する画素の透過率と前記基準時刻の特定部位に対応する画素の透過率とが異なる、ことを特徴とする請求項３に記載の画像処理装置。
5. 前記生成手段は、前記特定時刻が前記基準時刻よりも過去の時刻である場合、前記特定時刻の特定部位に対応する画素の透過率の方が、前記基準時刻の特定部位に対応する画素の透過率よりも高くなるように前記アルファ合成を行う、ことを特徴とする請求項４に記載の画像処理装置。
6. 前記生成手段は、前記特定時刻が前記基準時刻よりも過去になるほど前記第２の投影画像における前記特定部位に対応する画素の透過率が高くなるように前記アルファ合成を行う、ことを特徴とする請求項５に記載の画像処理装置。
7. 前記生成手段は、前記特定時刻が前記基準時刻よりも未来の時刻である場合、前記特定時刻の特定部位に対応する画素の透過率の方が、前記基準時刻の特定部位に対応する画素の透過率よりも高くなるように前記アルファ合成を行う、ことを特徴とする請求項４に記載の画像処理装置。
8. 前記生成手段は、前記特定時刻が前記基準時刻よりも未来になるほど前記第２の投影画像における前記特定部位に対応する画素の透過率が高くなるように前記アルファ合成を行う、ことを特徴とする請求項７に記載の画像処理装置。
9. 前記アルファ合成においては、前記第２の投影画像における前記特定部位に対応する画素の透過率と前記特定部位の周辺に対応する画素の透過率とが異なる、ことを特徴とする請求項３に記載の画像処理装置。
10. 前記生成手段は、前記特定部位に対応する画素の透過率の方が、前記特定部位の周辺に対応する画素の透過率よりも高くなるように前記アルファ合成を行う、ことを特徴とする請求項９に記載の画像処理装置。
11. 前記生成手段は、前記第２の投影画像における前記特定部位の周辺に対応する画素の透過率が前記特定部位からの距離が大きくなるほど高くなるように前記アルファ合成を行う、ことを特徴とする請求項１０に記載の画像処理装置。
12. 前記第１の投影画像及び前記第２の投影画像は、各画素がＲＧＢ値を持つ３チャンネルの画像であり、
    前記生成手段は、前記第１の投影画像と、前記第２の投影画像の明度又は彩度を変化させた画像とを合成して、前記仮想視点画像を生成する、
    ことを特徴とする請求項２に記載の画像処理装置。
13. 前記合成においては、前記第２の投影画像における前記特定時刻の特定部位に対応する画素の明度又は彩度と前記基準時刻の特定部位に対応する画素の明度又は彩度とが異なる、ことを特徴とする請求項１２に記載の画像処理装置。
14. 前記生成手段は、前記特定時刻が前記基準時刻よりも過去の時刻である場合、前記特定時刻の特定部位に対応する画素の明度又は彩度が、前記基準時刻の特定部位に対応する画素の明度又は彩度よりも低くなるように前記合成を行う、ことを特徴とする請求項１３に記載の画像処理装置。
15. 前記生成手段は、前記特定時刻が前記基準時刻よりも過去になるほど前記第２の投影画像における前記特定時刻の特定部位に対応する画素の明度又は彩度が低くなるように前記合成を行う、ことを特徴とする請求項１４に記載の画像処理装置。
16. 前記生成手段は、前記特定時刻が前記基準時刻よりも未来の時刻である場合、前記特定時刻の特定部位に対応する画素の明度又は彩度が、前記基準時刻の特定部位に対応する画素の明度又は彩度よりも低くなるように前記合成を行う、ことを特徴とする請求項１３に記載の画像処理装置。
17. 前記生成手段は、前記特定時刻が前記基準時刻よりも未来になるほど前記第２の投影画像における前記特定時刻の特定部位に対応する画素の明度又は彩度が低くなるように前記合成を行う、ことを特徴とする請求項１６に記載の画像処理装置。
18. 前記生成手段は、
    前記仮想視点から前記オブジェクトまでの距離を画素毎に記録したデプス画像を生成し、
    デプスが小さいほど上のレイヤーになるように前記第２の投影画像を画素毎に選択して前記合成を行う、
    ことを特徴とする請求項２に記載の画像処理装置。
19. 前記生成手段は、前記特定部位に対応する形状データに対し幾何学変換を行って前記合成を行う、ことを特徴とする請求項２に記載の画像処理装置。
20. 前記幾何学変換は、前記基準時刻における前記オブジェクトの形状データに合わせて、前記特定部位に対応する形状データの位置、姿勢、スケールのうち少なくとも１つを調整する処理である、ことを特徴とする請求項１９に記載の画像処理装置。
21. 前記決定手段は、
    前記複数の時刻における前記オブジェクトの形状変化を、前記形状データを用いて解析し、
    前記解析の結果に基づき、変化量が大きい部分を前記特定部位として決定する、
    ことを特徴とする請求項１乃至２０のいずれか一項に記載の画像処理装置。
22. 前記決定手段は、
    前記複数の時刻における前記オブジェクトの形状変化を、前記複数の時刻それぞれに対応するオブジェクトの形状データを仮想視点に投影して得られた投影画像を用いて解析し、
    前記解析の結果に基づき、変化量が大きい部分を前記特定部位として決定する、
    ことを特徴とする請求項１乃至２０のいずれか一項に記載の画像処理装置。
23. 前記決定手段は、
    前記複数の時刻における前記オブジェクトの前記撮像が行われた三次元空間における特定領域との位置関係を、前記形状データを用いて解析し、
    前記解析の結果に基づき、前記特定領域の内側又は外側にある部分を前記特定部位として決定する、
    ことを特徴とする請求項１乃至２０のいずれか一項に記載の画像処理装置。
24. 前記特定領域はバウンディングボックスであることを特徴とする請求項２３に記載の画像処理装置。
25. 前記特定部位の指定をユーザから受け付けるためのグラフィカルユーザインタフェイスをさらに備え、
    前記決定手段は、受け付けた前記指定に基づき、前記特定部位を決定する、
    ことを特徴とする請求項１乃至２０のいずれか一項に記載の画像処理装置。
26. 前記グラフィカルユーザインタフェイスには、前記オブジェクトの構造解析の結果が表示され、
    前記ユーザは、表示された前記構造解析の結果に基づき、前記特定部位の指定を行う、
    ことを特徴とする請求項２５に記載の画像処理装置。
27. 複数の撮像装置にて連続して撮像される期間における複数の時刻それぞれに対応するオブジェクトの形状データを取得する取得ステップと、
    前記オブジェクトの一部である特定部位を決定する決定ステップと、
    前記複数の時刻のうち基準時刻における前記オブジェクトの形状データと、前記複数の時刻のうち前記基準時刻とは異なる特定時刻における前記オブジェクトの特定部位の形状データとを用いて仮想視点に対応する仮想視点画像を生成する生成ステップと、
    を含むことを特徴とする画像処理方法。
28. コンピュータを、請求項１乃至２６のいずれか一項に記載の画像処理装置として機能させるためのプログラム。

Images