JP2022029239A - 画像処理装置、画像処理方法、およびプログラム - Google Patents
画像処理装置、画像処理方法、およびプログラム Download PDFInfo
- Publication number
- JP2022029239A JP2022029239A JP2020132476A JP2020132476A JP2022029239A JP 2022029239 A JP2022029239 A JP 2022029239A JP 2020132476 A JP2020132476 A JP 2020132476A JP 2020132476 A JP2020132476 A JP 2020132476A JP 2022029239 A JP2022029239 A JP 2022029239A
- Authority
- JP
- Japan
- Prior art keywords
- region
- image
- area
- frame
- importance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Image Generation (AREA)
Abstract
【課題】三次元形状データに関わる処理負荷を抑制すること。
【解決手段】
三次元モデル生成装置104は、フレーム内の第1の領域のオブジェクトと前記第1の領域以外の領域である第2の領域のオブジェクトとを選定する抑制前景選定部902と、前記第1の領域のオブジェクトの三次元形状データを生成する第1のフレームレートを決定し、第2の領域のオブジェクトの三次元形状データを生成するための第2のフレームレートを第1のフレームレートとは異なるフレームレートに決定する抑制間隔決定部903と、オブジェクト画像を用いて、三次元形状データを生成するモデル生成部905と、第1のフレームレートで第1の領域のオブジェクトの三次元形状データが生成されるように制御し、第2のフレームレートで第2の領域のオブジェクトの三次元形状データが生成されるように制御するデータ削除部904と、を有する。
【選択図】図9
【解決手段】
三次元モデル生成装置104は、フレーム内の第1の領域のオブジェクトと前記第1の領域以外の領域である第2の領域のオブジェクトとを選定する抑制前景選定部902と、前記第1の領域のオブジェクトの三次元形状データを生成する第1のフレームレートを決定し、第2の領域のオブジェクトの三次元形状データを生成するための第2のフレームレートを第1のフレームレートとは異なるフレームレートに決定する抑制間隔決定部903と、オブジェクト画像を用いて、三次元形状データを生成するモデル生成部905と、第1のフレームレートで第1の領域のオブジェクトの三次元形状データが生成されるように制御し、第2のフレームレートで第2の領域のオブジェクトの三次元形状データが生成されるように制御するデータ削除部904と、を有する。
【選択図】図9
Description
本開示の技術は、オブジェクトの三次元形状データの生成に関する。
複数のカメラを異なる位置に設置して複数の視点で同期して撮像し、撮像により得られた複数の画像を用いて仮想視点画像を生成する技術がある。仮想視点画像の生成では、対象物体の三次元形状データが生成される。また、三次元形状データの生成では、対象物体の数や大きさ、撮像装置の台数、三次元形状を構成するボクセルの大きさ、対象となる三次元空間の大きさなどの要因により、計算量が大きくなることがある。
計算量を削減する方法として、特許文献1には、最大ボクセルで分割した測定対象空間内の対象物体と重なるボクセルに対してボクセルの分割を繰り返すことで、多数の最小ボクセルの塊によって対象物体を再構成する方法が記載されている。
撮像画像には、サッカーの試合におけるゴール前のような重要度が高い領域とフィールド外のような重要度が低い領域とが含まれることがあり、対象物体は、重要度が高い領域だけでなく重要度が低い領域にも位置することがある。このため、特許文献1に記載の方法によって、撮像画像に含まれる複数の対象物体の三次元形状データを生成すると、重要度が低い領域の処理負荷の抑制が十分ではなく、三次元形状データに関わる処理負荷が増す虞がある。
本開示は、三次元形状データに関わる処理負荷を抑制することを目的とする。
本開示に関わる画像処理装置は、複数の撮像装置の撮像によって得られたフレーム内のオブジェクトの形状を示すオブジェクト画像を用いて、前記フレーム内に含まれるオブジェクトの三次元形状データを生成する画像処理装置であって、前記フレーム内の第1の領域のオブジェクトと、前記第1の領域以外の領域である第2の領域のオブジェクトと、を選定する選定手段と、前記第1の領域のオブジェクトの三次元形状データを生成する第1のフレームレートを決定し、前記第2の領域のオブジェクトの三次元形状データを生成するための第2のフレームレートを第1のフレームレートとは異なるフレームレートに決定する決定手段と、前記フレームに対応する前記オブジェクト画像を生成する画像生成手段と、前記画像生成手段によって生成された前記オブジェクト画像を用いて、前記三次元形状データを生成するデータ生成手段と、を有し、前記画像生成手段は、前記第1のフレームレートで前記第1の領域のオブジェクトの三次元形状データが生成されるように制御し、前記第2のフレームレートで前記第2の領域のオブジェクトの三次元形状データが生成されるように制御することを特徴とする。
本開示の技術によれば、三次元形状データに関わる処理負荷を抑制することができる。
以下、添付の図面を参照して、実施形態に基づいて本開示の技術の詳細を説明する。以下の実施形態は、本開示の技術を実施するにあたっての具体化の例を示したものに過ぎず、本開示の技術的範囲が限定的に解釈されるものではない。本開示の技術はその技術思想又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
<第1の実施形態>
第1の実施形態では、一連のフレームに含まれる複数のオブジェクトの三次元モデルを生成する処理において、複数のオブジェクトのうち、予め設定した重要度が低い領域に位置するオブジェクトの三次元モデルの更新頻度(生成頻度)を下げる処理を行う。本実施形態では、この処理によって三次元モデルに関わる処理負荷を抑制する方法を説明する。
第1の実施形態では、一連のフレームに含まれる複数のオブジェクトの三次元モデルを生成する処理において、複数のオブジェクトのうち、予め設定した重要度が低い領域に位置するオブジェクトの三次元モデルの更新頻度(生成頻度)を下げる処理を行う。本実施形態では、この処理によって三次元モデルに関わる処理負荷を抑制する方法を説明する。
[システム構成]
図1は、仮想視点画像を生成するための、本実施形態の仮想視点画像生成システム100の構成を示すブロック図である。仮想視点画像とは、実カメラとは異なる実在しない仮想カメラの位置及び向き等に基づいて生成される画像であり、自由視点画像や任意視点画像とも呼ばれる。仮想視点画像を生成する技術によれば、例えば、サッカーやバスケットボールのハイライトシーンを様々な角度から視聴することが出来るため、通常の画像と比較してユーザに高臨場感を与えることが出来る。仮想視点画像は、動画であっても、静止画であってもよい。本実施形態では、仮想視点画像は動画であるものとして説明する。
図1は、仮想視点画像を生成するための、本実施形態の仮想視点画像生成システム100の構成を示すブロック図である。仮想視点画像とは、実カメラとは異なる実在しない仮想カメラの位置及び向き等に基づいて生成される画像であり、自由視点画像や任意視点画像とも呼ばれる。仮想視点画像を生成する技術によれば、例えば、サッカーやバスケットボールのハイライトシーンを様々な角度から視聴することが出来るため、通常の画像と比較してユーザに高臨場感を与えることが出来る。仮想視点画像は、動画であっても、静止画であってもよい。本実施形態では、仮想視点画像は動画であるものとして説明する。
本実施形態の仮想視点画像生成システム100は、複数のカメラ101a~101pを有するカメラアレイ101、複数の前景抽出装置102a~102rを有する前景抽出装置群102、制御装置103を有する。さらに、仮想視点画像生成システム100は、三次元モデル生成装置104、レンダリング装置105を有する。前景抽出装置102a~102p、制御装置103、三次元モデル生成装置104、及びレンダリング装置105は、演算処理を行うCPU、演算処理の結果やプログラム等を記憶するメモリなどを備えた一般的な画像処理装置によって実現される。
カメラアレイ101は、複数のカメラ101a~101pで構成され、様々な角度の複数方向からオブジェクトを撮像して前景抽出装置群102へ撮像画像の画像データを出力する。
図2は、カメラアレイ101を構成する全16台のカメラ101a~101pの配置を、フィールドを真上から見た俯瞰図で示した図である。図2に示すようにカメラは競技場の周囲に配置され、全てのカメラ101a~101pで共通したフィールド上の注視点に向けて様々な角度から時刻同期して撮像する。ただし、本開示において、カメラ101a~101pのうちいくつかは別の注視点に向けられて配置されていてもよいし、全てのカメラ101a~101pが異なる位置に向けて配置されていてもよい。また、カメラ101a~101pのうちいくつかは同じ注視点に向けられて配置され、残りのカメラは互いに異なる位置に向けて配置されるような構成であってもよい。
前景抽出装置群102は、夫々のカメラ101a~101pに対応する前景抽出装置102a~102pで構成される。各前景抽出装置102a~102pは、対応するカメラから出力された撮像画像の画像データから撮像画像に含まれるオブジェクトのシルエットを示す前景領域を抽出する。
撮像画像の前景であるオブジェクトとは、仮想視点の任意の角度から見ることを可能とする被写体であり、例えば、競技場のフィールド上に存在する人物のことを指す。または、オブジェクトは、ボール、またはゴール等、画像パターンが予め定められている物体であってもよい。また、オブジェクトは動体であってもよいし、静止体であってもよい。
そして各前景抽出装置102a~102pは、対応するカメラが撮像することによって得られた撮像画像の前景領域とそれ以外の領域とを示す矩形マスク、およびオブジェクトのテクスチャを示す画像である矩形テクスチャを生成する。
図3は、前景抽出装置102a~102pにおける前景領域の抽出処理について説明するための図である。図3(a)は、図2のカメラ101dが撮像することによって得られた撮像画像の例であり、撮像画像300には5つオブジェクトを示す前景3a-3eが含まれる。前景抽出装置102dはカメラ101dの撮像画像300に含まれる前景領域を抽出し、図3(b)で示すように前景3a-3eに対応する5つの矩形領域4a-4eを算出する。前景領域の抽出方法は、例えば、保持している背景画像と撮像画像の輝度や色の差分の大きい領域を前景と判定する方法が用いられる。背景は撮像画像の前景以外の領域を指す。
図4は、矩形テクスチャおよび矩形マスクを示す図である。図4(a)は、図3(b)で示した前景を内包する矩形領域を切り出すことによって得られた複数の画像を表す図であり、この画像を矩形テクスチャと呼ぶ。また、図4(b)は図3(b)で示した前景を内包する矩形領域のうち、オブジェクトを示す前景領域を白で、背景の領域を黒で、表したオブジェクトごとの二値のシルエット画像5a-5eを表す図である。この二値画像を矩形マスクと呼ぶ。矩形テクスチャおよび矩形マスクは矩形領域の座標と共に三次元モデル生成装置104に送信される。
制御装置103は、カメラアレイ101のカメラによって時刻同期され撮像された撮像画像の画像データからカメラ101a~カメラ101pの位置や姿勢を示すカメラパラメータを算出し、三次元モデル生成装置104とレンダリング装置105に出力する。
カメラパラメータは、外部パラメータ、および内部パラメータで構成されている。外部パラメータは、回転行列および並進行列で構成されておりカメラの位置や姿勢を示すものである。一方、内部パラメータは、カメラの焦点距離や光学的中心などを含みカメラの画角や撮像センサの大きさなどを示すものである。カメラパラメータを算出する処理はキャリブレーションと呼ばれ、チェッカーボードのような特定パターンを撮像した複数枚の画像を用いて取得した三次元の世界座標系の点とそれに対応する二次元上の点との対応関係を用いることで求められる。
三次元モデル生成装置104は、制御装置103よりカメラパラメータを取得し、前景抽出装置群102から矩形マスクを取得し、複数の矩形マスク画像を再構成して複数のカメラ毎のマスク画像を生成する。
図5は、カメラ101dが撮像することによって得られた撮像画像300に対応する、オブジェクトのシルエットを示す前景マスク画像(オブジェクト画像とも記す)を表す図である。前景マスク画像は、撮像画像内のオブジェクトの領域を示す画像であり、矩形マスクと各矩形マスクの座標情報を基に撮像画像300におけるオブジェクトの位置に矩形マスクを配置して再構成された画像である。矩形マスクは図4(b)で示すように撮像画像における個々のオブジェクトを内包する矩形で切り出されたオブジェクトごとの画像であるのに対して、前景マスク画像は図5で示すように複数の矩形マスクを切り出された座標へ貼り付けて合成した画像である。前景マスク画像は、矩形マスクと同様に、撮像画像の前景領域を白、背景領域を黒で表した二値のシルエット画像である。なお、本実施形態では、前景マスク画像は、三次元モデル生成装置104で生成されるもとして説明するが前景抽出装置102a~102pで生成されてもよい。
さらに、三次元モデル生成装置104は、複数のカメラの前景マスク画像を用いて、視体積交差法によりボクセル集合で表されるオブジェクトの三次元モデルを三次元空間上に生成する。三次元モデルの生成およびボクセルについては後述する。三次元モデル生成装置104は、生成したオブジェクトの三次元モデルのデータをレンダリング装置105に出力する。
レンダリング装置105は、オブジェクトの三次元モデル、および前景テクスチャ画像を取得する。前景テクスチャ画像は、矩形テクスチャと各矩形テクスチャの座標情報を基に撮像画像におけるオブジェクトの位置に矩形テクスチャを配置するように再構成された画像である。また、レンダリング装置105は、制御装置103からカメラパラメータを取得する。レンダリング装置105はこれらのデータに基づき仮想視点画像を生成する。具体的には、カメラパラメータから前景テクスチャ画像とオブジェクトの三次元モデルとの位置関係を求める。そして、三次元モデルを構成する各ボクセルに対応する前景テクスチャ画像における画素の色に基づき色づけすることで三次元空間が再構築され、任意視点から見た映像が生成される。
なお、本実施形態では、前景抽出装置102a~102pと三次元モデル生成装置104とがスター型のトポロジーで接続されている形態であるものとして説明する。他にも、前景抽出装置102a~102pと三次元モデル生成装置104とがディジーチェーン接続によるリング型またはバス型等のトポロジーで接続されている形態であってもよい。
[三次元モデルの生成方法について]
次に、三次元モデル生成装置において行われるオブジェクトの三次元モデルの生成処理の概要について説明する。三次元形状データにおいてボクセルで表されるオブジェクトの三次元形状を、オブジェクト(前景)の三次元モデルとも呼ぶ。ここでは、視体積交差法によるオブジェクトの三次元モデルの生成について説明する。
次に、三次元モデル生成装置において行われるオブジェクトの三次元モデルの生成処理の概要について説明する。三次元形状データにおいてボクセルで表されるオブジェクトの三次元形状を、オブジェクト(前景)の三次元モデルとも呼ぶ。ここでは、視体積交差法によるオブジェクトの三次元モデルの生成について説明する。
図6は、視体積交差法の基本原理を示す図である。図6(a)は、あるオブジェクトである対象物体Cを撮像装置であるカメラにより撮像したときの図である。前述したように、対象物体Cを撮像して得られる撮像画像と背景画像との色または輝度の差分に基づき二値化することで対象物体Cの二次元シルエット(前景領域)が含まれる前景マスク画像が得られる。
図6(b)は、カメラの投影中心(Pa)から二次元シルエットDaの輪郭上の各点を通すように、三次元空間中に広がる錐体を示す図である。この錐体のことを当該カメラによる視体積Vaと呼ぶ。図6(c)は複数の視体積によりオブジェクトの三次元モデルが求まる様子を示す図である。図6(c)のように、位置が異なる複数の異なるカメラによって同期撮像された画像に基づく二次元シルエットDaからカメラごとの複数の視体積を求める。視体積交差法による三次元モデルの生成では、複数のカメラの視体積の交差(共通領域)を求めることによって、対象物体の三次元モデルが生成される。生成される三次元モデルはボクセルの集合で表される。
図7はボクセルを説明するための図である。ボクセルとは、図7(a)で示すような微小な立方体のことである。図7(b)は三次元モデルを生成するカメラの対象空間をボクセルの集合として表したものである。対象空間のボクセルのうち処理対象のボクセルである1つの着目ボクセルを各カメラの前景マスク画像に射影したとき、各カメラの前景マスク画像の前景領域内に着目ボクセルの射影が収まるか否かが判定される。この判定の結果、着目ボクセルの射影が前景領域から外れる場合、着目ボクセルは削除される。
カメラの前景領域に収まらなかったボクセルを削ることで、図7(c)に示す四角錐の対象物体の三次元モデルが、図7(d)に示すようにボクセルによって生成される。生成された三次元モデルを構成する各ボクセルの位置に対応したテクスチャ画像の画素値をボクセルに付与することで三次元空間上に色の付いたオブジェクトの三次元形状を構成することができる。
対象物体の数や大きさ、カメラの台数、ボクセルのサイズ、対象となる三次元空間の大きさなどの要因により三次元モデルに関わる処理の計算量が多くなり、仮想視点画像の生成が困難となる場合がある。特に三次元モデルの精細さ、三次元モデル生成時の負荷、または三次元モデルに関わる処理負荷は、三次元モデルを構成するボクセルの数に影響される。
なお、本実施形態では、オブジェクトの三次元モデルを立方体のボクセルとして表すがこれに限られない。他にも例えば、三次元空間を構成する要素として点を用いて、三次元モデルを点群で表してもよい。
[三次元モデル生成装置のハードウエア構成]
図8は、本実施形態の三次元モデル生成装置104のハードウエア構成例を示すブロック図である。三次元モデル生成装置104は、CPU801、ROM802、RAM803、記憶装置804、表示部805、操作部806、および通信部807を有する。
図8は、本実施形態の三次元モデル生成装置104のハードウエア構成例を示すブロック図である。三次元モデル生成装置104は、CPU801、ROM802、RAM803、記憶装置804、表示部805、操作部806、および通信部807を有する。
CPU801は、中央処理装置(Central Processing Unit)であり、ROM802またはRAM803に格納されたプログラムを実行することにより三次元モデル生成装置104の全体を制御する。
ROM802は読み取り専用の不揮発性メモリである。RAM803は、随時読み書きが可能なメモリである。RAM803として、例えば、DRAM(Dynamic Randam Access Memory)を用いることができる。記憶装置804はたとえばハードディスクなどで構成される大容量の記憶装置である。記憶装置804には、前景抽出装置102a~102pから得られた矩形マスクなどを格納することができる。
表示部805は、例えば液晶ディスプレイやLED等で構成され、ユーザが三次元モデル生成装置104を操作するためのGUI(Graphical User Interface)などを表示する。操作部806は、例えばキーボードやマウス、ジョイスティック、タッチパネル等で構成され、ユーザによる操作を受けて各種の指示をCPU801に入力する。CPU801は、表示部805を制御する表示制御部、及び操作部806を制御する操作制御部としても動作する。本実施形態では表示部805と操作部806が三次元モデル生成装置104の内部に存在するものとするが、表示部805と操作部806との少なくとも一方が三次元モデル生成装置104の外部に別の装置として存在していてもよい。
通信部807は、三次元モデル生成装置104と外部装置との通信制御を行う。例えば、通信部807が通信制御を行うことで、LANなどのネットワークを介して、三次元モデル生成装置104は、前景抽出装置群102とレンダリング装置105とに接続される。
なお、三次元モデル生成装置104において実現される後述する図9の各機能部は、CPU801が所定のプログラムを実行することにより実現されるが、これに限られるものではない。他にも例えば、演算を高速化するためのGPU(Graphics Processing Unit)、または、FPGA(Field Programmable Gate Array)などのハードウエアが利用されてもよい。すなわち、三次元モデル生成装置104の各機能部は、ソフトウエアと専用ICなどのハードウエアとの協働で実現されてもよいし、一部またはすべての機能がハードウエアのみで実現されてもよい。また、三次元モデル生成装置104を複数用いることにより各機能部の処理を分散させて実行するような構成でもよい。
[三次元モデル生成装置の機能構成]
図9は、本実施形態における三次元モデル生成装置104の機能構成を示すブロック図である。本実施形態の三次元モデル生成装置104は、取得部901、抑制前景選定部902、抑制間隔決定部903、データ削除部904、モデル生成部905、データ管理部906、およびデータ合成部907を有する。
図9は、本実施形態における三次元モデル生成装置104の機能構成を示すブロック図である。本実施形態の三次元モデル生成装置104は、取得部901、抑制前景選定部902、抑制間隔決定部903、データ削除部904、モデル生成部905、データ管理部906、およびデータ合成部907を有する。
取得部901は、カメラアレイ101を構成する各カメラ101a~101pのカメラパラメータ、競技場などの撮像環境の三次元形状を示す背景モデル、競技場などの撮像環境内の領域の重要度を示す重要度情報を制御装置103から取得する。重要度情報については後述する。さらに、取得部901は、カメラアレイ101を構成する各カメラの撮像画像から前景抽出することによって得られた図4(a)に示す矩形テクスチャと図4(b)に示す矩形マスクとを前景抽出装置群102から取得する。取得部901は、カメラパラメータ、背景モデル、および重要度情報を、抑制前景選定部902へ出力する。また、取得部901は、カメラパラメータ、矩形テクスチャ、および矩形マスクをデータ削除部904へ出力する。
抑制前景選定部902は、背景モデルとカメラパラメータと重要度情報と用いて各カメラ101a~101pの撮像画像内の領域に重要度を設定する。撮像画像内の領域の重要度の設定の方法は、例えば、撮像環境の三次元空間を示す背景モデル上に、重要度情報を用いて、重要度に応じた領域を配置する。そして、各重要度に応じた三次元空間上の領域を、カメラパラメータを用いて、カメラの撮像画像に射影することで撮像画像内の領域の重要度を設定する。撮像画像内の領域の重要度を示す情報を重要度領域情報と呼ぶ。そして、抑制前景選定部902は、三次元形状データの生成の対象である対象フレームにおける所定の重要度の領域に位置するオブジェクトを選定する。抑制前景選定部902は、各々の撮像画像内の重要度領域情報を抑制間隔決定部903に出力する。
抑制間隔決定部903は、撮像画像内の重要度が低い領域(低重要度領域)に位置するオブジェクトの三次元モデルの更新の頻度を示す時間間隔を決定する。この時間間隔を抑制間隔とも記す。例えば、抑制間隔は、撮像画像の受信頻度である入力フレームレートが60fpsの場合において、低重要度領域のオブジェクトの三次元モデルの更新頻度を示すフレームレートを30fpsとする場合の、更新頻度を示すフレームレートに関わる情報である。なお、三次元モデルの更新の頻度は、三次元モデルを生成する頻度ともいえる。
フレームレート(fps:frames per second)は1秒間に処理される単位を示し、入力フレームレートは1秒間にカメラから出力される撮像画像(フレーム)の数である。同様に、フレームレートは1秒間に生成される前景テクスチャ画像、および前景マスク画像の数を示す。
処理フレームレートは1秒間に生成する三次元モデルの数を表す。カメラからフレームを取得するごとに、視体積交差法によって、低重要度領域に位置しないオブジェクトの三次元モデルが生成される。このため、入力フレームレートが60fpsの場合、低重要度領域に位置しないそれぞれのオブジェクトの三次元モデルは1秒間にそれぞれ60個生成される。低重要度領域に位置しないオブジェクトの三次元モデルの更新頻度を表す処理フレームレートは、入力フレームレートと同じ60fpsである。
一方、間隔が2の場合、入力フレームレート(60fps)の1/2のフレームレートである30fpsの処理フレームレートで、低重要度領域に位置する前景の三次元モデルが視体積交差法により生成されて更新される。この場合、1秒間にカメラから入力される60フレームの内、低重要度領域のオブジェクトの三次元モデルを生成には用いられないフレームが含まれることになる。低重要度領域のオブジェクトの三次元モデルの生成に用いられないフレームを処理抑制フレームとも呼ぶ。同様に、間隔が4の場合、入力フレームレートの1/4のフレームレートである15fpsで、低重要度領域のオブジェクトの三次元モデルが生成されて更新される。
抑制間隔決定部903は、この間隔または低重要度領域の処理フレームレートを抑制間隔として決定する。抑制間隔決定部903は、抑制間隔の情報を取得して、低重要度領域に位置するオブジェクトの三次元モデルの更新の頻度を示す時間間隔を決定してもよい。また、抑制間隔決定部903は夫々の重要度に応じた抑制間隔を決定してもよい。重要度領域情報と夫々の重要度ごとの抑制間隔をデータ削除部904に出力する。
なお、抑制間隔決定部903は、動的に抑制間隔を決定してもよい。または、所定の条件を満たす場合に対象フレームを処理抑制フレームと決定してもよい。例えば、三次元モデルの生成時の処理負荷が高くなった場合、対象フレームを処理抑制フレームとして決定してもよい。または、三次元モデルの生成時の処理負荷が高くなった場合、低重要度領域に位置するオブジェクトの三次元モデルの更新の時間間隔を大きくして、三次元モデルを更新する処理フレームレートを下げるように抑制間隔が決定してもよい。
データ削除部904は、抑制間隔決定部903から出力される重要度領域情報と抑制間隔とを取得する。取得部901が取得した矩形マスク等を抽出するために用いられたフレームが処理抑制フレームである場合、データ削除部904は、生成された矩形マスクのうち低重要度領域内に位置するオブジェクトの矩形マスクを削除する。データ削除部904は、削除した矩形マスクの画像以外の矩形マスクを用いて図5で示した前景マスク画像を生成する。生成された前景マスク画像をモデル生成部905に出力する。
なお、本実施形態では、前景マスク画像は、矩形マスクを合成して生成されるものとして説明するが、矩形マスクを用いないで前景マスク画像が生成されてもよい。例えば、撮像画像から前景領域を抽出して、前景領域を白、背景領域を黒に表すように二値化することにより生成されてもよい。その場合、データ削除部904は、前景マスク画像の低重要度領域内にある前景領域が背景領域になるように前景マスク画像に処理を行うことで低重要度領域の前景領域を削除してもよい。
また、データ削除部904は、低重要度領域内にあるオブジェクトの矩形マスクを削除した場合、同様に、低重要度領域内にあるオブジェクトの矩形テクスチャを削除してもよい。低重要度領域内にあるオブジェクトの矩形テクスチャを削除することで、レンダリング装置105における色付けにおいて、低重要度領域の矩形テクスチャが用いられないようにすることができる。
モデル生成部905は、カメラパラメータと、データ削除部904から出力された複数のカメラの前景マスク画像とを用いて、視体積交差法により、フレームに含まれるオブジェクトの三次元モデルの生成をする三次元形状データ生成部である。生成されたデータは、データ合成部907に出力される。処理抑制フレームの三次元モデルを生成する場合、モデル生成に用いられる前景マスク画像は、データ削除部904によって削除された矩形マスクに対応する前景領域は含まれない前景マスク画像である。このため、モデル生成部905は、処理抑制フレームでは、低重要度領域に位置するオブジェクトの三次元モデルは生成しないで、低重要度領域以外の領域に位置するオブジェクトの三次元モデルを生成することができる。
データ合成部907は、前景マスク画像と、モデル生成部905が生成したオブジェクトの三次元モデルとを取得し、データ削除部904から前景テクスチャ画像と抑制間隔とを取得する。対象フレームが処理抑制フレームである場合、データ合成部907は、データ削除部904が削除を行った三次元空間上の低重要度領域に、前回生成されたオブジェクトの三次元モデルを合成する。そして、合成の結果得られたデータを対象フレームに含まれるオブジェクトの三次元形状を表すデータとしてレンダリング装置105に出力する。
同様に、データ合成部907は、前景マスク画像の低重要度領域に、前回生成された前景マスク画像の対応する領域の前景領域を合成する。合成の結果得られた前景マスク画像は、次のフレームにおける低重要度領域の位置する前景のマスク画像として用いられる。同様に、データ合成部907は、前景テクスチャ画像の低重要度領域に、前回生成された前景テクスチャ画像の対応する前景の部分を合成する。合成の結果得られた夫々のデータはデータ管理部906に出力される。
データ管理部906は、データ合成部907が出力したデータをROM803または記憶装置804等の記憶部に記憶させる。記憶されるデータは、三次元モデル、前景テクスチャ画像、前景マスク画像のそれぞれのデータである。このため、データ合成部907は、データ管理部906を介して、1つ前のフレームに対応する三次元モデルから、低重要度領域に位置するオブジェクトの三次元モデルを取得することができる。
[画像内の領域の重要度について]
図10は、画像内の領域の重要度を説明するための図である。図10(a)は、背景モデルの三次元空間上に、重要度が設定された領域である重要度領域R1~R3を重畳して表示している図である。また、図10(a)にはカメラパラメータに基づきカメラ101a~101pの配置を表している。
図10は、画像内の領域の重要度を説明するための図である。図10(a)は、背景モデルの三次元空間上に、重要度が設定された領域である重要度領域R1~R3を重畳して表示している図である。また、図10(a)にはカメラパラメータに基づきカメラ101a~101pの配置を表している。
背景モデルは、撮像環境の三次元空間を表す三次元形状データであり図10(a)では簡易的な競技場を表している。背景モデルのデータ形式としては、例えば、三次元CG(Computer Graphics)でも用いられるジオメトリ定義ファイル形式で表される。
重要度領域R1~R3は、重要度情報に基づき表示される。重要度情報は、三次元空間上での夫々の領域の重要度を決定するための情報である。重要度情報に基づき、背景モデルの床面を分割して夫々の領域に重要度が付与される。重要度は、本実施形態では、重要度の高い順に1、2、3の3段階で設定するものとして説明する。そして、重要度が1の領域を領域R1、重要度が2の領域を領域R2、重要度が3の領域を領域R3として背景モデルに設定される。重要度が、最も高い領域R1以外の領域である、領域R2および領域R3を低重要度領域と呼ぶ。重要度情報は、例えば、ユーザの指示により設定された夫々の領域の重要度を示す情報である。
図10の例では、領域R1は視聴者の注目度が高いゴール前、領域R2はフィールド内の中央付近、領域R3はフィールド外を示している。なお、本実施形態では、重要度情報は、分割した二次元平面である床面に重要度を付与するための情報であるものとして説明するが、三次元空間に重要度を付与する情報であってもよい。
本実施形態では、低重要度領域に位置するオブジェクトについては、三次元モデルを更新する頻度が低くなるように処理される。このため、重要でない領域の三次元モデルの更新頻度を低くすることで、重要な領域の三次元モデルの更新頻度を高い状態に保ちつつ、三次元モデルに関わる全体の処理負荷を抑制することができる。
図10(b)は、カメラパラメータに基づき三次元空間上の点を透視投影変換することで得られるカメラ101eによる図10(a)の三次元空間を撮像した場合の撮像画像を示す図である。夫々のカメラにおいて透視投影変換することで、全てのカメラの撮像画像の各重要度領域を求めることができる。
透視投影変換とは、式1により、三次元座標点をカメラから撮像した画像平面に射影することである。
sx=A[R|t]X ・・・式1
式1において、Xは三次元空間の座標点、R|tは、カメラパラメータの外部パラメータ、Aはカメラパラメータの内部パラメータ、xは二次元平面の座標点、sはカメラ座標系における座標点のz座標を示す。
sx=A[R|t]X ・・・式1
式1において、Xは三次元空間の座標点、R|tは、カメラパラメータの外部パラメータ、Aはカメラパラメータの内部パラメータ、xは二次元平面の座標点、sはカメラ座標系における座標点のz座標を示す。
[三次元モデルの生成の処理フロー]
図11は、フレーム内のオブジェクトの三次元モデルを示す三次元形状データの生成の流れを示すフローチャートである。図11のフローチャートで示される一連の処理は、三次元モデル生成装置104のCPU801がROM803に記憶されているプログラムコードをRAM802に展開し実行することにより行われる。また、図11におけるステップの一部または全部の機能をASICまたは電子回路等のハードウエアで実現してもよい。なお、各処理の説明における記号「S」は、当該フローチャートにおけるステップであることを意味し、以後のフローチャートにおいても同様とする。
図11は、フレーム内のオブジェクトの三次元モデルを示す三次元形状データの生成の流れを示すフローチャートである。図11のフローチャートで示される一連の処理は、三次元モデル生成装置104のCPU801がROM803に記憶されているプログラムコードをRAM802に展開し実行することにより行われる。また、図11におけるステップの一部または全部の機能をASICまたは電子回路等のハードウエアで実現してもよい。なお、各処理の説明における記号「S」は、当該フローチャートにおけるステップであることを意味し、以後のフローチャートにおいても同様とする。
S1101において抑制前景選定部902は、カメラパラメータ、背景モデル、重要度情報に基づき、各カメラ101a~101pの撮像画像内の領域の重要度を決定する。
S1102において抑制間隔決定部903は、重要度ごとの抑制間隔を取得する。本フローチャートの説明では、抑制間隔は処理フレームレートで表現する。重要度が最大である重要度1の領域R1に位置するオブジェクトの処理フレームレートは、入力フレームレートと同じ60fpsと予め決められているものとする。また、重要度2の領域R2に位置するオブジェクトの処理フレームレートは30fps、重要度が最小の3の領域R3に位置するオブジェクトの処理フレームレートは15fps、と予め決定されているものとする。このため、抑制間隔決定部903は決定されている各重要度の処理フレームレートを取得する。
S1103~S1110は、カメラ101a~101pから出力された1フレーム(対象フレーム)に含まれるオブジェクトの三次元モデルを出力するためのステップである。まず、S1103において取得部901は、各カメラの、矩形マスクおよび矩形テクスチャを、前景抽出装置群102から取得する。S1104において抑制前景選定部902は、取得した矩形マスクのうち低重要度領域に位置する矩形マスクがあるか判定する。
図12は、本ステップの処理を説明するための図である。図12(a)は図10(a)のカメラ101eの撮像に基づくフレームを示す図である。図12(b)は、各重要度領域が重畳された背景モデルをカメラ101eが撮像することによって得られた画像に、図12(a)のフレームに基づき生成された矩形マスクを配置した図である。図12(b)に示すように、低重要度領域であるフィールド中央の領域R2とフィールド外の領域R3に位置する矩形マスクがある場合、低重要度領域に位置する矩形マスクがあると判定される。
図12(b)の矩形マスクM1が示すように領域R1と領域R2との2つの重要度領域に跨る矩形マスクについては、矩形マスクの下端が属する領域の重要度に基づき、低重要度領域に位置する矩形マスクはあるかの判定が行われる。即ち、矩形マスクM1は領域R1の高重要度領域に位置すると判定される。
低重要度領域に位置する矩形マスクがある場合、S1105に進む。S1105におい重要度の抑制間隔に基づき、S1103で取得された矩形マスクを生成するために用いられた対象フレームが処理抑制フレームか判定される。例えば、抑制間隔決定部903は、対象フレームが、ある重要度の領域に位置するオブジェクトの三次元モデルの更新を行わないフレームであるかを決定する。決定は、抑制間隔と対象フレームのタイムコードとに基づき行われる。
例えば、入力フレームレートが60fpsの場合であって、領域R2のオブジェクトの処理フレームレートが30fpsに設定されているとする。また、領域R3のオブジェクトの処理フレームレートが15fpsに設定されているとする。この場合、対象フレームのタイムコードのフレーム数を示す値が2の倍数以外のときは、対象フレームは、領域R2または領域R3に位置するオブジェクトの三次元モデルの更新は行わない処理抑制フレームであると決定される。また、対象フレームのタイムコードのフレーム数を示す値が、2の倍数であり、かつ、4の倍数以外の場合、対象フレームは、領域R3に位置するオブジェクトの三次元モデルの更新は行わない処理抑制フレームであると決定される。
タイムコードとは[時:分:秒.フレーム]の形式で表される時刻情報である。以下、本フローチャートにおいては、領域R2の処理フレームレートは30fps、領域R3の処理フレームレートは15fpsとして説明をする。
つまり、領域R2に位置するオブジェクトは、対象フレームのタイムコードのフレームの値が2の倍数の場合に、対象フレームに基づき生成された矩形マスクを用いて三次元モデルが生成されることになる。領域R3に位置するオブジェクトは、タイムコードのフレームの値が4の倍数の場合に、対象フレームに基づき生成された矩形マスクを用いて三次元モデルが生成される。
対象フレームが処理抑制フレームである場合(S1105がYES)、S1106において、低重要度領域に位置する矩形マスクのうち、三次元モデルの生成を抑制する対象となる領域に位置する矩形マスクが選定される。そして、データ削除部904は、選定された三次元モデルの生成を抑制する対象となる領域に位置する矩形マスクを削除する。
図13は、処理抑制フレームの矩形マスクを削除する本ステップの処理を説明するための図である。図13(a)は、図12(b)に含まれる矩形マスクのうち、領域R3に位置する矩形マスクを削除した後の矩形マスクを表す図である。例えば、タイムコードが12:34:56.02のように、フレームの値が2の倍数であり、かつ、4の倍数ではない場合、重要度が最も低い領域R3の位置するオブジェクトの三次元モデルは生成しない処理抑制フレームである。このため、領域R3に位置する矩形マスクが削除される。
図13(b)は、図12(b)の図に含まれる矩形マスクのうち、領域R3または領域R2に位置する矩形マスクを削除した後の矩形マスクマスクを表す図である。タイムコードが12:34:56.03のように、フレームの値が2の倍数ではなくかつ4の倍数以外の場合、重要度が最も高い領域R1以外の領域である領域R2および領域R3の位置するオブジェクトの三次元モデルは生成しない処理抑制フレームである。このため、領域R2および領域R3に位置する矩形マスクが削除される。
S1107ではオブジェクトの三次元モデルを生成する。初めに、データ削除部904は、矩形マスクを用いて前景マスク画像を生成する。S1106で矩形マスクが削除された場合、データ削除部904は、削除された矩形マスクは用いないで、各カメラの前景マスク画像を生成する。そして、モデル生成部905は、カメラパラメータと各カメラの前景マスク画像を用いて視体積交差法で三次元モデルを生成する。図13(a)または図13(b)で示すように処理抑制フレームにおける三次元モデル生成処理では、矩形マスクが少なくなる。このため、前景マスク画像における前景領域も少なくなり、生成される三次元モデルのボクセル数も少なくなる。このため、本実施形態では、三次元モデルに関わる処理負荷を軽減することができる。
一方、S1104においてNO、またはS1105においてNOと判定された場合は、S1106はスキップしてS1107に進む。このため、取得した全ての矩形マスクを用いて前景マスク画像が生成され、フレームに含まれるオブジェクトの三次元モデルが生成される。
S1108では、S1107で三次元モデルの生成がされなかったオブジェクトがあるか判定される。S1106で矩形マスクが削除された場合はYESと判定される。
三次元モデルが生成されないオブジェクトがある場合(S1108がYES)、S1109においてデータ合成部907は、オブジェクトの三次元モデルが生成されなかった領域に位置する、1つ前のフレームの三次元モデルを取得する。そして今回の生成した三次元モデルが配置された三次元空間に、取得された1つ前のフレームのオブジェクトの三次元モデルを追加するように合成する。合成の結果得られたデータは対象フレームのオブジェクトの三次元モデルを表すデータとして、レンダリング装置105に出力される。
図14はデータ合成部907の処理を説明するための図である。図14(a)は、S1107の処理の結果生成されたオブジェクトの三次元モデルを白色の領域で示した図である。図13(b)で示した領域R2と領域R3とに位置する矩形マスクが削除されたことに基づき生成された前景マスク画像に基づき生成された三次元モデルを、背景に重畳させて表した図が図14(a)である。つまり、対象フレームのタイムコードが12:34:56.03である場合のように、高重要度領域である領域R1に位置するオブジェクトの三次元モデルのみ生成されていることを示す。
図14(b)は、1つ前のフレームに対応する、前回出力されたオブジェクトの三次元モデルを斜線の領域で示した図である。本ステップでは、今回、三次元モデルが生成されなかった領域に位置するオブジェクトの三次元モデルが、1つ前のフレームの三次元モデルから取得される。つまり、図14の例では、図14(b)における領域R2と領域R3とに位置する三次元モデルが取得される。そして図14(c)に示すように、1つ前のフレームにおける領域R2と領域R3に位置する三次元モデルを、今回生成された三次元モデルが配置されている三次元空間上の領域R2と領域R3に追加する。つまり、低重要度領域である領域R2と領域R3とに位置する三次元モデルは今回のフレームでは更新されないことになり、高重要度領域である領域R1に位置する三次元モデルのみ処理抑制フレームでは更新される。
なお、図13(a)で示したように領域R2の矩形マスクは削除されず、領域R3に位置する矩形マスクが削除された場合も同様に1つ前のフレームの三次元モデルが追加による合成が行われる。即ち、1つ前のフレームの三次元モデルから領域R3に位置する三次元モデルが取得されて、今回の生成された三次元モデルが配置されている三次元空間上に取得された三次元モデルが追加される。
また、重要度が異なる領域の境界付近にある三次元モデルについては、位置の誤判定等により、三次元モデルが生成されたにも関わらず、1つ前のフレームの三次元モデルが取得されることが考えられる。この場合、合成により三次元モデルが重複してしまう。この重複を回避するため、1つ前のフレームに対応する三次元モデルと生成した三次元モデルとが重なるか判定し、重なる場合は1つ前のフレームの三次元モデルを合成しないという処理が行われてもよい。
一方、三次元モデルの生成がされなかったオブジェクトが無いと判定された場合(S1108がNO)、全てのオブジェクトの三次元モデルは生成されている。このため1つ前のフレームの三次元モデルを合成する処理は行わないため、S1109はスキップされる。
S1110においてデータ管理部906は、対象フレームの三次元モデル等を記憶部に記憶する。記憶する三次元モデルは、S1109で合成が行われた場合は、合成の結果得られた三次元モデルである。記憶されたデータは、次のフレームにおけるS1109の三次元モデルの合成処理における、1つ前のフレームの三次元モデルのデータとして用いられる。1つ前のフレームが処理抑制フレームである場合、記憶される三次元モデルのデータには、1つ前のフレームに基づき生成された三次元モデルと、1つ前のフレームより過去のフレームに基づき生成された三次元モデルとが含まれる。
S1111において、次のフレームがあるかが判定される。次のフレームがある場合は、S1103に戻る。そして、S1103~S1110の処理を繰り返すことで、時間的に連続した一連のフレームの三次元モデルが生成され、時間的に連続した三次元モデルが出力される。
以上説明したように本実施形態においては、仮想視点画像の視聴者の注目度が低いような低重要度領域に位置する三次元モデルの生成の頻度を抑制する。一方、サッカーのゴール前の領域など視聴者の注目度の高い高重要度領域に位置する三次元モデルの更新の頻度は維持される。よって、三次元モデルに関わる処理が高負荷となる場合においても、仮想視点画像映像品質を損なうことを抑制しつつ、処理負荷を抑制することができる。
なお、上記の説明では、処理抑制フレームにおいて、低重要度領域に位置するオブジェクトの三次元モデルを生成しなかった場合、1つ前のフレームにおける低重要度領域の三次元モデルを追加するものとして説明した。フレーム内の領域によっては、オブジェクトの三次元モデルが生成されなくても視聴者への影響が少ない場合がある。この場合、その領域に位置するオブジェクトの三次元モデルを生成しなかった場合、1つ前のフレームにおいて出力された三次元モデルを追加しなくてもよい。この場合でも仮想視点画像映像品質を損なうことを抑制しつつ、処理負荷を抑制することができる。
<第2の実施形態>
第1の実施形態では予め決定された重要度情報に基づき、フレーム内の低重要度領域に位置するオブジェクトの三次元モデルの更新を抑制する方法を説明した。本実施形態では、処理負荷を高くするオブジェクトを特定し、特定されたオブジェクトの三次元モデルの更新の頻度を減らすことで処理負荷を抑制する方法について説明する。本実施形態については、第1の実施形態からの差分を中心に説明する。特に明記しない部分については第1の実施形態と同じ構成および処理である。
第1の実施形態では予め決定された重要度情報に基づき、フレーム内の低重要度領域に位置するオブジェクトの三次元モデルの更新を抑制する方法を説明した。本実施形態では、処理負荷を高くするオブジェクトを特定し、特定されたオブジェクトの三次元モデルの更新の頻度を減らすことで処理負荷を抑制する方法について説明する。本実施形態については、第1の実施形態からの差分を中心に説明する。特に明記しない部分については第1の実施形態と同じ構成および処理である。
図15は本実施形態の三次元モデル生成装置104の機能構成を示すブロック図である。第1の実施形態と同一の処理ブロックについては同じ番号を付して説明を省略する。本実施形態の三次元モデル生成装置104は、重要度情報決定部1501をさらに有する。
重要度情報決定部1501は、モデル生成部905が生成した三次元モデルのボクセル数を算出し、ボクセル数が閾値以上である三次元モデルを特定する。そして、特定した三次元モデルの三次元空間における位置が含まれる領域の決定をする領域決定を行う。決定された三次元空間における領域の位置情報と重要度とを抑制前景選定部902に出力する。
図16は、フレーム内のオブジェクトの三次元モデルを表す三次元形状データの生成の流れを示すフローチャートである。図16を用いて本実施形態における、三次元形状データの生成方法を説明する。
S1601において抑制前景選定部902は、初期値として、フレーム内の全ての領域の重要度を最も高い重要度に設定する。S1602では、S1102と同様に、抑制間隔決定部903は重要度ごとの抑制間隔を取得する。
S1603~S1613は、カメラから出力された1フレームに含まれるオブジェクトの三次元モデルを出力するためのステップである。S1603~S1607の処理は、S1103~S1107の処理と同様であるため概略を説明する。S1603において取得部901は、前景抽出装置群102から矩形マスク、矩形テクスチャを取得する。S1604では取得された矩形マスクのうち、低重要度領域に位置するオブジェクトの矩形マスクがあるか判定される。最初のフレームでは、S1601で全ての領域の重要度を最も高い重要度に設定しているため本ステップではNOと判定される。S1605では対象フレームが処理抑制フレームであるか判定される。S1606では低重要度領域に位置するオブジェクトの矩形マスクを削除する。S1607では複数の前景マスク画像を用いて視体積交差法により三次元モデルを生成する。
S1608において重要度情報決定部1501は、S1607で生成された三次元モデルのうち、三次元モデルを構成するボクセル数が閾値以上である三次元モデルがあるかを判定する。閾値は、例えば、三次元モデル生成装置104の処理性能、または生成する仮想視点画像の要求仕様に基づき予め決められた値が用いられる。
閾値以上のボクセル数で構成される三次元モデルがある場合(S1608がYES)、S1609に進む。S1609において重要度情報決定部1501は、ボクセル数が閾値以上である三次元モデルが含まれる、背景モデルの三次元空間上の領域を低重要度領域に設定する。抑制前景選定部902は、設定された背景モデルの重要度情報に基づき、各カメラ101a~101pの撮像画像内の重要度領域を更新する。このため次のフレームが処理抑制フレームである場合、次フレームの三次元モデル生成の処理では、本ステップにおいて決定された低重要度領域に位置するオブジェクトの三次元モデルの更新を抑制することができる。
図17は、重要度情報決定部1501による低重要度領域の決定について説明するための図である。図17(a)は、三次元空間上の、生成された三次元モデルを示す図であり、生成された三次元モデルには閾値以上のボクセル数で構成されたフラッグのオブジェクトの三次元モデル1701が含まれる。図17(b)では、閾値以上のボクセル数で構成される三次元モデル1701が位置する三次元空間上の領域を、低重要度領域である領域R3に設定したことを示している。図17(c)は、領域R3を含む三次元空間上を、カメラ101eのカメラパラメータを用いてカメラ101eの画像平面に投影することによって得られた画像を示している。よって、次フレームでは、図17(c)に示す重要度領域に基づき、フレーム内の低重要度領域に位置するオブジェクトがあるかが判定される。
このように本実施形態では、領域の重要度を、フレーム毎に、フレームに応じて決定することで、多くのボクセル数で構成されている三次元モデルの更新の頻度を少なくすることができる。三次元モデルに関わる処理量はボクセル数に依存することが多い。このため、多くのボクセル数で構成されている三次元モデルの更新の頻度を少なくすることで、三次元モデルに関わる処理負荷を抑制することができる。
一方、閾値以上のボクセル数で構成される三次元モデルがない場合(S1608がNO)、S1609に進む。S1609では、S1601と同様に、フレーム内の領域の重要度を最大とする重要度領域の設定が行われる。
S1611~S1613の処理は、S1108~S1110の処理と同様であるため概略を説明する。S1611では三次元モデルが生成されなかったオブジェクトがあるか判定される。三次元モデル生成が生成されなかったオブジェクトがある場合、S1612において1つ前のフレームで出力された低重要度領域に位置する三次元モデルを合成してレンダリング装置105に出力する。S1613では出力された三次元モデル等を記憶する。S1614において、次のフレームがあるかが判定される。次のフレームがある場合は、S1603に戻る。そして、S1603~S1613の処理を繰り返すことで、一連のフレームの三次元モデルが生成され、時間的に連続した三次元モデルが出力される。
なお、今回のフレームで閾値以上のボクセル数で構成される三次元モデルが存在し、次のフレームでも閾値以上のボクセル数で構成される三次元モデルが存在する場合がある。この場合、1つ前フレームで低重要度領域に設定した領域を高重要度領域に戻してから、今回のフレームで三次元モデルが位置する領域を低重要度領域に設定してもよい。
また、上記の説明では、閾値以上のボクセル数であるような、多くのボクセル数で構成されている三次元モデルの更新頻度を抑制する方法を説明した。他にも、予め決められた所定のオブジェクトの位置に基づき領域の重要度が動的に決定されてもよい。
図18は、サッカーの試合を撮像することによって得られたフレームに基づき生成された三次元モデルである。図18は、サッカーの試合におけるボールのような重要度の高いオブジェクトの三次元モデル1801に近い領域ほど重要度が高くなるように、フレーム内の領域の重要度を決定した場合の例を示す図である。このように、動的に重要度を決定することにより、ボールの周辺領域のように、フレームごとにユーザの注目度の高い領域が変わる場合であっても、注目度の高い領域を高重要度領域とすることができる。このため、注目度の高い領域に位置するオブジェクトの三次元モデルの更新頻度は高いフレームレートを維持することが可能となる。
また、上記の説明では、閾値以上のボクセル数で構成される三次元モデルがある場合、その三次元モデルが位置する領域を一律に低重要度領域に決定する方法を説明した。他にも、三次元モデルを構成するボクセル数に応じて重要度を変えて、その三次元モデルが位置する領域の重要度を決定してもよい。例えば、複数の閾値を設定して、ボクセル数が第1の閾値以上の場合は、その三次元モデルが位置する領域を重要度が一番低い領域R3に決定する。そして、ボクセル数が第1の閾値未満で第1の閾値より小さい第2の閾値以上の場合、その三次元モデルが位置する領域を重要度が次に低い領域R2に決定するような構成でもよい。
また、オブジェクトの動きが少ない場合、そのオブジェクトの三次元モデルの更新頻度を下げても視聴者へ与える影響は少なくなる。このため、生成された数フレーム分の三次元モデルから、それぞれのオブジェクトの移動量を算出する。そして、移動量が閾値以下であるような動きの少ないオブジェクトの三次元モデルについては、更新頻度を下げるために、処理フレームレートを小さくする決定がされてもよい。
また、上記の説明では、生成した三次元モデルのボクセル数に基づいて領域の重要度を設定した。他にも、処理抑制フレームの場合、三次元モデルの生成中にボクセル数が閾値以上となる三次元モデルがあるか判定して、ボクセル数が閾値以上となったらその三次元モデルの生成を打ち切ってもよい。そして生成処理が打ち切られた三次元モデルが位置する領域を低重要度領域に決定してもよい。
また、対象フレームを得るためにカメラが撮像した時間に応じて領域の重要度または領域の位置を変更してもよい。例えば、時間に紐づいた重要度情報を取得して、指定された時間で領域の重要度を切り替えてもよい。
重要度情報決定部1501は、撮像装置による撮像対象がスポーツ競技の場合、撮像画像からフィールドに引かれたラインなどの情報に基づき競技の行われる領域を特定し、競技の行われる領域をそれ以外の領域よりも重要度の高い領域に設定してもよい。
以上説明したように本実施形態によれば、フレーム内の領域の重要度を動的に変更することができる。このため、三次元モデルに関わる処理負荷を抑制でき、高負荷時においても品質低下を抑制して三次元モデルの生成を実現することができる。
<その他の実施形態>
上述した実施形態では、制御装置103、三次元モデル生成装置104、レンダリング装置105はそれぞれ別の装置であるものとして説明した。他にも、1つのまたは2つの装置により、制御装置103、三次元モデル生成装置104、レンダリング装置105の機能が実現されてもよい。例えば、前景の三次元モデルの生成と、仮想視点画像の生成を1つの画像処理装置によって行う形態でもよい。
上述した実施形態では、制御装置103、三次元モデル生成装置104、レンダリング装置105はそれぞれ別の装置であるものとして説明した。他にも、1つのまたは2つの装置により、制御装置103、三次元モデル生成装置104、レンダリング装置105の機能が実現されてもよい。例えば、前景の三次元モデルの生成と、仮想視点画像の生成を1つの画像処理装置によって行う形態でもよい。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
104 三次元モデル生成装置
902 抑制前景選定部
904 データ削除部
905 モデル生成部
902 抑制前景選定部
904 データ削除部
905 モデル生成部
Claims (17)
- 複数の撮像装置の撮像によって得られたフレーム内のオブジェクトの形状を示すオブジェクト画像を用いて、前記フレーム内に含まれるオブジェクトの三次元形状データを生成する画像処理装置であって、
前記フレーム内の第1の領域のオブジェクトと、前記第1の領域以外の領域である第2の領域のオブジェクトと、を選定する選定手段と、
前記第1の領域のオブジェクトの三次元形状データを生成する第1のフレームレートを決定し、前記第2の領域のオブジェクトの三次元形状データを生成するための第2のフレームレートを第1のフレームレートとは異なるフレームレートに決定する決定手段と、
前記フレームに対応する前記オブジェクト画像を生成する画像生成手段と、
前記画像生成手段によって生成された前記オブジェクト画像を用いて、前記三次元形状データを生成するデータ生成手段と、を有し、
前記画像生成手段は、
前記第1のフレームレートで前記第1の領域のオブジェクトの三次元形状データが生成されるように制御し、前記第2のフレームレートで前記第2の領域のオブジェクトの三次元形状データが生成されるように制御する
ことを特徴とする画像処理装置。 - 前記第1の領域は、前記第2の領域よりも重要度が低い領域である
ことを特徴とする請求項1に記載の画像処理装置。 - 前記第1のフレームレートの値は、前記第2のフレームレートの値より小さい
ことを特徴とする請求項2に記載の画像処理装置。 - 前記重要度は、ユーザの指示に基づき設定される
ことを特徴とする請求項2または3に記載の画像処理装置。 - 前記フレーム内の領域の前記重要度を決定する領域決定手段をさらに有する
ことを特徴とする請求項2または3に記載の画像処理装置。 - 前記領域決定手段は、
前記複数の撮像装置による撮像対象がスポーツ競技を対象とする場合において、前記フレーム内の前記競技の行われる領域を特定し、前記競技の行われる領域以外の領域を、前記競技の行われる領域よりも重要度の低い領域に決定する
ことを特徴とする請求項5に記載の画像処理装置。 - 前記領域決定手段は、
前記データ生成手段による三次元形状データの生成時の処理負荷に基づき、前記重要度が低い領域を決定する
ことを特徴とする請求項5に記載の画像処理装置。 - 前記領域決定手段は、
前記データ生成手段が生成した三次元形状データが示すオブジェクトの三次元形状のうち、三次元形状を構成する要素の数が閾値以上である三次元形状が位置する領域に基づき、前記重要度が低い領域を決定する
ことを特徴とする請求項5に記載の画像処理装置。 - 前記領域決定手段は、
所定のオブジェクトを含む領域に基づき、前記重要度が低い領域を決定する
ことを特徴とする請求項5に記載の画像処理装置。 - 前記領域決定手段は、
複数の重要度に対応する夫々の領域を決定し、前記所定のオブジェクトとからの距離が近い領域ほど、領域の重要度が高くなるように、前記夫々の領域の決定を行う
ことを特徴とする請求項9に記載の画像処理装置。 - 前記領域決定手段は、
オブジェクトの移動量に基づき、前記重要度が低い領域を決定する
ことを特徴とする請求項5に記載の画像処理装置。 - 前記領域決定手段は、
前記フレームが撮像された時刻に基づき、前記重要度が低い領域を決定する
ことを特徴とする請求項5に記載の画像処理装置。 - 前記決定手段は、
前記画像処理装置の処理負荷に基づき、前記第1のフレームレートおよび前記第2のフレームレートを決定する
ことを特徴とする請求項1から12のいずれか1項に記載の画像処理装置。 - オブジェクトの三次元形状データを生成しない前記フレーム内の領域がある場合、過去に生成された該領域のオブジェクトの三次元形状データにおける三次元形状が、前記データ生成手段によって生成された三次元形状データにおける三次元空間に含まれるように処理する処理手段をさらに有する
ことを特徴とする請求項1から13のいずれか1項に記載の画像処理装置。 - 前記フレームに含まれるオブジェクトごとの形状を示す画像を取得する取得手段をさらに有し、
前記画像生成手段は、前記取得された画像を用いて前記オブジェクト画像を生成し、
オブジェクトの三次元形状データを生成しない前記フレーム内の領域がある場合、
前記画像生成手段は、前記オブジェクトの三次元形状データを生成しない前記フレーム内の領域に対応する前記画像を削除し、前記取得された画像のうち前記削除された画像以外の画像を用いて前記オブジェクト画像を生成する
ことを特徴とする請求項1から14のいずれか1項に記載の画像処理装置。 - 複数の撮像装置の撮像によって得られたフレーム内のオブジェクトの形状を示すオブジェクト画像を用いて、前記フレーム内に含まれるオブジェクトの三次元形状データを生成する画像処理方法であって、
前記フレーム内の第1の領域のオブジェクトと、前記第1の領域以外の領域である第2の領域のオブジェクトと、を選定する選定ステップと、
前記第1の領域のオブジェクトの三次元形状データを生成する第1のフレームレートを決定し、前記第2の領域のオブジェクトの三次元形状データを生成するための第2のフレームレートを第1のフレームレートとは異なるフレームレートに決定する決定ステップと、
前記フレームに対応する前記オブジェクト画像を生成する画像生成ステップと、
前記画像生成ステップによって生成された前記オブジェクト画像を用いて、前記三次元形状データを生成するデータ生成ステップと、を有し、
前記画像生成ステップでは、
前記第1のフレームレートで前記第1の領域のオブジェクトの三次元形状データが生成されるように制御し、第2のフレームレートで前記第2の領域のオブジェクトの三次元形状データが生成されるように制御する
ことを特徴とする画像処理方法。 - コンピュータを、請求項1から15のいずれか1項に記載の画像処理装置の各手段として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020132476A JP2022029239A (ja) | 2020-08-04 | 2020-08-04 | 画像処理装置、画像処理方法、およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020132476A JP2022029239A (ja) | 2020-08-04 | 2020-08-04 | 画像処理装置、画像処理方法、およびプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022029239A true JP2022029239A (ja) | 2022-02-17 |
Family
ID=80271301
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020132476A Pending JP2022029239A (ja) | 2020-08-04 | 2020-08-04 | 画像処理装置、画像処理方法、およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2022029239A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7479729B2 (ja) | 2022-05-24 | 2024-05-09 | 四川中▲縄▼矩▲陣▼技▲術▼▲発▼展有限公司 | 三次元表現方法及び表現装置 |
-
2020
- 2020-08-04 JP JP2020132476A patent/JP2022029239A/ja active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7479729B2 (ja) | 2022-05-24 | 2024-05-09 | 四川中▲縄▼矩▲陣▼技▲術▼▲発▼展有限公司 | 三次元表現方法及び表現装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6513169B1 (ja) | 仮想視点画像を生成するシステム、方法及びプログラム | |
EP2051533B1 (en) | 3D image rendering apparatus and method | |
JP5055214B2 (ja) | 画像処理装置、画像処理方法 | |
KR20170086077A (ko) | 증강 현실 장면에서의 드로잉을 위한 깊이 정보의 사용 | |
CN109906600B (zh) | 模拟景深 | |
US20230281912A1 (en) | Method and system for generating a target image from plural multi-plane images | |
JPH09319896A (ja) | 3次元画像作成装置 | |
KR20140010708A (ko) | 대상 물체의 3차원 메쉬 모델의 텍스쳐 생성 장치 및 방법 | |
JP4464773B2 (ja) | 3次元モデル表示装置及び3次元モデル表示プログラム | |
JP2022029239A (ja) | 画像処理装置、画像処理方法、およびプログラム | |
EP3723365A1 (en) | Image processing apparatus, system that generates virtual viewpoint video image, control method of image processing apparatus and storage medium | |
US20230394701A1 (en) | Information processing apparatus, information processing method, and storage medium | |
JP2022015115A (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP4189339B2 (ja) | 3次元モデル生成方法と生成装置およびプログラムと記録媒体 | |
JP3850080B2 (ja) | 画像生成表示装置 | |
JP3309841B2 (ja) | 合成動画像生成装置および合成動画像生成方法 | |
JP7265825B2 (ja) | 生成装置、生成方法およびプログラム | |
Hwang et al. | Image-based object reconstruction using run-length representation | |
JP2019114269A (ja) | 仮想視点画像を生成するシステム、方法及びプログラム | |
JP6759300B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
US20240112394A1 (en) | AI Methods for Transforming a Text Prompt into an Immersive Volumetric Photo or Video | |
JP2022039374A (ja) | 画像処理装置、画像処理システム、画像処理方法、およびプログラム | |
JP2002312810A (ja) | 合成動画像生成装置および合成動画像生成方法 | |
JP2023153534A (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP2024073835A (ja) | 画像処理システム、画像処理方法、及びプログラム |