JPWO2020165076A5

JPWO2020165076A5 -

Info

Publication number: JPWO2020165076A5
Application number: JP2021541447A
Authority: JP
Publication date: 2023-01-30
Anticipated expiration: 2040-02-10

Claims

光強度画像を生成する方法であって、
第1視点からのシーンを表す第1テクスチャマップおよび第1メッシュ受信するステップと、
第２視点からの前記シーンを表す第２テクスチャマップおよび第２メッシュ受信するステップと、
前記第1テクスチャマップ、前記第1メッシュ、前記第2テクスチャマップおよび前記第2メッシュに応じて、第3視点からの前記シーンを表す前記光強度画像を決定するステップと、を有し、
前記光強度画像を決定する前記ステップは、
前記光強度画像内の対応する第1画像位置および前記第1メッシュの頂点のための第1画像位置奥行き値を決定し、
前記光強度画像内の対応する第２画像位置および前記第２メッシュの頂点のための第２画像位置奥行き値を決定し、
前記光強度画像内の複数の位置のうちの各第1位置について、
前記第1テクスチャマップおよび前記第1画像位置に基づく第1光強度値、ならびに、前記第1画像位置および前記第1画像位置奥行き値に基づく第1奥行き値を決定し、
前記第２テクスチャマップおよび前記第２画像位置に基づく第２光強度値、ならびに、前記第２画像位置および前記第２画像位置奥行き値に基づく第２奥行き値を決定し、
少なくとも前記第1光強度値および前記第2光強度値の重み付け組み合わせとして前記第1位置における前記光強度画像の光強度値を決定し、
第1奥行き値が増加するほど前記第2光強度値に対する前記第1光強度値の重みが増加し、前記重みが、前記第1奥行き値と前記第2奥行き値との間の差分測度の大きさに依存する、方法。 A method of generating a light intensity image, comprising:
receiving a first texture map and a first mesh representing the scene from a first viewpoint;
receiving a second texture map and a second mesh representing the scene from a second viewpoint;
determining the light intensity image representing the scene from a third viewpoint according to the first texture map, the first mesh, the second texture map and the second mesh;
The step of determining the light intensity image comprises:
determining first image position depth values for corresponding first image positions in said light intensity image and vertices of said first mesh;
determining second image location depth values for corresponding second image locations in said light intensity image and vertices of said second mesh;
For each first position of a plurality of positions within the light intensity image,
determining a first light intensity value based on the first texture map and the first image location and a first depth value based on the first image location and the first image location depth value;
determining a second light intensity value based on the second texture map and the second image location and a second depth value based on the second image location and the second image location depth value;
determining a light intensity value of the light intensity image at the first location as a weighted combination of at least the first light intensity value and the second light intensity value;
As the first depth value increases, the weight of the first light intensity value with respect to the second light intensity value increases, and the weight increases the difference measure between the first depth value and the second depth value. Depends on how.

前記重みが、前記第1奥行き値と前記第2奥行き値との間の差の符号に依存する、請求項１に記載の方法。 2. Method according to claim 1 , wherein said weight depends on the sign of the difference between said first depth value and said second depth value.

前記第1奥行き値および前記第2奥行き値のうち小さい方の奥行き値に対する前記第1奥行き値および前記第2奥行き値のうち大きい方の奥行き値に対する重みが、前記差分測度の大きさが増加するほど、増加する、請求項
１に記載の方法。 The weight of the larger one of the first depth value and the second depth value with respect to the smaller one of the first depth value and the second depth value increases as the magnitude of the difference measure increases. Claims that increase as much as
1. The method according to 1.

前記光強度画像の前記光強度値の決定が、前記第1光強度値および前記第2光強度値のうち奥行き値が大きい方の値に前記光強度値を設定することを含む、請求項１から３のいずれか一項に記載の方法。 2. The determining of the light intensity value of the light intensity image comprises setting the light intensity value to one of the first light intensity value and the second light intensity value that has a greater depth value. 4. The method of any one of 3 to 4.

前記光強度画像内の対応する第1画像位置および前記第1メッシュの頂点に対する第1画像位置奥行き値の決定が頂点シェーダによって実行される、請求項１から請求項４のいずれか一項に記載の方法。 5. A vertex shader according to any one of claims 1 to 4 , wherein determination of first image position depth values for corresponding first image positions in said light intensity image and vertices of said first mesh is performed by a vertex shader. the method of.

前記第1光強度値を決定するステップが第1フラグメントシェーダによって実行される、請求項１から請求項５のいずれか一項に記載の方法。 6. The method of any one of claims 1 to 5 , wherein determining the first light intensity value is performed by a first fragment shader.

前記光強度画像の前記光強度値を決定するステップが第2フラグメントシェーダによって実行される、請求項１から６のいずれか一項に記載の方法。 7. The method of any one of claims 1 to 6 , wherein determining the light intensity values of the light intensity image is performed by a second fragment shader.

前記第2フラグメントシェーダが、
少なくとも１つの光強度成分値および１つの透明成分値を含む多成分値を有する第2シェーダテクスチャマップを受信し、前記透明成分値に応じて複数の前記テクスチャマップからの光強度成分値および組み合わせることにより出力光強度値を生成するように構成され、前記方法がさらに、前記第1光強度値を有する多成分値の透明成分値を第1奥行き値に設定するステップを有する、請求項７に記載の方法。 The second fragment shader
Receiving a second shader texture map having multi-component values including at least one light intensity component value and one transparency component value, and combining light intensity component values from a plurality of said texture maps according to said transparency component value. 8. The method of claim 7 , wherein the method further comprises setting a transparency component value of a multi-component value having the first light intensity value to a first depth value. the method of.

前記重み付け組み合わせが、第3メッシュおよび第３テクスチャマップから生成される第3光強度値をさらに含む、請求項１から８のいずれか一項に記載の方法。 9. A method according to any preceding claim, wherein said weighted combination further comprises a third light intensity value generated from a third mesh and a third texture map.

前記第2光強度値に対する前記第1光強度値の前記重みが、前記第1光強度値の周りの第1近傍における第1光強度値および前記第2光強度値の周りの第2近傍における第2光強度値に依存する、請求項１から９のいずれか一項に記載の方法。 The weight of the first light intensity value relative to the second light intensity value is a first light intensity value in a first neighborhood around the first light intensity value and a second light intensity value in a second neighborhood around the second light intensity value. 10. A method according to any one of claims 1 to 9 , depending on the second light intensity value.

前記重みが、前記第1視点と前記第3視点との間の差にさらに依存する、請求項１から１０のいずれか一項に記載の方法。 11. A method according to any one of claims 1 to 10 , wherein said weight further depends on the difference between said first viewpoint and said third viewpoint.

前記第2光強度値に対する前記第1光強度値の前記重みが、前記第1奥行きマップにおける前記第1メッシュ位置における奥行きを決定するために使用される奥行き推定の信頼性を示す信頼性指標にさらに依存し、前記第2光強度値に対する前記第1光強度値の前記重みが、前記奥行き推定の信頼性が増加することを示す前記信頼性指標に対して増加する、請求項１から１１のいずれか一項に記載の方法。 wherein the weight of the first light intensity value relative to the second light intensity value is a reliability metric that indicates the reliability of a depth estimate used to determine depth at the first mesh location in the first depth map. 12. The method of claims 1 to 11 , further dependent, wherein the weight of the first light intensity value with respect to the second light intensity value increases with respect to the reliability index indicating that the reliability of the depth estimation increases. A method according to any one of paragraphs.

光強度画像を生成するための装置であって、
第1視点からのシーンを表す第1テクスチャマップと第1メッシュとを受信する第1受信機と、
第2視点からの前記シーンを表す第2テクスチャマップと第2メッシュとを受信する第2受信機と、
前記第1テクスチャマップ、前記第1メッシュ、前記第2テクスチャマップおよび前記第2メッシュに応じて、前記第3視点からの前記シーンを表す前記光強度画像を決定する画像生成器と、
を有し、
前記画像生成器は、
前記光強度画像における対応する第1画像位置および前記第1メッシュの頂点のための第1画像位置奥行き値を決定するための第1ビュー変換器と、
前記光強度画像における対応する第２画像位置および前記第２メッシュの頂点のための第２画像位置奥行き値を決定するための第２ビュー変換器と、
前記光強度画像における複数の位置のうちの各第1位置のために、前記第1テクスチャマップおよび前記第1画像位置に基づく第1光強度値、ならびに、前記第1画像位置および前記第1画像位置奥行き値に基づく第1奥行き値を決定するための第1シェーダと、
前記光強度画像における複数の位置のうちの各第1位置のために、前記第２テクスチャマップおよび前記第２画像位置に基づく第２光強度値、ならびに、前記第２画像位置および前記第２画像位置奥行き値に基づく第２奥行き値を決定するための第２シェーダと、
前記光強度画像における複数の位置のうちの各第1位置のために、少なくとも前記第1光強度値と前記第2光強度値との重み付け組み合わせとして当該第1位置における前記光強度画像のための光強度値を決定する結合器と、
を有し、第1奥行き値が増加するほど、前記第２光強度値に対する前記第1光強度値の重みが増加し、前記重みが、前記第1奥行き値と前記第2奥行き値との間の差分測度の大きさに依存する、装置。 An apparatus for generating a light intensity image, comprising:
a first receiver that receives a first texture map and a first mesh representing a scene from a first viewpoint;
a second receiver for receiving a second texture map and a second mesh representing the scene from a second viewpoint;
an image generator for determining the light intensity image representing the scene from the third viewpoint according to the first texture map, the first mesh, the second texture map and the second mesh;
has
The image generator comprises:
a first view transformer for determining first image position depth values for corresponding first image positions in said light intensity image and vertices of said first mesh;
a second view transformer for determining second image location depth values for corresponding second image locations in said light intensity image and vertices of said second mesh;
a first light intensity value based on the first texture map and the first image position, and the first image position and the first image, for each first position of a plurality of positions in the light intensity image; a first shader for determining a first depth value based on the position depth value;
a second light intensity value based on the second texture map and the second image position, and the second image position and the second image, for each first position of a plurality of positions in the light intensity image; a second shader for determining a second depth value based on the positional depth value;
for each first position of a plurality of positions in the light intensity image as a weighted combination of at least the first light intensity value and the second light intensity value for the light intensity image at that first position; a coupler for determining light intensity values;
and the weight of the first light intensity value with respect to the second light intensity value increases as the first depth value increases, and the weight is between the first depth value and the second depth value A device that depends on the magnitude of the difference measure of .

コンピュータにより実行されて、当該コンピュータに請求項１から１２のいずれか一項に記載の方法を実行させるコンピュータプログラム。 A computer program, being executed by a computer, causing said computer to perform the method according to any one of claims 1 to 12 .