JP6818606B2 - Free-viewpoint image generation and display methods, devices and programs - Google Patents
Free-viewpoint image generation and display methods, devices and programs Download PDFInfo
- Publication number
- JP6818606B2 JP6818606B2 JP2017059554A JP2017059554A JP6818606B2 JP 6818606 B2 JP6818606 B2 JP 6818606B2 JP 2017059554 A JP2017059554 A JP 2017059554A JP 2017059554 A JP2017059554 A JP 2017059554A JP 6818606 B2 JP6818606 B2 JP 6818606B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- viewpoint
- camera
- rectangular projection
- free
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 59
- 238000000605 extraction Methods 0.000 claims description 23
- 230000000007 visual effect Effects 0.000 claims description 15
- 239000000284 extract Substances 0.000 description 5
- 239000002131 composite material Substances 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- 208000006440 Open Bite Diseases 0.000 description 2
- 230000001771 impaired effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000004513 sizing Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
Landscapes
- Processing Or Creating Images (AREA)
- Image Generation (AREA)
Description
本発明は、自由視点画像の生成表示方法、装置およびプログラムに係り、特に、スポーツ競技等の比較的大きな空間で複数台のカメラを密に配置できない撮影条件に好適な自由視点画像の生成表示方法、装置およびプログラムに関する。 The present invention relates to a free-viewpoint image generation / display method, an apparatus and a program, and is particularly suitable for a free-viewpoint image generation / display method suitable for shooting conditions in which a plurality of cameras cannot be densely arranged in a relatively large space such as a sports competition. , Equipment and programs.
自由視点映像の生成手法は、大きくモデルベース型とイメージベース型とに分類される。モデルベース型の代表的な手法が非特許文献１に開示されている。非特許文献１では、被写体の3次元形状を3Dモデルとして復元し、3Dモデル表面を細かなポリゴンに分割した後、各ポリゴンのテクスチャを複数の撮影カメラ映像から取得して視点位置に応じて適切な割合でブレンドすることで、撮影カメラが存在しない視点からの映像を合成する。 Free-viewpoint video generation methods are broadly classified into model-based types and image-based types. A typical model-based method is disclosed in Non-Patent Document 1. In Non-Patent Document 1, the 3D shape of the subject is restored as a 3D model, the surface of the 3D model is divided into fine polygons, and then the texture of each polygon is acquired from a plurality of shooting camera images and is appropriate according to the viewpoint position. By blending in a proper ratio, the image from the viewpoint where the shooting camera does not exist is synthesized.
この手法は、理論的には任意視点での見え方を滑らかに再現することが可能であるが、最終的な合成画像が、ポリゴンの繋ぎ合わせとして表現される特性上、合成画像の品質が3Dモデルやカメラパラメータの精度に大きく依存するので、スポーツシーン等、カメラを密に配置できない場合の品質には限界がある。 In theory, this method can smoothly reproduce the appearance from an arbitrary viewpoint, but the quality of the composite image is 3D due to the characteristic that the final composite image is expressed as a combination of polygons. Since it largely depends on the accuracy of the model and camera parameters, there is a limit to the quality when the cameras cannot be arranged closely, such as in sports scenes.
一方、イメージベース型の代表的な手法が非特許文献２に開示されている。非特許文献２では、各撮影カメラ映像から被写体の存在領域を抽出し、1枚の矩形型ポリゴンとして表現するビルボード方式が提案されている。 On the other hand, a typical image-based method is disclosed in Non-Patent Document 2. Non-Patent Document 2 proposes a billboard method in which an existing area of a subject is extracted from each shooting camera image and expressed as one rectangular polygon.
ビルボード方式では、被写体の3次元形状は復元しないが、対象とする3次元空間においてビルボードを設置する座標を算出し、撮影カメラ映像から取得される被写体領域のテクスチャをマッピングすることで、被写体同士や、被写体と背景との位置関係を任意視点において再現することが可能である。 In the billboard method, the 3D shape of the subject is not restored, but by calculating the coordinates for installing the billboard in the target 3D space and mapping the texture of the subject area acquired from the shooting camera image, the subject It is possible to reproduce the positional relationship between each other and the subject and the background from an arbitrary viewpoint.
ビルボード方式では、3Dモデル方式のような滑らかな見え方の変化を再現することはできないが、撮影カメラ映像のテクスチャを加工することなく、そのまま利用するため、3Dモデル方式に比べて高精細な見え方を実現できる。 The billboard method cannot reproduce the smooth changes in appearance like the 3D model method, but it is used as it is without processing the texture of the camera image, so it has higher definition than the 3D model method. The appearance can be realized.
モデルベース型およびイメージベース型に共通する最大の課題として、撮影カメラ映像における被写体同士の重なり等によって生じるオクルージョンがある。特にビルボード方式では、各カメラ映像における被写体領域から取得されるテクスチャを加工することなくそのまま利用するため、別の被写体との重なり等によって観測できない領域が生じる場合、当該領域の見え方を再現することは不可能である。 The biggest problem common to both the model-based type and the image-based type is the occlusion caused by the overlapping of subjects in the captured camera image. In particular, in the billboard method, the texture acquired from the subject area in each camera image is used as it is without processing, so if an unobservable area occurs due to overlap with another subject, the appearance of that area is reproduced. That is impossible.
オクルージョン領域において、カメラに対して手前側に存在する被写体であっても、重なりの境界を適切に分離することは困難であるため、適切な被写体領域の抽出は難易度の高い課題であると言える。 In the occlusion area, even if the subject is in front of the camera, it is difficult to properly separate the overlapping boundaries, so it can be said that extracting an appropriate subject area is a difficult task. ..
このような技術課題に対して、各被写体に個別IDを与え、時間方向でIDが保持されるよう追跡を行うことで、オクルージョンの検出と、フレーム間での補間を行う手法が非特許文献３および特許文献１に開示されている。 Non-Patent Document 3 describes a method of detecting occlusion and interpolating between frames by giving an individual ID to each subject and tracking the ID so that the ID is held in the time direction. And patent document 1.
これらの先行技術は、複数カメラの情報を用いることで、オクルージョン領域における各被写体のテクスチャと、ビルボードの設置座標の各々をフレーム間で補間する手法を提案する。しかしながら、オクルージョンの継続時間（フレーム数）が長い場合、補間性能に限界があるために主観品質を損なう問題がある。 These prior arts propose a method of interpolating the texture of each subject in the occlusion area and the installation coordinates of the billboard between frames by using the information of a plurality of cameras. However, when the duration of interpolation (number of frames) is long, there is a problem that the subjective quality is impaired because the interpolation performance is limited.
また、追跡処理に誤りが含まれる場合、異なる被写体間でテクスチャや位置を補正することとなり、合成映像の主観品質を著しく損なうという課題もある。追跡誤りに対する頑健性を高める目的から、特許文献１では、目視による追跡IDの確認・修正を可能とする手法が提案されているが、非常に多くの時間を要するという課題がある。 Further, when the tracking process contains an error, the texture and the position are corrected between different subjects, which causes a problem that the subjective quality of the composite image is significantly impaired. For the purpose of improving robustness against tracking errors, Patent Document 1 proposes a method that enables visual confirmation and correction of tracking IDs, but there is a problem that it takes an extremely large amount of time.
本発明の目的は、上記の技術課題を解決し、ビルボード方式での合成過程において各カメラにおける各オブジェクトの存在領域を個別に抽出することにより、ビルボード方式の固有の高精細な見え方を維持しながら、特にオクルージョン領域についても主観品質を損なうことなくオブジェクトの3Dモデルを短時間で再現できる自由視点画像の生成表示方法、装置およびプログラムを提供することにある。 An object of the present invention is to solve the above technical problems and individually extract the existing area of each object in each camera in the synthesis process of the billboard method to obtain a high-definition appearance peculiar to the billboard method. It is an object of the present invention to provide a method, a device, and a program for generating and displaying a free-viewpoint image that can reproduce a 3D model of an object in a short time without impairing the subjective quality, especially in an occlusion area.
上記の目的を達成するために、本発明は、自由視点画像の生成表示方法、装置およびプログラムにおいて、以下のような構成を具備した点に特徴がある。 In order to achieve the above object, the present invention is characterized in that the free viewpoint image generation / display method, apparatus, and program are provided with the following configurations.
(1) 本発明の自由視点画像を生成して表示する装置は、オブジェクトを異なる視点で撮影した複数のカメラ画像に基づいて生成した３次元形状モデルを各視点へ投影し、各オブジェクトの投影像部分を含む矩形投影画像を視点ごとに抽出する手段と、オブジェクトごとに各視点における矩形投影画像のテクスチャを取得する手段と、各矩形投影画像およびそのテクスチャに基づいてビルボードを生成する手段と、自由視点を特定する情報に基づいてビルボードを表示するカメラを選択して、そのカメラに関して生成した全てのビルボードを表示する手段とを具備した。 (1) The device for generating and displaying a free-viewpoint image of the present invention projects a three-dimensional shape model generated based on a plurality of camera images of an object taken from different viewpoints onto each viewpoint, and a projected image of each object. A means for extracting a rectangular projection image including a part for each viewpoint, a means for acquiring the texture of the rectangular projection image at each viewpoint for each object, a means for generating each rectangular projection image and a billboard based on the texture, and a means for generating a billboard. It provided a means of selecting a camera to display a billboard based on information identifying a free viewpoint and displaying all the billboards generated for that camera.
(2) 本発明のコンピュータが自由視点画像を生成して表示する方法は、オブジェクトを異なる視点で撮影した複数のカメラ画像に基づいて生成した３次元形状モデルを各視点へ投影し、各オブジェクトの投影像部分を含む矩形投影画像を視点ごとに抽出し、オブジェクトごとに各視点における矩形投影画像のテクスチャを対応するカメラ画像から取得し、各矩形投影画像およびそのテクスチャに基づいてビルボードを生成し、自由視点を特定する情報に基づいてビルボードを表示するカメラを選択して、そのカメラに関して生成した全てのビルボードを表示するようにした。 (2) The method in which the computer of the present invention generates and displays a free-viewpoint image is to project a three-dimensional shape model generated based on a plurality of camera images of an object taken from different viewpoints onto each viewpoint, and to display each object. A rectangular projection image including the projected image part is extracted for each viewpoint, the texture of the rectangular projection image at each viewpoint is acquired from the corresponding camera image for each object, and a billboard is generated based on each rectangular projection image and its texture. , Select a camera to display the billboard based on the information that identifies the free viewpoint, and display all the billboards generated for that camera.
(3) 本発明の自由視点画像を生成して表示するプログラムは、オブジェクトを異なる視点で撮影した複数のカメラ画像に基づいて生成した３次元形状モデルを各視点へ投影し、各オブジェクトの投影像部分を含む矩形投影画像を視点ごとに抽出する手順と、オブジェクトごとに各視点における矩形投影画像のテクスチャを対応するカメラ画像から取得する手順と、前記各矩形投影画像およびそのテクスチャに基づいてビルボードを生成する手順と、自由視点を特定する情報に基づいてビルボードを表示するカメラを選択し、そのカメラに関して生成した全てのビルボードを表示する手順とを、コンピュータが実行可能に記述した。 (3) The program for generating and displaying a free-viewpoint image of the present invention projects a three-dimensional shape model generated based on a plurality of camera images of an object taken from different viewpoints onto each viewpoint, and a projected image of each object. A procedure for extracting a rectangular projection image including a part for each viewpoint, a procedure for acquiring the texture of the rectangular projection image at each viewpoint for each object from the corresponding camera image, and a billboard based on each of the rectangular projection images and the texture. The procedure for generating a billboard and the procedure for selecting a camera to display a billboard based on information that identifies a free viewpoint and displaying all the billboards generated for that camera are described in a computer-executable manner.
(1) 自由視点映像の最終的な表示およびレンダリングはビルボード方式により実施することを前提に、合成過程でオブジェクトの三次元形状モデルを復元し、当該モデルの各カメラへの投影像を利活用することで、各カメラにおけるオクルージョン領域を検出し、オブジェクトごとの存在領域およびテクスチャを抽出できるようになる。 (1) Assuming that the final display and rendering of the free-viewpoint video will be performed by the billboard method, the three-dimensional shape model of the object will be restored in the composition process, and the projected image of the model to each camera will be utilized. By doing so, it becomes possible to detect the occlusion area in each camera and extract the existence area and texture for each object.
すなわち、ビルボードを作成する際、非オクルージョン領域に関しては投影像の抽出元カメラ画像から対応画素のテクスチャを取得する一方、オクルージョン領域に関しては、抽出元カメラ以外のカメラ画像の対応画素からテクスチャを取得することができる。 That is, when creating a billboard, the texture of the corresponding pixel is acquired from the extraction source camera image of the projected image for the non-occlusion area, while the texture is acquired from the corresponding pixel of the camera image other than the extraction source camera for the occlusion area. can do.
したがって、主観品質を損なうことなくオブジェクトの3Dモデルを短時間で再現できるようになり、オクルージョンが頻繁に発生するようなシーンにおいても、手作業を必要とすることなく高品質な自由視点画像を自動生成することが可能となる。 Therefore, it becomes possible to reproduce a 3D model of an object in a short time without impairing the subjective quality, and even in a scene where occlusion occurs frequently, a high-quality free-viewpoint image is automatically performed without requiring manual work. It becomes possible to generate.
(2) 特に大空間を対象とする場合、被写体の3次元形状の復元性能には限界があるが、本発明では、視体積交差法で復元されるVisual Hullの各カメラへの投影像に注目することで、各カメラにおける被写体の存在領域を個別に抽出できるようになる。 (2) Especially when targeting a large space, there is a limit to the restoration performance of the three-dimensional shape of the subject, but in the present invention, attention is paid to the projected image of Visual Hull to each camera restored by the visual volume crossing method. By doing so, it becomes possible to individually extract the existing area of the subject in each camera.
以下、図面を参照して本発明の実施の形態について詳細に説明する。図１は、本発明に係る自由視点画像の生成表示方法、装置およびプログラムの一実施形態の構成を示した機能ブロック図である。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. FIG. 1 is a functional block diagram showing a configuration of an embodiment of a free viewpoint image generation / display method, an apparatus, and a program according to the present invention.
このようなシステムは、汎用のコンピュータやサーバに各機能を実現するアプリケーション（プログラム）を実装して構成しても良いし、あるいはアプリケーションの一部がハードウェア化またはROM化された専用機や単能機として構成しても良い。 Such a system may be configured by implementing an application (program) that realizes each function on a general-purpose computer or server, or a dedicated machine or a single machine in which a part of the application is made into hardware or ROM. It may be configured as a Noh machine.
多視点画像入力部１０は、オブジェクトObjを異なる視点で撮影する複数台のカメラCa（Ca1，Ca2，Ca3…）からカメラ画像をフレーム単位で取得する。以下の説明では、各カメラCaまたはそのカメラ画像を「視点１」、「視点２」…と表現する場合もある。三次元形状モデル生成部２０は、各カメラCaから取得したカメラ画像に基づいてフレーム単位でオブジェクトObjごとに三次元形状モデルを生成する。 The multi-viewpoint image input unit 10 acquires camera images in frame units from a plurality of cameras Ca (Ca1, Ca2, Ca3 ...) That shoot the object Obj from different viewpoints. In the following description, each camera Ca or its camera image may be expressed as "viewpoint 1", "viewpoint 2", and so on. The three-dimensional shape model generation unit 20 generates a three-dimensional shape model for each object Obj in frame units based on the camera image acquired from each camera Ca.
前記三次元形状モデル生成部２０において、カメラパラメータ推定部２１は、各カメラCaの中心射影行列（カメラパラメータ）を推定する。マスク画像抽出部２２は、フレーム画像ごとに各オブジェクトの存在領域を示すマスク画像を抽出する。三次元形状推定部２３は、図２に示したように、各視点において抽出したマスク画像を実空間に投影した視体積の中にオブジェクトが含まれるという制約に基づいて、視体積交差法により、複数のマスク画像に対応する視体積の共通部分をオブジェクトの三次元形状（３次元ボクセルデータ）と推定し、３次元ボクセル空間におけるオブジェクトの存在領域を示すVisual Hullを復元する。 In the three-dimensional shape model generation unit 20, the camera parameter estimation unit 21 estimates the central projection matrix (camera parameter) of each camera Ca. The mask image extraction unit 22 extracts a mask image indicating an existing area of each object for each frame image. As shown in FIG. 2, the three-dimensional shape estimation unit 23 uses the visual volume crossing method based on the constraint that the object is included in the visual volume obtained by projecting the mask image extracted from each viewpoint into the real space. The common part of the visual volume corresponding to a plurality of mask images is estimated as the three-dimensional shape (three-dimensional voxel data) of the object, and the Visual Hull indicating the existence area of the object in the three-dimensional voxel space is restored.
三次元形状モデル復元部２４は、前記ボクセル空間の幾何連結性に基づいて前記Visual Hullをクラス分類し、前記クラス分類されたVisual Hullのうち、大きさ（ボクセル数）や高さ（y座標）が所定の条件を満たすVisual Hullのみを各オブジェクトの三次元形状モデルとして復元する。 The three-dimensional shape model restoration unit 24 classifies the Visual Hull based on the geometrical connectivity of the voxel space, and among the classified Visual Hulls, the size (number of voxels) and the height (y coordinate). Restores only Visual Hulls that satisfy the specified conditions as a 3D shape model of each object.
矩形投影画像抽出部３０は、図３に示したように、復元されたオブジェクトの三次元形状モデルを各視点のカメラ画像へ投影し、各オブジェクトの投影像を含む矩形画像（以下、矩形投影画像と表現する場合もある）を視点ごとに取得する。 As shown in FIG. 3, the rectangular projection image extraction unit 30 projects a three-dimensional shape model of the restored object onto the camera image of each viewpoint, and a rectangular image including the projection image of each object (hereinafter, rectangular projection image). (Sometimes expressed as) is acquired for each viewpoint.
前記矩形投影画像抽出部３０において、オクルージョン領域特定部３１は、各矩形投影画像の投影像部分の画素ごとに光線探索を行うことで、各視点のオブジェクトごとにオクルージョン領域（灰色）を特定する。 In the rectangular projection image extraction unit 30, the occlusion area identification unit 31 specifies an occlusion region (gray) for each object at each viewpoint by performing a light beam search for each pixel of the projected image portion of each rectangular projection image.
テクスチャ取得部４０は、各視点のカメラ画像からオブジェクトのテクスチャを取得して各矩形投影画像の投影像部分に張り付ける。図４は、前記テクスチャ取得部４０によるテクスチャの取得方法を、視点２のカメラ画像から抽出した矩形投影画像に注目して説明するための図である。 The texture acquisition unit 40 acquires the texture of the object from the camera image of each viewpoint and attaches it to the projected image portion of each rectangular projection image. FIG. 4 is a diagram for explaining a texture acquisition method by the texture acquisition unit 40, focusing on a rectangular projection image extracted from the camera image of the viewpoint 2.
テクスチャ取得部４０において、第1テクスチャ取得部４１は、矩形投影画像の投影像部分のうち、オクルージョン領域以外（非オクルージョン領域）の画素ついて、当該矩形投影画像を抽出したカメラ画像（抽出元カメラ画像）の対応画素の画素値をテクスチャとして取得する。第２テクスチャ取得部４２は、前記矩形投影画像の投影像部分のうち、オクルージョン領域の画素ついて、抽出元カメラ画像以外のカメラ画像の対応画素の画素値をテクスチャとして取得する。 In the texture acquisition unit 40, the first texture acquisition unit 41 is a camera image (extraction source camera image) obtained by extracting the rectangular projection image with respect to pixels other than the occlusion region (non-occlusion region) in the projection image portion of the rectangular projection image. ) Acquires the pixel value of the corresponding pixel as a texture. The second texture acquisition unit 42 acquires the pixel values of the corresponding pixels of the camera image other than the extraction source camera image as the texture for the pixels in the occlusion region in the projected image portion of the rectangular projected image.
図４の例では、２つのオブジェクトOj1，Oj2間にオクルージョンが発生しており、オブジェクトOj1の脚部のテクスチャを、その抽出元カメラ画像である視点２のカメラ画像からは取得できない。 In the example of FIG. 4, occlusion occurs between the two objects Oj1 and Oj2, and the texture of the leg of the object Oj1 cannot be acquired from the camera image of the viewpoint 2 which is the extraction source camera image.
前記第２テクスチャ取得部４２は、矩形投影画像のオクルージョン領域（灰色）の画素について、光線探索により投影元ボクセルBtを特定する。そして、当該投影元ボクセルBtを他のカメラ画像に投影し、前記各オブジェクトOj1，Oj2の三次元形状モデルの位置関係に基づいて当該ボクセルの観測可否を判定すると、観測可能なカメラ画像から対応画素の画素値を取得する。 The second texture acquisition unit 42 identifies the projection source voxel Bt by light ray search for the pixels in the occlusion region (gray) of the rectangular projection image. Then, when the projection source voxel Bt is projected onto another camera image and the observability of the voxel is determined based on the positional relationship of the three-dimensional shape models of the objects Oj1 and Oj2, the corresponding pixel is determined from the observable camera image. Get the pixel value of.
なお、観測可能なカメラが複数存在する場合には、抽出元のカメラに最寄りのカメラを特定し、当該最寄りのカメラから対応画素の画素値を優先的に取得する。図示の例では、視点２のカメラ映像からは取得できないオブジェクトOj1の脚部のテクスチャを、視点１および視点Nのいずれからも取得できるが、最寄りの視点１のカメラ画像から取得している。 When there are a plurality of observable cameras, the camera closest to the extraction source camera is specified, and the pixel values of the corresponding pixels are preferentially acquired from the nearest camera. In the illustrated example, the texture of the leg of the object Oj1 that cannot be acquired from the camera image of the viewpoint 2 can be acquired from both the viewpoint 1 and the viewpoint N, but is acquired from the camera image of the nearest viewpoint 1.
ビルボード生成部５０は、視点ごとに全てのオブジェクトObjのビルボードを生成する。テクスチャ画像抽出部５１は、各視点のオブジェクトごとにテクスチャを含む前記矩形投影画像を抽出する。 The billboard generation unit 50 generates billboards for all objects Obj for each viewpoint. The texture image extraction unit 51 extracts the rectangular projection image including the texture for each object at each viewpoint.
ビルボードサイズ決定部５２は、図５に示したように、矩形投影画像の底辺に存在する画素の投影元ボクセルを特定し、当該投影元ボクセルと対象となるカメラとの距離および前記矩形投影画像の縦横比に基づいて各ビルボードのサイズを算出する。ビルボード設置部５３は、前記各投影元ボクセルの3次元座標に前記生成したビルボードを前記算出したサイズで設置する。 As shown in FIG. 5, the billboard sizing unit 52 identifies the projection source voxels of the pixels existing at the base of the rectangular projection image, the distance between the projection source voxels and the target camera, and the rectangular projection image. Calculate the size of each billboard based on the aspect ratio of. The billboard installation unit 53 installs the generated billboard at the three-dimensional coordinates of each projection source voxel in the calculated size.
ビルボード表示部６０は、視点操作情報に基づいて仮想視点に最寄りのカメラを推定し、当該カメラに関して生成された全てのビルボードを選表示する。 The billboard display unit 60 estimates the camera closest to the virtual viewpoint based on the viewpoint operation information, and selects and displays all the billboards generated for the camera.
前記ビルボード表示部６０において、仮想視点算出部６１は、各カメラから取得した注視点の変更、撮影カメラ視点への移動、前進後退、左右回転、上下回転などの視点操作情報に基づいて仮想視点の位置および向きを算出する。 In the billboard display unit 60, the virtual viewpoint calculation unit 61 uses the virtual viewpoint based on viewpoint operation information such as change of the gazing point acquired from each camera, movement to the shooting camera viewpoint, forward / backward rotation, left / right rotation, and vertical rotation. Calculate the position and orientation of.
ビルボード選択部６２、図６に示したように、隣接するカメラペア（A，B）ごとにカメラ選択に関する境界面を予め設定しておき、前記算出された仮想視点が一方のカメラAに割り当てられた領域を指向していれば当該カメラAの画像を抽出元とする全てのビルボードを表示する。また、他方のカメラBに割り当てられた領域を指向していれば当該カメラBを抽出元とする全てのビルボードを表示する。 As shown in the billboard selection unit 62 and FIG. 6, the boundary surface for camera selection is set in advance for each adjacent camera pair (A, B), and the calculated virtual viewpoint is assigned to one camera A. If the area is oriented, all billboards whose extraction source is the image of the camera A are displayed. Further, if the area allocated to the other camera B is directed, all the billboards whose extraction source is the camera B are displayed.
１０…多視点画像入力部，２０…三次元形状モデル生成部，２１…カメラパラメータ推定部，２２…マスク画像抽出部，２３…三次元形状推定部，２４…三次元形状モデル復元部，３０…矩形投影画像抽出部，３１…オクルージョン領域特定部，４０…テクスチャ取得部，４１…第1テクスチャ取得部，４２…第２テクスチャ取得部，５０…ビルボード生成部，５１…テクスチャ画像抽出部，５２…ビルボードサイズ決定部，５３…ビルボード設置部，６０…ビルボード表示部，６１…仮想視点算出部，６２…ビルボード選択部 10 ... Multi-view image input unit, 20 ... Three-dimensional shape model generation unit, 21 ... Camera parameter estimation unit, 22 ... Mask image extraction unit, 23 ... Three-dimensional shape estimation unit, 24 ... Three-dimensional shape model restoration unit, 30 ... Rectangular projection image extraction unit, 31 ... Occlusion area identification unit, 40 ... Texture acquisition unit, 41 ... First texture acquisition unit, 42 ... Second texture acquisition unit, 50 ... Billboard generation unit, 51 ... Texture image extraction unit, 52 ... Billboard size determination unit, 53 ... Billboard installation unit, 60 ... Billboard display unit, 61 ... Virtual viewpoint calculation unit, 62 ... Billboard selection unit
Claims (12)
オブジェクトを異なる視点で撮影した複数のカメラ画像に基づいて各オブジェクトの３次元形状モデルを個別に生成する手段と、
各３次元形状モデルを各視点へ投影して各オブジェクトの投影像部分を含む矩形投影画像を視点ごとに抽出する手段と、
オブジェクトごとに各視点における矩形投影画像のテクスチャを対応するカメラ画像から取得する手段と、
前記各矩形投影画像およびそのテクスチャに基づいてビルボードを生成する手段と、
自由視点を特定する情報に基づいてビルボードを表示するカメラを選択する手段と、
前記選択されたカメラに関して生成した全てのビルボードを表示する手段とを具備し、
前記矩形投影画像を視点ごとに抽出する手段が、各矩形投影画像の投影像部分の画素ごとに光線探索を行うことで、各視点のオブジェクトごとにオクルージョン領域を特定する手段を含むことを特徴とする自由視点画像の生成表示装置。 In a device that generates and displays a free viewpoint image from a multi-view image
A means to individually generate a 3D shape model of each object based on multiple camera images of the object taken from different viewpoints,
A means of projecting each 3D shape model to each viewpoint and extracting a rectangular projection image including the projected image portion of each object for each viewpoint,
A means to obtain the texture of the rectangular projection image at each viewpoint for each object from the corresponding camera image,
A means for generating a billboard based on each of the rectangular projection images and their textures,
A means of selecting a camera to display the billboard based on information that identifies a free viewpoint,
Provided with means for displaying all billboards generated for the selected camera .
The means for extracting the rectangular projection image for each viewpoint includes a means for specifying an occlusion area for each object at each viewpoint by performing a ray search for each pixel of the projected image portion of each rectangular projection image. Free-viewpoint image generation display device.
オブジェクトを異なる視点で撮影した複数のカメラ画像に基づいて各オブジェクトの３次元形状モデルを個別に生成する手段と、 A means to individually generate a 3D shape model of each object based on multiple camera images of the object taken from different viewpoints,
各３次元形状モデルを各視点へ投影して各オブジェクトの投影像部分を含む矩形投影画像を視点ごとに抽出する手段と、 A means of projecting each 3D shape model to each viewpoint and extracting a rectangular projection image including the projected image portion of each object for each viewpoint,
オブジェクトごとに各視点における矩形投影画像のテクスチャを対応するカメラ画像から取得する手段と、 A means to obtain the texture of the rectangular projection image at each viewpoint for each object from the corresponding camera image,
前記各矩形投影画像およびそのテクスチャに基づいてビルボードを生成する手段と、 A means for generating a billboard based on each of the rectangular projection images and their textures,
自由視点を特定する情報に基づいてビルボードを表示するカメラを選択する手段と、 A means of selecting a camera to display the billboard based on information that identifies a free viewpoint,
前記選択されたカメラに関して生成した全てのビルボードを表示する手段とを具備し、 Provided with means for displaying all billboards generated for the selected camera.
前記テクスチャを取得する手段は、 The means for obtaining the texture is
前記矩形投影画像の投影像部分のうち、オクルージョン領域以外の画素ついて、その抽出元カメラ画像の対応画素の画素値を取得する第１テクスチャ取得手段と、 A first texture acquisition means for acquiring the pixel values of the corresponding pixels of the extraction source camera image for the pixels other than the occlusion region in the projected image portion of the rectangular projection image.
前記矩形投影画像の投影像部分のうち、オクルージョン領域の画素について、その抽出元カメラ画像以外のカメラ画像の対応画素の画素値を取得する第２テクスチャ取得手段とを具備したことを特徴とする自由視点画像の生成表示装置。 Of the projected image portion of the rectangular projected image, the pixels in the occlusion region are provided with a second texture acquisition means for acquiring the pixel values of the corresponding pixels of the camera image other than the extraction source camera image. A viewpoint image generation display device.
各カメラのカメラパラメータを推定する手段と、
各カメラ画像におけるオブジェクトのマスク画像を抽出する手段と、
前記カメラパラメータおよびマスク画像に基づく視体積交差法により３次元ボクセル空間における各オブジェクトのVisual Hullを復元する手段とを具備し、
前記Visual Hullを三次元形状モデルとして採用することを特徴とする請求項１または２に記載の自由視点画像の生成表示装置。 The means for generating the three-dimensional shape model of the object is
Means for estimating camera parameters for each camera,
Means for extracting the mask image of the object in each camera image,
It is provided with a means for restoring the Visual Hull of each object in the three-dimensional voxel space by the visual volume crossing method based on the camera parameters and the mask image.
The free-viewpoint image generation / display device according to claim 1 or 2 , wherein the Visual Hull is adopted as a three-dimensional shape model.
前記クラス分類されたVisual Hullのうち所定の条件を満たすものを三次元形状モデルとして採用することを特徴とする請求項３に記載の自由視点画像の生成表示装置。 A means of classifying the restored Visual Hull based on the geometric connectivity in the voxel space, and
The free-viewpoint image generation / display device according to claim 3 , wherein one of the classified Visual Hulls satisfying a predetermined condition is adopted as a three-dimensional shape model.
オクルージョン領域の画素について、三次元形状モデル上の投影元ボクセルを特定する手段と、
前記投影元ボクセルを抽出元カメラ画像とは異なるカメラ画像に投影して当該ボクセルの観測可否を判定する手段とを具備し、
観測可能なカメラの画像から対応画素の画素値を取得することを特徴とする請求項２に記載の自由視点画像の生成表示装置。 The second texture acquisition means
A means of identifying the projection source voxels on the 3D shape model for the pixels in the occlusion area,
A means for projecting the projection source voxel onto a camera image different from the extraction source camera image to determine whether or not the voxel can be observed is provided.
The free viewpoint image generation display device according to claim 2 , wherein the pixel values of the corresponding pixels are acquired from an observable camera image.
オブジェクトごとにテクスチャを含む矩形投影画像を抽出する手段と、
前記矩形投影画像の底辺に存在する画素の投影元ボクセルとカメラとの距離を算出する手段と、
前記距離および前記矩形投影画像の縦横比に基づいて各ビルボードのサイズを決定する手段と、
前記投影元ボクセルの3次元座標に前記決定されたサイズのビルボードを設置する手段とを具備したことを特徴とする請求項１ないし６のいずれかに記載の自由視点画像の生成表示装置。 The means for generating the billboard is
A means to extract a rectangular projection image containing a texture for each object,
A means for calculating the distance between the projection source voxel of the pixel existing at the base of the rectangular projection image and the camera, and
A means of determining the size of each billboard based on the distance and the aspect ratio of the rectangular projection image,
The free-viewpoint image generation / display device according to any one of claims 1 to 6 , further comprising means for installing a billboard of the determined size at the three-dimensional coordinates of the projection source voxel.
視点操作に関する入力情報に基づいて仮想視点を算出する手段と、
前記仮想視点に最寄りのカメラに関して生成された全てのビルボードを表示する手段とを含むことを特徴とする請求項１ないし７のいずれかに記載の自由視点画像の生成表示装置。 The means for displaying the billboard is
A means to calculate a virtual viewpoint based on input information related to viewpoint operation,
The free viewpoint image generation display device according to any one of claims 1 to 7 , further comprising a means for displaying all billboards generated for a camera closest to the virtual viewpoint.
オブジェクトを異なる視点で撮影した複数のカメラ画像に基づいて各オブジェクトの３次元形状モデルを個別に生成し、
各３次元形状モデルを各視点へ投影して各オブジェクトの投影像部分を含む矩形投影画像を視点ごとに抽出し、
オブジェクトごとに各視点における矩形投影画像のテクスチャを対応するカメラ画像から取得し、
前記各矩形投影画像およびそのテクスチャに基づいてビルボードを生成し、
自由視点を特定する情報に基づいてビルボードを表示するカメラを選択し、
前記選択されたカメラに関して生成した全てのビルボードを表示し、
前記矩形投影画像を視点ごとに抽出する際に、各矩形投影画像の投影像部分の画素ごとに光線探索を行うことで、各視点のオブジェクトごとにオクルージョン領域を特定することを特徴とする自由視点画像の生成表示方法。 In a method in which a computer generates and displays a free-viewpoint image from a multi-viewpoint image,
A 3D shape model of each object is individually generated based on multiple camera images of the object taken from different viewpoints.
Each 3D shape model is projected to each viewpoint, and a rectangular projection image including the projected image part of each object is extracted for each viewpoint.
Obtain the texture of the rectangular projection image at each viewpoint for each object from the corresponding camera image,
A billboard is generated based on each of the rectangular projection images and their textures.
Select a camera to display the billboard based on the information that identifies the free viewpoint,
Displays all billboards which were generated for the selected camera,
When extracting the rectangular projection image for each viewpoint, a free viewpoint is characterized in that an occlusion area is specified for each object of each viewpoint by performing a ray search for each pixel of the projected image portion of each rectangular projection image. Image generation and display method.
オブジェクトを異なる視点で撮影した複数のカメラ画像に基づいて各オブジェクトの３次元形状モデルを個別に生成し、 A 3D shape model of each object is individually generated based on multiple camera images of the object taken from different viewpoints.
各３次元形状モデルを各視点へ投影して各オブジェクトの投影像部分を含む矩形投影画像を視点ごとに抽出し、 Each 3D shape model is projected to each viewpoint, and a rectangular projection image including the projected image part of each object is extracted for each viewpoint.
オブジェクトごとに各視点における矩形投影画像のテクスチャを対応するカメラ画像から取得し、 Obtain the texture of the rectangular projection image at each viewpoint for each object from the corresponding camera image,
前記各矩形投影画像およびそのテクスチャに基づいてビルボードを生成し、 A billboard is generated based on each of the rectangular projection images and their textures.
自由視点を特定する情報に基づいてビルボードを表示するカメラを選択し、 Select a camera to display the billboard based on the information that identifies the free viewpoint,
前記選択されたカメラに関して生成した全てのビルボードを表示し、 View all billboards generated for the selected camera
前記テクスチャを対応するカメラ画像から取得する際に、 When acquiring the texture from the corresponding camera image
前記矩形投影画像の投影像部分のうち、オクルージョン領域以外の画素ついて、その抽出元カメラ画像の対応画素の画素値を取得し、 Of the projected image portion of the rectangular projected image, for the pixels other than the occlusion region, the pixel values of the corresponding pixels of the extraction source camera image are acquired.
前記矩形投影画像の投影像部分のうち、オクルージョン領域の画素について、その抽出元カメラ画像以外のカメラ画像の対応画素の画素値を取得することを特徴とする自由視点画像の生成表示方法。 A method for generating and displaying a free-viewpoint image, which comprises acquiring pixel values of corresponding pixels of a camera image other than the extraction source camera image for pixels in an occlusion region in the projected image portion of the rectangular projected image.
オブジェクトを異なる視点で撮影した複数のカメラ画像に基づいて各オブジェクトの３次元形状モデルを個別に生成する手順と、
各３次元形状モデルを各視点へ投影して各オブジェクトの投影像部分を含む矩形投影画像を視点ごとに抽出する手順と、
オブジェクトごとに各視点における矩形投影画像のテクスチャを対応するカメラ画像から取得する手順と、
前記各矩形投影画像およびそのテクスチャに基づいてビルボードを生成する手順と、
自由視点を特定する情報に基づいてビルボードを表示するカメラを選択する手順と、
前記選択されたカメラに関して生成した全てのビルボードを表示する手順とを、コンピュータが実行可能に記述し、
前記矩形投影画像を視点ごとに抽出する手順では、各矩形投影画像の投影像部分の画素ごとに光線探索を行うことで、各視点のオブジェクトごとにオクルージョン領域を特定する自由視点画像の生成表示プログラム。 In a program that generates and displays a free viewpoint image from a multi-view image
A procedure for individually generating a 3D shape model for each object based on multiple camera images of the object taken from different viewpoints, and
The procedure for projecting each 3D shape model to each viewpoint and extracting a rectangular projection image including the projected image part of each object for each viewpoint, and
The procedure for acquiring the texture of the rectangular projection image at each viewpoint for each object from the corresponding camera image,
The procedure for generating a billboard based on each rectangular projection image and its texture,
The procedure for selecting a camera to display the billboard based on the information that identifies the free viewpoint, and
A computer executable description of the procedure for displaying all the billboards generated for the selected camera .
In the procedure for extracting the rectangular projection image for each viewpoint, a free viewpoint image generation display program that specifies an occlusion area for each object of each viewpoint by performing a ray search for each pixel of the projected image portion of each rectangular projection image. ..
オブジェクトを異なる視点で撮影した複数のカメラ画像に基づいて各オブジェクトの３次元形状モデルを個別に生成する手順と、 A procedure for individually generating a 3D shape model for each object based on multiple camera images of the object taken from different viewpoints, and
各３次元形状モデルを各視点へ投影して各オブジェクトの投影像部分を含む矩形投影画像を視点ごとに抽出する手順と、 The procedure for projecting each 3D shape model to each viewpoint and extracting a rectangular projection image including the projected image part of each object for each viewpoint, and
オブジェクトごとに各視点における矩形投影画像のテクスチャを対応するカメラ画像から取得する手順と、 The procedure for acquiring the texture of the rectangular projection image at each viewpoint for each object from the corresponding camera image,
前記各矩形投影画像およびそのテクスチャに基づいてビルボードを生成する手順と、 The procedure for generating a billboard based on each rectangular projection image and its texture,
自由視点を特定する情報に基づいてビルボードを表示するカメラを選択する手順と、 The procedure for selecting a camera to display the billboard based on the information that identifies the free viewpoint, and
前記選択されたカメラに関して生成した全てのビルボードを表示する手順とを、コンピュータが実行可能に記述し、 A computer executable description of the procedure for displaying all the billboards generated for the selected camera.
前記テクスチャを取得する手順が、 The procedure for acquiring the texture is
前記矩形投影画像の投影像部分のうち、オクルージョン領域以外の画素ついて、その抽出元カメラ画像の対応画素の画素値を取得する手順と、 A procedure for acquiring the pixel values of the corresponding pixels of the extraction source camera image for the pixels other than the occlusion region in the projected image portion of the rectangular projection image, and
前記矩形投影画像の投影像部分のうち、オクルージョン領域の画素について、その抽出元カメラ画像以外のカメラ画像の対応画素の画素値を取得する手順とを含む自由視点画像の生成表示プログラム。 A free-viewpoint image generation display program including a procedure for acquiring pixel values of corresponding pixels of a camera image other than the extraction source camera image for pixels in an occlusion region in the projected image portion of the rectangular projected image.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017059554A JP6818606B2 (en) | 2017-03-24 | 2017-03-24 | Free-viewpoint image generation and display methods, devices and programs |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017059554A JP6818606B2 (en) | 2017-03-24 | 2017-03-24 | Free-viewpoint image generation and display methods, devices and programs |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018163467A JP2018163467A (en) | 2018-10-18 |
| JP6818606B2 true JP6818606B2 (en) | 2021-01-20 |
Family
ID=63860100
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017059554A Active JP6818606B2 (en) | 2017-03-24 | 2017-03-24 | Free-viewpoint image generation and display methods, devices and programs |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6818606B2 (en) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7352374B2 (en) * | 2019-04-12 | 2023-09-28 | 日本放送協会 | Virtual viewpoint conversion device and program |
| JP7332326B2 (en) * | 2019-04-18 | 2023-08-23 | 日本放送協会 | Video effect device and program |
| CN110349246B (en) * | 2019-07-17 | 2023-03-14 | 广西师范大学 | Method for reducing reconstruction distortion degree of viewpoint in light field rendering |
| JP7290546B2 (en) * | 2019-10-29 | 2023-06-13 | Kddi株式会社 | 3D model generation apparatus and method |
| KR102242710B1 (en) * | 2019-12-31 | 2021-04-22 | 서울과학기술대학교 산학협력단 | Apparatus for providing half free-viewpoint video |
| JP7197526B2 (en) * | 2020-01-29 | 2022-12-27 | Kddi株式会社 | Image processing device, method and program |
| JP7319939B2 (en) * | 2020-03-25 | 2023-08-02 | Kddi株式会社 | Free-viewpoint video generation method, device, and program |
| WO2022091811A1 (en) * | 2020-10-29 | 2022-05-05 | ソニーグループ株式会社 | Image processing device, image processing method, and image processing system |
| WO2024134848A1 (en) * | 2022-12-22 | 2024-06-27 | 富士通株式会社 | Position identification method, program, and device |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005250692A (en) * | 2004-03-02 | 2005-09-15 | Softopia Japan Foundation | Method for identifying object, method for identifying mobile object, program for identifying object, program for identifying mobile object, medium for recording program for identifying object, and medium for recording program for identifying traveling object |
| JP2015187797A (en) * | 2014-03-27 | 2015-10-29 | シャープ株式会社 | Image data generation device and image data reproduction device |
-
2017
- 2017-03-24 JP JP2017059554A patent/JP6818606B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2018163467A (en) | 2018-10-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6818606B2 (en) | Free-viewpoint image generation and display methods, devices and programs | |
| Koyama et al. | Live mixed-reality 3d video in soccer stadium | |
| US9361660B2 (en) | Image processing device and method, supplement image generation device and method, program, and recording medium | |
| EP1465115A2 (en) | Method and apparatus for generating a desired view of a scene from a selected viewpoint | |
| GB2477793A (en) | A method of creating a stereoscopic image in a client device | |
| JP5366258B2 (en) | Virtual viewpoint image generation method and program based on geometric information in large space camera arrangement | |
| Böhm | Multi-image fusion for occlusion-free façade texturing | |
| TW202126033A (en) | Apparatus and method for evaluating a quality of image capture of a scene | |
| KR20210134956A (en) | Depth map processing for images | |
| Sankoh et al. | Robust billboard-based, free-viewpoint video synthesis algorithm to overcome occlusions under challenging outdoor sport scenes | |
| JP2004246667A (en) | Method for generating free visual point moving image data and program for making computer perform the same processing | |
| Ohta et al. | Live 3D video in soccer stadium | |
| Inamoto et al. | Immersive evaluation of virtualized soccer match at real stadium model | |
| Grau et al. | A robust free-viewpoint video system for sport scenes | |
| Yaguchi et al. | Arbitrary viewpoint video synthesis from multiple uncalibrated cameras | |
| Inamoto et al. | Free viewpoint video synthesis and presentation from multiple sporting videos | |
| Inamoto et al. | Free viewpoint video synthesis and presentation of sporting events for mixed reality entertainment | |
| JP5969376B2 (en) | Virtual viewpoint video generation device, virtual viewpoint video generation method, and program | |
| US20140002446A1 (en) | System and method for match move quality control | |
| De Sorbier et al. | Augmented reality for 3D TV using depth camera input | |
| Calagari et al. | Sports VR content generation from regular camera feeds | |
| AU2012203857B2 (en) | Automatic repositioning of video elements | |
| Louis et al. | Rendering stereoscopic augmented reality scenes with occlusions using depth from stereo and texture mapping | |
| JP2021047468A (en) | Image processing equipment, image processing method, and image processing program | |
| Sankoh et al. | Free-viewpoint video synthesis for sport scenes captured with a single moving camera |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190308 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200424 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200603 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200720 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201216 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201228 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6818606 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |