JP7465234B2 - 3D model generation device, method and program - Google Patents

3D model generation device, method and program Download PDF

Info

Publication number
JP7465234B2
JP7465234B2 JP2021038883A JP2021038883A JP7465234B2 JP 7465234 B2 JP7465234 B2 JP 7465234B2 JP 2021038883 A JP2021038883 A JP 2021038883A JP 2021038883 A JP2021038883 A JP 2021038883A JP 7465234 B2 JP7465234 B2 JP 7465234B2
Authority
JP
Japan
Prior art keywords
model
calculation
display
occlusion
generating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021038883A
Other languages
Japanese (ja)
Other versions
JP2022138797A (en
Inventor
良亮 渡邊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
KDDI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDDI Corp filed Critical KDDI Corp
Priority to JP2021038883A priority Critical patent/JP7465234B2/en
Publication of JP2022138797A publication Critical patent/JP2022138797A/en
Application granted granted Critical
Publication of JP7465234B2 publication Critical patent/JP7465234B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Generation (AREA)
  • Image Analysis (AREA)

Description

本発明は、複数台のカメラの映像から被写体同士のオクルージョンを考慮して各被写体の3Dモデルを低負荷かつ高品質に生成する3Dモデル生成装置、方法及びプログラムに関する。 The present invention relates to a 3D model generation device, method, and program that generates a high-quality 3D model of each subject from images captured by multiple cameras, taking into account occlusion between the subjects.

複数のカメラ映像から被写体の3Dモデルを生成するアプローチとして、非特許文献1に開示された視体積交差法が広く知られている。視体積交差法は、図１３に示すように各カメラ映像から被写体の部分だけを抽出した2値のシルエット画像を3D空間に投影し、その積集合となる部分を残すことによって3Dモデルを生成する手法である。 The volume intersection method disclosed in Non-Patent Document 1 is a widely known approach to generating a 3D model of a subject from images captured by multiple cameras. The volume intersection method is a technique for generating a 3D model by projecting binary silhouette images, which are obtained by extracting only parts of the subject from the images captured by each camera, into a 3D space, as shown in Figure 13, and retaining the intersection of these images.

このような視体積交差法は、非特許文献2に示される自由視点映像技術の中で、3Dモデルの形状を復元する要素技術の一つとして用いられている。自由視点映像技術は複数台のカメラ映像から3D空間を再構成し、カメラがないアングルからでも視聴を可能とする技術である。 This type of volume intersection method is used as one of the elemental techniques for restoring the shape of a 3D model in the free viewpoint imaging technology described in Non-Patent Document 2. Free viewpoint imaging technology reconstructs 3D space from images from multiple cameras, making it possible to view the space even from angles where there are no cameras.

通常、視体積交差法を用いて3Dモデルを生成する際は、その計算対象となる3D空間をボクセルグリッドで仕切られるM×M×M（Mは一辺の長さ）の立方体（ボクセル）で埋め尽くし、各ボクセルの3D位置を各カメラ座標に投影することで各カメラ上の画素位置を特定する。そして、当該画素において何台のカメラでシルエットが前景となるかを計算し、特定のカメラ台数以上で前景となるボクセルにモデルを生成する。 Normally, when generating a 3D model using the visual volume intersection method, the 3D space to be calculated is filled with MxMxM (M is the length of one side) cubes (voxels) partitioned by a voxel grid, and the 3D position of each voxel is projected onto each camera's coordinate system to identify the pixel position on each camera. Then, it is calculated how many cameras will cause the silhouette to appear in the foreground at that pixel, and a model is generated for voxels that will appear in the foreground for a certain number of cameras or more.

このとき、何台のカメラで前景となるかを判定する閾値をカメラ台数閾値Nthと定義すれば、例えば16台のカメラが存在する環境でNth＝15のとき、15台以上のカメラでシルエットが前景となるボクセルにモデルが生成される。 In this case, if the threshold for determining how many cameras will result in a foreground object is defined as the camera number threshold Nth, then, for example, if Nth = 15 in an environment with 16 cameras, a model will be generated for voxels whose silhouettes will be in the foreground for 15 or more cameras.

カメラ台数閾値Nthを小さくするほどモデルの生成量が多くなるのでモデルの欠損は少なくなるがモデルの輪郭形状が不正確となる。これは、本来はモデルが生成されるべきではないボクセルが、Nthが小さいために視体積交差法の判定においてモデルが生成されると誤判定されることが原因となって生じる。 The smaller the camera number threshold Nth is, the more models are generated, and the fewer defects in the model, but the contour shape of the model becomes inaccurate. This occurs because voxels for which a model should not actually be generated are mistakenly determined to be generated in the visual volume intersection method due to a small Nth.

従来、このような視体積交差法の処理は膨大であったが、非特許文献3には視体積交差法の生成を高速化する技術が開示されている。非特許文献3では、視体積交差法で3Dボクセルモデルを生成する際に単位ボクセルサイズMbでモデルの生成を行い、ボクセルの塊を一つのオブジェクトとして3Dのバウンディングボックスを得る。次いで、各3Dバウンディングボックス内を細かい単位ボクセルサイズMa（＜Mb）で視体積交差法によりモデル化することで処理時間を大幅に削減することに成功している。 Conventionally, the processing required for such volume intersection methods was enormous, but Non-Patent Document 3 discloses a technology to speed up the generation of volume intersection methods. In Non-Patent Document 3, when generating a 3D voxel model using the volume intersection method, the model is generated with a unit voxel size of Mb, and a 3D bounding box is obtained by treating a block of voxels as a single object. Next, the inside of each 3D bounding box is modeled with a fine unit voxel size of Ma (<Mb) using the volume intersection method, which succeeds in significantly reducing processing time.

加えて、非特許文献3には生成後の3Dモデルへのカラーリング（テクスチャマッピング）を行うために、3Dモデル同士の遮蔽関係を考慮してテクスチャマッピングを行う方法が開示されている。非特許文献3では、図１４に示すようにユーザが選択した視点と角度が近いカメラをより優先する一方、1番目に近いカメラと3Dモデルとの間に遮蔽関係が生じると、遮蔽が生じるカメラを避けながら次（2番目）に角度が近いカメラからテクスチャマッピングが施される。 In addition, Non-Patent Document 3 discloses a method of performing texture mapping taking into account occlusion relationships between 3D models in order to perform coloring (texture mapping) on the generated 3D model. In Non-Patent Document 3, as shown in Figure 14, priority is given to the camera whose angle is close to the viewpoint selected by the user, but if an occlusion relationship occurs between the closest camera and the 3D model, texture mapping is performed from the camera with the next (second) closest angle while avoiding the camera that causes the occlusion.

特願2019-153696号Patent Application No. 2019-153696 特願2020-012384号Patent Application No. 2020-012384

A. Laurentini. "The visual hull concept for silhouette based image understanding.", IEEE Transactions on Pattern Analysis and Machine Intelligence, 16, 150-162, (1994).A. Laurentini. "The visual hull concept for silhouette based image understanding.", IEEE Transactions on Pattern Analysis and Machine Intelligence, 16, 150-162, (1994). J. Kilner, J. Starck, A. Hilton and O. Grau, "Dual-Mode Deformable Models for Free-Viewpoint Video of Sports Events," Sixth International Conference on 3-D Digital Imaging and Modeling (3DIM 2007), pp. 177-184, (2007).J. Kilner, J. Starck, A. Hilton and O. Grau, "Dual-Mode Deformable Models for Free-Viewpoint Video of Sports Events," Sixth International Conference on 3-D Digital Imaging and Modeling (3DIM 2007), pp. 177-184, (2007). J. Chen, R. Watanabe, K. Nonaka, T. Konno, H. Sankoh, S. Naito, "A Fast Free-viewpoint Video Synthesis Algorithm for Sports Scenes", 2019 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS 2019), WeAT17.2, (2019).J. Chen, R. Watanabe, K. Nonaka, T. Konno, H. Sankoh, S. Naito, "A Fast Free-viewpoint Video Synthesis Algorithm for Sports Scenes", 2019 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS 2019), WeAT17.2, (2019). S. Yang et al., "Multi-Kinect scene reconstruction: Calibration and depth inconsistencies," 2013 28th International Conference on Image and Vision Computing New Zealand (IVCNZ 2013), Wellington, 2013, pp. 47-52.S. Yang et al., "Multi-Kinect scene reconstruction: Calibration and depth inconsistencies," 2013 28th International Conference on Image and Vision Computing New Zealand (IVCNZ 2013), Wellington, 2013, pp. 47-52. Parametric Human Shape Reconstruction via Bidirectional Silhouette Guidance," Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), 2019.Parametric Human Shape Reconstruction via Bidirectional Silhouette Guidance," Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), 2019. Qiang Yao, Hiroshi Sankoh, Nonaka Keisuke, Sei Naito. "Automatic camera self-calibration for immersive navigation of free viewpoint sports video," 2016 IEEE 18th International Workshop on Multimedia Signal Processing (MMSP), 1-6, 2016.Qiang Yao, Hiroshi Sankoh, Nonaka Keisuke, Sei Naito. "Automatic camera self-calibration for immersive navigation of free viewpoint sports video," 2016 IEEE 18th International Workshop on Multimedia Signal Processing (MMSP), 1-6, 2016. C. Stauffer and W. E. L. Grimson, "Adaptive background mixture models for real-time tracking," 1999 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, pp. 246-252 Vol. 2 (1999).C. Stauffer and W. E. L. Grimson, "Adaptive background mixture models for real-time tracking," 1999 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, pp. 246-252 Vol. 2 (1999). Z. Pusztai and L. Hajder, "Accurate Calibration of LiDAR-Camera Systems Using Ordinary Boxes," 2017 IEEE International Conference on Computer Vision Workshops (ICCVW), Venice, 2017, pp. 394-402.Z. Pusztai and L. Hajder, "Accurate Calibration of LiDAR-Camera Systems Using Ordinary Boxes," 2017 IEEE International Conference on Computer Vision Workshops (ICCVW), Venice, 2017, pp. 394-402. Q. Liao, Z. Chen, Y. Liu, Z. Wang and M. Liu, "Extrinsic Calibration of Lidar and Camera with Polygon," 2018 IEEE International Conference on Robotics and Biomimetics (ROBIO), 2018, pp. 200-205.Q. Liao, Z. Chen, Y. Liu, Z. Wang and M. Liu, "Extrinsic Calibration of Lidar and Camera with Polygon," 2018 IEEE International Conference on Robotics and Biomimetics (ROBIO), 2018, pp. 200-205. Arun, Somani; Thomas S. Huang; Steven D. Blostein, "Least-square fitting of two 3-D point sets". IEEE Pattern Analysis and Machine Intelligence, (1987).Arun, Somani; Thomas S. Huang; Steven D. Blostein, "Least-square fitting of two 3-D point sets". IEEE Pattern Analysis and Machine Intelligence, (1987).

広範な3D空間内のある特定の3Dモデル生成空間に視体積交差法を用いて3Dモデルを生成する場合、多くのカメラで画角の範囲外に存在する被写体のテクスチャが、3Dモデル生成範囲内の被写体3Dモデルに写り込んでしまう場合があった。 When generating a 3D model using the volume intersection method in a specific 3D model generation space within a wide 3D space, the texture of a subject that exists outside the field of view of many cameras may appear in the 3D model of the subject within the 3D model generation range.

このような現象は、図１５に一例を示すように、3Dモデルの計算領域外では非特許文献3や特許文献2のような技術を用いたとしても3Dモデルが生成されず、遮蔽を検知することができないことが原因となって発生する。図１６は、3Dモデルの計算領域外の被写体によるテクスチャの写り込みが発生し、3Dモデルの表示品質が劣化する具体例を示している。 As shown in an example in Figure 15, this phenomenon occurs because a 3D model cannot be generated outside the calculation area of the 3D model even if technologies such as those in Non-Patent Document 3 and Patent Document 2 are used, making it impossible to detect occlusion. Figure 16 shows a specific example in which texture reflections from a subject outside the calculation area of the 3D model occur, degrading the display quality of the 3D model.

このような品質劣化は、前記カメラ台数閾値Nthを下げることによって広い範囲でモデル生成を行うようにすれば解消できるものの、3Dモデルの形状が不正確になってしまう懸念があることに加え、3Dモデルの生成量が増えることにより計算時間の増大を招く懸念があった。 This degradation in quality can be eliminated by lowering the threshold number of cameras Nth and generating a model over a wider range, but this could lead to inaccurate shapes of the 3D models, as well as increased computation time due to an increase in the amount of 3D models generated.

本発明の目的は、上記の技術課題を解決し、被写体同士のオクルージョンを考慮して各被写体の3Dモデルを低負荷で高品質に生成する3Dモデル生成装置、方法及びプログラムを提供することにある。 The object of the present invention is to provide a 3D model generation device, method, and program that solves the above technical problems and generates high-quality 3D models of each subject with low load while taking into account occlusion between subjects.

上記の目的を達成するために、本発明は、3D空間を視点の異なる複数のカメラで撮影した画像に基づいて被写体の3Dモデルを生成する3Dモデル生成装置において、以下の構成を具備した点に特徴がある。 To achieve the above object, the present invention provides a 3D model generation device that generates a 3D model of a subject based on images captured in a 3D space by multiple cameras with different viewpoints, and is characterized by having the following configuration.

(1) 3D空間の一部に設定された第1計算領域を対象に3Dモデル計算を行って表示用3Dモデルを生成する手段と、3D空間の前記第1計算領域以外の少なくとも一部に設定された第2計算領域を対象に3Dモデル計算を行って遮蔽計算用3Dモデルを生成する手段と、各カメラの視点で遮蔽計算用3Dモデルが表示用3Dモデルを遮蔽する遮蔽関係を計算する手段と、前記遮蔽関係に基づいて表示用3Dモデルをカラーリングする手段とを具備した。 (1) The device includes a means for performing 3D model calculations on a first calculation region set in a part of the 3D space to generate a 3D model for display, a means for performing 3D model calculations on a second calculation region set in at least a part of the 3D space other than the first calculation region to generate a 3D model for occlusion calculation, a means for calculating an occlusion relationship in which the 3D model for occlusion calculation occludes the 3D model for display from the viewpoint of each camera, and a means for coloring the 3D model for display based on the occlusion relationship.

(2) 各3Dモデルを生成する手段における各3Dモデル計算の負荷が、第2計算領域における遮蔽計算用3Dモデルの生成では第1計算領域における表示用3Dモデルの生成よりも低くなるように、表示用3Dモデルの生成パラメータと遮蔽計算用3Dモデルの生成パラメータとを異ならせた。 (2) The generation parameters of the 3D model for display and the 3D model for occlusion calculation are made different so that the load of calculation of each 3D model in the means for generating each 3D model is lower in the generation of the 3D model for occlusion calculation in the second calculation domain than in the generation of the 3D model for display in the first calculation domain.

(3) 前記第1計算領域内の表示用3Dモデルと各カメラの視錐体とを結んだ領域から当該第1計算領域を除いた領域を第2計算領域に決定するようにした。 (3) The second calculation area is determined to be the area connecting the 3D model for display in the first calculation area and the viewing frustum of each camera, excluding the first calculation area.

(4) 第1計算領域と第2計算領域との境界上に形成された3Dモデルの、当該第1計算領域に表示用3Dモデルの一部として生成された部分および当該第2計算領域に遮蔽計算用3Dモデルの一部として生成された部分の一方を他方に変換する手段を具備した。 (4) The device is provided with a means for converting one of a portion of a 3D model formed on the boundary between a first calculation area and a second calculation area, the portion being generated as part of a 3D model for display in the first calculation area, and the portion being generated as part of a 3D model for shielding calculation in the second calculation area, into the other.

(5) 前記遮蔽計算用3Dモデルの生成条件を緩和する手段を具備した。 (5) A means is provided for relaxing the conditions for generating the 3D model for shielding calculation.

(1) 少ないカメラにしか映り込まないために表示用としては不要であるがオクルージョン情報の取得に必要となる遮蔽計算用の3Dモデルを生成してオクルージョン情報を取得するので、遮蔽関係による品質劣化の少ない高品質な3Dモデル生成が可能になる。 (1) Although the object is not required for display because it is only captured by a small number of cameras, a 3D model is generated for occlusion calculations, which are necessary to obtain occlusion information, and this information is then used to generate a high-quality 3D model with little degradation in quality due to occlusion.

(2) 遮蔽計算用3Dモデルの生成に要する負荷が表示用3Dモデルの生成に要する負荷よりも軽くなるように、表示用3Dモデルの生成パラメータと遮蔽計算用3Dモデルの生成パラメータとを異ならせたので、少ない計算負荷かつ表示用3Dモデルの品質を維持したまま遮蔽関係による品質劣化を軽減できるようになる。 (2) The generation parameters of the 3D model for display and the 3D model for occlusion calculation are made different so that the load required to generate the 3D model for occlusion calculation is lighter than the load required to generate the 3D model for display. This reduces quality degradation due to occlusion while maintaining the quality of the 3D model for display with a small calculation load.

(3) 第1計算領域内の表示用3Dモデルと各カメラの視錐体とを結んだ領域から当該第1計算領域を除いた領域を第2計算領域としたので、表示品質は問われないが漏れの少ない遮蔽検知を要求される遮蔽計算用3Dモデルの生成に好ましい計算領域を決定できるようになる。 (3) The second calculation area is the area connecting the 3D model for display in the first calculation area and the viewing frustum of each camera, excluding the first calculation area. This makes it possible to determine a calculation area that is preferable for generating a 3D model for occlusion calculation, which does not require display quality but requires occlusion detection with minimal leakage.

(4) 第1計算領域と第2計算領域との境界上に形成された3Dモデルを表示用3Dモデルまたは遮蔽計算用3Dモデルとして一体に扱うので、第2計算領域に生成された部分の欠けた3Dモデルが表示されることを防止できるようになる。 (4) The 3D model formed on the boundary between the first and second calculation areas is treated as a single 3D model for display or a 3D model for shielding calculation, which makes it possible to prevent a 3D model generated in the second calculation area from being displayed with missing parts.

(5) 遮蔽計算用3Dモデルの生成条件を緩和する手段を設けたので、遮蔽計算用3Dモデルが十分に生成されていないことが原因で生じる遮蔽関係の漏れを低減できるようになる。 (5) A means has been provided for relaxing the conditions for generating 3D models for shielding calculations, making it possible to reduce the occurrence of omissions in shielding relationships that occur due to insufficient generation of 3D models for shielding calculations.

本発明の第1実施形態に係る3Dモデル生成装置の構成を示した機能ブロック図である。1 is a functional block diagram showing a configuration of a 3D model generating device according to a first embodiment of the present invention. 本発明の第2実施形態に係る3Dモデル生成装置の構成を示した機能ブロック図である。FIG. 11 is a functional block diagram showing the configuration of a 3D model generating device according to a second embodiment of the present invention. 可視カメラ情報の例を示した図である。FIG. 11 is a diagram showing an example of visible camera information. 第1計算領域の決定方法を示した図である。FIG. 13 is a diagram showing a method for determining a first calculation region. 第2計算領域の決定方法を示した図である。FIG. 13 is a diagram showing a method for determining a second calculation region. 可視カメラの相対角度を説明するための図である。FIG. 13 is a diagram for explaining the relative angle of a visible camera. 可視カメラの配置分散と相対角度の最大値との関係を示した図である。FIG. 13 is a diagram showing the relationship between the arrangement variance of visible light cameras and the maximum value of the relative angle. 第2計算領域の他の決定方法を説明するための図である。FIG. 11 is a diagram for explaining another method for determining the second calculation region. 本発明の第3実施形態に係る3Dモデル生成装置の構成を示した機能ブロック図である。FIG. 11 is a functional block diagram showing the configuration of a 3D model generating device according to a third embodiment of the present invention. 本発明の第4実施形態に係る3Dモデル生成装置の構成を示した機能ブロック図である。FIG. 13 is a functional block diagram showing the configuration of a 3D model generating device according to a fourth embodiment of the present invention. モデル変換部の機能を説明するための図である。FIG. 4 is a diagram for explaining a function of a model transformation unit. 3Dモデルをバウンディングボックス単位で分割する例を示した図である。FIG. 13 is a diagram showing an example of dividing a 3D model into bounding box units. 視体積交差法を用いた3Dモデルの生成方法を説明するための図である。FIG. 1 is a diagram for explaining a method for generating a 3D model using a volume intersection method. オクルージョン情報を用いたテクスチャマッピングの例を示した図である。FIG. 13 is a diagram showing an example of texture mapping using occlusion information. 非生成領域に形成される被写体3Dモデルの影響を説明する図である。13A to 13C are diagrams illustrating the influence of a subject 3D model formed in a non-generation region. 本発明の解決課題の例を示した図である。FIG. 1 is a diagram illustrating an example of a problem to be solved by the present invention.

以下、図面を参照して本発明の実施の形態について詳細に説明する。図１は、本発明の第1実施形態に係る3Dモデル生成装置100の主要部の構成を示した機能ブロック図であり、シルエット画像取得部10、3Dモデル生成部20、計算領域登録部30，モデル遮蔽情報計算部40およびモデルカラーリング部50を主要な構成としている。 The following describes in detail the embodiments of the present invention with reference to the drawings. FIG. 1 is a functional block diagram showing the configuration of the main parts of a 3D model generation device 100 according to a first embodiment of the present invention, and the main components include a silhouette image acquisition unit 10, a 3D model generation unit 20, a calculation area registration unit 30, a model occlusion information calculation unit 40, and a model coloring unit 50.

このような3Dモデル生成装置100は、汎用の少なくとも一台のコンピュータやサーバに各機能を実現するアプリケーション（プログラム）を実装することで構成できる。あるいはアプリケーションの一部をハードウェア化またはソフトウェア化した専用機や単能機としても構成できる。本実施形態では、スポーツシーンを8台のカメラCam1～Cam8で撮影し、被写体ごとに3Dモデルを生成する場合を例にして説明する。 Such a 3D model generating device 100 can be configured by implementing applications (programs) that realize each function on at least one general-purpose computer or server. Alternatively, it can be configured as a dedicated machine or a single-function machine in which part of the application is implemented as hardware or software. In this embodiment, an example will be described in which sports scenes are photographed with eight cameras Cam1 to Cam8, and a 3D model is generated for each subject.

シルエット画像取得部10は、複数の被写体を異なる視点で撮影した複数のカメラ映像（多視点映像）から、視体積交差法に用いるシルエット画像をフレーム単位でそれぞれ取得する。視体積交差法で3Dモデルを形成するためには３台以上のカメラからシルエット画像を取得することが望ましい。シルエット画像は、3Dモデルを生成する被写体領域（前景）を白、それ以外の領域（背景）を黒で表した２値のマスク画像形式で取得される。このようなシルエット画像は、非特許文献７に開示される背景差分法等の従来技術を用いて計算できる。 The silhouette image acquisition unit 10 acquires silhouette images to be used in the volume intersection method on a frame-by-frame basis from multiple camera images (multi-viewpoint images) in which multiple subjects are captured from different viewpoints. To form a 3D model using the volume intersection method, it is desirable to acquire silhouette images from three or more cameras. The silhouette images are acquired in a binary mask image format in which the subject area (foreground) from which the 3D model is to be generated is shown in white, and the other areas (background) are shown in black. Such silhouette images can be calculated using conventional techniques such as the background subtraction method disclosed in Non-Patent Document 7.

計算領域登録部30には、仮想視点からのレンダリング画像に表示する3Dボクセルモデル（以下、表示用モデルと表現する場合もある）を計算する第1計算領域を特定する情報31、および当該表示用モデルとの遮蔽計算のみに用いられて表示用には供されず、したがってレンダリング対象とならない遮蔽計算用の3Dボクセルモデル（以下、遮蔽計算用モデルと表現する場合もある）を計算する第2計算領域を特定する情報32が、予め登録されている。 In the calculation area registration unit 30, information 31 specifying a first calculation area for calculating a 3D voxel model (hereinafter sometimes referred to as a display model) to be displayed in a rendering image from a virtual viewpoint, and information 32 specifying a second calculation area for calculating a 3D voxel model for occlusion calculation (hereinafter sometimes referred to as a occlusion calculation model) that is used only for occlusion calculation with the display model and is not provided for display, and therefore is not subject to rendering, are pre-registered.

後述するモデルカラーリング部50は、第1計算領域に生成された表示用モデルに対してのみ、第2計算領域に生成された遮蔽計算用モデルとの遮蔽関係を考慮してカラーリングを実施する。 The model coloring unit 50, which will be described later, performs coloring only on the display model generated in the first calculation domain, taking into account the occlusion relationship with the occlusion calculation model generated in the second calculation domain.

3Dモデル生成部20において、ボクセルモデル計算部21は、第1計算領域に表示品質を満たす3Dモデルの生成に好適な単位ボクセルサイズのボクセルグリッドを配置し、シルエット画像取得部10が取得したシルエット画像を用いた視体積交差法により表示用モデルを生成する。 In the 3D model generation unit 20, the voxel model calculation unit 21 arranges a voxel grid with a unit voxel size suitable for generating a 3D model that satisfies the display quality in the first calculation area, and generates a model for display by a volume intersection method using the silhouette image acquired by the silhouette image acquisition unit 10.

ボクセルモデル計算部21は更に、第2計算領域に前記表示用モデルとの遮蔽計算に用いる3Dモデルの生成に好適な単位ボクセルサイズのボクセルグリッドを配置し、シルエット画像取得部10が取得したシルエット画像を用いた視体積交差法により遮蔽計算用モデルを生成する。 The voxel model calculation unit 21 further arranges a voxel grid of unit voxel size suitable for generating a 3D model to be used for occlusion calculation with the display model in the second calculation region, and generates a model for occlusion calculation by a volume intersection method using the silhouette image acquired by the silhouette image acquisition unit 10.

本実施形態では、各3Dモデル生成における各3Dモデル計算の負荷が、第2計算領域における遮蔽計算用モデルの生成では第1計算領域における表示用モデルの生成よりも低くなるように、表示用モデルの生成パラメータと遮蔽計算用モデルの生成パラメータとを異ならせている。 In this embodiment, the generation parameters of the display model and the occlusion calculation model are made different so that the load of each 3D model calculation in generating each 3D model is lower in generating the occlusion calculation model in the second calculation domain than in generating the display model in the first calculation domain.

このような生成パラメータの区別は、例えば遮蔽計算用モデルの空間解像度を表示用モデルの空間解像度よりも低くすることで実現できる。より具体的には、シルエット画像を用いた視体積交差法により被写体を3Dモデル化する際に、遮蔽計算用モデルの単位ボクセルサイズを表示用モデルの単位ボクセルサイズよりも大きくすることで実現できる。 Such a distinction between generation parameters can be achieved, for example, by making the spatial resolution of the occlusion calculation model lower than that of the display model. More specifically, when creating a 3D model of a subject using a volume intersection method that uses a silhouette image, the unit voxel size of the occlusion calculation model can be made larger than the unit voxel size of the display model.

あるいは、遮蔽計算用モデルの生成に用いる画像を取得するカメラ数を表示用モデルの生成に用いる画像を取得するカメラ数よりも少なくすることで実現してもよい。例えば、第1計算領域ではcam1～cam8の計8台からシルエット画像を取得して表示用モデルを生成する一方、第2計算領域ではcam1，cam3，cam5，cam7の計4台のみからシルエット画像を取得して遮蔽計算用モデルを生成するようにしても良い。 Alternatively, this may be achieved by making the number of cameras that acquire images used to generate the occlusion calculation model less than the number of cameras that acquire images used to generate the display model. For example, in the first calculation area, silhouette images may be acquired from a total of eight cameras, cam1 to cam8, to generate the display model, while in the second calculation area, silhouette images may be acquired from only a total of four cameras, cam1, cam3, cam5, and cam7, to generate the occlusion calculation model.

あるいは、遮蔽計算用モデルの生成に用いる画像の解像度を表示用モデルの生成に用いる画像の解像度よりも低くするようにしても良い。更には、視体積交差法により3Dモデルを生成する各カメラとは別に、被写体の深度を計測するLiDAR（Light Detection and Ranging）等を設けて各被写体の深度を計測し、遮蔽計算用モデルは深度の計測結果に基づいて簡易的に生成するようにしても良い。 Alternatively, the resolution of the image used to generate the occlusion calculation model may be set lower than the resolution of the image used to generate the display model. Furthermore, in addition to the cameras that generate the 3D model by the volume intersection method, a LiDAR (Light Detection and Ranging) device that measures the depth of the subject may be provided to measure the depth of each subject, and the occlusion calculation model may be simply generated based on the depth measurement results.

なお、遮蔽計算用モデルには遮蔽関係を漏れなく抽出できるように、欠損等なく十分なボリュームで生成されることが望まれる。そこで、本実施形態では3Dモデル生成部20に、遮蔽計算用モデルの生成条件を表示用モデルの生成条件よりも緩和する生成条件緩和部22を設けている。 It is desirable that the occlusion calculation model is generated with a sufficient volume without any missing parts so that the occlusion relationship can be extracted without omission. Therefore, in this embodiment, the 3D model generation unit 20 is provided with a generation condition relaxation unit 22 that relaxes the generation conditions of the occlusion calculation model compared to the generation conditions of the display model.

前記生成条件緩和部22は、例えば遮蔽計算用モデルの生成に用いるシルエット画像の輪郭を膨張させることで遮蔽計算用モデルの生成条件を緩和する。あるいは生成した遮蔽計算用3Dモデルを膨張させることで緩和するようにしても良いし、シルエット画像の輪郭および遮蔽計算用モデルのいずれをも膨張させるようにしても良い。 The generation condition relaxation unit 22 relaxes the generation conditions of the occlusion calculation model, for example, by expanding the contour of the silhouette image used to generate the occlusion calculation model. Alternatively, the conditions may be relaxed by expanding the generated occlusion calculation 3D model, or both the contour of the silhouette image and the occlusion calculation model may be expanded.

なお、ボクセルモデルは多数のボクセルで形成されるボリュームデータであるが、一般的に3Dモデルデータはポリゴンモデルとして扱う方が都合の良いケースも多い。そこで、本実施形態では3Dモデル生成部20に3Dモデル出力部23を設け、マーチングキューブ法などのボクセルモデルをポリゴンモデルに変換する手法を用いてボクセルモデルをポリゴンモデルに変換し、ポリゴンモデルとして3Dモデルを出力するようにしている。 Note that while a voxel model is volume data formed from a large number of voxels, it is generally more convenient to handle 3D model data as a polygon model in many cases. Therefore, in this embodiment, a 3D model output unit 23 is provided in the 3D model generation unit 20, and the voxel model is converted into a polygon model using a method for converting a voxel model into a polygon model, such as the marching cubes method, and the 3D model is output as a polygon model.

モデル遮蔽情報計算部40は、第1計算領域に生成された表示用モデルおよび第2計算領域に生成された遮蔽計算用モデルを用いて、各3Dモデルの各部位がどのカメラから遮蔽関係にあるかを示すオクルージョン情報を計算する。 The model occlusion information calculation unit 40 uses the display model generated in the first calculation area and the occlusion calculation model generated in the second calculation area to calculate occlusion information indicating which camera occludes each part of each 3D model.

本実施例では、3Dモデル生成部20においてポリゴンモデルが生成されるため、ポリゴンモデルの各頂点に関する遮蔽関係がオクルージョン情報として記録される。本実施形態のように8台のカメラが存在する環境であれば、頂点一つにつき8個のオクルージョン情報が記録される。オクルージョン情報は、頂点が可視であれば「1」、頂点が不可視であれば「0」などの形式で記録される。このようなオクルージョン情報の計算には特許文献2に開示される方式を採用できる。 In this embodiment, a polygon model is generated in the 3D model generation unit 20, and therefore the occlusion relationship for each vertex of the polygon model is recorded as occlusion information. In an environment where eight cameras are present as in this embodiment, eight pieces of occlusion information are recorded for each vertex. The occlusion information is recorded in a format such as "1" if the vertex is visible, or "0" if the vertex is invisible. The method disclosed in Patent Document 2 can be used to calculate such occlusion information.

モデルカラーリング部50は、モデル遮蔽情報計算部40が計算したオクルージョン情報および各カメラ画像（テクスチャ）を用いて、第1計算領域に生成された表示用モデルにカラーリングを施す。モデルカラーリング部50の出力としては、カラーリングが施された3Dモデル自体を出力しても良いし、仮想視点情報に基づいて3Dモデルにカラーリングを行った上で仮想視点からの2D画像としてレンダリングしてディスプレイ等に出力を行ってもよい。本実施形態では、3D空間に配置された3Dモデルを入力に、計算によって特定の視点からの2D画像に変換する処理をレンダリングと定義している。 The model coloring unit 50 uses the occlusion information calculated by the model occlusion information calculation unit 40 and each camera image (texture) to color the display model generated in the first calculation area. The model coloring unit 50 may output the colored 3D model itself, or may color the 3D model based on virtual viewpoint information and then render it as a 2D image from a virtual viewpoint and output it to a display or the like. In this embodiment, rendering is defined as the process of converting a 3D model placed in 3D space into a 2D image from a specific viewpoint through calculation as input.

また、本実施形態では、表示用モデルの各ポリゴンの法線ベクトルを計算し、当該法線ベクトルと対向する角度に最も近い角度のカメラから各ポリゴンにカラーリングを施すことを前提とする。そして、オクルージョン情報に基づいて遮蔽があると判定される場合には2番目、3番目……に近いカメラからマッピングを施す。 In addition, in this embodiment, the normal vector of each polygon of the display model is calculated, and coloring is applied to each polygon from the camera with the angle closest to the angle opposite the normal vector. Then, if it is determined that there is occlusion based on the occlusion information, mapping is applied from the second, third, etc. closest camera.

ポリゴン単位での遮蔽判定では、ポリゴンを構成する全ての頂点のオクルージョン情報を参照し、全ての頂点が可視となる最近傍のカメラからカラーリングを行うようにすることが望ましい。以上の処理の結果、モデルカラーリング部50からは各カメラのテクスチャを用いてカラーリングされた3Dモデルが出力される。 When making a polygon-by-polygon occlusion determination, it is desirable to refer to the occlusion information for all vertices that make up the polygon, and perform coloring from the nearest camera from which all vertices are visible. As a result of the above processing, the model coloring unit 50 outputs a 3D model that has been colored using the textures of each camera.

あるいは非特許文献3に開示されるように、ユーザが選択した仮想視点Pvに依存したテクスチャマッピングを行い、仮想視点Pvから見たレンダリング画像を出力物として得てもよい。オクルージョン情報を利用したテクスチャマッピングには、特許文献2や非特許文献3に示されるような、オクルージョン情報を参照してマッピングを行うテクスチャマッピング方法を用いることができる。 Alternatively, as disclosed in Non-Patent Document 3, texture mapping may be performed depending on the virtual viewpoint Pv selected by the user, and a rendering image seen from the virtual viewpoint Pv may be obtained as the output. For texture mapping using occlusion information, a texture mapping method that performs mapping by referring to occlusion information, as disclosed in Patent Document 2 and Non-Patent Document 3, may be used.

この場合、例えば遮蔽されていないカメラの中で仮想視点Pvと最も角度の近いカメラからテクスチャマッピングが成される。モデルが全て三角形ポリゴンから構成されるポリゴンモデルであれば、構成する3頂点全てが遮蔽されていない最近傍のカメラからテクスチャマッピングが成され、レンダリング画像が出力される。 In this case, for example, texture mapping is performed from the camera that is not occluded and that is at the closest angle to the virtual viewpoint Pv. If the model is a polygon model composed entirely of triangular polygons, texture mapping is performed from the nearest camera whose three constituent vertices are not occluded, and the rendered image is output.

なお、この遮蔽関係においては画角の範囲外となるカメラに関しては全て不可視として記録してよい。このような記録を行うことで、モデルカラーリング部50では当該カメラからのマッピングは行われず、必然的に最も近い可視のカメラからテクスチャマッピングを実施できるようになる。 In this occlusion relationship, all cameras that are outside the range of the angle of view may be recorded as invisible. By recording in this way, the model coloring unit 50 will not perform mapping from that camera, and will inevitably be able to perform texture mapping from the closest visible camera.

本実施形態によれば、少ないカメラにしか映り込まないために表示用としては不要であるがオクルージョン情報の取得に必要となる遮蔽計算用の3Dモデルを生成してオクルージョン情報を取得するので、遮蔽関係による品質劣化の少ない高品質な3Dモデル生成が可能になる。 According to this embodiment, a 3D model is generated for occlusion calculations that are not necessary for display because they are only captured by a few cameras, but are required to obtain occlusion information, making it possible to generate a high-quality 3D model with little degradation in quality due to occlusion.

また、本実施形態によれば、遮蔽計算用モデルの生成に要する負荷が表示用モデルの生成に要する負荷よりも軽くなるように、表示用モデルの生成パラメータと遮蔽計算用モデルの生成パラメータとを異ならせたので、少ない計算負荷で表示用モデルの品質を維持したまま遮蔽関係による品質劣化を軽減できるようになる。 In addition, according to this embodiment, the generation parameters of the display model and the generation parameters of the occlusion calculation model are made different so that the load required to generate the occlusion calculation model is lighter than the load required to generate the display model, so that it is possible to reduce quality degradation due to occlusion relationships while maintaining the quality of the display model with a small calculation load.

図２は、本発明の第2実施形態に係る3Dモデル生成装置100の主要部の構成を示した機能ブロック図であり、前記と同一の符号は同一または同等部分を表しているので、その説明は省略する。本実施形態は、計算領域登録部30が可視カメラ情報記録部33，第1計算領域決定部34および第2計算領域決定部35を具備し、第1および第2計算領域を自動または半自動で生成するようにした点に特徴がある。 Figure 2 is a functional block diagram showing the configuration of the main parts of a 3D model generation device 100 according to a second embodiment of the present invention, and the same reference numerals as those described above represent the same or equivalent parts, so their explanation will be omitted. This embodiment is characterized in that the calculation area registration unit 30 includes a visible camera information recording unit 33, a first calculation area determination unit 34, and a second calculation area determination unit 35, and the first and second calculation areas are generated automatically or semi-automatically.

可視カメラ情報記録部33には、モデル化対象の被写体が存在し得る広範な3D空間のボクセルグリッドで仕切られたボクセル（単位ボクセル）ごとに、当該ボクセルを画角内に収めるカメラを識別する可視カメラ情報が予め記録されている。 The visible camera information recording unit 33 pre-records visible camera information that identifies the camera that contains within its angle of view each voxel (unit voxel) partitioned by a voxel grid in a wide 3D space in which the subject to be modeled may exist.

可視カメラ情報の記録は、自由視点制作の事前工程として実施される。各カメラの画角は予め決定されており、各カメラの内部パラメータ及び外部パラメータを算出するためのカメラのキャリブレーションも完了しているものとする。キャリブレーションに関しては、非特許文献4などが開示する既知の技術を用いることができる。 The recording of visible camera information is performed as a preliminary step in the production of free viewpoint images. The angle of view of each camera is determined in advance, and the camera calibration for calculating the internal and external parameters of each camera is also assumed to have been completed. For calibration, known techniques such as those disclosed in Non-Patent Document 4 can be used.

図３は、可視カメラ情報の例を示した図であり、本実施形態では便宜的に、同図(a)のように各ボクセルを2次元配列で表現するが、実際には同図(b)のように3次元に配列されている。各ボクセルに付された数字「8」,「7」…「2」，「１」は当該ボクセルを画角内に収めるカメラ数、換言すれば当該ボクセルに係る可視のカメラ数である。本実施形態では、ボクセルiごとに可視カメラ数Biが記録されている。 Figure 3 shows an example of visible camera information. For convenience, in this embodiment, each voxel is represented as a two-dimensional array as in Figure 3(a), but in reality, they are arranged three-dimensionally as in Figure 3(b). The numbers "8", "7", ... "2", "1" assigned to each voxel indicate the number of cameras that have the voxel within their angle of view, in other words, the number of cameras that are visible to that voxel. In this embodiment, the number of visible cameras Bi is recorded for each voxel i.

各計算領域決定部34，35は、前記可視カメラ情報を参照して各ボクセルiの可視カメラ数Biを把握し、可視カメラ数Biに基づいて各3Dモデルの計算対象となる空間を各計算領域として決定する。 Each calculation area determination unit 34, 35 refers to the visible camera information to determine the number Bi of visible cameras for each voxel i, and determines the space to be calculated for each 3D model as each calculation area based on the number Bi of visible cameras.

第1計算領域決定部34は、可視カメラ数Biが所定の閾値Nth1以上のボクセルiが占める3D空間を、仮想視点からのレンダリング画像に表示する表示用モデルを計算する第1計算領域に決定する。例えば、閾値Nth1が「7」に設定されていれば、図４に示すように、可視カメラ数が「7」および「8」のボクセルにより構成される3D空間が表示用モデルの計算領域（第1計算領域）に決定される。 The first calculation area determination unit 34 determines the 3D space occupied by voxels i whose number of visible cameras Bi is equal to or greater than a predetermined threshold Nth1 as the first calculation area for calculating a display model to be displayed in a rendering image from a virtual viewpoint. For example, if the threshold Nth1 is set to "7", then as shown in FIG. 4, the 3D space formed by voxels whose number of visible cameras is "7" and "8" is determined as the calculation area (first calculation area) of the display model.

第2計算領域決定部35は、可視カメラ数Biが前記閾値Nth1未満であって所定の閾値Nth2以上（Nth1＞可視カメラ数Bi≧Nth2）のボクセルiが占める3D空間を、遮蔽計算用モデルの計算領域（第2計算領域）に決定する。例えば、Nth2が「4」に設定されていれば、図５に示すように、可視カメラ数が「6」，「5」，「4」のボクセルにより構成される3D空間が第2計算領域に決定される。 The second calculation area determination unit 35 determines the 3D space occupied by voxels i where the number of visible cameras Bi is less than the threshold Nth1 and is equal to or greater than a predetermined threshold Nth2 (Nth1 > number of visible cameras Bi ≧ Nth2) as the calculation area (second calculation area) of the occlusion calculation model. For example, if Nth2 is set to "4", then the 3D space formed by voxels where the number of visible cameras is "6", "5", and "4" is determined as the second calculation area, as shown in FIG. 5.

なお、可視カメラ数Biに代えて、各ボクセルiが全カメラ（本実施形態では、8台）の何パーセントのカメラの画角範囲内に収まっているかを示す比率Ri＝Bi／8を計算し、当該比率Riに基づいて各計算領域を決定しても良い。 In addition, instead of the number of visible cameras Bi, a ratio Ri = Bi/8 indicating what percentage of all cameras (8 cameras in this embodiment) each voxel i falls within the angle of view range may be calculated, and each calculation region may be determined based on this ratio Ri.

可視カメラ情報記録部33に記録される情報は、カメラの画角が変わらなければ不変となるため、カメラの固定後に一回だけ実施すれば十分である。一方、意図せずにカメラに触れるなどして画角が変わってしまった場合には、可視カメラ情報の記録および第1計算領域の決定の各処理はやり直すことが望ましい。 The information recorded in the visible camera information recording unit 33 remains unchanged unless the camera angle of view changes, so it is sufficient to perform this process only once after the camera is fixed. On the other hand, if the angle of view changes due to unintentional touching of the camera, it is desirable to redo the processes of recording the visible camera information and determining the first calculation area.

前記3Dモデル生成部20は、各3Dモデルを全ての可視カメラに基づいて生成する必要はなく、可視カメラの一部に基づいて生成しても良い。例えば、各ボクセルの可視カメラ数Biに基づいて、ボクセルごとに可視カメラ数Bi台あるいはBi-1台などをカメラ数閾値として設定してもよい。 The 3D model generation unit 20 does not need to generate each 3D model based on all visible cameras, and may generate each 3D model based on a portion of the visible cameras. For example, based on the number of visible cameras Bi for each voxel, the number of visible cameras Bi or Bi-1 may be set as the camera number threshold for each voxel.

例えば、カメラ数閾値をBi-1台とするのであれば、可視カメラ数が「8」のボクセルでは7台以上のカメラで前景と判定されるボクセルがモデル化されるというように、3Dモデル生成部20による3Dモデル化の条件を緩和するようにしても良い。カメラ台数閾値は比率で決定されてもよく、例えば閾値となる比率R＝0.75と設定された場合には、可視カメラ数が「8」の領域では8×0.75=6台以上のカメラで前景と判定されるボクセルのみがモデル化されるようにしても良い。 For example, if the camera number threshold is set to Bi-1, the conditions for 3D modeling by the 3D model generation unit 20 may be relaxed so that in a voxel with 8 visible cameras, voxels determined to be in the foreground by 7 or more cameras are modeled. The camera number threshold may be determined by a ratio, and for example, when the threshold ratio R is set to 0.75, only voxels determined to be in the foreground by 8 x 0.75 = 6 or more cameras may be modeled in an area with 8 visible cameras.

なお、上記の実施形態では3D空間に配置された各ボクセルを画角内に納める可視カメラ数Biに基づいて表示用モデルの計算領域を決定するものとして説明したが、本発明はこれのみに限定されるものではなく、各ボクセルの可視カメラ数Biを、隣接する可視カメラ間の相対角度Aiの最大値Ai_maxで代表し、当該最大値Ai_maxが小さいボクセルほど可視カメラ数Biを多く見積もるようにしても良い。 In the above embodiment, the calculation area of the display model is determined based on the number Bi of visible cameras that fit each voxel arranged in 3D space within the angle of view. However, the present invention is not limited to this. The number Bi of visible cameras for each voxel may be represented by the maximum value Ai_max of the relative angle Ai between adjacent visible cameras, and the number Bi of visible cameras may be estimated to be larger for a voxel with a smaller maximum value Ai_max.

各視線の相対角度Aiとは、図６に示すように3D空間を上方から見込んだ際に隣接する各カメラとボクセルiとを結んだ直線がなす角度Aiであり、4つのカメラが等間隔で配置されていれば相対角度Ai_1～Ai_4は全て90°となる。 The relative angle Ai of each line of sight is the angle Ai formed by the straight line connecting each adjacent camera and voxel i when looking at the 3D space from above as shown in Figure 6. If the four cameras are arranged at equal intervals, the relative angles Ai_1 to Ai_4 will all be 90°.

ここで、可視カメラ数が2台であれば相対角度Aiの最大値Ai_maxの取り得る範囲は180°以上360°未満、3台であれば120°以上360°未満となり、可視カメラ数が増えるほど最大値Ai_maxが小さな値を取り得る。換言すれば、相対角度Aiの最大値Ai_maxが小さいほど、可能性として可視カメラ数が多くなる。したがって、可視カメラ数Biに代えて可視カメラの相対角度Aiの最大値Ai_maxに基づいて第1計算領域を決定するようにしても良い。例えば、最大値Ai_maxの閾値Ath1を予め設定しておき、Ai_max≦Ath1のボクセルiを第1計算領域に決定することができる。 Here, if there are two visible cameras, the possible range of the maximum value Ai_max of the relative angle Ai is between 180° and 360°, and if there are three, it is between 120° and 360°; the more visible cameras there are, the smaller the maximum value Ai_max can be. In other words, the smaller the maximum value Ai_max of the relative angle Ai, the greater the potential number of visible cameras. Therefore, the first calculation region may be determined based on the maximum value Ai_max of the relative angle Ai of the visible cameras instead of the number of visible cameras Bi. For example, a threshold value Ath1 of the maximum value Ai_max can be set in advance, and voxels i for which Ai_max≦Ath1 can be determined as the first calculation region.

さらに、各ボクセルの可視カメラ数Biを各可視カメラの配置分布の偏り（分散）で代表し、分散が小さいボクセルほど可視カメラ数Biを多く見積もるようにしても良い。 Furthermore, the number of visible cameras Bi for each voxel may be represented by the bias (variance) of the placement distribution of each visible camera, and the number of visible cameras Bi may be estimated to be larger for voxels with smaller variances.

すなわち、3Dモデルの形状推定では複数のカメラを360度に渡り均等な角度で配置することが望ましく、ボクセルiの可視カメラ数Biが同一であっても、図７に示すように可視カメラの配置に偏りがあるとモデルの形成が不正確になる可能性がある。そこで、可視カメラ間の各相対角度Aiの分散を計算し、分散が所定の閾値を下回るボクセルのみを第1計算領域に決定するようにしても良い。 In other words, when estimating the shape of a 3D model, it is desirable to place multiple cameras at equal angles across 360 degrees, and even if the number of visible cameras Bi for voxel i is the same, if there is a bias in the placement of the visible cameras as shown in Figure 7, the formation of the model may be inaccurate. Therefore, the variance of each relative angle Ai between the visible cameras may be calculated, and only voxels whose variance is below a predetermined threshold may be determined as the first calculation region.

更には、可視カメラ数Bi、隣接する可視カメラ間の相対角度Aiおよび可視カメラの配置分布の偏り（分散）の全てまたは適宜の組み合わせ、各閾値判定結果に基づいて選択したボクセルを第1計算領域に決定するようにしても良い。 Furthermore, the voxels selected based on the number of visible cameras Bi, the relative angle Ai between adjacent visible cameras, and the bias (variance) of the distribution of the placement of the visible cameras, or any combination thereof, and the results of each threshold determination may be determined as the first calculation region.

あるいは図８に示すように、第1計算領域は予めまたは前記可視カメラ数Bi、相対角度Aiおよび可視カメラの配置分布の偏りのいずれかもしくは組み合わせにより決定する一方、第2計算領域は、第1計算領域内の表示用モデルと、表示用モデルが可視である（画角の範囲内に収まっている）各カメラの視錐体とを結んだ領域から第1計算領域を除いた領域の全てとしてもよい。一般に、遮蔽が発生するのは第1計算領域における被写体モデルの形成位置と各カメラとの間であることから、この領域のみで遮蔽関係を走査すれば遮蔽検知としては十分だからである。 Alternatively, as shown in FIG. 8, the first calculation area may be determined in advance or based on any one or a combination of the number of visible cameras Bi, the relative angle Ai, and the bias in the distribution of the placement of the visible cameras, while the second calculation area may be the entire area connecting the display model in the first calculation area and the viewing cone of each camera in which the display model is visible (within the range of the angle of view), excluding the first calculation area. This is because occlusion generally occurs between the position where the subject model is formed in the first calculation area and each camera, and therefore scanning the occlusion relationship only in this area is sufficient for occlusion detection.

図９は、本発明の第3実施形態の構成を示した機能ブロック図であり、前記と同一の符号は同一または同等部分を表しているので、その説明は省略する。 Figure 9 is a functional block diagram showing the configuration of the third embodiment of the present invention. The same reference numerals as those described above represent the same or equivalent parts, and therefore their explanation will be omitted.

本実施形態は、3Dモデル生成部20が前記ボクセルモデル計算部21として、相対的に高解像度の3Dボクセルモデルを生成する高解像度モデル生成部21aおよび低解像度の3Dボクセルモデルを生成する低解像度モデル生成部21bを具備し、各モデル生成部21a，21bを使い分けて、あるいは組み合わせた2段階で、3Dモデルを生成するようにした点に特徴がある。 This embodiment is characterized in that the 3D model generation unit 20 includes, as the voxel model calculation unit 21, a high-resolution model generation unit 21a that generates a relatively high-resolution 3D voxel model and a low-resolution model generation unit 21b that generates a low-resolution 3D voxel model, and generates a 3D model in two stages by selectively using or combining each of the model generation units 21a and 21b.

高解像度モデル生成部21aは、第1実施形態のボクセルモデル計算部21と同様に単位ボクセルサイズがMaのボクセルグリッドを配置した第1計算領域に、シルエット画像取得部10が取得したシルエット画像を用いた視体積交差法により高解像度の表示用ボクセルモデルを生成する。前記単位ボクセルサイズMaは、例えば1cmに設定できる。 The high-resolution model generation unit 21a generates a high-resolution voxel model for display by a volume intersection method using the silhouette image acquired by the silhouette image acquisition unit 10 in a first calculation area in which a voxel grid with a unit voxel size Ma is arranged, similar to the voxel model calculation unit 21 of the first embodiment. The unit voxel size Ma can be set to, for example, 1 cm.

低解像度モデル生成部21bは、単位ボクセルサイズがMb（＞Ma）のボクセルグリッドを配置した第2計算領域に、シルエット画像取得部10が取得したシルエット画像を用いた視体積交差法により低解像度の遮蔽計算用ボクセルモデルを生成する。前記単位ボクセルサイズMbは、例えば10cmに設定できる。 The low-resolution model generating unit 21b generates a low-resolution voxel model for occlusion calculation in a second calculation area in which a voxel grid with a unit voxel size of Mb (>Ma) is arranged, by a volume intersection method using the silhouette image acquired by the silhouette image acquiring unit 10. The unit voxel size Mb can be set to, for example, 10 cm.

本実施形態では、第2計算領域に関しては低解像度モデル生成部21bが生成した低解像度モデルを最終出力モデルとし、高解像度モデル生成部21aでのモデル生成を行わなくてもよい。第2計算領域に生成される3Dモデルはあくまで遮蔽計算に用いられるモデルであるから、第1計算領域と比較して品質劣化が許容される傾向にある。そこで、計算時間を削減する観点から遮蔽計算用モデルは低解像度の3Dモデルとすることが望ましい。 In this embodiment, for the second calculation domain, the low-resolution model generated by the low-resolution model generation unit 21b is used as the final output model, and model generation by the high-resolution model generation unit 21a does not need to be performed. Since the 3D model generated in the second calculation domain is merely a model used for occlusion calculation, there is a tendency for quality degradation to be tolerated compared to the first calculation domain. Therefore, from the viewpoint of reducing calculation time, it is desirable to use a low-resolution 3D model as the model for occlusion calculation.

ここで、第1計算領域でのモデル計算時間を短縮するために、第1計算領域でも初めに低解像度モデル生成部21bが低解像度3Dボクセルモデルを生成し、次いで、高解像度モデル生成部21aが前記低解像度3Dボクセルモデルの生成領域またはその3Dバウンディングボックス内のみに単位ボクセルサイズがMaのボクセルグリッドを配置し、改めてシルエット画像を用いた視体積交差法により高解像度3Dボクセルモデルを再生成するようにしても良い。 Here, in order to shorten the model calculation time in the first calculation region, the low-resolution model generation unit 21b may first generate a low-resolution 3D voxel model in the first calculation region as well, and then the high-resolution model generation unit 21a may place a voxel grid with a unit voxel size of Ma only in the generation region of the low-resolution 3D voxel model or within its 3D bounding box, and regenerate a high-resolution 3D voxel model by a volume intersection method using a silhouette image.

なお、上記のように第1計算領域を対象とした表示用モデルの生成に関してのみ、相対的に低解像度および高解像度での3Dモデル生成を繰り返す（本実施形態では、1回）多段のモデル生成手法を適用するのではなく、第2計算領域を対象とした遮蔽計算用モデルの生成に関しても同様に多段のモデル生成手法を適用しても良い。 In addition, instead of applying the multi-stage model generation method of repeatedly generating 3D models at relatively low and high resolutions (once in this embodiment) only for generating a display model for the first calculation region as described above, a similar multi-stage model generation method may also be applied to generating a shielding calculation model for the second calculation region.

本実施形態によれば、遮蔽計算用モデルのみを低解像度化し、その計算量を削減することができるので、表示用モデルの高品質を維持しながら、オクルージョンによる品質劣化を少ない3Dモデルを低負荷、短時間で生成できるようになる。 According to this embodiment, it is possible to reduce the resolution of only the model for occlusion calculations and reduce the amount of calculation, so that a 3D model with little quality degradation due to occlusion can be generated quickly and with low load while maintaining the high quality of the model for display.

図１０は、本発明の第4実施形態の構成を示した機能ブロック図であり、前記と同一の符号は同一または同等部分を表しているので、その説明は省略する。本実施形態は、3Dモデル生成部20が生成した3Dモデルの取り扱いを、表示用モデルおよび遮蔽計算用モデルの一方から他方に変換するモデル変換部60を具備した点に特徴がある。 Figure 10 is a functional block diagram showing the configuration of the fourth embodiment of the present invention. The same reference numerals as those described above represent the same or equivalent parts, and therefore their explanation will be omitted. This embodiment is characterized in that it includes a model conversion unit 60 that converts the handling of the 3D model generated by the 3D model generation unit 20 from one of a display model and a shielding calculation model to the other.

図１１に模式的に示したように、第1計算領域と第2計算領域との境界に人物のような被写体の3Dモデルが生成された場合、上記の各実施形態では第1計算領域内のボクセルにはカラーリングが実施され、第2計算領域内のボクセルにはカラーリングが実施されない。その結果、被写体の一部のみがカラーリングされた違和感のある3Dモデルが出力されてしまう。したがって、境界に生じた3Dモデルの塊は表示用モデルおよび遮蔽計算用モデルのいずれかに統一して取り扱うことが望ましい。 As shown in FIG. 11, when a 3D model of a subject such as a person is generated at the boundary between the first and second calculation regions, in each of the above embodiments, the voxels in the first calculation region are colored, but the voxels in the second calculation region are not colored. As a result, an unnatural 3D model is output in which only a portion of the subject is colored. Therefore, it is desirable to uniformly treat the chunks of the 3D model that appear at the boundary as either a display model or a occlusion calculation model.

前記モデル変換部60は、非特許文献3に開示されるように、多数のボクセルが連結している領域を各被写体に対応した一つの独立した塊と捉え、図１２に示すように各塊を3Dバウンディングボックスで区別する。そして、第1計算領域と第2計算領域との境界上に形成された3Dモデルごとに、第1計算領域に表示用モデルの一部として生成された部分および第2計算領域に遮蔽計算用モデルの一部として生成された部分の一方を他方に変換する。これにより、3D空間を3Dバウンディングボックス単位で第1計算領域および第2計算領域の一方に統一できるので、境界上に生成された3Dモデル全体を表示用モデルまたは遮蔽計算用モデルとして取り扱えるようになる。 As disclosed in Non-Patent Document 3, the model conversion unit 60 regards an area in which many voxels are connected as one independent block corresponding to each subject, and distinguishes each block with a 3D bounding box as shown in FIG. 12. Then, for each 3D model formed on the boundary between the first and second calculation regions, one of the part generated as part of the display model in the first calculation region and the part generated as part of the occlusion calculation model in the second calculation region is converted to the other. This allows the 3D space to be unified into either the first or second calculation region in 3D bounding box units, so that the entire 3D model generated on the boundary can be treated as a display model or an occlusion calculation model.

統一ルールには特に制限がなく、境界上に生成された3Dモデルは無条件で表示用モデル（または遮蔽計算用モデル）に統一するというルールを定めても良い。あるいは第1計算領域内に生成されるサイズと第2計算領域内に生成されるサイズとを比較し、サイズがより大きい計算領域に応じたモデルに統一しても良い。 There are no particular restrictions on the unification rule, and a rule may be established that unconditionally unifies 3D models generated on the boundary into models for display (or models for occlusion calculation). Alternatively, the size generated in the first calculation area may be compared with the size generated in the second calculation area, and unification may be performed into a model corresponding to the larger calculation area.

なお、部分的に遮蔽計算用モデルとして生成された3Dモデルが表示用モデルに変換される場合、当該遮蔽計算用モデルとして生成された部分は低解像度の可能性がある。このような場合は、遮蔽計算用モデルとして生成された部分を高解像度モデルの生成パラメータで作り直し、3Dモデル全体を高解像度化してもよい。 When a 3D model that was partially generated as a model for occlusion calculation is converted into a model for display, the part generated as the model for occlusion calculation may be low resolution. In such a case, the part generated as the model for occlusion calculation may be remade using the generation parameters of a high-resolution model, and the entire 3D model may be made high-resolution.

上記の各実施形態では、モデルカラーリング部50が3Dモデル生成装置100と一体に設けられるものとして説明したが、本発明はこれのみに限定されるものではなく、「3Dモデル」および「オクルージョン情報」の生成を行う制作用PCと、それらの情報を受信して「モデルカラーリング」を行うモデルカラーリング用PCあるいはモデルカラーリング用端末とに分散しても良い。 In each of the above embodiments, the model coloring unit 50 has been described as being provided integrally with the 3D model generating device 100, but the present invention is not limited to this, and may be distributed between a production PC that generates the "3D model" and "occlusion information" and a model coloring PC or model coloring terminal that receives this information and performs "model coloring."

一般に、3Dモデルやオクルージョン情報は、特定のフレームに対して1回計算されればよいため、ハイエンドなPCなどで高速に計算を行い、保存しておく。そして、この3Dモデルやオクルージョン情報を、自由視点を視聴したい端末に配信し、端末上にモデルカラーリング部50を配置するような構成にすることで、ハイエンドな制作PC1台と、低スペック端末も含む多端末への配信を実現することができる。 Generally, 3D models and occlusion information only need to be calculated once for a particular frame, so they are calculated quickly on a high-end PC and stored. Then, by distributing this 3D model and occlusion information to a terminal on which the user wishes to view the free viewpoint and configuring the terminal to have a model coloring unit 50 located, it is possible to achieve distribution to one high-end production PC and multiple terminals, including low-spec terminals.

そして、上記の各実施形態によれば高品質な被写体3Dモデルを通信インフラ経由でもリアルタイムで提供することが可能となるので、地理的あるいは経済的な格差を超えて多くの人々に多様なエンターテインメントを提供できるようになる。その結果、国連が主導する持続可能な開発目標(SDGs)の目標9「レジリエントなインフラを整備し、包括的で持続可能な産業化を推進する」や目標11「都市を包摂的、安全、レジリエントかつ持続可能にする」に貢献することが可能となる。 Furthermore, according to each of the above embodiments, it becomes possible to provide high-quality 3D models of subjects in real time even via communication infrastructure, making it possible to provide a variety of entertainment to many people regardless of geographic or economic disparities. As a result, it becomes possible to contribute to Goal 9 "Build resilient infrastructure and promote inclusive and sustainable industrialization" and Goal 11 "Make cities inclusive, safe, resilient and sustainable" of the Sustainable Development Goals (SDGs) led by the United Nations.

10…シルエット画像取得部，20…3Dモデル生成部，21…ボクセルモデル計算部，21a…高解像度モデル生成部，21b…低解像度モデル生成部，22…生成条件緩和部，23…3Dモデル出力部，30…計算領域登録部，31…第1計算領域情報，32…第2計算領域情報，33…可視カメラ情報記録部，34…第1計算領域決定部，35…第2計算領域決定部，40…モデル遮蔽情報計算部，50…モデルカラーリング部，60…モデル変換部，100…3Dモデル生成装置 10...Silhouette image acquisition unit, 20...3D model generation unit, 21...Voxel model calculation unit, 21a...High resolution model generation unit, 21b...Low resolution model generation unit, 22...Generation condition relaxation unit, 23...3D model output unit, 30...Calculation area registration unit, 31...First calculation area information, 32...Second calculation area information, 33...Visible camera information recording unit, 34...First calculation area determination unit, 35...Second calculation area determination unit, 40...Model occlusion information calculation unit, 50...Model coloring unit, 60...Model conversion unit, 100...3D model generation device

Claims (12)

3D空間を視点の異なる複数のカメラで撮影した画像に基づいて被写体の3Dモデルを生成する3Dモデル生成装置において、
3D空間の一部に設定された第1計算領域を対象に3Dモデル計算を行って表示用3Dモデルを生成する手段と、
3D空間の前記第1計算領域以外の少なくとも一部に設定された第2計算領域を対象に3Dモデル計算を行って遮蔽計算用3Dモデルを生成する手段と、
各カメラの視点で遮蔽計算用3Dモデルが表示用3Dモデルを遮蔽する遮蔽関係を計算する手段と、
前記遮蔽関係に基づいて表示用3Dモデルをカラーリングする手段とを具備し、
前記遮蔽計算用3Dモデルおよび表示用3Dモデルが3Dボクセルモデルであり、遮蔽計算用3Dモデルの単位ボクセルサイズを表示用3Dモデルの単位ボクセルサイズよりも大きくすることで遮蔽計算用3Dモデルの空間解像度を表示用3Dモデルの空間解像度よりも低くしたことを特徴とする3Dモデル生成装置。 A 3D model generation device that generates a 3D model of a subject based on images captured by a plurality of cameras with different viewpoints in a 3D space,
A means for performing 3D model calculations on a first calculation region set in a part of a 3D space to generate a 3D model for display;
a means for performing a 3D model calculation on a second calculation area set in at least a part other than the first calculation area in a 3D space to generate a 3D model for shielding calculation;
A means for calculating an occlusion relationship in which the occlusion calculation 3D model occludes the display 3D model from the viewpoint of each camera;
and a means for coloring the display 3D model based on the occlusion relationship ;
a 3D model generating device, characterized in that the 3D model for shielding calculation and the 3D model for display are 3D voxel models, and the unit voxel size of the 3D model for shielding calculation is made larger than the unit voxel size of the 3D model for display, thereby making the spatial resolution of the 3D model for shielding calculation lower than the spatial resolution of the 3D model for display . 前記表示用3Dモデルを生成する手段および遮蔽計算用3Dモデルを生成する手段のうち少なくとも表示用3Dモデルを生成する手段は、同一の3Dモデルについて、相対的に低解像度の3Dモデルを生成したのち、当該低解像度の3Dモデルの生成領域を対象に相対的に高解像度の3Dモデルを再生成し、これを少なくとも1回繰り返すことを特徴とする請求項１に記載の3Dモデル生成装置。 The 3D model generating device according to claim 1, characterized in that of the means for generating a 3D model for display and the means for generating a 3D model for shielding calculation, at least the means for generating a 3D model for display generates a 3D model with a relatively low resolution for the same 3D model, and then regenerates a 3D model with a relatively high resolution for the generation area of the low resolution 3D model, repeating this process at least once . 前記遮蔽計算用3Dモデルの生成に用いる画像を取得するカメラ数を前記表示用3Dモデルの生成に用いる画像を取得するカメラ数よりも少なくしたことを特徴とする請求項１に記載の3Dモデル生成装置。 2. The 3D model generating device according to claim 1 , characterized in that the number of cameras for acquiring images used to generate the 3D model for occlusion calculation is made smaller than the number of cameras for acquiring images used to generate the 3D model for display. 3D空間を視点の異なる複数のカメラで撮影した画像に基づいて被写体の3Dモデルを生成する3Dモデル生成装置において、
3D空間の一部に設定された第1計算領域を対象に3Dモデル計算を行って表示用3Dモデルを生成する手段と、
3D空間の前記第1計算領域以外の少なくとも一部に設定された第2計算領域を対象に3Dモデル計算を行って遮蔽計算用3Dモデルを生成する手段と、
各カメラの視点で遮蔽計算用3Dモデルが表示用3Dモデルを遮蔽する遮蔽関係を計算する手段と、
前記遮蔽関係に基づいて表示用3Dモデルをカラーリングする手段とを具備し、
前記各3Dモデルを生成する手段における各3Dモデル計算の負荷が、第2計算領域における遮蔽計算用3Dモデルの生成では第1計算領域における表示用3Dモデルの生成よりも低くなるように、前記遮蔽計算用3Dモデルの生成に用いる画像の解像度を前記表示用3Dモデルの生成に用いる画像の解像度よりも低くしたことを特徴とする3Dモデル生成装置。 A 3D model generation device that generates a 3D model of a subject based on images captured by a plurality of cameras with different viewpoints in a 3D space,
A means for performing 3D model calculations on a first calculation region set in a part of a 3D space to generate a 3D model for display;
a means for performing a 3D model calculation on a second calculation area set in at least a part other than the first calculation area in a 3D space to generate a 3D model for shielding calculation;
A means for calculating an occlusion relationship in which the occlusion calculation 3D model occludes the display 3D model from the viewpoint of each camera;
and a means for coloring the display 3D model based on the occlusion relationship;
a 3D model generation device characterized in that a resolution of an image used for generating the 3D model for occlusion calculation is set lower than a resolution of an image used for generating the 3D model for display, so that a load of each 3D model calculation in the means for generating each 3D model is lower in generating the 3D model for occlusion calculation in the second calculation domain than in generating the 3D model for display in the first calculation domain. 各カメラの視点で被写体の深度を計測する手段を更に具備し、
前記遮蔽計算用3Dモデルを生成する手段は、深度の計測結果に基づいて遮蔽計算用3Dモデルを生成することを特徴とする請求項１に記載の3Dモデル生成装置。 a means for measuring the depth of the object at each of the camera viewpoints;
2. The 3D model generating device according to claim 1 , wherein the means for generating a 3D model for occlusion calculation generates the 3D model for occlusion calculation based on a result of measuring depth. 前記第1計算領域内の表示用3Dモデルと各カメラの視錐体とを結んだ領域から当該第1計算領域を除いた領域を第2計算領域に決定することを特徴とする請求項１ないし５のいずれかに記載の3Dモデル生成装置。 6. A 3D model generating device according to claim 1, wherein a region obtained by excluding the first calculation region from a region connecting the 3D model for display in the first calculation region and the viewing frustum of each camera is determined as a second calculation region. 第1計算領域と第2計算領域との境界上に形成された3Dモデルの、当該第1計算領域に表示用3Dモデルの一部として生成された部分および当該第2計算領域に遮蔽計算用3Dモデルの一部として生成された部分の一方を他方に変換する手段を具備したことを特徴とする請求項１ないし６のいずれかに記載の3Dモデル生成装置。 7. The 3D model generating device according to claim 1, further comprising a means for converting one of a portion of a 3D model formed on a boundary between a first calculation domain and a second calculation domain, the portion being generated in the first calculation domain as part of a 3D model for display and a portion being generated in the second calculation domain as part of a 3D model for shielding calculation, into the other . 前記変換する手段は、第1計算領域に表示用3Dモデルとして生成された部分および第2計算領域に遮蔽計算用3Dモデルとして生成された部分の大きさを比較し、小さい方の部分を大きい方の部分に合わせて変換することを特徴とする請求項７に記載の3Dモデル生成装置。 8. The 3D model generating device according to claim 7, wherein the converting means compares the sizes of a portion generated in the first calculation domain as a 3D model for display and a portion generated in the second calculation domain as a 3D model for occlusion calculation, and converts the smaller portion to fit the larger portion. 前記遮蔽計算用3Dモデルを膨張させる手段を具備したことを特徴とする請求項１ないし８のいずれかに記載の3Dモデル生成装置。 9. The 3D model generating device according to claim 1, further comprising a means for expanding the 3D model for shielding calculation. 前記遮蔽計算用3Dモデルを膨張させる手段は、前記第2計算領域を対象とした遮蔽計算用3Dモデルの生成に用いるシルエット画像の輪郭を膨張させることを特徴とする請求項９に記載の3Dモデル生成装置。 The 3D model generating device according to claim 9 , characterized in that the means for expanding the 3D model for occlusion calculation expands a contour of a silhouette image used for generating the 3D model for occlusion calculation targeting the second calculation region. 3D空間を視点の異なる複数のカメラで撮影した画像に基づいてコンピュータが被写体の3Dモデルを生成する3Dモデル生成方法において、
3D空間の一部に設定された第1計算領域を対象に3Dモデル計算を行って表示用3Dモデルを生成し、
3D空間の前記第1計算領域以外の少なくとも一部に設定された第2計算領域を対象に3Dモデル計算を行って遮蔽計算用3Dモデルを生成し、
各カメラの視点で遮蔽計算用3Dモデルが表示用3Dモデルを遮蔽する遮蔽関係を計算し、
前記遮蔽関係に基づいて表示用3Dモデルをカラーリングし、
前記遮蔽計算用3Dモデルおよび表示用3Dモデルが3Dボクセルモデルであり、遮蔽計算用3Dモデルの単位ボクセルサイズを表示用3Dモデルの単位ボクセルサイズよりも大きくすることで遮蔽計算用3Dモデルの空間解像度を表示用3Dモデルの空間解像度よりも低くしたことを特徴とする3Dモデル生成方法。 A 3D model generation method in which a computer generates a 3D model of a subject based on images taken of a 3D space by a plurality of cameras with different viewpoints, comprising:
A 3D model calculation is performed on a first calculation area set in a part of the 3D space to generate a 3D model for display;
performing a 3D model calculation on a second calculation area set in at least a part other than the first calculation area in the 3D space to generate a 3D model for shielding calculation;
Calculate the occlusion relationship in which the occlusion calculation 3D model occludes the display 3D model from the viewpoint of each camera,
coloring the 3D model for display based on the occlusion relationship ;
a 3D model generating method, characterized in that the 3D model for shielding calculation and the 3D model for display are 3D voxel models, and the unit voxel size of the 3D model for shielding calculation is made larger than the unit voxel size of the 3D model for display, thereby making the spatial resolution of the 3D model for shielding calculation lower than the spatial resolution of the 3D model for display . 3D空間を視点の異なる複数のカメラで撮影した画像に基づいて被写体の3Dモデルを生成する3Dモデル生成プログラムにおいて、
3D空間の一部に設定された第1計算領域を対象に3Dモデル計算を行って表示用3Dモデルを生成する手順と、
3D空間の前記第1計算領域以外の少なくとも一部に設定された第2計算領域を対象に3Dモデル計算を行って遮蔽計算用3Dモデルを生成する手順と、
各カメラの視点で遮蔽計算用3Dモデルが表示用3Dモデルを遮蔽する遮蔽関係を計算する手順と、
前記遮蔽関係に基づいて表示用3Dモデルをカラーリングする手順と、をコンピュータに実行させ、
前記遮蔽計算用3Dモデルおよび表示用3Dモデルが3Dボクセルモデルであり、遮蔽計算用3Dモデルの単位ボクセルサイズを表示用3Dモデルの単位ボクセルサイズよりも大きくすることで遮蔽計算用3Dモデルの空間解像度を表示用3Dモデルの空間解像度よりも低くしたことを特徴とする3Dモデル生成プログラム。 In a 3D model generation program that generates a 3D model of a subject based on images taken of a 3D space by multiple cameras with different viewpoints,
A step of performing a 3D model calculation for a first calculation area set in a part of the 3D space to generate a 3D model for display;
A step of performing a 3D model calculation for a second calculation area set in at least a part other than the first calculation area in the 3D space to generate a 3D model for shielding calculation;
A procedure for calculating an occlusion relationship in which the occlusion calculation 3D model occludes the display 3D model from the viewpoint of each camera;
coloring the 3D model for display based on the occlusion relationship ;
a unit voxel size of the 3D model for shielding calculation is larger than a unit voxel size of the 3D model for display, thereby making the spatial resolution of the 3D model for shielding calculation lower than the spatial resolution of the 3D model for display.
JP2021038883A 2021-03-11 2021-03-11 3D model generation device, method and program Active JP7465234B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021038883A JP7465234B2 (en) 2021-03-11 2021-03-11 3D model generation device, method and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021038883A JP7465234B2 (en) 2021-03-11 2021-03-11 3D model generation device, method and program

Publications (2)

Publication Number Publication Date
JP2022138797A JP2022138797A (en) 2022-09-26
JP7465234B2 true JP7465234B2 (en) 2024-04-10

Family

ID=83400242

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021038883A Active JP7465234B2 (en) 2021-03-11 2021-03-11 3D model generation device, method and program

Country Status (1)

Country Link
JP (1) JP7465234B2 (en)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001307073A (en) 2000-04-24 2001-11-02 Matsushita Electric Ind Co Ltd Three-dimensional space reconstitution device and three- dimensional space reconstitution method
JP2017005380A (en) 2015-06-05 2017-01-05 キヤノン株式会社 Control device, imaging device, control method, program and storage medium
JP2017083919A (en) 2015-10-22 2017-05-18 株式会社東芝 Device, method, and program for obstacle map generation
JP2018063635A (en) 2016-10-14 2018-04-19 キヤノン株式会社 Image processing device, image processing method, and program
JP2018067106A (en) 2016-10-18 2018-04-26 富士通株式会社 Image processing system, image processing program, and image processing method
JP2019016161A (en) 2017-07-06 2019-01-31 キヤノン株式会社 Image processing device and control method thereof
JP2019083402A (en) 2017-10-30 2019-05-30 キヤノン株式会社 Image processing apparatus, image processing system, image processing method, and program
JP2019174982A (en) 2018-03-27 2019-10-10 富士通株式会社 Model display control method and model display control program and model display control system
JP2020149163A (en) 2019-03-11 2020-09-17 キヤノン株式会社 Image processing apparatus, image processing method, and program
JP2021022032A (en) 2019-07-25 2021-02-18 Kddi株式会社 Synthesizer, method and program

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001307073A (en) 2000-04-24 2001-11-02 Matsushita Electric Ind Co Ltd Three-dimensional space reconstitution device and three- dimensional space reconstitution method
JP2017005380A (en) 2015-06-05 2017-01-05 キヤノン株式会社 Control device, imaging device, control method, program and storage medium
JP2017083919A (en) 2015-10-22 2017-05-18 株式会社東芝 Device, method, and program for obstacle map generation
JP2018063635A (en) 2016-10-14 2018-04-19 キヤノン株式会社 Image processing device, image processing method, and program
JP2018067106A (en) 2016-10-18 2018-04-26 富士通株式会社 Image processing system, image processing program, and image processing method
JP2019016161A (en) 2017-07-06 2019-01-31 キヤノン株式会社 Image processing device and control method thereof
JP2019083402A (en) 2017-10-30 2019-05-30 キヤノン株式会社 Image processing apparatus, image processing system, image processing method, and program
JP2019174982A (en) 2018-03-27 2019-10-10 富士通株式会社 Model display control method and model display control program and model display control system
JP2020149163A (en) 2019-03-11 2020-09-17 キヤノン株式会社 Image processing apparatus, image processing method, and program
JP2021022032A (en) 2019-07-25 2021-02-18 Kddi株式会社 Synthesizer, method and program

Also Published As

Publication number Publication date
JP2022138797A (en) 2022-09-26

Similar Documents

Publication Publication Date Title
KR102647351B1 (en) Modeling method and modeling apparatus using 3d point cloud
CN110889890B (en) Image processing method and device, processor, electronic equipment and storage medium
Matsuyama et al. Real-time dynamic 3-D object shape reconstruction and high-fidelity texture mapping for 3-D video
KR100721536B1 (en) Method for restoring 3-dimension image using silhouette information in 2-dimension image
US9251623B2 (en) Glancing angle exclusion
Hernandez et al. Laser scan quality 3-d face modeling using a low-cost depth camera
KR101199475B1 (en) Method and apparatus for reconstruction 3 dimension model
US11501118B2 (en) Digital model repair system and method
KR102152432B1 (en) A real contents producing system using the dynamic 3D model and the method thereof
Riegler et al. Connecting the dots: Learning representations for active monocular depth estimation
Boom et al. Interactive light source position estimation for augmented reality with an RGB‐D camera
Prasad et al. A robust head pose estimation system for uncalibrated monocular videos
Zhang et al. Real-time calibration and registration method for indoor scene with joint depth and color camera
Yaguchi et al. Arbitrary viewpoint video synthesis from multiple uncalibrated cameras
Saito et al. View interpolation of multiple cameras based on projective geometry
Lee et al. Real time 3D avatar for interactive mixed reality
Remondino et al. 3D reconstruction of human skeleton from single images or monocular video sequences
JP7290546B2 (en) 3D model generation apparatus and method
GB2458305A (en) Providing a volumetric representation of an object
JP7465234B2 (en) 3D model generation device, method and program
KR102577135B1 (en) A skeleton-based dynamic point cloud estimation system for sequence compression
Shin et al. A comparison between two 3d free-viewpoint generation methods: Player-billboard and 3d reconstruction
Narayanan et al. Virtual worlds using computer vision
Zhou et al. New eye contact correction using radial basis function for wide baseline videoconference system
JP7456959B2 (en) 3D model generation device, method and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230307

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240111

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240131

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240306

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240327

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240329

R150 Certificate of patent or registration of utility model

Ref document number: 7465234

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150