JP2021082928A - Three-dimensional model data conversion device and program - Google Patents
Three-dimensional model data conversion device and program Download PDFInfo
- Publication number
- JP2021082928A JP2021082928A JP2019208244A JP2019208244A JP2021082928A JP 2021082928 A JP2021082928 A JP 2021082928A JP 2019208244 A JP2019208244 A JP 2019208244A JP 2019208244 A JP2019208244 A JP 2019208244A JP 2021082928 A JP2021082928 A JP 2021082928A
- Authority
- JP
- Japan
- Prior art keywords
- resolution
- texture
- geometry
- dimensional
- reduction ratio
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000006243 chemical reaction Methods 0.000 title claims abstract description 179
- 230000009467 reduction Effects 0.000 claims abstract description 328
- 238000001514 detection method Methods 0.000 claims abstract description 69
- 230000005540 biological transmission Effects 0.000 claims description 101
- 230000006870 function Effects 0.000 claims description 5
- 230000000007 visual effect Effects 0.000 abstract description 13
- 238000009826 distribution Methods 0.000 description 47
- 238000000034 method Methods 0.000 description 39
- 238000012545 processing Methods 0.000 description 32
- 238000010586 diagram Methods 0.000 description 20
- 230000008569 process Effects 0.000 description 17
- 210000000887 face Anatomy 0.000 description 13
- 238000004519 manufacturing process Methods 0.000 description 11
- 238000009877 rendering Methods 0.000 description 11
- 238000013507 mapping Methods 0.000 description 10
- 238000005259 measurement Methods 0.000 description 8
- 230000001815 facial effect Effects 0.000 description 6
- 238000007906 compression Methods 0.000 description 5
- 230000006835 compression Effects 0.000 description 5
- 239000013598 vector Substances 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000013144 data compression Methods 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000006866 deterioration Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000005484 gravity Effects 0.000 description 3
- 238000012806 monitoring device Methods 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 238000013139 quantization Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 230000015654 memory Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
Description
本発明は、ＡＲ（Augmented Reality：拡張現実）、ＶＲ（Virtual Reality：仮想現実）等に用いる３次元コンテンツのモデルデータを変換することで、データ量を削減する３次元モデルデータ変換装置及びプログラムに関する。 The present invention relates to a three-dimensional model data conversion device and a program that reduce the amount of data by converting model data of three-dimensional contents used for AR (Augmented Reality), VR (Virtual Reality), and the like. ..
近年、ＡＲ、ＶＲ等の３次元コンテンツ技術の普及が進んでいる。ＡＲ及びＶＲでは、コンテンツデータとして、３次元モデルデータを取り扱う。 In recent years, three-dimensional content technologies such as AR and VR have become widespread. AR and VR handle 3D model data as content data.
３次元モデルデータは、一般に、３次元オブジェクトの形状を近似表現する３角形または４角形からなる多面体の頂点及び面の集合であるジオメトリによって記述される。尚、４角形は必ず２つの３角形に分解できることから、３角形によるジオメトリの定義がより一般的である。ジオメトリは主に、３次元モデルデータの各頂点について、３次元座標（ＸＹＺ座標）、法線ベクトル、及び、テクスチャのマッピングに使用する２次元座標（ＵＶ座標）が記述される。ジオメトリでは、これらに加えて、各面について面を構成する頂点の番号のセットが記述され、多面体のメッシュ構造が定義される。ジオメトリの記録フォーマットの例としては、ＯＢＪ形式（例えば非特許文献１を参照）、Ａｌｅｍｂｉｃ形式（例えば非特許文献２を参照）、ｇｌＴＦ２．０形式（例えば非特許文献３を参照）がある。 3D model data is generally described by geometry, which is a set of vertices and faces of a polyhedron consisting of triangles or quadrangles that approximate the shape of a 3D object. Since a quadrangle can always be decomposed into two triangles, the definition of geometry by a quadrangle is more general. The geometry mainly describes the 3D coordinates (XYZ coordinates), the normal vector, and the 2D coordinates (UV coordinates) used for texture mapping for each vertex of the 3D model data. In addition to these, geometry describes a set of vertex numbers that make up a face for each face, defining a polyhedral mesh structure. Examples of geometry recording formats include OBJ format (see, for example, Non-Patent Document 1), Alembic format (see, for example, Non-Patent Document 2), and glTF2.0 format (see, for example, Non-Patent Document 3).
テクスチャは、ジオメトリの多面体の各面に対応する部分テクスチャを２次元の矩形領域内にマッピングした、ジオメトリの各面の柄を定める矩形画像であり、静止画符号化技術または映像符号化技術により符号化される。３次元モデルデータをレンダリングする際には、ジオメトリの各面について、その面を構成する各頂点が保持するＵＶ座標に従ってテクスチャから部分テクスチャを切り出し、面の柄として貼り付ける。 The texture is a rectangular image that defines the pattern of each face of the geometry by mapping the partial texture corresponding to each face of the polyhedron of the geometry in a two-dimensional rectangular area, and is coded by a still image coding technique or a video coding technique. Be transformed. When rendering the 3D model data, for each surface of the geometry, a partial texture is cut out from the texture according to the UV coordinates held by each vertex constituting the surface, and pasted as a pattern of the surface.
時系列の静止画フレームのシーケンスを連続再生することにより、動画として再生される。これと同様に、時系列の３次元モデルデータのシーケンスを連続再生し、例えば被写体の３次元の動きをＡＲまたはＶＲにて空間的に提示することにより、視聴者は、被写体を自由な視点から見ることができる。このような３次元モデルデータの時系列シーケンスを、３次元ビデオまたはボリューメトリックビデオと呼ぶことがある。 By continuously playing back a sequence of time-series still image frames, it is played back as a moving image. Similarly, by continuously reproducing a sequence of time-series 3D model data and spatially presenting the 3D movement of the subject in AR or VR, the viewer can view the subject from a free viewpoint. You can see it. Such a time-series sequence of 3D model data may be referred to as 3D video or volumetric video.
一般に、３次元ビデオを構成する各フレームの３次元モデルデータは、プロダクションの段階では高解像度・大容量のデータ（高解像度ジオメトリ及び高解像度テクスチャ）である。一方、コンテンツの視聴者向けに伝送及び配信（伝送・配信）する段階では、コンテンツを視聴する端末で受信可能なファイルサイズ及び伝送路の伝送容量の制限により、データ量を削減したデータ（低解像度ジオメトリ及び低解像度テクスチャ）への変換が必要となる。また、サービス環境において、受信端末の性能やコンテンツの伝送路品質が均一ではない場合には、さまざまな処理性能や伝送路品質に適したデータサイズに変換した複数パターンのコンテンツデータを用意する必要も想定される。 Generally, the 3D model data of each frame constituting the 3D video is high-resolution and large-capacity data (high-resolution geometry and high-resolution texture) at the production stage. On the other hand, at the stage of transmission and distribution (transmission / distribution) to the viewers of the content, the amount of data is reduced by limiting the file size that can be received by the terminal viewing the content and the transmission capacity of the transmission line (low resolution). Conversion to geometry and low resolution textures) is required. In addition, if the performance of the receiving terminal and the transmission line quality of the content are not uniform in the service environment, it is also necessary to prepare multiple patterns of content data converted into a data size suitable for various processing performance and transmission line quality. is assumed.
高解像度ジオメトリ及び高解像度テクスチャから低解像度ジオメトリ及び低解像度テクスチャへの変換においては、映像・音声等の符号化処理と同様に、主観的な視覚品質を保ちつつデータ量を削減することが課題となる。３次元モデルデータのデータ量を削減するために、ジオメトリに関しては頂点の間引き、及びテクスチャに関しては解像度の縮小が行われる。ジオメトリにおいては、頂点数の削減により、結果として面の数も削減される。 In the conversion from high-resolution geometry and high-resolution texture to low-resolution geometry and low-resolution texture, it is a challenge to reduce the amount of data while maintaining subjective visual quality, as in the case of coding processing for video and audio. Become. In order to reduce the amount of 3D model data, vertices are thinned out for geometry and resolution is reduced for textures. In geometry, reducing the number of vertices results in a reduction in the number of faces.
ジオメトリの頂点の間引きによりデータ量を削減する一般的な手法としては、オブジェクト形状の特徴を用いることなく、全領域において一様の比率で頂点数の削減を行うものがある。例えば、単位体積あたりの頂点数を制限して頂点の間引きを行う。他の手法としては、高解像度ジオメトリにおける周波数的な特徴を利用して、エッジ部分等の高周波成分の多い領域について頂点削減の比率を低めに設定することで、低解像度ジオメトリのディテールを残すように制御を行うものもある。 As a general method for reducing the amount of data by thinning out the vertices of the geometry, there is a method of reducing the number of vertices at a uniform ratio in the entire area without using the characteristics of the object shape. For example, the number of vertices per unit volume is limited and the vertices are thinned out. Another technique is to take advantage of the frequency features of the high resolution geometry and set the vertex reduction ratio low for areas with high frequency components such as edges to retain the details of the low resolution geometry. Some control.
ジオメトリの各面に対応する部分テクスチャのテクスチャへの配置（マッピング）の状態は、ジオメトリの各頂点に関連付けられるＵＶ座標によって定義されることから、ＵＶマップとも呼ばれる。ジオメトリとＵＶマップの関係は多面体と展開図の関係に近いが、あくまで頂点と頂点の対応であり、多面体の展開図とは異なり各面の形状（３角形の各頂点の内角の角度及び各辺の長さ）はマッピングによって変形され得る。一般に、複雑なジオメトリのＵＶマップを作成する場合、全ての面を単一の集合（面と面が辺を共有して連結した集合）に展開することは難しく、それぞれ独立した複数の集合としてマッピングされる。これらの面の集合は、テクスチャの中に浮かぶ島の様に見えることから、ＵＶアイランドと呼ばれることがある。一般に、テクスチャ上には１または複数のＵＶアイランドが配置される。 The state of mapping the partial texture corresponding to each face of the geometry to the texture is also called a UV map because it is defined by the UV coordinates associated with each vertex of the geometry. The relationship between the geometry and the UV map is similar to the relationship between the polyhedron and the development view, but it is just the correspondence between the vertices, and unlike the development view of the polyhedron, the shape of each face (the angle of the internal angle of each vertex of the triangle and each side Length) can be transformed by mapping. In general, when creating a UV map of complex geometry, it is difficult to expand all faces into a single set (a set in which faces share and connect sides), and each is mapped as an independent set. Will be done. The set of these faces is sometimes called a UV island because it looks like an island floating in the texture. Generally, one or more UV islands are arranged on the texture.
テクスチャの解像度の縮小を行う手法としては、単純な画像縮小処理により、テクスチャの全領域の解像度を一様に削減することが簡単である。しかし、この場合には、ジオメトリの頂点削減において、ＵＶアイランドの境界線上の頂点を維持する制約が必要である。一方、ジオメトリの頂点削減において、ＵＶアイランドの境界線上の頂点を維持する制約を設けない場合には、テクスチャの解像度を変更しない場合であってもＵＶマップの再構成（再マッピング）が必要である。テクスチャの解像度の縮小を行う場合、ＵＶマップの再構成をするかしないかによらず、ジオメトリの各面に対応する部分テクスチャの解像度の削減比率は一様であることが一般的である。尚、一般にＵＶ座標の値は、例えばテクスチャの左下を（０，０）、テクスチャの右上を（１，１）のように正規化された値で記述されるため、ＵＶマップの変更を伴わない単純な画像縮小においては、ジオメトリの頂点に関連付けられるＵＶ座標の変更は不要である。 As a method for reducing the resolution of the texture, it is easy to uniformly reduce the resolution of the entire area of the texture by a simple image reduction process. However, in this case, in reducing the vertices of the geometry, a constraint to maintain the vertices on the boundary of the UV island is required. On the other hand, in the reduction of geometry vertices, if the constraint of maintaining the vertices on the boundary line of the UV island is not provided, the UV map needs to be reconstructed (remapped) even if the texture resolution is not changed. .. When reducing the resolution of a texture, the reduction rate of the resolution of the partial texture corresponding to each surface of the geometry is generally uniform regardless of whether or not the UV map is reconstructed. In general, the UV coordinate value is described by a normalized value such as (0,0) at the lower left of the texture and (1,1) at the upper right of the texture, so that the UV map is not changed. In simple image reduction, it is not necessary to change the UV coordinates associated with the vertices of the geometry.
また、３次元モデルデータのデータ量を削減する手法ではないが、２次元データのデータ量を削減する手法において、その画像の品質を損ねることなく、適切な処理サイズに削減する手法が提案されている（例えば特許文献１を参照）。 Further, although it is not a method of reducing the amount of data of 3D model data, a method of reducing the amount of data of 2D data to an appropriate processing size without impairing the quality of the image has been proposed. (See, for example, Patent Document 1).
この手法は、2次元データの動画像に対して画像解析を行い、視聴者が注視する可能性の少ない非注視領域を設定し、非注視領域に対して画素の列または行の間引き等を行い、所定サイズに縮小するものである。 In this method, image analysis is performed on a moving image of 2D data, a non-gaze area that is unlikely to be gazed by the viewer is set, and pixel columns or rows are thinned out for the non-gaze area. , It is to reduce to a predetermined size.
前述のとおり、３次元モデルデータは、プロダクションの段階から伝送・配信の段階へ移行するにあたり、ジオメトリの頂点の間引き、及びテクスチャの解像度の縮小が行われる。 As described above, when the 3D model data shifts from the production stage to the transmission / distribution stage, the vertices of the geometry are thinned out and the texture resolution is reduced.
しかしながら、３次元モデルデータのデータ量を削減することにより、コンテンツの視覚品質が低下してしまう。 However, by reducing the amount of 3D model data, the visual quality of the content deteriorates.
また、前述のとおり、高解像度ジオメトリにおいて、エッジ部分等の高周波成分の多い領域について頂点削減の比率を低く設定することで、低解像度ジオメトリのディテールを残すように制御を行う手法がある。つまり、空間周波数が低い滑らかな形状ほど高い比率で頂点を削減し、空間周波数が高い凹凸のある形状ほど低い比率で頂点を削減する。人物の顔を例にすると、頬、額等の滑らかな曲面の部位は比較的高い比率で頂点を削減してもディテールが失われ難いが、目、鼻、耳等の凹凸のある部位の頂点を同じように高い比率で削減してしまうと細部の形状が潰れてディテールが失われてしまう。 Further, as described above, in high-resolution geometry, there is a method of controlling so as to leave the details of low-resolution geometry by setting the ratio of vertex reduction to a low ratio in a region having a large high-frequency component such as an edge portion. That is, a smooth shape having a low spatial frequency reduces vertices at a high ratio, and a shape having irregularities having a high spatial frequency reduces vertices at a low ratio. Taking a person's face as an example, the details of smooth curved parts such as cheeks and forehead are hard to lose even if the vertices are reduced at a relatively high ratio, but the vertices of uneven parts such as eyes, nose, and ears. If the same high ratio is used, the shape of the details will be crushed and the details will be lost.
しかしながら、これと同種の手法では、コンテンツの主観品質の保持の観点で、必要のない領域の頂点について間引きを抑制する可能性があり、視覚品質に対して必ずしも効果的なデータ削減とならない場合がある。例えば、視点の異なる複数カメラから実写画像を撮影し、この実写画像を元に３次元モデルデータを生成するフォトグラメトリによって制作された３次元モデルデータでは、ノイズの発生が避けられない。一般に、フォトグラメトリによるノイズに起因するジオメトリには高周波成分が多く含まれており、高周波成分を維持するデータ削減手法ではノイズ成分が保持されてしまい、視覚品質に対して不利な結果となり得る。 However, this type of method may suppress thinning out of vertices of unnecessary areas from the viewpoint of maintaining the subjective quality of the content, and may not necessarily result in effective data reduction for visual quality. is there. For example, in the three-dimensional model data produced by photogrammetry in which a live-action image is taken from a plurality of cameras having different viewpoints and three-dimensional model data is generated based on the live-action image, the generation of noise is unavoidable. In general, the geometry caused by noise caused by photogrammetry contains a large amount of high-frequency components, and the data reduction method for maintaining the high-frequency components retains the noise components, which may be disadvantageous to the visual quality.
このように、３次元モデルデータのデータ量を削減するための従来の手法では、主観的な視覚品質が低下してしまうという問題があった。また、前述の特許文献１の手法は、画像の品質の低下を抑えるものであるが、２次元データを対象としており、３次元モデルデータにそのまま適用することができない。
As described above, the conventional method for reducing the amount of three-dimensional model data has a problem that the subjective visual quality is deteriorated. Further, although the method of
そこで、本発明は前記課題を解決するためになされたものであり、その目的は、主観的な視覚品質が低下しないように、３次元モデルデータのデータ量を削減可能な３次元モデルデータ変換装置及びプログラムを提供することにある。 Therefore, the present invention has been made to solve the above problems, and an object of the present invention is a three-dimensional model data conversion device capable of reducing the amount of three-dimensional model data data so as not to deteriorate the subjective visual quality. And to provide the program.
前記課題を解決するために、請求項１の３次元モデルデータ変換装置は、３次元コンテンツの高解像度のモデルデータを低解像度のモデルデータに変換する３次元モデルデータ変換装置において、前記高解像度のモデルデータを構成するジオメトリ及びテクスチャを、それぞれ高解像度ジオメトリ及び高解像度テクスチャとして、各頂点の情報からなる前記高解像度ジオメトリ、及び当該高解像度ジオメトリの前記頂点から構成される各面に対応する部分テクスチャをＵＶ座標により矩形画像へマッピングした前記高解像度テクスチャを、複数角度の視点からレンダリングし、複数の２次元画像を生成するレンダラと、前記レンダラにより生成された前記複数の２次元画像のそれぞれについて、所定の特徴を有する２次元注目領域を検出し、前記複数の２次元画像の前記２次元注目領域を、前記高解像度ジオメトリの３次元注目領域に変換する注目領域検出部と、前記高解像度ジオメトリにおける全体の前記頂点の削減比率に対して、前記注目領域検出部により変換された前記３次元注目領域の前記頂点の削減比率が抑制されるように、前記高解像度ジオメトリにおける前記３次元注目領域の前記頂点を削減すると共に、前記高解像度ジオメトリにおける前記３次元注目領域を除く領域の前記頂点を削減し、前記高解像度ジオメトリを、前記低解像度のモデルデータを構成する低解像度ジオメトリに変換するジオメトリ変換部と、前記高解像度テクスチャにおける全体の縮小率に対して、前記注目領域検出部により変換された前記３次元注目領域に対応する前記高解像度テクスチャのテクスチャ注目領域の部分テクスチャの縮小率が抑制されるように、前記高解像度テクスチャにおける前記テクスチャ注目領域の部分テクスチャの解像度を削減すると共に、前記高解像度テクスチャにおける前記テクスチャ注目領域を除く領域の部分テクスチャの解像度を削減し、前記高解像度テクスチャを、前記低解像度のモデルデータを構成する低解像度テクスチャに変換し、前記ジオメトリ変換部により変換された前記低解像度ジオメトリに含まれる前記頂点の前記ＵＶ座標を変更し、新たな前記低解像度ジオメトリを生成するテクスチャ変換部と、を備えたことを特徴とする。
In order to solve the above-mentioned problems, the three-dimensional model data conversion device according to
また、請求項２の３次元モデルデータ変換装置は、請求項１に記載の３次元モデルデータ変換装置において、前記テクスチャ変換部が、前記低解像度ジオメトリからその各面に対応する前記部分テクスチャを抽出し、前記高解像度テクスチャの前記解像度を削減することなく、前記部分テクスチャを前記矩形画像に再マッピングし、前記高解像度テクスチャを前記低解像度テクスチャに変換する、ことを特徴とする。
Further, in the 3D model data conversion device according to
また、請求項３の３次元モデルデータ変換装置は、請求項１または２に記載の３次元モデルデータ変換装置において、前記低解像度のモデルデータが伝送される際の実際に伝送可能な単位時間あたりの最大のデータ量を実効伝送容量Ｒとし、前記低解像度ジオメトリの単位時間あたりのデータ量をデータ量Ｇoとし、前記低解像度テクスチャの単位時間あたりのデータ量をデータ量Ｔoとし、前記高解像度テクスチャの単位時間あたりのデータ量をデータ量Ｔiとし、前記３次元注目領域の前記頂点を削減する比率を削減比率αとし、前記高解像度ジオメトリにおける前記３次元注目領域を除く前記領域の前記頂点を削減する比率を削減比率βとし、前記テクスチャ注目領域の前記部分テクスチャの前記解像度を削減する比率を削減比率γとし、前記高解像度テクスチャにおける前記テクスチャ注目領域を除く前記領域の前記部分テクスチャの前記解像度を削減する比率を削減比率δとして、さらに、前記低解像度ジオメトリの前記データ量Ｇoに前記低解像度テクスチャの前記データ量Ｔoを加算した結果（Ｇo＋Ｔo）が前記実効伝送容量Ｒ以下となり、かつ前記削減比率αが前記削減比率βよりも小さくなるように、前記削減比率α及び前記削減比率βを決定し、前記高解像度テクスチャの前記データ量Ｔi及び前記低解像度テクスチャの前記データ量Ｔoにおける比率Ｔo／Ｔiを算出し、１から前記比率Ｔo／Ｔiを減算し、前記削減比率δを決定し、前記削減比率γが前記削減比率δよりも小さくなるように、予め設定された係数ａ（０≦ａ＜１）を前記削減比率δに乗算し、前記削減比率γを決定する削減比率決定部を備え、前記ジオメトリ変換部が、前記削減比率決定部により決定された前記削減比率αを用いて、前記高解像度ジオメトリにおける前記３次元注目領域の前記頂点を削減すると共に、前記削減比率決定部により決定された前記削減比率βを用いて、前記高解像度ジオメトリにおける前記３次元注目領域を除く前記領域の前記頂点を削減し、前記高解像度ジオメトリを前記低解像度ジオメトリに変換し、前記テクスチャ変換部が、前記削減比率決定部により決定された前記削減比率γを用いて、前記高解像度テクスチャにおける前記テクスチャ注目領域の前記部分テクスチャの前記解像度を削減すると共に、前記削減比率決定部により決定された前記削減比率δを用いて、前記高解像度テクスチャにおける前記テクスチャ注目領域を除く前記領域の前記部分テクスチャの前記解像度を削減し、前記高解像度テクスチャを前記低解像度テクスチャに変換する、ことを特徴とする。
Further, the three-dimensional model data conversion device according to
また、請求項４の３次元モデルデータ変換装置は、３次元コンテンツの高解像度のモデルデータを低解像度のモデルデータに変換する３次元モデルデータ変換装置において、前記高解像度のモデルデータを構成するジオメトリ及びテクスチャを、それぞれ高解像度ジオメトリ及び高解像度テクスチャとして、各頂点の情報からなる前記高解像度ジオメトリ、及び当該高解像度ジオメトリの前記頂点から構成される各面に対応する部分テクスチャをマッピングした前記高解像度テクスチャを、複数角度の視点からレンダリングし、複数の２次元画像を生成するレンダラと、前記レンダラにより生成された前記複数の２次元画像のそれぞれについて、所定の特徴を有する２次元注目領域を検出し、前記複数の２次元画像の前記２次元注目領域を、前記高解像度ジオメトリの３次元注目領域に変換する注目領域検出部と、前記高解像度ジオメトリにおける全体の前記頂点の削減比率に対して、前記注目領域検出部により変換された前記３次元注目領域の前記頂点の削減比率が抑制されるように、前記高解像度ジオメトリにおける前記３次元注目領域の前記頂点を削減すると共に、前記高解像度ジオメトリにおける前記３次元注目領域を除く領域の前記頂点を削減し、前記高解像度ジオメトリを、前記低解像度のモデルデータを構成する低解像度ジオメトリに変換するジオメトリ変換部と、を備えたことを特徴とする。
Further, the 3D model data conversion device according to
また、請求項５の３次元モデルデータ変換装置は、請求項４に記載の３次元モデルデータ変換装置において、前記低解像度のモデルデータが伝送される際の実際に伝送可能な単位時間あたりの最大のデータ量を実効伝送容量Ｒとし、前記低解像度ジオメトリの単位時間あたりのデータ量をデータ量Ｇoとし、前記高解像度テクスチャが低解像度テクスチャとして伝送される場合の当該低解像度テクスチャの単位時間あたりのデータ量をデータ量Ｔoとし、前記３次元注目領域の前記頂点を削減する比率を削減比率αとし、前記高解像度ジオメトリにおける前記３次元注目領域を除く前記領域の前記頂点を削減する比率を削減比率βとして、さらに、前記低解像度ジオメトリの前記データ量Ｇoに前記低解像度テクスチャの前記データ量Ｔoを加算した結果（Ｇo＋Ｔo）が前記実効伝送容量Ｒ以下となり、かつ前記削減比率αが前記削減比率βよりも小さくなるように、前記削減比率α及び前記削減比率βを決定する削減比率決定部を備え、前記ジオメトリ変換部が、前記削減比率決定部により決定された前記削減比率αを用いて、前記高解像度ジオメトリにおける前記３次元注目領域の前記頂点を削減すると共に、前記削減比率決定部により決定された前記削減比率βを用いて、前記高解像度ジオメトリにおける前記３次元注目領域を除く前記領域の前記頂点を削減し、前記高解像度ジオメトリを前記低解像度ジオメトリに変換する、ことを特徴とする。 Further, the three-dimensional model data conversion device according to the fifth aspect is the maximum per unit time that can be actually transmitted when the low-resolution model data is transmitted in the three-dimensional model data conversion device according to the fourth aspect. The amount of data per unit time of the low resolution geometry is defined as the effective transmission capacity R, the amount of data per unit time of the low resolution geometry is defined as the amount of data Go, and the amount of data per unit time of the low resolution texture is transmitted as the low resolution texture. of the amount of data as the amount of data T o, the three-dimensional region of interest ratios to reduce the apex and reduce the ratio α of the ratio to reduce the apex of the region except the three-dimensional region of interest in the high-resolution geometry as reduction ratio beta, further wherein the data amount G o of the low-resolution geometry result of adding the data amount T o of the low-resolution texture (G o + T o) is less than the effective transmission capacity R, and the reduction The reduction ratio determining unit for determining the reduction ratio α and the reduction ratio β is provided so that the ratio α is smaller than the reduction ratio β, and the geometry conversion unit is the reduction determined by the reduction ratio determining unit. The ratio α is used to reduce the vertices of the three-dimensional attention region in the high-resolution geometry, and the reduction ratio β determined by the reduction ratio determination unit is used to reduce the three-dimensional attention in the high-resolution geometry. It is characterized in that the vertices of the region excluding the region are reduced and the high resolution geometry is converted into the low resolution geometry.
また、請求項６の３次元モデルデータ変換装置は、請求項３または５に記載の３次元モデルデータ変換装置において、前記削減比率決定部が、前記削減比率α及び前記削減比率βを決定する際に、前記高解像度ジオメトリの単位時間あたりのデータ量をデータ量Ｇiとし、前記高解像度ジオメトリの全体の頂点群に占める前記３次元注目領域に属する頂点群の比率を頂点群比率ｒとして、式：β≧１−（Ｒ−Ｔo−Ｇiｒ（１−α））／Ｇi（１−ｒ）を満たすように、かつ前記削減比率βが前記削減比率αよりも大きくなるように、前記削減比率α、または前記低解像度テクスチャの前記データ量Ｔo、または前記削減比率α及び前記低解像度テクスチャの前記データ量Ｔoを変化させて、前記削減比率βを求めることで、前記削減比率α及び前記削減比率βを決定する、ことを特徴とする。
Further, in the three-dimensional model data conversion device according to
また、請求項７の３次元モデルデータ変換装置は、請求項１から６までのいずれか一項に記載の３次元モデルデータ変換装置において、前記注目領域検出部が、前記複数の２次元画像のそれぞれについて、予め設定された特徴学習モデルを用いて、前記２次元注目領域、及び当該２次元注目領域における前記所定の特徴を有する度合いを示すスコアを求め、所定の閾値以上の前記スコアを有する前記２次元注目領域を、複数角度の視点との空間的位置関係から前記３次元注目領域に変換する、ことを特徴とする。
Further, in the three-dimensional model data conversion device according to
また、請求項８の３次元モデルデータ変換装置は、３次元コンテンツの高解像度のモデルデータを低解像度のモデルデータに変換する３次元モデルデータ変換装置において、前記高解像度のモデルデータを構成するジオメトリを高解像度ジオメトリとして、各頂点の情報にカラー情報を含む前記高解像度ジオメトリを、複数角度の視点からレンダリングし、複数の２次元画像を生成するレンダラと、前記レンダラにより生成された前記複数の２次元画像のそれぞれについて、所定の特徴を有する２次元注目領域を検出し、前記複数の２次元画像の前記２次元注目領域を、前記高解像度ジオメトリの３次元注目領域に変換する注目領域検出部と、前記高解像度ジオメトリにおける全体の前記頂点の削減比率に対して、前記注目領域検出部により変換された前記３次元注目領域の前記頂点の削減比率が抑制されるように、前記高解像度ジオメトリにおける前記３次元注目領域の前記頂点を削減すると共に、前記高解像度ジオメトリにおける前記３次元注目領域を除く領域の前記頂点を削減し、前記高解像度ジオメトリを、前記低解像度のモデルデータを構成する低解像度ジオメトリに変換するジオメトリ変換部と、を備えたことを特徴とする。
Further, the 3D model data conversion device according to
さらに、請求項９のプログラムは、コンピュータを、請求項１から８までのいずれか一項に記載の３次元モデルデータ変換装置として機能させることを特徴とする。
Further, the program of
以上のように、本発明によれば、主観的な視覚品質が低下しないように、３次元モデルデータのデータ量を削減することができる。 As described above, according to the present invention, the amount of three-dimensional model data can be reduced so that the subjective visual quality is not deteriorated.
以下、本発明を実施するための形態について図面を用いて詳細に説明する。
〔３次元映像伝送システム〕
まず、３次元映像伝送システムについて説明する。図１は、３次元映像伝送システムの全体構成例を示す概略図である。この３次元映像伝送システム１は、人物等の被写体から３次元モデルデータを制作し、制作された３次元コンテンツの高解像度のモデルデータを低解像度のモデルデータに変換して視聴者の端末へ伝送するシステムであり、制作処理装置９、送信処理装置３及び受信端末７を備えて構成される。
Hereinafter, embodiments for carrying out the present invention will be described in detail with reference to the drawings.
[3D video transmission system]
First, a three-dimensional video transmission system will be described. FIG. 1 is a schematic view showing an overall configuration example of a three-dimensional video transmission system. This 3D
制作処理装置９は、複数のカメラ２及び３次元モデルデータ生成部４を備えている。送信処理装置３は、３次元モデルデータ変換部（３次元モデルデータ変換装置）５及び配信装置６を備えている。伝送路８が配信装置６から受信端末７への片方向の通路である場合、受信端末７は、配信装置６から送信されたデータを、伝送路８を介して受信する。また、伝送路８が配信装置６と受信端末７との間における両方向の通路である場合、受信端末７は、配信装置６から送信されたデータを、伝送路８を介して受信し、配信装置６は、受信端末７から送信されたデータを、伝送路８を介して受信する。
The
図１に示す３次元映像伝送システム１は、人物の３次元モデルデータの制作から受信までの全体の処理ブロック図を示している。
The 3D
３次元モデルデータ生成部４は、複数のカメラ２のそれぞれにより撮影された人物の２次元の画像データを入力する。そして、３次元モデルデータ生成部４は、複数の２次元の画像データに基づいて、高解像度のモデルデータを構成する高解像度ジオメトリ及び高解像度テクスチャからなるコンテンツデータを生成する。このように実写画像から３次元モデルデータを生成する処理は、一般にフォトグラメトリと呼ばれる。
The three-dimensional model
具体的には、３次元モデルデータ生成部４は、複数の２次元の画像データに基づいて、３次元モデルデータの各頂点についての３次元座標（ＸＹＺ座標）及び法線ベクトル等からなる、ＵＶ座標を含まないジオメトリを生成する。そして、３次元モデルデータ生成部４は、ＵＶ座標を含まないジオメトリから３角形の各面に対応する部分テクスチャを抽出し、部分テクスチャをＵＶ座標により矩形画像へマッピングする。３次元モデルデータ生成部４は、ＵＶ座標を含むジオメトリである高解像度ジオメトリ、及び高解像度テクスチャからなるコンテンツデータを生成する。
Specifically, the 3D model
３次元モデルデータ生成部４は、高解像度ジオメトリ及び高解像度テクスチャからなるコンテンツデータを、プロダクション過程（制作過程）の出力データとして３次元モデルデータ変換部５に出力する。３次元モデルデータ生成部４と３次元モデルデータ変換部５との間の３次元モデルデータの受け渡しは、図示しない記録装置または伝送装置を介して行われるようにしてもよい。
The three-dimensional model
一般に、プロダクション過程の出力データであるコンテンツデータは、主観的及び定量的にできる限り高い品質を保持したデータとして生成される。３次元モデルデータ生成部４は、前述のとおり、コンテンツデータを生成するプロダクション過程の装置である。後段の配信装置６及び受信端末７は、コンテンツデータを配信装置６から伝送路８を介して受信端末７へ届けるデリバリー過程（伝送・配信過程）の装置である。
In general, content data, which is output data of a production process, is generated as data that maintains the highest possible quality subjectively and quantitatively. As described above, the three-dimensional model
ここで、伝送路８には、使用されている伝送方式及びパラメータによる理論的な上限帯域があり、さらに、当該伝送路８の品質または輻輳状態により実用可能な帯域に制約が生じる。実用可能な伝送帯域に応じて、コンテンツデータのデータサイズを調整するためには、高解像度ジオメトリ及び高解像度テクスチャを、伝送に適したデータ量の低解像度ジオメトリ及び低解像度テクスチャに変換する必要がある。本発明の実施形態では、このような変換を行うことで、主観的な視覚品質をできるだけ保ちながら、定量的なデータ量を削減する。
Here, the
３次元モデルデータ変換部５は、３次元モデルデータ生成部４から高解像度ジオメトリ及び高解像度テクスチャを入力すると共に、配信装置６から実効伝送帯域情報を入力し、さらに、図示しない学習装置からニューラルネットワーク等の特徴学習モデルのデータを入力する。実効伝送帯域情報は、伝送路８においてデータを伝送可能な帯域を示す情報である。特徴学習モデルは、図示しない学習装置により生成され、予め設定されたデータとして入力される。例えば、人物の顔領域を検出するための特徴学習モデルは、事前に教師データとして様々な人物の顔写真と、顔写真ではない写真を、正解ラベルを付けてニューラルネットワーク等に読み込ませることによって訓練された学習モデルである。
The 3D model
３次元モデルデータ変換部５は、特徴学習モデルを用いて、高解像度ジオメトリ及び高解像度テクスチャにおける３次元モデルデータの注目領域を特定する。そして、３次元モデルデータ変換部５は、高解像度ジオメトリのデータ量及び高解像度テクスチャのデータ量が実効伝送帯域情報の示す帯域の容量以下に減少するように、注目領域及び注目領域外（高解像度ジオメトリの全領域のうち注目領域を除く領域）のそれぞれについて、高解像度のモデルデータを構成する高解像度ジオメトリ及び高解像度テクスチャを、低解像度のモデルデータを構成する低解像度ジオメトリ及び低解像度テクスチャに変換する。
The 3D model
３次元モデルデータ変換部５は、低解像度ジオメトリ及び低解像度テクスチャを配信装置６に出力する。３次元モデルデータ変換部５の詳細については後述する。
The three-dimensional model
配信装置６は、３次元モデルデータ変換部５から低解像度ジオメトリ及び低解像度テクスチャを入力し、これらのデータを伝送用のパケット等に格納して、伝送路８を介して受信端末７へ送信する。例えば、配信装置６は、低解像度ジオメトリ及び低解像度テクスチャをＩＰ（Internet Protocol）パケットに格納し、ＩＰパケットを、インターネット回線を介して送信する。
The
また、配信装置６は、例えば図示しない伝送路監視装置から実効伝送帯域情報を入力し、これを３次元モデルデータ変換部５に出力する。図示しない伝送路監視装置は、テストデータを送受信する等して、伝送路８の帯域を監視し、配信装置６から受信端末７へデータが伝送される際の伝送可能な帯域を測定する。伝送路監視装置は、例えば、配信装置６から受信端末７へデータが伝送される際の実際に伝送可能な単位時間あたりの最大のデータ量を実効伝送容量Ｒとして測定し、これを含む実効伝送帯域情報を生成し、実効伝送帯域情報を配信装置６へ出力する。
Further, the
尚、伝送路８が配信装置６と受信端末７との間における一対一の両方向の通路である場合、配信装置６は、受信端末７から受信状況に関する情報（例えば、パケットの正受信率、ジッタの程度を表すデータ）を受信するようにしてもよい。この場合、配信装置６は、受信状況に関する情報に基づいて、単位時間あたりの実効伝送容量Ｒを算出し、これを含む実効伝送帯域情報を生成する。
When the
また、配信装置６が常に一定のビットレートで伝送路８に対してデータを送信する装置である場合には、配信装置６に実効伝送容量Ｒが予め設定されている場合もあり得る。この場合、配信装置６は、予め設定された一定値の実効伝送容量Ｒを含む実効伝送帯域情報を３次元モデルデータ変換部５に出力する。例えば、放送用の送信装置がこのような場合に該当する。
Further, when the
また、配信装置６は、当該配信装置６に備えた出力バッファの残量を反映させた動的な実効伝送容量Ｒを求め、これを含む実効伝送帯域情報を出力するようにしてもよい。つまり、配信装置６は、出力バッファに余裕がある場合には実効伝送容量Ｒを大きな値に設定し、出力バッファに余裕がない場合には実効伝送容量Ｒを小さな値に設定し、実効伝送帯域情報を出力する。このような制御により、配信装置６に備えた出力バッファのオーバーフローを防ぐと共に、伝送帯域の空きを削減し伝送効率を向上することができる。
Further, the
受信端末７は、配信装置６から伝送路８を介して低解像度ジオメトリ及び低解像度テクスチャを受信する。そして、受信端末７は、時系列の低解像度ジオメトリ及び低解像度テクスチャを連続再生し、被写体である人物等の３次元の動きをＡＲまたはＶＲにて空間的に提示する。これにより、視聴者は、被写体である人物等を自由な視点から見ることができる。
The receiving
尚、３次元モデルデータ変換部５と配信装置６の間には、図示しないデータ圧縮装置が存在してもよい。データ圧縮装置は、例えばジオメトリの量子化処理、テクスチャの不可逆圧縮処理等の既知の手法によるデータサイズの削減を行う。ジオメトリの量子化の例として、３２ビット浮動小数点データから１６ビット浮動小数点への量子化等、ジオメトリの不可逆圧縮の例として、ＪＰＥＧ形式での圧縮符号化等が挙げられる。このような場合には、伝送路８の実際の実効伝送容量に対してデータ圧縮装置による削減率を加味した値を実効伝送容量Ｒとし、配信装置６が３次元モデルデータ変換部５に出力してもよい。例えば、伝送路８の実際の実効伝送容量が１００Ｍｂｐｓである場合、データ圧縮装置による圧縮率が１／２であれば、実効伝送容量Ｒ＝２００Ｍｂｐｓとなる。
A data compression device (not shown) may exist between the three-dimensional model
〔３次元モデルデータ変換部５〕
次に、図１に示した３次元モデルデータ変換部５について詳細に説明する。図２は、本発明の実施形態による３次元モデルデータ変換部５の構成例を示すブロック図である。この３次元モデルデータ変換部５は、レンダラ１０、注目領域検出部１１、ジオメトリ変換部１２、テクスチャ変換部１３、データ量計測部１４及び削減比率決定部１５を備えている。
[3D model data conversion unit 5]
Next, the three-dimensional model
（レンダラ１０）
レンダラ１０は、３次元モデルデータ生成部４から高解像度ジオメトリ及び高解像度テクスチャを入力する。そして、レンダラ１０は、高解像度ジオメトリ及び高解像度テクスチャを用いて、全周囲の複数角度の視点からレンダリングし、複数の２次元画像を生成する。高解像度ジオメトリ及び高解像度テクスチャを用いてレンダリングし、２次元画像を生成する処理は既知であるため、ここでは説明を省略する。レンダラ１０は、生成した複数の２次元画像である２次元画像群を注目領域検出部１１に出力する。
(Renderer 10)
The
高解像度ジオメトリは、前述のとおり、３次元モデルデータの各頂点について、３次元座標（ＸＹＺ座標）、法線ベクトル、テクスチャのマッピングに使用する２次元座標（ＵＶ座標）等が記述されている。後述する低解像度ジオメトリも同様である。 As described above, the high-resolution geometry describes the three-dimensional coordinates (XYZ coordinates), the normal vector, the two-dimensional coordinates (UV coordinates) used for texture mapping, and the like for each vertex of the three-dimensional model data. The same applies to the low resolution geometry described later.
高解像度テクスチャは、前述のとおり、高解像度ジオメトリの多面体の各面に対応する部分テクスチャを２次元の矩形領域内にマッピングした、高解像度ジオメトリの各面の柄を定める矩形画像である。後述する低解像度テクスチャも同様に、低解像度ジオメトリの多面体の各面に対応する部分テクスチャを２次元の矩形領域内にマッピングした、低解像度ジオメトリの各面の柄を定める矩形画像である。 As described above, the high-resolution texture is a rectangular image that defines the pattern of each face of the high-resolution geometry by mapping the partial texture corresponding to each face of the polyhedron of the high-resolution geometry within the two-dimensional rectangular area. Similarly, the low-resolution texture described later is a rectangular image that defines the pattern of each face of the low-resolution geometry by mapping the partial texture corresponding to each face of the polyhedron of the low-resolution geometry within the two-dimensional rectangular area.
図３は、人物の３次元モデルデータにおいて、レンダラ１０により生成された２次元画像群の例、及び注目領域検出部１１により検出された２次元注目領域の例を説明する図である。図３に示す人物の２次元画像は、所定の高解像度ジオメトリ及び高解像度テクスチャに対し、被写体の重心の周りを取り囲む３０度毎の視点位置ｓ１，ｓ２，・・・，ｓ１２からレンダリングすることにより得られた１２個の画像群である。レンダリング手法としては、例えば、視点位置から被写体の重心方向を向く並行投影が使用される。
FIG. 3 is a diagram illustrating an example of a two-dimensional image group generated by the
例えば視点位置ｓ１の２次元画像は、人物を後ろの所定位置からレンダリングすることにより得られた画像であり、視点位置ｓ７の２次元画像は、人物を正前の所定位置からレンダリングすることにより得られた画像である。このように、レンダラ１０により、図３に示す２次元画像群が生成される。尚、被写体の人物は動くため、注目領域が検出される視点は、時間方向の各フレームによって変化し得る。
For example, the two-dimensional image at the viewpoint position s1 is an image obtained by rendering a person from a predetermined position behind, and the two-dimensional image at the viewpoint position s7 is obtained by rendering the person from a predetermined position in front of the person. It is a rendered image. In this way, the
（注目領域検出部１１）
図２に戻って、注目領域検出部１１は、事前に、図示しない学習装置から特徴学習モデルのデータを入力する。
(Attention area detection unit 11)
Returning to FIG. 2, the attention
図示しない学習装置は、２次元画像を入力データとし、所定の特徴との適合度合いを示すスコアを出力データとする学習モデルに対し、所定の特徴を有する複数の２次元画像と所定の特徴を有しない複数の２次元画像、及び各２次元画像が所定の特徴を有するかどうかを示す正解ラベルを教師データとして与えることで、学習モデルを訓練する装置である。学習装置は、訓練した学習モデルを特徴学習モデルのデータとして出力する。学習モデルとしては、例えばニューラルネットワークが用いられる。ニューラルネットワークによる特徴学習モデルのデータは、例えば、学習モデルのネットワーク構造を定義するデータと、各ネットワークノードの重み係数等を記述したデータからなる。 A learning device (not shown) has a plurality of two-dimensional images having predetermined features and predetermined features with respect to a learning model in which a two-dimensional image is used as input data and a score indicating the degree of conformity with a predetermined feature is used as output data. It is a device that trains a learning model by giving as teacher data a plurality of two-dimensional images and correct answer labels indicating whether or not each two-dimensional image has a predetermined feature. The learning device outputs the trained learning model as data of the feature learning model. As the learning model, for example, a neural network is used. The data of the feature learning model by the neural network is composed of, for example, data that defines the network structure of the learning model and data that describes the weighting coefficient of each network node.
注目領域検出部１１は、特徴学習モデルを用いることにより、レンダリングされた２次元画像から、所定の特徴を有する２次元注目領域及びスコアを得る。スコアは、２次元注目領域の特徴度合いを示すデータであり、スコアが高いほど、当該２次元注目領域は所定の特徴を有している度合いが高いことを示し、スコアが低いほど、当該２次元注目領域は所定の特徴を有している度合いが低いことを示している。尚、特徴学習モデルが特定の解像度（例えば、教師データと同じ解像度）の２次元画像のみを入力とする場合には、注目領域検出部１１は、注目領域検出処理において、レンダリング画像の一部を特定の解像度に切り出してスコアを求める処理を繰り返すことで、２次元注目領域を探索してもよい。
The attention
特徴学習モデルは、コンテンツ（番組）及びシーン（カット）に合わせて事前に制作され、コンテンツに紐づいたメタデータ等によって関連付けられてもよい。この場合、学習モデル及びメタデータは、コンテンツの完成データの一部として扱ってもよい。また、代表的な特徴学習モデルは、注目領域検出部１１において汎用的なモデルとして事前に用意されていてもよい。この場合、特徴学習モデルはコンテンツの完成データの一部には含まれず、コンテンツのメタデータにより、汎用的な特徴学習モデルが指定される。
The feature learning model may be created in advance according to the content (program) and the scene (cut), and may be associated with metadata or the like associated with the content. In this case, the learning model and metadata may be treated as part of the completed content data. Further, a typical feature learning model may be prepared in advance as a general-purpose model in the region of
注目領域検出部１１は、与えられた特徴学習モデルを用いて、２次元画像群のそれぞれに対し注目領域検出処理を行い、最も注目部位らしい領域を、２次元画像の注目領域として検出する。そして、注目領域検出部１１は、２次元画像の注目領域である２次元注目領域を、高解像度ジオメトリの注目領域である３次元注目領域に変換し、３次元注目領域に関する情報を３次元注目領域情報としてジオメトリ変換部１２及び削減比率決定部１５に出力する。
The attention
図４は、注目領域検出部１１の処理例を示すフローチャートである。注目領域検出部１１は、制作者が意図する注目領域が変更されるコンテンツ先頭またはシーン先頭のタイミングで、図示しない学習装置から特徴学習モデルを入力する。この処理は、後述するステップＳ４０１〜Ｓ４０５の事前処理として行われる。注目領域検出部１１は、レンダラ１０から、フレーム毎に２次元画像群を入力する（ステップＳ４０１）。
FIG. 4 is a flowchart showing a processing example of the region of
注目領域検出部１１は、特徴学習モデルを用いて、複数視点の２次元画像毎に、２次元注目領域及びスコアを求める（ステップＳ４０２）。具体的には、注目領域検出部１１は、特徴学習モデルを用いて、２次元画像を入力データとして演算を行い、２次元画像から特徴部分が抽出された２次元注目領域、及び当該２次元注目領域のスコアを求める。
The attention
注目領域検出部１１は、所定の閾値以上のスコアを有する２次元注目領域を検出する（ステップＳ４０３）。所定の閾値として、例えば予め設定された値が用いられる。
The attention
図３に示した例において、２次元注目領域を、人物の顔の特徴を有する領域とする。視点位置ｓ１の２次元画像における２次元注目領域（図示せず）及びそのスコアをＳｃ＝０とし、視点位置ｓ２の２次元画像における２次元注目領域（図示せず）及びそのスコアをＳｃ＝５とし、・・・、視点位置ｓ６の２次元画像における２次元注目領域（点線の四角の枠内）及びそのスコアをＳｃ＝５０とし、視点位置ｓ７の２次元画像における２次元注目領域（点線の四角の枠内）及びそのスコアをＳｃ＝９９とし、視点位置ｓ８の２次元画像における２次元注目領域（点線の四角の枠内）及びそのスコアをＳｃ＝５０とし、・・・、視点位置ｓ１２の２次元画像における２次元注目領域（図示せず）及びそのスコアをＳｃ＝５とする。 In the example shown in FIG. 3, the two-dimensional attention region is defined as a region having the characteristics of a person's face. The two-dimensional attention area (not shown) and its score in the two-dimensional image at the viewpoint position s1 are set to Sc = 0, and the two-dimensional attention area (not shown) and its score in the two-dimensional image at the viewpoint position s2 are set to Sc = 5. Then, the two-dimensional attention area (within the frame of the dotted square) in the two-dimensional image at the viewpoint position s6 and its score are set to Sc = 50, and the two-dimensional attention area (dotted line) in the two-dimensional image at the viewpoint position s7. (Inside the square frame) and its score are set to Sc = 99, and the two-dimensional attention area (inside the dotted square frame) and its score in the two-dimensional image at the viewpoint position s8 are set to Sc = 50, ..., Viewpoint position s12 Let Sc = 5 be the two-dimensional attention area (not shown) and its score in the two-dimensional image of.
注目領域検出部１１により、視点位置ｓ１〜ｓ１２の２次元画像のそれぞれについて、図３に示したスコアＳｃ及び２次元注目領域が求められる。尚、図３には、視点位置ｓ６〜ｓ８の２次元画像における２次元注目領域が点線の四角の枠で示しており、視点位置ｓ１〜ｓ５，ｓ９〜ｓ１２の２次元画像における２次元注目領域は省略してある。
The attention
そして、注目領域検出部１１により、スコアＳｃが所定の閾値＝５０以上の２次元注目領域が検出される。図３の例では、点線の四角の枠で示した、視点位置ｓ６〜ｓ８の２次元画像におけるそれぞれの２次元注目領域が検出される。
Then, the attention
図４に戻って、注目領域検出部１１は、検出した２次元注目領域（図３の例では、視点位置ｓ６〜ｓ８の２次元画像におけるそれぞれの２次元注目領域）を、３次元注目領域に変換する（ステップＳ４０４）。３次元注目領域は、高解像度ジオメトリにおいて、２次元注目領域が検出された複数の２次元画像とそれをレンダリングしたときの視点位置との間の空間的位置関係を用いて求められ、２次元注目領域に対応する頂点群を含む領域を示す。
Returning to FIG. 4, the attention
具体的には、レンダラ１０において並行投影によるレンダリングが行われ、複数の２次元画像が生成された場合に、注目領域検出部１１は、２次元画像群の中で２次元注目領域が検出された各画像について、２次元注目領域の中心を通り、視点位置と被写体の重心とを結ぶ直線に平行な直線を、３次元空間内に配置する。並行投影によるレンダリングでは、２次元から３次元への変換において、このような直線は１つに特定することができる。
Specifically, when rendering is performed by parallel projection in the
注目領域検出部１１は、この処理を、２次元注目領域が検出された視点位置ｓ６〜ｓ８の２次元画像について繰り返すことで、これらの直線が３次元空間内のある点において交わる場合、その交点を求めるか、または完全に交わらない場合であっても、その近い位置で交点を求める。注目領域検出部１１は、この交点を、３次元注目領域の中心点に設定し、中心点からの半径を、２次元注目領域の大きさに基づいて決定する。
The attention
注目領域検出部１１は、ステップＳ４０４にて変換した３次元注目領域を示す情報を３次元注目領域情報（例えば、中心点の座標（中心座標）及び半径）としてジオメトリ変換部１２に出力する（ステップＳ４０５）。
The attention
尚、図３の例では、注目領域検出部１１は、人物の周りを３０度毎の視点位置ｓ１，ｓ２，・・・，ｓ１２からレンダリングして得られた１２個の２次元画像群を用いて、２次元注目領域を特定し、これを３次元注目領域に変換するようにした。
In the example of FIG. 3, the attention
これに対し、注目領域検出部１１は、例えば１回目の試行で、スコアＳｃが所定値を超える最も顔らしい領域を１つの２次元画像のみから検出した場合、その視点を中心に、周辺角度で徐々に角度分解能を上げて同様の試行を行い、注目部位検出の精度を上げるようにしてもよい。また、注目領域検出部１１は、スコアＳｃが所定値を超える領域を全ての２次元画像から検出できなかった場合、最もスコアＳｃの高い領域を検出した２次元画像の視点を中心に、周辺角度で徐々に角度分解能を上げて同様の試行を行い、注目部位検出の精度を上げるようにしてもよい。
On the other hand, when the region of
具体的には、レンダラ１０は、所定の視点位置におけるレンダリングにより、２次元画像を生成する。注目領域検出部１１は、レンダラ１０から２次元画像を入力し、当該２次元画像について、１つの視点の２次元画像のみから、２次元注目領域の要件である所定値（例えば５０）以上のスコアＳｃを得ることができたものとする。しかし、２次元注目領域を３次元注目領域に変換するためには、最低２つの視点の２次元画像における２次元注目領域を検出する必要がある。
Specifically, the
この場合、注目領域検出部１１は、当該スコアＳｃの２次元注目領域を最も顔らしい領域として視点位置の角度を特定し、当該角度を中心角度としてレンダラ１０に出力する。レンダラ１０は、注目領域検出部１１から中心角度を入力し、中心角度を基準とした所定の周辺角度について角度分解能を上げて、レンダリングにより２次元画像群を生成する。そして、注目領域検出部１１は、レンダラ１０から２次元画像群を入力し、前述の処理を行い、複数の視点から２次元注目領域を特定し、これを３次元注目領域に変換する。
In this case, the attention
尚、所定回数だけ上記の試行を繰り返しても、２次元注目領域が２以上の視点の２次元画像から検出されなかった場合には、予め設定された２次元注目領域の要件である所定値に対応する３次元注目領域が存在しないと判断してよい。 If the two-dimensional attention region is not detected from the two-dimensional images of two or more viewpoints even after repeating the above trial a predetermined number of times, the predetermined value, which is a requirement of the preset two-dimensional attention region, is obtained. It may be determined that the corresponding 3D region of interest does not exist.
（ジオメトリ変換部１２）
図２に戻って、ジオメトリ変換部１２は、３次元モデルデータ生成部４から高解像度ジオメトリを入力すると共に、注目領域検出部１１から３次元注目領域情報を入力する。また、ジオメトリ変換部１２は、削減比率決定部１５から注目領域（ここでは３次元注目領域）の削減比率α及び注目領域外（高解像度ジオメトリの全領域のうち注目領域を除く領域）の削減比率βを入力する。
(Geometry conversion unit 12)
Returning to FIG. 2, the
ジオメトリ変換部１２は、高解像度ジオメトリの全体の頂点数削減の比率に対して、高解像度ジオメトリの全領域のうちの３次元注目領域情報の示す３次元注目領域の頂点数削減の比率が抑制されるように（３次元注目領域の頂点数削減の比率が全体よりも低くなるように）、３次元注目領域の頂点を削減比率αにて削減すると共に、３次元注目領域以外の領域の頂点を削減比率βにて削減し、高解像度ジオメトリを低解像度ジオメトリに変換する。
The
ここで、頂点数削減の比率は、頂点数を削減する度合いを示し、頂点数削減の比率を抑制するとは、頂点数を削減する度合いを低くする（さほど削減しない）ことを意味する。頂点数削減の比率は、後述する削減比率α，βに相当する。 Here, the ratio of reducing the number of vertices indicates the degree of reducing the number of vertices, and suppressing the ratio of reducing the number of vertices means reducing the degree of reducing the number of vertices (not so much). The ratio of reducing the number of vertices corresponds to the reduction ratios α and β described later.
ジオメトリ変換部１２は、低解像度ジオメトリをテクスチャ変換部１３に出力すると共に、配信装置６に出力する。また、ジオメトリ変換部１２は、注目領域検出部１１から入力した３次元注目領域情報をテクスチャ変換部１３に出力する。
The
低解像度ジオメトリは、高解像度ジオメトリと同様に、各頂点について、３次元座標（ＸＹＺ座標）、法線ベクトル、テクスチャのマッピングに使用する２次元座標（ＵＶ座標）、及び、各面について面を構成する頂点の番号のセットが記述された情報である。ここで、ジオメトリ変換部１２は、高解像度ジオメトリを低解像度ジオメトリに変換する際に、高解像度ジオメトリから所定の頂点が削減された低解像度ジオメトリの各面について、残存する面を構成する頂点の番号のセットを再構成する。例えば、隣接する４つの三角形の面が１つの頂点を共有しており、頂点数削減によりその共有した頂点が削除された場合、隣接する４つの三角形の面の数は２つに削減され、残存する２つの三角形の面についても、面を構成する頂点の番号のセットが変更される。
The low resolution geometry, like the high resolution geometry, constitutes 3D coordinates (XYZ coordinates), normal vectors, 2D coordinates (UV coordinates) used for texture mapping, and faces for each face for each vertex. This is the information that describes the set of the number of the vertices to be used. Here, when the
尚、ジオメトリ変換部１２は、高解像度ジオメトリの３次元注目領域の頂点を、削減比率αにて削減する際に、３次元注目領域内の全ての頂点を対象として、一様に（均一に）削減するようにしてもよい。また、ジオメトリ変換部１２は、３次元注目領域において、エッジ部分等の高周波成分の多い領域については削減比率をαよりも低くし、高周波成分の多い領域以外については削減比率をαよりも高くすることで、高解像度ジオメトリの３次元注目領域の頂点を、全体として削減比率αにて削減するようにしてもよい。これにより、さらに低解像度ジオメトリのディテールを残すことができる。ジオメトリ変換部１２が、高解像度ジオメトリの３次元注目領域以外の領域について、その頂点を削減比率βにて削減する場合も同様である。
When the
図５（１）は、高解像度ジオメトリの例を示す図である。図５（２）は、従来技術による低解像度ジオメトリの例を示す図であり、高解像度ジオメトリに対して一様に頂点を削減した場合の例である。図５（３）は、本発明の実施形態による低解像度ジオメトリの例を示す図であり、高解像度ジオメトリに対して３次元注目領域の頂点数の削減比率を抑制した場合の例である。図５（１）は頂点のみを示しているが、図５（２）（３）は、頂点に加え、面を表すための頂点間の線も示している。 FIG. 5 (1) is a diagram showing an example of high resolution geometry. FIG. 5 (2) is a diagram showing an example of low-resolution geometry according to the prior art, and is an example in which the vertices are uniformly reduced with respect to the high-resolution geometry. FIG. 5 (3) is a diagram showing an example of low-resolution geometry according to the embodiment of the present invention, and is an example in which the reduction ratio of the number of vertices in the three-dimensional attention region is suppressed with respect to the high-resolution geometry. Although FIG. 5 (1) shows only vertices, FIGS. 5 (2) and (3) show lines between vertices to represent faces in addition to vertices.
従来技術では、高解像度ジオメトリに対して一様に頂点が削減されることから、図５（２）のとおり、低解像度ジオメトリの頂点は、全体として一様に分布している。 In the prior art, the vertices of the low-resolution geometry are uniformly reduced with respect to the high-resolution geometry. Therefore, as shown in FIG. 5 (2), the vertices of the low-resolution geometry are uniformly distributed as a whole.
これに対し、本発明の実施形態では、ジオメトリ変換部１２により、高解像度ジオメトリの全体の頂点数削減の比率に対して、３次元注目領域の頂点数削減の比率が抑制されるように、高解像度ジオメトリが低解像度ジオメトリに変換される。このため、図５（３）のとおり、低解像度ジオメトリにおける顔領域である３次元注目領域の頂点は、３次元注目領域外よりも高い密度で分布している。
On the other hand, in the embodiment of the present invention, the
（テクスチャ変換部１３）
図２に戻って、テクスチャ変換部１３は、３次元モデルデータ生成部４から高解像度ジオメトリ及び高解像度テクスチャを入力すると共に、ジオメトリ変換部１２から低解像度ジオメトリを入力し、さらに、ジオメトリ変換部１２から３次元注目領域情報を入力する。また、テクスチャ変換部１３は、削減比率決定部１５から注目領域（ここではテクスチャ注目領域）の削減比率γ及び注目領域外（高解像度テクスチャの全領域のうちテクスチャ注目領域を除く領域）の削減比率δを入力する。
(Texture conversion unit 13)
Returning to FIG. 2, the
テクスチャ変換部１３は、高解像度ジオメトリ（及び低解像度ジオメトリ）の注目領域である３次元注目領域を、高解像度テクスチャの注目領域であるテクスチャ注目領域に変換する。高解像度テクスチャの全領域のうちテクスチャ注目領域以外の領域（テクスチャ注目領域を除く領域）を、テクスチャ注目領域外とする。
The
具体的には、テクスチャ変換部１３は、高解像度ジオメトリの全領域のうち、３次元注目領域情報の示す３次元注目領域の頂点群を注目頂点群とし、それ以外の領域の頂点群を注目外頂点群とする。そして、テクスチャ変換部１３は、高解像度ジオメトリの注目頂点群についてそれぞれ関連付けられているＵＶの２次元座標の領域を、テクスチャ注目領域に設定する。すなわち、テクスチャ注目領域とは、注目頂点群に属する頂点により構成される面の各柄を決めている部分テクスチャの集合領域である。また、テクスチャ変換部１３は、注目外頂点群についてそれぞれ記述されているＵＶの２次元座標の領域を、テクスチャ注目領域外に設定する。
Specifically, the
テクスチャ変換部１３は、高解像度テクスチャの全体の縮小率（解像度の削減度合い）に対して、高解像度テクスチャの全領域のうちのテクスチャ注目領域の部分テクスチャの縮小率が抑制されるように、テクスチャ注目領域の部分テクスチャを低解像テクスチャへマッピングする際の解像度を削減比率γにて削減すると共に、テクスチャ注目領域外の部分テクスチャの解像度を削減比率δにて削減する。これにより、テクスチャ注目領域及びテクスチャ注目領域外のそれぞれについて、縮小された部分テクスチャの集合が得られる。
The
ここで、縮小率が抑制されるとは、縮小する度合いを低くする（さほど縮小しない）ことを意味する。縮小率である解像度の削減度合いは、後述する削減比率γ，δに相当する。 Here, suppressing the reduction ratio means reducing the degree of reduction (not so much reduction). The degree of reduction in resolution, which is the reduction rate, corresponds to the reduction ratios γ and δ, which will be described later.
そして、テクスチャ変換部１３は、解像度が削減されたテクスチャ注目領域の（縮小された）部分テクスチャ及びテクスチャ注目領域外の（縮小された）部分テクスチャについて、低解像度の矩形画像への再マッピングを行い、低解像度テクスチャを生成することで、高解像度テクスチャを低解像度テクスチャに変換する。この場合、テクスチャ変換部１３は、この再マッピングに伴い、ジオメトリ変換部１２から入力した低解像度ジオメトリに含まれる各頂点のＵＶ座標を、低解像度テクスチャに対応するように変更し、再マッピング後の低解像度ジオメトリを生成する。
Then, the
テクスチャ変換部１３は、低解像度ジオメトリ（再マッピング後の低解像度ジオメトリ）及び低解像度テクスチャを配信装置６に出力する。
The
尚、テクスチャ変換部１３は、低解像度テクスチャへの再マッピングの際に、当該低解像度テクスチャの規定のサイズ（解像度）の矩形画像の中に、全ての部分テクスチャを収めることができない場合があり得る。この場合、テクスチャ変換部１３は、高解像度テクスチャよりも小さく、かつ低解像度テクスチャよりも大きいサイズの中間解像度の矩形画像に再マッピングし、当該中間解像度の矩形画像の全体を低解像度テクスチャの規定のサイズに縮小する。中間解像度の矩形画像から低解像度テクスチャへ変換する際の縮小率は、テクスチャ注目領域及びテクスチャ注目領域外を問わず一定とする（ＵＶマップは変更されない）。
When re-mapping to a low-resolution texture, the
図６（１）は、高解像度テクスチャの例を示す図である。図６（２）は、従来技術による低解像度テクスチャの例を示す図であり、高解像度テクスチャに対して一様に解像度を削減した場合の例である。図６（３）は、本発明の実施形態による低解像度テクスチャの例を示す図であり、高解像度テクスチャに対してテクスチャ注目領域の縮小率を抑制した場合の例である。 FIG. 6 (1) is a diagram showing an example of a high resolution texture. FIG. 6 (2) is a diagram showing an example of a low-resolution texture according to the prior art, and is an example in which the resolution is uniformly reduced with respect to the high-resolution texture. FIG. 6 (3) is a diagram showing an example of a low-resolution texture according to the embodiment of the present invention, and is an example in which the reduction ratio of the texture attention region is suppressed with respect to the high-resolution texture.
図６（１）〜（３）のテクスチャの座標は、ＵＶ座標系で表される。このＵＶ座標は、高解像度ジオメトリ及び低解像度ジオメトリを構成する各面の部分テクスチャが矩形画像であるテクスチャにマッピングされた状態を示す２次元座標であり、ジオメトリの各頂点がＵＶ座標を保持する。 The coordinates of the textures in FIGS. 6 (1) to 6 (3) are represented by the UV coordinate system. The UV coordinates are two-dimensional coordinates indicating a state in which the partial textures of the faces constituting the high-resolution geometry and the low-resolution geometry are mapped to the texture which is a rectangular image, and each vertex of the geometry holds the UV coordinates.
従来技術では、高解像度テクスチャに対して一様に解像度が削減されることから、図６（２）のとおり、低解像度テクスチャの解像度は、全体として同じである。 In the prior art, the resolution is uniformly reduced with respect to the high resolution texture, so that the resolution of the low resolution texture is the same as a whole as shown in FIG. 6 (2).
これに対し、本発明の実施形態では、テクスチャ変換部１３により、高解像度テクスチャの全体領域の縮小率に対して、テクスチャ注目領域の部分テクスチャの縮小率が抑制されるように、高解像度テクスチャが低解像度テクスチャに変換される。このため、図６（３）のとおり、低解像度テクスチャにおける顔領域であるテクスチャ注目領域の解像度は、テクスチャ注目領域外よりも高い。つまり、テクスチャ注目領域の縮小率は全体に対して抑制される。
On the other hand, in the embodiment of the present invention, the
（データ量計測部１４）
図２に戻って、データ量計測部１４は、３次元モデルデータ生成部４から高解像度ジオメトリ及び高解像度テクスチャを入力する。高解像度ジオメトリ及び高解像度テクスチャがファイルシステム上で管理されている場合等、ファイルサイズを参照できる場合には、データ量計測部１４は、データ本体ではなく、ファイルサイズのみの情報をファイルシステムから入力してよい。
(Data amount measurement unit 14)
Returning to FIG. 2, the data amount
ここで、３次元モデルデータ変換部５が３次元モデルデータ生成部４から入力する高解像度ジオメトリ及び高解像度テクスチャについて、単位時間あたりの最大データ量をＬとする。また、高解像度ジオメトリの単位時間あたりのデータ量をＧiとし、高解像度テクスチャの単位時間あたりのデータ量をＴiとする。つまり、Ｌ＝Ｇi＋Ｔiである。
Here, let L be the maximum amount of data per unit time for the high-resolution geometry and high-resolution texture input by the 3D model
データ量計測部１４は、入力した高解像度ジオメトリの単位時間あたりのデータ量Ｇiを計測すると共に、入力した高解像度テクスチャの単位時間あたりのデータ量Ｔiを計測する。そして、データ量計測部１４は、データ量Ｇi，Ｔiを削減比率決定部１５に出力する。
Data amount measuring
（削減比率決定部１５）
削減比率決定部１５は、データ量計測部１４から高解像度ジオメトリの単位時間あたりのデータ量Ｇi（以下、高解像度ジオメトリのデータ量Ｇiという。）、及び高解像度テクスチャの単位時間あたりのデータ量Ｔi（以下、高解像度テクスチャのデータ量Ｔiという。）を入力すると共に、配信装置６から実効伝送容量Ｒを含む実効伝送帯域情報を入力する。また、削減比率決定部１５は、３次元モデルデータ生成部４から高解像度ジオメトリを入力すると共に、注目領域検出部１１から３次元注目領域情報（例えば、中心座標及び半径）を入力する。
(Reduction ratio determination unit 15)
Reduction
実効伝送容量Ｒは、前述のとおり、配信装置６から受信端末７へデータが伝送される際の実際に伝送可能な単位時間あたりの最大のデータ量である。
As described above, the effective transmission capacity R is the maximum amount of data per unit time that can actually be transmitted when data is transmitted from the
この場合、配信装置６がデータの損失なくコンテンツを伝送するためには、３次元モデルデータ変換部５において、平均でＲ／Ｌの比率にてデータ量の変換が必要である。言い換えると、平均で（１−Ｒ／Ｌ）の比率にてデータ量の削減が必要である。前述のとおり、Ｌ＝Ｇi＋Ｔiである。
In this case, in order for the
高解像度テクスチャに関しては、ＵＶマップが再構成されるか否かに関わらず、低解像度テクスチャの出力解像度と圧縮率により平均的なデータ量（ビットレート）が決まり、低解像度テクスチャは、実効伝送容量Ｒのうち必ず一定割合を占める。このため、最初に、低解像度テクスチャのデータ量を決めることとする。このデータ量をＴoとする。すなわち、低解像度ジオメトリの伝送に使用可能なデータ量は、Ｒ−Ｔoとなる。 For high resolution textures, the average amount of data (bit rate) is determined by the output resolution and compression ratio of the low resolution texture, regardless of whether the UV map is reconstructed, and the low resolution texture is the effective transmission capacity. Always occupy a certain percentage of R. Therefore, first, the amount of data of the low resolution texture is determined. Let this amount of data be To. That is, the amount of data available for transmission of low resolution geometry, the R-T o.
（削減比率α，β）
まず、高解像度ジオメトリに対する注目領域の削減比率α及び注目領域外の削減比率βの決定手法について説明する。高解像度ジオメトリにおける３次元注目領域情報の示す３次元注目領域により、高解像度ジオメトリの全体の頂点群に占める３次元注目領域に属する頂点群の比率が算出され、これを頂点群比率ｒとする。そうすると、高解像度ジオメトリの３次元注目領域のデータ量及び３次元注目領域外のデータ量は、以下のとおりである。
［数１］
（高解像度ジオメトリの３次元注目領域のデータ量）＝Ｇiｒ ・・・（１）
［数２］
（高解像度ジオメトリの３次元注目領域外のデータ量）＝Ｇi（１−ｒ）
・・・（２）
(Reduction ratio α, β)
First, a method for determining the reduction ratio α of the region of interest and the reduction ratio β outside the region of interest for the high-resolution geometry will be described. The ratio of the vertex group belonging to the three-dimensional attention area to the entire vertex group of the high-resolution geometry is calculated from the three-dimensional attention area indicated by the three-dimensional attention area information in the high-resolution geometry, and this is defined as the vertex group ratio r. Then, the amount of data in the three-dimensional attention area and the amount of data outside the three-dimensional attention area of the high-resolution geometry are as follows.
[Number 1]
(High data amount of the three-dimensional region of interest resolution geometry) = G i r ··· (1 )
[Number 2]
(High dimensional region of interest outside the data amount of resolution geometry) = G i (1-r )
... (2)
低解像度ジオメトリのデータ量Ｇoは、注目領域の削減比率α（０≦α＜１）及び注目領域外の削減比率β（０≦α＜β＜１）を用いると、以下のとおりである。
［数３］
低解像度ジオメトリのデータ量Ｇo＝Ｇiｒ（１−α）＋Ｇi（１−ｒ）（１−β）
＝Ｒ−Ｔo ・・・（３）
前記式（３）の右辺の第一項は、低解像度ジオメトリの３次元注目領域のデータ量であり、第二項は、低解像度ジオメトリの３次元注目領域外のデータ量である。Ｔoは、低解像度テクスチャのデータ量である。
Data amount G o of the low-resolution geometry, the use of reduction of the area of interest ratio α (0 ≦ α <1) and region of interest outside the reduction ratio β (0 ≦ α <β < 1), as follows.
[Number 3]
Data amount of low resolution geometry Go = G i r (1-α) + G i (1-r) (1-β)
= R-T o ··· (3 )
The first term on the right side of the equation (3) is the amount of data in the three-dimensional attention region of the low-resolution geometry, and the second term is the amount of data outside the three-dimensional attention region of the low-resolution geometry. T o is the data amount of the low-resolution texture.
ここで、一例として３次元注目領域の頂点を全く削減しないで、３次元注目領域外の頂点のみを削減するものとする。この場合、注目領域の削減比率α＝０が設定される。そうすると、前記式（３）は、以下の式で表される。
［数４］
低解像度ジオメトリのデータ量Ｇo＝Ｇiｒ＋Ｇi（１−ｒ）（１−β）＝Ｒ−Ｔo
・・・（４）
Here, as an example, it is assumed that only the vertices outside the three-dimensional attention region are reduced without reducing the vertices of the three-dimensional attention region at all. In this case, the reduction ratio α = 0 of the region of interest is set. Then, the above equation (3) is expressed by the following equation.
[Number 4]
Amount of data of low resolution geometry Go = G i r + G i (1-r) (1-β) = R-T o
... (4)
前記式（４）から以下の式が導出される。
［数５］
実効伝送容量Ｒ＝Ｇi−Ｇi（１−ｒ）β＋Ｔo ・・・（５）
The following equation is derived from the equation (4).
[Number 5]
Effective transmission capacity R = G i -G i (1 -r) β + T o ··· (5)
そして、配信装置６から受信端末７への伝送において、実効伝送容量Ｒ以下の伝送を実現するためには、以下の式を満たす必要がある。
［数６］
実効伝送容量Ｒ≧Ｇi−Ｇi（１−ｒ）β＋Ｔo ・・・（６）
Then, in the transmission from the
[Number 6]
Effective transmission capacity R ≧ G i -G i (1 -r) β + T o ··· (6)
前記式（６）から以下の式が導出される。
［数７］
注目領域外の削減比率β≧１−（Ｒ−Ｔo−Ｇiｒ）／Ｇi（１−ｒ） ・・・（７）
The following equation is derived from the equation (6).
[Number 7]
Reduction ratio of outside the region of interest β ≧ 1- (R-T o -G i r) / G i (1-r) ··· (7)
このように、削減比率決定部１５は、注目領域の削減比率α＝０を決定すると共に、前記式（７）の条件を満たす注目領域外の削減比率βを決定する。そして、削減比率決定部１５は、決定した注目領域の削減比率α＝０及び注目領域外の削減比率βをジオメトリ変換部１２に出力する。
In this way, the reduction
これにより、低解像度ジオメトリ及び低解像度テクスチャは、実効伝送容量Ｒ以下にて、配信装置６から受信端末７へ伝送することができる。
As a result, the low-resolution geometry and the low-resolution texture can be transmitted from the
図７は、削減比率決定部１５による削減比率α，βの決定処理例を示すフローチャートである。削減比率決定部１５は、高解像度ジオメトリ及び３次元注目領域情報に基づいて、頂点群比率ｒを算出する（ステップＳ７０１）。
FIG. 7 is a flowchart showing an example of determination processing of reduction ratios α and β by the reduction
具体的には、削減比率決定部１５は、高解像度ジオメトリの全体の頂点群の数を求め、高解像度ジオメトリの全体の頂点群の数のうち、３次元注目領域情報の示す３次元注目領域に含まれる頂点群の数を求める。そして、削減比率決定部１５は、これらの頂点群の数の比率を、高解像度ジオメトリの頂点群に占める３次元注目領域に属する頂点群の比率（頂点群比率ｒ）として算出する。
Specifically, the reduction
削減比率決定部１５は、注目領域の削減比率αを初期設定する（ステップＳ７０２）。削減比率αは０であってもよいし、後述するステップＳ７０５において削減比率αが増加することを考慮して、０を超える実数であってもよい。削減比率αは初期値が予め設定される。
The reduction
削減比率決定部１５は、以下の式を満たすように、注目領域外の削減比率βを算出する（ステップＳ７０３）。
［数８］
注目領域外の削減比率β≧１−（Ｒ−Ｔo−Ｇiｒ（１−α））／Ｇi（１−ｒ）
・・・（８）
この式は、前記式（３）を、α≠０として前記式（４）から前記式（７）へと同じ手順で展開して得られたものである。ここで、実効伝送容量Ｒは配信装置６から入力され、低解像度テクスチャのデータ量Ｔoは予め設定される。また、高解像度ジオメトリのデータ量Ｇiはデータ量計測部１４から入力され、頂点群比率ｒはステップＳ７０１の処理にて算出される。さらに、注目領域の削減比率αは、ステップＳ７０２（または後述するステップＳ７０５）にて設定される。
The reduction
[Number 8]
Reduction ratio of outside the region of interest β ≧ 1- (R-T o -G i r (1-α)) / G i (1-r)
... (8)
This equation is obtained by expanding the equation (3) from the equation (4) to the equation (7) with α ≠ 0 in the same procedure. Here, the effective transmission capacity R is input from the
尚、注目領域検出部１１において、２次元注目領域が検出されなかった場合には、頂点群比率ｒ＝０となることから、削減比率βはβ＝１−（Ｒ−Ｔo）／Ｇiにより定まり、ジオメトリの全領域の頂点が一様に削減される。
If the two-dimensional attention region is not detected in the attention
削減比率決定部１５は、ステップＳ７０３にて算出した注目領域外の削減比率βが予め設定された閾値以上であるか否かを判定する（ステップＳ７０４）。そして、削減比率決定部１５は、ステップＳ７０４において、注目領域外の削減比率βが閾値以上であると判定した場合（ステップＳ７０４：Ｙ）、注目領域の削減比率αに予め設定された増分Δ１を加算し、α＜βとなる範囲にて新たな削減比率αを設定する（ステップＳ７０５、α←α＋Δ１）。削減比率決定部１５は、ステップＳ７０３へ移行し、新たな削減比率αを用いて、前記式（８）を満たすように、注目領域外の削減比率βを算出する。
The reduction
削減比率決定部１５は、ステップＳ７０５において、α＜βとなる範囲にて新たな削減比率αを設定することができない場合、すなわち、新たな削減比率αが削減比率β以上となる場合、異常が発生したとして処理を中止する。
In step S705, when the reduction
一方、削減比率決定部１５は、ステップＳ７０４において、注目領域外の削減比率βが閾値以上でないと判定した場合（ステップＳ７０４：Ｎ）、ステップＳ７０２またはステップＳ７０５にて設定した注目領域の削減比率α及びステップＳ７０３にて算出した注目領域外の削減比率βを、ジオメトリ変換部１２にて用いる削減比率α，βとして決定し、これらをジオメトリ変換部１２に出力する（ステップＳ７０６）。
On the other hand, when the reduction
尚、削減比率決定部１５は、ステップＳ７０５において、注目領域の削減比率αの代わりに、低解像度テクスチャのデータ量Ｔoを変化させるようにしてもよい。具体的には、削減比率決定部１５は、ステップＳ７０５において、低解像度テクスチャのデータ量Ｔoから予め設定された減分Δ２を減算し、新たな低解像度テクスチャのデータ量Ｔoを設定する。そして、削減比率決定部１５は、ステップＳ７０３へ移行し、新たな低解像度テクスチャのデータ量Ｔoを用いて、前記式（８）を満たすように、注目領域外の削減比率βを算出する。この場合の注目領域の削減比率αは、予め設定された初期値から変化しない。
Incidentally, reduction
また、削減比率決定部１５は、ステップＳ７０５において、注目領域の削減比率αに加えて、低解像度テクスチャのデータ量Ｔoを変化させるようにしてもよい。具体的には、削減比率決定部１５は、ステップＳ７０５において、注目領域の削減比率αに予め設定された増分Δ１を加算し、α＜βとなる範囲にて新たな削減比率αを設定すると共に、低解像度テクスチャのデータ量Ｔoから予め設定された減分Δ２を減算し、新たな低解像度テクスチャのデータ量Ｔoを設定する。そして、削減比率決定部１５は、ステップＳ７０３へ移行し、新たな削減比率α及び新たな低解像度テクスチャのデータ量Ｔoを用いて、前記式（８）を満たすように、注目領域外の削減比率βを算出する。
Further, reduction
このように、削減比率決定部１５は、注目領域の削減比率αを設定し、前記式（８）の条件を満たす注目領域外の削減比率βを設定し、削減比率βが閾値以上である場合、注目領域の削減比率αを変化させることで、新たな削減比率βを設定し、削減比率βが閾値未満である場合、設定した削減比率α，βをジオメトリ変換部１２にて用いる削減比率α，βに決定する。
In this way, the reduction
これにより、低解像度ジオメトリ及び低解像度テクスチャは、実効伝送容量Ｒ以下にて、配信装置６から受信端末７へ伝送することができる。
As a result, the low-resolution geometry and the low-resolution texture can be transmitted from the
また、削減比率決定部１５は、前記式（３）から導出した以下の式を満たすように、注目領域の削減比率α、注目領域外の削減比率β及び低解像度テクスチャのデータ量Ｔoの３つのパラメータを変化させ、これらのパラメータを決定するようにしてもよい。
［数９］
Ｒ≧Ｇiｒ（１−α）＋Ｇi（１−ｒ）（１−β）＋Ｔo ・・・（９）
Further, reduction
[Number 9]
R ≧ G i r (1- α) + G i (1-r) (1-β) + T o ··· (9)
前記式（９）は、低解像度ジオメトリの３次元注目領域のデータ量（Ｇiｒ（１−α））、低解像度ジオメトリの３次元注目領域外のデータ量（Ｇi（１−ｒ）（１−β））及び低解像度テクスチャのデータ量Ｔoの加算結果が、実効伝送容量Ｒ以下であることを示す式である。 In the above equation (9), the amount of data in the three-dimensional attention region of the low-resolution geometry (G i r (1-α)) and the amount of data outside the three-dimensional attention region of the low-resolution geometry (G i (1-r)) ( 1-beta)) of the data amount T o and of low resolution texture addition result is an equation indicating that less effective transmission capacity R.
前記式（９）と、式：実効伝送容量Ｒ≧Ｇo＋Ｔoとは、数学的に等価である。削減比率決定部１５は、実効伝送容量Ｒと、低解像度ジオメトリのデータ量Ｇoに低解像度テクスチャのデータ量Ｔoを加算して得られた結果である３次元モデルデータ変換後のデータ量（Ｇo＋Ｔo）との間の関係が、前記式を満たすように（（Ｇo＋Ｔo）がＲ以下となるように）、すなわち、前記式（８）を満たすように、かつ注目領域の削減比率α及び注目領域外の削減比率βの関係がα＜βとなるように、注目領域の削減比率α、または低解像度テクスチャのデータ量Ｔo、または注目領域の削減比率α及び低解像度テクスチャのデータ量Ｔoを変化させて、注目領域外の削減比率βを求めることで、注目領域の削減比率α及び注目領域外の削減比率βを決定する。
The equation (9), wherein: the effective transmission capacity R ≧ G o + T o, which is mathematically equivalent. Reduction
これにより、注目領域の削減比率α、注目領域外の削減比率β及び低解像度テクスチャのデータ量Ｔoの３つのパラメータが調整されることで、低解像度ジオメトリ及び低解像度テクスチャが、実効伝送容量Ｒ以下にて、配信装置６から受信端末７へ伝送されることとなる。
Thus, by reducing the ratio α of the area of interest, three parameters of the data amount T o reduction ratio β and the low resolution texture outside the region of interest are adjusted, low resolution geometry and the low resolution texture, effective transmission capacity R In the following, the data will be transmitted from the
（削減比率γ，δ）
次に、高解像度テクスチャに対する注目領域の削減比率γ及び注目領域外の削減比率δの決定手法について説明する。図８は、削減比率決定部１５による削減比率γ，δの決定処理例を示すフローチャートである。
(Reduction ratio γ, δ)
Next, a method for determining the reduction ratio γ of the region of interest for the high-resolution texture and the reduction ratio δ outside the region of interest will be described. FIG. 8 is a flowchart showing an example of determination processing of the reduction ratios γ and δ by the reduction
削減比率決定部１５は、データ量計測部１４から入力した高解像度テクスチャのデータ量Ｔi、及び例えば予め設定された低解像度テクスチャのデータ量Ｔoから、その比率Ｔo／Ｔiを算出する（ステップＳ８０１）。具体的には、削減比率決定部１５は、低解像度テクスチャのデータ量Ｔoを高解像度テクスチャのデータ量Ｔiで除算することで、比率Ｔo／Ｔiを求める。
Reduction
削減比率決定部１５は、以下の式により、１から比率Ｔo／Ｔiを減算して注目領域外の削減比率δを求め、これを、テクスチャ変換部１３にて用いる削減比率δとして決定する（ステップＳ８０２）。
［数１０］
δ＝１−Ｔo／Ｔi ・・・（１０）
Reduction
[Number 10]
δ = 1-T o / T i ... (10)
削減比率決定部１５は、以下の式により、削減比率γが削減比率δよりも小さくなるように、所定の係数ａを削減比率δに乗算して注目領域の削減比率γを求め、これを、テクスチャ変換部１３にて用いる削減比率γとして決定する（ステップＳ８０３）。係数ａは、０≦ａ＜１までの範囲で予め設定される。すなわち、γ＜δである。
［数１１］
γ＝ａδ ・・・（１１）
The reduction
[Number 11]
γ = aδ ・ ・ ・ (11)
削減比率決定部１５は、注目領域の削減比率γ及び注目領域外の削減比率δをテクスチャ変換部１３に出力する（ステップＳ８０４）。
The reduction
このように、削減比率決定部１５により決定された削減比率α，βはジオメトリ変換部１２に出力され、削減比率γ，δはテクスチャ変換部１３へ出力される。そして、ジオメトリ変換部１２により、削減比率α，βを用いて高解像度ジオメトリが低解像度ジオメトリに変換され、テクスチャ変換部１３により、削減比率γ，δを用いて高解像度テクスチャが低解像度テクスチャに変換される。
In this way, the reduction ratios α and β determined by the reduction
以上のように、本発明の実施形態の３次元モデルデータ変換部５によれば、レンダラ１０は、高解像度ジオメトリ及び高解像度テクスチャを用いて、全周囲の複数角度の視点からレンダリングし、２次元画像群を生成する。
As described above, according to the three-dimensional model
注目領域検出部１１は、特徴学習モデルを用いて、２次元画像毎に、２次元注目領域及びスコアを求め、所定の閾値以上のスコアを有する２次元注目領域を検出し、検出した２次元注目領域を３次元注目領域に変換する。
The attention
削減比率決定部１５は、実効伝送容量Ｒと、低解像度ジオメトリのデータ量Ｇoに低解像度テクスチャのデータ量Ｔoを加算して得られた結果である３次元モデルデータ変換後のデータ量（Ｇo＋Ｔo）との間の関係が、Ｒ≧Ｇo＋Ｔoを満たすように、すなわち、前記式（８）を満たすように、かつ注目領域の削減比率α及び注目領域外の削減比率βの関係がα＜βとなるように、注目領域の削減比率α、または低解像度テクスチャのデータ量Ｔo、または注目領域の削減比率α及び低解像度テクスチャのデータ量Ｔoを変化させて、注目領域外の削減比率βを求めることで、注目領域の削減比率α及び注目領域外の削減比率βを決定する。
Reduction
これにより、ジオメトリ変換部１２において、高解像度ジオメトリの全体の頂点数削減の比率に対して、３次元注目領域の頂点数削減の比率を抑制するように（３次元注目領域の頂点数削減の比率が、高解像度ジオメトリの全体の頂点数削減の比率よりも低くなるように）、注目領域の削減比率α及び注目領域外の削減比率βが決定される。
As a result, the
また、削減比率決定部１５は、高解像度テクスチャのデータ量Ｔi及び低解像度テクスチャのデータ量Ｔoから比率Ｔo／Ｔiを算出し、１から比率Ｔo／Ｔiを減算して注目領域外の削減比率δを決定する。そして、削減比率決定部１５は、削減比率δが削減比率γよりも大きくなるように、予め設定された係数ａ（０≦ａ＜１）を削減比率δに乗算して注目領域の削減比率γを決定する。
Further, reduction
これにより、テクスチャ変換部１３において、高解像度テクスチャの全体の縮小率（解像度削減の比率）に対して、テクスチャ注目領域の縮小率を抑制するように（テクスチャ注目領域の縮小率が、高解像度テクスチャの全体の縮小率よりも低くなるように）、注目領域の削減比率γ及び注目領域外の削減比率δが決定される。
As a result, in the
ジオメトリ変換部１２は、高解像度ジオメトリの３次元注目領域の頂点を削減比率αにて削減すると共に、３次元注目領域以外の領域の頂点を削減比率βにて削減し、高解像度ジオメトリを低解像度ジオメトリに変換する。
The
これにより、高解像度ジオメトリの全体の頂点数削減の比率に対して、３次元注目領域の頂点数削減の比率が抑制されるように、低解像度ジオメトリが生成されることとなる。 As a result, the low-resolution geometry is generated so that the ratio of the reduction in the number of vertices in the three-dimensional attention region is suppressed to the ratio of the reduction in the total number of vertices of the high-resolution geometry.
テクスチャ変換部１３は、高解像度テクスチャにおけるテクスチャ注目領域の部分テクスチャの解像度を削減比率γにて削減すると共に、テクスチャ注目領域外の部分テクスチャの解像度を削減比率δにて削減し、解像度が削減されたテクスチャ注目領域の部分テクスチャ及びテクスチャ注目領域外の部分テクスチャについて、低解像度の矩形画像への再マッピングを行い、低解像度テクスチャを生成することで、高解像度テクスチャを低解像度テクスチャに変換する。また、テクスチャ変換部１３は、再マッピングに伴い、低解像度ジオメトリに含まれる各頂点のＵＶ座標を変更し、再マッピング後の低解像度ジオメトリを生成する。
The
これにより、高解像度テクスチャの全体の縮小率に対して、テクスチャ注目領域の部分テクスチャの縮小率が抑制されるように、低解像度テクスチャが生成されることとなる。 As a result, the low-resolution texture is generated so that the reduction ratio of the partial texture in the texture attention region is suppressed with respect to the overall reduction ratio of the high-resolution texture.
一般に、視聴者は、人物３次元モデルデータを含む３次元コンテンツを視聴する際に、人物の顔の表情、手指の動き等、無意識に目に入りやすい領域に注目する。本発明の実施形態では、これらの注目領域の品質劣化を抑制することができ、３次元コンテンツ全体としての主観的な視覚品質の低下を抑えることができる。 In general, when viewing 3D content including 3D model data of a person, the viewer pays attention to areas that are easily visible to the eyes, such as facial expressions of the person and movements of fingers. In the embodiment of the present invention, the deterioration of the quality of these areas of interest can be suppressed, and the subjective deterioration of the visual quality of the three-dimensional content as a whole can be suppressed.
また、３次元モデルデータ上での周波数特徴ではなく、コンテンツ制作者の意図により品質を保持したい注目領域に対応した特徴学習モデルを与え、２次元にレンダリングした画像特徴を用いて注目領域を抽出し、的確に主観品質に影響を与える領域を限定するようにした。これにより、主観的な視覚品質が低下しないように、３次元モデルデータのデータ量を削減することができる。 In addition, instead of the frequency features on the 3D model data, a feature learning model corresponding to the region of interest whose quality is desired to be maintained is given according to the intention of the content creator, and the region of interest is extracted using the image features rendered in 2D. , I tried to limit the area that affects the subjective quality accurately. As a result, the amount of 3D model data can be reduced so that the subjective visual quality is not deteriorated.
〔他の例１〕
次に、本発明の他の第１実施形態について説明する。図９は、本発明の他の第１実施形態による３次元モデルデータ変換部の構成例を示すブロック図である。３次元オブジェクトの表現方法としては、図２に示した３次元のジオメトリと２次元のテクスチャとを組み合わせた３次元モデルデータによる方式の他に、３次元のジオメトリの各頂点にカラー情報（ＲＧＢ、ＹＣbＣr等）を持たせる３次元点群データによる方式がある。図９では、このカラー情報を持たせる３次元点群データによる方式を実現する。
[Other Example 1]
Next, another first embodiment of the present invention will be described. FIG. 9 is a block diagram showing a configuration example of a three-dimensional model data conversion unit according to another first embodiment of the present invention. As a method of expressing a three-dimensional object, in addition to the method using three-dimensional model data that combines the three-dimensional geometry and the two-dimensional texture shown in FIG. 2, color information (RGB, There is a method using three-dimensional point cloud data that has YCbCr, etc.). In FIG. 9, a method using three-dimensional point cloud data having this color information is realized.
この３次元モデルデータ変換部５’は、レンダラ１０’、注目領域検出部１１、ジオメトリ変換部１２、データ量計測部１４’及び削減比率決定部１５’を備えている。
The three-dimensional model data conversion unit 5'includes a renderer 10', a region of
レンダラ１０’は、３次元モデルデータ生成部４からカラー情報を含む高解像度ジオメトリを入力し、高解像度ジオメトリを、全周囲の複数角度の視点からレンダリングし、複数の２次元画像を生成する。そして、レンダラ１０’は、生成した複数の２次元画像である２次元画像群を注目領域検出部１１に出力する。
The renderer 10'inputs high-resolution geometry including color information from the three-dimensional model
レンダラ１０’が入力する高解像度ジオメトリは、各頂点について、３次元座標（ＸＹＺ座標）、法線ベクトル等に加え、カラー情報が記述されている。ジオメトリ変換部１２が出力する低解像度ジオメトリも同様である。
In the high-resolution geometry input by the renderer 10', color information is described for each vertex in addition to three-dimensional coordinates (XYZ coordinates), a normal vector, and the like. The same applies to the low resolution geometry output by the
注目領域検出部１１は、レンダラ１０’から２次元画像群を入力し、図２に示した注目領域検出部１１と同様の処理を行い、３次元注目領域情報をジオメトリ変換部１２及び削減比率決定部１５’に出力する。
The attention
ジオメトリ変換部１２は、３次元モデルデータ生成部４から、カラー情報を含む高解像度ジオメトリを入力すると共に、注目領域検出部１１から３次元注目領域情報を入力する。また、ジオメトリ変換部１２は、削減比率決定部１５’から注目領域の削減比率α及び注目領域外の削減比率βを入力する。
The
ジオメトリ変換部１２は、図２に示したジオメトリ変換部１２と同様の処理を行い、カラー情報を含む高解像度ジオメトリを低解像度ジオメトリに変換し、カラー情報を含む低解像度ジオメトリを配信装置６に出力する。
The
データ量計測部１４’は、３次元モデルデータ生成部４からカラー情報を含む高解像度ジオメトリを入力し、入力した高解像度ジオメトリのデータ量Ｇiを計測する。そして、データ量計測部１４’は、高解像度ジオメトリのデータ量Ｇiを削減比率決定部１５’に出力する。
Data amount measuring section 14 ', a three-dimensional model
削減比率決定部１５’は、データ量計測部１４’から高解像度ジオメトリのデータ量Ｇiを入力すると共に、配信装置６から実効伝送容量Ｒを含む実効伝送帯域情報を入力する。また、削減比率決定部１５’は、３次元モデルデータ生成部４からカラー情報を含む高解像度ジオメトリを入力すると共に、注目領域検出部１１から３次元注目領域情報（例えば、中心座標及び半径）を入力する。
Reduction ratio determination unit 15 ', the data amount measuring section 14' inputs the data amount G i of the high-resolution geometry from, and inputs the effective transmission band information including the effective transmission capacity R from the
削減比率決定部１５’は、図２に示した削減比率決定部１５と同様の処理を行う。すなわち、削減比率決定部１５’は、実効伝送容量Ｒと、低解像度ジオメトリのデータ量Ｇoとの間の関係が、以下の式を満たすように（ＧoがＲ以下となるように）（式（１２）は前記式：実効伝送容量Ｒ≧Ｇo＋Ｔoに対応する。）、
［数１２］
実効伝送容量Ｒ≧Ｇo ・・・（１２）
すなわち、以下の式を満たすように、
［数１３］
注目領域外の削減比率β≧１−（Ｒ−Ｇiｒ（１−α））／Ｇi（１−ｒ）
・・・（１３）
注目領域の削減比率α及び注目領域外の削減比率βの関係がα＜βの範囲内で、注目領域の削減比率αを変化させて、注目領域外の削減比率βを求めることで、注目領域の削減比率α及び注目領域外の削減比率βを決定する。
The reduction ratio determination unit 15'performs the same processing as the reduction
[Number 12]
Effective transmission capacity R ≧ Go・ ・ ・ (12)
That is, so as to satisfy the following equation
[Number 13]
Reduction ratio outside the region of interest β ≧ 1- (R-G i r (1-α)) / G i (1-r)
... (13)
When the relationship between the reduction ratio α of the region of interest and the reduction ratio β outside the region of interest is within the range of α <β, the reduction ratio α of the region of interest is changed to obtain the reduction ratio β outside the region of interest. The reduction ratio α and the reduction ratio β outside the region of interest are determined.
これにより、ジオメトリ変換部１２において、高解像度ジオメトリの全体の頂点数削減の比率に対して、３次元注目領域の頂点数削減の比率を抑制するように（３次元注目領域の頂点数削減の比率が、高解像度ジオメトリの全体の頂点数削減の比率よりも低くなるように）、注目領域の削減比率α及び注目領域外の削減比率βが決定される。
As a result, the
以上のように、本発明の他の第１実施形態の３次元モデルデータ変換部５’によれば、ジオメトリ変換部１２は、高解像度ジオメトリの頂点の削減と同時に、カラー情報も削減する。
As described above, according to the three-dimensional model data conversion unit 5'of another first embodiment of the present invention, the
これにより、図２に示したテクスチャ変換部１３による高解像度テクスチャを低解像度テクスチャに変換する処理及びテクスチャ再マッピング処理、低解像度ジオメトリの頂点が保持するＵＶ座標を変更する処理が不要となる。このように、主観的な視覚品質が低下しないように、３次元モデルデータのデータ量を削減することができ、さらに、図２に比べて処理負荷を低減することができる。
This eliminates the need for the
〔他の例２〕
次に、本発明の他の第２実施形態について説明する。図１０は、本発明の他の第２実施形態による３次元モデルデータ変換部の構成例を示すブロック図である。図２に示した本発明の実施形態による３次元モデルデータ変換部５は、高解像度ジオメトリを低解像度ジオメトリに変換すると共に、高解像度テクスチャを低解像度テクスチャに変換する。これに対し、本発明の他の第２実施形態による３次元モデルデータ変換部は、高解像度ジオメトリを低解像度ジオメトリに変換するが、高解像度テクスチャの解像度を変換しないで、高解像度テクスチャと同じ解像度の矩形画像を低解像度テクスチャとして出力する。
[Other example 2]
Next, another second embodiment of the present invention will be described. FIG. 10 is a block diagram showing a configuration example of a three-dimensional model data conversion unit according to another second embodiment of the present invention. The three-dimensional model
この３次元モデルデータ変換部５”は、レンダラ１０、注目領域検出部１１、ジオメトリ変換部１２、データ量計測部１４’及び削減比率決定部１５’を備えており、図２に示したテクスチャ変換部１３を備えていない。３次元モデルデータ変換部５”は、ジオメトリの頂点削減において、ＵＶマップを保持するため、ＵＶアイランドの境界線上の頂点は削減しない。
The three-dimensional model
レンダラ１０、注目領域検出部１１及びジオメトリ変換部１２は、図２に示した構成部と同じであるため、ここでは説明を省略する。データ量計測部１４’及び削減比率決定部１５’は、図９に示した構成部と同じであるため、ここでは説明を省略する。ここで、ジオメトリ変換部１２は、高解像度テクスチャにおけるＵＶアイランドの境界線のＵＶ座標に対応する高解像度ジオメトリの頂点を削減しないように（頂点を維持する制約の下で）、高解像度ジオメトリを低解像度ジオメトリに変換する。
Since the
以上のように、本発明の他の第２実施形態の３次元モデルデータ変換部５”によれば、図２に示したテクスチャ変換部１３による高解像度テクスチャを低解像度テクスチャに変換する処理及びテクスチャ再マッピング処理、低解像度ジオメトリの頂点が保持するＵＶ座標を変更する処理が不要となる。このように、主観的な視覚品質が低下しないように、３次元モデルデータのデータ量を削減することができ、さらに、図２に比べて処理負荷を低減することができる。
As described above, according to the three-dimensional model
以上、実施形態を挙げて本発明を説明したが、本発明は前記実施形態に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。 Although the present invention has been described above with reference to embodiments, the present invention is not limited to the above-described embodiments, and various modifications can be made without departing from the technical idea.
例えば図２に示した３次元モデルデータ変換部５において、テクスチャ変換部１３は、高解像度テクスチャにおけるテクスチャ注目領域の部分テクスチャの解像度を削減比率γにて削減すると共に、テクスチャ注目領域外の部分テクスチャの解像度を削減比率δにて削減し、解像度が削減されたテクスチャ注目領域の部分テクスチャ及びテクスチャ注目領域外の部分テクスチャについて、低解像度の矩形画像への再マッピングを行い、低解像度テクスチャを生成することで、高解像度テクスチャを低解像度テクスチャに変換するようにした。
For example, in the three-dimensional model
これに対し、ジオメトリ変換部１２により、高解像度テクスチャにおけるＵＶアイランドの境界線のＵＶ座標に対応する高解像度ジオメトリの頂点が削減され、ＵＶマップを保持することができない場合には、テクスチャ変換部１３は、高解像度テクスチャの解像度を変更することなく、低解像度ジオメトリを構成する各面の部分テクスチャを矩形画像に再マッピングし、高解像度テクスチャと同じ解像度の矩形画像を低解像度テクスチャとして生成するようにしてもよい。すなわち、テクスチャ変換部１３は、低解像度ジオメトリから部分テクスチャを抽出し、部分テクスチャの解像度を縮小することなく矩形画像に再マッピングし、低解像度テクスチャを生成する。
On the other hand, when the
つまり、高解像度テクスチャと低解像度テクスチャとが同じ解像度であってもよい。この場合、低解像度テクスチャの単位時間あたりのデータ量Ｔo及び高解像度テクスチャの単位時間あたりのデータ量Ｔiは、Ｔo＝Ｔiの関係となり、注目領域の削減比率γ＝０、及び注目領域外の削減比率δ＝０である。 That is, the high resolution texture and the low resolution texture may have the same resolution. In this case, the data amount T i per unit amount of data T o and a high-resolution texture per unit of the low-resolution texture time period, T o = become relationship T i, reduction of the area of interest ratio gamma = 0, and attention The reduction ratio δ = 0 outside the region.
また、例えば３次元モデルデータ変換部５の注目領域検出部１１は、顔の特徴を有する注目領域に着目し、特徴学習モデルを用いて、２次元画像群のそれぞれに対し注目領域検出処理を行い、顔の特徴を有する２次元注目領域を検出するようにした。
Further, for example, the attention
これに対し、注目領域検出部１１は、顔以外の手指の特徴を有する注目領域に着目するようにしてもよい。この場合、図示しない学習装置は、人物等の２次元画像を入力データとし、手指の特徴を有する２次元注目領域及び当該２次元注目領域のスコアを出力データとする学習モデルを訓練し、特徴学習モデルとして出力する。注目領域検出部１１は、この特徴学習モデルを用いて、２次元画像群のそれぞれに対し注目領域検出処理を行い、手指の特徴を有する２次元注目領域を検出する。
On the other hand, the attention
また、コンテンツの特性に応じて、顔に加えて手指など複数の特徴量を検出可能な特徴学習モデルを用い、高解像度ジオメトリの各領域に対して品質維持の優先順位を設定するようにしてもよい。例えば、楽器演奏家の３次元モデルデータを演奏指導用のコンテンツとして配信する場合には、演奏家の細かい手指の動きが見えるように、ユーザは、手指領域の品質保持を第一優先とするように設定し、顔領域の品質保持は第二優先とするように設定する。 In addition, a feature learning model that can detect multiple features such as fingers in addition to the face according to the characteristics of the content is used, and quality maintenance priority is set for each area of high-resolution geometry. Good. For example, when distributing 3D model data of a musical instrument player as content for performance instruction, the user should give first priority to maintaining the quality of the finger area so that the fine movements of the performer's fingers can be seen. Set to, and set the quality retention of the face area to be the second priority.
この場合、図示しない学習装置は、人物の２次元画像を入力データとし、手指の特徴を有する第１の２次元注目領域及び顔の特徴を有する第２の２次元注目領域、並びに当該第１の２次元注目領域のスコア及び当該第２の２次元注目領域のスコアを出力データとする学習モデルを訓練し、特徴学習モデルとして出力する。注目領域検出部１１は、この特徴学習モデルを用いて、２次元画像群のそれぞれに対し、注目領域検出処理を行い、手指の特徴を有する第１の２次元注目領域及び顔の特徴を有する第２の２次元注目領域を検出する。削減比率決定部１５は、前述と同様の処理にて、手指の特徴を有する第１の注目領域の削減比率α１，γ１、顔の特徴を有する第２の注目領域の削減比率α２，γ２及び注目領域外の削減比率β，δを決定する。
In this case, the learning device (not shown) uses a two-dimensional image of a person as input data, and has a first two-dimensional attention area having finger features, a second two-dimensional attention area having facial features, and the first one. A learning model using the score of the two-dimensional attention region and the score of the second two-dimensional attention region as output data is trained and output as a feature learning model. Using this feature learning model, the attention
また、配信装置６は、低解像度ジオメトリ及び低解像度テクスチャを含むＩＰパケット等を直ちに後段のネットワーク等に送出せず、低解像度ジオメトリ及び低解像度テクスチャのデータをＨＤＤやＳＳＤ等の記録媒体に保存する記録装置と、記録媒体に記録された低解像度ジオメトリ及び低解像度テクスチャを読み出して再生する再生装置とに分離しても良い。この場合、３次元モデルデータ変換部５は、コンテンツの時間尺による再生時の出力データ量に従ったデータ変換処理を行う必要があるが、データ変換処理は必ずしも再生時と同じ速度でリアルタイムに実行する必要はない。
Further, the
尚、本発明の実施形態による３次元モデルデータ変換部５のハードウェア構成としては、通常のコンピュータを使用することができる。３次元モデルデータ変換部５は、ＣＰＵ、ＲＡＭ等の揮発性の記憶媒体、ＲＯＭ等の不揮発性の記憶媒体、及びインターフェース等を備えたコンピュータによって構成される。
As the hardware configuration of the three-dimensional model
３次元モデルデータ変換部５に備えたレンダラ１０、注目領域検出部１１、ジオメトリ変換部１２、テクスチャ変換部１３、データ量計測部１４及び削減比率決定部１５の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。
Each function of the
これらのプログラムは、前記記憶媒体に格納されており、ＣＰＵに読み出されて実行される。また、これらのプログラムは、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記憶媒体に格納して頒布することもでき、ネットワークを介して送受信することもできる。 These programs are stored in the storage medium, read by the CPU, and executed. In addition, these programs can be stored and distributed in storage media such as magnetic disks (floppy (registered trademark) disks, hard disks, etc.), optical disks (CD-ROM, DVD, etc.), semiconductor memories, etc., and can be distributed via a network. You can also send and receive.
本発明の実施形態による３次元モデルデータ変換部５は、３次元ＣＧ編集ソフトウェアにおけるデータ量削減機能として実装することができ、ジオメトリ及びテクスチャの符号化装置の前処理装置として実装することもできる。また、ＡＲまたはＶＲコンテンツのプロダクション及び配信サービスに用いることができる。
The 3D model
１ ３次元映像伝送システム
２ カメラ
３ 送信処理装置
４ ３次元モデルデータ生成部
５，５’，５” ３次元モデルデータ変換部
６ 配信装置
７ 受信端末
８ 伝送路
９ 制作処理装置
１０，１０’ レンダラ
１１ 注目領域検出部
１２ ジオメトリ変換部
１３ テクスチャ変換部
１４，１４’ データ量計測部
１５，１５’ 削減比率決定部
α，α１，α２，γ，γ１，γ２ 注目領域の削減比率
β，δ 注目領域外の削減比率
Ｇi 高解像度ジオメトリの単位時間あたりのデータ量
Ｇo 低解像度ジオメトリの単位時間あたりのデータ量
Ｔi 高解像度テクスチャの単位時間あたりのデータ量
Ｔo 低解像度テクスチャの単位時間あたりのデータ量
Ｒ 実効伝送容量
ｓ１，ｓ２，・・・，ｓ１２ 視点位置
Ｓｃ スコア
ｒ 頂点群比率
Δ１ 増分
Δ２ 減分
ａ 係数
1 3D
Claims (9)
前記高解像度のモデルデータを構成するジオメトリ及びテクスチャを、それぞれ高解像度ジオメトリ及び高解像度テクスチャとして、各頂点の情報からなる前記高解像度ジオメトリ、及び当該高解像度ジオメトリの前記頂点から構成される各面に対応する部分テクスチャをＵＶ座標により矩形画像へマッピングした前記高解像度テクスチャを、複数角度の視点からレンダリングし、複数の２次元画像を生成するレンダラと、
前記レンダラにより生成された前記複数の２次元画像のそれぞれについて、所定の特徴を有する２次元注目領域を検出し、前記複数の２次元画像の前記２次元注目領域を、前記高解像度ジオメトリの３次元注目領域に変換する注目領域検出部と、
前記高解像度ジオメトリにおける全体の前記頂点の削減比率に対して、前記注目領域検出部により変換された前記３次元注目領域の前記頂点の削減比率が抑制されるように、前記高解像度ジオメトリにおける前記３次元注目領域の前記頂点を削減すると共に、前記高解像度ジオメトリにおける前記３次元注目領域を除く領域の前記頂点を削減し、前記高解像度ジオメトリを、前記低解像度のモデルデータを構成する低解像度ジオメトリに変換するジオメトリ変換部と、
前記高解像度テクスチャにおける全体の縮小率に対して、前記注目領域検出部により変換された前記３次元注目領域に対応する前記高解像度テクスチャのテクスチャ注目領域の部分テクスチャの縮小率が抑制されるように、前記高解像度テクスチャにおける前記テクスチャ注目領域の部分テクスチャの解像度を削減すると共に、前記高解像度テクスチャにおける前記テクスチャ注目領域を除く領域の部分テクスチャの解像度を削減し、前記高解像度テクスチャを、前記低解像度のモデルデータを構成する低解像度テクスチャに変換し、前記ジオメトリ変換部により変換された前記低解像度ジオメトリに含まれる前記頂点の前記ＵＶ座標を変更し、新たな前記低解像度ジオメトリを生成するテクスチャ変換部と、
を備えたことを特徴とする３次元モデルデータ変換装置。 In a 3D model data conversion device that converts high-resolution model data of 3D content into low-resolution model data.
The geometry and texture constituting the high-resolution model data are set as high-resolution geometry and high-resolution texture, respectively, on the high-resolution geometry consisting of information on each vertex and on each surface composed of the vertices of the high-resolution geometry. A renderer that renders the high-resolution texture in which the corresponding partial texture is mapped to a rectangular image by UV coordinates from a viewpoint of multiple angles to generate a plurality of two-dimensional images.
For each of the plurality of two-dimensional images generated by the renderer, a two-dimensional attention region having a predetermined feature is detected, and the two-dimensional attention region of the plurality of two-dimensional images is three-dimensionalized in the high-resolution geometry. An area of interest detector that converts to an area of interest,
The 3 in the high-resolution geometry so that the reduction ratio of the vertices in the 3-dimensional attention region converted by the attention region detection unit is suppressed with respect to the reduction ratio of the vertices in the high-resolution geometry as a whole. The vertices of the dimensional attention region are reduced, the vertices of the region other than the three-dimensional attention region in the high resolution geometry are reduced, and the high resolution geometry is converted into the low resolution geometry constituting the low resolution model data. Geometry conversion part to convert and
The reduction ratio of the partial texture of the texture attention region of the high resolution texture corresponding to the three-dimensional attention region converted by the attention region detection unit is suppressed with respect to the overall reduction ratio of the high resolution texture. , The resolution of the partial texture of the texture attention region in the high resolution texture is reduced, and the resolution of the partial texture of the region other than the texture attention region in the high resolution texture is reduced. A texture conversion unit that converts the model data into a low-resolution texture that constitutes the above, changes the UV coordinates of the vertices included in the low-resolution geometry converted by the geometry conversion unit, and generates a new low-resolution geometry. When,
A three-dimensional model data conversion device characterized by being equipped with.
前記テクスチャ変換部は、
前記低解像度ジオメトリからその各面に対応する前記部分テクスチャを抽出し、前記高解像度テクスチャの前記解像度を削減することなく、前記部分テクスチャを前記矩形画像に再マッピングし、前記高解像度テクスチャを前記低解像度テクスチャに変換する、ことを特徴とする３次元モデルデータ変換装置。 In the three-dimensional model data conversion device according to claim 1,
The texture conversion unit
The partial texture corresponding to each surface is extracted from the low resolution geometry, the partial texture is remapped to the rectangular image without reducing the resolution of the high resolution texture, and the high resolution texture is converted to the low. A three-dimensional model data conversion device characterized by converting to a resolution texture.
前記低解像度のモデルデータが伝送される際の実際に伝送可能な単位時間あたりの最大のデータ量を実効伝送容量Ｒとし、前記低解像度ジオメトリの単位時間あたりのデータ量をデータ量Ｇoとし、前記低解像度テクスチャの単位時間あたりのデータ量をデータ量Ｔoとし、前記高解像度テクスチャの単位時間あたりのデータ量をデータ量Ｔiとし、前記３次元注目領域の前記頂点を削減する比率を削減比率αとし、前記高解像度ジオメトリにおける前記３次元注目領域を除く前記領域の前記頂点を削減する比率を削減比率βとし、前記テクスチャ注目領域の前記部分テクスチャの前記解像度を削減する比率を削減比率γとし、前記高解像度テクスチャにおける前記テクスチャ注目領域を除く前記領域の前記部分テクスチャの前記解像度を削減する比率を削減比率δとして、
さらに、前記低解像度ジオメトリの前記データ量Ｇoに前記低解像度テクスチャの前記データ量Ｔoを加算した結果（Ｇo＋Ｔo）が前記実効伝送容量Ｒ以下となり、かつ前記削減比率αが前記削減比率βよりも小さくなるように、前記削減比率α及び前記削減比率βを決定し、
前記高解像度テクスチャの前記データ量Ｔi及び前記低解像度テクスチャの前記データ量Ｔoにおける比率Ｔo／Ｔiを算出し、１から前記比率Ｔo／Ｔiを減算し、前記削減比率δを決定し、前記削減比率γが前記削減比率δよりも小さくなるように、予め設定された係数ａ（０≦ａ＜１）を前記削減比率δに乗算し、前記削減比率γを決定する削減比率決定部を備え、
前記ジオメトリ変換部は、
前記削減比率決定部により決定された前記削減比率αを用いて、前記高解像度ジオメトリにおける前記３次元注目領域の前記頂点を削減すると共に、前記削減比率決定部により決定された前記削減比率βを用いて、前記高解像度ジオメトリにおける前記３次元注目領域を除く前記領域の前記頂点を削減し、前記高解像度ジオメトリを前記低解像度ジオメトリに変換し、
前記テクスチャ変換部は、
前記削減比率決定部により決定された前記削減比率γを用いて、前記高解像度テクスチャにおける前記テクスチャ注目領域の前記部分テクスチャの前記解像度を削減すると共に、前記削減比率決定部により決定された前記削減比率δを用いて、前記高解像度テクスチャにおける前記テクスチャ注目領域を除く前記領域の前記部分テクスチャの前記解像度を削減し、前記高解像度テクスチャを前記低解像度テクスチャに変換する、ことを特徴とする３次元モデルデータ変換装置。 In the three-dimensional model data conversion device according to claim 1 or 2.
The maximum amount of data per unit time that can actually be transmitted when the low-resolution model data is transmitted is defined as the effective transmission capacity R, and the amount of data per unit time of the low-resolution geometry is defined as the data amount Go . reducing the ratio of the the data amount per unit time of the low-resolution texture data amount T o, the data amount per unit of the high-resolution texture time as the amount of data T i, reducing the vertices of the three-dimensional region of interest The ratio α is defined as the reduction ratio β, and the ratio of reducing the peaks of the region excluding the three-dimensional attention region in the high resolution geometry is defined as the reduction ratio β, and the ratio of reducing the resolution of the partial texture of the texture attention region is defined as the reduction ratio γ. The ratio of reducing the resolution of the partial texture in the region excluding the texture attention region in the high resolution texture is defined as the reduction ratio δ.
Moreover, said the data amount G o of the low-resolution geometry result of adding the data amount T o of the low-resolution texture (G o + T o) is less than the effective transmission capacity R, and the reduction ratio α is the reduction The reduction ratio α and the reduction ratio β are determined so as to be smaller than the ratio β.
Said high the resolution texture data amount T i and the calculated ratio T o / T i in the data amount T o of the low-resolution texture, and subtracting the ratio T o / T i from 1, the reduction ratio δ The reduction ratio is determined and the reduction ratio γ is determined by multiplying the reduction ratio δ by a preset coefficient a (0 ≦ a <1) so that the reduction ratio γ is smaller than the reduction ratio δ. Equipped with a decision section
The geometry conversion unit
The reduction ratio α determined by the reduction ratio determination unit is used to reduce the vertices of the three-dimensional attention region in the high resolution geometry, and the reduction ratio β determined by the reduction ratio determination unit is used. Therefore, the vertices of the region excluding the three-dimensional attention region in the high-resolution geometry are reduced, and the high-resolution geometry is converted into the low-resolution geometry.
The texture conversion unit
The reduction ratio γ determined by the reduction ratio determining unit is used to reduce the resolution of the partial texture of the texture attention region in the high resolution texture, and the reduction ratio determined by the reduction ratio determining unit. A three-dimensional model characterized in that δ is used to reduce the resolution of the partial texture in the region other than the texture attention region in the high resolution texture, and to convert the high resolution texture into the low resolution texture. Data converter.
前記高解像度のモデルデータを構成するジオメトリ及びテクスチャを、それぞれ高解像度ジオメトリ及び高解像度テクスチャとして、各頂点の情報からなる前記高解像度ジオメトリ、及び当該高解像度ジオメトリの前記頂点から構成される各面に対応する部分テクスチャをマッピングした前記高解像度テクスチャを、複数角度の視点からレンダリングし、複数の２次元画像を生成するレンダラと、
前記レンダラにより生成された前記複数の２次元画像のそれぞれについて、所定の特徴を有する２次元注目領域を検出し、前記複数の２次元画像の前記２次元注目領域を、前記高解像度ジオメトリの３次元注目領域に変換する注目領域検出部と、
前記高解像度ジオメトリにおける全体の前記頂点の削減比率に対して、前記注目領域検出部により変換された前記３次元注目領域の前記頂点の削減比率が抑制されるように、前記高解像度ジオメトリにおける前記３次元注目領域の前記頂点を削減すると共に、前記高解像度ジオメトリにおける前記３次元注目領域を除く領域の前記頂点を削減し、前記高解像度ジオメトリを、前記低解像度のモデルデータを構成する低解像度ジオメトリに変換するジオメトリ変換部と、
を備えたことを特徴とする３次元モデルデータ変換装置。 In a 3D model data conversion device that converts high-resolution model data of 3D content into low-resolution model data.
The geometry and texture constituting the high-resolution model data are set as high-resolution geometry and high-resolution texture, respectively, on the high-resolution geometry consisting of information on each vertex and on each surface composed of the vertices of the high-resolution geometry. A renderer that renders the high-resolution texture that maps the corresponding partial texture from multiple angle viewpoints to generate multiple two-dimensional images.
For each of the plurality of two-dimensional images generated by the renderer, a two-dimensional attention region having a predetermined feature is detected, and the two-dimensional attention region of the plurality of two-dimensional images is three-dimensionalized in the high-resolution geometry. An area of interest detector that converts to an area of interest,
The 3 in the high-resolution geometry so that the reduction ratio of the vertices in the 3-dimensional attention region converted by the attention region detection unit is suppressed with respect to the reduction ratio of the vertices in the high-resolution geometry as a whole. The vertices of the dimensional attention region are reduced, the vertices of the region other than the three-dimensional attention region in the high resolution geometry are reduced, and the high resolution geometry is converted into the low resolution geometry constituting the low resolution model data. Geometry conversion part to convert and
A three-dimensional model data conversion device characterized by being equipped with.
前記低解像度のモデルデータが伝送される際の実際に伝送可能な単位時間あたりの最大のデータ量を実効伝送容量Ｒとし、前記低解像度ジオメトリの単位時間あたりのデータ量をデータ量Ｇoとし、前記高解像度テクスチャが低解像度テクスチャとして伝送される場合の当該低解像度テクスチャの単位時間あたりのデータ量をデータ量Ｔoとし、前記３次元注目領域の前記頂点を削減する比率を削減比率αとし、前記高解像度ジオメトリにおける前記３次元注目領域を除く前記領域の前記頂点を削減する比率を削減比率βとして、
さらに、前記低解像度ジオメトリの前記データ量Ｇoに前記低解像度テクスチャの前記データ量Ｔoを加算した結果（Ｇo＋Ｔo）が前記実効伝送容量Ｒ以下となり、かつ前記削減比率αが前記削減比率βよりも小さくなるように、前記削減比率α及び前記削減比率βを決定する削減比率決定部を備え、
前記ジオメトリ変換部は、
前記削減比率決定部により決定された前記削減比率αを用いて、前記高解像度ジオメトリにおける前記３次元注目領域の前記頂点を削減すると共に、前記削減比率決定部により決定された前記削減比率βを用いて、前記高解像度ジオメトリにおける前記３次元注目領域を除く前記領域の前記頂点を削減し、前記高解像度ジオメトリを前記低解像度ジオメトリに変換する、ことを特徴とする３次元モデルデータ変換装置。 In the three-dimensional model data conversion device according to claim 4.
The maximum amount of data per unit time that can actually be transmitted when the low-resolution model data is transmitted is defined as the effective transmission capacity R, and the amount of data per unit time of the low-resolution geometry is defined as the data amount Go . the high resolution texture and the amount of data the data amount T o per unit time of the low-resolution texture when being transmitted as a low-resolution texture, the ratio of reducing the apex and reduce the ratio α of the 3-dimensional region of interest, The ratio of reducing the peaks in the region excluding the three-dimensional attention region in the high-resolution geometry is defined as the reduction ratio β.
Moreover, said the data amount G o of the low-resolution geometry result of adding the data amount T o of the low-resolution texture (G o + T o) is less than the effective transmission capacity R, and the reduction ratio α is the reduction A reduction ratio determining unit for determining the reduction ratio α and the reduction ratio β is provided so as to be smaller than the ratio β.
The geometry conversion unit
The reduction ratio α determined by the reduction ratio determination unit is used to reduce the vertices of the three-dimensional attention region in the high resolution geometry, and the reduction ratio β determined by the reduction ratio determination unit is used. A three-dimensional model data conversion device, wherein the vertices of the region other than the three-dimensional attention region in the high-resolution geometry are reduced, and the high-resolution geometry is converted into the low-resolution geometry.
前記削減比率決定部は、
前記削減比率α及び前記削減比率βを決定する際に、前記高解像度ジオメトリの単位時間あたりのデータ量をデータ量Ｇiとし、前記高解像度ジオメトリの全体の頂点群に占める前記３次元注目領域に属する頂点群の比率を頂点群比率ｒとして、
式：β≧１−（Ｒ−Ｔo−Ｇiｒ（１−α））／Ｇi（１−ｒ）
を満たすように、かつ前記削減比率βが前記削減比率αよりも大きくなるように、前記削減比率α、または前記低解像度テクスチャの前記データ量Ｔo、または前記削減比率α及び前記低解像度テクスチャの前記データ量Ｔoを変化させて、前記削減比率βを求めることで、前記削減比率α及び前記削減比率βを決定する、ことを特徴とする３次元モデルデータ変換装置。 In the three-dimensional model data conversion device according to claim 3 or 5.
The reduction ratio determination unit
In determining the reduction ratio α and the reduction ratio beta, the data amount per unit time of the high-resolution geometry and data amount G i, in the three-dimensional region of interest in the whole of the vertices of the high resolution geometry Let the ratio of the vertex group to which it belongs be the vertex group ratio r.
Formula: β ≧ 1- (R−T o −G i r (1-α)) / G i (1-r)
To satisfy, and the like reduction ratio β is larger than the reduction ratio alpha, the reduction ratio alpha, or the said amount of data T o of the low-resolution texture or the reduction ratio alpha and the low-resolution texture, the amount of data T o is changed to, by determining the reduction ratio beta, it determines the reduction ratio α and the reduction ratio beta, 3-dimensional model data conversion apparatus, characterized in that.
前記注目領域検出部は、
前記複数の２次元画像のそれぞれについて、予め設定された特徴学習モデルを用いて、前記２次元注目領域、及び当該２次元注目領域における前記所定の特徴を有する度合いを示すスコアを求め、所定の閾値以上の前記スコアを有する前記２次元注目領域を、複数角度の視点との空間的位置関係から前記３次元注目領域に変換する、ことを特徴とする３次元モデルデータ変換装置。 In the three-dimensional model data conversion device according to any one of claims 1 to 6.
The area of interest detection unit
For each of the plurality of two-dimensional images, a score indicating the degree of having the predetermined feature in the two-dimensional attention region and the two-dimensional attention region is obtained by using a preset feature learning model, and a predetermined threshold value is obtained. A three-dimensional model data conversion device characterized in that the two-dimensional attention region having the above score is converted into the three-dimensional attention region from a spatial positional relationship with a viewpoint of a plurality of angles.
前記高解像度のモデルデータを構成するジオメトリを高解像度ジオメトリとして、各頂点の情報にカラー情報を含む前記高解像度ジオメトリを、複数角度の視点からレンダリングし、複数の２次元画像を生成するレンダラと、
前記レンダラにより生成された前記複数の２次元画像のそれぞれについて、所定の特徴を有する２次元注目領域を検出し、前記複数の２次元画像の前記２次元注目領域を、前記高解像度ジオメトリの３次元注目領域に変換する注目領域検出部と、
前記高解像度ジオメトリにおける全体の前記頂点の削減比率に対して、前記注目領域検出部により変換された前記３次元注目領域の前記頂点の削減比率が抑制されるように、前記高解像度ジオメトリにおける前記３次元注目領域の前記頂点を削減すると共に、前記高解像度ジオメトリにおける前記３次元注目領域を除く領域の前記頂点を削減し、前記高解像度ジオメトリを、前記低解像度のモデルデータを構成する低解像度ジオメトリに変換するジオメトリ変換部と、
を備えたことを特徴とする３次元モデルデータ変換装置。 In a 3D model data conversion device that converts high-resolution model data of 3D content into low-resolution model data.
A renderer that renders the high-resolution geometry that includes color information in the information of each vertex from a viewpoint of a plurality of angles and generates a plurality of two-dimensional images, using the geometry that constitutes the high-resolution model data as the high-resolution geometry.
For each of the plurality of two-dimensional images generated by the renderer, a two-dimensional attention region having a predetermined feature is detected, and the two-dimensional attention region of the plurality of two-dimensional images is three-dimensionalized in the high-resolution geometry. An area of interest detector that converts to an area of interest,
The 3 in the high-resolution geometry so that the reduction ratio of the vertices in the 3-dimensional attention region converted by the attention region detection unit is suppressed with respect to the reduction ratio of the vertices in the high-resolution geometry as a whole. The vertices of the dimensional attention region are reduced, the vertices of the region other than the three-dimensional attention region in the high resolution geometry are reduced, and the high resolution geometry is converted into the low resolution geometry constituting the low resolution model data. Geometry conversion part to convert and
A three-dimensional model data conversion device characterized by being equipped with.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019208244A JP7414483B2 (en) | 2019-11-18 | 2019-11-18 | 3D model data conversion device and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019208244A JP7414483B2 (en) | 2019-11-18 | 2019-11-18 | 3D model data conversion device and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021082928A true JP2021082928A (en) | 2021-05-27 |
| JP7414483B2 JP7414483B2 (en) | 2024-01-16 |
Family
ID=75963340
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019208244A Active JP7414483B2 (en) | 2019-11-18 | 2019-11-18 | 3D model data conversion device and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7414483B2 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220157024A1 (en) * | 2020-11-18 | 2022-05-19 | Adobe Inc. | Systems for Augmented Reality Authoring of Remote Environments |
| CN115618478A (en) * | 2022-12-14 | 2023-01-17 | 中国铁路设计集团有限公司 | Intelligent method and system for importing BIM (building information modeling) into rendering engine in urban rail engineering |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004054572A (en) * | 2002-07-19 | 2004-02-19 | Minolta Co Ltd | Method and device for editing three-dimensional model |
| JP2011039869A (en) * | 2009-08-13 | 2011-02-24 | Nippon Hoso Kyokai <Nhk> | Face image processing apparatus and computer program |
| WO2019146194A1 (en) * | 2018-01-25 | 2019-08-01 | ソニー株式会社 | Information processing device and information processing method |
-
2019
- 2019-11-18 JP JP2019208244A patent/JP7414483B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004054572A (en) * | 2002-07-19 | 2004-02-19 | Minolta Co Ltd | Method and device for editing three-dimensional model |
| JP2011039869A (en) * | 2009-08-13 | 2011-02-24 | Nippon Hoso Kyokai <Nhk> | Face image processing apparatus and computer program |
| WO2019146194A1 (en) * | 2018-01-25 | 2019-08-01 | ソニー株式会社 | Information processing device and information processing method |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220157024A1 (en) * | 2020-11-18 | 2022-05-19 | Adobe Inc. | Systems for Augmented Reality Authoring of Remote Environments |
| US11875462B2 (en) * | 2020-11-18 | 2024-01-16 | Adobe Inc. | Systems for augmented reality authoring of remote environments |
| CN115618478A (en) * | 2022-12-14 | 2023-01-17 | 中国铁路设计集团有限公司 | Intelligent method and system for importing BIM (building information modeling) into rendering engine in urban rail engineering |
| CN115618478B (en) * | 2022-12-14 | 2023-03-10 | 中国铁路设计集团有限公司 | Intelligent method and system for importing BIM (building information modeling) into rendering engine in urban rail engineering |
| WO2024124720A1 (en) * | 2022-12-14 | 2024-06-20 | 中国铁路设计集团有限公司 | Intelligent method and system for importing bim model into rendering engine in urban rail transit engineering |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7414483B2 (en) | 2024-01-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11012679B2 (en) | Generating apparatus, generating method, and storage medium | |
| WO2020003038A1 (en) | Point cloud mapping | |
| EP3367334B1 (en) | Depth estimation method and depth estimation apparatus of multi-view images | |
| JP2020515937A (en) | Method, apparatus and stream for immersive video format | |
| CN108805979A (en) | A kind of dynamic model three-dimensional rebuilding method, device, equipment and storage medium | |
| Bahirat et al. | Designing and evaluating a mesh simplification algorithm for virtual reality | |
| CN103345771A (en) | Efficient image rendering method based on modeling | |
| EP4014207A1 (en) | Systems and methods for foveated rendering | |
| US11270468B1 (en) | Joint color image and texture data compression | |
| JP7414483B2 (en) | 3D model data conversion device and program | |
| US20220084300A1 (en) | Image processing apparatus and image processing method | |
| US11893705B2 (en) | Reference image generation apparatus, display image generation apparatus, reference image generation method, and display image generation method | |
| US20230215047A1 (en) | Free-viewpoint method and system | |
| JP2000348213A (en) | Three-dimensional image generating device, three- dimensional image generating and display device, and method thereof and recording medium | |
| US11748940B1 (en) | Space-time representation of dynamic scenes | |
| US11951394B2 (en) | Apparatus and method for acquiring in-game 360 VR image by using plurality of virtual cameras | |
| WO2018014324A1 (en) | Method and device for synthesizing virtual viewpoints in real time | |
| JP7276337B2 (en) | Information processing device and method, and program | |
| US11647193B2 (en) | Adaptive range packing compression | |
| JP2011233141A (en) | Server device for free viewpoint image transmission, program and method of free viewpoint image transmission | |
| JP4722055B2 (en) | Method for changing the scale of a three-dimensional model and scale changing unit | |
| Rolff et al. | Interactive VRS-NeRF: Lightning fast Neural Radiance Field Rendering for Virtual Reality | |
| EP3564905A1 (en) | Conversion of a volumetric object in a 3d scene into a simpler representation model | |
| Pasman et al. | Scheduling level of detail with guaranteed quality and cost | |
| US20240013443A1 (en) | Pixel Block Encoder Capable of Jointly Encoding Pixel Channels |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221003 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231004 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231010 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231117 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231130 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231228 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7414483 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |