JP2003099800A - Three-dimensional image information producing method, its device, three-dimensional image information producing program, storage medium storing it - Google Patents
Three-dimensional image information producing method, its device, three-dimensional image information producing program, storage medium storing itInfo
- Publication number
- JP2003099800A JP2003099800A JP2001290578A JP2001290578A JP2003099800A JP 2003099800 A JP2003099800 A JP 2003099800A JP 2001290578 A JP2001290578 A JP 2001290578A JP 2001290578 A JP2001290578 A JP 2001290578A JP 2003099800 A JP2003099800 A JP 2003099800A
- Authority
- JP
- Japan
- Prior art keywords
- image
- hexagonal
- color
- information
- shape
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Image Generation (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、被写体を多視点方
向から撮影した画像情報をもとに、その被写体を３次元
仮想空間内で配置し、かつ撮影画像と同等の品質で表示
するための、３次元画像情報生成方法および装置に関す
るものである（図８）。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention is for arranging a subject in a three-dimensional virtual space based on image information obtained by photographing the subject from multiple viewpoint directions and displaying the same quality as the photographed image. The present invention relates to a three-dimensional image information generation method and device (FIG. 8).
【０００２】[0002]
【従来の技術】被写体を多数の視点から撮影した画像を
基に、その被写体を任意視点方向から見た画像を保存、
合成し、表示する技術には、イメージベースレンダリン
グ（Ｉｍａｇｅ−Ｂａｓｅｄ Ｒｅｎｄｅｒｉｎｇ）と
呼ばれる方法がある。2. Description of the Related Art Based on an image obtained by shooting a subject from many viewpoints, an image of the subject viewed from an arbitrary viewpoint direction is stored,
As a technique for combining and displaying, there is a method called image-based rendering.
【０００３】代表的な手法には、苗村らの文献１「光線
情報による３次元実空間の効率的記述へ向けた光線空間
射影法」（信学技報、ＩＥ９５−１１９，１９９６−０
２）による光線空間、Ｌｅｖｏｙらの文献２「Ｌｉｇｈ
ｔ Ｆｉｅｌｄ Ｒｅｎｄｅｒｉｎｇ」（ＳＩＧＧＲＡ
ＰＨ９６，ＰＰ．３１−４２．１９９６）によるｌｉｇ
ｈｔ ｆｉｅｌｄ、がある。As a typical method, reference 1 by Naemura et al., "Ray space projection method for efficient description of three-dimensional real space by light ray information" (Shingaku Giho, IE95-119, 1996-0).
2) Ray space, Levoy et al.
t Field Rendering "(SIGGRA
PH96, PP. 31-42.1996)
There is ht field.
【０００４】原理的にはどちらも同じで、被写体の見え
方というのは、その被写体が存在する３次元空間を通過
する光線の分布により記述されるという考え方に基づい
ている。文献１では、１枚の平面上を通過するあらゆる
光線を空間中のある一点の座標と平面上の座標との４次
元で表わしており、文献２では、２枚の平面上を通過す
るあらゆる光線を２枚の平面上の座標による４次元で表
わしている。In principle, both are the same, and the appearance of a subject is based on the idea that it is described by the distribution of light rays passing through the three-dimensional space in which the subject exists. In Literature 1, all rays passing through one plane are expressed in four dimensions, that is, coordinates of a certain point in space and coordinates on the plane. In Literature 2, all rays passing over two planes. Is represented in four dimensions by the coordinates on the two planes.
【０００５】これらにおいては、被写体の幾何形状を積
極的に利用せずに、入力画像をもとに、新しい視点位置
から見た画像を保存、合成していることになる。そのた
め、これらの手法では被写体の見え方の復元はできても
３次元形状データとして、従来の幾何形状モデルをべー
スに表現されている３次元仮想空間内に配置したり、陰
影の情報を生成したりすることができなかった。In these cases, the image viewed from a new viewpoint position is stored and synthesized based on the input image without positively utilizing the geometrical shape of the subject. Therefore, although these methods can restore the appearance of the subject, as a three-dimensional shape data, the conventional geometric shape model is arranged in the three-dimensional virtual space represented in the base, and the shadow information is stored. Could not be generated.
【０００６】一方、被写体を多数の視点から撮影した画
像を基に、その被写体の３次元情報を復元し、保存する
技術は、シルエット法（ｓｈａｐｅ ｆｒｏｍ ｓｉｌ
ｈｏｕｅｔｔｅ、図９）により被写体の概略形状を復元
し、その表面をポリゴンの集合として表わし、入力画像
から各ポリゴンに貼り付けるべき１枚の画像をテクスチ
ャとしてある基準に従い切り出す方法が一般的である。On the other hand, a technique for restoring and storing three-dimensional information of a subject on the basis of an image obtained by photographing the subject from a number of viewpoints is known as a silhouette method (shape from sil).
A general method is to restore a rough shape of a subject by using Houette, FIG. 9), represent the surface of the subject as a set of polygons, and cut out one image to be attached to each polygon from an input image as a texture according to a certain standard.
【０００７】例えば、Ｍａｔｓｕｍｏｔｏらによる文献
３「Ａ Ｐｏｒｔａｂｌｅ Ｔｈｒｅｅ−ｄｉｍｅｎｓ
ｉｏｎａｌ Ｄｉｇｉｔｉｚｅｒ」では、１）同じ１枚
の入力画像からできるだけ大きなテクスチャとなる領域
を切り出す、２）隣接ポリゴンの境界ができるだけ連続
性を保つようなテクスチャを選択する、というポリシー
のもと、以下のエネルギー関数、
Ｅ＝Σi｛Ｐｅｎａｌｔｙ（ｉ）−ｋ・Ａｒｅａ
（ｉ）｝
が最小となるような入力画像とポリゴンとの組み合わせ
を選択し、それをもとにテクスチャの割り当てを行なっ
ている。ここで、ｉはポリゴン番号で、Ａｒｅａ（ｉ）
はｉ番目のポリゴンをある入力画像上に投影した時の面
積、Ｐｅｎａｌｔｙ（ｉ）はｉ番目のポリゴンの対応入
力画像と隣接ポリゴンの対応入力画像との撮影方向の角
度の差で、ｋが重み係数を表わしている。For example, reference 3 "A Portable Three-dimens by Matsumoto et al.
"Ional Digitizer" has the following policy based on the following policy: 1) cut out a region with the largest possible texture from the same input image, and 2) select a texture that keeps the boundaries of adjacent polygons as continuous as possible. Energy function, E = Σ i {Penalty (i) -k · Area
The combination of the input image and the polygon that minimizes (i)} is selected, and the texture is assigned based on that combination. Where i is the polygon number, Area (i)
Is the area when the i-th polygon is projected onto a certain input image, and Penality (i) is the difference in the angle of the shooting direction between the corresponding input image of the i-th polygon and the corresponding input image of the adjacent polygon, and k is a weight. Represents the coefficient.
【０００８】しかし、この方法では、ひとつのポリゴン
に貼り付けるテクスチャは１枚であり、ポリゴン毎に異
なる入力画像からテクスチャを切り出すことになるの
で、どうしてもポリゴン境界での模様の不連続性に加
え、撮影位置の違いによる光学的不連続性を避けること
ができなかった。また、シルエット法では被写体のシル
エット領域を撮影の視点位置から仮想空間上へ投影した
領域が交差する領域を復元形状としているため、表面の
凹部が正確に復元できないという本質的な問題があり、
本来凹部であるはずの表面に対応するポリゴンについて
は、復元結果の誤差から適切なテクスチャをひとつだけ
選択することは本質的に不可能であった。However, in this method, one texture is attached to each polygon, and the texture is cut out from different input images for each polygon. Therefore, in addition to the discontinuity of the pattern at the polygon boundary, The optical discontinuity due to the difference in the shooting position was unavoidable. Further, in the silhouette method, since the area where the area where the silhouette area of the subject is projected from the shooting viewpoint position to the virtual space intersects is the restored shape, there is an essential problem that the concave portion of the surface cannot be accurately restored.
For a polygon corresponding to a surface that should originally be a recess, it was essentially impossible to select only one appropriate texture from the error in the restoration result.
【０００９】また、上記の不連続性や復元形状誤差の問
題を解決する方法として、物体の３次元形状を測定する
装置であるレンジファインダにより復元した被写体の精
確な形状表面に、各撮影画像を視点方向に応じて貼り付
け、保存する表面光線空間（ｓｕｒｆａｃｅ ｌｉｇｈ
ｔ ｆｉｅｌｄ：ＳＬＦ）と呼ばれる方法が提案されて
いる。Further, as a method for solving the above-mentioned problems of discontinuity and restoration shape error, each photographed image is formed on an accurate shape surface of a subject restored by a range finder which is a device for measuring a three-dimensional shape of an object. A surface light space (surface light) to be attached and saved according to the viewpoint direction.
A method called t field (SLF) has been proposed.
【００１０】このうち、西野らの文献４「Ｅｉｇｅｎ−
Ｔｅｘｔｕｒｅ法：複合現実化のための３次元モデルに
基づく見えの圧縮と合成」（信学論（Ｄ−２）、Ｖｏ
ｌ．Ｊ８２−Ｄ−２，Ｎｏ．１０，ｐｐ．１７９３−１
８０３，１９９９−１０）では、一定形状の光パターン
を被写体に投影、撮影し測定する光線パターン投影型レ
ンジファインダにより復元した被写体の３次元形状モデ
ルの各三角形ポリゴン単位で、各視点からの撮影画像を
視線方向に従うテクスチャデータとして切出し、列挙し
て保持している。Of these, reference 4 by Nishino et al. "Eigen-
Texture method: Appearance compression and synthesis based on 3D model for mixed reality "(Physics (D-2), Vo
l. J82-D-2, No. 10, pp. 1793-1
803, 1999-10), a photographed image from each viewpoint in each triangular polygon unit of the three-dimensional shape model of the subject restored by a light beam pattern projection type range finder that projects, photographs, and measures a light pattern of a certain shape. Are cut out as texture data according to the line-of-sight direction, listed and held.
【００１１】また、Ｗｏｏｄらの文献５「Ｓｕｒｆａｃ
ｅ Ｌｉｇｈｔ Ｆｉｅｌｄｓ ｆｏｒ ３Ｄ Ｐｈｏ
ｔｏｇｒａｐｈｙ」（ＳＩＧＧＲＡＰＨ２０００，ｐ
ｐ．２８７−２９６，２０００）では、レーザー光の照
射による三角測量に基づいて被写体形状を測定した被写
体の３次元形状モデルの各ポリゴン上の微小領域単位
で、各視点画像からの色を視点方向に応じてＬｕｍｉｓ
ｐｈｅｒｅと呼ぶ単位半径球の表面にマッピングしてい
る。マッピングはＬｕｍｉｓｐｈｅｒｅに内接する正八
面体を再帰的に分割することにより行なっている。In addition, Wood et al., Reference 5 "Surfac
e Light Fields for 3D Pho
“Tography” (SIGGRAPH2000, p
p. 287-296, 2000), the color from each viewpoint image is changed according to the viewpoint direction in a unit of a minute area on each polygon of the three-dimensional shape model of the object in which the object shape is measured based on triangulation by laser light irradiation. Lumis
It is mapped on the surface of a unit radius sphere called "phere". The mapping is performed by recursively dividing a regular octahedron inscribed in Lumissphere.
【００１２】これら文献４と５においては、全撮影画像
の色情報を保持するため視点方向によらずに高品質な表
示結果が得られるという利点があるが、そのデータ量も
文献３の方法と比べて膨大なものとなる。そこで文献４
では、各ポリゴン毎のテクスチャ列群に対し主成分分析
を行い、ポリゴン単位での圧縮を行なっている。ここで
は、視線方向が異なるテクスチャ画像間を視線方向に従
って滑らかに近似するような圧縮ではなく、全てのテク
スチャ画像がほぼ同じで照明による違いしかないと仮定
しており、主成分分析による圧縮で非常に高い圧縮率が
得られるものとしている。一方、文献５では、各微小領
域毎にＬｕｍｉｓｐｈｅｒｅと呼ぶ球の表面に視点方向
に応じた輝度情報を付加しており、それを擬似的なベク
トル量子化や主成分分析を用いることにより圧縮してい
る。[0012] These Documents 4 and 5 have the advantage that a high quality display result can be obtained regardless of the viewpoint direction because the color information of all the photographed images is held, but the amount of data is the same as that of Document 3. It is a huge amount compared to. Reference 4
In, the principal component analysis is performed on the texture sequence group for each polygon, and compression is performed for each polygon. Here, it is assumed that all texture images are almost the same and that there is only a difference due to illumination, rather than a compression that approximates smoothly between texture images with different gaze directions according to the gaze direction. It is supposed that a high compression rate can be obtained. On the other hand, in Reference 5, luminance information according to the viewpoint direction is added to the surface of a sphere called Lumissphere for each minute region, which is compressed by using pseudo vector quantization or principal component analysis. There is.
【００１３】[0013]
【発明が解決しようとする課題】以上述べたように、従
来の方法では、文献１や２のように幾何形状を積極的に
利用せずに画像を保存し表示するため、仮想空間内での
配置や陰影付けが不可能であったり、文献３のように多
視点画像から復元した被写体形状を表わすポリゴンにテ
クスチャを固定の一枚のみマッピングするため表示の際
に違和感が生じるか、もしくは文献４や５のように撮影
方向に従いマッピング元の画像を変化させることにより
表示時にも撮影画像と同等に近い品質で表示可能となる
ものの、高圧縮を実現するためレンジファインダとの併
用により正確な形状復元を行なう必要があり、特に文献
５では復元形状と撮影画像との位置合わせを手で行なわ
なければならなかった。As described above, according to the conventional method, the image is stored and displayed without actively using the geometrical shape as in References 1 and 2, so that the image can be displayed in the virtual space. Arrangement or shading is impossible, or a fixed texture is mapped to a polygon representing a subject shape restored from a multi-viewpoint image as in Reference 3, or a discomfort occurs at the time of display, or Reference 4 By changing the image of the mapping source according to the shooting direction as shown in (5) and (5), it is possible to display with a quality similar to that of the shot image at the time of display, but to achieve high compression, it is possible to accurately restore the shape by using it with the range finder In particular, in Document 5, it has been necessary to manually align the restored shape and the captured image.
【００１４】本発明の目的は、多視点画像及びその視点
情報のみを入力とし、概略形状を復元し、かつ入力の画
像の視点方向から見た色情報をそのまま再現、表示でき
る画像データを復元形状表面に付加する３次元画像情報
生成方法と装置を提供することにある。An object of the present invention is to input only a multi-viewpoint image and its viewpoint information, restore a rough shape, and restore image data that can reproduce and display the color information viewed from the viewpoint direction of the input image as it is. It is to provide a method and apparatus for generating three-dimensional image information to be added to the surface.
【００１５】[0015]
【課題を解決するための手段】上記目的を達成するた
め、本発明は、同一被写体を多数の視点方向から撮影し
た複数枚の撮影画像及びそれらの視点情報を入力とし、
その被写体の概略形状を復元し、さらにその形状表面に
視点に応じた撮影画像の色情報を付加する３次元画像情
報生成方法であって、前記撮影画像のうちの被写体の全
形が撮影されている画像複数枚をシルエット画像として
選択し、そのシルエット情報を用いて、被写体の概略形
状を微少領域の集合として復元する段階と、前記復元さ
れた概略形状に撮影画像の色情報を付加するための六角
形画像の大きさ及び形状と六角形画像を構成する六角形
画素と撮影画像との対応付けを決定する段階と、前記対
応付けを決定する段階で求めた六角形画像を形状表面上
の全微少領域に割当て、その微少領域毎に、撮影画像の
視点と微少領域を結ぶ投影線と撮影画像との交点上の色
を、対応する六角形画素に割当てる段階と、前記割当て
る段階において色が割当てられなかった六角形画素につ
いて、隣接六角形画素の色を用いて色を決定する段階
と、前記六角形画素で構成される全ての六角形画像を二
次元配列の画像データに変換し、それら画像データを１
枚ないしは複数枚の画像データにマージする段階とを有
することを特徴とする３次元画像情報生成方法を手段と
する。In order to achieve the above object, the present invention uses a plurality of photographed images of the same subject photographed from a plurality of viewpoint directions and their viewpoint information as input.
A three-dimensional image information generation method for restoring the general shape of the subject and further adding color information of the photographed image according to the viewpoint to the surface of the shape, wherein the whole shape of the subject in the photographed image is photographed. Selecting a plurality of images as silhouette images and using the silhouette information to restore the outline shape of the subject as a set of microscopic areas; and for adding color information of the captured image to the restored outline shape. The size and shape of the hexagonal image, the step of determining the correspondence between the hexagonal pixels forming the hexagonal image and the captured image, and the hexagonal image obtained in the step of determining the correspondence Allocating to a minute area, for each minute area, assigning the color on the intersection of the projected line connecting the viewpoint of the captured image and the minute area and the captured image to the corresponding hexagonal pixel, and the color at the assigning step. For the unassigned hexagonal pixels, determining the color using the colors of the adjacent hexagonal pixels, and converting all the hexagonal images composed of the hexagonal pixels into image data of a two-dimensional array, Image data 1
And a step of merging the image data of one sheet or a plurality of sheets of image data.
【００１６】あるいは、前記マージする段階の後に、マ
ージ後の画像データを圧縮する段階を有することを特徴
とする３次元画像情報生成方法を手段とする。Alternatively, there is provided a method of generating three-dimensional image information, characterized in that after the step of merging, there is a step of compressing the image data after merging.
【００１７】また、本発明は、同一被写体を多数の視点
方向から撮影した複数枚の撮影画像及びそれらの視点情
報を入力とし、その被写体の概略形状を復元し、さらに
その形状表面に視点に応じた撮影画像の色情報を付加す
る３次元画像情報生成装置であって、前記撮影画像のう
ちの被写体の全形が撮影されている画像複数枚をシルエ
ット画像として選択し、そのシルエット情報を用いて、
被写体の概略形状を微少領域の集合として復元する概略
形状生成手段と、前記復元された形状情報に撮影画像の
色情報を付加するための六角形画像の大きさ及び形状と
六角形画像を構成する六角形画素と撮影画像との対応付
けを決定する六角形画像情報決定手段と、前記決定され
た六角形画像を形状表面上の全微少領域に割当て、その
微少領域毎に、撮影画像の視点と微少領域を結ぶ視線と
撮影画像との交点上の撮影画像の色を、対応する六角形
画素に割当てる色情報付加手段と、前記色情報付加手段
において色が割当てられなかった六角形画素について、
隣接六角形画素の色を用いて色を決定する無色画素色決
定手段と、前記六角形画素で構成される全ての六角形画
像を二次元配列の画像データに変換し、それら画像デー
タを１枚ないしは複数枚の画像データにマージする二次
元配列画像変換合成手段とを有することを特徴とする３
次元画像情報生成装置を手段とする。Further, according to the present invention, a plurality of photographed images of the same subject taken from a plurality of viewpoint directions and their viewpoint information are input, the general shape of the subject is restored, and the surface of the shape is adapted to the viewpoint. A three-dimensional image information generation device for adding color information of a captured image, wherein a plurality of images in which the whole shape of a subject in the captured image is captured are selected as silhouette images, and the silhouette information is used. ,
A rough shape generating unit that restores the rough shape of the subject as a set of microscopic areas, and the size and shape of the hexagonal image and the hexagonal image for adding the color information of the captured image to the restored shape information. Hexagonal image information determining means for determining correspondence between hexagonal pixels and captured images, and the determined hexagonal images are assigned to all microscopic regions on the surface of the shape, and a perspective of the captured image is set for each microscopic region. Regarding the color of the photographed image on the intersection of the line of sight connecting the microscopic regions and the photographed image, the color information adding means for allocating to the corresponding hexagonal pixel, and the hexagonal pixel to which the color is not allocated in the color information adding means,
Colorless pixel color determining means for determining a color using the colors of adjacent hexagonal pixels and all hexagonal images formed by the hexagonal pixels are converted into image data of a two-dimensional array, and the image data is converted into one sheet. Or a two-dimensional array image conversion / combination means for merging into a plurality of pieces of image data.
A three-dimensional image information generation device is used as a means.
【００１８】あるいは、前記二次元配列画像変換合成手
段でマージされた後の画像データを圧縮する圧縮手段を
有することを特徴とする３次元画像情報生成装置を手段
とする。Alternatively, the three-dimensional image information generation device is characterized by having a compression means for compressing the image data after being merged by the two-dimensional array image conversion and synthesis means.
【００１９】また、上記の３次元画像情報生成方法にお
ける段階を、コンピュータに実行させるためのプログラ
ムとしたことを特徴とする３次元画像情報生成プログラ
ムを手段とする。Further, a program for causing a computer to execute the steps in the above-mentioned three-dimensional image information generating method is used as a means for a three-dimensional image information generating program.
【００２０】さらには、上記の３次元画像情報生成方法
における段階を、コンピュータに実行させるためのプロ
グラムとし、前記プログラムを、前記コンピュータが読
み取りできる記録媒体に記録したことを特徴とする３次
元画像情報生成プログラムを記録した記録媒体を手段と
する。Furthermore, the steps in the above three-dimensional image information generating method are used as a program for causing a computer to execute, and the program is recorded in a computer-readable recording medium. A recording medium recording the generation program is used as a means.
【００２１】本発明では、同一の撮影画像から形状復元
と色情報抽出の両方を行なうので復元形状と画像の合わ
せ込みの必要がないという利点がある。さらに、全方位
からの色情報の保持に、互いに隣接する六角形画素から
成る六角形画像を利用する。六角形画素は六隣接性を持
ち、対称性にも優れているため、無駄な領域も少ないま
ま、通常の二次元配列の画像データに変換し、１枚ない
し数枚の画像データとしてマージし、保持することがで
きる。そのため、扱いが楽で、かつ変換後は通常の画像
圧縮法によりデータを圧縮することが可能である、とい
う利点を持つ。The present invention has an advantage that it is not necessary to match the restored shape with the image because both shape restoration and color information extraction are performed from the same photographed image. Further, a hexagonal image composed of hexagonal pixels adjacent to each other is used for holding color information from all directions. Hexagonal pixels have six adjacencies and have excellent symmetry, so there is little wasted area, and they are converted into ordinary two-dimensional image data and merged as one or several image data. Can be held. Therefore, it has an advantage that it is easy to handle and the data can be compressed by a normal image compression method after conversion.
【００２２】[0022]
【発明の実施の形態】以下に、本発明の実施の形態を示
す。尚、これによりこの発明が限定されるものではな
い。BEST MODE FOR CARRYING OUT THE INVENTION Embodiments of the present invention will be described below. The present invention is not limited to this.
【００２３】［本発明の原理］本発明では、概略形状復
元にシルエット法を用い、色情報の保持にはバッキーボ
ールの平面展開による手法を用いる。シルエット法は、
多視点画像から被写体の概略形状を復元する手法として
用いられている手法で、高速かつ安定に形状復元が行え
るという利点がある。また、バッキーボールとは、図１
１に示すように１２個の正五角形と２０個の正六角形か
ら成る３２面の多面体である。図１１ではわかりやすく
するため、正五角形は黒、正六角形は白及びハッチンン
グで示してある。これはまた、サッカーボールやフラー
レンＣ60の構造としても良く知られており、球面をよく
近似し、かつ内接している。このバッキーボールを二次
元平面上に展開した図が図１２で、さらに全ての正五角
形を正六角形に置換したものが図１３である。これは正
六角形を画素とする六角形画像（図１０）とみなすこと
ができる。さらに六角形画素は六隣接性を持ち、かつ対
称性も良いため、再帰的に階層分割することにより画素
数を増やしたり、単純な変換で、無駄な領域も少ないま
ま通常の二次元配列をとる二次元画像に変換することが
できる（図１４）。すなわち、被写体の復元形状表面に
バッキーボールを仮想的に置き、その多角形視線との交
点上に撮影画像からの色をマッピングすれば、それを通
常の二次元配列をとる画像に変換することができる。こ
の変換により、これまで多数開発されてきた通常の画像
圧縮アルゴリズムが適用できるという利点がある。[Principle of the Present Invention] In the present invention, a silhouette method is used to restore a rough shape, and a method based on plane development of a buckyball is used to hold color information. The silhouette method is
This method is used as a method for restoring a rough shape of a subject from a multi-viewpoint image, and has an advantage that shape can be restored quickly and stably. Also, the bucky ball is shown in FIG.
As shown in FIG. 1, it is a 32-sided polyhedron consisting of 12 regular pentagons and 20 regular hexagons. In FIG. 11, the regular pentagon is shown in black, and the regular hexagon is shown in white and hatching for the sake of clarity. This is also well known as a structure of a soccer ball or a fullerene C 60 , which closely approximates and inscribes a spherical surface. FIG. 12 is a diagram in which this bucky ball is developed on a two-dimensional plane, and FIG. 13 is a diagram in which all regular pentagons are replaced with regular hexagons. This can be regarded as a hexagonal image (FIG. 10) having regular hexagons as pixels. Furthermore, since hexagonal pixels have six adjacencies and good symmetry, the number of pixels can be increased by recursively dividing into layers, or a simple conversion can be performed to form a normal two-dimensional array with a small amount of wasted area. It can be converted into a two-dimensional image (Fig. 14). That is, if a buckyball is virtually placed on the surface of the restored shape of the subject and the color from the photographed image is mapped at the intersection with the polygonal line of sight, it can be converted into an image having a normal two-dimensional array. it can. With this conversion, there is an advantage that a normal image compression algorithm that has been developed in large numbers can be applied.
【００２４】上記をもとにした本発明の３次元画像情報
生成方法では、シルエット法による被写体の概略形状復
元段階と、仮想空間に配置したバッキーボールと撮影画
像の視線との交点を求め、それを平面展開、階層分割し
て六角形画像を作成し、それを構成する六角形画素と撮
影画像の対応付けを行なう六角形画像情報生成段階と、
復元形状表面を表わす全微少領域に前段階（六角形画像
情報生成段階）での六角形画像を割当て、対応付け結果
を用いて各六角形画素に撮影画像の色付けを行なう色情
報割当て段階と、前段階（色情報割当て段階）で割当て
のなかった六角形画素に補間により色情報を割当てる色
情報補間段階と、六角形画像を通常の二次元配列の画像
データに変換する配列変換段階と、前段階（配列変換段
階）で変換した二次元配列の画像をマージする画像マー
ジ段階と、を有する。In the three-dimensional image information generation method of the present invention based on the above, the outline shape restoration step of the subject by the silhouette method and the intersection point between the buckyball placed in the virtual space and the line of sight of the photographed image are obtained, and Hexagonal image information generation step of creating a hexagonal image by flattening and hierarchically dividing, and associating the hexagonal pixels forming the hexagonal image with the captured image,
Allocating the hexagonal image in the previous stage (hexagonal image information generating stage) to all the microscopic regions representing the restored shape surface, and using the correspondence result, color information assigning step for coloring the captured image to each hexagonal pixel, A color information interpolation step of assigning color information to the hexagonal pixels that were not assigned in the previous step (color information assigning step) by interpolation, and an array conversion step of converting the hexagonal image into normal two-dimensional array image data, An image merging step of merging the images of the two-dimensional array converted in the step (array converting step).
【００２５】以下、各段階について説明する。Each step will be described below.
【００２６】まず概略形状復元段階では、図９に示すよ
うに、撮影画像の被写体が写っている領域をシルエット
領域として、各画像のシルエット領域を視点から三次元
仮想空間内のボクセル空間に投影し、全投影領域が通過
するボクセル領域を求める。尚、ここで「ボクセル空
間」とは、単位三次元空間である「ボクセル」の集合と
して定義している。得られたボクセル領域が被写体の概
略形状を表わし、その表面を微少領域の集合として表わ
す。First, in the rough shape restoring step, as shown in FIG. 9, a region in which a subject of a photographed image is shown is defined as a silhouette region, and the silhouette region of each image is projected from a viewpoint to a voxel space in a three-dimensional virtual space. , Voxel area through which the entire projection area passes. Here, the “voxel space” is defined as a set of “voxels” that is a unit three-dimensional space. The obtained voxel area represents the general shape of the subject, and its surface is represented as a set of microscopic areas.
【００２７】次に六角形画像情報生成段階について説明
する。シルエット法を実行した三次元仮想空間内の任意
の位置に、単位半径を持つ仮想的なバッキーボールを配
置する。次に全撮影画像について、中心座標と視点を結
ぶ投影線ｌsを求め、バッキーボール表面との交点座標
を三次元座標で計算する（図１５）。次にバッキーボー
ルの中心を通るような平面を考え、バッキーボールの頂
点座標をその平面上に展開し、二次元座標を求める。交
点座標ｋsも二次元座標に変換する。最後にパラメータ
で指定されたレベルまたは、ひとつの六角形画素にたか
だかひとつの画像が割当てられるまで、二次元座標上で
の階層分割を繰り返す。ここでの階層的分割は、上位階
層と下位階層の六角形の対称性がずれないため、１）階
層のレベル０で定義する画素と球面との関係を下位階層
でもそのまま使える、２）六角形画像から四角形画像へ
の変換も上位と下位階層で同じ手順で行なえる、という
ことから、図１６のように、正六角形を一旦八等分に分
割して台形を求め、その隣接台形同士がマージして得ら
れる正六角形を下位レベルの六角形とする。階層分割の
結果、ひとつの六角形に２つ以上の交点が存在する場合
には、何らかの方法でひとつのみ残すようにする。具体
的な方法としては、最も六角形の中心に近い座標にある
もののみ残したり、また全ての色の平均を持つ交点を六
角形の中心位置や元の交点の重心位置に与える、といっ
た方法が考えられる。最終的に六段階では、生成された
六角形画素に、それへの交点を持つ撮影画像がたかだか
１枚対応付けられる。Next, the hexagonal image information generation step will be described. A virtual buckyball with a unit radius is placed at an arbitrary position in the three-dimensional virtual space where the silhouette method is executed. Next, for all the photographed images, a projection line l s connecting the central coordinates and the viewpoint is obtained, and the coordinates of the intersection with the buckyball surface are calculated in three-dimensional coordinates (FIG. 15). Next, consider a plane that passes through the center of the buckyball, develop the vertex coordinates of the buckyball on that plane, and obtain two-dimensional coordinates. The intersection coordinates k s are also converted into two-dimensional coordinates. Finally, the layer division on the two-dimensional coordinates is repeated until the level designated by the parameter or at most one image is assigned to one hexagonal pixel. In the hierarchical division here, since the symmetry of the hexagons of the upper layer and the lower layer does not shift, 1) the relationship between the pixel and the spherical surface defined in level 0 of the layer can be used in the lower layer as it is, 2) the hexagon Since it is possible to convert an image to a quadrilateral image in the same procedure at the upper and lower layers, the regular hexagon is once divided into eight equal parts to obtain a trapezoid, and the adjacent trapezoids are merged. The regular hexagon obtained in this way is the lower level hexagon. If there are two or more intersection points in one hexagon as a result of hierarchical division, only one is left in some way. As a concrete method, there is a method such as leaving only those at the coordinates closest to the center of the hexagon, or giving an intersection having the average of all colors to the center position of the hexagon or the center of gravity of the original intersection. Conceivable. Finally, in the sixth stage, at most one captured image having an intersection therewith is associated with the generated hexagonal pixel.
【００２８】色情報割当て段階ではまず、被写体復元形
状表面を表わす全微少領域に、前段階（六角形画像情報
生成段階）で求めた形状、大きさを持つ六角形画像を割
当てる。次に全微少領域から各撮影画像を可視判定し、
微少領域から直接見える撮影画像の色のみ、色付けを行
なう。色は撮影画像と視線との交点上の色とする。In the color information allocating step, first, a hexagonal image having the shape and size obtained in the previous step (hexagonal image information generating step) is allocated to all the microscopic regions representing the object-reconstructed shape surface. Next, we visually judge each photographed image from all micro areas,
Coloring is applied only to the color of the captured image that can be seen directly from the minute area. The color is the color on the intersection of the photographed image and the line of sight.
【００２９】次の色情報補間段階では色情報割当て段階
で色が付かなかった六角形画素の色付けを行なう。色の
ついている六角形画素の色を用いて補間を行なう。これ
により実際には微少領域から見えない、または撮影画像
が存在しない六角形画素にも見えている画像からの補間
により色付けする。In the next color information interpolation step, the hexagonal pixels that have not been colored in the color information allocation step are colored. Interpolation is performed using the colors of colored hexagonal pixels. As a result, coloring is performed by interpolation from an image that is not actually visible in the minute area or is visible in the hexagonal pixel where the captured image does not exist.
【００３０】配列変換段階においては、六角形画像の対
称性を利用した、図１４で表わす変換則に基づき六角形
画像を通常の二次元配列をとる画像に変換する。六段階
で生成される二次元配列画像は微少領域の数だけ存在す
ることになるので、マージ段階において、１枚ないしは
数枚の画像にマージすることにより表示の際に扱い易く
するとともに、従来の画像圧縮手法を適用し易くする。In the array conversion step, the hexagonal image is converted into an image having a normal two-dimensional array based on the conversion rule shown in FIG. 14 utilizing the symmetry of the hexagonal image. Since the two-dimensional array images generated in the six steps are present in the number of minute areas, the two-dimensional array images are merged into one or several images in the merging step to facilitate the handling at the time of display and Make it easier to apply image compression techniques.
【００３１】［用語の説明］次に、以下の実施形態での
用語について説明する。
１．撮影画像
被写体を撮影した画像。
２．視点情報
被写体を撮影した際の、カメラの位置および向きのこ
と。ここでは、カメラパラメータと同じ意味に使ってい
る。
３．カメラパラメータ
被写体を撮影した際の、カメラ位置及び被写体に対する
向きのこと。ただし、本実施形態では撮影時のカメラの
レンズ歪が全くない物と仮定しており、そうでない場合
はそれもカメラパラメータとして考慮する必要がある。
４．投影線
撮影画像の視点位置と撮影画像または復元形状の目標位
置とを結んだ直線のこと。
５．有色画素
色付け済みの六角形画素。
６．無色画素
色付けされていない六角形画素。
７．Ｚバッフア法
３次元コンピュータグラフィックスにおける隠面消去
（視線の手前にある物体で隠される物体や面を検出して
描画しないようにする処理）の方法の一つ。画面を構成
するの各画素に色情報のほかに奥行きに関する情報を持
たせ、画面に描画する際には同じ座標の視点からの奥行
き情報（Ｚ値）を比較して、最も手前にあるものだけを
画面に書き込む手法。この方法で用いる奥行き情報のた
めのメモリ領域をＺバッファと呼ぶ。
８．ＯＰｅｎＧＬ
ＳＧＩ（Ｓｉｌｉｃｎ Ｇｒａｐｈｉｃｓ社）が開発し
た、３次元グラフィツクスハードウェアのために用意さ
れたソフトウェアインターフェイス。主にレンダリング
処理に用いられ、用意されたライブラリを用いることに
よりＺバッファによる描画やＺ値の取得を行なう事も出
来る。[Explanation of Terms] Next, terms used in the following embodiments will be explained. 1. Shot image An image of the subject. 2. Viewpoint information The position and orientation of the camera when the subject was photographed. Here, they are used interchangeably with camera parameters. 3. Camera parameters The camera position and the direction to the subject when the subject is photographed. However, in the present embodiment, it is assumed that the lens distortion of the camera at the time of shooting is completely absent, and if it is not, it must be considered as a camera parameter. 4. Projection line A straight line that connects the viewpoint position of the captured image and the target position of the captured image or the restored shape. 5. Colored pixels Colored hexagonal pixels. 6. Colorless pixels Hexagonal pixels that are not colored. 7. Z buffer method One of the methods of hidden surface removal (processing to detect an object or surface hidden by an object in front of the line of sight so as not to draw) in three-dimensional computer graphics. Each pixel of the screen is given color information as well as depth information, and when drawing on the screen, the depth information (Z value) from the viewpoint of the same coordinates is compared, and only the one that is closest to Technique to write on the screen. A memory area for depth information used in this method is called a Z buffer. 8. A software interface developed by OPenGL SGI (Silicin Graphics, Inc.) for 3D graphics hardware. It is mainly used for rendering processing, and it is also possible to perform drawing by the Z buffer and acquisition of Z value by using a prepared library.
【００３２】［第１の実施形態］図１は、本発明の第１
の実施形態による装置構成図である。本装置は、同一被
写体を多数の視点方向から撮影した複数枚の画像及びそ
れらの視点情報を入力情報とし、その被写体の概略形状
を復元し、さらにその形状表面に座標及び視点に応じた
入力画像の色情報を付加する３次元画像情報生成装置で
ある。[First Embodiment] FIG. 1 shows a first embodiment of the present invention.
FIG. 3 is a device configuration diagram according to the embodiment of FIG. This device uses a plurality of images of the same subject photographed from multiple viewpoint directions and their viewpoint information as input information, restores the general shape of the subject, and further the input image according to coordinates and viewpoints on the shape surface. It is a three-dimensional image information generation device for adding color information of.
【００３３】図１において、１１は同一被写体を多数の
視点方向から撮影した複数枚の画像及びそれらの視点情
報を入力情報とし、上記撮影画像のうちの被写体の全形
が撮影されている画像複数枚をシルエット画像として選
択し、そのシルエット情報を用いて、被写体の概略形状
を微少領域の集合として復元する概略形状生成部であ
る。１２は復元された形状情報に撮影画像の色情報を付
加するための六角形画像の大きさ及び形状と六角形画像
を構成する六角形画素と撮影画像との対応付けを決定す
る六角形画像決定部である。１３は前記決定された六角
形画像を形状表面上の全微少領域に割当て、その微少領
域毎に、撮影画像の視点と微少領域を結ぶ視線と撮影画
像との交点上の撮影画像の色を、対応する六角形画素に
割当てる色情報付加部である。１４は色情報付加部１３
において色が割当てられなかった六角形画素について、
隣接六角形画素の色を用いて色を決定する無色画素色決
定部である。１５は前記六角形画素で構成される全ての
六角形画像を二次元配列の画像データに変換し、それら
画像データを１枚ないしは複数枚の画像データにマージ
する二次元配列画像変換合成部である。１６は後段の各
部で処理を行ったり最終結果を出力したりするために、
入力情報や各部での処理結果（概略形状生成部１１の形
状情報、六角形画像決定部１２の六角形画像情報、色情
報付加部１３の六角形画像情報、無色画素色決定部１４
の六角形画像情報、及び二次元配列画像変換合成部の二
次元配列画像情報）を記憶する情報記憶部である。本装
置は以上の各部で構成される。In FIG. 1, reference numeral 11 designates a plurality of images of the same subject photographed from a number of viewpoint directions and a plurality of images in which the whole shape of the subject among the photographed images is photographed, using the viewpoint information as input information. This is a schematic shape generation unit that selects a single sheet as a silhouette image and uses the silhouette information to restore the rough shape of the subject as a set of microscopic regions. Reference numeral 12 is a hexagonal image determination for determining the correspondence between the size and shape of the hexagonal image for adding the color information of the captured image to the restored shape information and the hexagonal pixels forming the hexagonal image and the captured image. It is a department. 13 assigns the determined hexagonal image to all the microscopic regions on the surface of the shape, and for each of the microscopic regions, the color of the captured image on the intersection of the visual line connecting the viewpoint of the captured image and the microscopic region and the captured image, It is a color information addition unit assigned to the corresponding hexagonal pixel. 14 is a color information adding unit 13
For hexagonal pixels that were not assigned a color in
A colorless pixel color determination unit that determines a color by using the colors of adjacent hexagonal pixels. Reference numeral 15 denotes a two-dimensional array image conversion / synthesis unit that converts all hexagonal images composed of the hexagonal pixels into two-dimensional array image data and merges the image data into one or more image data. . 16 is for processing in each part of the latter stage and outputting the final result,
Input information and processing results in each section (shape information of rough shape generation section 11, hexagonal image information of hexagonal image determination section 12, hexagonal image information of color information addition section 13, colorless pixel color determination section 14
Of the hexagonal image information and the two-dimensional array image information of the two-dimensional array image conversion / synthesis unit). This device is composed of the above parts.
【００３４】図２は上記の装置における処理の流れを示
すフローチャートである。図２では被写体形状をシルエ
ット法によって求めた微少なポリゴンの集合で表わし、
その頂点を微少領域とみなし、各撮影画像からの色づけ
を行なう実施形態を挙げる。また、本実施形態では、六
角形画像の分割の階層レベルは撮影画像の視点位置によ
り自動で決める。FIG. 2 is a flow chart showing the flow of processing in the above apparatus. In Fig. 2, the subject shape is represented by a set of minute polygons obtained by the silhouette method,
An embodiment will be given in which the apex is regarded as a minute area and coloring is performed from each captured image. Further, in the present embodiment, the hierarchical level of division of the hexagonal image is automatically determined according to the viewpoint position of the captured image.
【００３５】まず、シルエット法により形状復元を行な
う（ステップ２１）。ここでは、まず撮影画像の中から
被写体の全形が撮影されている画像複数枚をシルエット
画像として選択し、被写体の写っている領域をシルエッ
ト領域とする（図９）。次に、初期値として与えられて
いるボクセル空間を８つに等分割し、分割後のボクセル
が持つ８頂点と各シルエット画像の視点とを結ぶ投影線
を作成する。その後、投影線と各シルエット画像との交
点を求め、さらにそれら交点座標が各シルエット画像上
で作るバウンディングボックスを求める。全てのシルエ
ット画像において、このバウンディングボックスの内部
領域が、シルエット領域とそれ以外の領域を含む場合、
投影元となったボクセルが被写体の概略形状の境界上に
あると判定する。この、境界上にあると判定されたボク
セル（境界ボクセル）のみを８つに等分割し、頂点から
の投影により再判定する、ということを繰り返し行なう
と、徐々に境界ボクセルが小さくなり、被写体の実際の
大きさ、形状に近い概略形状を境界ボクセルの集合とし
て得ることができる（図１７）。例えば、一辺１ｍｍの
ボクセルが得られるまで判定、８分割を繰り返せば解像
度が１ｍｍの概略形状を得ることが出来る。First, the shape is restored by the silhouette method (step 21). Here, first, a plurality of images in which the entire shape of the subject is photographed are selected from the photographed images as silhouette images, and the region in which the subject is photographed is set as the silhouette region (FIG. 9). Next, the voxel space given as the initial value is equally divided into eight, and a projection line connecting the eight vertices of the divided voxels and the viewpoint of each silhouette image is created. After that, the intersections of the projection line and each silhouette image are obtained, and further, the bounding box formed by the coordinates of these intersections on each silhouette image is obtained. In all silhouette images, if the inner area of this bounding box includes the silhouette area and other areas,
It is determined that the voxel that is the projection source is on the boundary of the rough shape of the subject. If this voxel that has been determined to be on the boundary (boundary voxel) is equally divided into eight parts and then re-determined by projecting from the vertices, the boundary voxel gradually decreases, and A rough shape close to the actual size and shape can be obtained as a set of boundary voxels (FIG. 17). For example, it is possible to obtain a rough shape with a resolution of 1 mm by repeating the determination and division into 8 pieces until a voxel with a side of 1 mm is obtained.
【００３６】次のステップ２２では、このようにして得
られたボクセルの中心点同士を結ぶことにより、被写体
の概略形状表面を微少なポリゴンの集合として表わす
（図１８）。In the next step 22, by connecting the center points of the voxels thus obtained, the rough shape surface of the subject is represented as a set of minute polygons (FIG. 18).
【００３７】ステップ２３では、各頂点に与える六角形
画像の形状、大きさ、を決定するとともに、撮影画像と
六角形画素を対応付ける。本ステップでは、まずバッキ
ーボールを、その中心が前ステップで復元した形状の中
心と一致するように仮想的に配置する。次に、撮影画像
の視点と座標原点を結ぶ線とバッキーボール表面との交
点の座標を算出し、その交点座標を平面展開した六角形
画像上の座標に変換する。次に、ひとつの六角形内に存
在する交点がひとつとなるまで、図１６の規則に従い、
六角形画像を階層的に分割する。次に、生成された六角
形画素とそれへの交点を持つ撮影画像との対応関係を記
憶する。最後に、ステップ２１において復元した概略形
状の頂点数分の六角形画像の配列を確保する。ここで、
各六角形画像は上で求めた形状、及び大きさを持つ。In step 23, the shape and size of the hexagonal image given to each vertex are determined, and the photographed image and the hexagonal pixel are associated with each other. In this step, first, the bucky ball is virtually arranged so that its center coincides with the center of the shape restored in the previous step. Next, the coordinates of the intersection of the line connecting the viewpoint of the captured image and the coordinate origin and the surface of the buckyball are calculated, and the coordinates of the intersection are converted into the coordinates on the hexagonal image developed in the plane. Next, according to the rule of FIG. 16, until there is only one intersection existing in one hexagon,
Divide the hexagonal image hierarchically. Next, the correspondence between the generated hexagonal pixel and the captured image having the intersection point is stored. Finally, the array of hexagonal images for the number of vertices of the general shape restored in step 21 is secured. here,
Each hexagonal image has the shape and size obtained above.
【００３８】次のステップ２４では、図３に示したアル
ゴリズムにより、全頂点に対し、直接見える撮影画像か
らの色を、ステップ２３の最後に配列確保した各頂点用
の六角形画素に割当てていく。ここではステップ３３に
おいて、各撮影画像を仮想的な画面とみなし、撮影画像
上にステップ２１で復元した概略形状を、ＯｐｅｎＧＬ
によるＺバッファ法を適用して仮想的に描画することに
より撮影画像上の画素のＺ値を求める。次に、得られた
Ｚ値と復元概略形状上の各頂点と、その投影線と撮影画
像間の交点との距離を比較し、それが画像上のＺ値と等
しければ、その頂点は撮影画像から可視であると判定す
る（ステップ３６）、ある撮影画像から可視であると判
定された頂点には、その頂点からの投影線と撮影画像の
交差する画素の色を、ステップ２４で求めた関係に基づ
いた六角形画素に割当てる（ステップ３７）。ここで色
を割当てられた画素が有色画素となる。In the next step 24, by the algorithm shown in FIG. 3, the color from the directly visible photographed image is assigned to all the vertices to the hexagonal pixels for each vertex secured at the end of step 23. . Here, in step 33, each captured image is regarded as a virtual screen, and the outline shape restored in step 21 is displayed on the captured image as OpenGL.
The Z value of the pixel on the photographed image is obtained by applying the Z buffer method according to the above method and virtually drawing. Next, the obtained Z value and each vertex on the restored outline shape are compared with the distance between the projection line and the intersection between the captured images, and if it is equal to the Z value on the image, the vertex is the captured image. Is determined to be visible (step 36), the vertex determined to be visible from a certain captured image has the relationship between the color of the pixel intersecting the projection line from the vertex and the captured image obtained in step 24. To the hexagonal pixels based on (step 37). Pixels to which colors are assigned here are colored pixels.
【００３９】ステップ２５では、各六角形画像に対し
て、以下を無色画素がひとつもなくなるまで行なう（図
４）。まず、画像内の全ての無色画素を抽出し、その無
色画素を有色画素との隣接数の降順にソートする（ステ
ップ４２，４３）。結果のキューのトップの画素をｑ
topとすると、ｑtopを隣接する有色画素の色平均とす
る。ただし、六角形画像の境界上の六角形画素について
は、もとのバッキーボール上で隣接する画素を考慮して
補間を行なう。ｑtopに隣接する無色画素があれば、無
色画素の隣接数を変更し、キューを再ソートし、トップ
の色を補間により決定する。ここで、ステップ４４で
は、隣接有色画素の色の平均値を補間の色とする。In step 25, for each hexagonal image, the following is performed until there are no colorless pixels (FIG. 4). First, all colorless pixels in the image are extracted, and the colorless pixels are sorted in descending order of the number of adjacent colored pixels (steps 42 and 43). Q the top pixel of the resulting queue
When top, the color average of the colored pixels adjacent the q top. However, for hexagonal pixels on the boundary of the hexagonal image, interpolation is performed in consideration of adjacent pixels on the original buckyball. If there are adjacent colorless pixels in q top , the number of adjacent colorless pixels is changed, the queue is re-sorted, and the top color is determined by interpolation. Here, in step 44, the average value of the colors of the adjacent colored pixels is set as the interpolation color.
【００４０】次に、図１４での変換規則に則り、全頂点
の六角形画像を通常の２次元配列の画像に変換した後
（ステップ２６）、ステップ２７でそれらの画像を１枚
ないしは複数枚の画像データとしてマージする。マージ
は頂点番号順に六角形画像を並べることにより行なう。Next, according to the conversion rule in FIG. 14, after converting the hexagonal images of all the vertices into an image of a normal two-dimensional array (step 26), at step 27, one or a plurality of such images are converted. Merge as image data of. The merging is performed by arranging hexagonal images in the order of vertex numbers.
【００４１】［第２の実施形態］図５は、本発明の第２
の実施形態による装置構成図である。本装置は、第１の
実施形態において、マージ後の画像データを圧縮する画
像圧縮部５６を備えたものであり、概略形状生成部５
１、六角形画像決定部５２、色情報付加部５３、無色画
素色決定部５４、二次元配列画像変換合成部５５は、図
１における概略形状生成部１１、六角形画像決定部１
２、色情報付加部１３、無色画素色決定部１４、二次元
配列画像変換合成部１５と同様のものである。ただし、
情報記憶部５７は、図１の情報記憶部１７に加えて、画
像圧縮部５６で圧縮された画像データをも記憶する。[Second Embodiment] FIG. 5 shows a second embodiment of the present invention.
FIG. 3 is a device configuration diagram according to the embodiment of FIG. This apparatus includes the image compression unit 56 that compresses the image data after merging in the first embodiment.
1, the hexagonal image determining unit 52, the color information adding unit 53, the colorless pixel color determining unit 54, and the two-dimensional array image converting / synthesizing unit 55 are the general shape generating unit 11 and the hexagonal image determining unit 1 in FIG.
2, the same as the color information addition unit 13, the colorless pixel color determination unit 14, and the two-dimensional array image conversion / synthesis unit 15. However,
The information storage unit 57 also stores the image data compressed by the image compression unit 56, in addition to the information storage unit 17 of FIG.
【００４２】また、上記構成により実現される本実施形
態の処理の流れでは、第１の実施形態でのフローに加
え、生成画像データの圧縮を行なうステップを有する。
フローチャートを図６に示す。本実施形態におけるポリ
ゴンデータ化（ステップ６２）、色情報付加（ステップ
６４）及び二次元配列画像変換のアルゴリズム（ステッ
プ６６）は第１の実施形態におけるステップ２２，２
４，２６とそれぞれ同じであるとする。Further, the processing flow of the present embodiment realized by the above configuration has a step of compressing generated image data in addition to the flow of the first embodiment.
The flowchart is shown in FIG. The polygon data conversion (step 62), color information addition (step 64), and two-dimensional array image conversion algorithm (step 66) in this embodiment are the same as in steps 22 and 2 in the first embodiment.
It is assumed that they are the same as 4 and 26, respectively.
【００４３】ステップ６１でもステップ２１同様、シル
エット法により形状復元を行なう。ここでも、まず撮影
画像の中から被写体の全形が撮影されている画像複数枚
をシルエット画像として選択し、被写体の写っている領
域をシルエット領域とする（図９）。次に、初期値とし
て与えられているボクセル空間を８つに等分割し、分割
後のボクセルが持つ８頂点と各シルエット画像の視点と
を結ぶ投影線を作成する。その後、投影線と各シルエッ
ト画像との交点を求める。各シルエット画像に対する８
つの交点座標が、シルエット領域内と領域外の双方に分
散しているかどうかを調べる。全シルエット画像に対し
て分散している場合、投影元となったボクセルを第１の
実施形態における境界ボクセルと同じとみなす。この判
定法とボクセルの８分割の繰り返しにより、第１の実施
形態同様、被写体の概略形状を境界ボクセルの集合とし
て得る。ただし本実施形態の場合は、境界ボクセルの判
定法が、ボクセル頂点からの投影線との変点座標のシル
エット領域との内外判定のみであり、例えばボクセル領
域内に被写体の小さな凸部が入り込んでいたりすると、
投影線の交点はすべてシルエット領域外にあると判定さ
れてしまい、得られる概略形状の表面が穴が空いたよう
に欠損してしまう場合がある。その場合には、欠損部の
境界上にあるボクセルに隣接するように最小の大きさの
ボクセルを付加し、その付加したボクセルの境界ボクセ
ル判定を行ない、境界ボクセルのみを残していく、とい
うことを欠損部がなくなるまで繰り返すことにより、閉
じた概略形状表面を得る。In step 61 as in step 21, the shape is restored by the silhouette method. Also in this case, first, a plurality of images in which the entire shape of the subject is photographed are selected from the photographed images as silhouette images, and the region in which the subject is photographed is set as the silhouette region (FIG. 9). Next, the voxel space given as the initial value is equally divided into eight, and a projection line connecting the eight vertices of the divided voxels and the viewpoint of each silhouette image is created. Then, the intersection of the projection line and each silhouette image is obtained. 8 for each silhouette image
Check whether the coordinates of one intersection are distributed both inside and outside the silhouette area. When the voxels that are the projection source are dispersed for all the silhouette images, they are regarded as the same as the boundary voxels in the first embodiment. By repeating this determination method and eight divisions of voxels, the rough shape of the subject is obtained as a set of boundary voxels as in the first embodiment. However, in the case of the present embodiment, the boundary voxel determination method is only the inside / outside determination with respect to the silhouette line of the inflection coordinates with the projection line from the voxel vertex, and for example, a small convex part of the subject enters the voxel region. When you go,
It may be determined that all the intersections of the projection lines are outside the silhouette area, and the surface of the obtained approximate shape may be missing like a hole. In that case, add the minimum size voxel so as to be adjacent to the voxel on the boundary of the missing part, perform the boundary voxel judgment of the added voxel, and leave only the boundary voxel. By repeating until there are no defects, a closed rough surface is obtained.
【００４４】ステップ６３では、ステップ２３と同様
に、各頂点に与える六角形画像の形状、大きさ、を決定
するとともに、撮影画像と六角形画像を対応付ける。本
ステップにおいても、まずバッキーボールを、その中心
が前ステップで復元した形状の中心と一致するように仮
想的に配置する。次に、撮影画像の視点と座標原点を清
ぶ線とバッキーボール表面との交点の座標を算出し、そ
の交点座標を平面展開した六角形画像上の座標に変換す
る。次に、パラメータにより指定された階層まで、図１
６の規則に従い六角形画像を分割する。分割結果のひと
つの六角形画素上にふたつ以上の交点が存在している場
合は、最も六角形の中心座標に近いもののみ残す。次
に、生成された六角形画素とそれへの交点を持つ撮影画
像との対応関係を記憶する。最後に、ステップ２１にお
いて復元した概略形状の頂点数分の六角形画像の配列を
確保する。ここで、各六角形画像は上で求めた形状、及
び大大きさを持つ。In step 63, similarly to step 23, the shape and size of the hexagonal image given to each vertex are determined, and the photographed image and the hexagonal image are associated with each other. Also in this step, first, the bucky ball is virtually arranged so that its center coincides with the center of the shape restored in the previous step. Next, the coordinates of the intersection of the line that cleans the viewpoint of the captured image and the coordinate origin and the surface of the buckyball are calculated, and the coordinates of the intersection are converted into the coordinates on the hexagonal image developed in the plane. Next, as shown in FIG.
The hexagonal image is divided according to the rule of 6. When there are two or more intersection points on one hexagonal pixel of the division result, only the one closest to the center coordinate of the hexagon is left. Next, the correspondence between the generated hexagonal pixel and the captured image having the intersection point is stored. Finally, the array of hexagonal images for the number of vertices of the general shape restored in step 21 is secured. Here, each hexagonal image has the shape and the large size obtained above.
【００４５】ステップ６５での補間のアルゴリズムは図
４と同じだが、ステップ４４において求める画素の色
は、該当無色画素の中心座標に最も近い交点座標を持つ
隣接有色画素の色、とする。また、ステップ６７での画
像のマージ方法は、画像データを、頂点色の分散が閾値
以上のものと以下のものとの二種類に分類し、それぞれ
頂点番号順に並べる。閾値以上の画像については非圧縮
のままにし、閾値以下の画像についてはステップ６８に
おいてｊｐｅｇによる圧縮を行なう。The interpolation algorithm in step 65 is the same as that in FIG. 4, but the color of the pixel obtained in step 44 is the color of the adjacent colored pixel having the intersection coordinates closest to the center coordinates of the corresponding colorless pixel. Further, in the image merging method in step 67, the image data is classified into two types, that is, the one in which the variance of vertex colors is equal to or more than the threshold value, and the one in which the variance is equal to or less than the threshold value. Images above the threshold are left uncompressed, and images below the threshold are compressed by jpeg in step 68.
【００４６】尚、以上の実施形態において、それぞれ全
ての適用範囲はこれに限定されるものではない。例え
ば、第１の実施形態におけるステップ２１でのシルエッ
ト法を第２の実施形態におけるステップ６１でのシルエ
ット法にも適用することも考えられるし、その逆も有り
得る。また例えば、第１の実施形態におけるステップ４
４での補間方法を第２の実施形態における補間方法にも
適用することも考えられるし、その逆も有り得る。さら
に隣接有色画素の色の中からの任意の一色とすることも
考えられる。また、第１の実施形態における画像のマー
ジ方法を第２の実施形態において適用することも考えら
れるし、頂点色の平均値が近いものから順番にマージし
ていく手法も考えられる。一方、ステップ２７や６７に
おけるマージ後の画像データの形状についても、頂点毎
の六角形画像の大きさと頂点数から面積を推定し、正方
形に近い縦横比の形状を持つような画像データが得られ
るようにすることも考えられる。また、ステップ６８に
おける圧縮もベクトル量子化を始めとする他の圧縮手法
を適用することも考えられる。In the above embodiments, all applicable ranges are not limited to this. For example, the silhouette method in step 21 in the first embodiment may be applied to the silhouette method in step 61 in the second embodiment, and vice versa. Further, for example, step 4 in the first embodiment
It is also possible to apply the interpolation method in 4 to the interpolation method in the second embodiment, and vice versa. Further, it may be considered to be an arbitrary color from the colors of the adjacent colored pixels. It is also possible to apply the image merging method of the first embodiment to the second embodiment, and a method of merging images in order of closer average vertex colors may be considered. On the other hand, regarding the shape of the image data after merging in steps 27 and 67, the area is estimated from the size and the number of vertices of the hexagonal image for each vertex, and image data having a shape with an aspect ratio close to a square is obtained. It is also possible to do so. It is also possible to apply another compression method such as vector quantization to the compression in step 68.
【００４７】［他の実施形態］図７を参照すると、本発
明の他の実施形態の３次元画像情報生成装置は入力装置
７１と記憶装置７２，７３と出力装置７４と記録媒体７
５とデータ処理装置７６で構成されている。[Other Embodiments] Referring to FIG. 7, a three-dimensional image information generating apparatus according to another embodiment of the present invention includes an input device 71, storage devices 72 and 73, an output device 74, and a recording medium 7.
5 and a data processing device 76.
【００４８】入力装置７１は撮影情報、視点情報を入力
するためのものである。記録装置７２は図１中の情報記
憶部１６に対応する。記憶装置７３はハードディスクで
ある。出力装置７４は生成された３次元画像情報を表示
したり、印刷したりする。記録媒体７５は以上の各実施
形態で述べた処理からなる３次元画像情報生成プログラ
ムが記録されている、ＦＤ（フロッピィディスク（登録
商標））、ＣＤ−ＲＯＭ等の記録媒体である。データ処
理装置７６は記録媒体７５から３次元画像情報生成プロ
グラムを読み込んで、これを実行するＣＰＵ（コンピュ
ータ）である。The input device 71 is for inputting photographing information and viewpoint information. The recording device 72 corresponds to the information storage unit 16 in FIG. The storage device 73 is a hard disk. The output device 74 displays or prints the generated three-dimensional image information. The recording medium 75 is a recording medium such as an FD (Floppy Disk (registered trademark)) or a CD-ROM in which the three-dimensional image information generation program including the processing described in each of the above embodiments is recorded. The data processing device 76 is a CPU (computer) that reads a three-dimensional image information generation program from the recording medium 75 and executes the program.
【００４９】尚、３次元画像情報生成プログラムは、図
１や図５で示した装置における各部の一部もしくは全部
の機能をコンピュータで実行するためのプログラムとし
て構成したもの、あるいは、図２〜４や図６で示した処
理のステップをコンピュータで実行するためのプログラ
ムとして構成したものである。この３次元画像情報生成
プログラムは、上記のようなコンピュータが読み取りで
きる記録媒体に記録することによって、保存したり、配
布したり、提供したりすることが可能であるとともに、
インターネットや電子メールなど、ネットワークを通し
て配布したり提供したりすることも可能である。The three-dimensional image information generation program is configured as a program for causing a computer to execute a part or all of the functions of each unit in the apparatus shown in FIGS. 1 and 5, or FIGS. Or a program for executing the steps of the processing shown in FIG. 6 by a computer. This three-dimensional image information generation program can be stored, distributed, or provided by being recorded in a computer-readable recording medium as described above.
It can also be distributed or provided through a network such as the Internet or email.
【００５０】[0050]
【発明の効果】以上説明したように、本発明では、
１．同一の撮影画像から形状復元と色情報抽出の両方を
行なうので復元形状と画像の合わせ込みの必要がなく、
短時間でデータが生成できる。
２．六角形画像を用いることにより、全方位からの色デ
ータを扱いが楽な少数枚の画像データとして得ることが
できる。
３．そのためデータの圧縮に従来の画像圧縮アルゴリズ
ムを適用できる。以上のような効果が得られる。As described above, according to the present invention, 1. Since both shape restoration and color information extraction are performed from the same captured image, there is no need to match the restored shape and image,
Data can be generated in a short time. 2. By using a hexagonal image, color data from all directions can be obtained as a small number of image data that is easy to handle. 3. Therefore, the conventional image compression algorithm can be applied to the data compression. The above effects are obtained.
【図面の簡単な説明】[Brief description of drawings]
【図１】本発明の第１の実施形態の３次元画像情報生成
装置の構成図である。FIG. 1 is a configuration diagram of a three-dimensional image information generation device according to a first embodiment of the present invention.
【図２】本発明の第１の実施形態における全体の処理の
流れを示すフローチャートである。FIG. 2 is a flowchart showing a flow of overall processing according to the first embodiment of the present invention.
【図３】本発明の第１の実施形態における六角形画素の
色づけの流れを示すフローチャートである。FIG. 3 is a flowchart showing a flow of coloring hexagonal pixels according to the first embodiment of the present invention.
【図４】本発明の第１の実施形態における補間の流れを
示すフローチャートである。FIG. 4 is a flowchart showing a flow of interpolation in the first embodiment of the present invention.
【図５】本発明の第２の実施形態の３次元画像情報生成
装置の構成図である。FIG. 5 is a configuration diagram of a three-dimensional image information generation device according to a second embodiment of the present invention.
【図６】本発明の第２の実施形態における全体の処理の
流れを示すフローチャートである。FIG. 6 is a flowchart showing the flow of overall processing according to the second embodiment of the present invention.
【図７】本発明の他の実施形態の３次元画像情報生成装
置の構成図である。FIG. 7 is a configuration diagram of a three-dimensional image information generation device according to another embodiment of the present invention.
【図８】本発明の位置付け、及び本発明において生成す
るデータの概念図である。FIG. 8 is a conceptual diagram of the positioning of the present invention and data generated in the present invention.
【図９】シルエット法の原理を示す概念図である。FIG. 9 is a conceptual diagram showing the principle of the silhouette method.
【図１０】六角形画像及び六角形画素の説明図である。FIG. 10 is an explanatory diagram of a hexagonal image and hexagonal pixels.
【図１１】バッキーボールの概念を表わす説明図であ
る。FIG. 11 is an explanatory diagram showing the concept of a bucky ball.
【図１２】バッキーボールを二次元平面展開した図であ
る。FIG. 12 is a two-dimensional plane expanded view of a bucky ball.
【図１３】図１２の正五角形を正六角形に置換した図で
ある。FIG. 13 is a diagram in which the regular pentagon of FIG. 12 is replaced with a regular hexagon.
【図１４】六角形画像を二次元配列の画像データに変換
する図である。FIG. 14 is a diagram of converting a hexagonal image into image data of a two-dimensional array.
【図１５】三次元仮想空間におけるバッキーボールと撮
影画像の中心座標と視点を結ぶ投影線との交点を求める
概念図である。FIG. 15 is a conceptual diagram for obtaining an intersection between a buckyball in a three-dimensional virtual space, a center coordinate of a captured image, and a projection line connecting a viewpoint.
【図１６】六角形画像の階層分割の概念図である。FIG. 16 is a conceptual diagram of hierarchical division of a hexagonal image.
【図１７】シルエット法（第１の実施形態でのステップ
２１、第２の実施形態でのステップ６１）における、ボ
クセル空間の８分割を表わす概念図である。FIG. 17 is a conceptual diagram showing eight divisions of a voxel space in the silhouette method (step 21 in the first embodiment, step 61 in the second embodiment).
【図１８】第１の実施形態でのステップ２２、ポリゴン
データ化における、ポリゴンデータ生成手法を表わす概
念図である。FIG. 18 is a conceptual diagram showing a polygon data generation method in step 22, polygon data conversion in the first embodiment.
１１…概略形状生成部 １２…六角形画像決定部 １３…色情報付加部 １４…無色画素色決定部 １５…二次元配列画像変換合成部 １６…情報記憶部 ２１〜２７，３１〜３７，４１〜４４…ステップ ５１…概略形状生成部 ５２…六角形画像決定部 ５３…色情報付加部 ５４…無色画素色決定部 ５５…二次元配列画像変換合成部 ５６…画像圧縮部 ５７…情報記憶部 ６１〜６８…ステップ ７１…入力装置 ７２…記憶装置 ７３…記憶装置 ７４…出力装置 ７５…記録媒体 ７６…データ処理装置 11 ... Schematic shape generation unit 12 ... Hexagonal image determination unit 13 ... Color information addition unit 14 ... Colorless pixel color determination unit 15 ... Two-dimensional array image conversion / synthesis unit 16 ... Information storage unit 21-27, 31-37, 41-44 ... Step 51 ... Schematic shape generation unit 52 ... Hexagonal image determination unit 53 ... Color information addition unit 54 ... Colorless pixel color determination unit 55 ... Two-dimensional array image conversion / synthesis unit 56 ... Image compression unit 57 ... Information storage unit 61-68 ... Step 71 ... Input device 72 ... Storage device 73 ... Storage device 74 ... Output device 75 ... Recording medium 76 ... Data processing device
フロントページの続き (72)発明者 北沢 仁志 東京都千代田区大手町二丁目３番１号 日 本電信電話株式会社内 Ｆターム(参考） 5B050 BA09 DA04 DA07 EA09 EA10 EA27 EA28 EA30 FA05 5B057 BA11 CA01 CA12 CB01 CB13 CE16 CG01 DA17 DB03 DB06 5B080 BA01 BA02 BA04 BA05 FA02 FA15 GA22 Continued front page (72) Inventor Hitoshi Kitazawa 2-3-1, Otemachi, Chiyoda-ku, Tokyo Inside Telegraph and Telephone Corporation F-term (reference) 5B050 BA09 DA04 DA07 EA09 EA10 EA27 EA28 EA30 FA05 5B057 BA11 CA01 CA12 CB01 CB13 CE16 CG01 DA17 DB03 DB06 5B080 BA01 BA02 BA04 BA05 FA02 FA15 GA22
Claims (6)
た複数枚の撮影画像及びそれらの視点情報を入力とし、
その被写体の概略形状を復元し、さらにその形状表面に
視点に応じた撮影画像の色情報を付加する３次元画像情
報生成方法であって、 前記撮影画像のうちの被写体の全形が撮影されている画
像複数枚をシルエット画像として選択し、そのシルエッ
ト情報を用いて、被写体の概略形状を微少領域の集合と
して復元する段階と、 前記復元された概略形状に撮影画像の色情報を付加する
ための六角形画像の大きさ及び形状と六角形画像を構成
する六角形画素と撮影画像との対応付けを決定する段階
と、 前記対応付けを決定する段階で求めた六角形画像を形状
表面上の全微少領域に割当て、その微少領域毎に、撮影
画像の視点と微少領域を結ぶ投影線と撮影画像との交点
上の色を、対応する六角形画素に割当てる段階と、 前記割当てる段階において色が割当てられなかった六角
形画素について、隣接六角形画素の色を用いて色を決定
する段階と、 前記六角形画素で構成される全ての六角形画像を二次元
配列の画像データに変換し、それら画像データを１枚な
いしは複数枚の画像データにマージする段階とを有する
ことを特徴とする３次元画像情報生成方法。1. Inputting a plurality of photographed images of the same subject photographed from a plurality of viewpoint directions and their viewpoint information,
A three-dimensional image information generation method for restoring the general shape of the subject and further adding color information of the photographed image according to the viewpoint to the surface of the shape, wherein the whole shape of the subject in the photographed image is photographed. Selecting a plurality of images as silhouette images and using the silhouette information to restore the general shape of the subject as a set of microscopic areas; and for adding color information of the captured image to the restored general shape. Determining the correspondence between the size and shape of the hexagonal image and the hexagonal pixels forming the hexagonal image and the captured image; and the hexagonal image obtained in the step of determining the correspondence, Allocating to a minute area, for each minute area, allocating the color on the intersection of the projected line connecting the viewpoint of the photographic image and the minute area and the photographic image to the corresponding hexagonal pixel, and the step of allocating For hexagonal pixels to which no color has been assigned, a step of determining a color using the colors of adjacent hexagonal pixels, and converting all the hexagonal images composed of the hexagonal pixels into image data of a two-dimensional array. And a step of merging the image data with one or a plurality of pieces of image data.
画像データを圧縮する段階を有することを特徴とする請
求項１記載の３次元画像情報生成方法。2. The three-dimensional image information generating method according to claim 1, further comprising a step of compressing the merged image data after the merging step.
た複数枚の撮影画像及びそれらの視点情報を入力とし、
その被写体の概略形状を復元し、さらにその形状表面に
視点に応じた撮影画像の色情報を付加する３次元画像情
報生成装置であって、 前記撮影画像のうちの被写体の全形が撮影されている画
像複数枚をシルエット画像として選択し、そのシルエッ
ト情報を用いて、被写体の概略形状を微少領域の集合と
して復元する概略形状生成手段と、 前記復元された形状情報に撮影画像の色情報を付加する
ための六角形画像の大きさ及び形状と六角形画像を構成
する六角形画素と撮影画像との対応付けを決定する六角
形画像情報決定手段と、 前記決定された六角形画像を形状表面上の全微少領域に
割当て、その微少領域毎に、撮影画像の視点と微少領域
を結ぶ視線と撮影画像との交点上の撮影画像の色を、対
応する六角形画素に割当てる色情報付加手段と、 前記色情報付加手段において色が割当てられなかった六
角形画素について、隣接六角形画素の色を用いて色を決
定する無色画素色決定手段と、 前記六角形画素で構成される全ての六角形画像を二次元
配列の画像データに変換し、それら画像データを１枚な
いしは複数枚の画像データにマージする二次元配列画像
変換合成手段とを有することを特徴とする３次元画像情
報生成装置。3. A plurality of photographed images of the same subject photographed from a plurality of viewpoint directions and their viewpoint information are input.
A three-dimensional image information generation device that restores the general shape of the subject and further adds color information of the photographed image according to the viewpoint to the surface of the shape, wherein the entire shape of the subject in the photographed image is photographed. Selecting a plurality of images as silhouette images, and using the silhouette information, a rough shape generating means for restoring the rough shape of the subject as a set of microscopic areas; and adding color information of the photographed image to the restored shape information. Hexagonal image information determining means for determining the correspondence between the size and shape of the hexagonal image and the hexagonal pixels forming the hexagonal image and the captured image, and the determined hexagonal image on the shape surface. Color information adding means for allocating the color of the photographed image on the intersection of the line of sight connecting the viewpoint of the photographed image and the minute region and the photographed image to the corresponding hexagonal pixel for each of the minute regions. A hexagonal pixel to which no color is assigned in the color information adding means, a colorless pixel color determining means for determining a color using the color of an adjacent hexagonal pixel, and all hexagonal pixels configured by the hexagonal pixel. A three-dimensional image information generation device, comprising: a two-dimensional array image conversion / combination means for converting an image into two-dimensional array image data and merging the image data into one or a plurality of image data.
ジされた後の画像データを圧縮する圧縮手段を有するこ
とを特徴とする請求項３記載の３次元画像情報生成装
置。4. The three-dimensional image information generation apparatus according to claim 3, further comprising a compression unit that compresses the image data that has been merged by the two-dimensional array image conversion and synthesis unit.
生成方法における段階を、コンピュータに実行させるた
めのプログラムとしたことを特徴とする３次元画像情報
生成プログラム。5. A three-dimensional image information generation program, wherein the steps in the three-dimensional image information generation method according to claim 1 or 2 are a program for causing a computer to execute.
生成方法における段階を、コンピュータに実行させるた
めのプログラムとし、 前記プログラムを、前記コンピュータが読み取りできる
記録媒体に記録したことを特徴とする３次元画像情報生
成プログラムを記録した記録媒体。6. A program for causing a computer to execute the steps in the three-dimensional image information generation method according to claim 1, wherein the program is recorded in a recording medium readable by the computer. A recording medium recording a three-dimensional image information generation program.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001290578A JP2003099800A (en) | 2001-09-25 | 2001-09-25 | Three-dimensional image information producing method, its device, three-dimensional image information producing program, storage medium storing it |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001290578A JP2003099800A (en) | 2001-09-25 | 2001-09-25 | Three-dimensional image information producing method, its device, three-dimensional image information producing program, storage medium storing it |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2003099800A true JP2003099800A (en) | 2003-04-04 |
Family
ID=19112870
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001290578A Pending JP2003099800A (en) | 2001-09-25 | 2001-09-25 | Three-dimensional image information producing method, its device, three-dimensional image information producing program, storage medium storing it |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2003099800A (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100721536B1 (en) | 2005-12-09 | 2007-05-23 | 한국전자통신연구원 | Method for restoring 3-dimension image using silhouette information in 2-dimension image |
| JP2008191072A (en) * | 2007-02-07 | 2008-08-21 | Nippon Telegr & Teleph Corp <Ntt> | Three-dimensional shape restoration method, three-dimensional shape restoring device, three-dimensional shape restoration program implemented with the method, and recording medium with the program stored |
| CN100417833C (en) * | 2004-01-30 | 2008-09-10 | 莱因韦贝尔机械传动有限公司 | Method and device for the production of friction linings |
| US7538774B2 (en) | 2003-06-20 | 2009-05-26 | Nippon Telegraph And Telephone Corporation | Virtual visual point image generating method and 3-d image display method and device |
| WO2023106117A1 (en) * | 2021-12-09 | 2023-06-15 | ソニーグループ株式会社 | Information processing device, information processing method, and program |
-
2001
- 2001-09-25 JP JP2001290578A patent/JP2003099800A/en active Pending
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7538774B2 (en) | 2003-06-20 | 2009-05-26 | Nippon Telegraph And Telephone Corporation | Virtual visual point image generating method and 3-d image display method and device |
| CN100417833C (en) * | 2004-01-30 | 2008-09-10 | 莱因韦贝尔机械传动有限公司 | Method and device for the production of friction linings |
| KR100721536B1 (en) | 2005-12-09 | 2007-05-23 | 한국전자통신연구원 | Method for restoring 3-dimension image using silhouette information in 2-dimension image |
| US7760932B2 (en) | 2005-12-09 | 2010-07-20 | Electronics And Telecommunications Research Institute | Method for reconstructing three-dimensional structure using silhouette information in two-dimensional image |
| JP2008191072A (en) * | 2007-02-07 | 2008-08-21 | Nippon Telegr & Teleph Corp <Ntt> | Three-dimensional shape restoration method, three-dimensional shape restoring device, three-dimensional shape restoration program implemented with the method, and recording medium with the program stored |
| WO2023106117A1 (en) * | 2021-12-09 | 2023-06-15 | ソニーグループ株式会社 | Information processing device, information processing method, and program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4733454B2 (en) | Shell texture function | |
| CN1215443C (en) | Layer representation of three-D body and method and device for drawing said body by utilizing it | |
| US6081269A (en) | Image processing system and method for generating data representing a number of points in a three-dimensional space from a plurality of two-dimensional images of the space | |
| US8432435B2 (en) | Ray image modeling for fast catadioptric light field rendering | |
| US6518963B1 (en) | Method and apparatus for generating patches from a 3D mesh model | |
| US6999073B1 (en) | Method and system for generating fully-textured 3D | |
| Lu et al. | Illustrative interactive stipple rendering | |
| CN108648269A (en) | The monomerization approach and system of three-dimensional building object model | |
| JP5299173B2 (en) | Image processing apparatus, image processing method, and program | |
| KR100738500B1 (en) | Method for bi-layered displacement mapping and protruded displacement mapping | |
| US9508191B2 (en) | Optimal point density using camera proximity for point-based global illumination | |
| US20070262988A1 (en) | Method and apparatus for using voxel mip maps and brick maps as geometric primitives in image rendering process | |
| CN107452048A (en) | The computational methods and device of global illumination | |
| CN113012293A (en) | Stone carving model construction method, device, equipment and storage medium | |
| Zhang et al. | Visibility-guided simplification | |
| JP7038683B2 (en) | Synthesizers, methods and programs | |
| JP2003115042A (en) | Method for evaluating three-dimensional shape model and method and device for generating the model | |
| JP2001022936A (en) | Device for generating three-dimensional shape | |
| WO2022156451A1 (en) | Rendering method and apparatus | |
| JP3971714B2 (en) | Virtual viewpoint image generation method, virtual viewpoint image generation apparatus, virtual viewpoint image generation program, and recording medium | |
| JP3629243B2 (en) | Image processing apparatus and method for rendering shading process using distance component in modeling | |
| JP2003099800A (en) | Three-dimensional image information producing method, its device, three-dimensional image information producing program, storage medium storing it | |
| Frommholz et al. | Inlining 3d reconstruction, multi-source texture mapping and semantic analysis using oblique aerial imagery | |
| US20140267357A1 (en) | Adaptive importance sampling for point-based global illumination | |
| Soh et al. | Texture mapping of 3D human face for virtual reality environments |