KR20230111454A - Create method a panoramic texture image for a rotating body - Google Patents

Abstract

본 발명은 회전체 대상 파노라마 텍스처 이미지 생성 방법에 관한 것이다.
본 발명은 서로 다른 두 가지 고도에서 회전체 주위로 기설정된 간격으로 촬영한 사진들을 입력 영상으로 사용하여 오브젝트의 3차원 외형을 복원하고, 각각 촬영된 입력 영상의 대응점들의 복원된 좌표와 색상값을 제공하는 3차원 외형 복원 모듈; 대응점들의 복원된 좌표를 이용하여 메쉬 형태의 서피스(surface)를 생성하고, 생성된 메쉬를 2차원의 평면으로 unwrapping 하여 해당 대응점들의 색상값을 활용하여 2D 텍스처 맵을 생성하는 텍스처 생성 모듈; 및 텍스처 생성 모듈(200)에 의해 복원된 메쉬와 텍스처 맵을 입력으로 사용하여 실린더 프로젝션(cylindrical projection) 맵핑 기술을 사용하여 새로운 UV맵을 생성하고, 상기 새로운 텍스처 맵 이미지에 렌더링 결과를 저장하는 방식으로 새로운 텍스처 파노라마 이미지를 생성하는 파노라마 이미지 생성 모듈을 포함한다. The present invention relates to a method for generating a panoramic texture image for a rotating object.
The present invention restores the three-dimensional appearance of an object by using photographs taken at predetermined intervals around a rotating body at two different altitudes as input images, and provides restored coordinates and color values of corresponding points of the respective captured input images. A three-dimensional appearance restoration module; a texture generation module that creates a mesh-shaped surface using the restored coordinates of the corresponding points, unwraps the generated mesh into a 2D plane, and generates a 2D texture map using color values of the corresponding points; and a panoramic image generation module for generating a new texture panorama image by using the mesh and texture map reconstructed by the texture generation module 200 as inputs to generate a new UV map using a cylindrical projection mapping technique and storing a rendering result in the new texture map image.

Description

회전체 대상 파노라마 텍스처 이미지 생성 방법{Create method a panoramic texture image for a rotating body}{Create method a panoramic texture image for a rotating body}

본 발명이 속하는 기술분야는 여러 각도에서 촬영된 도자기 유물의 이미지를 입력으로 받아 유물의 3차원 모습을 복원하여 도자기 옆면에 그려진 그림이나 문양을 널찍하게 펼친 이미지로 획득하는 기술에 관한 것이다.The technical field to which the present invention belongs relates to a technique of receiving images of ceramic relics photographed from various angles as input and restoring the three-dimensional appearance of the relic to obtain a picture or pattern drawn on the side of the ceramics as a wide-open image.

도자기 유물의 옆면에 그려진 그림은 한 눈에 전체적인 그림을 파악할 수 없고 둘러보거나 돌려보아도 펼친 그림을 상상해 보아야 알 수 있다.The picture drawn on the side of a pottery relic cannot grasp the overall picture at a glance, and you can know it by imagining the picture unfolded even if you look around or turn it.

박물관에서 유물을 전시할 때 해당 유물과 함께 펼친 그림을 함께 전시하면 유물의 모습과 펼친 그림을 함께 감상할 수 있어서 전시 효과를 높일 수 있다. When an artifact is exhibited in a museum, if an unfolded picture is displayed together with the artifact, the effect of the exhibition can be enhanced because the appearance of the artifact and the unfolded picture can be appreciated together.

이렇게 펼친 그림을 해외에서는 'Vase Panorama'라고 사용하기도 한다. Overseas, this unfolded picture is also used as 'Vase Panorama'.

이에, 입력으로 주어진 여러 장의 디지털 이미지를 이용하여 오브젝트의 3차원 외형을 복원하는 기술은 컴퓨터 비전과 컴퓨터 그래픽스 분야에서 오랫동안 지속적으로 연구되고 있다. Accordingly, a technique for restoring the 3D appearance of an object using several digital images given as input has been continuously studied for a long time in the fields of computer vision and computer graphics.

이를 위해, 종래 시스템에서는 카메라의 위치를 바꾸어 한 오브젝트에 대한 두 장의 이미지가 주어졌을 때, 오브젝트 위의 한 점에 해당하는 픽셀의 위치를 각 이미지에서 찾아낸다면 그 3차원 점의 위치는 2개의 투영광선의 교차점으로 구할 수 있다. To this end, in the conventional system, when two images of an object are given by changing the position of the camera, if the position of a pixel corresponding to a point on the object is found in each image, the position of the three-dimensional point can be obtained as the intersection of two projection rays.

즉, 카메라로 촬영하여 획득된 2차원의 이미지에는 깊이 정보를 잃어버린 상태 이므로, 두 위치에서 한 점을 바라보고 촬영하여 깊이 정보를 알아내는 삼각 측량법을 이용한다. That is, since depth information is lost in a two-dimensional image obtained by shooting with a camera, a triangulation method is used to find depth information by looking at a point from two locations and photographing it.

이러한 두 이미지 평면 사이의 기하학적 관계와 함께 매칭점이 결정되면 이로부터 3차원 공간좌표를 구할 수 있는 것이다. When the matching point is determined along with the geometric relationship between these two image planes, the 3D spatial coordinates can be obtained from this.

이러한 개념들을 수학적으로 접근한 학문을 epipolar geometry라고 한다. 도 1은 공액 기하(epipolar geometry)에 의한 삼각 측량법을 도식화한 것으로 3D 복원 분야의 가장 핵심이 되는 개념이다.A study that mathematically approaches these concepts is called epipolar geometry. 1 is a schematic diagram of triangulation by epipolar geometry, which is the most core concept in the field of 3D restoration.

두 장의 이미지만으로는 오브젝트 전체를 복원하기에는 정보가 매우 부족하고 복원된 결과의 오차를 줄이기 위해서는 여러 장의 이미지가 필요하다. Two images alone are insufficient to restore the entire object, and multiple images are required to reduce the error in the restored result.

도 2는 여러 장의 이미지를 이용하여 오브젝트를 복원하는 사례를 보여준다. 2 shows an example of restoring an object using multiple images.

동일한 사양의 카메라 두 대를 고정시킨 장비(스테레오 리그)를 사용하여 여러 장의 이미지를 촬영하면 정밀도를 더욱 높일 수 있다. Accuracy can be further increased by shooting multiple images using equipment (stereo rig) in which two cameras of the same specifications are fixed.

일반 카메라로 임의의 각도에서 촬영한 이미지로부터 3차원 외형을 정확하게 복원하는 것은 매우 어려운 문제이기 때문에 전문적인 3차원 복원 장비들은 구조광이나 레이저를 활용하거나 초음파 등을 이용한 시간 지연 측정법을 사용하기도 한다.Since it is very difficult to accurately restore a 3D appearance from an image taken from an arbitrary angle with a general camera, professional 3D restoration equipment utilizes structured light or laser, or uses a time delay measurement method using ultrasound.

본 발명은 종래 문제점을 해결하기 위해 안출된 것으로, 도자기 유물의 여러 방향에서 촬영한 이미지들로부터 도자기 옆면에 그려진 그림을 전개하여 한 장의 널찍한 장면으로 만들어 내는데 그 목적이 있다.The present invention has been made to solve the conventional problems, and the purpose of the present invention is to develop a picture drawn on the side of the pottery from images taken from various directions of the pottery artifact to create a wide scene.

3차원 복원 전문 장비(3D 스캐너)들은 전술한 바와 같이 스테레오 리그를 구축하거나 구조광, 레이저, 초음파 등을 활용하기 위한 하드웨어 구축에 많은 비용이 들게 된다. 또한 한 대의 카메라로 획득된 이미지 색상 데이터 이외에도 이러한 추가 센서들의 정보를 다루기 위한 특별한 처리 방법과 전문 소프트웨어가 필요하다.As described above, equipment specialized in 3D restoration (3D scanners) requires a lot of cost to build a stereo rig or build hardware to utilize structured light, laser, ultrasound, and the like. In addition to image color data acquired by a single camera, special processing methods and specialized software are required to handle information from these additional sensors.

본 발명에서는 본래의 목적이 3차원 복원이 아닌 일반적으로 촬영한 이미지들을 수집하여 입력 영상으로 사용하여도 특수 장비를 사용하지 않고 영상 처리 기법만으로 3차원 복원 후 파노라마 텍스처를 제작하는 방법을 제공하는데 목적이 있다. An object of the present invention is to provide a method for producing a panorama texture after 3D reconstruction using only image processing techniques without using special equipment, even if the original purpose is not 3D reconstruction, but general captured images are collected and used as input images.

본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The object of the present invention is not limited to the object mentioned above, and other objects not mentioned will be clearly understood by those skilled in the art from the description below.

상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 회전체 대상 파노라마 텍스처 이미지 생성 방법은 서로 다른 두 가지 고도에서 회전체 주위로 기설정된 간격으로 촬영한 사진들을 입력 영상으로 사용하여 오브젝트의 3차원 외형을 복원하고, 각각 촬영된 입력 영상의 대응점들의 복원된 좌표와 색상값을 제공하는 3차원 외형 복원 모듈; 대응점들의 복원된 좌표를 이용하여 메쉬 형태의 서피스(surface)를 생성하고, 생성된 메쉬를 2차원의 평면으로 unwrapping 하여 해당 대응점들의 색상값을 활용하여 2D 텍스처 맵을 생성하는 텍스처 생성 모듈; 및 상기 텍스처 생성 모듈에 의해 복원된 메쉬와 텍스처 맵을 입력으로 사용하여 실린더 프로젝션(cylindrical projection) 맵핑 기술을 사용하여 새로운 UV맵을 생성하고, 상기 새로운 텍스처 맵 이미지에 렌더링 결과를 저장하는 방식으로 새로운 텍스처 파노라마 이미지를 생성하는 파노라마 이미지 생성 모듈을 포함한다. In order to achieve the above object, a method for generating a panoramic texture image for a rotating body according to an embodiment of the present invention uses pictures taken at predetermined intervals around the rotating body at two different altitudes as an input image to restore the 3D shape of an object, and provides a 3D shape restoration module that provides restored coordinates and color values of corresponding points of the respective captured input images; a texture generation module that creates a mesh-shaped surface using the restored coordinates of the corresponding points, unwraps the generated mesh into a 2D plane, and generates a 2D texture map using color values of the corresponding points; and a panoramic image generation module for generating a new texture panorama image by using the mesh and texture map reconstructed by the texture generation module as inputs, generating a new UV map using a cylindrical projection mapping technique, and storing a rendering result in the new texture map image.

상기 3차원 외형 복원 모듈은, 복수의 고도에서 촬영한 영상을 입력으로 사용한다. The 3D appearance restoration module uses images taken at a plurality of altitudes as input.

상기 3차원 외형 복원 모듈은, 비선형 삼각 측량법을 사용하여 기하학적 에러를 최소화한다. The 3D shape reconstruction module minimizes geometric errors using nonlinear triangulation.

상기 3차원 외형 복원 모듈은 RANSAC 알고리즘을 사용한다. The 3D appearance reconstruction module uses the RANSAC algorithm.

상기 텍스처 생성 모듈은 SfM(Structure from Motion) 방식에 의해 각 카메라의 위치를 유추하고, 오브젝트의 3차원 외형을 점, 선, 면으로 구성된 메쉬 구조로 복원하고 텍스처를 생성한다. The texture generation module infers the position of each camera by SfM (Structure from Motion) method, restores the 3D appearance of an object to a mesh structure composed of points, lines, and planes, and creates a texture.

상기 텍스처 생성 모듈은, 상기 생성된 텍스처 좌표를 실린더 프로젝션 방식에 의해 텍스처 리맵핑을 통하여 파노라마 텍스처를 획득한다. The texture generation module acquires a panoramic texture through texture remapping of the generated texture coordinates by a cylinder projection method.

상기 파노라마 이미지 생성 모듈은 조각난 텍스처를 파노라마 형태의 길게 이어 붙인 새로운 이미지를 생성하기 위해 사용하되, 이 회전체의 회전축을 기준으로 실린더 프로젝션 매핑을 수행한다. The panoramic image generation module is used to generate a new image by connecting the fragmented textures in a panoramic shape, and performs cylinder projection mapping based on the rotation axis of the rotating body.

상기 파노라마 이미지 생성 모듈은 복원 객체 주변에 혹(dummy)를 제거한다. The panoramic image generating module removes a dummy around the reconstructed object.

상기 파노라마 이미지 생성 모듈은 최종 이미지에서 아티팩트를 지우는 방식을 사용한다. The panoramic image generating module uses a method of erasing artifacts from a final image.

상기 파노라마 이미지 생성 모듈은 UV 언랩핑(unwrapping) 시에 UV를 잘라내기 위한 가이드인 seam을 지정하는 방식으로 원하는 배치의 파노라마 이미지를 생성한다. The panoramic image generation module creates a panoramic image with a desired arrangement by specifying a seam, which is a guide for cutting out UV rays, during UV unwrapping.

상기 파노라마 이미지 생성 모듈은 텍스처 리렌더링을 수행할 때 반짝이는 재질을 추가하거나 광원을 배치하는 과정을 더 수행한다. When performing texture re-rendering, the panoramic image generation module further performs a process of adding a sparkling material or arranging a light source.

본 발명의 일 실시예에 따르면, 종래기술과 다르게 스테레오 리그, 구조광, 레이저 등을 사용한 전문적인 3D 스캐너 장비 없이 일반카메라로 촬영한 몇 장의 영상만을 이용하여 도자기 유물의 3차원 외형을 복원하여 옆면에 그려진 파노라마 텍스처를 획득할 수 있는 효과가 있다. According to one embodiment of the present invention, unlike the prior art, there is an effect of obtaining a panoramic texture drawn on the side by restoring the three-dimensional appearance of a ceramic artifact using only a few images taken with a general camera without professional 3D scanner equipment using a stereo rig, structured light, laser, etc.

본 발명의 일 실시예에 따르면, 종래의 기술과 다르게 카메라 캘리브레이션을 위한 실제 크기를 알고 있는 물체나 체커보드와 같은 특수한 이미지를 동시에 촬영하지 않고도, 동일 대상을 촬영하였다면 불특정 다수의 사진을 사용하여 3차원 복원 후 텍스처 획득이 가능한 효과가 있다. According to an embodiment of the present invention, unlike the prior art, if the same object is photographed without simultaneously photographing an object whose actual size is known for camera calibration or a special image such as a checkerboard, texture can be obtained after 3D restoration using an unspecified number of photos.

하지만 본 발명의 일 실시예에 따르면, 3차원 복원 단계에서 회전체로 가정을 하지 않기 때문에 복원 오류가 작은 효과가 있다. However, according to an embodiment of the present invention, since the rotation body is not assumed in the 3D reconstruction step, there is an effect of reducing the reconstruction error.

본 발명의 일 실시예에 따르면, 회전축을 기준으로 실린더 프로젝션에 의한 텍스처 UV좌표를 다시 매핑하고 텍스처 이미지를 재 생성함으로써 화질열화나 손실이 적은 고품질의 파노라마 텍스처를 획득할 수 있는 효과가 있다. According to an embodiment of the present invention, there is an effect of obtaining a high-quality panoramic texture with less image quality degradation or loss by re-mapping texture UV coordinates by cylinder projection based on a rotation axis and regenerating a texture image.

도 1은 일반적인 epipolar geometry에 의한 삼각 측량법을 설명하기 위한 참고도.
도 2는 종래 여러 장의 이미지로부터 3차원 외형 복원 사례를 설명하기 위한 참고도.
도 3은 본 발명의 일 실시예에 따른 회전체 대상 파노라마 텍스처 이미지 생성 방법을 수행하기 위한 구성을 설명하기 위한 구성블록도.
도 4는 본 발명의 일 실시예에서 회전체 특성을 고려한 오브젝트 대상 3차원 복원 사례를 설명하기 위한 참고도.
도 5는 본 발명의 일 실시예에서 이미지 모자이크 방식에 의한 파노라마 텍스처 획득 예를 설명하기 위한 참고도.
도 6은 본 발명의 일 실시예에서 파노라마 텍스처 생성 과정을 설명하기 위한 참고도.
도 7은 본 발명의 일 실시예에서 2 가지 고도에서 촬영된 이미지 셋트를 설명하기 위한 참고도.
도 8은 본 발명의 일 실시예에서 3 가지 고도에서 촬영된 이미지 셋트를 설명하기 위한 참고도.
도 9는 도 8의 입력 영상에 대한 메쉬와 텍스터가 복원된 모습을 설명하기 위한 참고도.
도 10은 도 8의 입력 영상에 대한 텍스처 맵 이미지와 UV 좌표들 설명하기 위한 참고도.
도 11은 도 8의 입력 영상에 대한 파노라마 이미지 생성 결과를 설명하기 위한 참고도이다. 1 is a reference diagram for explaining triangulation by general epipolar geometry.
Figure 2 is a reference diagram for explaining a case of three-dimensional appearance restoration from several conventional images.
3 is a block diagram for explaining a configuration for performing a method for generating a panoramic texture image for a rotating object according to an embodiment of the present invention.
4 is a reference diagram for explaining a case of 3D reconstruction of an object target in consideration of characteristics of a rotating body in one embodiment of the present invention.
5 is a reference diagram for explaining an example of panoramic texture acquisition by an image mosaic method in one embodiment of the present invention;
6 is a reference diagram for explaining a panoramic texture generation process in one embodiment of the present invention;
7 is a reference diagram for explaining a set of images captured at two altitudes according to an embodiment of the present invention;
8 is a reference diagram for explaining a set of images captured at three altitudes according to an embodiment of the present invention;
FIG. 9 is a reference diagram for explaining how meshes and textures of the input image of FIG. 8 are restored;
FIG. 10 is a reference diagram for explaining a texture map image and UV coordinates of the input image of FIG. 8;
FIG. 11 is a reference diagram for explaining a result of generating a panoramic image for the input image of FIG. 8 .

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성소자, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성소자, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다. Advantages and features of the present invention, and methods of achieving them, will become clear with reference to the detailed description of the following embodiments taken in conjunction with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but will be implemented in a variety of different forms, and only these embodiments make the disclosure of the present invention complete, and those skilled in the art It is provided to completely inform the scope of the invention, and the present invention is only defined by the scope of the claims. Meanwhile, terms used in this specification are for describing the embodiments and are not intended to limit the present invention. In this specification, singular forms also include plural forms unless specifically stated otherwise in a phrase. As used herein, "comprises" and/or "comprising" does not preclude the presence or addition of one or more other components, steps, operations, and/or elements in which a stated element, step, operation, and/or element is present.

도 3은 본 발명에 따른 회전체 대상 파노라마 텍스처 이미지 생성 방법을 수행하기 위한 구성을 설명하기 위한 구성블록도이다. 3 is a block diagram for explaining a configuration for performing a method for generating a panoramic texture image for a rotating object according to the present invention.

도 3에 도시된 바와 같이, 본 발명의 일 실시예에 따른 회전체 대상 파노라마 텍스처 이미지 생성 방법은 3차원 외형 복원 모듈(100), 텍스처 생성 모듈(200) 및 파노라마 이미지 생성 모듈(300)에 의해 수행된다. As shown in FIG. 3 , the method for generating a panoramic texture image for a rotating object according to an embodiment of the present invention is performed by a 3D appearance restoration module 100, a texture generation module 200, and a panoramic image generation module 300.

이러한, 본 발명의 일 실시예에 따르면 능동적인 방식이 아닌 수동 방식으로 여러 위치에서 오브젝트를 촬영한 영상만을 사용하여 3차원 복원을 시도한다. 수동적인 3차원 복원에 사용하는 방식은 structure from motion, space carving, shape from shading 등 다양한 방법이 알려져 있으나, 본 발명에서는 structure from motion 기법을 사용한다. 즉, 물체의 주위를 여러 위치에서 촬영한 카메라의 움직임을 유추해 내고, 이 정보를 이용하여 3차원 형상을 복원하는 것이다. 특히, 도자기와 같은 유물을 복원하여 옆면에 그려진 그림 즉 텍스처를 획득하는데 유리한 기술이다.According to one embodiment of the present invention, 3D reconstruction is attempted using only images of objects photographed at various locations in a passive manner rather than an active manner. Various methods such as structure from motion, space carving, and shape from shading are known as methods used for passive 3D restoration, but the structure from motion technique is used in the present invention. In other words, it is to infer the movement of the camera that has taken pictures around the object at various positions, and use this information to restore the 3D shape. In particular, it is an advantageous technique for restoring relics such as pottery to obtain a picture drawn on the side, that is, a texture.

본 발명의 일 실시예에 따른 회전체는 도자기 유물이며, 도자기는 제작 공정상 돌림판 위에서 회전하면서 제작되는 경우가 많기 때문에 회전체(surface of revolution)의 형태를 띄는 경우가 많다. The rotating body according to an embodiment of the present invention is a ceramic artifact, and since ceramics are often manufactured while rotating on a turning plate in the manufacturing process, they often take the form of a surface of revolution.

따라서, 도 4의 (a)와 같은 실물 회전체(o)를 촬영하여, 도 4의 (b)와 같은 기하학 좌표를 산출하고, 이를 통해 도 4의 (c)와 같은 회전체 텍스처를 생성하는 회전체의 특성을 이용한 기하 구조 복원 방식도 활용되며, 아예 기하 구조를 복원하지 않고 도 5의 (a)와 같은 이미지 여러 장을 모자이크처럼 이어 붙여 도 5의 (b)와 같은 도자기 옆면 텍스처를 생성하는 방식도 이용될 수 있다. Therefore, a method of restoring a geometric structure using the characteristics of a rotating body that takes a picture of a real rotating body o as shown in FIG. 4 (a), calculates geometric coordinates as shown in (b) of FIG. 4, and generates a rotating body texture as shown in FIG.

도 6은 본 발명의 일 실시예에서 파노라마 텍스처 생성 과정을 설명하기 위한 참고도로써, 도 6의 (b)는 2 가지 고도에서 촬영되는 카메라(C1-1 내지 Cn-n, C1-2 내지 Cn-2)의 위치를 설명하기 위한 참고도이고, 도 6의 (c)는 3 가지 고도에서 촬영되는 카메라 카메라(C1-1 내지 Cn-n, C1-2 내지 Cn-2, Cn-3 내지 Cn-3))의 위치를 설명하기 위한 참고도이고, 도 6의 (d)는 입력 영상에 대해 메시(도 6의 (d))를 복원한 모습을 설명하기 위한 참고도이고, 도 6의 (e)는 텍스처 생성 모듈(200)에 의해 생성된 텍스처 맵 이미지를 설명하기 위한 결과물이며, 도 6의 (f)은 파노라마 이미지 생성 모듈(300)에 의해 생성된 파노라마 텍스처의 부분 확대도이고, 도 6의 (g)는 파노라마 이미지 생성 모듈(300)의 최종 결과물을 나타낸 참고도이다. 6 is a reference diagram for explaining a process of generating a panoramic texture in an embodiment of the present invention, FIG. FIG. 6(d) is a reference diagram for explaining a state in which a mesh (FIG. 6(d)) is restored with respect to an input image, FIG. 6(e) is a result for explaining a texture map image generated by the texture generation module 200, FIG. 6(f) is a partially enlarged view of a panoramic texture generated by the panoramic image generation module 300, and FIG. It is also

3차원 외형 복원 모듈(100)은 서로 다른 두 가지 이상의 고도에서 기설정된 간격으로 회전체 주위를 촬영한 사진들을 입력 영상으로 사용하여, 오브젝트의 3차원 외형을 복원할 수 있도록 각각 촬영된 입력 영상의 대응점들의 복원된 좌표와 색상값을 제공한다. 차원 외형 복원 모듈(100)은 본 발명의 일실시예로 도 6의 (b)에서와 같이, 각기 서로 다른 두 고도를 갖는 카메라로부터 촬영된 입력 영상으로, 도 7과 같이 서로 다른 두 가지 고도에서 도자기 유물 주위로 40도 간격으로 9장(=360도/40도)씩 즉 총 18장(=9장*2)의 사진을 입력 영상으로 사용하여 오브젝트의 3차원 외형을 복원할 수 있고, 도 6의 (c)에서와 같이, 각기 다른 서로 다른 3가지 고도에 구비된 카메라에 의해 촬영된 입력 영상으로, 도 8과 같이 보다 고품질의 결과 파노라마 이미지를 생성하기 위해서 3가지 고도에서 촬영한 총 27장의 입력을 사용할 수도 있으나, 이를 한정하는 것은 아니다. The 3D appearance restoration module 100 uses, as input images, pictures taken around the rotating body at predetermined intervals at two or more different altitudes, and provides restored coordinates and color values of corresponding points of the respective captured input images so as to restore the 3D appearance of the object. As an embodiment of the present invention, the dimensional appearance restoration module 100 is an input image taken by a camera having two different elevations, as shown in FIG. 6 (b), and can restore the three-dimensional appearance of an object by using 9 (= 360 degrees / 40 degrees) at 40-degree intervals, that is, a total of 18 (= 9 pictures * 2) pictures, as input images around the pottery artifact at two different altitudes, as shown in FIG. Similarly, with input images taken by cameras provided at three different altitudes, a total of 27 inputs taken at three altitudes can be used to generate a higher quality resulting panoramic image as shown in FIG. 8, but is not limited thereto.

본 발명의 일 실시예에서의 3차원 외형 복원 모듈(100)은 4k급 이상의 파노라마 텍스처 결과를 획득하기 위해서는 입력 영상으로 각 사진마다 250만 화소 이상의 2k급 해상도로 촬영된 이미지를 사용하는 것이 바람직하다. In order to obtain a panoramic texture result of 4k or higher, the 3D appearance restoration module 100 according to an embodiment of the present invention preferably uses an image taken at 2k-class resolution of 2.5 million pixels or more for each picture as an input image.

그리고, 3차원 외형 복원 모듈(100)은 입력 영상을 분석하여 대응관계를 찾고 도 1에서 언급한 epipolar geometry를 이용하여 카메라의 위치와 바라보는 방향을 추정하고, 3차원 좌표점과 색상값을 텍스처 생성 모듈(200)에 제공한다. In addition, the 3D appearance restoration module 100 analyzes the input image to find a corresponding relationship, estimates the position and viewing direction of the camera using the epipolar geometry mentioned in FIG. 1, and provides 3D coordinate points and color values to the texture generation module 200.

이를 위해 3차원 외형 복원 모듈(100)은 카메라의 위치가 주어지면, 삼각측량법에 의해 오브젝트 상의 대응점들의 3차원 공간좌표를 재구성한다. To this end, the 3D appearance restoration module 100 reconstructs 3D spatial coordinates of corresponding points on the object by triangulation when the position of the camera is given.

이때, 3차원 외형 복원 모듈(100)이 단순히 선형 삼각측량법을 사용하면 대수적 에러만을 계산할 수 있기 때문에 비선형 삼각측량법을 사용하여 기하학적 에러를 최소화하는 방식을 적용한다. At this time, since the 3D shape reconstruction module 100 can calculate only logarithmic errors simply by using linear triangulation, a method of minimizing geometric errors using nonlinear triangulation is applied.

그리고, 3차원 외형 복원 모듈(100)은 유사한 특징점을 서로 대응되는 점으로 잘못 인식하는 사례가 빈번한 환경이므로 RANSAC 알고리즘을 사용하여 아웃라이어(outliers) 문제를 극복한다. In addition, the 3D appearance reconstruction module 100 overcomes the outliers problem by using the RANSAC algorithm, since it is an environment in which cases in which similar feature points are mistakenly recognized as points corresponding to each other are frequent.

텍스처 생성 모듈(200)은 전단계인 3차원 외형 복원 모듈(100)에서 제공된 3차원 좌표점과 색상값을 이용하여 메쉬 구조를 생성하고, 텍스처 좌표와 텍스처 이미지를 생성한다. 따라서, 텍스처 생성 모듈(200)은 대응점들의 복원된 좌표를 이용하여 도 6의 (d)와 같은 메쉬 형태의 서피스(surface)를 생성하고, 생성된 메쉬를 2차원의 평면으로 unwrapping 하여 해당 대응점들의 색상값을 활용하여 도 6의 (e)와 같이 2D 텍스처 맵을 생성한다. The texture generation module 200 creates a mesh structure using the 3D coordinate points and color values provided in the 3D shape restoration module 100 as a previous step, and creates texture coordinates and a texture image. Therefore, the texture generation module 200 uses the restored coordinates of the corresponding points to create a mesh-shaped surface as shown in FIG.

이러한, 텍스처 생성 모듈(200)은 SfM(Structure from Motion) 방식을 사용하여 도자기 유물의 3차원 복원을 수행하였을 때 최종 목적인 고품질의 파노라마 텍스처를 획득하는데 가장 적합한 것으로 판단하였다. The texture generating module 200 was determined to be most suitable for obtaining a high-quality panoramic texture, which is the final purpose, when a 3D restoration of a pottery artifact was performed using a structure from motion (SfM) method.

여러 장의 다른 각도에서 바라본 도자기 유물의 사진들을 입력으로 받아 SfM(Structure from Motion) 방식에 의해 각 카메라의 위치를 유추하고 오브젝트의 3차원 외형을 점, 선, 면으로 구성된 메쉬 구조로 복원하고 텍스처를 생성한다. 이렇게 생성된 텍스처 좌표를 실린더 프로젝션 방식에 의해 텍스처 리맵핑을 통하여 파노라마 텍스처를 획득한다. It receives as input photos of pottery artifacts viewed from several different angles, infers the position of each camera by SfM (Structure from Motion) method, restores the object's three-dimensional appearance to a mesh structure composed of points, lines, and planes, and creates textures. The texture coordinates thus created are obtained through texture remapping using the cylinder projection method to obtain a panoramic texture.

도 6의 (c)는 각 입력 영상에 해당하는 카메라의 위치와 방향을 표시하고 발견된 대응점들의 복원된 좌표와 색상값을 나타내고 있다. Figure 6(c) shows the position and direction of the camera corresponding to each input image, and shows the restored coordinates and color values of the found corresponding points.

텍스처 생성 모듈(200)은 도 9의 (a)와 같은 방식으로 생성된 텍스처를 메쉬 위에 텍스처 매핑하여 도 9의 (b)와 같은 복원된 3차원 형상을 나타낸다. 도 8의 입력 영상들에 대하여 복원된 메쉬 구조와 텍스처 맵 및 텍스처 매핑된 결과들은 메쉬로 표현된 도 9의 (a)와 원본 텍스처가 복원된 도 9의 (b), 텍스쳐 맵(TM1, TM2)인 10의 (a)와 가로와 세로로 표현되는 UV 좌표(UV1, UV2)들로 이루어진 10의 (b)와 같다. The texture generating module 200 texture-maps the texture generated in the method shown in FIG. 9(a) onto the mesh to display the restored 3D shape as shown in FIG. 9(b). The reconstructed mesh structure, texture map, and texture mapping results for the input images of FIG. 8 are shown in (a) of FIG. 9 expressed as a mesh, (b) of FIG. 9 where the original texture is reconstructed, and the texture maps (TM1, TM2) 10 (a) and 10 (b) consisting of UV coordinates (UV1, UV2) expressed horizontally and vertically.

파노라마 이미지 생성 모듈(300)은 상기 텍스처 생성 모듈(200)에 의해 복원된 메쉬와 텍스처 맵을 입력으로 사용하여 실린더 프로젝션(cylindrical projection) 맵핑 기술을 사용하여 가로와 세로와 같은 2차원의 새로운 UV 맵을 생성하고, 상기 새로운 텍스처 맵 이미지에 렌더링 결과를 저장하는 방식으로 새로운 텍스처 파노라마 이미지를 생성한다. The panoramic image generation module 300 uses the mesh and texture map restored by the texture generation module 200 as inputs to generate a new two-dimensional UV map using a cylindrical projection mapping technique, and stores the rendering result in the new texture map image to generate a new texture panoramic image.

이 실린더 프로젝션(cylindrical projection) 맵핑 기술은 원래 게임 등에서 실시간으로 빠른 연산처리를 위해 색상 값과 쉐이딩 결과를 미리 새로운 텍스처 맵 이미지에 저장해 두기 위한 방법으로 주로 사용되었으나, 본 발명에서는 조각난 텍스처를 파노라마 형태의 길게 이어 붙인 새로운 이미지를 생성하기 위해 사용된다. 여기서, 조각난 텍스처를 길게 붙이는 것을 파노라마 텍스처'라 한다. This cylinder projection mapping technology was originally used primarily as a method for storing color values and shading results in a new texture map image in advance for fast calculation processing in real time in games, etc., but in the present invention, it is used to create a new image by connecting fragmented textures in a panoramic shape. Here, attaching fragmented textures long is called a 'panorama texture'.

한편, 회전체 중 도자기는 주로 돌림판 위에서 흙을 빚어 제작되므로 회전축을 찾을 수 있다. 도 11에 도시된 바와 같이, 이 회전축을 기준으로 실린더 프로젝션 매핑을 수행하면 지구본을 펼쳐 세계지도를 만들 수 있듯이 도자기 옆면 그림에 대한 넓게 펼친 파노라마 이미지(PI)를 제작할 수 있다. On the other hand, among rotating bodies, ceramics are mainly manufactured by forming soil on a rolling plate, so a rotating shaft can be found. As shown in FIG. 11 , if cylinder projection mapping is performed based on this axis of rotation, a wide open panoramic image (PI) of a pottery side picture can be produced, just as a world map can be made by unfolding a globe.

이러한 파노라마 이미지 생성 모듈(300)은 물론 SfM 방식으로 복원된 데이터에 원래는 없었던 대응점 추정 오류로 인한 Outlier들 때문에 복원 객체 주변에 혹(dummy)가 붙을 수 있으나, maya, max등 상용 3D 저작툴이나 blender 등 공개 소프트웨어를 활용하여 간단히 제거하면 더 좋은 결과를 얻을 수 있다. Dummy may be attached around the reconstructed object due to outliers caused by correspondence point estimation errors that were not originally present in the data restored by the SfM method as well as the panoramic image generation module 300. However, better results can be obtained by simply removing them using commercial 3D authoring tools such as maya and max or open software such as blender.

또한, 파노라마 이미지 생성 모듈(300)은 최종 이미지에서 결함(artfact)을 지우는 방식을 사용할 수도 있다. Also, the panoramic image generation module 300 may use a method of erasing artifacts from the final image.

파노라마 이미지 생성 모듈(300)은 실린더 프로젝션 매핑 시 파노라마 중앙부에 원하는 문양이나 무늬가 위치하기를 원하지 않는 경우, 즉, 중요한 무늬가 양끝으로 배치되어 갈라지는 모습을 보고 싶지 않다면, UV 언랩핑(unwrapping) 시에 UV를 잘라내기 위한 가이드인 솔기(seam)을 지정하는 방식으로 원하는 배치의 파노라마 이미지를 생성할 수 있다. When the panoramic image generation module 300 does not want a desired pattern or pattern to be located in the center of the panorama during cylinder projection mapping, that is, does not want to see an important pattern being placed at both ends and split, it can create a panoramic image with a desired arrangement by designating a seam, which is a guide for cutting out UV during UV unwrapping.

마지막으로 파노라마 이미지 생성 모듈(300)은 광원이나 재질 효과를 없앤 밋밋한 텍스처 맵핑의 결과물이 좋지 않게 받아들여 진다면, 텍스처 리렌더링을 수행할 때 반짝이는 재질을 추가하거나 광원을 배치하면 보다 연출효과를 살린 파노라마 이미지를 생성할 수도 있다. Finally, if the result of plain texture mapping in which the light source or material effect is removed is not received well, the panoramic image generation module 300 may generate a panoramic image with a more directing effect by adding a sparkling material or arranging a light source when performing texture re-rendering.

이상, 본 발명의 구성에 대하여 첨부 도면을 참조하여 상세히 설명하였으나, 이는 예시에 불과한 것으로서, 본 발명이 속하는 기술분야에 통상의 지식을 가진자라면 본 발명의 기술적 사상의 범위 내에서 다양한 변형과 변경이 가능함은 물론이다. 따라서 본 발명의 보호 범위는 전술한 실시예에 국한되어서는 아니되며 이하의 특허청구범위의 기재에 의하여 정해져야 할 것이다.In the above, the configuration of the present invention has been described in detail with reference to the accompanying drawings, but this is only an example, and various modifications and changes are possible within the scope of the technical idea of the present invention to those skilled in the art to which the present invention belongs. Of course. Therefore, the scope of protection of the present invention should not be limited to the above-described embodiments, but should be defined by the description of the claims below.

Claims (1)

서로 다른 두 가지 고도에서 회전체 주위로 기설정된 간격으로 촬영한 사진들을 입력 영상으로 사용하여 오브젝트의 3차원 외형을 복원하고, 각각 촬영된 입력 영상의 대응점들의 복원된 좌표와 색상값을 제공하는 3차원 외형 복원 모듈;
대응점들의 복원된 좌표를 이용하여 메쉬 형태의 서피스(surface)를 생성하고, 생성된 메쉬를 2차원의 평면으로 unwrapping 하여 해당 대응점들의 색상값을 활용하여 2D 텍스처 맵을 생성하는 텍스처 생성 모듈; 및
상기 텍스처 생성 모듈에 의해 복원된 메쉬와 텍스처 맵을 입력으로 사용하여 실린더 프로젝션(cylindrical projection) 맵핑 기술을 사용하여 새로운 UV맵을 생성하고, 상기 새로운 텍스처 맵 이미지에 렌더링 결과를 저장하는 방식으로 새로운 텍스처 파노라마 이미지를 생성하는 파노라마 이미지 생성 모듈을 포함하는 회전체 대상 파노라마 텍스처 이미지 생성 방법. A 3D appearance restoration module for restoring the 3D appearance of an object using photographs taken at predetermined intervals around the rotating body at two different altitudes as input images and providing restored coordinates and color values of corresponding points of the respective captured input images;
a texture generation module that creates a mesh-shaped surface using the restored coordinates of the corresponding points, unwraps the generated mesh into a 2D plane, and generates a 2D texture map using color values of the corresponding points; and
A method of generating a panoramic texture image for a rotating object including a panoramic image generation module for generating a new texture panorama image by generating a new UV map using a cylindrical projection mapping technique using the mesh and texture map reconstructed by the texture generation module as inputs, and storing a rendering result in the new texture map image.