KR102068929B1 - 3d camera system - Google Patents
3d camera system Download PDFInfo
- Publication number
- KR102068929B1 KR102068929B1 KR1020190060667A KR20190060667A KR102068929B1 KR 102068929 B1 KR102068929 B1 KR 102068929B1 KR 1020190060667 A KR1020190060667 A KR 1020190060667A KR 20190060667 A KR20190060667 A KR 20190060667A KR 102068929 B1 KR102068929 B1 KR 102068929B1
- Authority
- KR
- South Korea
- Prior art keywords
- sensor module
- depth sensor
- depth
- center
- dimensional
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
- H04N13/218—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
Description
본 발명은 3차원 카메라 시스템에 관한 것으로, 보다 구체적으로 구의 일부 형상을 갖는 심도 센서 모듈을 이용하여 촬영 대상체를 3차원으로 생성할 수 있는 3차원 카메라 시스템에 관한 것이다.The present invention relates to a three-dimensional camera system, and more particularly to a three-dimensional camera system capable of generating a three-dimensional object to shoot using a depth sensor module having a shape of a sphere.
현재의 3차원 카메라 시스템은 촬영 대상체의 심도 정보(Depth information)를 획득하는 카메라 시스템으로서 촬영 대상체(예, 얼굴이나 물체)의 심도를 계산한 후 3차원으로 재구성한다. 그런데 현재의 3차원 카메라 시스템의 심도 센서 모듈은 평면 형상으로 구현되어 2차원 이미지를 생성하는 이미지 카메라와 호환이 어렵다. The current 3D camera system is a camera system that acquires depth information of a photographing object, calculates a depth of a photographing object (eg, a face or an object), and reconstructs it in three dimensions. However, the depth sensor module of the current three-dimensional camera system is difficult to be compatible with the image camera that is implemented in a planar shape to generate a two-dimensional image.
또한 현재의 3차원 카메라 시스템은 색 정보와 분리된 심도 정보만으로 공간 및 객체를 3차원으로 구성함으로써 색 개념이 없어 범용성과 확장성이 부족하다. 별도의 3차원 어플리케이션을 사용하여 3차원 센싱 카메라로 촬영하여 구성한 3차원 공간 또는 객체에 색을 가미할 수 있지만, 이때의 색은 실제 공간 또는 객체의 색이 아닌 가상의 색으로서 현실감이 떨어진다. 즉, 범용적이지 못하고 확장성이 부족하다. 특히, 현재의 3차원 카메라 시스템의 심도 센서 모듈은 평면 형상이고 2차원 이미지 카메라는 볼록 렌즈를 사용하여 상호 정보 획득 방식이 달라 2차원 이미지의 색 정보를 3차원 카메라 시스템으로 획득한 3차원 공간 또는 객체에 적용하거나, 또는 3차원 카메라 시스템으로 획득한 심도 정보를 2차원 이미지에 적용하기가 어렵다. In addition, the current three-dimensional camera system is composed of three-dimensional space and objects only with depth information separated from the color information, there is no color concept, lacking versatility and expandability. Although a color may be added to a three-dimensional space or an object photographed by a three-dimensional sensing camera using a separate three-dimensional application, the color at this time is not a color of a real space or an object, but a lack of realism. That is, it is not universal and lacks extensibility. In particular, the depth sensor module of the current three-dimensional camera system is a planar shape and the two-dimensional image camera is a three-dimensional space obtained by acquiring the color information of the two-dimensional image with the three-dimensional camera system because the mutual information acquisition method using a convex lens is different It is difficult to apply it to an object or to apply depth information acquired by a 3D camera system to a 2D image.
본 발명은 상술한 문제점을 해결하기 위해 제안된 것으로, 범용성 및 확장성을 갖도록 구의 일부 형상을 갖는 심도 센서 모듈을 이용하여 촬영 대상체를 3차원으로 생성할 수 있는 3차원 카메라 시스템을 제공하는 데 그 목적이 있다.The present invention has been proposed to solve the above-described problems, and provides a three-dimensional camera system that can generate a three-dimensional object to shoot using a depth sensor module having a shape of a sphere so as to have a versatility and expandability. There is a purpose.
또한, 본 발명은 3차원 센싱 기능에 이미지 카메라의 이미지 생성 방식을 적용하여 심도 정보에 색 정보가 가미된 3차원 공간 또는 객체를 생성할 수 있는 3차원 카메라 시스템을 제공하는 데 다른 목적이 있다. Another object of the present invention is to provide a three-dimensional camera system capable of generating a three-dimensional space or an object to which color information is added to depth information by applying an image generation method of an image camera to a three-dimensional sensing function.
일 측면에 따른 촬영 대상체를 3차원으로 구성하는 3차원 카메라 시스템에 있은, 소정의 곡률을 갖는 구(sphere)의 일부 형상으로 이루어지며, 빔을 방출하는 발광부와 상기 촬영 대상체에 의해 반사되는 상기 빔을 수신하는 수광부를 포함하는 복수의 단위 셀들을 포함하고, 각 단위 셀들의 곡률 중심이 상기 구의 중심인 심도 센서 모듈; 및 상기 심도 센서 모듈에서 측정된 정보를 이용하여 상기 곡률 중심을 원점으로 하는 직교 좌표계 상에서의 상기 촬영 대상체를 구성하는 점들의 3차원 좌표를 산출하고 그 산출된 3차원 좌표를 이용하여 상기 촬영 대상체를 3차원으로 구성하는 제어부를 포함한다.In the three-dimensional camera system constituting the three-dimensional object to shoot according to one aspect, made of a shape of a sphere (sphere) having a predetermined curvature, the light emitting portion for emitting a beam and the reflection by the object A depth sensor module including a plurality of unit cells including a light receiving unit for receiving a beam, wherein a center of curvature of each unit cell is a center of the sphere; And calculating three-dimensional coordinates of points constituting the photographing object on a rectangular coordinate system having the center of curvature as the origin by using the information measured by the depth sensor module, and using the calculated three-dimensional coordinates to determine the photographing object. It includes a control unit configured in three dimensions.
상기 3차원 카메라 시스템은, 상기 심도 센서 모듈의 각 단위 셀들의 상기 곡률 중심을 원점으로 한 구면 좌표계 상에서의 좌표 값과, 상기 구의 반지름을 저장하는 저장부를 더 포함하고, 상기 제어부는, 상기 곡률 중심으로부터 상기 촬영 대상체를 구성하는 각 점까지의 직선 거리를 산출하고, 상기 저장부에서 상기 각 단위 셀의 상기 구면 좌표계 상에서의 (φ, θ) 값을 확인하며, 상기 산출된 직선 거리 및 상기 (φ, θ) 값을 이용하여 상기 각 점의 상기 구면 좌표계 상에서의 좌표 값을 산출하고, 그 산출된 구면 좌표계 상에서의 좌표 값을 상기 곡률 중심을 원점으로 한 직교 좌표계 상에서의 (X, Y, Z) 좌표 값으로 변환할 수 있다.The 3D camera system may further include a storage unit configured to store a coordinate value on a spherical coordinate system having the origin of the center of curvature of each unit cell of the depth sensor module and a radius of the sphere, wherein the controller is configured to store the center of curvature. Calculates a straight line distance to each point constituting the photographing object from, and checks the (φ, θ) value on the spherical coordinate system of each unit cell in the storage unit, and calculates the calculated straight line distance and the (φ). , θ) value is used to calculate the coordinate value of each point on the spherical coordinate system, and the coordinate value on the calculated spherical coordinate system is the (X, Y, Z) on the rectangular coordinate system using the center of curvature as the origin. Can be converted to coordinate values.
상기 3차원 카메라 시스템은, 상기 촬영 대상체의 이미지를 생성하는 이미지 센서; 상기 이미지 센서의 전방에 배치되는 카메라 렌즈를 더 포함하고, 상기 심도 센서 모듈은, 상기 카메라 렌즈의 전방에 배치되며, 상기 카메라 렌즈의 제2주점과 상기 곡률 중심이 일치할 수 있다.The three-dimensional camera system, the image sensor for generating an image of the photographing object; The camera sensor may further include a camera lens disposed in front of the image sensor, and the depth sensor module may be disposed in front of the camera lens, and the second principal point of the camera lens may coincide with the center of curvature.
상기 제2주점을 중심으로 상기 이미지 센서의 각 픽셀의 방향과 180도 반대 방향의 지점이면서 상기 제2주점으로부터 상기 구의 반지름만큼 떨어진 위치에 상기 심도 센서 모듈의 각 단위 셀이 위치할 수 있다.Each unit cell of the depth sensor module may be positioned at a point in a direction opposite to the direction of each pixel of the image sensor with respect to the second principal point and spaced apart from the second principal point by the radius of the sphere.
상기 제어부는, 상기 심도 센서 모듈의 각 단위 셀에서 측정되는 상기 촬영 대상체의 각 점의 심도 정보와, 상기 제2주점을 중심으로 상기 각 단위 셀에 대응하는 상기 이미지 센서의 각 픽셀의 색 정보를 이용하여, 상기 3차원을 구성할 수 있다.The controller may include depth information of each point of the photographing object measured in each unit cell of the depth sensor module, and color information of each pixel of the image sensor corresponding to each unit cell with respect to the second main point. By using the above, the three-dimensional structure can be configured.
상기 3차원 카메라 시스템은, 상기 카메라 렌즈의 표면을 따라 평행하게 배치되는 이동 궤도를 더 포함하고, 상기 심도 센서 모듈의 폭은, 상기 카메라 렌즈의 폭보다 작으며, 상기 제어부는, 상기 이동 궤도를 따라 상기 심도 센서 모듈을 이동시키며 상기 촬영 대상체를 구성하는 각 점의 3차원 좌표를 산출할 수 있다.The three-dimensional camera system further includes a moving trajectory disposed in parallel along the surface of the camera lens, the width of the depth sensor module is smaller than the width of the camera lens, the control unit, Accordingly, the depth sensor module may be moved, and three-dimensional coordinates of each point constituting the photographing object may be calculated.
상기 심도 센서 모듈은, 분리된 두 개로 구성되고, 각 심도 센서 모듈은, 상기 이동 궤도의 좌측 및 우측에 각각 배치되며, 상기 제어부는, 상기 각 심도 센서 모듈을 상기 이동 궤도를 따라 중심으로 이동시킬 수 있다.The depth sensor module is composed of two separate parts, each of the depth sensor modules is disposed at left and right sides of the moving track, and the control unit moves the depth sensor module to the center along the moving track. Can be.
상기 제어부는, 상기 각 심도 센서 모듈이 상기 중심을 경계로 서로 떨어져 열린 상태인 경우 상기 이미지 센서를 활성화하고 상기 각 심도 센서 모듈이 상기 중심에서 서로 맞닿아 닫힌 상태인 경우 상기 이미지 센서를 비활성화할 수 있다.The controller may activate the image sensor when the depth sensor modules are opened apart from each other with respect to the center, and deactivate the image sensor when the depth sensor modules are in contact with each other at the center and closed. have.
상기 제어부는, 상기 심도 센서 모듈의 이동 시간 또는 이동 거리와, 상기 심도 센서 모듈의 측정 정보와, 상기 심도 센서 모듈의 전체 이동 시간 또는 전체 이동 거리를 상기 이미지 센서의 가로 픽셀의 개수로 나누어 산출된 픽셀당 시간 또는 거리를, 매칭하여 저장부에 저장할 수 있다.The controller is calculated by dividing the moving time or the moving distance of the depth sensor module, the measurement information of the depth sensor module, and the total moving time or the total moving distance of the depth sensor module by the number of horizontal pixels of the image sensor. The time or distance per pixel can be matched and stored in the storage.
상기 3차원 카메라 시스템은, 상기 심도 센서 모듈을 상기 카메라 렌즈의 표면을 따라 이동시키는 회전체를 더 포함하고, 상기 심도 센서 모듈의 폭은, 상기 카메라 렌즈의 폭보다 작으며, 상기 제어부는, 상기 회전체를 제어하여 상기 심도 센서 모듈을 이동시키며 상기 촬영 대상체를 구성하는 각 점의 3차원 좌표를 산출할 수 있다.The three-dimensional camera system further comprises a rotating body for moving the depth sensor module along the surface of the camera lens, the width of the depth sensor module is smaller than the width of the camera lens, the control unit, the The depth sensor module may be moved by controlling a rotating body to calculate three-dimensional coordinates of each point constituting the photographing object.
상기 제어부는, 상기 심도 센서 모듈의 이동 회전 각도와, 상기 심도 센서 모듈의 측정 정보와, 상기 심도 센서 모듈의 전체 이동 회전 각도를 상기 이미지 센서의 가로 픽셀의 개수로 나누어 산출된 픽셀당 회전 각도를 매칭하여 저장부에 저장할 수 있다.The control unit may determine a rotation angle per pixel calculated by dividing the moving rotation angle of the depth sensor module, the measurement information of the depth sensor module, and the total moving rotation angle of the depth sensor module by the number of horizontal pixels of the image sensor. Matching can be stored in the storage.
상기 심도 센서 모듈은, 상기 이미지 센서의 가로 및 세로의 화각에 중첩되는 면적을 갖고, 상기 제어부는, 디폴트 모드에서 상기 심도 센서 모듈을 비활성의 투명 상태로 제어하고, 트리거 발생시 상기 심도 센서 모듈을 활성화시킬 수 있다.The depth sensor module has an area overlapping the horizontal and vertical angles of view of the image sensor, and the controller controls the depth sensor module to be in an inactive transparent state in a default mode, and activates the depth sensor module when a trigger occurs. You can.
상기 제어부는, 상기 카메라 렌즈의 초점거리 변화에 따라 상기 제2주점의 위치가 변경되는 경우 상기 심도 센서 모듈의 곡률 중심이 상기 제2주점의 변경된 위치와 일치하도록 상기 심도 센서 모듈을 이동시킬 수 있다.The controller may move the depth sensor module such that the center of curvature of the depth sensor module coincides with the changed position of the second main point when the position of the second main point changes as the focal length of the camera lens changes. .
상기 이미지 센서는, 라인 스캔 이미지 센서이고, 상기 라인 스캔 이미지 센서의 스캔 영역과 상기 심도 센서 모듈의 심도 측정 영역이 중첩되거나 인접할 수 있다.The image sensor may be a line scan image sensor, and the scan area of the line scan image sensor and the depth measurement area of the depth sensor module may overlap or be adjacent to each other.
상기 심도 센서 모듈은, 상기 카메라 렌즈에 필터 방식으로 고정될 수 있다.The depth sensor module may be fixed to the camera lens in a filter manner.
본 발명은, 구의 일부 형상을 갖는 심도 센서 모듈을 이용하여 촬영 대상체의 심도 정보를 획득할 수 있어, 볼록 렌즈를 사용하는 이미지 카메라와 손쉽게 호환될 수 있어 범용성을 갖는다. The present invention can acquire depth information of a photographing object using a depth sensor module having a shape of a sphere, and thus can be easily compatible with an image camera using a convex lens.
또한, 본 발명은 3차원 센싱 기능에 이미지 카메라의 이미지 생성 방식을 적용하여 심도 정보에 색 정보가 가미된 3차원 공간 또는 객체를 생성함으로써 실감나는 3차원 공간 또는 객체를 생성할 수 있다. In addition, the present invention may generate a realistic three-dimensional space or object by generating a three-dimensional space or an object with color information added to the depth information by applying the image generation method of the image camera to the three-dimensional sensing function.
도 1은 본 발명의 일 실시예에 따른 3차원 카메라 시스템을 나타낸 블럭도이다.
도 2는 구면 좌표계를 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 3차원 카메라 시스템에서 촬영 대상체를 구성하는 점들의 3차원 좌표를 산출하는 방법을 설명하는 도면이다.
도 4는 본 발명의 다른 실시예에 따른 3차원 카메라 시스템을 나타낸 블럭도이다.
도 5는 본 발명의 일 실시예에 따른 이미지 센서와 심도 센서 모듈의 배치 구조를 개략적으로 설명하는 도면이다.
도 6은 본 발명의 다른 실시예에 따른 이미지 센서와 심도 센서 모듈의 배치 구조를 개략적으로 설명하는 도면이다.
도 7은 본 발명의 또 다른 실시예에 따른 이미지 센서와 심도 센서 모듈의 설치 구조를 개략적으로 설명하는 도면이다.
도 8은 본 발명의 또 다른 실시예에 따른 이미지 센서와 심도 센서 모듈의 설치 구조를 개략적으로 설명하는 도면이다.
도 9는 본 발명의 또 다른 실시예에 따른 심도 센서 모듈의 설치 구조를 개략적으로 설명하는 도면이다.
도 10은 본 발명의 또 다른 실시예에 따른 이미지 센서와 심도 센서 모듈의 설치 구조를 개략적으로 설명하는 도면이다.
도 11은 본 발명의 3차원 카메라 시스템이 라인 스캔 카메라에 적용된 예를 나타낸 도면이다.1 is a block diagram showing a three-dimensional camera system according to an embodiment of the present invention.
2 shows a spherical coordinate system.
FIG. 3 is a diagram for describing a method of calculating three-dimensional coordinates of points constituting a photographing object in a three-dimensional camera system according to an exemplary embodiment.
Figure 4 is a block diagram showing a three-dimensional camera system according to another embodiment of the present invention.
5 is a view schematically illustrating an arrangement structure of an image sensor and a depth sensor module according to an exemplary embodiment of the present invention.
6 is a view schematically illustrating an arrangement structure of an image sensor and a depth sensor module according to another exemplary embodiment of the present invention.
7 is a view schematically illustrating an installation structure of an image sensor and a depth sensor module according to another exemplary embodiment of the present invention.
8 is a view schematically illustrating an installation structure of an image sensor and a depth sensor module according to another exemplary embodiment of the present invention.
9 is a view schematically illustrating an installation structure of a depth sensor module according to another embodiment of the present invention.
10 is a view schematically illustrating an installation structure of an image sensor and a depth sensor module according to another embodiment of the present invention.
11 is a view showing an example in which the three-dimensional camera system of the present invention is applied to a line scan camera.
상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일 실시예를 상세히 설명하기로 한다.The above objects, features and advantages will become more apparent from the following detailed description taken in conjunction with the accompanying drawings, whereby those skilled in the art may easily implement the technical idea of the present invention. There will be. In addition, in describing the present invention, when it is determined that the detailed description of the known technology related to the present invention may unnecessarily obscure the gist of the present invention, the detailed description thereof will be omitted. Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명의 일 실시예에 따른 3차원 카메라 시스템을 나타낸 블럭도이다. 도 1을 참조하면, 본 실시예에 따른 3차원 카메라 시스템은, 심도 센서 모듈(130), 제어부(140) 및 저장부(150)를 포함한다.1 is a block diagram showing a three-dimensional camera system according to an embodiment of the present invention. Referring to FIG. 1, the 3D camera system according to the present embodiment includes a
심도 센서 모듈(130)은 구(sphere)의 일부 형상으로 제작된다. 즉, 심도 센서 모듈(130)의 어느 부분이든 곡률(1/반지름)이 일정하도록 제작된다. 심도 센서 모듈(130)의 설치 위치에 따라 심도 센서 모듈(130)의 곡률이 정해진다. 심도 센서 모듈(130)은 빔을 방출하는 발광부와 촬영 대상체에 의해 반사되는 상기 빔을 수신하여 전기 신호로 변환하는 수광부를 포함하는 단위 셀들이 바둑판 형태로 연속하여 배치되거나, 심도 센서 모듈(130)의 중심으로부터 방사성 형태로 배치되어 구성된다. 심도 센서 모듈(130)은 단위 셀들이 바둑판 형태로 연속적으로 배치될 경우, 단위 셀들이 M×1(M은 자연수)의 행렬, 또는 M×N(M, N은 자연수)의 행렬로 구성될 수 있다. 단위 셀에는 하나의 발광부와 하나의 수광부가 포함될 수 있고, 또는 하나의 발광부와 복수의 수광부가 포함될 수 있다. 발광부는 레이저 소자 또는 적외선 소자 등이 활용될 수 있고 수광부는 포토다이오드 등이 활용될 수 있다. 바람직하게, 발광부는 표면 방출 레이저(VCSEL)이 사용될 수 있다. 심도 센서 모듈(130)의 단위 셀들은 곡률 중심을 원점으로 하고, 원점에서 각 단위 셀까지의 거리가 일정한 구면 좌표계를 형성하고, 각 단위 셀들의 구면 좌표계에서의 좌표 값은 제작시 결정된다.The
심도 센서 모듈(130)의 셀들 내부의 발광부에서 동시에 빔을 방출하고 촬영 대상체의 각 부위에서 반사된 빔은 심도 센서 모듈(130)의 각 단위 셀의 수광부에 수신되어 전기 신호로 변환된다. 심도 센서 모듈(130)은 구의 일부 형상으로 제작된다. 따라서, 심도 센서 모듈(130)의 단위 셀들의 발광부에서 방출되는 빔의 연장선은 곡률 중심까지 연결되고 또한 수광부에서 수신되는 빔의 연장선 역시 곡률 중심까지 연결된다. 발광부에서의 빔의 방출과 수광부에서의 빔의 수신 사이의 경과 시간(time of flight)을 이용하여 심도 센서 모듈(130), 구체적으로는 단위 셀로부터 빔이 반사된 촬영 대상체의 특정 지점까지의 거리가 계산될 수 있다. 단위 셀 내의 발광부에서 방출되는 빔은 촬영 대상체에서 반사되어 동일 단위 셀 내의 수광부에 수신되는데, 이때 다른 셀 내의 발광부에서 방출된 빔이 반사되어 수신될 수도 있으나, 이 빔에 의한 전기적 신호의 크기는 기준 값보다 작아 무시할 수 있다. 또는 소정의 시간 동안 빔의 방출과 수신을 반복하여 연속적으로 진행하여 가장 빈도가 높은 빔의 경과 시간(time of flight))을 선택하여 거리 계산을 할 수 있다.The beams emitted from the light emitting units inside the cells of the
저장부(150)는, 심도 센서 모듈(130)의 곡률 중심에서 심도 센서 모듈(130)까지의 거리(즉, 구의 일부 형상이므로 구의 반지름), 심도 센서 모듈(130)의 각 단위 셀들의 상기 곡률 중심을 원점으로 하는 구면 좌표계 상의 위치 좌표, 그리고 제어부(140)에서 처리되는 결과 값을 저장한다. 또한 저장부(150)는 제어부(140)의 동작을 위한 프로그램이 저장된다. 저장부(150)는 메모리일 수 있고, 이러한 메모리는 하나 이상의 프로세서로부터 멀리 떨어져 위치하는 저장 장치, 예를 들어 통신 회로와, 인터넷, 인트라넷, LAN(Local Area Network), WLAN(Wide LAN), SAN(ST0rage Area Network) 등, 또는 이들의 적절한 조합과 같은 통신 네트워크(도시하지 않음)를 통하여 액세스되는 네트워크 부착형(attached) 저장 장치를 포함할 수 있다. The
제어부(140)는, 상기 심도 센서 모듈(130)에서 측정된 정보를 이용하여 촬영 대상체를 구성하는 점들의 3차원 좌표를 산출하고, 그 산출된 3차원 좌표를 이용하여 상기 촬영 대상체의 3차원 공간 또는 객체를 생성한다. 제어부(140)는, 별도의 독립된 컴퓨팅 장치일 수 있고, 또는 이미지 처리 프로세서일 수도 있다. 제어부(140)에서 촬영 대상체의 3차원 좌표를 산출하는 과정은 도 2 및 도 3을 참조하여 이하에서 설명한다.The
도 2는 구면 좌표계를 나타낸 도면이다. 도 2를 참조하면, 구면 위의 한 점 P는 구면 좌표계 (ρ, φ, θ)로 나타낼 수 있다. 여기서 ρ는 원점으로부터 점 P까지의 거리를 뜻하며 ρ≥0이다. φ는 양의 Z 축으로부터 점 P까지 이루는 각도이며 0≤φ≤π이다. θ는 양의 X 축으로부터 XY 평면에 점 P가 사영된 점까지 이루는 각도이며 0≤θ≤2π이다. 이러한 구면 좌표계 (ρ, φ, θ)는 아래와 같이 직교 좌표계 (x, y, z)로 변환될 수 있다. 본 발명에 있어서 도 2에 도시된 원점은 심도 센서 모듈(130)의 곡률 중심에 대응하고 양의 Z 축은 심도 센서 모듈(130)의 곡률 중심에서 심도 센서 모듈(130)의 중심을 향하는 축일 수 있다. 2 shows a spherical coordinate system. Referring to FIG. 2, one point P on a spherical surface may be represented by a spherical coordinate system (ρ, φ, θ). Where ρ is the distance from the origin to point P and ρ≥0. φ is the angle from the positive Z axis to the point P and is 0 ≦ φ ≦ π. θ is the angle from the positive X axis to the point where the point P is projected on the XY plane, where 0 ≦ θ ≦ 2π. This spherical coordinate system (ρ, φ, θ) may be converted into a rectangular coordinate system (x, y, z) as follows. In the present invention, the origin shown in FIG. 2 may correspond to the center of curvature of the
x=ρsinφcosθ,x = ρsinφcosθ,
y=ρsinφsinθ, y = ρsinφsinθ,
z=ρcosφz = ρcosφ
도 3은 본 발명의 일 실시예에 따른 3차원 카메라 시스템에서 촬영 대상체를 구성하는 점들의 3차원 좌표를 산출하는 방법을 설명하는 도면이다. 도 3은 심도 센서 모듈(130)(S0) 및 피사체면(S2)을 도시한다. 피사체면(S2)은 촬영 대상체를 구성하는 어느 한 점(T2), 즉 피사체가 존재하는 피사체면(object plane)이다. 심도 센서 모듈(130)의 발광부에서 방출된 빔은 피사체(T2)에서 반사되어 심도 센서 모듈(130)의 곡률 중심(O)을 향하고 심도 센서 모듈(130)의 특정 지점(T0)의 수광부로 입사된다. 촬영 대상체를 구성하는 모든 점들의 3차원 좌표를 산출하면 촬영 대상체를 3차원으로 구성할 수 있다. 여기서 점의 크기 등의 기준은 설정에 따라 달라진다. 심도 센서 모듈(130)의 중심은 P0, 피사체면(S2)의 중심은 P2, 그리고 심도 센서 모듈(130)의 곡률 중심은 O으로 표기한다. FIG. 3 is a diagram for describing a method of calculating three-dimensional coordinates of points constituting a photographing object in a three-dimensional camera system according to an exemplary embodiment. 3 shows the depth sensor module 130 (S0) and the subject surface S2. The object surface S2 is a point T2 constituting the photographing object, that is, an object plane in which the subject exists. The beam emitted from the light emitting part of the
구체적으로, 도 3을 참조하여 상기 피사체(T2)의 3차원 좌표를 산출하는 방법은 다음과 같다. 심도 센서 모듈(130)의 발광부에서 방출된 빔은 피사체(T2)에서 반사되어 심도 센서 모듈(130)의 T0 지점의 수광부로 되돌아온다. 따라서, 심도 센서 모듈(130)의 T0 지점을 곡률 중심(O)을 원점으로 하는 구면 좌표계로 표현하면 다음과 같다.Specifically, referring to FIG. 3, a method of calculating three-dimensional coordinates of the subject T2 is as follows. The beam emitted from the light emitting part of the
T0 = (R0, φ0, θ0) T0 = (R0, φ0, θ0)
여기서 R0는 곡률 중심(O)에서 T0 지점까지의 거리이고, φ0는 양의 Z 축으로부터 T0 지점까지 이루는 각도이며, θ0는 양의 X 축으로부터 XY 평면에 T0 지점이 사영된 점까지 이루는 각도이다. Where R0 is the distance from the center of curvature O to point T0, φ0 is the angle from the positive Z axis to the point T0, and θ0 is the angle from the positive X axis to the point where the point T0 is projected on the XY plane. .
다음으로, 피사체(T2)를 구면 좌표계로 표현하면 다음과 같다. Next, the subject T2 is expressed as a spherical coordinate system as follows.
T2 = (R2, φ0, θ2) T2 = (R2, φ0, θ2)
여기서 R2는 곡률 중심(O)에서 T2 지점까지의 거리이고, φ0는 양의 Z 축으로부터 T2 지점까지 이루는 각도이며, θ2는 양의 X 축으로부터 XY 평면에 T2가 사영된 점까지 이루는 각도이다. Where R2 is the distance from the center of curvature (O) to the point T2, φ0 is an angle from the positive Z axis to the T2 point, θ2 is an angle from the positive X axis to the point where the projected T2 on the XY plane.
피사체(T2)에서 반사되는 빔은 심도 센서 모듈(130)의 T0 지점으로 입사되므로, 심도 센서 모듈(130)의 T0 지점의 구면 좌표계에서의 φ 값과, 피사체(T2)의 구면 좌표계에서의 φ 값은 φ0로 동일하다. 또한, T0 지점의 구면 좌표계에서의 θ0와 피사체(T2)의 구면 좌표계에서의 θ2도 서로 동일하다. 따라서, 심도 센서 모듈(130)의 곡률 중심(0)을 원점으로 하는 구면 좌표계에서 T0 지점과 피사체(T2)는 거리, 즉 R0와 R2에서만 다르다. 심도 센서 모듈(130)의 각 단위 셀들의 구면 좌표계에서의 (R, φ, θ) 값은 저장부(150)에 저장되어 있으므로, 피사체(T2)에서 반사되는 빔이 심도 센서 모듈(130)의 T0 지점으로 입사되었을 때, 해당 T0 지점의 (φ, θ) 값, 즉 (φ0, θ0)를 추출하고, 곡률 중심(0)에서 피사체(T2)까지의 거리 R2만 알게 되면, 최종적으로 피사체(T2)의 곡률 중심(0)을 원점으로 한 직교 좌표계에서의 (X, Y, Z) 좌표 값을 계산할 수 있다. 직교 좌표계에서의 (X, Y, Z) 좌표 값은, 피사체(T2)의 구면 좌표계의 (R2, φ0, θ2) 좌표 값을 직교 좌표계의 좌표 값으로 변환함으로써 구해진다. 즉, 피사체(T2)의 (X, Y, Z) 좌표 값인 (X2, Y2, Z2)는, 구면 좌표계 (R2, φ0, θ2)를 통해 아래와 같이 구해진다.Since the beam reflected from the subject T2 is incident to the point T0 of the
X2 = R2sinφ0cosθ0 X2 = R2sinφ0cosθ0
Y2 = R2sinφ0sinθ0 Y2 = R2sinφ0sinθ0
Z2 = R2cosφ Z2 = R2cosφ
이와 같이 입체물인 촬영 대상체를 구성하는 점들의 상기 곡률 중심(O)를 원점으로 한 (X, Y, Z) 좌표 값을 구하게 되면, 최종적으로 촬영 대상체의 3차원 형상을 얻을 수 있다. 제어부(140)는, 상기 촬영 대상체를 구성하는 점들의 직교 좌표계에서의 (X, Y, Z) 좌표 값이 구해지면, 이 좌표 값을 이용하여 촬영 대상체의 색 정보가 없는 3차원 형상을 얻을 수 있다. 제어부(140)는, 촬영 대상체의 각 점마다 심도 값, 즉 Z 값에 따라 범위를 정하여 지정된 색상으로 표현할 수 있다. 제어부(140)는, 공간이나 객체의 실제 크기나 거리를 산출할 수 있다. 예를 들어, 본 발명에 따른 3차원 카메라 시스템을 구비하는 로봇은 공간 내 문을 통과하기 위해 일정한 거리에서 문의 실제 크기, 즉 폭과 높이 값을 산출한 후 자신의 폭과 높이와 비교하여 통과 가능 여부를 결정할 수 있다. As described above, when the (X, Y, Z) coordinate values of the points constituting the three-dimensional object, the center of curvature O, are obtained, the three-dimensional shape of the object may be finally obtained. When the (X, Y, Z) coordinate value in the Cartesian coordinate system of the points constituting the photographing object is obtained, the
도 4는 본 발명의 다른 실시예에 따른 3차원 카메라 시스템을 나타낸 블럭도이다. 도 4를 참조하면, 본 실시예에 따른 3차원 카메라 시스템은, 이미지 센서(410), 카메라 렌즈(420), 심도 센서 모듈(130), 제어부(140) 및 저장부(150)를 포함한다.Figure 4 is a block diagram showing a three-dimensional camera system according to another embodiment of the present invention. Referring to FIG. 4, the 3D camera system according to the present embodiment includes an
이미지 센서(410)는 촬영 대상체에서 오는 빛을 카메라 렌즈(420)를 통해 수신하고 이 수신된 빛을 전기적 영상 신호로 변환한다. 이미지 센서(410)의 표면은 촬상면이고 픽셀들이 2차원으로 배열되어 있다. 카메라 렌즈(420)는 촬영 대상체에서 오는 빛을 모아 상기 이미지 센서(410)로 전달한다. 카메라 렌즈(420)는 이미지 센서(410)의 전방에 배치된다. 카메라 렌즈(420)의 빛이 모이는 지점을 제2주점이라고 하고, 제2주점에서 이미지 센서(410)까지의 거리를 초점거리 또는 초점길이라고 한다. The
심도 센서 모듈(130)은 카메라 렌즈(420)의 전방에 배치된다. 따라서 이미지 센서(410), 카메라 렌즈(420), 그리고 심도 센서 모듈(130)이 촬영 대상체의 방향으로 순차적으로 배치된다. 심도 센서 모듈(130)은 카메라의 렌즈에 필터를 부착하는 방식으로 카메라의 렌즈에 부착될 수 있다. 심도 센서 모듈(130)은 카메라 렌즈(420)의 초점거리 변경에 따른 제2주점의 위치 변화에 따라 곡률 중심이 제2주점에 일치되도록 지지 부재 및 이동 수단과 결합할 수 있다. 지지 부재는 투명 재질일 수 있고, 이동 수단은 카메라 렌즈(420)의 전후 이동 수단과 같은 공지된 다양한 수단이 사용될 수 있다. 심도 센서 모듈(130)은 구(sphere)의 일부 형상으로 제작된다. 즉, 심도 센서 모듈(130)의 어느 부분이든 곡률(1/반지름)이 일정하도록 제작된다. 심도 센서 모듈(130)의 설치 위치에 따라 심도 센서 모듈(130)의 곡률이 정해진다. 심도 센서 모듈(130)을 설치했을 때 상기 카메라 렌즈(420)의 제2주점까지의 거리를 반지름으로 하는 구(sphere)의 일부 형상이 되도록 심도 센서 모듈(130)을 제작한다. 카메라 렌즈(420)의 외부 표면에 가깝게 심도 센서 모듈(130)을 설치할 경우 심도 센서 모듈(130)의 곡률은 커지고, 반대로 카메라 렌즈(420)의 외부 표면으로부터 멀게 설치할 경우 심도 센서 모듈(130)의 곡률은 작아진다. 심도 센서 모듈(130)은 지지체에 의해 카메라 렌즈(420)의 앞에 지지된다. The
심도 센서 모듈(130)의 셀들 내부의 발광부에서 동시에 빔을 방출하고 촬영 대상체의 각 부위에서 반사된 빔은 심도 센서 모듈(130)의 각 단위 셀의 수광부에 수신되어 전기 신호로 변환된다. 심도 센서 모듈(130)은 구의 일부 형상으로 제작된다. 따라서, 심도 센서 모듈(130)의 단위 셀들의 발광부에서 방출되는 빔의 연장선은 카메라 렌즈(420)의 제2주점, 즉 심도 센서 모듈(130)의 곡률 중심까지 연결되고 또한 수광부에서 수신되는 빔의 연장선 역시 카메라 렌즈(420)의 제2주점, 즉 심도 센서 모듈(130)의 곡률 중심까지 연결된다. 발광부에서의 빔의 방출과 수광부에서의 빔의 수신 사이의 경과 시간(time of flight)을 이용하여 심도 센서 모듈(130), 구체적으로는 단위 셀로부터 빔이 반사된 촬영 대상체의 특정 지점까지의 거리가 계산될 수 있다. 단위 셀 내의 발광부에서 방출되는 빔은 촬영 대상체에서 반사되어 동일 단위 셀 내의 수광부에 수신되는데, 이때 다른 셀 내의 발광부에서 방출된 빔이 반사되어 수신될 수도 있으나, 이 빔에 의한 전기적 신호의 크기는 기준 값보다 작아 무시할 수 있다. 또는 소정의 시간 동안 빔의 방출과 수신을 반복하여 연속적으로 진행하여 가장 빈도가 높은 빔의 경과 시간(time of flight))을 선택하여 거리 계산을 할 수 있다.The beams emitted from the light emitting units inside the cells of the
저장부(150)는, 상기 카메라 렌즈(420)의 제2주점, 즉 곡률 중심에서 상기 심도 센서 모듈(130)까지의 거리(즉, 구의 일부 형상이므로 구의 반지름), 상기 심도 센서 모듈(130)의 각 단위 셀들의 상기 곡률 중심을 원점으로 하는 구면 좌표계 상의 위치 좌표, 그리고 제어부(140)에서 처리되는 결과 값을 저장한다. 또한 저장부(150)는 제어부(140)의 동작을 위한 프로그램이 저장된다. 저장부(150)는 메모리일 수 있고, 이러한 메모리는 하나 이상의 프로세서로부터 멀리 떨어져 위치하는 저장 장치, 예를 들어 통신 회로와, 인터넷, 인트라넷, LAN(Local Area Network), WLAN(Wide LAN), SAN(Storage Area Network) 등, 또는 이들의 적절한 조합과 같은 통신 네트워크(도시하지 않음)를 통하여 액세스되는 네트워크 부착형(attached) 저장 장치를 포함할 수 있다. The
제어부(140)는, 상기 심도 센서 모듈(130)에서 측정된 정보를 이용하여 상기 촬영 대상체를 구성하는 점들의 3차원 좌표를 산출하고, 그 산출된 3차원 좌표와 상기 이미지 센서(110)에서 생성되는 상기 촬영 대상체의 2차원 이미지를 이용하여 상기 촬영 대상체의 색 정보가 가미된 3차원 공간 또는 객체를 생성한다. 제어부(140)는, 별도의 독립된 컴퓨팅 장치일 수 있고, 또는 이미지 처리 프로세서일 수도 있다. 제어부(140)는, 설정에 따라 카메라 렌즈(420)를 이용한 2차원 이미지 촬영 모드, 또는 심도 센서 모듈(130)만을 이용하는 심도 측정 모드, 그리고 카메라 렌즈(420)와 심도 센서 모듈(130)을 모두 이용하는 3차원 객체 측정 모드로 동작할 수 있다. 제어부(140)가 촬영 대상체를 구성하는 점들의 3차원 좌표를 산출하는 방법은 앞서 설명한 바와 동일하다. 제어부(140)는, 카메라 렌즈(420)의 초점거리 변경에 따른 제2주점의 위치 변화에 따라 심도 센서 모듈(130)의 곡률 중심이 제2주점에 일치되도록 상기 이동 수단을 제어하여 심도 센서 모듈(130)을 이동시킬 수 있다.The
도 5는 본 발명의 일 실시예에 따른 이미지 센서와 심도 센서 모듈의 배치 구조를 개략적으로 설명하는 도면이다. 도 5는 촬상면(S1), 심도 센서 모듈(130)(S0), 그리고 피사체면(S2)을 도시한다. 촬상면(S1)은 이미지 센서(410)의 표면으로 픽셀들로 구성된다. 피사체면(S2)은 촬영 대상체를 구성하는 어느 한 점(T2), 즉 피사체가 존재하는 피사체면(object plane)이다. 피사체(T2)에서 반사되는 빛은 제2주점(Q2)를 지나 촬상면(S1)의 특정 지점(T1)에 입사된다. 피사체면(S2)은 촬상면(S1)과 평행하다. 촬영 대상체를 구성하는 모든 점들의 3차원 좌표를 산출하면 촬영 대상체를 3차원으로 구성할 수 있다. 여기서 점의 크기 등의 기준은 설정에 따라 달라진다. 촬상면(S1)의 중심은 P1, 심도 센서 모듈(130)의 중심은 P0, 그리고 피사체면(S2)의 중심은 P2로 표기한다. 또한 카메라 렌즈(420)의 제2주점은 Q2로 표기한다. 카메라 렌즈(420)의 제2주점(Q2)은 심도 센서 모듈(130)의 곡률 중심이기도 하다. 카메라 렌즈(420)의 초점거리는 촬상면(S1) 상의 중심점(P1)에서 제2주점(Q2)까지의 거리이다. 카메라 렌즈(420)가 피사체에 초점(포커스)를 맞출 수 있는 범위는 최소 초점거리에서 무한대 초점거리인데, 이러한 범위 내에서 초점거리는 각각 다른 값을 갖고 초점거리의 변화는 제2주점(Q2)의 위치를 변화시키게 된다. 따라서 자동초점조절 기능이 있는 카메라 렌즈(420)의 경우처럼 제2주점(Q2)의 위치에 변화가 감지될 때마다 심도 센서 모듈(130)은 제어부(140)의 제어에 따라 전후 이동되어 곡률 중심(O)이 제2주점(Q2)의 위치로 신속하게 이동된다. 심도 센서 모듈(130)의 이동 수단은 자동초점조절기능과 연동하여 설치될 수 있다. 심도 센서 모듈(130)을 구성하는 단위 셀들의 심도 센서 모듈(130) 내에서의 위치는 이미지 센서(410)의 촬상면(S1)에 적합하게 제작될 수 있다. 이를 설명하면 다음과 같다.5 is a view schematically illustrating an arrangement structure of an image sensor and a depth sensor module according to an exemplary embodiment of the present invention. 5 illustrates the imaging surface S1, the depth sensor module 130 (S0), and the object surface S2. The imaging surface S1 is composed of pixels on the surface of the
먼저, 이미지 센서(410)의 촬상면(S1)의 T1 지점을 구면 좌표계로 표시하면 다음과 같다.First, when the T1 point of the imaging surface (S1) of the
T1 = (R1, φ1, θ1) T1 = (R1, φ1, θ1)
여기서 R1은 제2주점(Q2)에서 T1 지점까지의 거리이고, φ1는 양의 Z 축으로부터 T1 지점까지 이루는 각도이며, θ1는 양의 X 축으로부터 XY 평면에 T1 지점이 사영된 점까지 이루는 각도이다. 보다 구체적으로, (R1, φ1, θ1)의 값은 다음과 같이 구할 수 있다.Where R1 is the distance from the second principal point Q2 to the T1 point, φ1 is the angle from the positive Z axis to the T1 point, and θ1 is the angle from the positive X axis to the point where the T1 point is projected on the XY plane. to be. More specifically, the value of (R1, φ1, θ1) can be obtained as follows.
R1=√(F2 + S2), 여기서 F는 초점 거리, S는 P1~T1 거리.R1 = √ (F 2 + S 2 ), where F is the focal length and S is the distance P1-T1.
φ1=cos-1(F/R1)φ1 = cos -1 (F / R1)
θ1=cos-1(X1/S)θ1 = cos -1 (X1 / S)
다음으로, 심도 센서 모듈(130)의 T0 지점을 구면 좌표계로 표현하면 다음과 같다. Next, if the T0 point of the
T0 = (R0, φ0, θ0) T0 = (R0, φ0, θ0)
여기서 R0는 제2주점(Q2)에서 T0 지점까지의 거리이고, φ0는 양의 Z 축으로부터 T0 지점까지 이루는 각도이며, θ0는 양의 X 축으로부터 XY 평면에 T0 지점이 사영된 점까지 이루는 각도이다. Where R0 is the distance from the second principal point Q2 to the point T0, φ0 is the angle from the positive Z axis to the point T0, and θ0 is the angle from the positive X axis to the point where the point T0 is projected on the XY plane. to be.
제2주점(Q2)를 원점으로 하는 동일 구면 좌표계를 기준으로 할 때, T1 지점과 T0 지점은 180도의 차이가 있지만, 원점만을 동일하게 하고 축의 방향을 180도 달리하는 두 개의 구면 좌표계를 생각하면, T1의 φ1과 T0의 φ0은 동일하고, 또한 T1의 θ1과 T0의 θ0는 동일하다. 따라서, 제2주점(Q2)을 기준으로 한 구면 좌표계에서 볼 때, T1 및 T0는 φ와 θ는 동일하고 제2주점(Q2)으로부터의 거리인 R1과 R0만 차이가 있다. 따라서, 이미지 센서(410)의 촬상면(S1)에 적합한 심도 센서 모듈(S0)을 제작하기 위해서는, (1) 이미지 센서(410)의 촬상면(S1)의 픽셀들을 구면 좌표계의 좌표 값으로 변환한 후, (2) 제2주점(Q2)에서의 각 픽셀까지의 거리(즉, R1)를 제2주점(Q2)에서 심도 센서 모듈(130)까지의 거리(R0)로 교체하고, (3) 그 거리가 교체된 구면 좌표계의 좌표 값을 이용하여 심도 센서 모듈(130)의 각 단위 셀들을 위치시켜 제작하면 된다. 즉, 이미지 센서(410)의 촬상면(S1)의 각 픽셀의 위치를 제2주점(Q2)를 중심으로 180도 회전하면서 거리를 R0로 설정하면 된다. 상기 제2주점을 중심으로 상기 이미지 센서의 각 픽셀의 방향과 180도 반대 방향의 지점이면서 상기 제2주점으로부터 상기 구의 반지름만큼 떨어진 위치에 상기 심도 센서 모듈의 각 단위 셀이 위치하는 것이다. 이와 같이 하게 되면, 심도 센서 모듈(130)의 각 단위 셀은 이미지 센서(410)의 촬상면(S1)의 각 픽셀에 대응하게 되어, 촬상면(S1)의 각 픽셀에 심도 값을 적용할 수 있다. 이러한 실시예는 심도 센서 모듈(130)이 이미지 센서(410)의 화각을 커버하는 면적을 가질 때 바람직하다. 예를 들면, 이하에서 설명하는 도 10의 실시예와 같다.Based on the same spherical coordinate system using the second principal point Q2 as a reference point, there is a difference of 180 degrees between the T1 point and the T0 point, but considering two spherical coordinate systems that make the same point only and change the direction of the axis 180 degrees. , Φ1 of T1 and φ0 of T0 are the same, and θ1 of T1 and θ0 of T0 are the same. Therefore, in the spherical coordinate system based on the second main point Q2, T1 and T0 have the same φ and θ, and only R1 and R0, which are distances from the second main point Q2, are different. Therefore, in order to manufacture the depth sensor module S0 suitable for the imaging surface S1 of the
제어부(140)는, 상기 심도 센서 모듈(130)의 각 단위 셀을 통해서 각 단위 셀에 대응하는 촬영 대상체를 구성하는 각 점들의 3차원 좌표를 산출하고, 각 점들의 3차원 좌표, 그 중에서도 심도 정보인 Z 값을, 촬상면(S1)의 상기 각 단위 셀에 대응하는 픽셀의 값에 적용할 수 있다. 또는 제어부(140)는 상기 심도 센서 모듈(130)을 통해 3차원 공간 또는 객체를 구성할 때, 심도 센서 모듈(130)의 각 단위 셀에 대응하는 촬상면(S1)의 픽셀에서 색 정보를 획득하여 3차원 공간 또는 객체에 색 정보를 가미할 수 있다. The
한편, 이미지 센서(410)의 촬상면(S1)의 각 픽셀의 좌표와 심도 센서 모듈(130)의 각 단위 셀의 좌표가 서로 대응하지 않을 수 있다. 이 경우, 이미지 센서(410)의 촬상면(S1)의 각 픽셀의 구면 좌표계 상에서의 좌표, 즉 (φ, θ)를 구한 후, 심도 센서 모듈(130)의 각 단위 셀들의 (φ, θ)와 비교하여 일치 또는 근사한 값을 갖는 단위 셀을 해당 픽셀에 대응하는 단위 셀로 볼 수 있다. The coordinates of each pixel of the imaging surface S1 of the
도 6은 본 발명의 다른 실시예에 따른 이미지 센서와 심도 센서 모듈의 배치 구조를 개략적으로 설명하는 도면이다. 도 6을 참조하면, 3차원 카메라 시스템은, 심도 센서 모듈(130)의 폭(W)이 카메라 렌즈(420)의 폭보다 작다. 즉, 심도 센서 모듈(130)이 카메라 렌즈(420)의 표면을 모두 덮지 않는다. 심도 센서 모듈(130)은 단위 셀들이 M×1(M은 자연수)의 행렬, 즉 1열로 구성된다. 또한, 3차원 카메라 시스템은 카메라 렌즈(420)의 표면을 따라 평행하게 배치되는 이동 궤도(610)를 포함한다. 이동 궤도(610)는 심도 센서 모듈(130)과 마찬가지로 제2주점(Q2)을 중심으로 한 원호 형태의 경로를 만든다. 심도 센서 모듈(130)은, 단위 셀 내부에 표면 방출 레이저와 포토 다이오드를 각각 1개씩 구성하면서, 좌측에 포토 다이오드를 설치하고 우측에 표면 방출 레이저를 설치하여, B3 방향으로 이동하면서 빔을 방출하고 피사체에서 반사되어 돌아오는 빔을 수신할 수 있다. 또는 심도 센서 모듈(130)은, 단위 셀 내부에 하나의 표면 방출 레이저와 좌우 양측에 포토 다이오드를 설치하고, 좌우 왕복으로 이동하면서 빔을 방출하고 수신할 수 있다. 6 is a view schematically illustrating an arrangement structure of an image sensor and a depth sensor module according to another exemplary embodiment of the present invention. Referring to FIG. 6, in the 3D camera system, the width W of the
도 6의 실시예에서 심도 센서 모듈(130)은 단위 셀들이 1열로 구성되어 폭이 대단히 좁다. 또한, 심도 센서 모듈(130)은, 카메라 렌즈(420)의 표면에 최대한 가깝게 설치됨으로써, 카메라의 최단 촬영거리 내에 위치한다. 따라서, 심도 센서 모듈(130)이 좌우로 이동하더라도 이미지 센서(410)에서 심도 센서 모듈(130)을 감지하기는 어렵다. 바람직하게 심도 센서 모듈(130)은 무광택으로 처리될 수 있다. 심도 센서 모듈(130)의 1열 전체의 발광부에서 빔이 방출되도록 할 수도 있으나, 1 행부터 M 행까지 짧은 시차를 두고 순차적으로 빔이 방출되도록 함으로써 인접 셀에서 방출되는 빔의 간섭이나, 다른 셀에서 방출되는 빔이 함께 촬영 대상체에서 반사되어 수신되는 현상을 최소화할 수 있다. In the embodiment of FIG. 6, the
도 7은 본 발명의 또 다른 실시예에 따른 이미지 센서와 심도 센서 모듈의 설치 구조를 개략적으로 설명하는 도면이다. 도 7을 참조하면, 3차원 카메라 시스템은, 분리된 두 개의 심도 센서 모듈(130:130-1, 130-2)과, 그 두 개의 심도 센서 모듈(130)을 이동시키는 이동 궤도(610)를 포함한다. 각 심도 센서 모듈(130)의 폭은 카메라 렌즈(420)의 폭보다 작다. 즉, 심도 센서 모듈(130)이 카메라 렌즈(420)의 표면을 모두 덮지 않는다. 심도 센서 모듈(130)은 단위 셀들이 M×1(M은 자연수)의 행렬, 즉 1열로 구성된다. 이동 궤도(610)는 심도 센서 모듈(130)과 마찬가지로 제2주점(Q2)을 중심으로 한 원호 형태의 경로를 만든다. 하나의 심도 센서 모듈(130-1)은 이동 궤도(610)의 좌측에 배치되고 다른 하나의 심도 센서 모듈(130-2)은 이동 궤도(610)의 우측에 배치되어, 제어부(140)의 제어에 따라 두 개의 심도 센서 모듈(130)은 이동 궤도(610)를 따라 중심(710)으로 이동되며 촬영 대상체의 심도를 측정할 수 있다. 각 심도 센서 모듈(130)은, 단위 셀 내부에 표면 방출 레이저와 포토 다이오드를 각각 1개씩 구성될 수 있다. 이동 궤도(610)의 좌측에 설치되는 심도 센서 모듈(130-1)의 각 단위 셀은 좌측에 포토 다이오드가 설치되고 우측에 표면 방출 레이저가 설치되고, 이동 궤도(610)의 우측에 설치되는 심도 센서 모듈(130-2)의 각 단위 셀은 우측에 포토 다이오드가 설치되고 좌측에 표면 방출 레이저가 설치된다. 이러한 도 7을 참조한 실시예의 시스템은, 도 6을 참조한 실시예의 시스템에 비해 심도 측정 시간을 단축시킬 수 있다.7 is a diagram schematically illustrating an installation structure of an image sensor and a depth sensor module according to another exemplary embodiment of the present invention. Referring to FIG. 7, the three-dimensional camera system includes two separated depth sensor modules 130: 130-1 and 130-2, and a moving
도 8은 본 발명의 또 다른 실시예에 따른 이미지 센서와 심도 센서 모듈의 설치 구조를 개략적으로 설명하는 도면이다. 도 8을 참조하면, 도 7을 참조하여 설명한 실시예와 마찬가지로, 3차원 카메라 시스템은, 분리된 두 개의 심도 센서 모듈(130:130-1, 130-2)과, 그 두 개의 심도 센서 모듈(130)을 이동시키는 이동 궤도(610)를 포함한다. 다만, 각 심도 센서 모듈(130)은, 단위 셀들이 M×N(M, N은 2 이상의 자연수)의 행렬로 구성되고, 이동 궤도(610)는 도 6을 참조하여 설명한 이동 궤도(610)보다 더 길게 연장되어 있다. 각 심도 센서 모듈(130)은 제어부(140)의 제어에 따라 이동 궤도(610)를 따라 이동한다. 제어부(140)는, 각 심도 센서 모듈(130)이 상기 중심을 경계로 서로 떨어져 열린 상태인 경우 이미지 센서(410)를 활성화하고 각 심도 센서 모듈(130)이 상기 중심에서 서로 맞닿아 닫힌 상태인 경우 이미지 센서(410)를 비활성화할 수 있다. 산발적 이미지 촬영과 연속되는 심도 촬영에 효과적이다.8 is a view schematically illustrating an installation structure of an image sensor and a depth sensor module according to another exemplary embodiment of the present invention. Referring to FIG. 8, similar to the embodiment described with reference to FIG. 7, the three-dimensional camera system includes two separated depth sensor modules 130: 130-1 and 130-2, and two depth sensor modules ( Moving
도 9는 본 발명의 또 다른 실시예에 따른 심도 센서 모듈의 설치 구조를 개략적으로 설명하는 도면이다. 도 9을 참조한 본 실시예는 도 6을 참조한 실시예와 마찬가지로, 심도 센서 모듈(130)의 폭은 카메라 렌즈(420)의 폭보다 작고, 심도 센서 모듈(130)은 단위 셀들이 M×1(M은 자연수)의 행렬, 즉 1열로 구성된다. 도 6을 참조한 실시예에서 심도 센서 모듈(130)은 이동 궤도(610)를 따라 이동하지만, 도 9를 참조한 본 실시예에서 심도 센서 모듈(130)은 고정된 위치에서 회전하는 회전체(910)에 연결되어 카메라 렌즈(420)의 표면을 따라 이동한다. 제어부(140)는, 상기 회전체(910)를 제어하여 심도 센서 모듈(130)을 이동시키며 촬영 대상체를 구성하는 각 점의 3차원 좌표를 산출한다. 회전체(910)에 의해 이동하는 심도 센서 모듈(130)의 이동 궤적은 제2주점(Q2)을 중심으로 한 원호 형태의 경로를 만든다. 즉 회전체(910)의 회전 중심(911)이 카메라 렌즈(420)의 제2주점(Q2)이다. 심도 센서 모듈(130)은, 단위 셀 내부에 하나의 표면 방출 레이저와 좌우 양측에 포토 다이오드를 설치하고, 좌우 왕복으로 이동하면서 빔을 방출하고 수신할 수 있다.9 is a view schematically illustrating an installation structure of a depth sensor module according to another embodiment of the present invention. 9, the width of the
이상의 도 6 내지 도 9를 참조하여 설명한 실시예에서, 3차원 카메라 시스템의 제어부(140)는, 심도 센서 모듈(130)을 이동시키며 이동에 관한 정보를 저장부(150)에 저장하고, 그 이동에 관한 정보와 이미지 센서(410)의 픽셀 정보를 매칭함으로써, 촬영 대상체의 심도 정보와 색 정보를 정확히 매칭할 수 있다. 여기서 상기 이동에 관한 정보는 이동 시간 또는 이동 거리 또는 회전 각도이다. 이동 시간 또는 이동 거리는 도 6 내지 도 8을 참조한 실시예에서 저장되고, 회전 각도는 도 9를 참조한 실시예에서 저장되는 것이 바람직하다.6 to 9, the
도 6 내지 도 8을 참조한 실시예에서, 제어부(140)는, 심도 센서 모듈(130)의 이동 시간 또는 이동 거리와, 심도 센서 모듈(130)의 측정 정보와, 심도 센서 모듈(130)의 전체 이동 시간 또는 전체 이동 거리를 상기 이미지 센서(410)의 가로 픽셀의 개수로 나누어 산출된 픽셀당 시간 또는 위치를 매칭하여 저장부(150)에 저장한다. 전체 이동 시간은 출발 시간과 도착 시간으로 산출될 수 있다. 그리고 이동 거리는 물리적인 이동 거리일 수 있고, 또는 심도 센서 모듈(130)의 이동 궤도(610) 상의 위치의 차이일 수 있다. 심도 센서 모듈(130)의 각 단위 이동 시간 또는 이동 거리마다 해당 시간 또는 거리에서의 심도 센서 모듈(130)의 측정 정보를 매칭하여 저장하게 되면, 특정 이동 시간 또는 이동 거리에서의 측정 정보를 검색할 수 있다. 그리고 검색된 측정 정보에 대응하는 이미지 센서(410)의 픽셀은, 상기 특정 이동 시간 또는 이동 거리에 대응하는 시간 또는 위치를 갖는 픽셀로 특정될 수 있다. 6 to 8, the
도 9를 참조한 실시예에서, 제어부(140)는, 심도 센서 모듈(130)의 이동 회전 각도와, 심도 센서 모듈(130)의 측정 정보와, 심도 센서 모듈(130)의 전체 회전 이동 각도를 상기 이미지 센서(110)의 가로 픽셀의 개수로 나누어 산출된 픽셀당 회전 각도를 매칭하여 저장부(150)에 저장한다. 심도 센서 모듈(130)의 각 단위 이동 회전 각도마다 해당 회전 각도에서의 심도 센서 모듈(130)의 측정 정보를 매칭하여 저장하게 되면, 특정 회전 각도에서의 측정 정보를 검색할 수 있다. 그리고 검색된 측정 정보에 대응하는 이미지 센서(410)의 픽셀은, 상기 특정 회전 각도에 대응하는 회전 각도를 갖는 픽셀로 특정될 수 있다. In the embodiment of FIG. 9, the
상기 제어부(140)는, 상기 심도 센서 모듈(130)의 측정 정보, 즉 심도 정보를, 이미지 센서(410)에 의해 생성되는 이미지 파일의 각 픽셀에 기록할 수 있다. 예를 들어, 각 픽셀의 ARGB 값 중에서 A(투명) 값 대신에 측정 정보를 기록하거나, 또는 ARGB 값에 예를 들어 1바이트(Byte)를 추가하여 ARGBD(D: 측정 정보) 형식으로 측정 정보를 기록할 수 있다. 1바이트를 추가할 경우 십진수 256까지 기록되는데, 이 경우 심도 값에서 최소 심도 값을 뺀 나머지 값을 기록하고, 최소 심도 값은 별도로 기록할 수 있다. 예를 들어 이미지의 메타정보(EXIF)에 최소 심도 값을 기록할 수 있다. The
도 10은 본 발명의 또 다른 실시예에 따른 이미지 센서와 심도 센서 모듈의 설치 구조를 개략적으로 설명하는 도면이다. 도 6 내지 도 9의 실시예와 달리, 도 10을 참조한 실시예의 심도 센서 모듈(130)은 카메라 렌즈(420)의 제2주점(Q2)을 중심점으로 한 구의 일부로서 이미지 센서(410)의 촬상면에 대응하는 가로 화각과 세로 화각으로 구성되는 면적과 중첩되는 영역을 갖는다. 심도 센서 모듈(130)은 셀들이 M×N 행렬로 구성되며, 투명 디스플레이처럼 디폴트 상태에서는 비활성화되어 투명 상태를 유지하고 특정 트리거가 주어지면 심도 측정 모드로 활성화되어 빔을 방출하고 수신한다. 바람직하게, 제어부(140)는 특정 트리거 발생시에, 심도 센서 모듈(130)을 심도 측정 모드로 활성화하여 좌측 1열부터 순차적으로 1열씩 심도 측정을 실시하거나 좌측 1열1행, 1열2행 식으로 셀 단위로 심도 측정을 실시할 수 있다. 도 10의 실시예는, 촬영 대상체를 연속으로 이미지 촬영하거나 심도 측정해야 하는 경우 등 촬영 대상체가 동적인 경우에 적합하다. 10 is a view schematically illustrating an installation structure of an image sensor and a depth sensor module according to another embodiment of the present invention. Unlike the embodiment of FIGS. 6 to 9, the
이상에서 설명한 실시예에 따른 3차원 카메라 시스템은, 얼굴 인식, 파노라마 이미지를 활용한 3D 공간의 생성, VR 피팅, 자율 주행차 등에서 활용될 수 있다. 예를 들어 VR 피팅의 경우, 사용자는 스마트폰의 3차원 카메라 시스템을 이용하여 자신의 인체를 3D 객체로 생성하여 저장한 후, 어플리케이션을 통해서 온라인 쇼핑볼에서 3D 의류를 제공받아 자신의 3D 객체에 적용시켜 의류가 잘 어울리는지 등을 확인할 수 있다. 또 다른 예로 얼굴 인식의 경우, 종래에는 2차원 이미지에서 얼굴을 인식하여 동일인 여부를 판단한다. 본 발명에 따른 3차원 카메라 시스템이 스마트폰에 설치되었을 때, 사용자는 스마트폰의 3차원 카메라 시스템을 이용하여 자신의 얼굴을 인식하여 등록한다. 이때 3차원 카메라 시스템은 두 눈의 중심 간 거리를 측정하여 저장하고, 이 두 눈의 중심 간 거리를 얼굴 인식의 기준으로 활용할 수 있다. 본 발명의 3차원 카메라 시스템은 두 눈의 중심 간 거리를 측정할 때 단순히 2차원 이미지에서의 직선 거리를 측정하는 것이 아니라, 심도 값을 이용한 3차원 상의 곡선 거리이기 때문에, 사진을 조작할 경우 얼굴 인증에 실패하게 된다.The 3D camera system according to the exemplary embodiment described above may be used in face recognition, generation of 3D space using a panoramic image, VR fitting, autonomous driving vehicle, and the like. For example, in the case of VR fitting, a user creates and stores a human body as a 3D object using a 3D camera system of a smart phone, and then receives 3D clothing from an online shopping ball through an application to the 3D object. Apply it to see if your clothes look good. As another example, in the case of face recognition, conventionally, a face is recognized in a 2D image to determine whether the face is the same. When the 3D camera system according to the present invention is installed in a smart phone, the user recognizes and registers his or her face using the 3D camera system of the smart phone. At this time, the 3D camera system measures and stores the distance between the centers of the two eyes, and can use the distance between the centers of the two eyes as a reference for face recognition. When measuring the distance between the centers of two eyes, the three-dimensional camera system of the present invention does not simply measure a straight line distance in a two-dimensional image, but is a three-dimensional curved distance using a depth value. Authentication will fail.
본 발명의 3차원 카메라 시스템은 에어리어 스캔(Area Scan) 카메라뿐만 아니라, 라인 스캔(Line Scan) 카메라에도 적용할 수 있다. 360도 촬영시 에어리어 스캔 카메라는 여러 대가 필요하지만, 라인 스캔 카메라의 경우 하나의 라인 스캔 카메라로 360도 촬영이 가능하다. 라인 스캔 카메라의 이미지 센서는 CCD 혹은 CMOS 소자가 일렬로만 배열된 상태에서 촬영 대상체의 이동 속도에 맞춰 촬영이 연속적으로 끊임없이 이루어지며 초고화질을 구현할 수 있고, 스캔 속도 또한 대단히 빠르다. The three-dimensional camera system of the present invention can be applied to not only an area scan camera but also a line scan camera. In case of 360-degree shooting, several area scan cameras are required, but in the case of line-scan cameras, 360-degree shooting can be performed with one line scan camera. The image sensor of a line scan camera is a continuous continuous shooting according to the moving speed of the photographing object in a state where the CCD or CMOS elements are arranged only in a row, and can realize ultra high quality, and the scanning speed is also very fast.
도 11은 본 발명의 3차원 카메라 시스템이 라인 스캔 카메라에 적용된 예를 나타낸 도면이다. 도 11을 참조하면, 심도 센서 모듈(130)은 앞서 설명한 다른 실시예와 마찬가지로 카메라 렌즈(420)의 전방에 설치된다. 심도 센서 모듈(130)은 단위 셀들이 1열로 배치되어 있고, 단위 셀은 표면 방출 레이저와 포토 다이오드를 포함한다. 라인 스캔 카메라(1110)의 이미지 센서(410)는 CCD 혹은 CMOS 소자가 일렬로 배열되어 있다. 도 11에 도시된 바와 같이, 심도 센서 모듈(130)의 심도 측정 영역(1120)과, 라인 스캔 카메라의 스캔 영역(1130), 즉 라인 스캔 이미지 센서(410)의 스캔 영역(1130)은 인접하게 배치되거나 서로 중첩될 수 있다. 심도 센서 모듈(130)은 카메라 렌즈(420)의 표면에 최대한 가깝게 설치됨으로써, 라인 스캔 카메라의 최단 촬영거리 내에 위치하고, 따라서 심도 센서 모듈(130)의 심도 측정 영역(1120)과 라인 스캔 이미지 센서(410)의 스캔 영역(1130)이 중첩되더라도 라인 스캔 이미지 센서(410)에서 심도 센서 모듈(130)을 감지하기는 어렵다. 라인 스캔 카메라(1110)가 고정된 위치에서 회전하기 때문에 별도로 심도 센서 모듈(130)을 움직일 필요 없이 촬영 대상체의 심도를 측정할 수 있다. 라인 스캔 카메라(1110)는 도 11에 도시된 바와 같이 고정된 위치에서 회전하는 형태로 설계될 수 있으나, 회전하지 않고 이동하는 구조로 설계될 수도 있다. 예를 들어 제품을 검사하기 위해 컨베이어 위에 설치하는 경우와 반대로 이동이 쉽지 않은 구조물의 표면을 측정하기 위해 심도 센서 모듈(130)을 직선 이동하여야 하는 경우를 들 수 있다.11 is a view showing an example in which the three-dimensional camera system of the present invention is applied to a line scan camera. Referring to FIG. 11, the
본 명세서는 많은 특징을 포함하는 반면, 그러한 특징은 본 발명의 범위 또는 특허청구범위를 제한하는 것으로 해석되어서는 안 된다. 또한, 본 명세서에서 개별적인 실시예에서 설명된 특징들은 단일 실시예에서 결합되어 구현될 수 있다. 반대로, 본 명세서에서 단일 실시예에서 설명된 다양한 특징들은 개별적으로 다양한 실시예에서 구현되거나, 적절히 결합되어 구현될 수 있다. 이상에서 설명한 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.While this specification contains many features, such features should not be construed as limiting the scope of the invention or the claims. Also, the features described in the individual embodiments herein can be implemented in combination in a single embodiment. Conversely, various features described in a single embodiment herein can be implemented individually in various embodiments or in combination appropriately. The present invention described above is capable of various substitutions, modifications, and changes without departing from the spirit of the present invention for those skilled in the art to which the present invention pertains. It is not limited by the drawings.
130 : 심도 센서 모듈
140 : 제어부
150 : 저장부
410 : 이미지 센서
420 : 카메라 렌즈
610 : 이동 궤도
910 : 회전체
1110 : 라인 스캔 카메라130: depth sensor module
140: control unit
150: storage unit
410: image sensor
420: Camera Lens
610: moving trajectory
910: rotating body
1110: Line Scan Camera
Claims (15)
소정의 곡률을 갖는 구(sphere)의 일부 형상으로 이루어지며, 빔을 방출하는 발광부와 상기 촬영 대상체에 의해 반사되는 상기 빔을 수신하는 수광부를 포함하는 복수의 단위 셀들을 포함하고, 각 단위 셀들의 곡률 중심이 상기 구의 중심이며 구면 좌표계의 원점인 심도 센서 모듈; 및
상기 심도 센서 모듈에서 측정된 정보를 이용하여 상기 곡률 중심을 원점으로 하는 3차원 직교 좌표계 상에서의 상기 촬영 대상체를 구성하는 점들의 3차원 좌표를 산출하고 그 산출된 3차원 좌표를 이용하여 상기 촬영 대상체를 3차원으로 구성하는 제어부를 포함하는 3차원 카메라 시스템. In the three-dimensional camera system for configuring the photographing object in three dimensions,
Each unit cell is formed in a shape of a sphere having a predetermined curvature, and includes a plurality of unit cells including a light emitting unit emitting a beam and a light receiving unit receiving the beam reflected by the photographing object. A depth sensor module whose center of curvature is the center of the sphere and the origin of the spherical coordinate system; And
The 3D coordinates of points constituting the photographing object on the 3D Cartesian coordinate system having the origin of the center of curvature as the origin are calculated using the information measured by the depth sensor module, and the photographed object is obtained using the calculated 3D coordinates. 3D camera system comprising a control unit for configuring the three-dimensional.
상기 심도 센서 모듈의 각 단위 셀들의 상기 곡률 중심을 원점으로 한 구면 좌표계 상에서의 좌표 값과, 상기 구의 반지름을 저장하는 저장부를 더 포함하고,
상기 제어부는,
상기 곡률 중심으로부터 상기 촬영 대상체를 구성하는 각 점까지의 직선 거리를 산출하고, 상기 저장부에서 상기 각 단위 셀의 상기 구면 좌표계 상에서의 (φ, θ) 값을 확인하며, 상기 산출된 직선 거리 및 상기 (φ, θ) 값을 이용하여 상기 각 점의 상기 구면 좌표계 상에서의 좌표 값을 산출하고, 그 산출된 구면 좌표계 상에서의 좌표 값을 상기 곡률 중심을 원점으로 한 직교 좌표계 상에서의 (X, Y, Z) 좌표 값으로 변환하는 것을 특징으로 하는 3차원 카메라 시스템.The method of claim 1,
The apparatus may further include a storage unit configured to store a coordinate value and a radius of the sphere on a spherical coordinate system using the center of curvature of each unit cell of the depth sensor module as an origin.
The control unit,
The linear distance from the center of curvature to each point constituting the photographing object is calculated, and the storage unit checks the (φ, θ) value on the spherical coordinate system of each unit cell, and calculates the calculated linear distance and The coordinate values on the spherical coordinate system of the respective points are calculated using the value of (φ, θ), and the coordinate values on the calculated spherical coordinate system are the (X, Y on the rectangular coordinate system whose origin is the curvature center. , Z) 3D camera system for converting the coordinate value.
상기 촬영 대상체의 이미지를 생성하는 이미지 센서;
상기 이미지 센서의 전방에 배치되는 카메라 렌즈를 더 포함하고,
상기 심도 센서 모듈은, 상기 카메라 렌즈의 전방에 배치되며, 상기 카메라 렌즈의 제2주점과 상기 곡률 중심이 일치하는 것을 특징으로 하는 3차원 카메라 시스템.The method of claim 2,
An image sensor generating an image of the photographing object;
Further comprising a camera lens disposed in front of the image sensor,
The depth sensor module is disposed in front of the camera lens, wherein the second principal point of the camera lens and the center of curvature coincide with each other.
상기 제2주점을 중심으로 상기 이미지 센서의 각 픽셀의 방향과 180도 반대 방향의 지점이면서 상기 제2주점으로부터 상기 구의 반지름만큼 떨어진 위치에 상기 심도 센서 모듈의 각 단위 셀이 위치하는 것을 특징으로 하는 3차원 카메라 시스템. The method of claim 3, wherein
Each unit cell of the depth sensor module is positioned at a position in a direction opposite to the direction of each pixel of the image sensor about 180 degrees from the second main point and spaced apart from the second main point by the radius of the sphere. 3D camera system.
상기 제어부는,
상기 심도 센서 모듈의 각 단위 셀에서 측정되는 상기 촬영 대상체의 각 점의 심도 정보와, 상기 제2주점을 중심으로 상기 각 단위 셀에 대응하는 상기 이미지 센서의 각 픽셀의 색 정보를 이용하여, 상기 3차원을 구성하는 것을 특징으로 하는 3차원 카메라 시스템.The method of claim 4, wherein
The control unit,
By using depth information of each point of the photographing object measured in each unit cell of the depth sensor module and color information of each pixel of the image sensor corresponding to each unit cell around the second main point, Three-dimensional camera system, characterized in that the three-dimensional configuration.
상기 카메라 렌즈의 표면을 따라 평행하게 배치되는 이동 궤도를 더 포함하고,
상기 심도 센서 모듈의 폭은, 상기 카메라 렌즈의 폭보다 작으며,
상기 제어부는,
상기 이동 궤도를 따라 상기 심도 센서 모듈을 이동시키며 상기 촬영 대상체를 구성하는 각 점의 3차원 좌표를 산출하는 것을 특징으로 하는 3차원 카메라 시스템.The method of claim 3, wherein
Further comprising a moving trajectory disposed in parallel along the surface of the camera lens,
The width of the depth sensor module is smaller than the width of the camera lens,
The control unit,
And moving the depth sensor module along the moving trajectory and calculating three-dimensional coordinates of each point constituting the photographing object.
상기 심도 센서 모듈은, 분리된 두 개로 구성되고,
각 심도 센서 모듈은, 상기 이동 궤도의 좌측 및 우측에 각각 배치되며,
상기 제어부는, 상기 각 심도 센서 모듈을 상기 이동 궤도를 따라 중심으로 이동시키는 것을 특징으로 하는 3차원 카메라 시스템.The method of claim 6,
The depth sensor module is composed of two separated,
Each depth sensor module is disposed on the left and right sides of the moving track,
The control unit, the three-dimensional camera system, characterized in that for moving each of the depth sensor module to the center along the moving trajectory.
상기 제어부는,
상기 각 심도 센서 모듈이 상기 중심을 경계로 서로 떨어져 열린 상태인 경우 상기 이미지 센서를 활성화하고 상기 각 심도 센서 모듈이 상기 중심에서 서로 맞닿아 닫힌 상태인 경우 상기 이미지 센서를 비활성화하는 것을 특징으로 하는 3차원 카메라 시스템. The method of claim 7, wherein
The control unit,
Activating the image sensor when the depth sensor modules are opened apart from each other with respect to the center, and deactivating the image sensor when the depth sensor modules are in contact with each other at the center and closed; 3D camera system.
상기 제어부는,
상기 심도 센서 모듈의 이동 시간 또는 이동 거리와, 상기 심도 센서 모듈의 측정 정보와, 상기 심도 센서 모듈의 전체 이동 시간 또는 전체 이동 거리를 상기 이미지 센서의 가로 픽셀의 개수로 나누어 산출된 픽셀당 시간 또는 거리를, 매칭하여 저장부에 저장하는 것을 특징으로 하는 3차원 카메라 시스템.The method according to any one of claims 6 to 8,
The control unit,
The time per pixel calculated by dividing the moving time or the moving distance of the depth sensor module, the measurement information of the depth sensor module, the total moving time or the total moving distance of the depth sensor module by the number of horizontal pixels of the image sensor, or The distance is matched and stored in the storage unit.
상기 심도 센서 모듈을 상기 카메라 렌즈의 표면을 따라 이동시키는 회전체를 더 포함하고,
상기 심도 센서 모듈의 폭은, 상기 카메라 렌즈의 폭보다 작으며,
상기 제어부는,
상기 회전체를 제어하여 상기 심도 센서 모듈을 이동시키며 상기 촬영 대상체를 구성하는 각 점의 3차원 좌표를 산출하는 것을 특징으로 하는 3차원 카메라 시스템.The method of claim 3, wherein
Further comprising a rotating body for moving the depth sensor module along the surface of the camera lens,
The width of the depth sensor module is smaller than the width of the camera lens,
The control unit,
The three-dimensional camera system, characterized in that for controlling the rotating body to move the depth sensor module to calculate the three-dimensional coordinates of each point constituting the photographing object.
상기 제어부는,
상기 심도 센서 모듈의 이동 회전 각도와, 상기 심도 센서 모듈의 측정 정보와, 상기 심도 센서 모듈의 전체 이동 회전 각도를 상기 이미지 센서의 가로 픽셀의 개수로 나누어 산출된 픽셀당 회전 각도를 매칭하여 저장부에 저장하는 것을 특징으로 하는 3차원 카메라 시스템.The method of claim 10,
The control unit,
A storage unit by matching the rotation angle of the depth sensor module, the measurement information of the depth sensor module, and the rotation angle per pixel calculated by dividing the total rotation angle of the depth sensor module by the number of horizontal pixels of the image sensor. 3D camera system, characterized in that stored in.
상기 심도 센서 모듈은, 상기 이미지 센서의 가로 및 세로의 화각에 중첩되는 면적을 갖고,
상기 제어부는,
디폴트 모드에서 상기 심도 센서 모듈을 비활성의 투명 상태로 제어하고, 트리거 발생시 상기 심도 센서 모듈을 활성화시키는 것을 특징으로 하는 3차원 카메라 시스템. The method of claim 3, wherein
The depth sensor module has an area overlapping the horizontal and vertical angle of view of the image sensor,
The control unit,
And control the depth sensor module to an inactive transparent state in a default mode, and activate the depth sensor module when a trigger occurs.
상기 제어부는,
상기 카메라 렌즈의 초점거리 변화에 따라 상기 제2주점의 위치가 변경되는 경우 상기 심도 센서 모듈의 곡률 중심이 상기 제2주점의 변경된 위치와 일치하도록 상기 심도 센서 모듈을 이동시키는 것을 특징으로 하는 3차원 카메라 시스템.The method of claim 3, wherein
The control unit,
3D, wherein the depth sensor module is moved so that the center of curvature of the depth sensor module coincides with the changed position of the second main point when the position of the second main point changes as the focal length of the camera lens changes. Camera system.
상기 이미지 센서는, 라인 스캔 이미지 센서이고,
상기 라인 스캔 이미지 센서의 스캔 영역과 상기 심도 센서 모듈의 심도 측정 영역이 중첩되거나 인접한 것을 특징으로 하는 3차원 카메라 시스템.The method of claim 3, wherein
The image sensor is a line scan image sensor,
And a scan area of the line scan image sensor and a depth measurement area of the depth sensor module overlap or are adjacent to each other.
상기 심도 센서 모듈은, 상기 카메라 렌즈에 필터 방식으로 고정되는 것을 특징으로 하는 3차원 카메라 시스템.The method of claim 3, wherein
The depth sensor module is fixed to the camera lens by a filter method, characterized in that the three-dimensional camera system.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190060667A KR102068929B1 (en) | 2019-05-23 | 2019-05-23 | 3d camera system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190060667A KR102068929B1 (en) | 2019-05-23 | 2019-05-23 | 3d camera system |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190175434A Division KR20200135131A (en) | 2019-12-26 | 2019-12-26 | 3d camera system |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102068929B1 true KR102068929B1 (en) | 2020-01-21 |
Family
ID=69369615
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190060667A KR102068929B1 (en) | 2019-05-23 | 2019-05-23 | 3d camera system |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102068929B1 (en) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20180053416A (en) * | 2016-09-12 | 2018-05-21 | 주식회사 딥픽셀 | A virtual reality interface implementation method based on a three-dimensional image analysis based on a single camera, a virtual reality interface implementation device based on a three-dimensional image analysis based on a single camera |
| CN108616735A (en) * | 2016-12-02 | 2018-10-02 | 北京三星通信技术研究有限公司 | Device and method for the three dimensional depth image for obtaining object |
| US20180300891A1 (en) * | 2015-10-15 | 2018-10-18 | Hangzhou Hikvision Digital Technology Co., Ltd. | Method for obtaining combined depth image, and depth camera |
-
2019
- 2019-05-23 KR KR1020190060667A patent/KR102068929B1/en active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180300891A1 (en) * | 2015-10-15 | 2018-10-18 | Hangzhou Hikvision Digital Technology Co., Ltd. | Method for obtaining combined depth image, and depth camera |
| KR20180053416A (en) * | 2016-09-12 | 2018-05-21 | 주식회사 딥픽셀 | A virtual reality interface implementation method based on a three-dimensional image analysis based on a single camera, a virtual reality interface implementation device based on a three-dimensional image analysis based on a single camera |
| CN108616735A (en) * | 2016-12-02 | 2018-10-02 | 北京三星通信技术研究有限公司 | Device and method for the three dimensional depth image for obtaining object |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102543275B1 (en) | Distance sensor projecting parallel patterns | |
| US10088296B2 (en) | Method for optically measuring three-dimensional coordinates and calibration of a three-dimensional measuring device | |
| JP7146004B2 (en) | Synchronous spinning LIDAR and rolling shutter camera system | |
| CN107219533B (en) | Laser radar point cloud and image co-registration formula detection system | |
| US9967545B2 (en) | System and method of acquiring three-dimensional coordinates using multiple coordinate measurment devices | |
| US10488192B2 (en) | Distance sensor projecting parallel patterns | |
| JP5016245B2 (en) | Measurement system for determining the six degrees of freedom of an object | |
| US11067692B2 (en) | Detector for determining a position of at least one object | |
| US20180135969A1 (en) | System for measuring the position and movement of an object | |
| EP2839238B1 (en) | 3d scanner using merged partial images | |
| TW201621349A (en) | Distance sensor | |
| CN104284625B (en) | The apparatus and method that depth for the surface to destination object carries out profiling | |
| TW201706564A (en) | Distance sensor (2) | |
| CN105190235A (en) | Compensation of a structured light scanner that is tracked in six degrees-of-freedom | |
| EP3371779B1 (en) | Systems and methods for forming models of three dimensional objects | |
| WO2017222558A1 (en) | Laser-enhanced visual simultaneous localization and mapping (slam) for mobile devices | |
| JP7378571B2 (en) | Spatial detection device comprising a frame for at least one scanning device and at least one scanning device | |
| JP2018152632A (en) | Imaging apparatus and imaging method | |
| US20190178627A1 (en) | Three-dimensional coordinates of two-dimensional edge lines obtained with a tracker camera | |
| US12008783B2 (en) | Reality capture device | |
| US11350077B2 (en) | Handheld three dimensional scanner with an autoaperture | |
| KR102068929B1 (en) | 3d camera system | |
| JP2005098978A (en) | Apparatus, method and program for three-dimensional measurement, and recording medium | |
| KR102184210B1 (en) | 3d camera system | |
| KR20200135131A (en) | 3d camera system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A107 | Divisional application of patent | ||
| GRNT | Written decision to grant |