KR20210064536A - Apparaus for calculating position of user - Google Patents
Apparaus for calculating position of user Download PDFInfo
- Publication number
- KR20210064536A KR20210064536A KR1020190152855A KR20190152855A KR20210064536A KR 20210064536 A KR20210064536 A KR 20210064536A KR 1020190152855 A KR1020190152855 A KR 1020190152855A KR 20190152855 A KR20190152855 A KR 20190152855A KR 20210064536 A KR20210064536 A KR 20210064536A
- Authority
- KR
- South Korea
- Prior art keywords
- user
- camera
- distance
- angle
- dof
- Prior art date
Links
- 238000000034 method Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000004519 manufacturing process Methods 0.000 claims description 4
- 238000005516 engineering process Methods 0.000 abstract description 5
- 238000007654 immersion Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 5
- 101100118004 Arabidopsis thaliana EBP1 gene Proteins 0.000 description 3
- 101150052583 CALM1 gene Proteins 0.000 description 3
- 102100025580 Calmodulin-1 Human genes 0.000 description 3
- 101100459256 Cyprinus carpio myca gene Proteins 0.000 description 3
- 101150091339 cam-1 gene Proteins 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 102100025579 Calmodulin-2 Human genes 0.000 description 1
- 101001077352 Homo sapiens Calcium/calmodulin-dependent protein kinase type II subunit beta Proteins 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 101150082804 cmaA2 gene Proteins 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 210000004185 liver Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/557—Depth or shape recovery from multiple images from light fields, e.g. from plenoptic cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Tourism & Hospitality (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Computer Security & Cryptography (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
Abstract
Description
본 발명은 사용자 위치 연산 장치에 관한 것으로, 더욱 상세하게는 적어도 둘 이상의 카메라를 통해 획득된 이미지를 이용하여 사용자 위치를 정확하게 도출할 수 있는 기술에 관한 것이다.The present invention relates to an apparatus for calculating a user's location, and more particularly, to a technique for accurately deriving a user's location using images acquired through at least two or more cameras.
최근 다양한 VR/AR 서비스가 등장하면서 현실세계의 콘텐츠를 가상현실 혹은 증강현실로 표출하는 다양한 연구가 진행되있다. With the recent emergence of various VR/AR services, various studies have been conducted to express the contents of the real world in virtual reality or augmented reality.
최근 360 및 VR(Virtual Reality) 콘텐츠에 대한 관심과 요구가 증가하고 있으며, 그에 따른 콘텐츠와 사용자 간 상호작용 그리고 사용자의 능동성이 부각되고 있다. 이러한 요구에 맞춰 MPEG, JPEG과 같은 영상 표준단체에서 3DoF이상의 자유도를 가지는 콘텐츠 기술을 개발 및 협의 중에 있다. Recently, interest and demand for 360 and VR (Virtual Reality) content is increasing, and the interaction between the content and the user and the activeness of the user are highlighted. In response to these demands, video standards organizations such as MPEG and JPEG are developing and discussing content technologies with more than 3DoF degrees of freedom.
하지만 실제 세계의 영상을 가상공간으로 옮기기 위해서 수반되어야 하는 필수과정인 정확한 위치 확인이 이러한 과정의 접근성을 많이 떨어뜨린다.However, accurate positioning, which is an essential process required to move images from the real world into virtual space, greatly reduces the accessibility of this process.
예를 들어 다중시점 영상을 획득함에 있어, 가장 중요한 요소는 영상이 촬영되는 위치이다. 현재 카메라에서 EXIF 정보를 통해 GPS 정보를 기록하지만 GPS는 성능 한계상 가장 높은 정확도를 가졌을 때 2m 내외의 정확도를 가진다. 이를 1m 이하로 줄이기 위해서는 새로운 기술이 필요하다.For example, in acquiring a multi-view image, the most important factor is a location at which the image is captured. Although the current camera records GPS information through EXIF information, GPS has an accuracy of around 2m when it has the highest accuracy due to performance limitations. To reduce this to less than 1 m, a new technology is needed.
따라서 본 발명은 카메라의 정보를 활용하여 촬영된 이미지에서 카메라의 위치를 연산함에 따라 기존 GPS 보다 카메라의 위치의 정확도를 향상시킬 수 있는 카메라 위치 연산 장치를 제공하고자 함에 목적이 있다.Accordingly, it is an object of the present invention to provide a camera position calculating device capable of improving the accuracy of the position of the camera compared to the existing GPS by calculating the position of the camera in a photographed image by using information of the camera.
전술한 목적을 달성하기 위한 일 실시 예의 양태에 의하면, 카메라 위치 연산 장치는, 사물을 포함하는 이미지를 획득하는 적어도 하나의 카메라; 및 획득된 각각의 이미지의 DoF(Depth of Field) 영역을 도출하고 도출된 DoF 영역의 사물과 사용자 간의 거리 및 각도를 연산하며 연산된 사용자 간의 거리 및 각도로 사용자 위치를 판정하는 콘텐츠 제작부를 포함하는 것을 일 특징으로 한다.According to an aspect of one embodiment for achieving the above object, the camera position calculating device, at least one camera for acquiring an image including an object; and a content production unit that derives the DoF (Depth of Field) area of each obtained image, calculates the distance and angle between the user and the object in the derived DoF area, and determines the user's location with the calculated distance and angle between users It is characterized by one thing.
바람직하게 상기 콘텐츠 제작부는, Preferably, the content production unit,
적어도 하나의 카메라의 이미지를 수신하는 이미지 수신부;an image receiver configured to receive an image of at least one camera;
적어도 하나의 카메라로부터 획득된 이미지 중 DoF 영역을 도출하는 DoF 연산부; a DoF calculation unit for deriving a DoF region from images acquired from at least one camera;
사물과 카메라가 직각을 이루는 교점과 사물과 카메라와의 거리 및 각도, 및 교점과 사물과의 거리, 및 사용자와 카메라 간의 거리를 이용하여 사용자와 사물 간의 거리 및 각도를 연산하는 사물 위치 연산부; 및an object position calculating unit for calculating a distance and an angle between a user and an object by using an intersection between an object and a camera at a right angle, a distance and an angle between an object and a camera, a distance between an intersection and an object, and a distance between a user and a camera; and
카메라가 동시에 동일한 사물에 대해 초점이 맞는다는 조건에서 각각의 도출된 사용자와 사물 간의 거리 및 각도와 도출된 DoF 영역의 오차가 이루는 교점으로 사용자 위치를 판단하는 사용자 위치 판단부 중 적어도 하나로 구비될 수 있다.At least one of the user location determination units that determine the user location as the intersection between the derived distance and angle between the user and the object and the derived DoF area error under the condition that the camera is simultaneously focused on the same object may be provided have.
바람직하게 상기 사용자 위치 판단부는, Preferably, the user location determination unit,
카메라가 동시에 동일한 사물에 대해 초점이 맞는다는 조건을 만족하지 아니한 경우 카메라의 렌즈와 사물과의 거리가 작은 카메라를 기준으로 도출된 사용자와 사물 간의 거리 및 각도로 사용자 위치를 판단하도록 구비될 수 있다.When the camera does not satisfy the condition that the camera is focused on the same object at the same time, it may be provided to determine the user's location by the distance and angle between the user and the object derived based on the camera having a small distance between the lens and the object. .
바람직하게 상기 DoF 영역은,Preferably, the DoF region is
가우시안 분포에 대해 99%의 신뢰도를 가지는 영역으로 결정되며, 다음 식 11을 만족하는 것을 특징으로 하는 사용자 위치 연산 장치.It is determined as an area having a reliability of 99% with respect to the Gaussian distribution, and the user location calculation device, characterized in that it satisfies the following Equation 11.
[식 1][Equation 1]
여기서, 는 카메라 렌즈의 Hyperfocal distance이고, 는 카메라 렌즈의 화각 Focal length이며, 는 카메라의 렌즈와 사물간의 거리 Focal distance이고, 는 카메라 렌즈의 조리개 수치로 이며, 는 초점이 맞지 아니한 최대 허용 직경이다.here, is the hyperfocal distance of the camera lens, is the focal length of the camera lens, is the focal distance between the camera lens and the object, is the aperture of the camera lens. is, is the maximum allowable unfocused diameter.
바람직하게 상기 사용자와 사물간의 거리 및 각도는 다음 식 12로부터 도출되는 것을 특징으로 하는 사용자 위치 연산 장치.Preferably, the distance and angle between the user and the object is a user location calculation device, characterized in that derived from the following equation (12).
[식 12][Equation 12]
여기서, , 는 사물과 카메라 직각을 이루는 교점 P1과 사물 object 과의 거리 및 각도이고, 는 P1과 사물 object 와의 거리이며, 는 사용자와 카메라 간의 거리이다. here, , is the distance and angle between the point of intersection P1 forming a right angle between the object and the camera and the object object, is the distance between P1 and the object object, is the distance between the user and the camera.
일 실시 예에 따르면, 적어도 둘의 카메라로부터 획득된 이미지의 DoF 영역을 도출하고 도출된 DoF 영역 내의 사물과 사용자 간의 관계식을 토대로 사용자 위치를 도출함에 따라, 기존의 콘서트 홀과 같은 건물 내의 GPS 수신 신호의 음영 지역에서도 실시간 사용자 위치를 정확하게 도출할 수 있다. According to an embodiment, as a DoF area of an image obtained from at least two cameras is derived and a user location is derived based on a relational expression between an object and a user in the derived DoF area, a GPS reception signal in a building such as an existing concert hall It is possible to accurately derive the real-time user location even in the shaded area of .
또한, 다중시점 영상 및 시점 간의 이동을 실행하는 360 및 VR 실감형 콘텐츠 제작 시 일 실시 예의 사용자 위치 관계를 토대로 이미지 정렬이 수행될 때 보다 가상 현실 서비스에 대한 몰입도 및 흥미성을 향상시킬 수 있고 사용자 만족도를 향상시킬 수 있다. In addition, it is possible to improve immersion and interest in the virtual reality service than when image alignment is performed based on the user location relationship in an embodiment when producing 360 and VR immersive content that executes movement between multi-view images and viewpoints, and satisfaction can be improved.
본 명세서에서 첨부되는 다음의 도면들은 본 발명의 바람직한 실시 예를 예시하는 것이며, 후술하는 발명의 상세한 설명과 함께 본 발명의 기술사상을 더욱 이해시키는 역할을 하는 것이므로, 본 발명은 그러한 도면에 기재된 사항에만 한정되어 해석되어서는 아니된다.
도 1은 일 실시예의 사용자 위치 연산 장치의 구성도이다.
도 2는 일 실시예의 획득된 이미지를 보인 예시도이다.
도 3은 일 실시예의 이미지의 DoF 영역을 보인 예시도이다.
도 4 및 도 5는 일 실시예의 사물과 사용자 위치 관계를 나타낸 개념도이다.The following drawings attached to this specification illustrate preferred embodiments of the present invention, and serve to further understand the technical spirit of the present invention together with the detailed description of the present invention to be described later, so the present invention is a matter described in such drawings should not be construed as being limited to
1 is a block diagram of a user location calculating device according to an embodiment.
2 is an exemplary view showing an image obtained according to an embodiment.
3 is an exemplary diagram illustrating a DoF region of an image according to an exemplary embodiment.
4 and 5 are conceptual diagrams illustrating a relationship between an object and a user location according to an embodiment.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.Since the present invention can have various changes and can have various forms, specific embodiments are illustrated in the drawings and described in detail in the text. However, this is not intended to limit the present invention to the specific disclosed form, it should be understood to include all modifications, equivalents and substitutes included in the spirit and scope of the present invention.
각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다. 첨부된 도면에 있어서, 구조물들의 치수는 본 발명의 명확성을 기하기 위하여 실제보다 확대하여 도시한 것이다.In describing each figure, like reference numerals have been used for like elements. In the accompanying drawings, the dimensions of the structures are enlarged than the actual size for clarity of the present invention.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.Terms such as first, second, etc. may be used to describe various elements, but the elements should not be limited by the terms. The above terms are used only for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, a first component may be referred to as a second component, and similarly, a second component may also be referred to as a first component.
본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terms used in the present application are only used to describe specific embodiments, and are not intended to limit the present invention. The singular expression includes the plural expression unless the context clearly dictates otherwise. In the present application, terms such as “comprise” or “have” are intended to designate that a feature, number, step, operation, component, part, or combination thereof described in the specification is present, but one or more other features It is to be understood that it does not preclude the possibility of the presence or addition of numbers, steps, operations, components, parts, or combinations thereof.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs. Terms such as those defined in commonly used dictionaries should be interpreted as having a meaning consistent with the meaning in the context of the related art, and should not be interpreted in an ideal or excessively formal meaning unless explicitly defined in the present application. does not
이하에서는 카메라로 촬영하는 이미지의 경우 EXIF를 통해 이미지 이외의 메타데이터가 제공되며, 메타데이터는 카메라에 대한 정보, 렌즈에 대한 정보, 시간, 위치 등을 포함한다. Hereinafter, in the case of an image captured by a camera, metadata other than the image is provided through EXIF, and the metadata includes information about the camera, information about the lens, time, location, and the like.
최근 렌즈 및 카메라에 기술이 발전하면서 카메라와 렌즈가 초점을 맞추는 거리 Focal Distance에 대한 정보 및 렌즈의 화각 Focal Length가 카메라 내부에서 처리된다. With the recent development of lens and camera technology, information on the focal distance between the camera and the lens and the focal length of the lens are processed inside the camera.
이에 일 실시 예에서는 렌즈와 카메라에서 획득하는 Focal Distance를 카메라와 초점이 맞은 물체와의 거리를 혼용하게 기재하고 이러한 Focal Distance를 도출하는 카메라 센서는 평면이기 때문에 초점 영역 역시 센서면과 평행한 평면을 이루며 Focal Distance는 초점 맞은 사물과의 실제 거리가 아닌 초점 평면과의 거리를 말한다.Therefore, in one embodiment, the focal distance obtained from the lens and the camera is mixed with the distance between the camera and the focused object, and since the camera sensor deriving this focal distance is a plane, the focal area is also a plane parallel to the sensor surface. The focal distance refers to the distance from the focal plane, not the actual distance to the focused object.
도 1은 일 실시 예에 따른 카메라 위치 연산 장치의 구성을 보인 도면으로서, 도 1을 참조하면, 일 실시 예는 Focal Distance의 특성과 이동 방향을 탐지하는 가속센서/자이로 센서를 활용하여 사물과 카메라 간의 정확한 위치를 연산하도록 구비될 수 있고, 이에 장치는 적어도 하나의 카메라(10)와, 이미지 수신부(110), DoF(Depth of Field) 연산부(120), 사물 위치 연산부(130), 및 사용자 위치 판단부(140)를 포함하는 콘텐츠 제작부(100)를 포함할 수 있다.1 is a view showing the configuration of a camera position calculating device according to an embodiment. Referring to FIG. 1, an embodiment utilizes an acceleration sensor/gyro sensor that detects a characteristic of a focal distance and a moving direction to an object and a camera. It may be provided to calculate the exact position of the liver, and thus the device includes at least one camera 10 , an
이미지 수신부(110)는 적어도 하나의 카메라를 통해 수신된 이미지를 수신할 수 있다. The
도 2는 카메라(10)를 통해 수신된 이미지를 보인 예시도이고, 도 3은 도2에 도시된 이미지에 포함된 DoF 영역을 도출하는 과정을 설명하기 위한 개념도이다. 도 2 및 도 3을 참조하면, 카메라(10)로부터 획득된 이미지는 광학적 특성에 따라 기 정해진 DoF 영역의 이미지를 포함한다. 이러한 DoF 영역은 이미지 내의 사물이 위치할 확률로 표시된다. 즉, 사물이 위치할 확률은 카메라(10)를 통해 획득된 이미지에 가우시안 분포를 통해 이미지 내의 사물이 위치할 확률적 신뢰도로 도출될 수 있다. FIG. 2 is an exemplary view showing an image received through the camera 10, and FIG. 3 is a conceptual view for explaining a process of deriving a DoF region included in the image shown in FIG. 2 and 3 , an image obtained from the camera 10 includes an image of a DoF region predetermined according to optical characteristics. This DoF area is indicated by the probability that an object is located in the image. That is, the probability that the object will be located may be derived from the probability reliability that the object will be located in the image through a Gaussian distribution in the image obtained through the camera 10 .
이에 도 3에 도시된 가우시안 분포에 대해 99%의 신뢰도를 가지는 영역으로 DoF 영역이 결정된다. 이러한 DoF 영역은 다음 식 1로부터 도출될 수 있다.Accordingly, the DoF region is determined as a region having a reliability of 99% with respect to the Gaussian distribution shown in FIG. 3 . This DoF region can be derived from Equation 1 below.
[식 1][Equation 1]
여기서, 는 카메라(100) 렌즈의 Hyperfocal distance이고, 는 카메라 렌즈의 화각 Focal length이며, 는 카메라의 렌즈와 사물간의 거리 Focal distance이고, 는 카메라 렌즈의 조리개 수치로 이며, 는 초점이 맞지 아니한 최대 허용 직경이다.here, is the hyperfocal distance of the
도 4는 사물 위치 연산부(130)에 의거 하나의 카메라(10: CAM1)와 사물 object 및 사용자 Position 과의 관계를 설명하기 위한 개념도로서, 도 4를 참조하면, 사물 위치 연산부(130)는 이미지에 포함된 사물 위치와 사용자 간의 거리 에 대한 관계를 나타내는 식 2로부터 도출된다.4 is a conceptual diagram for explaining the relationship between one camera (10: CAM1), an object, and a user position based on the object
[식 2][Equation 2]
여기서, , 는 사물과 카메라 직각을 이루는 교점 P1과 사물 object 과의 거리 및 각도이고, 는 P1과 사물 object 와의 거리이며, 는 사용자와 카메라 간의 거리이다. here, , is the distance and angle between the point of intersection P1 forming a right angle between the object and the camera and the object object, is the distance between P1 and the object object, is the distance between the user and the camera.
이에 사물 위치 연산부(130)는 식 1에 의거 도출된 DoF 영역 내에 존재하는 사물과 사용자 간의 위치를 식 2로부터 도출할 수 있다. 이에 이미지 중 DoF 영역 내에 존재하는 사물과 사용자 간의 거리 및 각도 는 다음 식 3으로부터 도출될 수 있다.Accordingly, the object
[식 3][Equation 3]
도 5는 사물 위치 연산부(130)의 적어도 둘의 카메라 CAM1, CMA2와 사물 object와 사용자 Position 간의 관계를 설명하기 위한 개념도로서, 도 5를 참조하면, 카메라 CAM1의 이미지에 포함된 사물과 사용자 간의 거리 및 각도 는 다음 식 4로부터 도출되며, 카메라 CAM2의 이미지에 포함된 사물과 사용자 간의 거리 및 각도 는 다음 식 5로부터 도출된다.FIG. 5 is a conceptual diagram for explaining the relationship between at least two cameras CAM1 and CMA2 of the object
[식 4][Equation 4]
[식 5][Equation 5]
적어도 둘의 카메라가 동시에 동일한 사물에 대해 초점이 맞는다는 조건하에 사용자 위치 판정부(140)는 각 카메라로부터 도출된 각각의 사물과 사용자 간의 거리 및 각도 중 도출된 DoF 영역의 오차가 이루는 교점으로 인해 사용자 위치를 판정할 수 있다. Under the condition that at least two cameras are focused on the same object at the same time, the user
그러나, 적어도 둘의 카메라가 동시에 동일한 사물에 대해 초점이 맞지 아니한 경우 사용자 위치 판정부(140)는 각 카메라의 렌즈와 사물과의 거리 Focal Distance가 작은 카메라를 기준으로 DoF 영역을 도출하고 도출된 DoF 영역 내에 포함된 사물과 사용자 간의 거리 및 각도에 대한 범위를 추정할 수 있다.However, when at least two cameras do not focus on the same object at the same time, the user
이에 콘서트 홀의 촬영 시 사용자 위치가 반경 50 Cm 이내로 정확도가 향상된다.Accordingly, the accuracy is improved within a 50 cm radius of the user's location when shooting a concert hall.
이에 일 실시 예는 적어도 둘의 카메라로부터 획득된 이미지의 DoF 영역을 도출하고 도출된 DoF 영역 내의 사물과 사용자 간의 관계식을 토대로 사용자 위치를 도출함에 따라, 기존의 콘서트 홀과 같은 건물 내의 GPS 수신 신호의 음영 지역에서도 실시간 사용자 위치를 정확하게 도출할 수 있다. Accordingly, one embodiment derives the DoF area of the image obtained from at least two cameras and derives the user's location based on the relational expression between the user and the object in the derived DoF area. Even in a shaded area, real-time user location can be accurately derived.
또한, 다중시점 영상 및 시점 간의 이동을 실행하는 360 및 VR 실감형 콘텐츠 제작 시 일 실시 예의 사용자 위치 관계를 토대로 이미지 정렬이 수행될 때 보다 가상 현실 서비스에 대한 몰입도 및 흥미성을 향상시킬 수 있고 사용자 만족도를 향상시킬 수 있다. In addition, it is possible to improve immersion and interest in the virtual reality service than when image alignment is performed based on the user location relationship in an embodiment when producing 360 and VR immersive content that executes movement between multi-view images and viewpoints, and satisfaction can be improved.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다. 그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다. As described above, although the embodiments have been described with reference to the limited embodiments and drawings, various modifications and variations are possible from the above description by those skilled in the art. For example, the described techniques are performed in an order different from the described method, and/or the described components of the system, structure, apparatus, circuit, etc. are combined or combined in a different form than the described method, or other components Or substituted or substituted by equivalents may achieve an appropriate result. Therefore, the scope of the present invention should not be limited to the described embodiments, and should be defined by the following claims as well as the claims and equivalents.
Claims (5)
획득된 각각의 이미지의 DoF(Depth of Field) 영역을 도출하고 도출된 DoF 영역의 사물과 사용자 간의 거리 및 각도를 연산하며 연산된 사용자 간의 거리 및 각도로 사용자 위치를 판정하는 콘텐츠 제작부를 포함하는 것을 특징으로 하는 사용자 위치 연산 장치.at least one camera for acquiring an image including an object; and
Including a content production unit that derives the DoF (Depth of Field) area of each obtained image, calculates the distance and angle between the user and the object in the derived DoF area, and determines the user's location with the calculated distance and angle between the users Characterized by the user location calculation device.
적어도 하나의 카메라의 이미지를 수신하는 이미지 수신부;
적어도 하나의 카메라로부터 획득된 이미지 중 DoF 영역을 도출하는 DoF 연산부;
사물과 카메라가 직각을 이루는 교점과 사물과 카메라와의 거리 및 각도, 및 교점과 사물과의 거리, 및 사용자와 카메라 간의 거리를 이용하여 사용자와 사물 간의 거리 및 각도를 연산하는 사물 위치 연산부; 및
카메라가 동시에 동일한 사물에 대해 초점이 맞는다는 조건에서 각각의 도출된 사용자와 사물 간의 거리 및 각도와 도출된 DoF 영역의 오차가 이루는 교점으로 사용자 위치를 판단하는 사용자 위치 판단부로 구비되는 것을 특징으로 하는 사용자 위치 연산 장치.According to claim 1, wherein the content production unit,
an image receiver configured to receive an image of at least one camera;
a DoF calculation unit for deriving a DoF region from images acquired from at least one camera;
an object position calculator configured to calculate a distance and an angle between a user and an object by using the intersection between the object and the camera at a right angle and the distance and angle between the object and the camera, the distance between the intersection and the object, and the distance between the user and the camera; and
It is characterized in that provided as a user location determination unit that determines the user location by the intersection between the derived distance and angle between the user and the object and the error of the derived DoF area under the condition that the camera is focused on the same object at the same time User Position Computing Unit.
카메라가 동시에 동일한 사물에 대해 초점이 맞는다는 조건을 만족하지 아니한 경우 카메라의 렌즈와 사물과의 거리가 작은 카메라를 기준으로 도출된 사용자와 사물 간의 거리 및 각도로 사용자 위치를 판단하도록 구비되는 것을 특징으로 하는 사용자 위치 연산 장치. The method of claim 2, wherein the user location determination unit,
In case the camera does not satisfy the condition that the camera is focused on the same object at the same time, it is characterized in that it is provided to determine the user's position by the distance and angle between the user and the object derived based on the camera having a small distance between the lens and the object. A user position calculation device with
가우시안 분포에 대해 99%의 신뢰도를 가지는 영역으로 결정되며, 다음 식 11을 만족하는 것을 특징으로 하는 사용자 위치 연산 장치.
[식 11]
여기서, 는 카메라 렌즈의 Hyperfocal distance이고, 는 카메라 렌즈의 화각 Focal length이며, 는 카메라의 렌즈와 사물간의 거리 Focal distance이고, 는 카메라 렌즈의 조리개 수치로 이며, 는 초점이 맞지 아니한 최대 허용 직경이다.The method of claim 2, wherein the DoF region,
It is determined as an area having a reliability of 99% with respect to the Gaussian distribution, and the user location calculation device, characterized in that it satisfies Equation 11 below.
[Equation 11]
here, is the hyperfocal distance of the camera lens, is the focal length of the camera lens, is the focal distance between the camera lens and the object, is the aperture of the camera lens. is, is the maximum allowable unfocused diameter.
[식 12]
여기서, , 는 사물과 카메라 직각을 이루는 교점 P1과 사물 object 과의 거리 및 각도이고, 는 P1과 사물 object 와의 거리이며, 는 사용자와 카메라 간의 거리이다. [4] The apparatus of claim 3, wherein the distance and angle between the user and the object are derived from Equation 12 below.
[Equation 12]
here, , is the distance and angle between the point of intersection P1 forming a right angle between the object and the camera and the object object, is the distance between P1 and the object object, is the distance between the user and the camera.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190152855A KR102335817B1 (en) | 2019-11-26 | 2019-11-26 | Apparaus for calculating position of user |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190152855A KR102335817B1 (en) | 2019-11-26 | 2019-11-26 | Apparaus for calculating position of user |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20210064536A true KR20210064536A (en) | 2021-06-03 |
KR102335817B1 KR102335817B1 (en) | 2021-12-07 |
Family
ID=76396834
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020190152855A KR102335817B1 (en) | 2019-11-26 | 2019-11-26 | Apparaus for calculating position of user |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102335817B1 (en) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100878781B1 (en) * | 2008-03-21 | 2009-01-14 | 태양정보시스템(주) | Method for surveying which can measure structure size and coordinates using portable terminal |
KR20110012626A (en) * | 2009-07-31 | 2011-02-09 | 삼성전기주식회사 | Location and distance mesuring appratus its method usnig camera |
JP2014507723A (en) * | 2011-01-31 | 2014-03-27 | マイクロソフト コーポレーション | Reproduction of 3D environment |
KR20140102831A (en) * | 2013-02-15 | 2014-08-25 | 브이앤아이 주식회사 | Location Correction Method Using Additional Information of Mobile Instrument |
KR20180126408A (en) * | 2018-09-07 | 2018-11-27 | 이주형 | Method for locating a user device |
-
2019
- 2019-11-26 KR KR1020190152855A patent/KR102335817B1/en active IP Right Grant
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100878781B1 (en) * | 2008-03-21 | 2009-01-14 | 태양정보시스템(주) | Method for surveying which can measure structure size and coordinates using portable terminal |
KR20110012626A (en) * | 2009-07-31 | 2011-02-09 | 삼성전기주식회사 | Location and distance mesuring appratus its method usnig camera |
JP2014507723A (en) * | 2011-01-31 | 2014-03-27 | マイクロソフト コーポレーション | Reproduction of 3D environment |
KR20140102831A (en) * | 2013-02-15 | 2014-08-25 | 브이앤아이 주식회사 | Location Correction Method Using Additional Information of Mobile Instrument |
KR20180126408A (en) * | 2018-09-07 | 2018-11-27 | 이주형 | Method for locating a user device |
Also Published As
Publication number | Publication date |
---|---|
KR102335817B1 (en) | 2021-12-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102465227B1 (en) | Image and sound processing apparatus and method, and a computer-readable recording medium storing a program | |
CN108932051B (en) | Augmented reality image processing method, apparatus and storage medium | |
EP2328125B1 (en) | Image splicing method and device | |
US9466114B2 (en) | Method and system for automatic 3-D image creation | |
US8924583B2 (en) | Method, apparatus and system for viewing content on a client device | |
US8818097B2 (en) | Portable electronic and method of processing a series of frames | |
KR101364874B1 (en) | A method for determining the relative position of a first and a second imaging device and devices therefore | |
CN102984530B (en) | Image processing system and Atomatic focusing method | |
US20120250980A1 (en) | Method, apparatus and system | |
CN105744138B (en) | Quick focusing method and electronic equipment | |
CN105578027A (en) | Photographing method and device | |
WO2020042000A1 (en) | Camera device and focusing method | |
JP2011039974A (en) | Image search method and system | |
CN109034214B (en) | Method and apparatus for generating a mark | |
CN104871179A (en) | Method and system for image capture and facilitated annotation | |
KR102335817B1 (en) | Apparaus for calculating position of user | |
KR20180133052A (en) | Method for authoring augmented reality contents based on 360 degree image and video | |
KR102161437B1 (en) | Apparatus for sharing contents using spatial map of augmented reality and method thereof | |
KR101273634B1 (en) | Tracking Method of Multiple Objects using Mobile Device in Augumented Reality Environment and System Using the same | |
KR102298047B1 (en) | Method of recording digital contents and generating 3D images and apparatus using the same | |
US10529084B2 (en) | Image processing method, electronic device, and non-transitory computer readable storage medium | |
KR101142279B1 (en) | An apparatus for aligning images in stereo vision system and the method thereof | |
KR102571876B1 (en) | Method and device for refocusing at least one plenoptic video | |
JP2008152374A (en) | Image system, photographing direction specifying device, photographing direction specifying method and program | |
JP6292785B2 (en) | Image processing apparatus, image processing method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |