KR102288528B1 - Apparatus and Method for Creating Augmented Reality Image - Google Patents

Apparatus and Method for Creating Augmented Reality Image Download PDF

Info

Publication number
KR102288528B1
KR102288528B1 KR1020190145496A KR20190145496A KR102288528B1 KR 102288528 B1 KR102288528 B1 KR 102288528B1 KR 1020190145496 A KR1020190145496 A KR 1020190145496A KR 20190145496 A KR20190145496 A KR 20190145496A KR 102288528 B1 KR102288528 B1 KR 102288528B1
Authority
KR
South Korea
Prior art keywords
camera
image
target area
augmented reality
light blocking
Prior art date
Application number
KR1020190145496A
Other languages
Korean (ko)
Other versions
KR20210058259A (en
Inventor
김회민
전성국
이동길
Original Assignee
한국광기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국광기술원 filed Critical 한국광기술원
Priority to KR1020190145496A priority Critical patent/KR102288528B1/en
Publication of KR20210058259A publication Critical patent/KR20210058259A/en
Application granted granted Critical
Publication of KR102288528B1 publication Critical patent/KR102288528B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H04N5/2254—
    • H04N5/2351—
    • H04N5/2353—

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

증강현실 영상 생성장치 및 방법을 개시한다.
본 실시예의 일 측면에 의하면, 제1 차광률을 갖는 필터를 포함한 제1 카메라를 기 설정된 시간 동안 대상물 또는 대상 영역에 노출하는 제1 노출과정과 제2 차광률을 갖는 필터를 포함한 제2 카메라를 상기 기 설정된 시간 동안 상기 대상물 또는 대상 영역에 노출하는 제2 노출과정과 상기 제1 카메라 및 상기 제2 카메라가 노출과정 및 상기 제2 노출과정을 거치며 촬영한 영상을 합성하는 합성과정 및 상기 합성과정에서 합성된 영상을 출력하는 출력과정을 포함하는 것을 특징으로 하는 증강현실 영상 생성방법을 제공한다.Disclosed are an apparatus and method for generating an augmented reality image.
According to an aspect of this embodiment, a first exposure process of exposing a first camera including a filter having a first light blocking rate to an object or a target area for a preset time and a second camera including a filter having a second light blocking rate A second exposure process of exposing the object or the target region for the preset time, a synthesizing process of synthesizing images captured by the first camera and the second camera through the exposure process and the second exposure process, and the synthesizing process It provides an augmented reality image generating method, characterized in that it includes an output process of outputting the synthesized image.

Description

증강현실 영상 생성장치 및 방법{Apparatus and Method for Creating Augmented Reality Image}Apparatus and Method for Creating Augmented Reality Image

본 발명은 복수의 카메라로 촬영한 영상을 이용하여 증강현실 이미지를 생성하는 장치 및 방법에 관한 것이다.The present invention relates to an apparatus and method for generating an augmented reality image using images captured by a plurality of cameras.

이 부분에 기술된 내용은 단순히 본 실시예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.The content described in this section merely provides background information for the present embodiment and does not constitute the prior art.

증강현실(Augmented Reality)이란, 일반적으로 가상 환경 및 가상 현실에서 파생한 용어로서, 실제 환경에 컴퓨터 그래픽 영상을 삽입하여 현실 세계 영상과 가상의 영상을 혼합한 것을 의미한다.Augmented reality is a term generally derived from a virtual environment and virtual reality, and refers to a mixture of a real world image and a virtual image by inserting a computer graphic image into the real environment.

현실 세계 정보에는 사용자가 필요로 하지 않는 정보도 있고, 때로는 사용자가 필요로 하는 정보가 부족할 수도 있다. 그러나, 컴퓨터로 만든 가상 환경을 이용하면 필요로 하지 않는 정보를 단순하게 하거나 보이지 않게 할 수 있다. 즉, 증강현실 시스템은 현실 세계와 가상 세계를 결합함으로써 실시간으로 사용자에게 현실 세계와 필요한 정보의 상호 작용이 이루어지도록 하는 것이다.Real-world information includes information that users do not need, and sometimes there is not enough information that users need. However, by using a computer-generated virtual environment, you can simplify or hide information you don't need. That is, the augmented reality system combines the real world and the virtual world so that the user can interact with the real world and necessary information in real time.

증강현실 장치는 대상물 또는 대상영역에 관련된 정보를 출력하는 증강현실 영상을 생성하여 출력하거나, 사용자가 인식하기 곤란한 대상물 또는 대상영역에 대한 영상을 생성하여 출력할 수 있다. 주로, 후자에 사용되는 예가 복잡한 구조물 내에서의 각 구성들을 출력하거나, 용접 등 사용자가 육안으로 인식하기 힘든 대상물이나 영역을 출력한다.The augmented reality device may generate and output an augmented reality image for outputting information related to an object or target region, or may generate and output an image of an object or target region that is difficult for a user to recognize. Mainly, the example used in the latter outputs each configuration in a complex structure, or outputs an object or area that is difficult for a user to recognize with the naked eye, such as welding.

증강현실 장치가 후자의 경우로 사용되는 경우에 있어, 대상물이나 대상영역에서 명암 대비가 높은 경우, 영상 센서의 제한적인 감광 범위로 인해 영상의 정보가 일부 유실되어 증강현실 장치가 환경을 트래킹하는데 오류를 발생시키는 경우가 존재한다. 종래의 증강현실 장치가 단일 카메라로 노출 시간을 달리한 영상을 합성하여 생성한 HDR(High Dynamic Range)영상을 트래킹 연산에 활용하는 경우, 트래킹 연산 간격에 의해 트래킹 연산 오류가 발생할 가능성이 존재하거나 증강현실 장치 사용자에게 어지러움을 유발하는 문제가 발생한다. 또한, HDR영상을 생성함에 있어 반드시 후처리를 요하기에 실시간으로 증강현실 영상이 생성되어 사용자에게 출력되어야 하는 환경에서는 사용이 부적절한 측면이 있다. 한편, 종래의 증강현실 장치가 넓은 감광 범위를 갖는 HDR 카메라를 포함하여 증강현실 영상을 생성하는 경우, HDR 전용 카메라는 매우 고가이며 부피가 커 현실적으로 증강현실 장치에 부착하기 어려운 문제가 존재한다.In the case where the augmented reality device is used in the latter case, when the contrast in the object or target area is high, some of the information in the image is lost due to the limited light sensing range of the image sensor, so the augmented reality device has an error in tracking the environment There are cases in which When a conventional augmented reality device uses a high dynamic range (HDR) image generated by synthesizing images with different exposure times with a single camera for tracking calculation, there is a possibility that a tracking calculation error may occur due to the tracking calculation interval or augmented reality. A problem arises that causes dizziness in users of real devices. In addition, since post-processing is necessarily required to generate an HDR image, it is inappropriate to use in an environment where an augmented reality image is generated and output to a user in real time. On the other hand, when the conventional augmented reality device generates an augmented reality image including an HDR camera having a wide photosensitive range, the HDR-only camera is very expensive and bulky, so it is difficult to attach it to the augmented reality device in reality.

본 발명의 일 실시예는, 명암 대비가 높은 대상물 또는 대상영역에 대해 온전한 증강현실 영상을 생성하는 증강현실 영상 생성장치 및 방법을 제공하는 데 일 목적이 있다.An embodiment of the present invention has an object to provide an augmented reality image generating apparatus and method for generating a complete augmented reality image for an object or target area having high contrast.

본 발명의 일 측면에 의하면, 제1 차광률을 갖는 필터를 포함한 제1 카메라를 기 설정된 시간 동안 대상물 또는 대상 영역에 노출하는 제1 노출과정과 제2 차광률을 갖는 필터를 포함한 제2 카메라를 상기 기 설정된 시간 동안 상기 대상물 또는 대상 영역에 노출하는 제2 노출과정과 상기 제1 카메라 및 상기 제2 카메라가 노출과정 및 상기 제2 노출과정을 거치며 촬영한 영상을 합성하는 합성과정 및 상기 합성과정에서 합성된 영상을 출력하는 출력과정을 포함하는 것을 특징으로 하는 증강현실 영상 생성방법을 제공한다.According to one aspect of the present invention, a first exposure process of exposing a first camera including a filter having a first light blocking rate to an object or a target area for a preset time and a second camera including a filter having a second light blocking rate are provided. A second exposure process of exposing the object or target region for the preset time, a synthesizing process of synthesizing images captured by the first camera and the second camera through the exposure process and the second exposure process, and the synthesizing process It provides an augmented reality image generating method, characterized in that it includes an output process of outputting the synthesized image.

본 발명의 일 측면에 의하면, 상기 제1 차광률은 상기 제2 차광률보다 차광 정도가 높은 것을 특징으로 한다.According to an aspect of the present invention, the first light blocking rate is characterized in that the light blocking degree is higher than the second light blocking rate.

본 발명의 일 측면에 의하면, 상기 제1 카메라 및 상기 제2 카메라는 동일한 FPS(Frame per second)를 갖는 영상을 촬영하는 것을 특징으로 한다.According to an aspect of the present invention, the first camera and the second camera are characterized in that the image having the same FPS (Frame per second) is photographed.

본 발명의 일 측면에 의하면, 상기 합성과정은 상기 제1 카메라 및 상기 제2 카메라가 노출과정 및 상기 제2 노출과정을 거치며 촬영한 영상을 후처리 없이 바로 합성하는 것을 특징으로 한다.According to one aspect of the present invention, the synthesis process is characterized in that the first camera and the second camera directly synthesize the images taken through the exposure process and the second exposure process without post-processing.

본 발명의 일 측면에 의하면, 제1 차광률을 갖는 필터를 포함하며, 대상물 또는 대상 영역을 촬영하는 제1 카메라와 제2 차광률을 갖는 필터를 포함하며, 상기 대상물 또는 대상 영역을 촬영하는 제2 카메라와 기 설정된 시간 동안 대상물 또는 대상 영역에 노출되도록 상기 제1 카메라 및 상기 제2 카메라를 제어하고, 상기 제1 카메라 및 상기 제2 카메라가 촬영한 영상을 합성하는 제어부 및 상기 제어부가 합성한 영상을 출력하는 출력부를 포함하는 것을 특징으로 하는 증강현실 영상 생성장치를 제공한다.According to an aspect of the present invention, a first camera including a filter having a first light blocking rate, a first camera for photographing an object or a target area, and a filter having a second light blocking rate, and a second method for photographing the object or target area 2 A control unit that controls the first camera and the second camera to be exposed to an object or a target area for a preset time with a camera, and synthesizes images captured by the first camera and the second camera; It provides an augmented reality image generating apparatus comprising an output unit for outputting an image.

본 발명의 일 측면에 의하면, 대상물 또는 대상 영역의 밝기를 센싱하는 센싱과정과 상기 센싱과정에서 센싱한 센싱값을 토대로, 각 카메라에 포함된 필터의 차광률을 조정하는 조정과정과 조정된 제1 차광률을 갖는 필터를 포함한 제1 카메라를 기 설정된 시간 동안 대상물 또는 대상 영역에 노출하는 제1 노출과정과 조정된 제2 차광률을 갖는 필터를 포함한 제2 카메라를 상기 기 설정된 시간 동안 상기 대상물 또는 대상 영역에 노출하는 제2 노출과정과 상기 제1 카메라 및 상기 제2 카메라가 노출과정 및 상기 제2 노출과정을 거치며 촬영한 영상을 합성하는 합성과정 및 상기 합성과정에서 합성된 영상을 출력하는 출력과정을 포함하는 것을 특징으로 하는 증강현실 영상 생성방법을 제공한다.According to one aspect of the present invention, a sensing process of sensing the brightness of an object or a target area, an adjustment process of adjusting a light blocking rate of a filter included in each camera based on a sensed value sensed in the sensing process, and an adjusted first A first exposure process of exposing a first camera including a filter having a light blocking rate to an object or a target area for a preset time, and a second camera including a filter having an adjusted second light blocking rate to the object or A second exposure process of exposing the target area, a synthesizing process of synthesizing images captured by the first camera and the second camera through the exposure process and the second exposure process, and an output for outputting the synthesized image in the synthesizing process It provides an augmented reality image generating method, characterized in that it includes the process.

본 발명의 일 측면에 의하면, 상기 제1 차광률은 상기 제2 차광률보다 차광 정도가 높은 것을 특징으로 한다.According to an aspect of the present invention, the first light blocking rate is characterized in that the light blocking degree is higher than the second light blocking rate.

본 발명의 일 측면에 의하면, 상기 제1 카메라 및 상기 제2 카메라는 동일한 FPS(Frame per second)를 갖는 영상을 촬영하는 것을 특징으로 한다.According to an aspect of the present invention, the first camera and the second camera are characterized in that the image having the same FPS (Frame per second) is photographed.

본 발명의 일 측면에 의하면, 상기 합성과정은 상기 제1 카메라 및 상기 제2 카메라가 노출과정 및 상기 제2 노출과정을 거치며 촬영한 영상을 후처리 없이 바로 합성하는 것을 특징으로 한다.According to one aspect of the present invention, the synthesis process is characterized in that the first camera and the second camera directly synthesize the images taken through the exposure process and the second exposure process without post-processing.

본 발명의 일 측면에 의하면, 상기 증강현실 영상 생성방법은 상기 합성과정에서 합성된 영상의 차광 정도가 기 설정된 범위 내인지 여부를 판단하는 판단과정을 더 포함하는 것을 특징으로 한다.According to one aspect of the present invention, the augmented reality image generating method further comprises a determination process of determining whether the degree of shading of the image synthesized in the synthesizing process is within a preset range.

본 발명의 일 측면에 의하면, 상기 조정과정은 상기 합성과정에서 합성된 영상의 차광 정도가 기 설정된 범위 내가 아닌 것으로 판단된 경우, 각 카메라에 포함된 필터의 차광률을 재조정하는 것을 특징으로 한다.According to one aspect of the present invention, in the adjusting process, when it is determined that the shading degree of the image synthesized in the synthesizing process is not within a preset range, the shading ratio of the filters included in each camera is readjusted.

본 발명의 일 측면에 의하면, 대상물 또는 대상 영역의 밝기를 센싱하는 센서와 차광률의 조정이 가능한 제1 필터를 포함하며, 대상물 또는 대상 영역을 촬영하는 제1 카메라와 차광률의 조정이 가능한 제2 필터를 포함하며, 대상물 또는 대상 영역을 촬영하는 제2 카메라와 상기 센서의 센싱값을 토대로 상기 제1 필터 및 상기 제2 필터의 차광률을 각각 조정하고, 기 설정된 시간 동안 대상물 또는 대상 영역에 노출되도록 상기 제1 카메라 및 상기 제2 카메라를 제어하고, 상기 제1 카메라 및 상기 제2 카메라가 촬영한 영상을 합성하는 제어부 및 상기 제어부가 합성한 영상을 출력하는 출력부를 포함하는 것을 특징으로 하는 증강현실 영상 생성장치를 제공한다.According to an aspect of the present invention, a sensor for sensing the brightness of an object or a target area and a first filter capable of adjusting a light blocking rate are included, and a first camera for photographing an object or a target area and a second light blocking rate can be adjusted 2 filters, each adjusting the light blocking rate of the first filter and the second filter based on the sensing values of the second camera and the sensor for photographing the object or the target area, and and a controller for controlling the first camera and the second camera to be exposed, and synthesizing images captured by the first camera and the second camera, and an output unit for outputting the synthesized image by the controller. An augmented reality image generating device is provided.

본 발명의 일 측면에 의하면, 상기 제어부는 합성된 영상의 차광 정도가 기 설정된 범위 내인지 여부를 판단하여, 합성된 영상의 차광 정도가 기 설정된 범위 내가 아닌 것으로 판단된 경우, 각 카메라에 포함된 필터의 차광률을 재조정하는 것을 특징으로 한다.According to one aspect of the present invention, the controller determines whether the degree of shading of the synthesized image is within a preset range, and when it is determined that the degree of shading of the synthesized image is not within the preset range, It is characterized in that the light blocking rate of the filter is readjusted.

본 발명의 일 측면에 의하면, 상기 센서는 조도 센서로 구현되어 대상물 또는 대상 영역의 밝기를 센싱하거나, 레이저 광원과 수광부로 구현되어 대상물 또는 대상 영역으로 레이저 광을 조사하고 반사된 레이저 광을 수광함으로써 대상물 또는 대상 영역의 밝기를 센싱하는 것을 특징으로 한다.According to one aspect of the present invention, the sensor is implemented as an illuminance sensor to sense the brightness of an object or a target area, or implemented as a laser light source and a light receiving unit to irradiate laser light to the object or target area and receive the reflected laser light. It is characterized in that the brightness of the object or the target area is sensed.

본 발명의 일 측면에 의하면, 대상물 또는 대상 영역의 밝기를 센싱하는 센싱과정과 상기 센싱과정에서 센싱한 센싱값을 토대로, 각 카메라의 상기 대상물 또는 대상 영역에 대한 노출시간을 조정하는 조정과정과 제1 차광률을 갖는 필터를 포함한 제1 카메라를 조정된 제1 시간 동안 대상물 또는 대상 영역에 노출하는 제1 노출과정과 제2 차광률을 갖는 필터를 포함한 제2 카메라를 조정된 제2 시간 동안 상기 대상물 또는 대상 영역에 노출하는 제2 노출과정과 상기 제1 카메라 및 상기 제2 카메라가 노출과정 및 상기 제2 노출과정을 거치며 촬영한 영상을 합성하는 합성과정 및 상기 합성과정에서 합성된 영상을 출력하는 출력과정을 포함하는 것을 특징으로 하는 증강현실 영상 생성방법을 제공한다.According to one aspect of the present invention, a sensing process of sensing the brightness of an object or a target area, an adjustment process of adjusting an exposure time of each camera for the object or a target area based on the sensed value sensed in the sensing process, and A first exposure process of exposing a first camera including a filter having a first light blocking rate to an object or a target area for an adjusted first time, and a second camera including a filter having a second light blocking rate for the adjusted second time A second exposure process of exposing an object or a target area, a synthesizing process of synthesizing images captured by the first camera and the second camera through the exposure process and the second exposure process, and outputting the synthesized image in the synthesizing process It provides an augmented reality image generating method, characterized in that it comprises an output process.

본 발명의 일 측면에 의하면, 상기 제1 카메라 및 상기 제2 카메라는 상이한 FPS(Frame per second)를 갖는 영상을 촬영하는 것을 특징으로 한다.According to an aspect of the present invention, the first camera and the second camera are characterized in that the images having different FPS (Frames per Second) are photographed.

본 발명의 일 측면에 의하면, 대상물 또는 대상 영역의 밝기를 센싱하는 센서와 제1 차광률을 갖는 필터를 포함하며, 대상물 또는 대상 영역을 촬영하는 제1 카메라와 제2 차광률을 갖는 필터를 포함하며, 대상물 또는 대상 영역을 촬영하는 제2 카메라와 상기 센서의 센싱값을 토대로 상기 제1 카메라 및 상기 제2 카메라의 상기 대상물 또는 대상 영역으로의 노출시간을 각각 조정하고, 조정된 시간 동안 대상물 또는 대상 영역에 각각 노출되도록 상기 제1 카메라 및 상기 제2 카메라를 제어하고, 상기 제1 카메라 및 상기 제2 카메라가 촬영한 영상을 합성하는 제어부 및 상기 제어부가 합성한 영상을 출력하는 출력부를 포함하는 것을 특징으로 하는 증강현실 영상 생성장치를 제공한다.According to an aspect of the present invention, a sensor for sensing the brightness of an object or target area and a filter having a first light blocking rate are included, and a first camera for photographing the object or target area and a filter having a second light blocking rate are included. and adjusting the exposure times of the first camera and the second camera to the object or the target area, respectively, based on the sensing values of the second camera and the sensor for photographing the object or the target area, A control unit for controlling the first camera and the second camera to be exposed to a target area, respectively, and synthesizing images captured by the first camera and the second camera, and an output unit for outputting the synthesized image by the control unit It provides an augmented reality image generating device, characterized in that.

본 발명의 일 측면에 의하면, 상기 센서는 조도 센서로 구현되어 대상물 또는 대상 영역의 밝기를 센싱하거나, 레이저 광원과 수광부로 구현되어 대상물 또는 대상 영역으로 레이저 광을 조사하고 반사된 레이저 광을 수광함으로써 대상물 또는 대상 영역의 밝기를 센싱하는 것을 특징으로 한다.According to one aspect of the present invention, the sensor is implemented as an illuminance sensor to sense the brightness of an object or a target area, or implemented as a laser light source and a light receiving unit to irradiate laser light to the object or target area and receive the reflected laser light. It is characterized in that the brightness of the object or the target area is sensed.

이상에서 설명한 바와 같이, 본 발명의 일 측면에 따르면, 명암 대비가 높은 대상물 또는 대상영역에 대해 사용자가 시청할 수 있는 온전한 증강현실 영상을 생성하는 장점이 있다.As described above, according to one aspect of the present invention, there is an advantage of generating a complete augmented reality image that a user can view for an object or target region having high contrast.

도 1은 본 발명의 일 실시예에 따른 증강현실 영상 생성장치의 사시도이다.
도 2는 본 발명의 제1 실시예에 따른 증강현실 영상 생성장치의 구성을 도시한 도면이다.
도 3은 본 발명의 제2 실시예에 따른 증강현실 영상 생성장치의 구성을 도시한 도면이다.
도 4는 본 발명의 제3 실시예에 따른 증강현실 영상 생성장치의 구성을 도시한 도면이다.
도 5는 필터의 차광률에 따라 명암 대비가 높은 대상영역을 촬영한 영상을 도시한 도면이다.
도 6은 본 발명의 일 실시예에 따른 증강현실 영상 생성장치가 생성한 증강현실 영상을 도시한 도면이다.
도 7은 본 발명의 제1 실시예에 따른 증강현실 영상 생성장치가 증강현실 영상을 생성하는 방법을 도시한 순서도이다.
도 8은 본 발명의 제2 실시예에 따른 증강현실 영상 생성장치가 증강현실 영상을 생성하는 방법을 도시한 순서도이다.
도 9는 본 발명의 제3 실시예에 따른 증강현실 영상 생성장치가 증강현실 영상을 생성하는 방법을 도시한 순서도이다.1 is a perspective view of an augmented reality image generating apparatus according to an embodiment of the present invention.
2 is a diagram showing the configuration of an augmented reality image generating apparatus according to a first embodiment of the present invention.
3 is a diagram showing the configuration of an augmented reality image generating apparatus according to a second embodiment of the present invention.
4 is a diagram illustrating the configuration of an apparatus for generating an augmented reality image according to a third embodiment of the present invention.
5 is a diagram illustrating an image obtained by photographing a target area having high contrast according to a light blocking rate of a filter.
6 is a diagram illustrating an augmented reality image generated by the apparatus for generating an augmented reality image according to an embodiment of the present invention.
7 is a flowchart illustrating a method for generating an augmented reality image by the apparatus for generating an augmented reality image according to the first embodiment of the present invention.
8 is a flowchart illustrating a method for generating an augmented reality image by the apparatus for generating an augmented reality image according to a second embodiment of the present invention.
9 is a flowchart illustrating a method for generating an augmented reality image by the apparatus for generating an augmented reality image according to a third embodiment of the present invention.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.Since the present invention can have various changes and can have various embodiments, specific embodiments are illustrated in the drawings and described in detail. However, this is not intended to limit the present invention to a specific embodiment, it should be understood to include all modifications, equivalents and substitutes included in the spirit and scope of the present invention. In describing each figure, like reference numerals have been used for like elements.

제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.Terms such as first, second, A, and B may be used to describe various elements, but the elements should not be limited by the terms. The above terms are used only for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, a first component may be referred to as a second component, and similarly, a second component may also be referred to as a first component. and/or includes a combination of a plurality of related listed items or any of a plurality of related listed items.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에서, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.When a component is referred to as being “connected” or “connected” to another component, it is understood that the other component may be directly connected or connected to the other component, but other components may exist in between. it should be On the other hand, when it is said that a certain element is "directly connected" or "directly connected" to another element, it should be understood that no other element is present in the middle.

본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서 "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terms used in the present application are only used to describe specific embodiments, and are not intended to limit the present invention. The singular expression includes the plural expression unless the context clearly dictates otherwise. It should be understood that terms such as “comprise” or “have” in the present application do not preclude the possibility of addition or existence of features, numbers, steps, operations, components, parts, or combinations thereof described in the specification in advance. .

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해서 일반적으로 이해되는 것과 동일한 의미를 가지고 있다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs.

일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Terms such as those defined in commonly used dictionaries should be interpreted as having a meaning consistent with the meaning in the context of the related art, and should not be interpreted in an ideal or excessively formal meaning unless explicitly defined in the present application. does not

또한, 본 발명의 각 실시예에 포함된 각 구성, 과정, 공정 또는 방법 등은 기술적으로 상호간 모순되지 않는 범위 내에서 공유될 수 있다.In addition, each configuration, process, process or method included in each embodiment of the present invention may be shared within a range that does not technically contradict each other.

도 1은 본 발명의 일 실시예에 따른 증강현실 영상 생성장치의 사시도이다.1 is a perspective view of an augmented reality image generating apparatus according to an embodiment of the present invention.

증강현실 영상 생성장치(100)는 사용자가 보고자 하는 대상물 또는 대상영역의 증강현실 영상을 생성하여 출력한다. 이때, 대상물 또는 대상영역은 각 대상물이나 대상영역 내 존재하는 각각의 물체 간에 명암대비가 너무 높아 사용자의 육안으로는 확인이 곤란한 것으로, 예를 들어, 대상물 또는 대상영역은 용접부위일 수 있다. 이와 같은 대상물 또는 대상영역을 확인하고자 할 때, 종래에는 사용자가 별도의 차광 또는 감광성분이 도포된 구성을 구비하여 확인하곤 했다. 예를 들어, 종래에는 용접사가 용접부위를 확인하고자 할 때, 용접마스크를 장착하거나 구비하여야 했다. 그러나 사용자가 해당 구성을 구비(특히, 손으로)하는 경우 불편이 발생하기에, 증강현실 영상 생성장치와 같은 장착 가능한 장비가 등장하였다. 증강현실 영상 생성장치(100)는 이와 같은 대상물 또는 대상영역을 촬영하여 사용자가 인지하기 좋은, 대상물 또는 대상영역의 HDR(High Dynamic Range)영상을 생성하여 출력한다.The augmented reality image generating apparatus 100 generates and outputs an augmented reality image of an object or target area that the user wants to see. In this case, the object or the target area is difficult to check with the naked eye of the user because the contrast between each object or each object existing in the target area is too high. For example, the object or the target area may be a welding part. When trying to check such an object or target area, conventionally, a user used to confirm by providing a configuration in which a separate light-shielding or light-sensitive component is applied. For example, in the prior art, when a welder wants to check a welding site, a welding mask has to be mounted or provided. However, since inconvenience occurs when the user has the corresponding configuration (especially by hand), mountable equipment such as an augmented reality image generating device has appeared. The augmented reality image generating apparatus 100 generates and outputs a high dynamic range (HDR) image of the object or target area, which is easily recognized by the user, by photographing such an object or target area.

도 2는 본 발명의 제1 실시예에 따른 증강현실 영상 생성장치의 구성을 도시한 도면이다.2 is a diagram showing the configuration of an augmented reality image generating apparatus according to a first embodiment of the present invention.

도 2를 참조하면, 본 발명의 제1 실시예에 따른 증강현실 영상 생성장치(100)는 제1 카메라(210), 제2 카메라(220), 제어부(230) 및 출력부(250)를 포함한다.Referring to FIG. 2 , the augmented reality image generating apparatus 100 according to the first embodiment of the present invention includes a first camera 210 , a second camera 220 , a controller 230 , and an output unit 250 . do.

제1 카메라(210)는 제1 차광률을 갖는 필터를 포함하여, 제1 차광률로 차광하며 대상물 또는 대상영역을 촬영한다. 또한, 제2 카메라(220)는 제2 차광률을 갖는 필터를 포함하여, 제2 차광률로 차광하며 대상물 또는 대상영역을 촬영한다. 이처럼, 증강현실 영상 생성장치(100)가 서로 상이한 차광률을 갖는 필터를 구비한 카메라를 복수 개 포함하고 있는 이유는 도 5에 도시되어 있다.The first camera 210 includes a filter having a first light blocking rate, blocks light at the first light blocking rate, and captures an object or a target area. In addition, the second camera 220 includes a filter having the second light blocking rate, and captures the object or target area while blocking light at the second light blocking rate. As such, the reason that the augmented reality image generating apparatus 100 includes a plurality of cameras having filters having different light blocking rates is illustrated in FIG. 5 .

도 5는 필터의 차광률에 따라 명암 대비가 높은 대상영역을 촬영한 영상을 도시한 도면이다.5 is a diagram illustrating an image obtained by photographing a target area having high contrast according to a light blocking rate of a filter.

물체마다 서로 빛을 반사시키는 정도가 상이하여, 촬영된 영상 내에서 상대적으로 밝게 드러나는 물체와 상대적으로 어둡게 드러나는 물체가 존재한다. 다만, 복수의 대상물 간에 또는 대상영역 내 복수의 물체 간에 과도한 명암 대비가 존재할 경우, 촬영된 영상에서는 필터의 차광률에 따라 촬영된 영상 내에서 각 물체들의 시인성이 달라지는 것을 확인할 수 있다.Since each object has a different degree of reflection of light, there are an object that is relatively bright and an object that is relatively dark in the photographed image. However, when excessive contrast exists between a plurality of objects or between a plurality of objects in a target area, it can be confirmed that the visibility of each object in the photographed image varies according to the shading rate of the filter in the photographed image.

도 5(a)에 도시된 영상에서는 주변의 물체(510)는 적절한 밝기를 가지며 영상 내에서 표시되고 있으나, 중심의 물체(520)는 과도하게 밝아 온전히 식별이 곤란한 상태로 표시되고 있다.In the image shown in FIG. 5A , the surrounding object 510 has an appropriate brightness and is displayed in the image, but the central object 520 is displayed in a state in which it is difficult to identify it because it is too bright.

반면, 도 5(b)에 도시된 영상에서는 주변의 물체(510)는 상대적으로 어두운 밝기를 가지며 영상 내에서 표시되고 있으나, 중심의 물체(520)는 적절한 밝기를 가지며 영상 내에서 표시되고 있다.On the other hand, in the image shown in FIG. 5B , the surrounding object 510 has a relatively dark brightness and is displayed in the image, but the central object 520 has an appropriate brightness and is displayed in the image.

이처럼, 물체 간에 과도한 명암 대비가 존재하는 대상물 또는 대상영역에 대해 HDR 영상을 생성하기 위해, 종래에는 대상물 또는 대상영역으로의 노출시간을 서로 달리하여 촬영한 복수의 영상을 합성하였다. 특정 시간 동안 대상물 또는 대상영역으로 노출되어 대상물 또는 대상영역의 영상을 획득하고, 이후, 상이한 시간 동안 대상물 또는 대상영역으로 노출되어 대상물 또는 대상영역의 영상을 획득한 후, 양 영상을 합성해왔다. 그러나 종래의 방법은 실시간 처리가 요구되지 않는 분야에서는 적절히 사용될 수 있으나, 실시간 처리가 요구되는 분야에서는 노출 시간이 상이한 영상을 획득하는 점과 획득한 영상에 후처리를 수행하여야 하는 점으로 인해 부적절하였다.As described above, in order to generate an HDR image for an object or a target region having excessive contrast between objects, a plurality of images photographed with different exposure times to the object or target region are synthesized in the prior art. After being exposed to an object or region for a specific time to acquire an image of the object or region, and then exposed to the object or region for a different time to acquire an image of the object or region, both images have been synthesized. However, the conventional method can be appropriately used in fields that do not require real-time processing, but in fields requiring real-time processing, images with different exposure times are acquired and post-processing must be performed on the acquired images, which makes it inappropriate. .

다시 도 1을 참조하면, 이와 같은 문제를 해소하고자, 증강현실 영상 생성장치(100)는 복수의 카메라를 포함하며, 각 카메라는 차광률을 달리하는 필터를 포함한다. 예를 들어, 제1 카메라(210) 내 필터는 제2 카메라(220)의 필터보다 차광정도가 높을 수 있다. 즉, 제1 카메라(210)로부터 획득되는 영상은 제2 카메라(220)로부터 획득되는 영상보다 명암에 있어 어두울 수 있다.Referring back to FIG. 1 , in order to solve this problem, the augmented reality image generating apparatus 100 includes a plurality of cameras, and each camera includes a filter having a different light blocking rate. For example, the filter in the first camera 210 may have a higher degree of blocking than the filter in the second camera 220 . That is, the image obtained from the first camera 210 may be darker in contrast than the image obtained from the second camera 220 .

제어부(230)는 각 카메라(210, 220)가 동작하도록 제어하고, 각 카메라(210, 220)가 획득한 영상을 합성한다.The controller 230 controls each of the cameras 210 and 220 to operate, and synthesizes images obtained by the respective cameras 210 and 220 .

제어부(230)는 기 설정된 시간 동안 각 카메라(210, 220)가 동작하도록 제어한다. 대상물 또는 대상영역의 HDR 영상을 획득하기 위해서는 대상물 또는 대상영역 내 과도하게 밝은 물체의 인식을 위한 고차광 영상과, 대상물 또는 대상영역 내 상대적으로 어두운 물체의 인식을 위해 감광을 최소화한 저차광 영상을 획득하여야 한다. 이를 위해, 제어부(230)는 각 카메라(210, 220)가 대상물 또는 대상영역으로 노출되어 대상물 또는 대상영역을 촬영하도록 제어한다. 이때, 각 카메라(210, 220)는 서로 차광률을 달리하는 필터를 구비하기 때문에, 서로 대상물 또는 대상영역으로의 노출시간이 상이할 필요가 없다. 따라서, 제어부(230)는 각 카메라(210, 220)를 제어함에 있어 양자 모두 동일한 시간 동안 대상물 또는 대상영역으로 노출되도록 제어한다.The controller 230 controls each of the cameras 210 and 220 to operate for a preset time. In order to obtain an HDR image of an object or target area, a high-shielding image for recognizing an excessively bright object in the target or target area, and a low-lighting image with minimal light sensitivity for recognizing a relatively dark object in the target or target area are used. should be obtained To this end, the controller 230 controls each of the cameras 210 and 220 to be exposed as an object or a target area to photograph the object or target area. In this case, since each of the cameras 210 and 220 includes filters having different light blocking rates from each other, there is no need to have different exposure times to the object or the target area. Accordingly, in controlling each camera 210 and 220 , the controller 230 controls both to be exposed to an object or a target region for the same time.

제어부(230)는 각 카메라(210, 220)가 획득한 영상을 합성한다. 각 카메라(210, 220)는 대상물 또는 대상영역으로 동일한 시간동안 노출되기 때문에, 각 카메라(210, 220)가 촬영한 영상은 동일한 FPS(Frame Per Second)를 갖는다. 이에 따라, 제어부(230)는 각 카메라(210, 220)가 촬영한 영상에 대해 별도의 후처리 없이도 간단하게 합성하여 대상물 또는 대상영역에 대한 증강현실 영상을 생성할 수 있다. 생성된 증강현실 영상은 도 6에 도시되어 있다.The controller 230 synthesizes the images acquired by each of the cameras 210 and 220 . Since each of the cameras 210 and 220 is exposed to an object or a target area for the same time, the images captured by each of the cameras 210 and 220 have the same FPS (Frame Per Second). Accordingly, the controller 230 may generate an augmented reality image for an object or a target region by simply synthesizing the images captured by the cameras 210 and 220 without a separate post-processing. The generated augmented reality image is shown in FIG. 6 .

도 6은 본 발명의 일 실시예에 따른 증강현실 영상 생성장치가 생성한 증강현실 영상을 도시한 도면이다.6 is a diagram illustrating an augmented reality image generated by the apparatus for generating an augmented reality image according to an embodiment of the present invention.

증강현실 영상은 주변의 물체(510)가 적절한 밝기로 촬영된 영상과 중심의 물체(520)가 적절한 밝기로 촬영된 영상을 합성하여 생성되기 때문에, 주변의 물체(510)와 중심의 물체(520) 모두가 적절한 밝기로 출력되어 사용자가 영상 내 모든 물체를 온전히 인식할 수 있다. Since the augmented reality image is generated by synthesizing an image of the surrounding object 510 with an appropriate brightness and an image of the central object 520 with an appropriate brightness, the surrounding object 510 and the central object 520 are generated. ) are all output with appropriate brightness, so that the user can fully recognize all objects in the image.

다시 도 1을 참조하면, 출력부(240)는 제어부(230)가 합성한 증강현실 영상을 출력한다. 출력부(240)는 대상물 또는 대상영역에 대한 증강현실 영상을 출력하여, 사용자가 육안으로 인식하기 곤란한 대상물 또는 대상영역을 온전히 인식할 수 있도록 한다.Referring back to FIG. 1 , the output unit 240 outputs the augmented reality image synthesized by the control unit 230 . The output unit 240 outputs an augmented reality image of the object or target region, so that the user can fully recognize the object or target region that is difficult to recognize with the naked eye.

도 3은 본 발명의 제2 실시예에 따른 증강현실 영상 생성장치의 구성을 도시한 도면이다.3 is a diagram showing the configuration of an augmented reality image generating apparatus according to a second embodiment of the present invention.

도 3을 참조하면, 본 발명의 제2 실시예에 따른 증강현실 영상 생성장치(100)는 제1 카메라(310), 제2 카메라(320), 센서(330), 제어부(340) 및 출력부(240)를 포함한다.Referring to FIG. 3 , the augmented reality image generating apparatus 100 according to the second embodiment of the present invention includes a first camera 310 , a second camera 320 , a sensor 330 , a controller 340 , and an output unit. (240).

제1 카메라(310) 및 제2 카메라(320) 역시 제1 카메라(210) 및 제2 카메라(220)와 동일하게 서로 상이한 차광률을 갖는 필터를 포함한다. 다만, 여기서 그치는 것이 아니라, 각 카메라(310, 320)에 포함된 필터는 제어부(340)의 제어에 따라 차광률을 조정할 수 있다. The first camera 310 and the second camera 320 also include filters having different light-shielding rates in the same way as the first camera 210 and the second camera 220 . However, this does not stop there, and the filter included in each camera 310 and 320 may adjust the light blocking rate according to the control of the controller 340 .

센서(330)는 복수의 대상물 간에 또는 대상영역 내 복수의 물체 간의 밝기 범위를 센싱한다. 센서(330)는 대상물 또는 대상영역 내 물체들의 명암의 범위를 센싱하여, 센싱값을 제어부(340)로 전달한다. 여기서, 센서(330)는 대상물 또는 대상영역의 밝기를 측정하기 위한 조도센서나 기타 광 센서일 수 있다. 다만, 센서(330)는 광 센서 뿐만 아니라, 레이저 광을 조사하는 레이저 광원과 반사된 레이저 광을 수광하기 위한 수광부로 구현될 수도 있다. 대상물 또는 대상영역의 명암 대비가 과도할 경우, 광센서는 이를 적정값이 아닌 과도하게 밝거나 과도하게 어두운 것으로 센싱할 가능성도 있다. 이에, 센서(330)는 레이저 광원과 수광부로 구현되어 대상물 또는 대상영역로 레이저 광을 조사하고 반사되는 레이저 광의 밝기를 센싱하여 제어부(340)로 전달할 수도 있다.The sensor 330 senses a brightness range between a plurality of objects or between a plurality of objects in a target area. The sensor 330 senses the range of the contrast of the object or objects in the target area, and transmits the sensed value to the controller 340 . Here, the sensor 330 may be an illuminance sensor or other optical sensor for measuring the brightness of an object or a target area. However, the sensor 330 may be implemented not only as an optical sensor, but also as a laser light source for irradiating laser light and a light receiving unit for receiving the reflected laser light. When the contrast of the object or the target area is excessive, the optical sensor may sense it as excessively bright or excessively dark rather than an appropriate value. Accordingly, the sensor 330 may be implemented as a laser light source and a light receiver, irradiate a laser light to an object or a target area, sense the brightness of the reflected laser light, and transmit it to the controller 340 .

제어부(340)는 각 카메라(310, 320)가 동작하도록 제어하되 센서(330)가 센싱한 센싱값에 따라 각 카메라(310, 320)의 차광률을 조정하고, 각 카메라(310, 320)가 획득한 영상을 합성한다.The controller 340 controls each camera 310, 320 to operate, but adjusts the light blocking rate of each camera 310, 320 according to the sensed value sensed by the sensor 330, and each camera 310, 320 Composite the acquired images.

제어부(340)는 센서(330)가 센싱한 센싱값에 따라 각 카메라(310, 320)의 차광률을 조정한다. 제어부(340)는 센서(330)로부터 수신한 대상물 또는 대상영역의 밝기 범위에 따라 적정 차광률을 갖도록 각 카메라(310, 320)의 차광률을 조정한다. 대상물 또는 대상영역의 밝기가 과도하게 밝을 경우, 제어부(340)는 각 필터의 제1 차광률과 제2 차광률을 전반적으로 높여 사용자가 인식하기에 좋은 영상이 합성될 수 있도록 한다. 반대로, 대상물 또는 대상영역의 밝기가 지나치게 어두울 경우, 제어부(340)는 각 필터의 제1 차광률과 제2 차광률을 전반적으로 낮추도록 제어한다. The controller 340 adjusts the light blocking rate of each of the cameras 310 and 320 according to the sensed value sensed by the sensor 330 . The control unit 340 adjusts the light blocking rate of each of the cameras 310 and 320 so as to have an appropriate light blocking rate according to the brightness range of the object or target area received from the sensor 330 . When the brightness of the object or target area is excessively bright, the controller 340 increases the overall first and second blocking ratios of each filter so that an image that is good for the user to recognize can be synthesized. Conversely, when the brightness of the object or the target region is too dark, the controller 340 controls the first and second blocking ratios of each filter to be generally lowered.

제어부(340)는 기 설정된 시간 동안 각 카메라(310, 320)가 동작하도록 제어한다. 각 카메라(310, 320)는 동일한 시간 동안 동작하더라도, 차광률이 상이하기에 각 카메라(310, 320)가 촬영한 영상을 합성하여 HDR 영상을 생성할 수 있다. The controller 340 controls each of the cameras 310 and 320 to operate for a preset time. Although each camera 310 and 320 operates for the same time, since the light blocking rate is different, the HDR image may be generated by synthesizing the images photographed by the respective cameras 310 and 320 .

제어부(340)는 각 카메라(210, 220)가 획득한 영상을 합성한다. 영상을 합성한 후, 제어부(340)는 합성한 영상의 차광정도가 기 설정된 범위 내인지 여부를 판단한다. 센서(330)가 센싱한 센싱값을 토대로 각 카메라(310, 320)의 차광률을 조정한다 하더라도, 합성된 영상의 차광정도가 사용자가 인지하는데 적절하지 못할 경우도 존재할 수 있다. 따라서, 제어부(340)는 합성한 영상의 차광정도가 기 설정된 범위(사용자가 인지하기에 적합한 범위인) 내인지 여부를 판단한다. 합성한 영상의 차광정도가 기 설정된 범위 내인 경우, 제어부(340)는 출력부(240)가 해당 영상을 출력하도록 제어한다. 반면, 합성한 영상의 차광정도가 기 설정된 범위를 벗어나는 경우, 제어부(340)는 제1 카메라(310) 및/또는 제2 카메라(320) 내 필터의 차광률을 조정하고, 다시 대상물 또는 대상영역을 촬영하도록 제어한다. 예를 들어, 합성된 영상이 전체적으로 밝기가 과도하게 밝을 경우, 제어부(340)는 제1 카메라(310) 및 제2 카메라(320) 내 필터의 차광률을 증가시킬 수 있다. 다른 예로, 합성된 영상 중 주변의 물체의 밝기가 과도하게 밝거나 어두울 경우, 제어부(340)는 제1 카메라(310) 또는 제2 카메라(320) 내 필터의 차광률을 조정할 수 있다. 센서의 센싱값과 각 카메라의 차광률을 조정할 수 있어, 본 발명의 제2 실시예에 따른 증강현실 영상 생성장치는 사용자에게 보다 인식률이 우수한 증강현실 영상을 생성할 수 있다.The controller 340 synthesizes the images acquired by each of the cameras 210 and 220 . After synthesizing the images, the controller 340 determines whether the shading degree of the synthesized image is within a preset range. Even if the shading rate of each camera 310 and 320 is adjusted based on the sensed value sensed by the sensor 330 , there may exist a case where the shading degree of the synthesized image is not suitable for the user to recognize. Accordingly, the controller 340 determines whether the degree of shading of the synthesized image is within a preset range (which is a range suitable for the user to perceive). When the shading degree of the synthesized image is within a preset range, the control unit 340 controls the output unit 240 to output the corresponding image. On the other hand, when the shading degree of the synthesized image is out of a preset range, the controller 340 adjusts the shading rate of the filter in the first camera 310 and/or the second camera 320 , and again the object or the target region. control to shoot. For example, when the overall brightness of the synthesized image is excessively bright, the controller 340 may increase the light blocking rate of the filters in the first camera 310 and the second camera 320 . As another example, when the brightness of a nearby object in the synthesized image is excessively bright or dark, the controller 340 may adjust a light blocking rate of a filter in the first camera 310 or the second camera 320 . Since the sensing value of the sensor and the shading rate of each camera can be adjusted, the augmented reality image generating apparatus according to the second embodiment of the present invention can generate an augmented reality image with a better recognition rate to the user.

출력부(240)는 본 발명의 제1 실시예에 따른 증강현실 영상 생성장치(100) 내 출력부(240)와 동일하게 동작한다.The output unit 240 operates in the same manner as the output unit 240 in the augmented reality image generating apparatus 100 according to the first embodiment of the present invention.

도 4는 본 발명의 제3 실시예에 따른 증강현실 영상 생성장치의 구성을 도시한 도면이다.4 is a diagram illustrating the configuration of an apparatus for generating an augmented reality image according to a third embodiment of the present invention.

도 4를 참조하면, 본 발명의 제3 실시예에 따른 증강현실 영상 생성장치(100)는 제1 카메라(410), 제2 카메라(420), 센서(330), 제어부(430) 및 출력부(240)를 포함한다.Referring to FIG. 4 , the augmented reality image generating apparatus 100 according to the third embodiment of the present invention includes a first camera 410 , a second camera 420 , a sensor 330 , a controller 430 and an output unit. (240).

제1 카메라(410) 및 제2 카메라(420)는 각각 제1 차광률 및 제2 차광률을 갖는 필터를 구비하여, 각 차광률로 차광하며 대상물 또는 대상영역을 촬영한다. 이때, 제1 카메라(410) 및 제2 카메라(420)는 제어부(430)의 제어에 따라 서로 대상물 또는 대상영역을 촬영하는 시간이 상이해질 수 있다. 상대적으로 차광률이 높은 제1 필터를 구비한 제1 카메라(410)는 상대적으로 적은 시간동안 대상물 또는 대상영역을 촬영하고, 상대적으로 차광률이 낮은 제2 필터를 구비한 제2 카메라(420)는 상대적으로 장 시간동안 대상물 또는 대상영역을 촬영한다. 이에 따라, 생성되는 증강현실 영상은 각 카메라(410)에서 필터의 차광률과 함께 노출시간도 함께 보정되어 생성되기에, 보다 현실감 있는 HDR 증강현실 영상으로 생성될 수 있다.The first camera 410 and the second camera 420 each include filters having a first light blocking rate and a second light blocking rate, respectively, to block light at each light blocking rate and photograph an object or a target area. In this case, the first camera 410 and the second camera 420 may have different times for photographing the object or the target area according to the control of the controller 430 . A first camera 410 having a first filter having a relatively high light blocking rate captures an object or a target area for a relatively short time, and a second camera 420 having a second filter having a relatively low light blocking rate. to photograph an object or a target area for a relatively long time. Accordingly, the generated augmented reality image can be generated as a more realistic HDR augmented reality image because the exposure time is also corrected together with the shading rate of the filter in each camera 410 .

센서(330)는 본 발명의 제2 실시예에 따른 증강현실 영상 생성장치(100)의 그것과 동일하게 동작한다.The sensor 330 operates in the same manner as that of the augmented reality image generating apparatus 100 according to the second embodiment of the present invention.

제어부(430)는 각 카메라(210, 220)가 동작하도록 제어하되 센서(330)가 센싱한 센싱값에 따라 각 카메라(210, 220)의 동작시간(노출시간)을 조정하고, 각 카메라(210, 220)가 획득한 영상을 합성한다.The controller 430 controls each camera 210 and 220 to operate, but adjusts the operating time (exposure time) of each camera 210 and 220 according to the sensed value sensed by the sensor 330, and each camera 210 , 220) synthesizes the acquired images.

제어부(430)는 센서(330)가 센싱한 센싱값에 따라 각 카메라(210, 220)의 동작시간을 조정한다. 제어부(430)는 대상물 또는 대상영역의 밝기 범위에 따라 적정 시간동안 동작하도록, 각 카메라(210, 220) 또는 일 카메라(210 또는 220)의 동작시간(대상물 또는 대상영역으로의 노출시간)을 조정한다. 대상물 또는 대상영역의 밝기가 상대적으로 어두운 경우, 제어부(430)는 각 카메라(210, 220)의 동작시간(대상물 또는 대상영역으로의 노출시간)을 증가시켜 상대적으로 밝은 영상을 획득할 수 있도록 한다. 반대의 경우도 성립함은 당연하다.The controller 430 adjusts the operating time of each camera 210 , 220 according to the sensed value sensed by the sensor 330 . The controller 430 adjusts the operating time (exposure time to the object or target area) of each camera 210 or 220 or one camera 210 or 220 so as to operate for an appropriate time according to the brightness range of the object or target area. do. When the brightness of the object or target area is relatively dark, the controller 430 increases the operation time (exposure time to the object or target area) of each camera 210 and 220 so that a relatively bright image can be obtained. . It is natural that the opposite is also true.

제어부(430)는 조정한 시간동안 대상물 또는 대상영역을 촬영하도록 각 카메라(210, 220)를 제어하고, 각 카메라(210, 220)가 획득한 영상을 합성한다. 각 카메라(210, 220)가 촬영하는 시간이 상이해져, 제어부(430)는 각 카메라(210, 220)가 획득한 영상을 합성함에 있어 후처리를 수행하여야 한다. 제어부(430)는 적은 FPS를 갖는 카메라가 촬영한 영상을 기준으로 많은 FPS를 갖는 카메라가 촬영한 영상을 동기화한 후, 각 영상을 합성한다. 후처리로 인해, 영상 합성의 실시간성은 다소 떨어지지만, 보다 시인성이 우수해지는 장점을 갖는다.The controller 430 controls each of the cameras 210 and 220 to photograph an object or a target area for the adjusted time period, and synthesizes the images acquired by each of the cameras 210 and 220 . Since the time taken by the cameras 210 and 220 is different, the controller 430 needs to perform post-processing in synthesizing the images acquired by the cameras 210 and 220 . The controller 430 synchronizes images captured by a camera having a large FPS based on an image captured by a camera having a low FPS, and then synthesizes the images. Due to the post-processing, although the real-time performance of image synthesis is somewhat deteriorated, it has the advantage of more excellent visibility.

영상을 합성한 후, 제어부(340)는 합성한 영상의 차광정도가 기 설정된 범위 내인지 여부를 판단한다. 합성한 영상의 차광정도가 기 설정된 범위를 벗어난 경우, 제어부(340)는 각 카메라(210, 220)의 동작시간(노출시간)을 재 조정하여 다시 동작하도록 각 카메라(210, 220)를 제어한다. After synthesizing the images, the controller 340 determines whether the shading degree of the synthesized image is within a preset range. When the shading degree of the synthesized image is out of a preset range, the controller 340 controls each camera 210 and 220 to operate again by adjusting the operation time (exposure time) of each camera 210 and 220 . .

출력부(240)는 본 발명의 제1 실시예에 따른 증강현실 영상 생성장치(100) 내 출력부(240)와 동일하게 동작한다.The output unit 240 operates in the same manner as the output unit 240 in the augmented reality image generating apparatus 100 according to the first embodiment of the present invention.

도 7은 본 발명의 제1 실시예에 따른 증강현실 영상 생성장치가 증강현실 영상을 생성하는 방법을 도시한 순서도이다.7 is a flowchart illustrating a method for generating an augmented reality image by the apparatus for generating an augmented reality image according to the first embodiment of the present invention.

제1 차광률을 갖는 필터를 포함한 제1 카메라가 일정 시간 동안 대상물 또는 대상영역에 노출된다(S710). 제1 카메라가 일정 시간 동안 대상물 또는 대상영역에 노출되며, 대상물 또는 대상영역의 영상을 촬영한다.The first camera including the filter having the first light blocking rate is exposed to the object or the target area for a predetermined time (S710). The first camera is exposed to the object or the target area for a predetermined time, and takes an image of the object or the target area.

제2 차광률을 갖는 필터를 포함한 제2 카메라가 일정 시간 동안 대상물 또는 대상영역에 노출된다(S720). 제2 카메라가 일정 시간 동안 대상물 또는 대상영역에 노출되며, 대상물 또는 대상영역의 영상을 촬영한다.A second camera including a filter having a second light blocking rate is exposed to the object or target area for a predetermined time (S720). The second camera is exposed to the object or the target area for a predetermined time, and takes an image of the object or the target area.

제어부(230)는 각 카메라가 촬영한 영상을 합성한다(S730).The controller 230 synthesizes images captured by each camera (S730).

출력부(240)는 합성된 영상을 출력한다(S740).The output unit 240 outputs the synthesized image (S740).

도 8은 본 발명의 제2 실시예에 따른 증강현실 영상 생성장치가 증강현실 영상을 생성하는 방법을 도시한 순서도이다.8 is a flowchart illustrating a method for generating an augmented reality image by the apparatus for generating an augmented reality image according to a second embodiment of the present invention.

센서(330)는 대상물 또는 대상영역의 밝기를 센싱한다(S810).The sensor 330 senses the brightness of the object or target area (S810).

제어부(340)는 센싱값을 토대로 각 카메라(310, 320)에 포함된 필터의 차광률을 조정한다(S820).The controller 340 adjusts the light blocking rate of the filters included in each of the cameras 310 and 320 based on the sensed value (S820).

조정된 차광률을 갖는 필터를 포함한 각 카메라가 일정 시간 동안 대상물 또는 대상영역에 노출된다(S830). Each camera including the filter having the adjusted light blocking rate is exposed to the object or the target area for a predetermined time (S830).

제어부(340)는 각 카메라가 촬영한 영상을 합성한다(S840).The controller 340 synthesizes images captured by each camera (S840).

제어부(340)는 합성된 영상의 차광 정도가 적정한지 여부를 판단한다(S850). 합성된 영상의 차광 정도가 적정하지 않은 경우, 제어부(340)는 각 카메라(310, 320)에 포함된 필터의 차광률을 재조정한다.The controller 340 determines whether the degree of shading of the synthesized image is appropriate (S850). When the shading degree of the synthesized image is not appropriate, the controller 340 readjusts the shading ratio of the filters included in each of the cameras 310 and 320 .

합성된 영상의 차광 정도가 적정한 경우, 출력부(240)는 합성된 영상을 출력한다(S860).When the shading degree of the synthesized image is appropriate, the output unit 240 outputs the synthesized image (S860).

도 9는 본 발명의 제3 실시예에 따른 증강현실 영상 생성장치가 증강현실 영상을 생성하는 방법을 도시한 순서도이다.9 is a flowchart illustrating a method for generating an augmented reality image by the apparatus for generating an augmented reality image according to a third embodiment of the present invention.

센서(330)는 대상물 또는 대상영역의 밝기를 센싱한다(S910).The sensor 330 senses the brightness of the object or target area (S910).

제어부(340)는 센싱값을 토대로, 대상물 또는 대상영역에 대한 각 카메라(210, 220)의 노출시간을 조정한다(S920).The controller 340 adjusts the exposure time of each of the cameras 210 and 220 with respect to the object or target area based on the sensed value (S920).

조정된 노출시간만큼 각 카메라가 동안 대상물 또는 대상영역에 노출된다(S930). Each camera is exposed to the object or target area for the adjusted exposure time (S930).

제어부(340)는 각 카메라가 촬영한 영상을 합성한다(S940).The controller 340 synthesizes images captured by each camera (S940).

제어부(340)는 합성된 영상의 차광 정도가 적정한지 여부를 판단한다(S950). 합성된 영상의 차광 정도가 적정하지 않은 경우, 제어부(340)는 각 카메라(210, 220)에 포함된 필터의 차광률을 재조정한다.The controller 340 determines whether the degree of blocking of the synthesized image is appropriate (S950). When the shading degree of the synthesized image is not appropriate, the controller 340 readjusts the shading ratio of the filters included in each of the cameras 210 and 220 .

합성된 영상의 차광 정도가 적정한 경우, 출력부(240)는 합성된 영상을 출력한다(S960).When the degree of shading of the synthesized image is appropriate, the output unit 240 outputs the synthesized image (S960).

도 7 내지 9에서는 각각의 과정을 순차적으로 실행하는 것으로 기재하고 있으나, 이는 본 발명의 일 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것이다. 다시 말해, 본 발명의 일 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 일 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 각각의 도면에 기재된 과정의 순서를 변경하여 실행하거나 과정 중 하나 이상의 과정을 병렬적으로 실행하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이므로, 도 7 내지 9는 시계열적인 순서로 한정되는 것은 아니다.Although it is described that each process is sequentially executed in FIGS. 7 to 9 , this is merely illustrative of the technical idea of an embodiment of the present invention. In other words, a person of ordinary skill in the art to which an embodiment of the present invention pertains may change the order of the processes described in each drawing within a range that does not depart from the essential characteristics of an embodiment of the present invention, or execute one or more of the processes. Since it will be possible to apply various modifications and variations by executing the process in parallel, FIGS. 7 to 9 are not limited to a time-series order.

한편, 도 7 내지 9에 도시된 과정들은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 즉, 컴퓨터가 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등) 및 캐리어 웨이브(예를 들면, 인터넷을 통한 전송)와 같은 저장매체를 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.Meanwhile, the processes shown in FIGS. 7 to 9 can be implemented as computer-readable codes on a computer-readable recording medium. The computer-readable recording medium includes all kinds of recording devices in which data readable by a computer system is stored. That is, the computer-readable recording medium includes a magnetic storage medium (eg, a ROM, a floppy disk, a hard disk, etc.), an optically readable medium (eg, a CD-ROM, a DVD, etc.) and a carrier wave (eg, the Internet). storage media such as transmission via In addition, the computer-readable recording medium is distributed in a network-connected computer system so that the computer-readable code can be stored and executed in a distributed manner.

이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The above description is merely illustrative of the technical idea of this embodiment, and various modifications and variations will be possible by those skilled in the art to which this embodiment belongs without departing from the essential characteristics of the present embodiment. Accordingly, the present embodiments are intended to explain rather than limit the technical spirit of the present embodiment, and the scope of the technical spirit of the present embodiment is not limited by these embodiments. The protection scope of this embodiment should be interpreted by the following claims, and all technical ideas within the equivalent range should be interpreted as being included in the scope of the present embodiment.

100: 증강현실 영상 생성장치
210, 310, 410: 제1 카메라
220, 320, 420: 제2 카메라
230, 340, 430: 제어부
240: 출력부
330: 센서
510: 주변의 물체
520: 중심의 물체100: augmented reality image generating device
210, 310, 410: first camera
220, 320, 420: second camera
230, 340, 430: control unit
240: output unit
330: sensor
510: surrounding objects
520: central object

Claims (17)

용접 부위에 해당되는 대상물 또는 대상 영역에 대한 영상을 촬영하여 출력하는 증강현실 영상 생성 방법에 있어서,
대상물 또는 대상 영역의 밝기를 센싱하는 센싱과정;
상기 센싱과정에서 센싱한 센싱값을 토대로, 각 카메라의 상기 대상물 또는 대상 영역에 대한 노출시간을 조정하는 조정과정;
제1 차광률을 갖는 필터를 포함한 제1 카메라를 조정된 제1 시간 동안 대상물 또는 대상 영역에 노출하여 고차광 영상을 획득하는 제1 노출과정;
상기 제1 차광률보다 차광 정도가 낮은 제2 차광률을 갖는 필터를 포함한 제2 카메라를 조정된 제2 시간 동안 상기 대상물 또는 대상 영역에 노출하여 저차광 영상을 획득하는 제2 노출과정;
상기 제1 노출과정을 거치며 촬영된 고차광 영상과 상기 제2 노출과정을 거치며 촬영된 저차광 영상을 합성하여 증강현실 영상을 생성하는 합성과정; 및
상기 합성과정에서 합성된 증강현실 영상을 출력하는 출력과정을 포함하되,
상기 제1 및 제2 카메라는 동일한 FPS(Frame per second)를 갖는 영상을 촬영하는 것을 특징으로 하는 증강현실 영상 생성방법.In the augmented reality image generation method for photographing and outputting an image of an object or a target area corresponding to a welding site,
a sensing process of sensing the brightness of an object or a target area;
an adjustment process of adjusting an exposure time for the object or target area of each camera based on the sensed value sensed in the sensing process;
a first exposure process of exposing a first camera including a filter having a first light blocking rate to an object or a target area for an adjusted first time to obtain a high light blocking image;
a second exposure process of exposing a second camera including a filter having a second light blocking rate lower than the first light blocking rate to the object or target area for an adjusted second time to obtain a low light blocking image;
a synthesizing process of generating an augmented reality image by synthesizing the high shading image taken through the first exposure process and the low shading image taken through the second exposure process; and
Including an output process of outputting the augmented reality image synthesized in the synthesis process,
The first and second cameras are augmented reality image generating method, characterized in that for shooting an image having the same FPS (Frame per second). 삭제delete 삭제delete 제1항에 있어서,
상기 합성과정은,
상기 제1 카메라 및 상기 제2 카메라가 노출과정 및 상기 제2 노출과정을 거치며 촬영한 영상을 후처리 없이 바로 합성하는 것을 특징으로 하는 증강현실 영상 생성방법.According to claim 1,
The synthesis process is
Augmented reality image generating method, characterized in that the image taken by the first camera and the second camera through the exposure process and the second exposure process is directly synthesized without post-processing. 용접 부위에 해당되는 대상물 또는 대상 영역에 대한 영상을 촬영하여 출력하는 증강현실 영상 생성 장치에 있어서,
대상물 또는 대상 영역의 밝기를 센싱하는 센서;
제1 차광률을 갖는 필터를 포함하며, 대상물 또는 대상 영역을 촬영하여 고차광 영상을 획득하는 제1 카메라;
상기 제1 차광률보다 차광 정도가 낮은 제2 차광률을 갖는 필터를 포함하며, 상기 대상물 또는 대상 영역을 촬영하여 저차광 영상을 획득하는 제2 카메라;
상기 센서의 센싱값을 토대로 상기 제1 카메라 및 상기 제2 카메라의 상기 대상물 또는 대상 영역으로의 노출시간을 각각 조정하고, 조정된 시간 동안 대상물 또는 대상 영역에 각각 노출되도록 상기 제1 카메라 및 상기 제2 카메라를 제어하고, 상기 제1 카메라에서 촬영한 고차광 영상 및 상기 제2 카메라가 촬영한 저차광 영상을 증강현실 영상으로 합성하는 제어부; 및
상기 제어부가 합성한 증강현실 영상을 출력하는 출력부를 포함하되,
상기 제1 및 제2 카메라는 동일한 FPS(Frame per second)를 갖는 영상을 촬영하는 것을 특징으로 하는 증강현실 영상 생성장치.In the augmented reality image generating apparatus for photographing and outputting an image of an object or a target area corresponding to a welding part,
a sensor for sensing the brightness of an object or a target area;
a first camera including a filter having a first light blocking rate, and obtaining a high light blocking image by photographing an object or a target area;
a second camera including a filter having a second light blocking rate lower than the first light blocking rate, and obtaining a low light blocking image by photographing the object or target area;
The first camera and the second camera respectively adjust the exposure times of the first camera and the second camera to the target or target area based on the sensing value of the sensor, and respectively expose the first camera and the second camera to the target or target area for the adjusted time. 2 a controller for controlling the camera and synthesizing the high-light-shielding image captured by the first camera and the low-light-shielding image captured by the second camera into an augmented reality image; and
Including an output unit for outputting the augmented reality image synthesized by the control unit,
The first and second cameras are augmented reality image generating apparatus, characterized in that for shooting an image having the same FPS (Frame per second). 용접 부위에 해당되는 대상물 또는 대상 영역에 대한 영상을 촬영하여 출력하는 증강현실 영상 생성 방법에 있어서,
대상물 또는 대상 영역의 밝기를 센싱하는 센싱과정;
상기 센싱과정에서 센싱한 센싱값을 토대로, 각 카메라에 포함된 필터의 차광률을 조정하는 조정과정;
조정된 제1 차광률을 갖는 필터를 포함한 제1 카메라를 기 설정된 시간 동안 대상물 또는 대상 영역에 노출하여 고차광 영상을 획득하는 제1 노출과정;
조정된 제2 차광률을 갖는 필터를 포함한 제2 카메라를 상기 기 설정된 시간 동안 상기 대상물 또는 대상 영역에 노출하여 저차광 영상을 획득하는 제2 노출과정;
상기 제1 카메라가 제1 노출 과정을 거치며 촬영한 고차광 영상과 상기 제2 카메라가 제2 노출과정을 거치며 촬영한 저차광 영상을 증강현실 영상으로 합성하는 합성과정;
상기 합성과정에서 합성된 영상의 차광 정도가 기 설정된 범위 내인지 여부를 판단하는 판단과정; 및
상기 합성과정에서 합성된 영상을 출력하는 출력과정을 포함하되,
상기 조정 과정은 상기 합성과정에서 합성된 영상의 차광 정도가 기 설정된 범위 내가 아닌 것으로 판단된 경우, 각 카메라에 포함된 필터의 차광률을 재조정하는 것을 특징으로 하는 증강현실 영상 생성방법.In the augmented reality image generation method for photographing and outputting an image of an object or a target area corresponding to a welding site,
a sensing process of sensing the brightness of an object or a target area;
an adjustment process of adjusting a light blocking rate of a filter included in each camera based on the sensed value sensed in the sensing process;
a first exposure process of exposing a first camera including a filter having an adjusted first shading rate to an object or a target region for a preset time to obtain a high shading image;
a second exposure process of exposing a second camera including a filter having an adjusted second light blocking rate to the object or target area for the preset time to obtain a low light blocking image;
a synthesis process of synthesizing a high-light-shielding image captured by the first camera through a first exposure process and a low-shielding image captured by the second camera through a second exposure process into an augmented reality image;
a determination process of determining whether the degree of shading of the image synthesized in the synthesizing process is within a preset range; and
Including an output process of outputting the image synthesized in the synthesizing process,
In the adjusting process, when it is determined that the shading degree of the image synthesized in the synthesizing process is not within a preset range, the augmented reality image generating method, characterized in that the shading ratio of the filter included in each camera is readjusted. 제6항에 있어서,
상기 제1 카메라 및 상기 제2 카메라는,
동일한 FPS(Frame per second)를 갖는 영상을 촬영하는 것을 특징으로 하는 증강현실 영상 생성방법.7. The method of claim 6,
The first camera and the second camera,
Augmented reality image generating method, characterized in that by shooting an image having the same FPS (Frame per second). 제7항에 있어서,
상기 합성과정은,
상기 제1 카메라 및 상기 제2 카메라가 노출과정 및 상기 제2 노출과정을 거치며 촬영한 영상을 후처리 없이 바로 합성하는 것을 특징으로 하는 증강현실 영상 생성방법.8. The method of claim 7,
The synthesis process is
Augmented reality image generating method, characterized in that the image taken by the first camera and the second camera through the exposure process and the second exposure process is directly synthesized without post-processing. 삭제delete 삭제delete 용접 부위에 해당되는 대상물 또는 대상 영역에 대한 영상을 촬영하여 출력하는 증강현실 영상 생성 장치에 있어서,
대상물 또는 대상 영역의 밝기를 센싱하는 센서;
차광률의 조정이 가능한 제1 필터를 포함하며, 대상물 또는 대상 영역을 촬영하여 고차광 영상을 획득하는 제1 카메라;
차광률의 조정이 가능한 제2 필터를 포함하며, 대상물 또는 대상 영역을 촬영하여 저차광 영상을 획득하는 제2 카메라;
상기 센서의 센싱값을 토대로 상기 제1 필터 및 상기 제2 필터의 차광률을 각각 조정하고, 기 설정된 시간 동안 대상물 또는 대상 영역에 노출되도록 상기 제1 카메라 및 상기 제2 카메라를 제어하고, 상기 제1 카메라 및 상기 제2 카메라가 촬영한 고차광 영상과 저차광 영상을 합성하며, 합성된 영상의 차광 정도가 기 설정된 범위 내인지 여부를 판단하여, 합성된 영상의 차광 정도가 기 설정된 범위 내가 아닌 것으로 판단된 경우, 각 카메라에 포함된 필터의 차광률을 재조정하는 제어부; 및
상기 제어부가 합성한 영상을 출력하는 출력부를 포함하는 것을 특징으로 하는 증강현실 영상 생성장치.In the augmented reality image generating apparatus for photographing and outputting an image of an object or a target area corresponding to a welding part,
a sensor for sensing the brightness of an object or a target area;
a first camera including a first filter capable of adjusting a light-shielding rate, and obtaining a high-light-shielding image by photographing an object or a target area;
a second camera including a second filter capable of adjusting a light-shielding rate, and obtaining a low-light-shielding image by photographing an object or a target area;
Based on the sensing value of the sensor, the light blocking rate of the first filter and the second filter is adjusted, respectively, and the first camera and the second camera are controlled to be exposed to an object or a target area for a preset time, and the second camera is The high shading image and the low shading image taken by the first camera and the second camera are synthesized, and it is determined whether the shading degree of the synthesized image is within a preset range, and the shading degree of the synthesized image is not within the preset range. a control unit that readjusts the light blocking rate of the filter included in each camera when it is determined that the camera is there; and
Augmented reality image generating apparatus, characterized in that it comprises an output unit for outputting the image synthesized by the control unit. 삭제delete 제11항에 있어서,
상기 센서는,
조도 센서로 구현되어 대상물 또는 대상 영역의 밝기를 센싱하거나, 레이저 광원과 수광부로 구현되어 대상물 또는 대상 영역으로 레이저 광을 조사하고 반사된 레이저 광을 수광함으로써 대상물 또는 대상 영역의 밝기를 센싱하는 것을 특징으로 하는 증강현실 영상 생성장치.12. The method of claim 11,
The sensor is
Implemented as an illuminance sensor to sense the brightness of an object or target area, or implemented as a laser light source and light receiving unit to irradiate laser light to the object or target area and receive the reflected laser light to sense the brightness of the object or target area Augmented reality image generating device. 삭제delete 삭제delete 삭제delete 삭제delete
KR1020190145496A 2019-11-14 2019-11-14 Apparatus and Method for Creating Augmented Reality Image KR102288528B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190145496A KR102288528B1 (en) 2019-11-14 2019-11-14 Apparatus and Method for Creating Augmented Reality Image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190145496A KR102288528B1 (en) 2019-11-14 2019-11-14 Apparatus and Method for Creating Augmented Reality Image

Publications (2)

Publication Number Publication Date
KR20210058259A KR20210058259A (en) 2021-05-24
KR102288528B1 true KR102288528B1 (en) 2021-08-10

Family

ID=76152831

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190145496A KR102288528B1 (en) 2019-11-14 2019-11-14 Apparatus and Method for Creating Augmented Reality Image

Country Status (1)

Country Link
KR (1) KR102288528B1 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016224385A (en) * 2015-06-04 2016-12-28 オリンパス株式会社 Imaging device
KR101700668B1 (en) * 2016-10-25 2017-01-31 (주)제트로정보통신 Cctv apparatus

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101295714B1 (en) * 2010-06-30 2013-08-16 주식회사 팬택 Apparatus and Method for providing 3D Augmented Reality

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016224385A (en) * 2015-06-04 2016-12-28 オリンパス株式会社 Imaging device
KR101700668B1 (en) * 2016-10-25 2017-01-31 (주)제트로정보통신 Cctv apparatus

Also Published As

Publication number Publication date
KR20210058259A (en) 2021-05-24

Similar Documents

Publication Publication Date Title
KR100890949B1 (en) Electronic device and method in an electronic device for processing image data
US20200204763A1 (en) Imaging apparatus and imaging method
US9992478B2 (en) Image processing apparatus, image pickup apparatus, image processing method, and non-transitory computer-readable storage medium for synthesizing images
US10264230B2 (en) Kinetic object removal from camera preview image
US11190703B2 (en) Image-capturing apparatus, program, and electronic device that controls image sensor based on moving velocity
CN109997171B (en) Display device and recording medium storing program
KR20130017629A (en) Apparatus and method for processing image, and computer-readable storage medium
CN107872631B (en) Image shooting method and device based on double cameras and mobile terminal
WO2019056242A1 (en) Camera photographing parameter setting method for smart terminal, setting device, and smart terminal
JP2011135563A (en) Image capturing apparatus, and image processing method
KR102207633B1 (en) Image photographing apparatus and control methods thereof
JP2012124555A (en) Imaging apparatus
US20140184586A1 (en) Depth of field visualization
US20220253993A1 (en) Image processing apparatus and image processing method
KR101795600B1 (en) A digital photographing apparatus, a method for controlling the same, and a computer-readable storage medium for performing the method
CN108521862A (en) Method and apparatus for track up
KR102288528B1 (en) Apparatus and Method for Creating Augmented Reality Image
JP2010154306A (en) Device, program and method for imaging control
US10616468B2 (en) Focus detection device and focus detection method
JP2015080157A (en) Image processing device, image processing method and program
JP2019057887A (en) Imaging apparatus, imaging method, and program
JP2007318233A (en) Imaging apparatus, and image processing program
WO2020084894A1 (en) Multi-camera system, control value calculation method and control device
CN110393004B (en) Pan-tilt shooting method, pan-tilt shooting system and recording medium
US20200053278A1 (en) Techniques for improving photograph quality for common problem situations

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant