KR20220126977A - An electronic apparatus and Method for controlling electronic apparatus thereof - Google Patents

Abstract

Disclosed are an electronic apparatus and a control method thereof for projecting an image, which can improve the quality of projection images. According to the present invention, the control method of an electronic apparatus comprises: a step of projecting a test image by a light emission unit projecting an image; a step of transmitting light emission information on the test image to a camera apparatus while projecting the test image; a step of receiving a plurality of photographing images resulting from photographing an area onto which the test image is projected at a frame rate synchronized with a refresh ratio of projecting the test image from the camera apparatus based on the light emission information; a step of acquiring calibration information of a projection image which the electronic apparatus projects onto the area based on the plurality of photographing images; and a step of adjusting the projection image in accordance with the calibration information to project the projection image.

Description

전자 장치 및 이의 제어 방법{An electronic apparatus and Method for controlling electronic apparatus thereof}An electronic apparatus and method for controlling electronic apparatus thereof

본 개시는 전자 장치 및 이의 제어 방법에 관한 것으로, 보다 상세하게는 영상을 투사하기 위한 전자 장치 및 이의 제어 방법에 관한 것이다.The present disclosure relates to an electronic device and a control method thereof, and more particularly, to an electronic device for projecting an image and a control method thereof.

최근, 빛을 일 영역 상에 투사하여 투사된 영상을 시청하기 위한 프로젝터 장치가 상용화 되고 있다. Recently, a projector device for viewing a projected image by projecting light onto an area has been commercialized.

이에, 프로젝터는 투사되는 영상의 크기와 뒤틀림 등을 보정하는 과정을 거쳐야 하는데, 종래에는 프로젝터 장치를 통해 투사된 영상을 카메라 장치로 촬영하여 획득된 촬영 영상을 바탕으로 보정 정보를 획득하고, 획득된 보정 정보를 통해 투사 영상을 보정하는 보정 방법이 존재하였다. 이에, 정확한 보정 정보를 획득하기 위해 프로젝터 장치에서 투사되는 테스트 영상의 재생률(refresh rate)과 카메라 장치의 프레임 속도를 동기화시킬 필요성이 존재하였다.Accordingly, the projector has to go through a process of correcting the size and distortion of the projected image. Conventionally, the image projected through the projector device is photographed with a camera device, and correction information is obtained based on the captured image, and the obtained There is a correction method for correcting the projected image through the correction information. Accordingly, there is a need to synchronize the refresh rate of the test image projected from the projector device and the frame rate of the camera device in order to obtain accurate correction information.

본 개시는 상술한 필요성에 따라 안출된 것으로, 본 개시의 목적인 전자 장치에서 투사되는 테스트 영상의 재생률과 카메라 장치의 프레임 속도를 동기화시켜 촬영 영상을 획득하기 위한 전자 장치 및 이의 제어 방법을 제공함에 있다.The present disclosure has been made in response to the above necessity, and it is an object of the present disclosure to provide an electronic device for acquiring a captured image by synchronizing a refresh rate of a test image projected from an electronic device and a frame rate of a camera device, and a method for controlling the same .

상기 목적을 달성하기 위한 본 개시의 일 실시 예에 따른, 전자 장치는, 영상을 투사하는 발광부(light source); 통신 인터페이스; 적어도 하나의 인스트럭션을 저장하는 메모리; 및 상기 메모리에 저장된 적어도 하나의 인스트럭션을 실행하여 상기 전자 장치를 제어하는 프로세서;를 포함하고, 상기 프로세서는, 발광부에 의해 테스트 영상을 투사하고, 상기 테스트 영상을 투사하는 동안 상기 테스트 영상에 대한 발광 정보를 카메라 장치에 전송하도록 상기 통신 인터페이스를 제어하고, 상기 발광 정보를 바탕으로, 상기 테스트 영상이 투사되는 재생률(refresh ratio)과 동기화된 프레임 속도로 상기 테스트 영상이 투사된 영역을 촬영한 복수의 촬영 영상을 상기 카메라 장치로부터 수신하도록 상기 통신 인터페이스를 제어하고, 상기 복수의 촬영 영상을 바탕으로, 상기 전자 장치가 상기 영역 상에 투사하는 투사 영상의 보정(calibration) 정보를 획득하고, 상기 보정 정보에 따라 투사 영상을 조정하여 투사한다.According to an embodiment of the present disclosure for achieving the above object, an electronic device includes: a light emitting unit for projecting an image; communication interface; a memory storing at least one instruction; and a processor for controlling the electronic device by executing at least one instruction stored in the memory, wherein the processor projects a test image by means of a light emitting unit, and controls the test image while projecting the test image. Control the communication interface to transmit the light emission information to the camera device, and based on the light emission information, a plurality of images of the area on which the test image is projected at a frame rate synchronized with a refresh ratio at which the test image is projected controls the communication interface to receive the captured image of The projection image is adjusted and projected according to the information.

일 실시 예로, 상기 프로세서는, 상기 발광부의 발광 여부를 감지하고, 상기 발광부가 발광하는 것으로 감지되면, 상기 카메라 장치로 상기 발광 정보를 전송하도록 상기 통신 인터페이스를 제어하고, 상기 발광 정보에 따라 상기 재생률과 동기화된 프레임 속도로 상기 테스트 영상이 투사된 영역을 촬영한 상기 촬영 영상을 상기 카메라 장치로부터 수신하도록 상기 통신 인터페이스를 제어할 수 있다.In an embodiment, the processor detects whether the light emitting unit emits light, and when it is detected that the light emitting unit emits light, controls the communication interface to transmit the light emission information to the camera device, and the refresh rate according to the light emission information The communication interface may be controlled to receive the photographed image obtained by photographing the area on which the test image is projected at a frame rate synchronized with the camera device.

일 실시 예로, 상기 발광부는 제1 색을 발광하는 제1 발광부, 제2 색을 발광하는 제2 발광부 및 제3 색을 발광하는 제3 발광부를 포함하는 것을 특징으로 할 수 있다.In an embodiment, the light emitting unit may include a first light emitting unit emitting a first color, a second light emitting unit emitting a second color, and a third light emitting unit emitting a third color.

일 실시 예로, 상기 프로세서는, 상기 제1 발광부가 발광하는 것으로 감지되면, 상기 제1 발광부에 대한 발광 정보를 상기 카메라로 전송하도록 상기 통신 인터페이스를 제어하며, 제1 시간 간격으로 상기 제1 발광부, 상기 제2 발광부 및 상기 제3 발광부 각각을 통해 상기 테스트 영상을 투사하도록 상기 발광부를 제어하고, 상기 테스트 영상이 제1 시간 동안 제3 발광부를 통해 투사된 후 제2 시간이 경과되면, 상기 제1 시간 동안 제1 발광부를 통해 상기 테스트 영상을 투사하도록 상기 발광부를 제어하고, 상기 제1 발광부가 발광되는 시점에 상기 제1 발광부에 대한 발광 정보를 상기 카메라 장치로 전송하도록 상기 통신 인터페이스를 제어할 수 있다.In one embodiment, when it is detected that the first light-emitting unit emits light, the processor controls the communication interface to transmit light-emitting information about the first light-emitting unit to the camera, and the first light-emitting unit at a first time interval The light emitting unit is controlled to project the test image through each of the sub, the second light emitting unit and the third light emitting unit, and when the second time elapses after the test image is projected through the third light emitting unit for a first time , control the light emitting unit to project the test image through the first light emitting unit for the first time, and transmit light emission information on the first light emitting unit to the camera device when the first light emitting unit emits light You can control the interface.

일 실시 예로, 상기 프로세서는, 제1 시간 동안 상기 제1 발광부를 통해 제1 색의 테스트 영상을 투사하고, 상기 제1 발광부가 발광되는 시점에 감지된 제1 발광부에 대한 발광 정보를 상기 카메라로 전송하도록 상기 통신 인터페이스를 제어하고, 상기 제1 색의 테스트 영상이 상기 제1 시간 동안 투사된 후 제2 시간이 경과되면, 상기 제1 시간 동안 상기 제2 발광부를 통해 상기 제2 색의 테스트 영상을 투사하고, 상기 제2 발광부가 발광되는 시점에 감지된 상기 제2 발광부에 대한 발광 정보를 상기 카메라로 전송하도록 상기 통신 인터페이스를 제어하고, 상기 제2 색의 테스트 영상이 상기 제1 시간 동안 투사된 후 상기 제2 시간이 경과되면, 상기 제1 시간 동안 상기 제3 발광부를 통해 상기 제3 색의 테스트 영상을 투사하고, 상기 제3 발광부가 발광되는 시점에 감지된 상기 제3 발광부에 대한 발광 정보를 상기 카메라로 전송하도록 상기 통신 인터페이스를 제어할 수 있다.In an embodiment, the processor projects a test image of a first color through the first light emitting unit for a first time period, and transmits light emission information on the first light emitting unit sensed when the first light emitting unit emits light to the camera control the communication interface to transmit to , and when a second time elapses after the test image of the first color is projected for the first time, the second color is tested through the second light emitting unit for the first time Projecting an image, controlling the communication interface to transmit light emission information about the second light emitting unit sensed when the second light emitting unit emits light to the camera, and the test image of the second color is displayed for the first time When the second time elapses after being projected for a period of time, the test image of the third color is projected through the third light emitting unit for the first time period, and the third light emitting unit sensed when the third light emitting unit emits light The communication interface may be controlled to transmit light emission information for the camera to the camera.

일 실시 예로, 상기 제1 발광부의 발광 여부를 감지하는 제1 센서, 상기 제2 발광부의 발광 여부를 감지하는 제2 센서 및 상기 제3 발광부의 발광 여부를 감지하는 제3 센서를 포함하며, 상기 프로세서는, 제1 시간 동안 상기 제1 발광부를 통해 제1 색의 테스트 영상을 투사하고, 상기 제1 발광부가 발광되는 시점에 상기 제1 센서에 의해 감지된 제1 발광부에 대한 발광 정보를 상기 카메라로 전송하도록 상기 통신 인터페이스를 제어하고, 상기 제1 색의 텍스트 영상이 상기 제1 시간 동안 투사되면, 상기 제1 시간 동안 상기 제2 발광부를 통해 상기 제2 색의 테스트 영상을 투사하고, 상기 제2 발광부가 발광되는 시점에 상기 제2 센서에 의해 감지된 제2 발광부에 대한 발광 정보를 상기 카메라로 전송하도록 상기 통신 인터페이스를 제어하고, 상기 제2 색의 텍스트 영상이 상기 제1 시간 동안 투사되면, 상기 제1 시간 동안 상기 제3 발광부를 통해 상기 제3 색의 테스트 영상을 투사하고, 상기 제3 발광부가 발광되는 시점에 상기 제3 센서에 의해 감지된 제3 발광부에 대한 발광 정보를 상기 카메라로 전송하도록 상기 통신 인터페이스를 제어할 수 있다.In an embodiment, a first sensor for detecting whether the first light emitting part emits light, a second sensor for detecting whether the second light emitting part emits light, and a third sensor for detecting whether the third light emitting part emits light, The processor projects a test image of a first color through the first light emitting unit for a first time, and receives light emission information about the first light emitting unit sensed by the first sensor when the first light emitting unit emits light control the communication interface to transmit to a camera, and when the text image of the first color is projected for the first time, project the test image of the second color through the second light emitting unit for the first time, and The communication interface is controlled to transmit light emission information on the second light emitting unit sensed by the second sensor to the camera at the time the second light emitting unit emits light, and the text image of the second color is displayed for the first time. When projected, the test image of the third color is projected through the third light emitting unit for the first time, and light emission information on the third light emitting unit sensed by the third sensor when the third light emitting unit emits light may control the communication interface to transmit to the camera.

일 실시 예로, 상기 프로세서는, 상기 제1 시간 동안 상기 제1 발광부, 상기 제2 발광부 및 상기 제3 발광부를 통해 상기 제1 색, 상기 제2 색 및 상기 제3 색이 혼합된 제1 테스트 영상을 투사하고, 상기 제1 발광부, 상기 제2 발광부 및 상기 제3 발광부가 발광되는 시점에 감지된 발광 정보를 상기 카메라 장치로 전송하도록 상기 통신 인터페이스를 제어하고, 상기 제3 색이 혼합된 제1 테스트 영상이 상기 제1 시간 동안 투사된 후 제2 시간이 경과되면, 상기 제1 시간 동안 상기 제1 발광부, 상기 제2 발광부 및 상기 제3 발광부를 통해 상기 제3 색이 혼합된 제2 테스트 영상을 투사하고, 상기 제1 발광부, 상기 제2 발광부 및 상기 제3 발광부가 발광되는 시점에 감지된 발광 정보를 상기 카메라 장치로 전송하도록 상기 통신 인터페이스를 제어할 수 있다.In an embodiment, the processor is configured to perform a first mixing of the first color, the second color, and the third color through the first light emitting unit, the second light emitting unit, and the third light emitting unit for the first time period. Projecting a test image, controlling the communication interface to transmit light emission information sensed when the first light emitting unit, the second light emitting unit, and the third light emitting unit emit light to the camera device, When a second time elapses after the mixed first test image is projected for the first time, the third color is emitted through the first light emitting unit, the second light emitting unit and the third light emitting unit for the first time period. The communication interface may be controlled to project the mixed second test image and transmit light emission information sensed when the first light emitting unit, the second light emitting unit, and the third light emitting unit emit light to the camera device .

일 실시 예로, 상기 보정 정보는 상기 테스트 영상이 투사된 영역에 대한 표면의 왜곡에 대한 2차원 픽셀 변위 맵(displacement map) 및 상기 표면의 색상에 대한 2차원 표면 텍스쳐(surface texture) 정보를 포함할 수 있다.In one embodiment, the correction information may include a two-dimensional pixel displacement map for distortion of the surface of the area on which the test image is projected and two-dimensional surface texture information for the color of the surface. can

일 실시 예로, 상기 프로세서는 상기 2차원 픽셀 변위 맵 및 상기 2차원 표면 텍스쳐 정보를 이용하여 픽셀 세이더를 수행함으로, 보정된 투사 영상을 획득할 수 있다.In an embodiment, the processor may obtain a corrected projection image by performing a pixel shader using the 2D pixel displacement map and the 2D surface texture information.

일 실시 예로, 상기 발광부는 단일 발광부로 구현되며, 상기 프로세서는, 컬러 휠(color wheel)에 의해 제1 색의 테스트 영상, 제2 색의 테스트 영상 및 제3 색의 테스트 영상을 순차적으로 상기 영역 상에 투사할 수 있다.In an embodiment, the light emitting unit is implemented as a single light emitting unit, and the processor sequentially displays a test image of a first color, a test image of a second color, and a test image of a third color using a color wheel to the area. can be projected onto the

한편, 본 개시의 일 실시 예에 따른, 영상을 투사(project)하기 위한 전자 장치의 제어 방법은, 영상을 투사하는 발광부(light source)에 의해 테스트 영상을 투사하는 단계; 상기 테스트 영상을 투사하는 동안 상기 테스트 영상에 대한 발광 정보를 카메라 장치에 전송하는 단계; 상기 발광 정보를 바탕으로, 상기 테스트 영상이 투사되는 재생률(refresh ratio)과 동기화된 프레임 속도로 상기 테스트 영상이 투사된 영역을 촬영한 복수의 촬영 영상을 상기 카메라 장치로부터 수신하는 단계; 상기 복수의 촬영 영상을 바탕으로, 상기 전자 장치가 상기 영역 상에 투사하는 투사 영상의 보정 정보를 획득하는 단계; 및 상기 보정 정보에 따라 투사 영상을 조정하여 투사하는 단계;를 포함한다.Meanwhile, according to an embodiment of the present disclosure, a control method of an electronic device for projecting an image includes: projecting a test image by a light source for projecting an image; transmitting light emission information on the test image to a camera device while projecting the test image; receiving, from the camera device, a plurality of photographed images obtained by photographing an area on which the test image is projected at a frame rate synchronized with a refresh ratio at which the test image is projected, based on the light emission information; acquiring correction information of a projection image projected on the area by the electronic device based on the plurality of captured images; and adjusting and projecting the projected image according to the correction information.

일 실시 예로, 상기 발광 정보를 카메라 장치에 전송하는 단계는, 상기 발광부의 발광 여부를 감지하는 단계; 및 상기 발광부가 발광하는 것으로 감지되면, 상기 카메라 장치로 상기 발광 정보를 전송하는 단계;를 포함하며, 상기 수신하는 단계는, 상기 발광 정보에 따라 상기 재생률과 동기화된 프레임 속도로 상기 테스트 영상이 투사된 영역을 촬영한 상기 촬영 영상을 상기 카메라 장치로부터 수신하는 단계;를 포함할 수 있다.In an embodiment, transmitting the light emission information to the camera device may include: detecting whether the light emitting unit emits light; and transmitting the light emission information to the camera device when it is detected that the light emitting unit emits light, wherein the receiving includes projecting the test image at a frame rate synchronized with the refresh rate according to the light emission information It may include; receiving the captured image of the captured area from the camera device.

일 실시 예로, 상기 발광부는 제1 색을 발광하는 제1 발광부, 제2 색을 발광하는 제2 발광부 및 제3 색을 발광하는 제3 발광부를 포함하는 것을 특징으로 할 수 있다.In an embodiment, the light emitting unit may include a first light emitting unit emitting a first color, a second light emitting unit emitting a second color, and a third light emitting unit emitting a third color.

일 실시 예로, 상기 테스트 영상을 투사하는 단계는, 상기 제1 발광부가 발광하는 것으로 감지되면, 상기 제1 발광부에 대한 발광 정보를 상기 카메라로 전송하고, 제1 시간 간격으로 상기 제1 발광부, 상기 제2 발광부 및 상기 제3 발광부 각각을 통해 상기 테스트 영상을 투사하는 단계; 및 상기 테스트 영상이 제1 시간 동안 제3 발광부를 통해 투사된 후 제2 시간이 경과되면, 상기 제1 시간 동안 제1 발광부를 통해 상기 테스트 영상을 투사하고 상기 제1 발광부에 대한 발광 정보를 상기 카메라 장치로 전송하는 단계;를 포함할 수 있다.In one embodiment, in the projecting of the test image, when it is detected that the first light emitting unit emits light, light emission information about the first light emitting unit is transmitted to the camera, and the first light emitting unit at first time intervals , projecting the test image through each of the second light emitting unit and the third light emitting unit; and when a second time elapses after the test image is projected through the third light emitting unit for the first time, the test image is projected through the first light emitting unit for the first time, and light emission information about the first light emitting unit is displayed. It may include; transmitting to the camera device.

일 실시 예로, 상기 발광 정보를 카메라 장치에 전송하는 단계는, 제1 시간 동안 상기 제1 발광부를 통해 제1 색의 테스트 영상을 투사하고, 상기 제1 발광부가 발광되는 시점에 감지된 제1 발광부에 대한 발광 정보를 상기 카메라로 전송하는 단계; 상기 제1 색의 테스트 영상이 상기 제1 시간 동안 투사된 후 제2 시간이 경과되면, 상기 제1 시간 동안 상기 제2 발광부를 통해 상기 제2 색의 테스트 영상을 투사하고, 상기 제2 발광부가 발광되는 시점에 감지된 상기 제2 발광부에 대한 발광 정보를 상기 카메라로 전송하는 단계; 및 상기 제2 색의 테스트 영상이 상기 제1 시간 동안 투사된 후 상기 제2 시간이 경과되면, 상기 제1 시간 동안 상기 제3 발광부를 통해 상기 제3 색의 테스트 영상을 투사하고, 상기 제3 발광부가 발광되는 시점에 감지된 상기 제3 발광부에 대한 발광 정보를 상기 카메라로 전송하는 단계;를 포함할 수 있다.In an embodiment, the transmitting of the light emission information to the camera device includes projecting a test image of a first color through the first light emitting unit for a first time, and detecting the first light emission when the first light emitting unit emits light. transmitting light emission information for the unit to the camera; When a second time elapses after the test image of the first color is projected for the first time, the test image of the second color is projected through the second light emitting unit for the first time, and the second light emitting unit transmitting light emission information on the second light emitting unit sensed at the time of light emission to the camera; and when the second time elapses after the test image of the second color is projected for the first time, the test image of the third color is projected through the third light emitting unit for the first time, and the third color and transmitting light emission information on the third light emitting unit sensed when the light emitting unit emits light to the camera.

일 실시 예로, 상기 테스트 영상을 투사하는 단계는, 제1 시간 동안 상기 제1 발광부를 통해 제1 색의 테스트 영상을 투사하고, 상기 제1 발광부가 발광되는 시점에 상기 제1 발광부의 발광 여부를 감지하는 제1 센서에 의해 감지된 제1 발광부에 대한 발광 정보를 상기 카메라로 전송하는 단계; 상기 제1 색의 텍스트 영상이 상기 제1 시간 동안 투사되면, 상기 제1 시간 동안 상기 제2 발광부를 통해 상기 제2 색의 테스트 영상을 투사하고, 상기 제2 발광부가 발광되는 시점에 상기 제2 발광부의 발광 여부를 감지하는 제2 센서에 의해 감지된 제2 발광부에 대한 발광 정보를 상기 카메라로 전송하는 단계; 및 상기 제2 색의 텍스트 영상이 상기 제1 시간 동안 투사되면, 상기 제1 시간 동안 상기 제3 발광부를 통해 상기 제3 색의 테스트 영상을 투사하고, 상기 제3 발광부가 발광되는 시점에 상기 제3 발광부의 발광 여부를 감지하는 제3 센서에 의해 감지된 제3 발광부에 대한 발광 정보를 상기 카메라로 전송하는 단계;를 포함할 수 있다.In an embodiment, the projecting of the test image may include projecting a test image of a first color through the first light emitting unit for a first time, and determining whether the first light emitting unit emits light when the first light emitting unit emits light. transmitting light emission information on a first light emitting unit sensed by a first sensing sensor to the camera; When the text image of the first color is projected for the first time, the test image of the second color is projected through the second light emitting unit for the first time, and when the second light emitting unit emits light, the second transmitting light emission information on the second light emitting unit detected by a second sensor for detecting whether the light emitting unit emits light to the camera; and when the text image of the second color is projected for the first time, the test image of the third color is projected through the third light emitting unit for the first time, and when the third light emitting unit emits light, the second and transmitting, to the camera, light emission information on the third light emitting unit sensed by a third sensor that detects whether the light emitting unit emits light.

일 실시 예로, 상기 테스트 영상을 투사하는 단계는, 상기 제1 시간 동안 상기 제1 발광부, 상기 제2 발광부 및 상기 제3 발광부를 통해 상기 제1 색, 상기 제2 색 및 상기 제3 색이 혼합된 제1 테스트 영상을 투사하고, 상기 제1 발광부, 상기 제2 발광부 및 상기 제3 발광부가 발광되는 시점에 감지된 발광 정보를 상기 카메라 장치로 전송하는 단계; 및 상기 제3 색이 혼합된 제1 테스트 영상이 상기 제1 시간 동안 투사된 후 제2 시간이 경과되면, 상기 제1 시간 동안 상기 제1 발광부, 상기 제2 발광부 및 상기 제3 발광부를 통해 상기 제3 색이 혼합된 제2 테스트 영상을 투사하고, 상기 제1 발광부, 상기 제2 발광부 및 상기 제3 발광부가 발광되는 시점에 감지된 발광 정보를 상기 카메라 장치로 전송하는 단계;를 포함할 수 있다.In an embodiment, the projecting of the test image includes the first color, the second color, and the third color through the first light emitting unit, the second light emitting unit and the third light emitting unit for the first time period. projecting the mixed first test image and transmitting light emission information detected when the first light emitting unit, the second light emitting unit, and the third light emitting unit emit light to the camera device; and when a second time elapses after the first test image in which the third color is mixed is projected for the first time, the first light emitting unit, the second light emitting unit, and the third light emitting unit are configured for the first time. projecting a second test image in which the third color is mixed, and transmitting light emission information detected when the first light emitting unit, the second light emitting unit, and the third light emitting unit emit light to the camera device; may include.

일 실시 예로, 상기 보정 정보는 상기 테스트 영상이 투사된 영역에 대한 표면의 왜곡에 대한 2차원 픽셀 변위 맵(displacement map) 및 상기 표면의 색상에 대한 2차원 표면 텍스쳐(surface texture) 정보를 포함할 수 있다.In one embodiment, the correction information may include a two-dimensional pixel displacement map for distortion of the surface of the area on which the test image is projected and two-dimensional surface texture information for the color of the surface. can

일 실시 예로, 상기 투사 영상을 조정하여 투사하는 단계는, 상기 2차원 픽셀 변위 맵 및 상기 2차원 표면 텍스쳐 정보를 이용하여 픽셀 세이더를 수행함으로, 보정된 투사 영상을 획득하는 단계를 포함할 수 있다.In an embodiment, the adjusting and projecting the projection image may include obtaining a corrected projection image by performing a pixel shader using the 2D pixel displacement map and the 2D surface texture information. .

일 실시 예로, 상기 발광부는 단일 발광부로 구현되며, 상기 테스트 영상을 투사하는 단계는, 컬러 휠(color wheel)에 의해 제1 색의 테스트 영상, 제2 색의 테스트 영상 및 제3 색의 테스트 영상을 순차적으로 상기 영역 상에 투사하는 단계일 수 있다.In an embodiment, the light emitting unit is implemented as a single light emitting unit, and the projecting of the test image includes a test image of a first color, a test image of a second color, and a test image of a third color by using a color wheel. may be sequentially projecting on the area.

상술한 실시 예들을 통해, 전자 장치는 테스트 영상의 재생률(refresh rate)과 동기화된 프레임 속도로 촬영된 촬영 영상을 획득함으로, 투사 영상에 대한 품질을 향상시킬 수 있다.Through the above-described embodiments, the electronic device may improve the quality of the projected image by acquiring the captured image at a frame rate synchronized with the refresh rate of the test image.

도 1은 본 개시에 따른 전자 장치의 구성을 설명하기 위한 블록도이다.
도 2는 본 개시에 따른 전자 장치에 의해 일 영역 상에 투사된 영상을 카메라 장치가 촬영하는 과정을 설명하기 위한 도면이다.
도 3은 본 개시의 일 실시 예에 따른, 컬러 휠을 도시한 도면이다.
도 4는 본 개시에 따른 GREEN 색상, RED 색상 및 BLUE 색상의 테스트 영상이 투사되는 시점에 대응되는 셔터 속도로 테스트 영상을 촬영하는 실시 예를 설명하기 위한 도면이다.
도 5는 본 개시에 따른 GREEN 색상, RED 색상 및 BLUE 색상의 테스트 영상이 투사되는 시점에 각각에 대응되는 셔터 속도로 테스트 영상을 촬영하는 실시 예를 설명하기 위한 도면이다.
도 6은 본 개시에 따른 GREEN 색상, RED 색상 및 BLUE 색상 각각에 대응되는 센서를 이용하여 휴지기 없이 GREEN 색상, RED 색상 및 BLUE 색상의 테스트 영상을 투사하는 실시 예를 설명하기 위한 도면이다.
도 7은 GREEN 색상, RED 색상 및 BLUE 색상의 테스트 영상을 동시에 투사하며, 동시에 투사된 테스트 영상을 촬영하는 실시 예를 설명하기 위한 도면이다.
도 8은 본 개시에 따른 전자 장치 및 카메라 장치간의 동작을 설명하기 위한 시퀀스도이다.
도 9는 본 개시에 따른, 전자 장치의 제어 방법을 설명하기 위한 흐름도이다.1 is a block diagram illustrating a configuration of an electronic device according to the present disclosure.
FIG. 2 is a diagram for describing a process in which a camera device captures an image projected onto an area by an electronic device according to the present disclosure.
3 is a diagram illustrating a color wheel according to an embodiment of the present disclosure.
4 is a view for explaining an embodiment of photographing a test image at a shutter speed corresponding to a time point at which test images of green color, RED color, and BLUE color are projected according to the present disclosure.
5 is a view for explaining an embodiment of photographing a test image at a shutter speed corresponding to a time point at which test images of green color, RED color, and BLUE color are projected according to the present disclosure.
6 is a view for explaining an embodiment of projecting test images of green color, RED color, and BLUE color without a rest period by using a sensor corresponding to each of the green color, the RED color, and the BLUE color according to the present disclosure.
7 is a view for explaining an embodiment of simultaneously projecting test images of green color, RED color, and BLUE color and capturing the simultaneously projected test image.
8 is a sequence diagram illustrating an operation between an electronic device and a camera device according to the present disclosure.
9 is a flowchart illustrating a method of controlling an electronic device according to the present disclosure.

이하에서는, 첨부된 도면을 통해 본 개시를 상세히 설명한다.Hereinafter, the present disclosure will be described in detail with reference to the accompanying drawings.

도 1은 본 개시에 따른 전자 장치의 구성을 설명하기 위한 블록도이다. 도 2는 본 개시에 따른 전자 장치에 의해 투사 영역(10)상에 투사된 영상을 카메라 장치(200)가 촬영하는 과정을 설명하기 위한 도면이다.1 is a block diagram illustrating a configuration of an electronic device according to the present disclosure. FIG. 2 is a diagram for explaining a process in which the camera device 200 captures an image projected on the projection area 10 by the electronic device according to the present disclosure.

도 1을 참조하면, 전자 장치(100)는 발광부(light source)(110), 통신 인터페이스(120), 메모리(130) 및 프로세서(140)를 포함할 수 있다. 본 개시에 따른 전자 장치(100)는 발광부(110)에서 투사된 빛이 일 영역(예로, 스크린)에 투사되어 일 영역 상에 영상을 표시하기 위한 전자 장치로, 프로젝터 장치로 명칭 될 수 있다.Referring to FIG. 1 , the electronic device 100 may include a light source 110 , a communication interface 120 , a memory 130 , and a processor 140 . The electronic device 100 according to the present disclosure is an electronic device for displaying an image on one region by projecting light projected from the light emitting unit 110 onto one region (eg, a screen), and may be referred to as a projector device. .

발광부(light source)(110)는 영상을 투사하기 위한 구성이다. 구체적으로, 도 2를 참조하면, 발광부(110)는 전자 장치(100)의 정면에 위치한 투사 영역(10)에 영상에 대응되는 광을 출력할 수 있다. 본 개시에 따르면, 투사 영역(10)은 투사된 영상을 표시하기 위한 스크린으로 구현될 수 있으나, 본 개시의 투사 영역(10)은 이에 한정되지 않고, 실내의 벽면 영역, 커튼 영역 등 다양한 투사 영역일 수 있다.The light source 110 is configured to project an image. Specifically, referring to FIG. 2 , the light emitting unit 110 may output light corresponding to an image to the projection area 10 located in front of the electronic device 100 . According to the present disclosure, the projection area 10 may be implemented as a screen for displaying a projected image, but the projection area 10 of the present disclosure is not limited thereto, and various projection areas such as an indoor wall area, a curtain area, etc. can be

일 실시 예로, 발광부(110)는 렌즈와 미러를 포함할 수 있다. 발광부(110)로부터 특정 거리에 위치하는 일 영역 상에 투사되는 영상의 크기는 렌즈와 미러 사이의 거리를 바탕으로 기설정될 수 있다.In an embodiment, the light emitting unit 110 may include a lens and a mirror. The size of the image projected on an area located at a specific distance from the light emitting unit 110 may be preset based on the distance between the lens and the mirror.

일 실시 예로, 발광부(110)는 제1 색을 발광하는 제1 발광부, 제2 색을 발광하는 제2 발광부 및 제3 색을 발광하는 제3 발광부를 포함할 수 있다. 일 예로, 제1 색은 GREEN 색상이고, 제2 색은 RED 색상이며, 제3 색을 BLUE 색상일 수 있으며, 이 경우 전자 장치(100)는 RGB 프로젝터로 명칭 될 수 있다.In an embodiment, the light emitting unit 110 may include a first light emitting unit emitting a first color, a second light emitting unit emitting a second color, and a third light emitting unit emitting a third color. For example, the first color may be a green color, the second color may be a RED color, and the third color may be a BLUE color. In this case, the electronic device 100 may be referred to as an RGB projector.

일 실시 예로, 발광부(110)는 제1 발광부, 제2 발광부, 제3 발광부 및 WHITE 색상을 발광하는 제4 발광부를 더 포함할 수 있다. 이 경우 전자 장치(100)는 RGB + WHITE 프로젝터로 명칭 될 수 있다.In an embodiment, the light emitting unit 110 may further include a first light emitting unit, a second light emitting unit, a third light emitting unit, and a fourth light emitting unit emitting white color. In this case, the electronic device 100 may be referred to as an RGB + WHITE projector.

일 실시 예로, 발광부(110)는 제1 발광부, 제2 발광부, 제3 발광부 및 YELLOW 색상을 발광하는 제4 발광부를 더 포함할 수 있다. 이 경우 전자 장치(100)는 RGB + YELLOW 프로젝터로 명칭 될 수 있다.In an embodiment, the light emitting unit 110 may further include a first light emitting unit, a second light emitting unit, a third light emitting unit, and a fourth light emitting unit emitting a yellow color. In this case, the electronic device 100 may be referred to as an RGB + YELLOW projector.

상술한 실시 예에서는 발광부(110)가 단일 색상을 발광하는 복수의 발광부를 포함하는 것으로 설명하였지만, 본 개시는 이에 한정되지 않는다. 즉, 발광부(110)는 WHITE 색상을 발광하는 단일 발광부와 복수의 색상이 투사되도록 하는 컬러 휠(Color Wheel)을 통해 복수의 색상을 투사 영역(10) 상에 순차적으로 투사할 수 있다. Although it has been described in the above embodiment that the light emitting unit 110 includes a plurality of light emitting units emitting a single color, the present disclosure is not limited thereto. That is, the light emitting unit 110 may sequentially project a plurality of colors onto the projection area 10 through a single light emitting unit emitting a white color and a color wheel for projecting a plurality of colors.

도 3은 본 개시의 일 실시 예에 따른, 컬러 휠을 도시한 도면이다. 도 3의 컬러 휠이 일정 주기로 회전되면서, 전자 장치(100)는 일정 시간 간격으로 복수의 색상을 투사할 수 있다. 구체적으로, 도 3의 컬러 휠은 GREEN 색상을 투사하기 위한 제1 영역(31), RED 색상을 투사하기 위한 제2 영역(32), BLUE 색상을 투사하기 위한 제3 영역(33) 및 모든 색상(예로, WHITE 색상)을 투사하기 위한 제4 영역(34)을 포함할 수 있다. 이러한 컬러 휠이 시계 반대 방향으로 회전함으로 인해 전자 장치(100)는 단일 WHITE 광원을 이용하여 일정 시간 간격으로 GREEN, RED, BLUE 및 WHITE 색상을 순차적으로 투사할 수 있다. 도 3의 컬러 휠을 통해 GREEN, RED, BLUE 및 WHITE 색상이 순차적으로 투사될 수 있으나, 본 개시에 따른 컬러 휠은 도 3의 컬러 휠에 한정되지 않는다. 즉, 본 개시에 따른 컬러 휠은 복수의 영역으로 구분되어 복수의 색상을 순차적으로 투사하도록 구성될 수 있다.3 is a diagram illustrating a color wheel according to an embodiment of the present disclosure. As the color wheel of FIG. 3 rotates at a predetermined period, the electronic device 100 may project a plurality of colors at predetermined time intervals. Specifically, the color wheel of FIG. 3 includes a first area 31 for projecting a GREEN color, a second area 32 for projecting a RED color, a third area 33 for projecting a BLUE color, and all colors. It may include a fourth area 34 for projecting (eg, a WHITE color). As the color wheel rotates counterclockwise, the electronic device 100 may sequentially project green, red, blue, and white colors at regular time intervals using a single white light source. GREEN, RED, BLUE, and WHITE colors may be sequentially projected through the color wheel of FIG. 3 , but the color wheel according to the present disclosure is not limited to the color wheel of FIG. 3 . That is, the color wheel according to the present disclosure may be configured to sequentially project a plurality of colors by being divided into a plurality of regions.

통신 인터페이스(120)는 외부 장치와 통신을 수행하기 위한 구성이다. 구체적으로, 통신 인터페이스(120)는 무선 통신 또는 유선 통신을 통해 외부 장치와 통신을 수행할 수 있다. The communication interface 120 is a component for performing communication with an external device. Specifically, the communication interface 120 may communicate with an external device through wireless communication or wired communication.

일 실시 예로, 도 2를 참조하면, 발광부(110)의 발광이 감지되면 통신 인터페이스(120)는 발광 정보를 카메라 장치(200)로 전송할 수 있다. 카메라 장치(200)는 투사 영역(10)상에 투사된 테스트 영상을 촬영하기 위한 구성이다. 즉, 카메라 장치(200)는 수신된 발광 정보를 바탕으로, 전자 장치(100)가 투사 영역(10) 상에 투사한 테스트 영상을 촬영하여 촬영 영상을 획득할 수 있다. For example, referring to FIG. 2 , when light emission of the light emitting unit 110 is detected, the communication interface 120 may transmit light emission information to the camera device 200 . The camera device 200 is configured to photograph a test image projected on the projection area 10 . That is, the camera device 200 may acquire a captured image by photographing a test image projected by the electronic device 100 on the projection area 10 based on the received light emission information.

그리고, 통신 인터페이스(120)는 카메라 장치(200)로부터 촬영 영상을 수신할 수 있다.In addition, the communication interface 120 may receive a captured image from the camera device 200 .

일 실시 예로, 무선 통신은, LTE, LTE-A(LTE Advance), CDMA(code division multiple access), WCDMA(wideband CDMA), UMTS(universal mobile telecommunications system), WiBro(Wireless Broadband), 또는 GSM(Global System for Mobile Communications) 등 중 적어도 하나를 사용하는 셀룰러 통신을 포함할 수 있다. 일 실시예에 따르면, 무선 통신은, 예를 들면, WiFi(wireless fidelity), 블루투스, 블루투스 저전력(BLE), 지그비(Zigbee), NFC(near field communication), 자력 시큐어 트랜스미션(Magnetic Secure Transmission), 라디오 프리퀀시(RF), 또는 보디 에어리어 네트워크(BAN) 중 적어도 하나를 포함할 수 있다. 유선 통신은, 예를 들면, USB(universal serial bus), HDMI(high definition multimedia interface), RS-232(recommended standard232), 전력선 통신, 또는 POTS(plain old telephone service) 등 중 적어도 하나를 포함할 수 있다. 무선 통신 또는 유선 통신이 수행되는 네트워크는 텔레커뮤니케이션 네트워크, 예를 들면, 컴퓨터 네트워크(예: LAN 또는 WAN), 인터넷, 또는 텔레폰 네트워크 중 적어도 하나를 포함할 수 있다.In an embodiment, the wireless communication is LTE, LTE Advance (LTE-A), code division multiple access (CDMA), wideband CDMA (WCDMA), universal mobile telecommunications system (UMTS), Wireless Broadband (WiBro), or global System for Mobile Communications) may include cellular communication using at least one of. According to one embodiment, wireless communication is, for example, WiFi (wireless fidelity), Bluetooth, Bluetooth low energy (BLE), Zigbee (Zigbee), NFC (near field communication), magnetic secure transmission (Magnetic Secure Transmission), radio It may include at least one of a frequency (RF) or a body area network (BAN). Wired communication may include, for example, at least one of universal serial bus (USB), high definition multimedia interface (HDMI), recommended standard232 (RS-232), power line communication, or plain old telephone service (POTS). have. A network in which wireless communication or wired communication is performed may include at least one of a telecommunication network, for example, a computer network (eg, LAN or WAN), the Internet, or a telephone network.

메모리(130)는 전자 장치(100)의 동작에 필요한 각종 프로그램 및 데이터를 저장할 수 있다. 구체적으로, 메모리(130)에는 적어도 하나의 명령어가 저장될 수 있다. 프로세서(140)는 메모리(130)에 저장된 명령어를 실행함으로써 전자 장치(100)의 동작을 수행할 수 있다.The memory 130 may store various programs and data necessary for the operation of the electronic device 100 . Specifically, at least one instruction may be stored in the memory 130 . The processor 140 may perform the operation of the electronic device 100 by executing a command stored in the memory 130 .

메모리(130)는 비휘발성 메모리, 휘발성 메모리, 플래시메모리(flash-memory), 하드디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD) 등으로 구현될 수 있다. 메모리(130)는 프로세서(140)에 의해 액세스되며, 프로세서(140)에 의한 데이터의 독취/기록/수정/삭제/갱신 등이 수행될 수 있다. 본 개시에서 메모리라는 용어는 메모리(130), 프로세서(140) 내 롬(미도시), 램(미도시) 또는 전자 장치(100)에 장착되는 메모리 카드(미도시)(예를 들어, micro SD 카드, 메모리 스틱)를 포함할 수 있다. 또한, 메모리(130)에는 디스플레이의 디스플레이 영역에 표시될 각종 화면을 구성하기 위한 프로그램 및 데이터 등이 저장될 수 있다.The memory 130 may be implemented as a non-volatile memory, a volatile memory, a flash-memory, a hard disk drive (HDD), or a solid state drive (SSD). The memory 130 is accessed by the processor 140 , and reading/writing/modification/deletion/update of data by the processor 140 may be performed. In the present disclosure, the term "memory" refers to a memory 130, a ROM (not shown) in the processor 140, a RAM (not shown), or a memory card (not shown) mounted in the electronic device 100 (eg, micro SD). card, memory stick). In addition, programs and data for configuring various screens to be displayed in the display area of the display may be stored in the memory 130 .

프로세서(140)는 메모리(130)와 전기적으로 연결되어 전자 장치(100)의 전반적인 동작 및 기능을 제어할 수 있다. The processor 140 may be electrically connected to the memory 130 to control overall operations and functions of the electronic device 100 .

프로세서(140)는 하나 또는 복수의 프로세서로 구성될 수 있다. 이때, 하나 또는 복수의 프로세서는 CPU(Central Processing Unit), AP(application processor) 등과 같은 범용 프로세서, GPU(Graphics Processing Unit). VPU(Visual Processing Unit) 등과 같은 그래픽 전용 프로세서 또는 NPU(Neural Processing Unit) 와 같은 인공지능 전용 프로세서일 수 있다.The processor 140 may include one or a plurality of processors. In this case, the one or more processors are a general-purpose processor such as a central processing unit (CPU), an application processor (AP), and a graphics processing unit (GPU). It may be a graphics-only processor, such as a Visual Processing Unit (VPU), or an AI-only processor, such as a Neural Processing Unit (NPU).

프로세서(140)는 전자 장치(100)의 메모리에 저장된 하나 이상의 명령어를 실행시켜 전자 장치(100)에 포함된 하나 이상의 구성요소들을 제어하거나, 하드웨어적인 회로 내지는 칩으로서 하나 이상의 구성요소들을 제어하거나, 또는 소프트웨어 및 하드웨어의 결합으로서 하나 이상의 구성요소들을 제어할 수 있다.The processor 140 executes one or more instructions stored in the memory of the electronic device 100 to control one or more components included in the electronic device 100, or control one or more components as a hardware circuit or chip, Alternatively, one or more components may be controlled as a combination of software and hardware.

본 개시에 따른 전자 장치(100)는 카메라 장치(200)로 발광부(110)에 대한 발광 정보를 전송하여, 발광부(110)에서 투사된 투사 영상의 재생률(refresh rate)과 동기화된 프레임 속도로 촬영된 촬영 영상을 획득하여 투사될 영상을 보정하기 위한 보정(calibration) 기능을 수행할 수 있다. 즉, 카메라 장치(200)는 전자 장치(100)로부터 발광 정보를 수신하는 즉시 기 결정된 셔터 속도로 테스트 영상을 촬영함으로, 전자 장치(100)의 테스트 영상을 투사하는 재생률과 동기화된 프레임 속도로 복수의 촬영 영상을 획득할 수 있다.The electronic device 100 according to the present disclosure transmits light emission information on the light emitting unit 110 to the camera device 200 , and a frame rate synchronized with a refresh rate of the projected image projected from the light emitter 110 . A calibration function for correcting an image to be projected may be performed by acquiring a photographed image. That is, the camera device 200 captures a test image at a predetermined shutter speed immediately upon receiving the light emission information from the electronic device 100 , so that the plurality of test images are projected at a frame rate synchronized with the refresh rate of the electronic device 100 . of the captured image can be obtained.

본 개시에 따른 보정 기능은 도 1에 도시된 바와 같이, 테스트 영상 투사 모듈(141), 발광 정보 획득 모듈(142), 영상 보정 모듈(143) 및 영상 투사 모듈(144)을 포함할 수 있다. 일 예로, 각각의 모듈들은 메모리(130)에 저장될 수 있다. The correction function according to the present disclosure may include a test image projection module 141 , a light emission information acquisition module 142 , an image correction module 143 , and an image projection module 144 as shown in FIG. 1 . For example, each module may be stored in the memory 130 .

일 예로, 전자 장치(100)의 전원이 켜지는 경우 본 개시에 따른 보정 기능이 수행될 수 있다. 일 예로, 전자 장치(100)의 발광부(110)에 의해 투사 영상이 투사되는 경우 본 개시에 따른 보정 기능이 수행될 수 있다. 일 예로, 사용자의 보정 명령에 따라 본 개시에 따른 보정 기능이 수행될 수 있다. 일 예로, 전자 장치(100)의 전원이 켜져 있는 동안, 기 설정 간격으로 보정 기능이 수행될 수 있다. 다만, 상술한 예에 한정되지 않고, 본 개시에 따른 보정 기능은 다양한 방식으로 수행될 수 있다.For example, when the power of the electronic device 100 is turned on, the correction function according to the present disclosure may be performed. For example, when a projection image is projected by the light emitting unit 110 of the electronic device 100, the correction function according to the present disclosure may be performed. For example, the correction function according to the present disclosure may be performed according to a user's correction command. For example, while the power of the electronic device 100 is turned on, a correction function may be performed at preset intervals. However, it is not limited to the above-described example, and the correction function according to the present disclosure may be performed in various ways.

보정 기능이 실행되면, 복수의 모듈(141 내지 144)들이 프로세서(140)에 포함된 메모리(예로, 휘발성 메모리)에 로딩될 수 있다. 즉, 보정 기능이 실행되면, 프로세서(140)는 복수의 모듈(141 내지 144)들을 비휘발성 메모리에서 휘발성 메모리로 로딩하여 복수의 모듈(141 내지 144)의 각 기능들을 실행할 수 있다. 로딩(loading)이란, 프로세서(140)가 액세스할 수 있도록 비휘발성 메모리에 저장된 데이터를 휘발성 메모리에 불러들여 저장하는 동작을 의미한다.When the correction function is executed, the plurality of modules 141 to 144 may be loaded into a memory (eg, a volatile memory) included in the processor 140 . That is, when the correction function is executed, the processor 140 may load the plurality of modules 141 to 144 from the nonvolatile memory to the volatile memory to execute respective functions of the plurality of modules 141 to 144 . Loading refers to an operation of loading and storing data stored in the non-volatile memory into the volatile memory so that the processor 140 can access it.

본 개시에 따른 일 실시 예로, 도 1에 도시된 바와 같이 메모리(130)에 저장된 복수의 모듈(141 내지 144)을 통해 재번역 기능이 구현될 수 있으나, 이에 한정되지 않고 보정 기능이 외부 서버 또는 외부 장치에서 구현될 수 있다.In one embodiment according to the present disclosure, as shown in FIG. 1 , a re-translation function may be implemented through a plurality of modules 141 to 144 stored in the memory 130 , but the retranslation function is not limited thereto, and the correction function is provided by an external server or an external server. It can be implemented in the device.

본 개시에 따른 복수의 모듈(141 내지 144)은 각각의 소프트웨어로 구현될 수 있으나, 이에 한정되지 않고 일부 모듈은 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또 다른 실시 예로, 복수의 모듈(141 내지 144)은 하나의 소프트웨어로 구현될 수 있다. 또한, 일부 모듈은 전자 장치(100) 내에서 구현되고, 다른 일부 모듈은 외부 서버 또는 외부 장치에서 구현될 수 있다.The plurality of modules 141 to 144 according to the present disclosure may be implemented by respective software, but is not limited thereto, and some modules may be implemented by a combination of hardware and software. In another embodiment, the plurality of modules 141 to 144 may be implemented as one software. Also, some modules may be implemented in the electronic device 100 , and some modules may be implemented in an external server or an external device.

테스트 영상 투사 모듈(141)는 투사 영상을 보정하기 위한 테스트 영상을 투사하기 위한 구성이다. 테스트 영상은 투사 영역(10)의 표면 정보 및 색상 정보 등을 포함하는 보정 정보를 획득하기 위한 영상으로, 일 예로, 테스트 영상은 특정 패턴을 포함할 수 있다. 그리고, 프로세서(140)는 카메라 장치(200)를 통해 획득한 테스트 영상을 촬영한 촬영 영상을 바탕으로, 투사 영상을 보정할 수 있다.The test image projection module 141 is configured to project a test image for correcting the projection image. The test image is an image for obtaining correction information including surface information and color information of the projection area 10 . For example, the test image may include a specific pattern. In addition, the processor 140 may correct the projected image based on a captured image obtained by capturing a test image obtained through the camera device 200 .

테스트 영상 투사 모듈(141)은 투사 영역(10) 상에 테스트 영상을 투사할 수 있다. 일 실시 예로, 테스트 영상 투사 모듈(141)은 일정 재생률(refresh rate)에 따라 테스트 영상을 투사할 수 있다. 재생률(refresh rate)이란 1초 동안에 발광부(110)에서 투사되는 정지 이미지의 개수를 의미할 수 있다. 즉, 재생률이 50hz인 경우, 발광부(110)에서 1초당 50개의 정지 이미지를 투사할 수 있다. The test image projection module 141 may project a test image on the projection area 10 . As an embodiment, the test image projection module 141 may project the test image according to a predetermined refresh rate. The refresh rate may mean the number of still images projected from the light emitting unit 110 in one second. That is, when the refresh rate is 50hz, the light emitting unit 110 may project 50 still images per second.

일 실시 예로, 도 4, 도 5 및 도 6에서 후술하듯이, 테스트 영상 투사 모듈(141)은 일정 재생률에 따라 GREEN 색상의 테스트 영상, RED 색상의 테스트 영상 및 BLUE 색상의 테스트 영상을 순차적으로 투사할 수 있다. In an embodiment, as will be described later in FIGS. 4, 5 and 6 , the test image projection module 141 sequentially projects a green color test image, a RED color test image, and a BLUE color test image according to a predetermined refresh rate. can do.

일 실시 예로, 도 7에서 후술하듯이, 테스트 영상 투사 모듈(141)은 일 정 재생률에 따라 GREEN 색상, RED 색상 및 BLUE 색상이 혼합된 테스트 영상을 일정 재생률에 따라 투사할 수 있다. For example, as will be described later with reference to FIG. 7 , the test image projection module 141 may project a test image in which a green color, a RED color, and a BLUE color are mixed according to a predetermined refresh rate according to a predetermined refresh rate.

발광 정보 획득 모듈(142)은 발광부(110)의 발광 여부를 감지하여, 발광 정보를 획득하기 위한 구성이다. 본 개시에 따른 발광 정보는 발광부(110)에서 발광이 시작된 시점에 대한 정보일 수 있다. 즉, 발광부(110)에 의해 테스트 영상이 투사되면, 발광 정보 획득 모듈(142)은 테스트 영상이 투사되기 시작한 시점에 대한 정보를 획득할 수 있다. 일 실시 예로, 발광 정보는 발광부(110)를 통해 투사 되는 테스트 영상의 색상에 대한 정보를 더 포함할 수도 있다.The light emission information obtaining module 142 is configured to detect whether the light emitting unit 110 emits light and obtain light emission information. The light emission information according to the present disclosure may be information about a time when light emission is started by the light emitting unit 110 . That is, when the test image is projected by the light emitting unit 110 , the light emitting information acquisition module 142 may acquire information about a time when the test image starts to be projected. As an embodiment, the light emission information may further include information on the color of the test image projected through the light emitter 110 .

일 실시 예로, 발광 정보 획득 모듈(142)은 발광부(110)의 발광 여부를 감지하기 위한 센서를 이용하여 발광 정보를 획득할 수 있다. 센서는 일 예로, 포토 다이오드(photo diode)와 같이 빛 에너지를 전기 에너지로 변환하는 센서로 구현될 수 있다. 즉, 발광부(110)에 의해 테스트 영상이 투사되면, 발광 정보 획득 모듈(142)은 센서를 통해 빛 에너지 감지하여 발광 정보를 획득할 수 있다. In an embodiment, the light emission information obtaining module 142 may obtain light emission information by using a sensor for detecting whether the light emitting unit 110 emits light. The sensor may be implemented as a sensor that converts light energy into electrical energy, such as a photo diode. That is, when the test image is projected by the light emitting unit 110 , the light emission information obtaining module 142 may obtain light emission information by sensing light energy through a sensor.

일 실시 예로, 센서는 단일 센서로 구성될 수 있으나 본 개시는 이에 한정되지 않는다. 즉, 일 예로, 센서는 GREEN 계열 파장의 빛 에너지를 감지하기 위한 제1 센서, RED 계열 파장의 빛 에너지를 감지하기 위한 제2 센서 및 BLUE 계열 파장의 빛 에너지를 감지하기 위한 제3 센서를 포함할 수 있다. In an embodiment, the sensor may be configured as a single sensor, but the present disclosure is not limited thereto. That is, as an example, the sensor includes a first sensor for detecting light energy of a GREEN series wavelength, a second sensor for detecting light energy of a RED series wavelength, and a third sensor for detecting light energy of a BLUE series wavelength can do.

일 실시 예로, 전자 장치(100)가 LED 다이오드에 전압을 제어하는 칩(chip)을 포함하는 RGB LED 프로젝터 장치로 구현되는 경우, 발광 정보 획득 모듈(142)은 칩(chip)을 이용하여 전압을 감지하여 발광 정보를 획득할 수 있다. As an embodiment, when the electronic device 100 is implemented as an RGB LED projector device including a chip for controlling a voltage on an LED diode, the light emitting information obtaining module 142 uses the chip to obtain a voltage. It is possible to obtain light emission information by sensing.

일 실시 예로, 테스트 영상 투사 모듈(141)에 의해 테스트 영상이 투사되면, 발광 정보 획득 모듈(142)은 테스트 영상의 재생률에 따라 발광부(110)의 발광 여부를 감지할 수 있다. For example, when the test image is projected by the test image projecting module 141 , the luminescence information acquisition module 142 may detect whether the light emitting unit 110 emits light according to a refresh rate of the test image.

일 예로, 도 4와 같이 테스트 영상 투사 모듈(141)은 GREEN 색상, RED 색상 및 BLUE 색상의 테스트 영상을 순차적으로 투사한 후, 일정 시간(D)이 경과된 후, 다시 GREEN 색상, RED 색상 및 BLUE 색상의 테스트 영상을 순차적으로 투사할 수 있다. 즉, 포토 다이오드(photo diode)와 같은 센서를 이용하여 발광 정보를 획득하는 경우, 발광부(110)가 일정 휴지기(D)를 거쳐 포토 다이오드(photo diode)의 채도가 낮아진(desaturate) 후 다시 발광을 하여야, 발광 정보 획득 모듈(142)은 센서에 의해 발광 여부를 다시 감지할 수 있다.For example, as shown in FIG. 4 , the test image projection module 141 sequentially projects test images of green color, RED color, and BLUE color, and after a predetermined time (D) has elapsed, the green color, RED color and BLUE color test images can be projected sequentially. That is, when light emission information is obtained using a sensor such as a photo diode, the light emitting unit 110 goes through a predetermined rest period D, and the photo diode desaturates and then emits light again. , the light emission information obtaining module 142 may detect light emission again by the sensor.

도 4를 참조하면, 발광 정보 획득 모듈(142)은 발광부(110)의 발광이 시작된 시점 즉, GREEN 색상의 테스트 영상이 투사되기 시작한 시점(1, 5, 9 시점)에 대한 발광 정보를 획득할 수 있다. 그리고, 발광 정보 획득 모듈(142)은 통신 인터페이스(120)를 통해 발광 정보를 카메라 장치(200)로 전송할 수 있다. 본 개시는 도 4의 실시 예에 한정되지 않으며, 본 개시에 대한 다양한 실시 예에 대해서는 도 5 내지 도 7을 통해 후술하도록 한다.Referring to FIG. 4 , the light emission information obtaining module 142 obtains light emission information on the time when the light emission of the light emitting unit 110 starts, that is, when the test image of the green color starts to be projected (1, 5, 9 time points). can do. In addition, the light emission information obtaining module 142 may transmit light emission information to the camera device 200 through the communication interface 120 . The present disclosure is not limited to the embodiment of FIG. 4 , and various embodiments of the present disclosure will be described later with reference to FIGS. 5 to 7 .

상술한 실시 예에서는 발광 정보 획득 모듈(142)이 센서 또는 칩을 이용하여 발광 정보를 획득하는 것으로 설명하였으나, 본 개시는 이에 한정되지 않고, 발광부(110)의 발광 여부를 감지하기 위한 다양한 구성을 통해 발광 정보를 획득할 수 있다.In the above embodiment, it has been described that the light emission information obtaining module 142 obtains light emission information using a sensor or a chip, but the present disclosure is not limited thereto, and various configurations for detecting whether the light emitting unit 110 emits light. light emission information can be obtained through

영상 보정 모듈(143)은 카메라 장치(200)로부터 테스트 영상 투사 모듈(141)을 통해 투사한 테스트 영상을 촬영한 촬영 영상을 획득하여, 획득된 촬영 영상을 바탕으로 투사 영상을 보정(calibration)하기 위한 구성이다.The image correction module 143 acquires a captured image obtained by photographing a test image projected from the camera device 200 through the test image projection module 141, and calibrates the projected image based on the obtained captured image. configuration for

일 실시 예로, 영상 보정 모듈(143)은 통신 인터페이스(120)를 통해 카메라 장치(200)로부터 촬영 영상을 획득할 수 있다. 즉, 카메라 장치(200)는 전자 장치(100)로부터 수신한 발광 정보를 바탕으로, 테스트 영상을 촬영하여 촬영 영상을 획득할 수 있다. 일 예로, 도 4를 참조하면, 카메라 장치(200)가 전자 장치(100)로부터 1 시점에 대한 발광 정보를 수신하면, 기 설정된 셔터 속도에 따라 투사 영역(10) 상에 투사된 테스트 영상을 촬영할 수 있다. 일 예로, 전자 장치(100)에서 테스트 영상이 투사된 후, 카메라 장치(200)가 발광 정보를 수신하여 테스트 영상을 촬영하는 시간 사이의 딜레이(C 시간 간격)가 발생될 수 있다. 따라서, 카메라 장치(200)는 전자 장치(100)에서 테스트 영상이 투사되기 시작한 시점(1, 5, 9 시점)에서 일정 시간(C 시간)이 경과된 후에 테스트 영상을 촬영할 수 있다. As an embodiment, the image correction module 143 may acquire a captured image from the camera device 200 through the communication interface 120 . That is, the camera device 200 may acquire a captured image by photographing a test image based on the light emission information received from the electronic device 100 . As an example, referring to FIG. 4 , when the camera device 200 receives light emission information for one viewpoint from the electronic device 100 , the camera device 200 captures a test image projected on the projection area 10 according to a preset shutter speed. can For example, after the test image is projected by the electronic device 100 , a delay (interval C) between the time when the camera device 200 receives the light emission information and captures the test image may occur. Accordingly, the camera device 200 may capture the test image after a predetermined time (time C) has elapsed from the time points 1, 5, and 9 when the electronic device 100 starts projecting the test image.

그리고, 본 개시의 일 실시 예로, 기 설정된 셔터 속도는 테스트 영상 투사 모듈(141)이 투사하는 테스트 영상의 재생률에 따라 기 설정될 수 있다. And, according to an embodiment of the present disclosure, the preset shutter speed may be preset according to the refresh rate of the test image projected by the test image projection module 141 .

일 예로, 도 4와 같이, 테스트 영상 투사 모듈(141)이 GREEN 색상, RED 색상 및 BLUE 색상의 테스트 영상을 순차적으로 투사하고 일정 시간(D) 경과 후, 다시 GREEN 색상, RED 색상 및 BLUE 색상의 테스트 영상을 순차적으로 투사하는 경우, GREEN 색상, RED 색상 및 BLUE 색상의 테스트 영상이 투사되는 시점(1 시점에서 4 시점) 동안 테스트 영상을 촬영하도록 셔터 속도가 기 설정될 수 있다. For example, as shown in FIG. 4 , the test image projection module 141 sequentially projects test images of GREEN color, RED color, and BLUE color, and after a predetermined time (D) elapses, the green color, RED color, and BLUE color are displayed again. When the test images are sequentially projected, the shutter speed may be preset so that the test images are taken during the time points (views 1 to 4) at which the test images of the green color, the RED color, and the BLUE color are projected.

일 예로, 도 5와 같이, 테스트 영상 투사 모듈(141)이 GREEN 색상의 테스트 영상을 투사하고 일정 시간(D) 경과 후 RED 색상의 테스트 영상을 투사하고 일정 시간(D) 경과 후 BLUE 색상의 테스트 영상을 투사할 수 있다. 이 경우, 발광 정보 획득 모듈(142)은 통신 인터페이스(120)를 통해 GREEN 색상, RED 색상 및 BLUE 색상의 테스트 영상이 각각 투사되는 시점(1 시점, 5 시점, 9 시점)에 대한 발광 정보를 카메라 장치(200)로 전송할 수 있다. 그리고, 카메라 장치(200)는 GREEN 색상의 테스트 영상이 투사되는 시점(1 시점에서 4 시점)에 대응되는 기 설정된 셔터 속도로 테스트 영상을 촬영할 수 있다. 또한, 카메라 장치(200)는 RED 색상의 테스트 영상이 투사되는 시점(5 시점에서 8 시점)에 대응되는 기 설정된 셔터 속도로 테스트 영상을 촬영할 수 있다. 또한, 카메라 장치(200)는 BLUE 색상의 테스트 영상이 투사되는 시점(9 시점에서 12 시점)에 대응되는 기 설정된 셔터 속도로 테스트 영상을 촬영할 수 있다.For example, as shown in FIG. 5 , the test image projection module 141 projects the test image of the green color, projects the test image of the RED color after a predetermined time (D), and tests the BLUE color after the lapse of a predetermined time (D) You can project an image. In this case, the luminescence information acquisition module 142 receives the luminescence information for the time points (viewpoints 1, 5, and 9) at which the test images of the green color, the RED color, and the BLUE color are respectively projected through the communication interface 120 to the camera. may be transmitted to the device 200 . In addition, the camera device 200 may photograph the test image at a preset shutter speed corresponding to the time point at which the green color test image is projected (view 1 to view 4). Also, the camera device 200 may capture a test image at a preset shutter speed corresponding to a time point at which the RED color test image is projected (views 5 to 8). In addition, the camera device 200 may photograph the test image at a preset shutter speed corresponding to the timing at which the test image of the BLUE color is projected (viewpoints 9 to 12).

그리고, 일 실시 예로, 각각의 색상의 테스트 영상이 투사되는 시점에 대응되는 기 설정된 셔터 속도는 각각의 색상 별로 상이할 수 있다. 즉, 일 예로, GREEN 색상에 대응되는 기 설정된 셔터 속도는 다른 색상의 기 설정된 셔터 속도보다 상대적으로 짧도록 기 설정되며, BLUE 색상에 대응되는 기 설정된 셔터 속도는 다른 색상의 기 설정된 셔터 속도보다 상대적으로 길도록 기 설정될 수 있다. 즉, GREEN, RED 및 BLUE 계열의 파장 분포가 상이 함에 따라, GREEN, RED 및 BLUE 계열의 테스트 영상이 투사될 때의 전력 스펙트럼 분포 또한 상이하게 된다. 즉, 파장 대 별로 양자 효율(quantum efficiency)이 상이한 점을 고려하여 본 개시는 GREEN, RED, BLUE 계열의 테스트 영상을 촬영하는 셔터 속도를 기 설정할 수 있다. 양자 효율이란 광자(photon)가 다른 에너지의 광자로 변환되는 비율로, 빛이 발광될 때, 여기(excitation) 에너지가 발광 에너지로 변환되는 비율을 의미할 수 있다. 일 예로, GREEN 계열의 파장 대에서 양자 효율이 상대적으로 높음에 따라 GREEN 색상에 대응되는 기 설정된 셔터 속도가 다른 색상의 기 설정된 셔터 속도보다 상대적으로 짧도록 기 설정될 수 있다. And, as an embodiment, a preset shutter speed corresponding to a time point at which a test image of each color is projected may be different for each color. That is, for example, the preset shutter speed corresponding to the green color is preset to be relatively shorter than the preset shutter speed of the other color, and the preset shutter speed corresponding to the BLUE color is relative to the preset shutter speed of the other color. It may be preset to be long. That is, as the wavelength distributions of the GREEN, RED, and BLUE series are different, the power spectrum distribution when the GREEN, RED, and BLUE series test images are projected is also different. That is, in consideration of the fact that quantum efficiency is different for each wavelength band, the present disclosure may preset a shutter speed for capturing GREEN, RED, and BLUE series test images. Quantum efficiency refers to a rate at which photons are converted into photons of different energy, and may mean a rate at which excitation energy is converted into light emission energy when light is emitted. For example, since quantum efficiency is relatively high in the wavelength band of the GREEN series, the preset shutter speed corresponding to the green color may be preset to be relatively shorter than the preset shutter speed of the other color.

카메라 장치(200)가 기 설정된 셔터 속도 및 발광 정보에 따라 테스트 영상을 촬영하여 촬영 영상을 획득하면, 영상 보정 모듈(143)은 통신 인터페이스(120)를 통해 촬영 영상을 수신하고, 촬영 영상을 통해 투사 영상을 보정(calibration)하기 위한 보정 정보를 획득할 수 있다.When the camera device 200 acquires a captured image by capturing a test image according to the preset shutter speed and light emission information, the image correction module 143 receives the captured image through the communication interface 120, and through the captured image Correction information for calibrating the projection image may be obtained.

일 실시 예로, 보정 정보는 테스트 영상이 투사된 투사 영역(10)에 대한 표면의 왜곡에 대한 2차원 픽셀 변위 맵(displacement map) 및 투사 영역(10) 표면의 색상에 대한 2차원 표면 텍스쳐(surface texture) 정보를 포함할 수 있다. 일 예로, 테스트 영상에는 특정 패턴을 포함할 수 있으며, 특정 패턴이 일 영역 상에 투사된 형태를 촬영한 촬영 영상을 통해 일 영역의 표면의 왜곡에 대한 2차원 픽셀 변위 맵(displacement map)을 획득할 수 있다. 그리고, 일 예로, 도 4와 같이 GREEN 색상, RED 색상 및 BLUE 색상의 테스트 영상이 투사되는 기간의 셔터 속도로 촬영하여 획득된 WHITE 색상의 촬영 영상을 통해, 투사 영역(10) 표면의 색상에 대한 2차원 표면 텍스쳐(surface texture) 정보를 획득할 수 있다. 2차원 픽셀 변위 맵 및 2차원 표면 텍스쳐를 이용하여 투사 영상을 보정하는 방법은 종래 공지된 기술인 바, 상세한 설명은 생략하도록 한다.In an embodiment, the correction information includes a two-dimensional pixel displacement map for distortion of the surface of the projection region 10 onto which the test image is projected, and a two-dimensional surface texture for the color of the surface of the projection region 10 . texture) information. For example, the test image may include a specific pattern, and a two-dimensional pixel displacement map for the distortion of the surface of one region is obtained through a captured image in which the specific pattern is projected onto one region. can do. And, as an example, as shown in FIG. 4 , through the white color photographed image obtained by photographing at the shutter speed of the period during which the green color, RED color, and BLUE color test images are projected, the color of the surface of the projection area 10 is Two-dimensional surface texture information may be obtained. A method of correcting a projected image using a two-dimensional pixel displacement map and a two-dimensional surface texture is a conventionally known technique, and thus a detailed description thereof will be omitted.

그리고, 영상 보정 모듈(143)은 보정 정보에 따라 투사 영역(10) 상에 투사될 투사 영상을 보정할 수 있다. 일 실시 예로, 2차원 픽셀 변위 맵 및 2차원 표면 텍스쳐를 바탕으로 픽셀 각각의 색상 및 기타 속성을 계산하여 투사 영상을 렌더링하는 픽셀 세이더(pixel shader) 기법을 수행하여 렌더링된 투사 영상을 획득할 수 있다. In addition, the image correction module 143 may correct the projection image to be projected on the projection area 10 according to the correction information. In one embodiment, a rendered projection image can be obtained by performing a pixel shader technique that renders a projection image by calculating the color and other properties of each pixel based on the 2D pixel displacement map and the 2D surface texture. have.

영상 투사 모듈(144)은 보정 정보에 따라 렌더링된 투사 영상을 투사 영역(10) 상에 투사하기 위한 구성이다. 구체적으로, 영상 보정 모듈(143)에 의해 렌더링된 투사 영상이 획득되면, 영상 투사 모듈(144)은 렌더링된 투사 영상을 투사하도록 발광부(110)를 제어할 수 있다. 즉, 영상 보정 모듈(143)은 카메라 장치(200)를 통해 획득한 보정 정보를 통해 투사 영상이 투사될 투사 영역(10) 표면의 왜곡 및 색상을 반영하여 투사 영상을 렌더링 하고, 영상 투사 모듈(144)은 렌더링된 투사 영상을 투사하도록 발광부(110)를 제어할 수 있다.The image projection module 144 is configured to project a projection image rendered according to the correction information onto the projection area 10 . Specifically, when the projection image rendered by the image correction module 143 is obtained, the image projection module 144 may control the light emitting unit 110 to project the rendered projection image. That is, the image correction module 143 renders the projection image by reflecting the distortion and color of the surface of the projection area 10 on which the projection image is to be projected through the correction information obtained through the camera device 200, and the image projection module ( 144 may control the light emitting unit 110 to project the rendered projection image.

상술한 실시 예들을 통해, 본 개시는 공간 필터(spatial filter)를 이용하지 않고도 렌더링된 투사 영상을 획득할 수 있다. 즉, 종래에는 투사 영상에서 발생될 수 있는 투사 영상의 외곽 부분이 어두워지는 vignette effect를 감소시키기 위해 공간 필터(spatial filter)를 이용하여야 하였으나, 본 개시에 따른 전자 장치(100)는 상술한 실시 예들을 통해 공간 필터(spatial filter)를 이용하지 않고도 투사 영상에서 발생될 수 있는 vignette effect를 감소시킬 수 있다.Through the above-described embodiments, the present disclosure may acquire a rendered projection image without using a spatial filter. That is, conventionally, a spatial filter has to be used in order to reduce the vignette effect of darkening the outer portion of the projection image that may be generated in the projection image, but the electronic device 100 according to the present disclosure is It is possible to reduce the vignette effect that may be generated in the projected image without using a spatial filter.

상술한 실시 예들을 통해, 전자 장치는 테스트 영상의 재생률(refresh rate)과 동기화된 프레임 속도로 촬영된 촬영 영상을 바탕으로 보정 정보를 획득하여 투사 영상에 대한 품질을 향상시킬 수 있다.Through the above-described embodiments, the electronic device may improve the quality of the projected image by acquiring correction information based on a captured image captured at a frame rate synchronized with a refresh rate of the test image.

도 4는 본 개시에 따른 GREEN 색상, RED 색상 및 BLUE 색상의 테스트 영상이 투사되는 시점에 대응되는 셔터 속도로 테스트 영상을 촬영하는 실시 예를 설명하기 위한 도면이다.4 is a view for explaining an embodiment of photographing a test image at a shutter speed corresponding to a time point at which test images of green color, RED color, and BLUE color are projected according to the present disclosure.

구체적으로, 도 4와 같이, 전자 장치(100)는 GREEN 색상, RED 색상 및 BLUE 색상의 테스트 영상을 순차적으로 투사한 후, 일정 휴지기(D) 이후, 다시 GREEN 색상, RED 색상 및 BLUE 색상의 테스트 영상을 순차적으로 투사할 수 있다. 즉, 전자 장치(100)는 도 4와 같이 GREEN 색상, RED 색상 및 BLUE 색상의 테스트 영상을 1시점 간격 동안 투사하는 재생률로 테스트 영상을 투사할 수 있다.Specifically, as shown in FIG. 4 , the electronic device 100 sequentially projects the test images of the green color, the RED color, and the BLUE color, and after a period of rest (D), the test image of the green color, the RED color, and the BLUE color is performed again. Images can be projected sequentially. That is, as shown in FIG. 4 , the electronic device 100 may project the test image at a refresh rate at which the test images of the green color, the RED color, and the BLUE color are projected during one view interval.

일 예로, 전자 장치(100)의 테스트 영상을 투사하는 재생률이 50hz인 경우, 1시점 간격은 1/50초를 의미할 수 있다. 다만, 이에 한정되지 않으며, GREEN 색상, RED 색상 및 BLUE 색상의 테스트 영상이 투사되는 3 시점 간격을 하나의 정지 영상으로 보는 경우, 전자 장치(100)의 테스트 영상을 투사하는 재생률이 50hz인 경우 휴지기 까지 고려하여, 1시점 간격은 1/200초를 의미할 수 있다.For example, when the refresh rate for projecting the test image of the electronic device 100 is 50 hz, the one-view interval may mean 1/50 second. However, the present invention is not limited thereto, and when the three viewpoint intervals at which the test images of the green color, the RED color, and the BLUE color are projected are viewed as one still image, the refresh rate at which the test image of the electronic device 100 is projected is 50hz. Considering up to, one time interval may mean 1/200 second.

구체적으로, 전자 장치(100)가 포토 다이오드(photo diode)와 같은 센서를 이용하여 발광 정보를 획득하는 경우의 실시 예에서, 전자 장치(100)가 하나의 센서를 이용하는 경우에는 테스트 영상 투사 이후 휴지기(D)를 거쳐 포토 다이오드(photo diode)의 채도가 낮아진(desaturate) 후 다시 테스트 영상을 투사 하여야, 전자 장치(100)는 센서에 의해 발광 여부를 다시 감지할 수 있다. 즉, 도 4를 참조하면, 0시점부터 1시점까지의 휴지기(D)이후, 1시점에서 GREEN 색상의 투사 영상이 투사되면, 전자 장치(100)는 1시점에 대한 발광 정보를 획득할 수 있다. 그리고, 전자 장치(100)는 1시점에서 발광 정보를 카메라 장치(200)로 전송하고, C 기간 간격의 딜레이 이후, 카메라 장치(200)가 발광 정보를 수신하면, 카메라 장치(200)는 B 기간에 대응되는 셔터 속도로 테스트 영상을 촬영하여 촬영 영상을 획득할 수 있다. 즉, 1시점에서 2시점 동안 GREEN 색상의 투사 영상이 투사된 후 2 시점에서 3시점 동안 GREEN 색상의 투사 영상이 바로 투사된 경우, 계속하여 테스트 영상이 투사되므로 포토 다이오드(photo diode)와 같은 센서는 2시점에서 발광 정보를 획득하지 않을 수 있다. Specifically, in an embodiment in which the electronic device 100 acquires light emission information using a sensor such as a photo diode, when the electronic device 100 uses one sensor, there is a rest period after projecting the test image. After the photo diode is desaturated through (D), the test image must be projected again, so that the electronic device 100 can detect light emission again by the sensor. That is, referring to FIG. 4 , after the rest period (D) from time 0 to time 1, when a projection image of green color is projected at time 1, the electronic device 100 may obtain light emission information for time 1 . Then, the electronic device 100 transmits the light emission information to the camera device 200 at one point in time, and after a delay of the interval C, when the camera device 200 receives the light emission information, the camera device 200 performs the light emission information in the B period. A photographed image may be acquired by photographing a test image at a shutter speed corresponding to . That is, if the green color projection image is projected for 1 to 2 time points and then the green color projection image is projected immediately for 2 to 3 time points, the test image is continuously projected, so a sensor such as a photo diode may not acquire light emission information at the 2 point in time.

그리고, 3시점에서 4시점 동안 BLUE 색상의 테스트 영상이 투사된 후 일정 휴지기(D)이후, 다시 GREEN 색상 의 테스트 영상이 투사되면, 전자 장치(100)는 5시점에 대한 발광 정보를 획득하고, 카메라 장치(200)로 발광 정보를 전송할 수 있다. 그리고, 카메라 장치(200)는 5시점으로부터 C기간의 딜레이 이후, B 기간에 대응되는 셔터 속도로 테스트 영상을 촬영하여 촬영 영상을 획득할 수 있다. And, after a test image of BLUE color is projected for a period of time 3 to 4, and after a certain rest period (D), when a test image of a green color is projected again, the electronic device 100 acquires luminescence information for the time 5, Light emission information may be transmitted to the camera device 200 . In addition, the camera device 200 may acquire a photographed image by photographing a test image at a shutter speed corresponding to period B after the delay of period C from the time point 5 .

따라서, 도 4와 같은 실시 예에서는 카메라 장치(200)는 GREEN 색상, RED 색상 및 BLUE 색상의 테스트 영상이 투사되는 기간(1시점에서 4시점, 5시점에서 8시점, 9시점에서 12시점) 동안 테스트 영상을 촬영하도록 셔터 속도(B)가 기 설정될 수 있다. Accordingly, in the embodiment shown in FIG. 4 , the camera device 200 is configured to project the test images of the green color, the RED color, and the BLUE color during the period (1 to 4, 5 to 8, 9 to 12). A shutter speed B may be preset to capture a test image.

도 5는 본 개시에 따른 GREEN 색상, RED 색상 및 BLUE 색상의 테스트 영상이 투사되는 시점에 각각에 대응되는 셔터 속도로 테스트 영상을 촬영하는 실시 예를 설명하기 위한 도면이다.5 is a view for explaining an embodiment of photographing a test image at a shutter speed corresponding to a time point at which test images of green color, RED color, and BLUE color are projected according to the present disclosure.

도 4의 실시 예와 달리, 전자 장치(100)는 GREEN 색상, RED 색상 및 BLUE 색상의 테스트 영상이 각각 투사되는 기간 사이에 휴지기(D)를 두어, GREEN 색상, RED 색상 및 BLUE 색상의 테스트 영상 각각을 촬영하도록 카메라 장치(200)로 발광 정보를 전송할 수 있다. 즉, 전자 장치(100)는 도 5와 같이 GREEN 색상, RED 색상 및 BLUE 색상의 테스트 영상을 3시점 간격 동안 투사하며, 1시점 간격의 휴지기를 포함하는 재생률로 테스트 영상을 투사할 수 있다.Unlike the embodiment of FIG. 4 , the electronic device 100 puts a rest period D between the periods during which the test images of the green color, the RED color, and the BLUE color are projected, respectively, so that the test images of the green color, the RED color, and the BLUE color are projected. Light emission information may be transmitted to the camera device 200 to photograph each. That is, as shown in FIG. 5 , the electronic device 100 may project the test images of the green color, the RED color, and the BLUE color for a three-view interval, and may project the test image at a refresh rate including the pause period of the 1-view interval.

구체적으로, 도 5를 참조하면, 전자 장치(100)는 1시점에서 4시점 동안 GREEN 색상의 테스트 영상을 투사할 수 있다. 그리고, 전자 장치(100)는 1시점에 대한 발광 정보를 획득하고, 1시점에서 카메라 장치(200)로 발광 정보를 전송할 수 있다. 그리고, E 기간 간격의 딜레이 이후, 카메라 장치(200)가 발광 정보를 수신하면, 카메라 장치(200)는 A 기간의 셔터 속도로 GREEN 색상의 테스트 영상 촬영하여 촬영 영상을 획득할 수 있다.Specifically, referring to FIG. 5 , the electronic device 100 may project a test image of a green color from one to four views. In addition, the electronic device 100 may acquire light emission information for one time point, and transmit the light emission information to the camera device 200 at the first time point. And, after the delay of period E, when the camera device 200 receives the light emission information, the camera device 200 may acquire a photographed image by photographing a test image of green color at the shutter speed of period A.

그리고, 전자 장치(100)는 4시점에서 5시점 동안의 휴지기(D) 이후, 전자 장치(100)는 5시점에서 8시점 동안 RED 색상의 테스트 영상을 투사할 수 있다. 그리고, 전자 장치(100)는 5시점에 대한 발광 정보를 획득하고, 5시점에서 카메라 장치(200)로 발광 정보를 전송할 수 있다. 그리고, E 기간 간격의 딜레이 이후, 카메라 장치(200)가 발광 정보를 수신하면, 카메라 장치(200)는 B 기간의 셔터 속도로 RED 색상의 테스트 영상 촬영하여 촬영 영상을 획득할 수 있다.Then, after the rest period D for the 4 to 5 time points, the electronic device 100 may project the test image of the RED color for the 5 to 8 time points. In addition, the electronic device 100 may obtain light emission information for the 5 viewpoints and transmit the emission information to the camera device 200 at the 5 viewpoints. And, after the delay of the period E, when the camera device 200 receives the light emission information, the camera device 200 may acquire a photographed image by photographing a test image of the RED color at the shutter speed of the period B.

그리고, 전자 장치(100)는 8시점에서 9시점 동안의 휴지기(D) 이후, 전자 장치(100)는 9시점에서 12시점 동안 BLUE 색상의 테스트 영상을 투사할 수 있다. 그리고, 전자 장치(100)는 9시점에 대한 발광 정보를 획득하고, 9시점에서 카메라 장치(200)로 발광 정보를 전송할 수 있다. 그리고, E 기간 간격의 딜레이 이후, 카메라 장치(200)가 발광 정보를 수신하면, 카메라 장치(200)는 C 기간의 셔터 속도로 BLUE 색상의 테스트 영상 촬영하여 촬영 영상을 획득할 수 있다.In addition, after the idle period D from 8 to 9, the electronic device 100 may project a test image of the BLUE color from 9 to 12. Then, the electronic device 100 may acquire light emission information for the ninth time point and transmit the light emission information to the camera device 200 at the ninth time point. And, after the delay of period E, when the camera device 200 receives the light emission information, the camera device 200 may acquire a photographed image by photographing a test image of the BLUE color at the shutter speed of period C.

즉, 도 5와 같이 GREEN 색상, RED 색상 및 BLUE 색상의 테스트 영상이 투사되는 기간 사이에 휴지기(D)가 있는 경우, 포토 다이오드(photo diode)가 휴지기(D) 동안 채도가 낮아지게(desaturate) 되며, 휴지기 이후 테스트 영상이 투사되면, 전자 장치(100)는 포토 다이오드에 의해 발광 정보를 획득할 수 있다. That is, when there is a rest period (D) between the periods during which the test images of green color, RED color, and BLUE color are projected as shown in FIG. 5, the photo diode is desaturated during the rest period (D). When the test image is projected after the rest period, the electronic device 100 may acquire light emission information by means of a photodiode.

그리고, 일 실시 예로, 전자 장치(100)가 투사하는 테스트 영상의 색상에 따라 카메라 장치(200)의 셔터 속도가 상이하게 기결정될 수 있다. 일 예로, GREEN 색상에 대한 발광 정보에 따라 촬영되는 촬영 영상의 기 설정된 셔터 속도(A)는 다른 색상에 대한 발광 정보에 따라 촬영되는 촬영 영상의 기 설정된 셔터 속도(B, C)보다 상대적으로 짧도록 기 설정되며, BLUE 색상에 대한 발광 정보에 따라 촬영되는 촬영 영상의 기 설정된 셔터 속도(C)는 다른 색상에 대한 발광 정보에 따라 촬영되는 촬영 영상의 기 설정된 셔터 속도(A, B)보다 상대적으로 길도록 기 설정될 수 있다.And, according to an embodiment, the shutter speed of the camera device 200 may be differently predetermined according to the color of the test image projected by the electronic device 100 . For example, a preset shutter speed (A) of a photographed image photographed according to emission information for a green color is relatively shorter than a preset shutter speed (B, C) of a photographed image photographed according to emission information for another color and the preset shutter speed (C) of the photographed image taken according to the luminescence information for the BLUE color is relative to the preset shutter speed (A, B) of the photographed image photographed according to the luminescence information for the other color. It may be preset to be long.

도 6은 본 개시에 따른 GREEN 색상, RED 색상 및 BLUE 색상 각각에 대응되는 센서를 이용하여 휴지기 없이 GREEN 색상, RED 색상 및 BLUE 색상의 테스트 영상을 투사하는 실시 예를 설명하기 위한 도면이다. 즉, 전자 장치(100)는 도 6과 같이 휴지기 없이 GREEN 색상, RED 색상 및 BLUE 색상의 테스트 영상을 3시점 간격 동안 각각 투사하는 재생률로 테스트 영상을 투사할 수 있다.6 is a view for explaining an embodiment of projecting test images of green color, RED color, and BLUE color without a rest period by using a sensor corresponding to each of the green color, the RED color, and the BLUE color according to the present disclosure. That is, as shown in FIG. 6 , the electronic device 100 may project the test image at a refresh rate at which the test images of the green color, the RED color, and the BLUE color are respectively projected during a three-view interval without a pause.

도 4 및 도 5에서는 단일 포토 다이오드를 이용하여 발광 정보를 획득하는 실시 예이나, 본 개시는 이에 한정되지 않는다. 즉, 본 개시는 GREEN 색상, RED 색상 및 BLUE 색상 각각의 발광 여부를 감지하기 위한 3개의 센서를 이용할 수 있다. 즉, 전자 장치(100)의 발광부(110)가 GREEN 색상을 발광하는 제1 발광부, RED 색상을 발광하는 제2 발광부 및 BLUE 색상을 발광하는 제3 발광부로 구현되는 경우, 전자 장치(100)는 제1 발광부의 발광 여부를 감지하는 제1 센서, 제2 발광부의 발광 여부를 감지하는 제2 센서 및 제3 발광부의 발광 여부를 감지하는 제3 센서를 포함할 수 있다. 4 and 5 show an embodiment in which light emission information is obtained using a single photodiode, but the present disclosure is not limited thereto. That is, the present disclosure may use three sensors for detecting whether each of the green color, the RED color, and the BLUE color emits light. That is, when the light emitting unit 110 of the electronic device 100 is implemented as a first light emitting unit emitting a green color, a second light emitting unit emitting a RED color, and a third light emitting unit emitting a BLUE color, the electronic device ( 100) may include a first sensor for detecting whether the first light emitting unit emits light, a second sensor for detecting whether the second light emitting unit emits light, and a third sensor for detecting whether the third light emitting unit emits light.

그리고, 도 6과 같이, 1시점에 GREEN 색상의 테스트 영상이 투사되면, 전자 장치(100)는 제1 센서를 통해 발광 여부를 감지하여 발광 정보를 획득하고, 1시점에 발광 정보를 카메라 장치(200)로 전송할 수 있다. 그리고, 1시점으로부터 E 기간 간격의 딜레이 이후, 카메라 장치(200)가 발광 정보를 수신하면, 카메라 장치(200)는 B 기간의 셔터 속도로 GREEN 색상의 테스트 영상을 촬영하여 촬영 영상을 획득할 수 있다.And, as shown in FIG. 6 , when a test image of green color is projected at one point in time, the electronic device 100 detects whether light is emitted through the first sensor to obtain light emission information, and transmits light emission information to the camera device ( 200) can be transmitted. And, after the delay of period E from time 1, when the camera device 200 receives the luminescence information, the camera device 200 captures a test image of green color at the shutter speed of period B to obtain a photographed image. have.

그리고, 1 시점에서 4시점 동안 GREEN 색상의 테스트 영상이 투사된 후, 전자 장치(100)는 4시점에서 7시점 동안 RED 색상의 테스트 영상을 투사할 수 있다. 4시점에 RED 색상의 테스트 영상이 투사되면, 전자 장치(100)는 제2 센서를 통해 발광 여부를 감지하여 발광 정보를 획득하고, 4시점에 발광 정보를 카메라 장치(200)로 전송할 수 있다. 그리고, 4시점으로부터 E 기간 간격의 딜레이 이후, 카메라 장치(200)가 발광 정보를 수신하면, 카메라 장치(200)는 C 기간의 셔터 속도로 RED 색상의 테스트 영상을 촬영하여 촬영 영상을 획득할 수 있다.Then, after the green color test image is projected from 1 to 4 views, the electronic device 100 may project the RED test image from 4 to 7 views. When the test image of the RED color is projected at the fourth time point, the electronic device 100 may detect whether light is emitted through the second sensor to obtain light emission information, and transmit the light emission information to the camera device 200 at the fourth time point. And, after the delay of period E from the time point 4, when the camera device 200 receives the light emission information, the camera device 200 acquires a photographed image by shooting a test image of the RED color at the shutter speed of the period C. have.

그리고, 4시점에서 7시점 동안 RED 색상의 테스트 영상이 투사된 후, 전자 장치(100)는 7시점에서 10시점 동안 BLUE 색상의 테스트 영상을 투사할 수 있다. 7시점에 BLUE 색상의 테스트 영상이 투사되면, 전자 장치(100)는 제3 센서를 통해 발광 여부를 감지하여 발광 정보를 획득하고, 7시점에 발광 정보를 카메라 장치(200)로 전송할 수 있다. 그리고, 7시점으로부터 E 기간 간격의 딜레이 이후, 카메라 장치(200)가 발광 정보를 수신하면, 카메라 장치(200)는 D 기간의 서터 속도로 BLUE 색상의 테스트 영상을 촬영하여 촬영 영상을 획득할 수 있다.Then, after the test image of the RED color is projected from the 4th to the 7th time, the electronic device 100 may project the BLUE color test image from the 7th to the 10th time. When the test image of the BLUE color is projected at the seventh time point, the electronic device 100 may detect whether light is emitted through the third sensor to obtain light emission information, and transmit the light emission information to the camera device 200 at the seventh time point. And, after the delay of the interval E from the time point 7, when the camera device 200 receives the light emission information, the camera device 200 captures a test image of the BLUE color at the sutter speed of the D period to obtain a photographed image. have.

그리고, 일 실시 예로, 전자 장치(100)가 투사하는 테스트 영상의 색상에 따라 카메라 장치(200)의 셔터 속도가 상이하게 기결정될 수 있다. 일 예로, GREEN 색상에 대한 발광 정보에 따라 촬영되는 촬영 영상의 기 설정된 셔터 속도(B)는 다른 색상에 대한 발광 정보에 따라 촬영되는 촬영 영상의 기 설정된 셔터 속도(C, D)보다 상대적으로 짧도록 기 설정되며, BLUE 색상에 대한 발광 정보에 따라 촬영되는 촬영 영상의 기 설정된 셔터 속도(D)는 다른 색상에 대한 발광 정보에 따라 촬영되는 촬영 영상의 기 설정된 셔터 속도(B, C)보다 상대적으로 길도록 기 설정될 수 있다.And, according to an embodiment, the shutter speed of the camera device 200 may be differently predetermined according to the color of the test image projected by the electronic device 100 . For example, a preset shutter speed (B) of a photographed image photographed according to emission information for a green color is relatively shorter than a preset shutter speed (C, D) of a photographed image photographed according to emission information for another color and the preset shutter speed (D) of the photographed image photographed according to the emission information for the BLUE color is relative to the preset shutter speed (B, C) of the photographed image photographed according to the emission information for the other color. It may be preset to be long.

그리고, 상술한 실시 예에서는 포토 다이오드로 구현된 제1 센서, 제2 센서 및 제3 센서를 이용하여 발광 정보를 획득하는 것으로 설명하였으나, 본 개시는 이에 한정되지 않는다. 즉, 전자 장치(100)가 LED 다이오드에 전압을 제어하는 칩(chip)을 포함하는 RGB LED 프로젝터 장치로 구현되는 경우, 전자 장치(100)는 칩(chip)을 이용하여 전압을 감지하여 발광 정보를 획득할 수 있다. In addition, in the above-described embodiment, it has been described that the light emission information is obtained using the first sensor, the second sensor, and the third sensor implemented as a photodiode, but the present disclosure is not limited thereto. That is, when the electronic device 100 is implemented as an RGB LED projector device including a chip for controlling a voltage on an LED diode, the electronic device 100 detects the voltage using the chip to detect light emission information. can be obtained.

도 7은 GREEN 색상, RED 색상 및 BLUE 색상의 테스트 영상을 동시에 투사하며, 동시에 투사된 테스트 영상을 촬영하는 실시 예를 설명하기 위한 도면이다.7 is a view for explaining an embodiment of simultaneously projecting test images of green color, RED color, and BLUE color and capturing the simultaneously projected test image.

일 실시 예로, 색상 표현이 핵심 요소가 아닌 실시 예의 경우, 전자 장치(100)는 GREEN 색상, RED 색상 및 BLUE 색상의 테스트 영상을 동시에 투사할 수 있다. For example, in an embodiment in which color expression is not a key factor, the electronic device 100 may simultaneously project test images of green color, RED color, and BLUE color.

구체적으로, 도 7을 참조하면, 전자 장치(100)는 0에서 1시점 동안의 휴지기(B) 이후, 1시점에서 4시점 동안 GREEN 색상, RED 색상 및 BLUE 색상의 제1 테스트 영상을 동시에 투사할 수 있다. 그리고, 전자 장치(100)는 1시점에서 발광 정보를 획득하여 카메라 장치(200)로 발광 정보를 전송할 수 있다. 그리고, C 기간 간격의 딜레이 이후, 카메라 장치(200)가 발광 정보를 수신하면, 카메라 장치(200)는 A 기간의 셔터 속도로 GREEN 색상, RED 색상 및 BLUE 색상이 혼합된 제1 테스트 영상을 촬영하여 촬영 영상을 획득할 수 있다.Specifically, referring to FIG. 7 , the electronic device 100 simultaneously projects the first test image of the green color, the RED color, and the BLUE color for the time points 1 to 4 after the rest period B from 0 to 1 time. can In addition, the electronic device 100 may acquire light emission information at one time point and transmit the light emission information to the camera device 200 . Then, after the delay of the C period interval, when the camera device 200 receives the light emission information, the camera device 200 takes a first test image in which the green color, the RED color, and the BLUE color are mixed at the shutter speed of the A period. Thus, the captured image can be obtained.

그리고, 4시점에서 5시점 동안의 휴지기(B) 이후, 전자 장치(100)는 5시점에서 8시점 동안 GREEN 색상, RED 색상 및 BLUE 색상의 제2 테스트 영상을 동시에 투사할 수 있다. 그리고, 전자 장치(100)는 5시점에서 발광 정보를 획득하여 카메라 장치(200)로 발광 정보를 전송할 수 있다. 그리고, C 기간 간격의 딜레이 이후, 카메라 장치(200)가 발광 정보를 수신하면, 카메라 장치(200)는 A 기간의 셔터 속도로 GREEN 색상, RED 색상 및 BLUE 색상이 혼합된 제2 테스트 영상을 촬영하여 촬영 영상을 획득할 수 있다.Then, after the rest period B for the 4 to 5 time points, the electronic device 100 may simultaneously project the second test image of the green color, the RED color, and the BLUE color from the 5 point to the 8 point. In addition, the electronic device 100 may acquire light emission information at 5 viewpoints and transmit the light emission information to the camera device 200 . And, after the delay of the C period interval, when the camera device 200 receives the light emission information, the camera device 200 shoots a second test image in which the green color, the RED color, and the BLUE color are mixed at the shutter speed of the A period. Thus, the captured image can be obtained.

도 8은 본 개시에 따른 전자 장치 및 카메라 장치간의 동작을 설명하기 위한 시퀀스도이다.8 is a sequence diagram illustrating an operation between an electronic device and a camera device according to the present disclosure.

도 8을 참조하면, 우선 전자 장치(100)는 테스트 영상을 투사할 수 있다(S810). 구체적으로, 전자 장치(100)는 테스트 영상을 일 영역 상에 투사하도록 발광부를 제어할 수 있다. 그리고, 전자 장치(100)는 테스트 영상이 투사되는 동안, 테스트 영상에 대한 발광 정보를 획득할 수 있다(S820). 본 개시에 따른 발광 정보는 발광부에서 발광이 시작된 시점에 대한 정보일 수 있다. 즉, 테스트 영상 기 설정된 재생률에 따라 투사되면, 전자 장치(100)는 재생률을 바탕으로 테스트 영상이 투사되기 시작한 시점에 대한 정보를 획득할 수 있다.Referring to FIG. 8 , first, the electronic device 100 may project a test image ( S810 ). Specifically, the electronic device 100 may control the light emitting unit to project the test image onto one area. Then, while the test image is projected, the electronic device 100 may acquire light emission information on the test image ( S820 ). The light emission information according to the present disclosure may be information about a time when light emission is started by the light emitting unit. That is, when the test image is projected according to a preset refresh rate, the electronic device 100 may acquire information on a time when the test image starts to be projected based on the refresh rate.

그리고, 전자 장치(100)는 발광 정보를 카메라 장치(200)로 전송할 수 있다(S830). 그리고, 카메라 장치(200)는 수신된 발광 정보에 의해 기결정된 프레임 속도로 테스트 영상을 촬영하여 복수의 촬영 영상을 획득할 수 있다(S840). 일 예로, 전자 장치(100)가 발광 정보를 전송하는 시점과, 카메라 장치(200)가 발광 정보를 수신하는 시점 사이에는 일정 간격(딜레이 시간)이 존재할 수 있다.Then, the electronic device 100 may transmit the light emission information to the camera device 200 (S830). In addition, the camera device 200 may acquire a plurality of captured images by capturing a test image at a frame rate determined based on the received light emission information ( S840 ). For example, a predetermined interval (delay time) may exist between a time point at which the electronic device 100 transmits light emission information and a time point at which the camera device 200 receives light emission information.

즉, 카메라 장치(200)는 발광 정보가 전자 장치(100)로부터 수신되는 시점에 테스트를 영상을 기결정된 프레임 속도(셔터 속도)로 촬영하여 촬영 영상을 획득할 수 있으며, 전자 장치(100)로부터 수신되는 복수의 발광 정보에 따라 복수의 촬영 영상을 획득할 수 있다. 즉, 카메라 장치(200)는 전자 장치(100)로부터 수신되는 발광 정보의 횟수에 대응되는 개수의 복수의 촬영 영상을 획득할 수 있다. 그리고, 일 실시 예로, 카메라 장치(200)의 기결정된 프레임 속도(셔터 속도)는 전자 장치(100)가 투사하는 테스트 영상의 재생률을 바탕으로 기결정될 수 있다.That is, the camera device 200 may acquire a photographed image by photographing a test image at a predetermined frame rate (shutter speed) at the point in time when the light emission information is received from the electronic device 100 , and A plurality of captured images may be acquired according to the received plurality of light emission information. That is, the camera device 200 may acquire a plurality of captured images corresponding to the number of times of light emission information received from the electronic device 100 . And, according to an embodiment, the predetermined frame rate (shutter speed) of the camera device 200 may be predetermined based on the refresh rate of the test image projected by the electronic device 100 .

일 예로, 전자 장치(100)가 GREEN 색상, RED 색상 및 BLUE 색상의 테스트 영상을 순차적으로 투사하고 일정 시간 경과 후, 다시 GREEN 색상, RED 색상 및 BLUE 색상의 테스트 영상을 순차적으로 투사하는 경우, GREEN 색상, RED 색상 및 BLUE 색상의 테스트 영상이 투사되는 기간 동안 테스트 영상을 각 색상 별로 촬영하도록 셔터 속도가 기 설정될 수 있다. For example, when the electronic device 100 sequentially projects test images of green color, RED color, and BLUE color and then sequentially projects test images of green color, RED color, and BLUE color again after a predetermined time elapses, GREEN The shutter speed may be preset so that the test image is captured for each color while the test image of the color, the RED color, and the BLUE color is projected.

일 예로, 전자 장치(100)가 GREEN 색상의 테스트 영상을 투사하고 일정 시간 경과 후 RED 색상의 테스트 영상을 투사하며 일정 시간 경과 후 BLUE 색상의 테스트 영상을 투사할 수 있다. 이 경우, 전자 장치(100)는 GREEN 색상, RED 색상 및 BLUE 색상의 테스트 영상이 각각 투사되는 시점에 대한 발광 정보를 카메라 장치(200)로 전송할 수 있다. 그리고, 카메라 장치(200)는 GREEN 색상에 대한 발광 정보가 수신된 시점에, 기 설정된 셔터 속도로 테스트 영상을 촬영할 수 있다. 그리고, 카메라 장치(200)는 RED 색상에 대한 발광 정보가 수신된 시점에, 기 설정된 셔터 속도로 테스트 영상을 촬영할 수 있다. 또한, 카메라 장치(200)는 BLUE 색상에 대한 발광 정보가 수신된 시점에, 기 설정된 셔터 속도로 테스트 영상을 촬영할 수 있다.For example, the electronic device 100 may project a test image of a green color, project a test image of a RED color after a predetermined time elapses, and project a test image of a BLUE color after a lapse of a predetermined time. In this case, the electronic device 100 may transmit luminescence information for a time point at which the test images of the green color, the RED color, and the BLUE color are respectively projected to the camera device 200 . In addition, the camera device 200 may take a test image at a preset shutter speed at a time point when the light emission information for the green color is received. In addition, the camera device 200 may take a test image at a preset shutter speed at a time point when light emission information for the RED color is received. Also, the camera device 200 may photograph a test image at a preset shutter speed at a time point when light emission information for a blue color is received.

일 실시 예로, 전자 장치(100)가 투사하는 테스트 영상의 색상에 따라 카메라 장치(200)의 셔터 속도가 상이하게 기결정될 수 있다. 일 예로, GREEN 색상에 대한 발광 정보에 따라 촬영되는 촬영 영상의 기 설정된 셔터 속도는 다른 색상에 대한 발광 정보에 따라 촬영되는 촬영 영상의 기 설정된 셔터 속도보다 상대적으로 짧도록 기 설정되며, BLUE 색상에 대한 발광 정보에 따라 촬영되는 촬영 영상의 기 설정된 셔터 속도는 다른 색상에 대한 발광 정보에 따라 촬영되는 촬영 영상의 기 설정된 셔터 속도보다 상대적으로 길도록 기 설정될 수 있다.As an embodiment, the shutter speed of the camera device 200 may be differently predetermined according to the color of the test image projected by the electronic device 100 . For example, the preset shutter speed of a photographed image photographed according to luminescence information for a green color is preset to be relatively shorter than a preset shutter speed of a photographed image photographed according to luminescence information for another color, and the BLUE color A preset shutter speed of a photographed image photographed according to luminescence information may be preset to be relatively longer than a preset shutter speed of a photographed image photographed according to luminescence information of another color.

그리고, 카메라 장치(200)는 발광 정보에 따라 촬영된 복수의 촬영 영상을 전자 장치(100)로 전송할 수 있다(S850). Then, the camera device 200 may transmit a plurality of captured images taken according to the light emission information to the electronic device 100 (S850).

복수의 촬영 영상을 전자 장치(100)가 수신하면, 전자 장치(100)는 투사 영상의 보정 정보를 획득할 수 있다(S860). 즉, 전자 장치(100)는 복수의 촬영 영상을 바탕으로, 투사 영상을 보정하기 위한 보정 정보를 획득할 수 있으며, 보정 정보는 일 예로, 테스트 영상이 투사된 일 영역에 대한 표면의 왜곡에 대한 2차원 픽셀 변위 맵(displacement map) 및 일 영역에 대한 표면의 색상에 대한 2차원 표면 텍스쳐(surface texture) 정보를 포함할 수 있다.When the electronic device 100 receives the plurality of captured images, the electronic device 100 may obtain correction information of the projected image (S860). That is, the electronic device 100 may obtain correction information for correcting the projection image based on the plurality of captured images, and the correction information may include, for example, the correction information for the distortion of the surface of the one area on which the test image is projected. It may include a two-dimensional pixel displacement map and two-dimensional surface texture information for a color of a surface for one region.

그리고, 전자 장치(100)는 보정 정보에 따라 투사 영상을 조정하여 투사할 수 있다(S870). 즉, 전자 장치(100)는 보정 정보에 따라 일 영역 상에 투사할 투사 영상을 렌더링 하고, 렌더링된 투사 영상을 일 영역 상에 투사할 수 있다.Then, the electronic device 100 may adjust and project the projected image according to the correction information (S870). That is, the electronic device 100 may render a projection image to be projected on one region according to the correction information, and may project the rendered projection image onto one region.

도 9는 본 개시에 따른, 전자 장치의 제어 방법을 설명하기 위한 흐름도이다.9 is a flowchart illustrating a method of controlling an electronic device according to the present disclosure.

도 9를 참조하면, 전자 장치(100)는 영상을 투사하는 발광부에 의해 테스트 영상을 투사할 수 있다(S910).Referring to FIG. 9 , the electronic device 100 may project a test image by a light emitting unit that projects the image ( S910 ).

일 실시 예로, 발광부를 제1 색을 발광하는 제1 발광부, 제2 색을 발광하는 제2 발광부 및 제3 색을 발광하는 제3 발광부를 포함할 수 있다. 다만, 본 개시는 이에 한정되지 않고, 단일 색상(예로, WHITE 색상)을 발광하는 하나의 발광부와 투사되는 영상의 색상을 구분해주는 컬러 휠(color wheel)을 포함 수 있다. In an embodiment, the light emitting unit may include a first light emitting unit emitting a first color, a second light emitting unit emitting a second color, and a third light emitting unit emitting a third color. However, the present disclosure is not limited thereto, and may include a single light emitting unit that emits a single color (eg, white color) and a color wheel that distinguishes a color of a projected image.

테스트 영상을 투사하는 동안, 전자 장치(100)는 테스트 영상에 대한 발광 정보를 카메라 장치(200)로 전송할 수 있다(S920). While projecting the test image, the electronic device 100 may transmit light emission information on the test image to the camera device 200 ( S920 ).

구체적으로, 전자 장치(100)는 발광부의 발광 여부를 감지하고, 발광부가 발광하는 것으로 감지되면, 카메라 장치(200)로 발광 정보를 전송할 수 있다.Specifically, the electronic device 100 may detect whether the light emitting unit emits light, and when it is detected that the light emitting unit emits light, the electronic device 100 may transmit light emission information to the camera device 200 .

그리고, 전자 장치(100)는, 발광 정보에 의해 결정된 테스트 영상의 재생률과 동기화된 프레임 속도로 테스트 영상이 투사된 영역을 촬영한 복수의 촬영 영상을 카메라 장치(200)로부터 수신할 수 있다(S930).In addition, the electronic device 100 may receive from the camera device 200 a plurality of photographed images obtained by photographing the area on which the test image is projected at a frame rate synchronized with the refresh rate of the test image determined by the light emission information (S930). ).

구체적으로, 전자 장치(100)는 발광 정보에 따라 전자 장치(100)의 재생률과 동기화된 속도로 테스트 영상이 투사된 영역을 촬영한 촬영 영상을 카메라 장치(200)로부터 수신할 수 있다. 즉, 카메라 장치(200)는 발광 정보를 수신하는 즉시 기 결정된 셔터 속도로 테스트 영상을 촬영함으로, 전자 장치(100)의 재생률과 동기화된 프레임 속도로 복수의 촬영 영상을 획득할 수 있다. Specifically, the electronic device 100 may receive, from the camera device 200 , a photographed image obtained by photographing an area on which the test image is projected at a speed synchronized with the refresh rate of the electronic device 100 according to the light emission information. That is, the camera device 200 captures a test image at a predetermined shutter speed immediately upon receiving the light emission information, thereby acquiring a plurality of captured images at a frame rate synchronized with the refresh rate of the electronic device 100 .

그리고, 전자 장치(100)는 복수의 촬영 영상을 바탕으로 전자 장치가 영역 상에 투사하는 투사 영상의 보정 정보를 획득할 수 있다(S940). 일 실시 예로, 보정 정보는 테스트 영상이 투사된 영역에 대한 표면의 왜곡에 대한 2차원 픽셀 변위 맵(displacement map) 및 표면의 색상에 대한 2차원 표면 텍스쳐(surface texture) 정보를 포함할 수 있다.Then, the electronic device 100 may obtain correction information of the projection image projected by the electronic device on the area based on the plurality of captured images ( S940 ). As an embodiment, the correction information may include a two-dimensional pixel displacement map for distortion of a surface of a region on which a test image is projected and two-dimensional surface texture information for a color of the surface.

그리고, 전자 장치(100)는 보정 정보에 따라 투사 영상을 조정하여 투사할 수 있다(S950). 일 실시 예로, 전자 장치(100)는 2차원 픽셀 변위 맵 및 2차원 표면 텍스쳐 정보를 이용하여 픽셀 세이더를 수행함으로, 보정된 투사 영상을 획득하고, 보정된 투사 영상을 투사할 수 있다. Then, the electronic device 100 may adjust and project the projected image according to the correction information (S950). As an embodiment, the electronic device 100 may obtain a corrected projection image and project the corrected projection image by performing a pixel shader using the 2D pixel displacement map and 2D surface texture information.

본 실시 예들은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하였다. 그러나 이는 특정한 실시 형태에 대해 범위를 한정하려는 것이 아니며, 본 개시의 실시 예의 다양한 변경(modifications), 균등물(equivalents), 및/또는 대체물(alternatives)을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다.The present embodiments can apply various transformations and can have various embodiments, and specific embodiments are illustrated in the drawings and described in detail in the detailed description. However, this is not intended to limit the scope of the specific embodiments, and should be understood to include various modifications, equivalents, and/or alternatives of the embodiments of the present disclosure. In connection with the description of the drawings, like reference numerals may be used for like components.

본 개시를 설명함에 있어서, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 개시의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그에 대한 상세한 설명은 생략한다. In describing the present disclosure, if it is determined that a detailed description of a related known function or configuration may unnecessarily obscure the subject matter of the present disclosure, a detailed description thereof will be omitted.

덧붙여, 상술한 실시 예들은 여러 가지 다른 형태로 변형될 수 있으며, 본 개시의 기술적 사상의 범위가 하기 실시 예에 한정되는 것은 아니다. 오히려, 이들 실시 예는 본 개시를 더욱 충실하고 완전하게 하고, 당업자에게 본 개시의 기술적 사상을 완전하게 전달하기 위하여 제공되는 것이다.In addition, the above-described embodiments may be modified in various other forms, and the scope of the technical spirit of the present disclosure is not limited to the following embodiments. Rather, these embodiments are provided to more fully and complete the present disclosure, and to fully convey the technical spirit of the present disclosure to those skilled in the art.

본 개시에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 권리범위를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.The terms used in the present disclosure are used only to describe specific embodiments, and are not intended to limit the scope of rights. The singular expression includes the plural expression unless the context clearly dictates otherwise.

본 개시에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다. In the present disclosure, expressions such as “have,” “may have,” “include,” or “may include” indicate the presence of a corresponding characteristic (eg, a numerical value, function, operation, or component such as a part). and does not exclude the presence of additional features.

본 개시에서, "A 또는 B," "A 또는/및 B 중 적어도 하나," 또는 "A 또는/및 B 중 하나 또는 그 이상"등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, "A 또는 B," "A 및 B 중 적어도 하나," 또는 "A 또는 B 중 적어도 하나"는, (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는 (3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다.In this disclosure, expressions such as “A or B,” “at least one of A and/and B,” or “one or more of A or/and B” may include all possible combinations of the items listed together. . For example, "A or B," "at least one of A and B," or "at least one of A or B" means (1) includes at least one A, (2) includes at least one B; Or (3) it may refer to all cases including both at least one A and at least one B.

본 개시에서 사용된 "제1," "제2," "첫째," 또는 "둘째,"등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. As used in the present disclosure, expressions such as “first,” “second,” “first,” or “second,” may modify various elements, regardless of order and/or importance, and refer to one element. It is used only to distinguish it from other components, and does not limit the components.

어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다. A component (eg, a first component) is "coupled with/to (operatively or communicatively)" to another component (eg, a second component) When referring to "connected to", it should be understood that the certain element may be directly connected to the other element or may be connected through another element (eg, a third element).

반면에, 어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 다른 구성요소(예: 제3 구성요소)가 존재하지 않는 것으로 이해될 수 있다.On the other hand, when it is said that a component (eg, a first component) is "directly connected" or "directly connected" to another component (eg, a second component), the component and the It may be understood that other components (eg, a third component) do not exist between other components.

본 개시에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)," "~하는 능력을 가지는(having the capacity to)," "~하도록 설계된(designed to)," "~하도록 변경된(adapted to)," "~하도록 만들어진(made to)," 또는 "~를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성된(또는 설정된)"은 하드웨어적으로 "특별히 설계된(specifically designed to)" 것만을 반드시 의미하지 않을 수 있다. The expression "configured to (or configured to)" as used in this disclosure depends on the context, for example, "suitable for," "having the capacity to" ," "designed to," "adapted to," "made to," or "capable of." The term “configured (or configured to)” may not necessarily mean only “specifically designed to” in hardware.

대신, 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.Instead, in some circumstances, the expression “a device configured to” may mean that the device is “capable of” with other devices or parts. For example, the phrase “a processor configured (or configured to perform) A, B, and C” refers to a dedicated processor (eg, an embedded processor) for performing the operations, or by executing one or more software programs stored in a memory device. , may mean a generic-purpose processor (eg, a CPU or an application processor) capable of performing corresponding operations.

실시 예에 있어서 '모듈' 혹은 '부'는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 '모듈' 혹은 복수의 '부'는 특정한 하드웨어로 구현될 필요가 있는 '모듈' 혹은 '부'를 제외하고는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서로 구현될 수 있다.In an embodiment, a 'module' or 'unit' performs at least one function or operation, and may be implemented as hardware or software, or a combination of hardware and software. In addition, a plurality of 'modules' or a plurality of 'units' may be integrated into at least one module and implemented by at least one processor, except for 'modules' or 'units' that need to be implemented with specific hardware.

한편, 도면에서의 다양한 요소와 영역은 개략적으로 그려진 것이다. 따라서, 본 발명의 기술적 사상은 첨부한 도면에 그려진 상대적인 크기나 간격에 의해 제한되지 않는다.Meanwhile, various elements and regions in the drawings are schematically drawn. Accordingly, the technical spirit of the present invention is not limited by the relative size or spacing drawn in the accompanying drawings.

한편, 이상에서 설명된 다양한 실시 예들은 소프트웨어(software), 하드웨어(hardware) 또는 이들의 조합된 것을 이용하여 컴퓨터(computer) 또는 이와 유사한 장치로 읽을 수 있는 기록 매체 내에서 구현될 수 있다. 하드웨어적인 구현에 의하면, 본 개시에서 설명되는 실시 예들은 ASICs(Application Specific Integrated Circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적인 유닛(unit) 중 적어도 하나를 이용하여 구현될 수 있다. 일부의 경우에 본 명세서에서 설명되는 실시 예들이 프로세서 자체로 구현될 수 있다. 소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시 예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 상기 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다.Meanwhile, the various embodiments described above may be implemented in a recording medium readable by a computer or a similar device using software, hardware, or a combination thereof. According to the hardware implementation, the embodiments described in the present disclosure are ASICs (Application Specific Integrated Circuits), DSPs (digital signal processors), DSPDs (digital signal processing devices), PLDs (programmable logic devices), FPGAs (field programmable gate arrays) ), processors, controllers, micro-controllers, microprocessors, and other electrical units for performing other functions may be implemented using at least one. In some cases, the embodiments described herein may be implemented by the processor itself. According to the software implementation, embodiments such as the procedures and functions described in this specification may be implemented as separate software modules. Each of the software modules may perform one or more functions and operations described herein.

한편, 상술한 본 개시의 다양한 실시 예들에 따른 방법은 비일시적 판독 가능 매체(non-transitory readable medium)에 저장될 수 있다. 이러한 비일시적 판독 가능 매체는 다양한 장치에 탑재되어 사용될 수 있다. Meanwhile, the above-described method according to various embodiments of the present disclosure may be stored in a non-transitory readable medium. Such non-transitory readable media may be mounted on various devices and used.

비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 방법을 수행하기 위한 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.The non-transitory readable medium refers to a medium that stores data semi-permanently, rather than a medium that stores data for a short moment, such as a register, cache, memory, etc., and can be read by a device. Specifically, the programs for performing the above-described various methods may be provided by being stored in a non-transitory readable medium such as a CD, DVD, hard disk, Blu-ray disk, USB, memory card, ROM, and the like.

일 실시 예에 따르면, 본 문서에 개시된 다양한 실시 예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로, 또는 어플리케이션 스토어(예: 플레이 스토어^TM)를 통해 온라인으로 배포될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.According to an embodiment, the method according to various embodiments disclosed in this document may be provided by being included in a computer program product. Computer program products may be traded between sellers and buyers as commodities. The computer program product may be distributed in the form of a machine-readable storage medium (eg compact disc read only memory (CD-ROM)) or online through an application store (eg Play Store ^TM ). In the case of online distribution, at least a portion of the computer program product may be temporarily stored or temporarily generated in a storage medium such as a memory of a server of a manufacturer, a server of an application store, or a relay server.

또한, 이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시가 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.In addition, although preferred embodiments of the present disclosure have been illustrated and described above, the present disclosure is not limited to the specific embodiments described above, and the technical field to which the disclosure belongs without departing from the gist of the present disclosure as claimed in the claims Various modifications may be made by those of ordinary skill in the art, and these modifications should not be individually understood from the technical spirit or perspective of the present disclosure.

100: 전자 장치 200: 카메라 장치100: electronic device 200: camera device

Claims (20)

영상을 투사(project)하기 위한 전자 장치에 있어서,
영상을 투사하는 발광부(light source);
통신 인터페이스;
적어도 하나의 인스트럭션을 저장하는 메모리; 및
상기 메모리에 저장된 적어도 하나의 인스트럭션을 실행하여 상기 전자 장치를 제어하는 프로세서;를 포함하고,
상기 프로세서는,
발광부에 의해 테스트 영상을 투사하고,
상기 테스트 영상을 투사하는 동안 상기 테스트 영상에 대한 발광 정보를 카메라 장치에 전송하도록 상기 통신 인터페이스를 제어하고,
상기 발광 정보를 바탕으로, 상기 테스트 영상이 투사되는 재생률(refresh rate)과 동기화된 프레임 속도로 상기 테스트 영상이 투사된 영역을 촬영한 복수의 촬영 영상을 상기 카메라 장치로부터 수신하도록 상기 통신 인터페이스를 제어하고,
상기 복수의 촬영 영상을 바탕으로, 상기 전자 장치가 상기 영역 상에 투사하는 투사 영상의 보정(calibration) 정보를 획득하고,
상기 보정 정보에 따라 투사 영상을 조정하여 투사하는 전자 장치.
An electronic device for projecting an image, comprising:
a light emitting unit for projecting an image (light source);
communication interface;
a memory storing at least one instruction; and
a processor for controlling the electronic device by executing at least one instruction stored in the memory;
The processor is
Projecting the test image by the light emitting part,
controlling the communication interface to transmit luminescence information for the test image to a camera device while projecting the test image;
Control the communication interface to receive from the camera device a plurality of photographed images obtained by photographing the area on which the test image is projected at a frame rate synchronized with a refresh rate at which the test image is projected based on the light emission information do,
obtaining calibration information of a projection image projected by the electronic device onto the area based on the plurality of captured images;
An electronic device that adjusts and projects a projected image according to the correction information.
제1항에 있어서,
상기 프로세서는,
상기 발광부의 발광 여부를 감지하고,
상기 발광부가 발광하는 것으로 감지되면, 상기 카메라 장치로 상기 발광 정보를 전송하도록 상기 통신 인터페이스를 제어하고,
상기 발광 정보에 따라 상기 재생률과 동기화된 프레임 속도로 상기 테스트 영상이 투사된 영역을 촬영한 상기 촬영 영상을 상기 카메라 장치로부터 수신하도록 상기 통신 인터페이스를 제어하는 전자 장치.
According to claim 1,
The processor is
Detect whether the light emitting unit emits light,
When it is detected that the light emitting unit emits light, controlling the communication interface to transmit the light emission information to the camera device,
an electronic device controlling the communication interface to receive, from the camera device, the photographed image obtained by photographing the area on which the test image is projected at a frame rate synchronized with the refresh rate according to the light emission information.
제2항에 있어서,
상기 발광부는 제1 색을 발광하는 제1 발광부, 제2 색을 발광하는 제2 발광부 및 제3 색을 발광하는 제3 발광부를 포함하는 것을 특징으로 하는 전자 장치.
3. The method of claim 2,
The electronic device of claim 1, wherein the light emitting unit includes a first light emitting unit emitting a first color, a second light emitting unit emitting a second color, and a third light emitting unit emitting a third color.
제3항에 있어서,
상기 프로세서는,
상기 제1 발광부가 발광하는 것으로 감지되면, 상기 제1 발광부에 대한 발광 정보를 상기 카메라로 전송하도록 상기 통신 인터페이스를 제어하며, 제1 시간 간격으로 상기 제1 발광부, 상기 제2 발광부 및 상기 제3 발광부 각각을 통해 상기 테스트 영상을 투사하도록 상기 발광부를 제어하고,
상기 테스트 영상이 제1 시간 동안 제3 발광부를 통해 투사된 후 제2 시간이 경과되면, 상기 제1 시간 동안 제1 발광부를 통해 상기 테스트 영상을 투사하도록 상기 발광부를 제어하고, 상기 제1 발광부가 발광되는 시점에 상기 제1 발광부에 대한 발광 정보를 상기 카메라 장치로 전송하도록 상기 통신 인터페이스를 제어하는 전자 장치.

4. The method of claim 3,
The processor is
When it is detected that the first light emitting unit emits light, the communication interface is controlled to transmit light emission information about the first light emitting unit to the camera, and the first light emitting unit, the second light emitting unit and controlling the light emitting unit to project the test image through each of the third light emitting units,
When a second time elapses after the test image is projected through the third light emitting unit for a first time, the light emitting unit is controlled to project the test image through the first light emitting unit for the first time, and the first light emitting unit An electronic device for controlling the communication interface to transmit light emission information on the first light emitting unit to the camera device when light is emitted.

제3항에 있어서,
상기 프로세서는,
제1 시간 동안 상기 제1 발광부를 통해 제1 색의 테스트 영상을 투사하고, 상기 제1 발광부가 발광되는 시점에 감지된 제1 발광부에 대한 발광 정보를 상기 카메라로 전송하도록 상기 통신 인터페이스를 제어하고,
상기 제1 색의 테스트 영상이 상기 제1 시간 동안 투사된 후 제2 시간이 경과되면, 상기 제1 시간 동안 상기 제2 발광부를 통해 상기 제2 색의 테스트 영상을 투사하고, 상기 제2 발광부가 발광되는 시점에 감지된 상기 제2 발광부에 대한 발광 정보를 상기 카메라로 전송하도록 상기 통신 인터페이스를 제어하고,
상기 제2 색의 테스트 영상이 상기 제1 시간 동안 투사된 후 상기 제2 시간이 경과되면, 상기 제1 시간 동안 상기 제3 발광부를 통해 상기 제3 색의 테스트 영상을 투사하고, 상기 제3 발광부가 발광되는 시점에 감지된 상기 제3 발광부에 대한 발광 정보를 상기 카메라로 전송하도록 상기 통신 인터페이스를 제어하는 전자 장치.
4. The method of claim 3,
The processor is
Controls the communication interface to project a test image of a first color through the first light emitting unit for a first time, and transmit light emission information about the first light emitting unit sensed when the first light emitting unit emits light to the camera do,
When a second time elapses after the test image of the first color is projected for the first time, the test image of the second color is projected through the second light emitting unit for the first time, and the second light emitting unit controlling the communication interface to transmit light emission information about the second light emitting unit sensed at the time of light emission to the camera,
When the second time elapses after the test image of the second color is projected for the first time, the test image of the third color is projected through the third light emitting unit for the first time, and the third light is emitted. An electronic device for controlling the communication interface to transmit the light emission information on the third light emitting unit sensed when the additional light is emitted to the camera.
제3항에 있어서,
상기 제1 발광부의 발광 여부를 감지하는 제1 센서, 상기 제2 발광부의 발광 여부를 감지하는 제2 센서 및 상기 제3 발광부의 발광 여부를 감지하는 제3 센서를 포함하며,
상기 프로세서는,
제1 시간 동안 상기 제1 발광부를 통해 제1 색의 테스트 영상을 투사하고, 상기 제1 발광부가 발광되는 시점에 상기 제1 센서에 의해 감지된 제1 발광부에 대한 발광 정보를 상기 카메라로 전송하도록 상기 통신 인터페이스를 제어하고,
상기 제1 색의 텍스트 영상이 상기 제1 시간 동안 투사되면, 상기 제1 시간 동안 상기 제2 발광부를 통해 상기 제2 색의 테스트 영상을 투사하고, 상기 제2 발광부가 발광되는 시점에 상기 제2 센서에 의해 감지된 제2 발광부에 대한 발광 정보를 상기 카메라로 전송하도록 상기 통신 인터페이스를 제어하고,
상기 제2 색의 텍스트 영상이 상기 제1 시간 동안 투사되면, 상기 제1 시간 동안 상기 제3 발광부를 통해 상기 제3 색의 테스트 영상을 투사하고, 상기 제3 발광부가 발광되는 시점에 상기 제3 센서에 의해 감지된 제3 발광부에 대한 발광 정보를 상기 카메라로 전송하도록 상기 통신 인터페이스를 제어하는 전자 장치.
4. The method of claim 3,
a first sensor for detecting whether the first light emitting part emits light, a second sensor for detecting whether the second light emitting part emits light, and a third sensor for detecting whether the third light emitting part emits light,
The processor is
A test image of a first color is projected through the first light emitting unit for a first time, and light emission information on the first light emitting unit sensed by the first sensor is transmitted to the camera when the first light emitting unit emits light control the communication interface so as to
When the text image of the first color is projected for the first time, the test image of the second color is projected through the second light emitting unit for the first time, and when the second light emitting unit emits light, the second controlling the communication interface to transmit light emission information about the second light emitting unit sensed by the sensor to the camera,
When the text image of the second color is projected for the first time, the test image of the third color is projected through the third light emitting unit for the first time, and when the third light emitting unit emits light, the third An electronic device for controlling the communication interface to transmit light emission information on the third light emitting unit sensed by the sensor to the camera.
제3항에 있어서,
상기 프로세서는,
상기 제1 시간 동안 상기 제1 발광부, 상기 제2 발광부 및 상기 제3 발광부를 통해 상기 제1 색, 상기 제2 색 및 상기 제3 색이 혼합된 제1 테스트 영상을 투사하고, 상기 제1 발광부, 상기 제2 발광부 및 상기 제3 발광부가 발광되는 시점에 감지된 발광 정보를 상기 카메라 장치로 전송하도록 상기 통신 인터페이스를 제어하고,
상기 제3 색이 혼합된 제1 테스트 영상이 상기 제1 시간 동안 투사된 후 제2 시간이 경과되면, 상기 제1 시간 동안 상기 제1 발광부, 상기 제2 발광부 및 상기 제3 발광부를 통해 상기 제3 색이 혼합된 제2 테스트 영상을 투사하고, 상기 제1 발광부, 상기 제2 발광부 및 상기 제3 발광부가 발광되는 시점에 감지된 발광 정보를 상기 카메라 장치로 전송하도록 상기 통신 인터페이스를 제어하는 전자 장치.
4. The method of claim 3,
The processor is
A first test image in which the first color, the second color, and the third color are mixed is projected through the first light emitting unit, the second light emitting unit and the third light emitting unit for the first time, and the second controlling the communication interface to transmit light emission information sensed when the first light emitting unit, the second light emitting unit, and the third light emitting unit emit light to the camera device,
When a second time elapses after the first test image in which the third color is mixed is projected for the first time, through the first light emitting unit, the second light emitting unit and the third light emitting unit for the first time the communication interface to project a second test image in which the third color is mixed, and transmit light emission information detected when the first light emitting unit, the second light emitting unit, and the third light emitting unit emit light to the camera device electronic device that controls it.
제1항에 있어서,
상기 보정 정보는 상기 테스트 영상이 투사된 영역에 대한 표면의 왜곡에 대한 2차원 픽셀 변위 맵(displacement map) 및 상기 표면의 색상에 대한 2차원 표면 텍스쳐(surface texture) 정보를 포함하는 전자 장치.
According to claim 1,
The correction information includes a two-dimensional pixel displacement map for distortion of a surface of the area on which the test image is projected and two-dimensional surface texture information for a color of the surface.
제8항에 있어서,
상기 프로세서는
상기 2차원 픽셀 변위 맵 및 상기 2차원 표면 텍스쳐 정보를 이용하여 픽셀 세이더를 수행함으로, 보정된 투사 영상을 획득하는 전자 장치.
9. The method of claim 8,
the processor
An electronic device for obtaining a corrected projection image by performing a pixel shader using the 2D pixel displacement map and the 2D surface texture information.
제1항에 있어서,
상기 발광부는 단일 발광부로 구현되며,
상기 프로세서는,
컬러 휠(color wheel)에 의해 제1 색의 테스트 영상, 제2 색의 테스트 영상 및 제3 색의 테스트 영상을 순차적으로 상기 영역 상에 투사하는 전자 장치.
According to claim 1,
The light emitting unit is implemented as a single light emitting unit,
The processor is
An electronic device that sequentially projects a test image of a first color, a test image of a second color, and a test image of a third color on the region by using a color wheel.
영상을 투사(project)하기 위한 전자 장치의 제어 방법에 있어서,
영상을 투사하는 발광부(light source)에 의해 테스트 영상을 투사하는 단계;
상기 테스트 영상을 투사하는 동안 상기 테스트 영상에 대한 발광 정보를 카메라 장치에 전송하는 단계;
상기 발광 정보를 바탕으로, 상기 테스트 영상이 투사되는 재생률(refresh ratio)과 동기화된 프레임 속도로 상기 테스트 영상이 투사된 영역을 촬영한 복수의 촬영 영상을 상기 카메라 장치로부터 수신하는 단계;
상기 복수의 촬영 영상을 바탕으로, 상기 전자 장치가 상기 영역 상에 투사하는 투사 영상의 보정 정보를 획득하는 단계; 및
상기 보정 정보에 따라 투사 영상을 조정하여 투사하는 단계;를 포함하는 제어 방법.
In the control method of an electronic device for projecting an image,
Projecting a test image by a light source (light source) for projecting the image;
transmitting light emission information on the test image to a camera device while projecting the test image;
receiving, from the camera device, a plurality of photographed images obtained by photographing an area on which the test image is projected at a frame rate synchronized with a refresh ratio at which the test image is projected, based on the light emission information;
acquiring correction information of a projection image projected on the area by the electronic device based on the plurality of captured images; and
Control method including; adjusting and projecting the projected image according to the correction information.
제11항에 있어서,
상기 발광 정보를 카메라 장치에 전송하는 단계는,
상기 발광부의 발광 여부를 감지하는 단계; 및
상기 발광부가 발광하는 것으로 감지되면, 상기 카메라 장치로 상기 발광 정보를 전송하는 단계;를 포함하며,
상기 수신하는 단계는,
상기 발광 정보에 따라 상기 재생률과 동기화된 프레임 속도로 상기 테스트 영상이 투사된 영역을 촬영한 상기 촬영 영상을 상기 카메라 장치로부터 수신하는 단계;를 포함하는 제어 방법.
12. The method of claim 11,
The step of transmitting the light emission information to the camera device,
detecting whether the light emitting unit emits light; and
When it is detected that the light emitting unit emits light, transmitting the light emission information to the camera device;
The receiving step is
and receiving, from the camera device, the photographed image obtained by photographing the area on which the test image is projected at a frame rate synchronized with the refresh rate according to the light emission information.
제12항에 있어서,
상기 발광부는 제1 색을 발광하는 제1 발광부, 제2 색을 발광하는 제2 발광부 및 제3 색을 발광하는 제3 발광부를 포함하는 것을 특징으로 하는 제어 방법.
13. The method of claim 12,
The control method according to claim 1, wherein the light emitting unit includes a first light emitting unit emitting a first color, a second light emitting unit emitting a second color, and a third light emitting unit emitting a third color.
제13항에 있어서,
상기 테스트 영상을 투사하는 단계는,
상기 제1 발광부가 발광하는 것으로 감지되면, 상기 제1 발광부에 대한 발광 정보를 상기 카메라로 전송하고, 제1 시간 간격으로 상기 제1 발광부, 상기 제2 발광부 및 상기 제3 발광부 각각을 통해 상기 테스트 영상을 투사하는 단계; 및
상기 테스트 영상이 제1 시간 동안 제3 발광부를 통해 투사된 후 제2 시간이 경과되면, 상기 제1 시간 동안 제1 발광부를 통해 상기 테스트 영상을 투사하고 상기 제1 발광부에 대한 발광 정보를 상기 카메라 장치로 전송하는 단계;를 포함하는 제어 방법.
14. The method of claim 13,
Projecting the test image comprises:
When it is detected that the first light emitting unit emits light, light emission information about the first light emitting unit is transmitted to the camera, and each of the first light emitting unit, the second light emitting unit, and the third light emitting unit at a first time interval projecting the test image through and
When a second time elapses after the test image is projected through the third light emitting unit for the first time, the test image is projected through the first light emitting unit for the first time and the light emission information for the first light emitting unit is displayed. A control method comprising a; transmitting to the camera device.
제13항에 있어서,
상기 발광 정보를 카메라 장치에 전송하는 단계는,
제1 시간 동안 상기 제1 발광부를 통해 제1 색의 테스트 영상을 투사하고, 상기 제1 발광부가 발광되는 시점에 감지된 제1 발광부에 대한 발광 정보를 상기 카메라로 전송하는 단계;
상기 제1 색의 테스트 영상이 상기 제1 시간 동안 투사된 후 제2 시간이 경과되면, 상기 제1 시간 동안 상기 제2 발광부를 통해 상기 제2 색의 테스트 영상을 투사하고, 상기 제2 발광부가 발광되는 시점에 감지된 상기 제2 발광부에 대한 발광 정보를 상기 카메라로 전송하는 단계; 및
상기 제2 색의 테스트 영상이 상기 제1 시간 동안 투사된 후 상기 제2 시간이 경과되면, 상기 제1 시간 동안 상기 제3 발광부를 통해 상기 제3 색의 테스트 영상을 투사하고, 상기 제3 발광부가 발광되는 시점에 감지된 상기 제3 발광부에 대한 발광 정보를 상기 카메라로 전송하는 단계;를 포함하는 제어 방법.
14. The method of claim 13,
The step of transmitting the light emission information to the camera device,
projecting a test image of a first color through the first light emitting unit for a first time, and transmitting light emission information on the first light emitting unit sensed when the first light emitting unit emits light to the camera;
When a second time elapses after the test image of the first color is projected for the first time, the test image of the second color is projected through the second light emitting unit for the first time, and the second light emitting unit transmitting light emission information on the second light emitting unit sensed at the time of light emission to the camera; and
When the second time elapses after the test image of the second color is projected for the first time, the test image of the third color is projected through the third light emitting unit for the first time, and the third light is emitted. and transmitting, to the camera, the light emission information of the third light emitting unit sensed when the additional light is emitted.
제13항에 있어서,
상기 테스트 영상을 투사하는 단계는,
제1 시간 동안 상기 제1 발광부를 통해 제1 색의 테스트 영상을 투사하고, 상기 제1 발광부가 발광되는 시점에 상기 제1 발광부의 발광 여부를 감지하는 제1 센서에 의해 감지된 제1 발광부에 대한 발광 정보를 상기 카메라로 전송하는 단계;
상기 제1 색의 텍스트 영상이 상기 제1 시간 동안 투사되면, 상기 제1 시간 동안 상기 제2 발광부를 통해 상기 제2 색의 테스트 영상을 투사하고, 상기 제2 발광부가 발광되는 시점에 상기 제2 발광부의 발광 여부를 감지하는 제2 센서에 의해 감지된 제2 발광부에 대한 발광 정보를 상기 카메라로 전송하는 단계; 및
상기 제2 색의 텍스트 영상이 상기 제1 시간 동안 투사되면, 상기 제1 시간 동안 상기 제3 발광부를 통해 상기 제3 색의 테스트 영상을 투사하고, 상기 제3 발광부가 발광되는 시점에 상기 제3 발광부의 발광 여부를 감지하는 제3 센서에 의해 감지된 제3 발광부에 대한 발광 정보를 상기 카메라로 전송하는 단계;를 포함하는 제어 방법.
14. The method of claim 13,
Projecting the test image comprises:
A first light emitting unit sensed by a first sensor that projects a test image of a first color through the first light emitting unit for a first time and detects whether the first light emitting unit emits light when the first light emitting unit emits light transmitting light emission information for the camera to the camera;
When the text image of the first color is projected for the first time, the test image of the second color is projected through the second light emitting unit for the first time, and when the second light emitting unit emits light, the second transmitting light emission information on the second light emitting unit detected by a second sensor for detecting whether the light emitting unit emits light to the camera; and
When the text image of the second color is projected for the first time, the test image of the third color is projected through the third light emitting unit for the first time, and when the third light emitting unit emits light, the third and transmitting light emission information on the third light emitting unit detected by a third sensor detecting whether the light emitting unit emits light to the camera.
제13항에 있어서,
상기 테스트 영상을 투사하는 단계는,
상기 제1 시간 동안 상기 제1 발광부, 상기 제2 발광부 및 상기 제3 발광부를 통해 상기 제1 색, 상기 제2 색 및 상기 제3 색이 혼합된 제1 테스트 영상을 투사하고, 상기 제1 발광부, 상기 제2 발광부 및 상기 제3 발광부가 발광되는 시점에 감지된 발광 정보를 상기 카메라 장치로 전송하는 단계; 및
상기 제3 색이 혼합된 제1 테스트 영상이 상기 제1 시간 동안 투사된 후 제2 시간이 경과되면, 상기 제1 시간 동안 상기 제1 발광부, 상기 제2 발광부 및 상기 제3 발광부를 통해 상기 제3 색이 혼합된 제2 테스트 영상을 투사하고, 상기 제1 발광부, 상기 제2 발광부 및 상기 제3 발광부가 발광되는 시점에 감지된 발광 정보를 상기 카메라 장치로 전송하는 단계;를 포함하는 제어 방법.
14. The method of claim 13,
Projecting the test image comprises:
A first test image in which the first color, the second color, and the third color are mixed is projected through the first light emitting unit, the second light emitting unit and the third light emitting unit for the first time, and the second transmitting light emission information detected when the first light emitting unit, the second light emitting unit, and the third light emitting unit emit light to the camera device; and
When a second time elapses after the first test image in which the third color is mixed is projected for the first time, through the first light emitting unit, the second light emitting unit and the third light emitting unit for the first time Projecting a second test image in which the third color is mixed, and transmitting light emission information detected when the first light emitting unit, the second light emitting unit, and the third light emitting unit emit light to the camera device; control method including.
제11항에 있어서,
상기 보정 정보는 상기 테스트 영상이 투사된 영역에 대한 표면의 왜곡에 대한 2차원 픽셀 변위 맵(displacement map) 및 상기 표면의 색상에 대한 2차원 표면 텍스쳐(surface texture) 정보를 포함하는 제어 방법.
12. The method of claim 11,
The correction information includes a two-dimensional pixel displacement map for distortion of a surface of a region on which the test image is projected and two-dimensional surface texture information for a color of the surface.
제18항에 있어서,
상기 투사 영상을 조정하여 투사하는 단계는,
상기 2차원 픽셀 변위 맵 및 상기 2차원 표면 텍스쳐 정보를 이용하여 픽셀 세이더를 수행함으로, 보정된 투사 영상을 획득하는 단계를 포함하는 제어 방법.
19. The method of claim 18,
Adjusting and projecting the projected image comprises:
and obtaining a corrected projection image by performing a pixel shader using the 2D pixel displacement map and the 2D surface texture information.
제11항에 있어서,
상기 발광부는 단일 발광부로 구현되며,
상기 테스트 영상을 투사하는 단계는,
컬러 휠(color wheel)에 의해 제1 색의 테스트 영상, 제2 색의 테스트 영상 및 제3 색의 테스트 영상을 순차적으로 상기 영역 상에 투사하는 단계인 제어 방법.12. The method of claim 11,
The light emitting unit is implemented as a single light emitting unit,
Projecting the test image comprises:
A control method comprising the step of sequentially projecting a test image of a first color, a test image of a second color, and a test image of a third color on the region by using a color wheel.

Images