KR20220126977A - 전자 장치 및 이의 제어 방법 - Google Patents

전자 장치 및 이의 제어 방법 Download PDF

Info

Publication number
KR20220126977A
KR20220126977A KR1020210031391A KR20210031391A KR20220126977A KR 20220126977 A KR20220126977 A KR 20220126977A KR 1020210031391 A KR1020210031391 A KR 1020210031391A KR 20210031391 A KR20210031391 A KR 20210031391A KR 20220126977 A KR20220126977 A KR 20220126977A
Authority
KR
South Korea
Prior art keywords
light emitting
emitting unit
color
test image
light
Prior art date
Application number
KR1020210031391A
Other languages
English (en)
Inventor
안토니 야쿠비악
세자리 파비안 흐샤노프스키
파벨 키에쉬
로만 프롱첵
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020210031391A priority Critical patent/KR20220126977A/ko
Priority to PCT/KR2022/000756 priority patent/WO2022191410A1/ko
Publication of KR20220126977A publication Critical patent/KR20220126977A/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191Testing thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3102Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM] using two-dimensional electronic spatial light modulators
    • H04N9/3111Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM] using two-dimensional electronic spatial light modulators for displaying the colours sequentially, e.g. by using sequentially activated light sources
    • H04N9/3117Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM] using two-dimensional electronic spatial light modulators for displaying the colours sequentially, e.g. by using sequentially activated light sources by using a sequential colour filter producing two or more colours simultaneously, e.g. by creating scrolling colour bands
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141Constructional details thereof
    • H04N9/315Modulator illumination systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Electrophonic Musical Instruments (AREA)
  • Slot Machines And Peripheral Devices (AREA)
  • Projection Apparatus (AREA)

Abstract

영상을 투사하기 위한 전자 장치 및 이의 제어 방법이 개시된다. 본 개시에 따른 전자 장치의 제어 방법은 영상을 투사하는 발광부에 의해 테스트 영상을 투사하는 단계; 테스트 영상을 투사하는 동안 테스트 영상에 대한 발광 정보를 카메라 장치에 전송하는 단계; 발광 정보를 바탕으로, 테스트 영상이 투사되는 재생률(refresh ratio)과 동기화된 프레임 속도로 테스트 영상이 투사된 영역을 촬영한 복수의 촬영 영상을 카메라 장치로부터 수신하는 단계; 복수의 촬영 영상을 바탕으로, 전자 장치가 영역 상에 투사하는 투사 영상의 보정 정보를 획득하는 단계; 및 보정 정보에 따라 투사 영상을 조정하여 투사하는 단계;를 포함한다.

Description

전자 장치 및 이의 제어 방법{An electronic apparatus and Method for controlling electronic apparatus thereof}
본 개시는 전자 장치 및 이의 제어 방법에 관한 것으로, 보다 상세하게는 영상을 투사하기 위한 전자 장치 및 이의 제어 방법에 관한 것이다.
최근, 빛을 일 영역 상에 투사하여 투사된 영상을 시청하기 위한 프로젝터 장치가 상용화 되고 있다.
이에, 프로젝터는 투사되는 영상의 크기와 뒤틀림 등을 보정하는 과정을 거쳐야 하는데, 종래에는 프로젝터 장치를 통해 투사된 영상을 카메라 장치로 촬영하여 획득된 촬영 영상을 바탕으로 보정 정보를 획득하고, 획득된 보정 정보를 통해 투사 영상을 보정하는 보정 방법이 존재하였다. 이에, 정확한 보정 정보를 획득하기 위해 프로젝터 장치에서 투사되는 테스트 영상의 재생률(refresh rate)과 카메라 장치의 프레임 속도를 동기화시킬 필요성이 존재하였다.
본 개시는 상술한 필요성에 따라 안출된 것으로, 본 개시의 목적인 전자 장치에서 투사되는 테스트 영상의 재생률과 카메라 장치의 프레임 속도를 동기화시켜 촬영 영상을 획득하기 위한 전자 장치 및 이의 제어 방법을 제공함에 있다.
상기 목적을 달성하기 위한 본 개시의 일 실시 예에 따른, 전자 장치는, 영상을 투사하는 발광부(light source); 통신 인터페이스; 적어도 하나의 인스트럭션을 저장하는 메모리; 및 상기 메모리에 저장된 적어도 하나의 인스트럭션을 실행하여 상기 전자 장치를 제어하는 프로세서;를 포함하고, 상기 프로세서는, 발광부에 의해 테스트 영상을 투사하고, 상기 테스트 영상을 투사하는 동안 상기 테스트 영상에 대한 발광 정보를 카메라 장치에 전송하도록 상기 통신 인터페이스를 제어하고, 상기 발광 정보를 바탕으로, 상기 테스트 영상이 투사되는 재생률(refresh ratio)과 동기화된 프레임 속도로 상기 테스트 영상이 투사된 영역을 촬영한 복수의 촬영 영상을 상기 카메라 장치로부터 수신하도록 상기 통신 인터페이스를 제어하고, 상기 복수의 촬영 영상을 바탕으로, 상기 전자 장치가 상기 영역 상에 투사하는 투사 영상의 보정(calibration) 정보를 획득하고, 상기 보정 정보에 따라 투사 영상을 조정하여 투사한다.
일 실시 예로, 상기 프로세서는, 상기 발광부의 발광 여부를 감지하고, 상기 발광부가 발광하는 것으로 감지되면, 상기 카메라 장치로 상기 발광 정보를 전송하도록 상기 통신 인터페이스를 제어하고, 상기 발광 정보에 따라 상기 재생률과 동기화된 프레임 속도로 상기 테스트 영상이 투사된 영역을 촬영한 상기 촬영 영상을 상기 카메라 장치로부터 수신하도록 상기 통신 인터페이스를 제어할 수 있다.
일 실시 예로, 상기 발광부는 제1 색을 발광하는 제1 발광부, 제2 색을 발광하는 제2 발광부 및 제3 색을 발광하는 제3 발광부를 포함하는 것을 특징으로 할 수 있다.
일 실시 예로, 상기 프로세서는, 상기 제1 발광부가 발광하는 것으로 감지되면, 상기 제1 발광부에 대한 발광 정보를 상기 카메라로 전송하도록 상기 통신 인터페이스를 제어하며, 제1 시간 간격으로 상기 제1 발광부, 상기 제2 발광부 및 상기 제3 발광부 각각을 통해 상기 테스트 영상을 투사하도록 상기 발광부를 제어하고, 상기 테스트 영상이 제1 시간 동안 제3 발광부를 통해 투사된 후 제2 시간이 경과되면, 상기 제1 시간 동안 제1 발광부를 통해 상기 테스트 영상을 투사하도록 상기 발광부를 제어하고, 상기 제1 발광부가 발광되는 시점에 상기 제1 발광부에 대한 발광 정보를 상기 카메라 장치로 전송하도록 상기 통신 인터페이스를 제어할 수 있다.
일 실시 예로, 상기 프로세서는, 제1 시간 동안 상기 제1 발광부를 통해 제1 색의 테스트 영상을 투사하고, 상기 제1 발광부가 발광되는 시점에 감지된 제1 발광부에 대한 발광 정보를 상기 카메라로 전송하도록 상기 통신 인터페이스를 제어하고, 상기 제1 색의 테스트 영상이 상기 제1 시간 동안 투사된 후 제2 시간이 경과되면, 상기 제1 시간 동안 상기 제2 발광부를 통해 상기 제2 색의 테스트 영상을 투사하고, 상기 제2 발광부가 발광되는 시점에 감지된 상기 제2 발광부에 대한 발광 정보를 상기 카메라로 전송하도록 상기 통신 인터페이스를 제어하고, 상기 제2 색의 테스트 영상이 상기 제1 시간 동안 투사된 후 상기 제2 시간이 경과되면, 상기 제1 시간 동안 상기 제3 발광부를 통해 상기 제3 색의 테스트 영상을 투사하고, 상기 제3 발광부가 발광되는 시점에 감지된 상기 제3 발광부에 대한 발광 정보를 상기 카메라로 전송하도록 상기 통신 인터페이스를 제어할 수 있다.
일 실시 예로, 상기 제1 발광부의 발광 여부를 감지하는 제1 센서, 상기 제2 발광부의 발광 여부를 감지하는 제2 센서 및 상기 제3 발광부의 발광 여부를 감지하는 제3 센서를 포함하며, 상기 프로세서는, 제1 시간 동안 상기 제1 발광부를 통해 제1 색의 테스트 영상을 투사하고, 상기 제1 발광부가 발광되는 시점에 상기 제1 센서에 의해 감지된 제1 발광부에 대한 발광 정보를 상기 카메라로 전송하도록 상기 통신 인터페이스를 제어하고, 상기 제1 색의 텍스트 영상이 상기 제1 시간 동안 투사되면, 상기 제1 시간 동안 상기 제2 발광부를 통해 상기 제2 색의 테스트 영상을 투사하고, 상기 제2 발광부가 발광되는 시점에 상기 제2 센서에 의해 감지된 제2 발광부에 대한 발광 정보를 상기 카메라로 전송하도록 상기 통신 인터페이스를 제어하고, 상기 제2 색의 텍스트 영상이 상기 제1 시간 동안 투사되면, 상기 제1 시간 동안 상기 제3 발광부를 통해 상기 제3 색의 테스트 영상을 투사하고, 상기 제3 발광부가 발광되는 시점에 상기 제3 센서에 의해 감지된 제3 발광부에 대한 발광 정보를 상기 카메라로 전송하도록 상기 통신 인터페이스를 제어할 수 있다.
일 실시 예로, 상기 프로세서는, 상기 제1 시간 동안 상기 제1 발광부, 상기 제2 발광부 및 상기 제3 발광부를 통해 상기 제1 색, 상기 제2 색 및 상기 제3 색이 혼합된 제1 테스트 영상을 투사하고, 상기 제1 발광부, 상기 제2 발광부 및 상기 제3 발광부가 발광되는 시점에 감지된 발광 정보를 상기 카메라 장치로 전송하도록 상기 통신 인터페이스를 제어하고, 상기 제3 색이 혼합된 제1 테스트 영상이 상기 제1 시간 동안 투사된 후 제2 시간이 경과되면, 상기 제1 시간 동안 상기 제1 발광부, 상기 제2 발광부 및 상기 제3 발광부를 통해 상기 제3 색이 혼합된 제2 테스트 영상을 투사하고, 상기 제1 발광부, 상기 제2 발광부 및 상기 제3 발광부가 발광되는 시점에 감지된 발광 정보를 상기 카메라 장치로 전송하도록 상기 통신 인터페이스를 제어할 수 있다.
일 실시 예로, 상기 보정 정보는 상기 테스트 영상이 투사된 영역에 대한 표면의 왜곡에 대한 2차원 픽셀 변위 맵(displacement map) 및 상기 표면의 색상에 대한 2차원 표면 텍스쳐(surface texture) 정보를 포함할 수 있다.
일 실시 예로, 상기 프로세서는 상기 2차원 픽셀 변위 맵 및 상기 2차원 표면 텍스쳐 정보를 이용하여 픽셀 세이더를 수행함으로, 보정된 투사 영상을 획득할 수 있다.
일 실시 예로, 상기 발광부는 단일 발광부로 구현되며, 상기 프로세서는, 컬러 휠(color wheel)에 의해 제1 색의 테스트 영상, 제2 색의 테스트 영상 및 제3 색의 테스트 영상을 순차적으로 상기 영역 상에 투사할 수 있다.
한편, 본 개시의 일 실시 예에 따른, 영상을 투사(project)하기 위한 전자 장치의 제어 방법은, 영상을 투사하는 발광부(light source)에 의해 테스트 영상을 투사하는 단계; 상기 테스트 영상을 투사하는 동안 상기 테스트 영상에 대한 발광 정보를 카메라 장치에 전송하는 단계; 상기 발광 정보를 바탕으로, 상기 테스트 영상이 투사되는 재생률(refresh ratio)과 동기화된 프레임 속도로 상기 테스트 영상이 투사된 영역을 촬영한 복수의 촬영 영상을 상기 카메라 장치로부터 수신하는 단계; 상기 복수의 촬영 영상을 바탕으로, 상기 전자 장치가 상기 영역 상에 투사하는 투사 영상의 보정 정보를 획득하는 단계; 및 상기 보정 정보에 따라 투사 영상을 조정하여 투사하는 단계;를 포함한다.
일 실시 예로, 상기 발광 정보를 카메라 장치에 전송하는 단계는, 상기 발광부의 발광 여부를 감지하는 단계; 및 상기 발광부가 발광하는 것으로 감지되면, 상기 카메라 장치로 상기 발광 정보를 전송하는 단계;를 포함하며, 상기 수신하는 단계는, 상기 발광 정보에 따라 상기 재생률과 동기화된 프레임 속도로 상기 테스트 영상이 투사된 영역을 촬영한 상기 촬영 영상을 상기 카메라 장치로부터 수신하는 단계;를 포함할 수 있다.
일 실시 예로, 상기 발광부는 제1 색을 발광하는 제1 발광부, 제2 색을 발광하는 제2 발광부 및 제3 색을 발광하는 제3 발광부를 포함하는 것을 특징으로 할 수 있다.
일 실시 예로, 상기 테스트 영상을 투사하는 단계는, 상기 제1 발광부가 발광하는 것으로 감지되면, 상기 제1 발광부에 대한 발광 정보를 상기 카메라로 전송하고, 제1 시간 간격으로 상기 제1 발광부, 상기 제2 발광부 및 상기 제3 발광부 각각을 통해 상기 테스트 영상을 투사하는 단계; 및 상기 테스트 영상이 제1 시간 동안 제3 발광부를 통해 투사된 후 제2 시간이 경과되면, 상기 제1 시간 동안 제1 발광부를 통해 상기 테스트 영상을 투사하고 상기 제1 발광부에 대한 발광 정보를 상기 카메라 장치로 전송하는 단계;를 포함할 수 있다.
일 실시 예로, 상기 발광 정보를 카메라 장치에 전송하는 단계는, 제1 시간 동안 상기 제1 발광부를 통해 제1 색의 테스트 영상을 투사하고, 상기 제1 발광부가 발광되는 시점에 감지된 제1 발광부에 대한 발광 정보를 상기 카메라로 전송하는 단계; 상기 제1 색의 테스트 영상이 상기 제1 시간 동안 투사된 후 제2 시간이 경과되면, 상기 제1 시간 동안 상기 제2 발광부를 통해 상기 제2 색의 테스트 영상을 투사하고, 상기 제2 발광부가 발광되는 시점에 감지된 상기 제2 발광부에 대한 발광 정보를 상기 카메라로 전송하는 단계; 및 상기 제2 색의 테스트 영상이 상기 제1 시간 동안 투사된 후 상기 제2 시간이 경과되면, 상기 제1 시간 동안 상기 제3 발광부를 통해 상기 제3 색의 테스트 영상을 투사하고, 상기 제3 발광부가 발광되는 시점에 감지된 상기 제3 발광부에 대한 발광 정보를 상기 카메라로 전송하는 단계;를 포함할 수 있다.
일 실시 예로, 상기 테스트 영상을 투사하는 단계는, 제1 시간 동안 상기 제1 발광부를 통해 제1 색의 테스트 영상을 투사하고, 상기 제1 발광부가 발광되는 시점에 상기 제1 발광부의 발광 여부를 감지하는 제1 센서에 의해 감지된 제1 발광부에 대한 발광 정보를 상기 카메라로 전송하는 단계; 상기 제1 색의 텍스트 영상이 상기 제1 시간 동안 투사되면, 상기 제1 시간 동안 상기 제2 발광부를 통해 상기 제2 색의 테스트 영상을 투사하고, 상기 제2 발광부가 발광되는 시점에 상기 제2 발광부의 발광 여부를 감지하는 제2 센서에 의해 감지된 제2 발광부에 대한 발광 정보를 상기 카메라로 전송하는 단계; 및 상기 제2 색의 텍스트 영상이 상기 제1 시간 동안 투사되면, 상기 제1 시간 동안 상기 제3 발광부를 통해 상기 제3 색의 테스트 영상을 투사하고, 상기 제3 발광부가 발광되는 시점에 상기 제3 발광부의 발광 여부를 감지하는 제3 센서에 의해 감지된 제3 발광부에 대한 발광 정보를 상기 카메라로 전송하는 단계;를 포함할 수 있다.
일 실시 예로, 상기 테스트 영상을 투사하는 단계는, 상기 제1 시간 동안 상기 제1 발광부, 상기 제2 발광부 및 상기 제3 발광부를 통해 상기 제1 색, 상기 제2 색 및 상기 제3 색이 혼합된 제1 테스트 영상을 투사하고, 상기 제1 발광부, 상기 제2 발광부 및 상기 제3 발광부가 발광되는 시점에 감지된 발광 정보를 상기 카메라 장치로 전송하는 단계; 및 상기 제3 색이 혼합된 제1 테스트 영상이 상기 제1 시간 동안 투사된 후 제2 시간이 경과되면, 상기 제1 시간 동안 상기 제1 발광부, 상기 제2 발광부 및 상기 제3 발광부를 통해 상기 제3 색이 혼합된 제2 테스트 영상을 투사하고, 상기 제1 발광부, 상기 제2 발광부 및 상기 제3 발광부가 발광되는 시점에 감지된 발광 정보를 상기 카메라 장치로 전송하는 단계;를 포함할 수 있다.
일 실시 예로, 상기 보정 정보는 상기 테스트 영상이 투사된 영역에 대한 표면의 왜곡에 대한 2차원 픽셀 변위 맵(displacement map) 및 상기 표면의 색상에 대한 2차원 표면 텍스쳐(surface texture) 정보를 포함할 수 있다.
일 실시 예로, 상기 투사 영상을 조정하여 투사하는 단계는, 상기 2차원 픽셀 변위 맵 및 상기 2차원 표면 텍스쳐 정보를 이용하여 픽셀 세이더를 수행함으로, 보정된 투사 영상을 획득하는 단계를 포함할 수 있다.
일 실시 예로, 상기 발광부는 단일 발광부로 구현되며, 상기 테스트 영상을 투사하는 단계는, 컬러 휠(color wheel)에 의해 제1 색의 테스트 영상, 제2 색의 테스트 영상 및 제3 색의 테스트 영상을 순차적으로 상기 영역 상에 투사하는 단계일 수 있다.
상술한 실시 예들을 통해, 전자 장치는 테스트 영상의 재생률(refresh rate)과 동기화된 프레임 속도로 촬영된 촬영 영상을 획득함으로, 투사 영상에 대한 품질을 향상시킬 수 있다.
도 1은 본 개시에 따른 전자 장치의 구성을 설명하기 위한 블록도이다.
도 2는 본 개시에 따른 전자 장치에 의해 일 영역 상에 투사된 영상을 카메라 장치가 촬영하는 과정을 설명하기 위한 도면이다.
도 3은 본 개시의 일 실시 예에 따른, 컬러 휠을 도시한 도면이다.
도 4는 본 개시에 따른 GREEN 색상, RED 색상 및 BLUE 색상의 테스트 영상이 투사되는 시점에 대응되는 셔터 속도로 테스트 영상을 촬영하는 실시 예를 설명하기 위한 도면이다.
도 5는 본 개시에 따른 GREEN 색상, RED 색상 및 BLUE 색상의 테스트 영상이 투사되는 시점에 각각에 대응되는 셔터 속도로 테스트 영상을 촬영하는 실시 예를 설명하기 위한 도면이다.
도 6은 본 개시에 따른 GREEN 색상, RED 색상 및 BLUE 색상 각각에 대응되는 센서를 이용하여 휴지기 없이 GREEN 색상, RED 색상 및 BLUE 색상의 테스트 영상을 투사하는 실시 예를 설명하기 위한 도면이다.
도 7은 GREEN 색상, RED 색상 및 BLUE 색상의 테스트 영상을 동시에 투사하며, 동시에 투사된 테스트 영상을 촬영하는 실시 예를 설명하기 위한 도면이다.
도 8은 본 개시에 따른 전자 장치 및 카메라 장치간의 동작을 설명하기 위한 시퀀스도이다.
도 9는 본 개시에 따른, 전자 장치의 제어 방법을 설명하기 위한 흐름도이다.
이하에서는, 첨부된 도면을 통해 본 개시를 상세히 설명한다.
도 1은 본 개시에 따른 전자 장치의 구성을 설명하기 위한 블록도이다. 도 2는 본 개시에 따른 전자 장치에 의해 투사 영역(10)상에 투사된 영상을 카메라 장치(200)가 촬영하는 과정을 설명하기 위한 도면이다.
도 1을 참조하면, 전자 장치(100)는 발광부(light source)(110), 통신 인터페이스(120), 메모리(130) 및 프로세서(140)를 포함할 수 있다. 본 개시에 따른 전자 장치(100)는 발광부(110)에서 투사된 빛이 일 영역(예로, 스크린)에 투사되어 일 영역 상에 영상을 표시하기 위한 전자 장치로, 프로젝터 장치로 명칭 될 수 있다.
발광부(light source)(110)는 영상을 투사하기 위한 구성이다. 구체적으로, 도 2를 참조하면, 발광부(110)는 전자 장치(100)의 정면에 위치한 투사 영역(10)에 영상에 대응되는 광을 출력할 수 있다. 본 개시에 따르면, 투사 영역(10)은 투사된 영상을 표시하기 위한 스크린으로 구현될 수 있으나, 본 개시의 투사 영역(10)은 이에 한정되지 않고, 실내의 벽면 영역, 커튼 영역 등 다양한 투사 영역일 수 있다.
일 실시 예로, 발광부(110)는 렌즈와 미러를 포함할 수 있다. 발광부(110)로부터 특정 거리에 위치하는 일 영역 상에 투사되는 영상의 크기는 렌즈와 미러 사이의 거리를 바탕으로 기설정될 수 있다.
일 실시 예로, 발광부(110)는 제1 색을 발광하는 제1 발광부, 제2 색을 발광하는 제2 발광부 및 제3 색을 발광하는 제3 발광부를 포함할 수 있다. 일 예로, 제1 색은 GREEN 색상이고, 제2 색은 RED 색상이며, 제3 색을 BLUE 색상일 수 있으며, 이 경우 전자 장치(100)는 RGB 프로젝터로 명칭 될 수 있다.
일 실시 예로, 발광부(110)는 제1 발광부, 제2 발광부, 제3 발광부 및 WHITE 색상을 발광하는 제4 발광부를 더 포함할 수 있다. 이 경우 전자 장치(100)는 RGB + WHITE 프로젝터로 명칭 될 수 있다.
일 실시 예로, 발광부(110)는 제1 발광부, 제2 발광부, 제3 발광부 및 YELLOW 색상을 발광하는 제4 발광부를 더 포함할 수 있다. 이 경우 전자 장치(100)는 RGB + YELLOW 프로젝터로 명칭 될 수 있다.
상술한 실시 예에서는 발광부(110)가 단일 색상을 발광하는 복수의 발광부를 포함하는 것으로 설명하였지만, 본 개시는 이에 한정되지 않는다. 즉, 발광부(110)는 WHITE 색상을 발광하는 단일 발광부와 복수의 색상이 투사되도록 하는 컬러 휠(Color Wheel)을 통해 복수의 색상을 투사 영역(10) 상에 순차적으로 투사할 수 있다.
도 3은 본 개시의 일 실시 예에 따른, 컬러 휠을 도시한 도면이다. 도 3의 컬러 휠이 일정 주기로 회전되면서, 전자 장치(100)는 일정 시간 간격으로 복수의 색상을 투사할 수 있다. 구체적으로, 도 3의 컬러 휠은 GREEN 색상을 투사하기 위한 제1 영역(31), RED 색상을 투사하기 위한 제2 영역(32), BLUE 색상을 투사하기 위한 제3 영역(33) 및 모든 색상(예로, WHITE 색상)을 투사하기 위한 제4 영역(34)을 포함할 수 있다. 이러한 컬러 휠이 시계 반대 방향으로 회전함으로 인해 전자 장치(100)는 단일 WHITE 광원을 이용하여 일정 시간 간격으로 GREEN, RED, BLUE 및 WHITE 색상을 순차적으로 투사할 수 있다. 도 3의 컬러 휠을 통해 GREEN, RED, BLUE 및 WHITE 색상이 순차적으로 투사될 수 있으나, 본 개시에 따른 컬러 휠은 도 3의 컬러 휠에 한정되지 않는다. 즉, 본 개시에 따른 컬러 휠은 복수의 영역으로 구분되어 복수의 색상을 순차적으로 투사하도록 구성될 수 있다.
통신 인터페이스(120)는 외부 장치와 통신을 수행하기 위한 구성이다. 구체적으로, 통신 인터페이스(120)는 무선 통신 또는 유선 통신을 통해 외부 장치와 통신을 수행할 수 있다.
일 실시 예로, 도 2를 참조하면, 발광부(110)의 발광이 감지되면 통신 인터페이스(120)는 발광 정보를 카메라 장치(200)로 전송할 수 있다. 카메라 장치(200)는 투사 영역(10)상에 투사된 테스트 영상을 촬영하기 위한 구성이다. 즉, 카메라 장치(200)는 수신된 발광 정보를 바탕으로, 전자 장치(100)가 투사 영역(10) 상에 투사한 테스트 영상을 촬영하여 촬영 영상을 획득할 수 있다.
그리고, 통신 인터페이스(120)는 카메라 장치(200)로부터 촬영 영상을 수신할 수 있다.
일 실시 예로, 무선 통신은, LTE, LTE-A(LTE Advance), CDMA(code division multiple access), WCDMA(wideband CDMA), UMTS(universal mobile telecommunications system), WiBro(Wireless Broadband), 또는 GSM(Global System for Mobile Communications) 등 중 적어도 하나를 사용하는 셀룰러 통신을 포함할 수 있다. 일 실시예에 따르면, 무선 통신은, 예를 들면, WiFi(wireless fidelity), 블루투스, 블루투스 저전력(BLE), 지그비(Zigbee), NFC(near field communication), 자력 시큐어 트랜스미션(Magnetic Secure Transmission), 라디오 프리퀀시(RF), 또는 보디 에어리어 네트워크(BAN) 중 적어도 하나를 포함할 수 있다. 유선 통신은, 예를 들면, USB(universal serial bus), HDMI(high definition multimedia interface), RS-232(recommended standard232), 전력선 통신, 또는 POTS(plain old telephone service) 등 중 적어도 하나를 포함할 수 있다. 무선 통신 또는 유선 통신이 수행되는 네트워크는 텔레커뮤니케이션 네트워크, 예를 들면, 컴퓨터 네트워크(예: LAN 또는 WAN), 인터넷, 또는 텔레폰 네트워크 중 적어도 하나를 포함할 수 있다.
메모리(130)는 전자 장치(100)의 동작에 필요한 각종 프로그램 및 데이터를 저장할 수 있다. 구체적으로, 메모리(130)에는 적어도 하나의 명령어가 저장될 수 있다. 프로세서(140)는 메모리(130)에 저장된 명령어를 실행함으로써 전자 장치(100)의 동작을 수행할 수 있다.
메모리(130)는 비휘발성 메모리, 휘발성 메모리, 플래시메모리(flash-memory), 하드디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD) 등으로 구현될 수 있다. 메모리(130)는 프로세서(140)에 의해 액세스되며, 프로세서(140)에 의한 데이터의 독취/기록/수정/삭제/갱신 등이 수행될 수 있다. 본 개시에서 메모리라는 용어는 메모리(130), 프로세서(140) 내 롬(미도시), 램(미도시) 또는 전자 장치(100)에 장착되는 메모리 카드(미도시)(예를 들어, micro SD 카드, 메모리 스틱)를 포함할 수 있다. 또한, 메모리(130)에는 디스플레이의 디스플레이 영역에 표시될 각종 화면을 구성하기 위한 프로그램 및 데이터 등이 저장될 수 있다.
프로세서(140)는 메모리(130)와 전기적으로 연결되어 전자 장치(100)의 전반적인 동작 및 기능을 제어할 수 있다.
프로세서(140)는 하나 또는 복수의 프로세서로 구성될 수 있다. 이때, 하나 또는 복수의 프로세서는 CPU(Central Processing Unit), AP(application processor) 등과 같은 범용 프로세서, GPU(Graphics Processing Unit). VPU(Visual Processing Unit) 등과 같은 그래픽 전용 프로세서 또는 NPU(Neural Processing Unit) 와 같은 인공지능 전용 프로세서일 수 있다.
프로세서(140)는 전자 장치(100)의 메모리에 저장된 하나 이상의 명령어를 실행시켜 전자 장치(100)에 포함된 하나 이상의 구성요소들을 제어하거나, 하드웨어적인 회로 내지는 칩으로서 하나 이상의 구성요소들을 제어하거나, 또는 소프트웨어 및 하드웨어의 결합으로서 하나 이상의 구성요소들을 제어할 수 있다.
본 개시에 따른 전자 장치(100)는 카메라 장치(200)로 발광부(110)에 대한 발광 정보를 전송하여, 발광부(110)에서 투사된 투사 영상의 재생률(refresh rate)과 동기화된 프레임 속도로 촬영된 촬영 영상을 획득하여 투사될 영상을 보정하기 위한 보정(calibration) 기능을 수행할 수 있다. 즉, 카메라 장치(200)는 전자 장치(100)로부터 발광 정보를 수신하는 즉시 기 결정된 셔터 속도로 테스트 영상을 촬영함으로, 전자 장치(100)의 테스트 영상을 투사하는 재생률과 동기화된 프레임 속도로 복수의 촬영 영상을 획득할 수 있다.
본 개시에 따른 보정 기능은 도 1에 도시된 바와 같이, 테스트 영상 투사 모듈(141), 발광 정보 획득 모듈(142), 영상 보정 모듈(143) 및 영상 투사 모듈(144)을 포함할 수 있다. 일 예로, 각각의 모듈들은 메모리(130)에 저장될 수 있다.
일 예로, 전자 장치(100)의 전원이 켜지는 경우 본 개시에 따른 보정 기능이 수행될 수 있다. 일 예로, 전자 장치(100)의 발광부(110)에 의해 투사 영상이 투사되는 경우 본 개시에 따른 보정 기능이 수행될 수 있다. 일 예로, 사용자의 보정 명령에 따라 본 개시에 따른 보정 기능이 수행될 수 있다. 일 예로, 전자 장치(100)의 전원이 켜져 있는 동안, 기 설정 간격으로 보정 기능이 수행될 수 있다. 다만, 상술한 예에 한정되지 않고, 본 개시에 따른 보정 기능은 다양한 방식으로 수행될 수 있다.
보정 기능이 실행되면, 복수의 모듈(141 내지 144)들이 프로세서(140)에 포함된 메모리(예로, 휘발성 메모리)에 로딩될 수 있다. 즉, 보정 기능이 실행되면, 프로세서(140)는 복수의 모듈(141 내지 144)들을 비휘발성 메모리에서 휘발성 메모리로 로딩하여 복수의 모듈(141 내지 144)의 각 기능들을 실행할 수 있다. 로딩(loading)이란, 프로세서(140)가 액세스할 수 있도록 비휘발성 메모리에 저장된 데이터를 휘발성 메모리에 불러들여 저장하는 동작을 의미한다.
본 개시에 따른 일 실시 예로, 도 1에 도시된 바와 같이 메모리(130)에 저장된 복수의 모듈(141 내지 144)을 통해 재번역 기능이 구현될 수 있으나, 이에 한정되지 않고 보정 기능이 외부 서버 또는 외부 장치에서 구현될 수 있다.
본 개시에 따른 복수의 모듈(141 내지 144)은 각각의 소프트웨어로 구현될 수 있으나, 이에 한정되지 않고 일부 모듈은 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또 다른 실시 예로, 복수의 모듈(141 내지 144)은 하나의 소프트웨어로 구현될 수 있다. 또한, 일부 모듈은 전자 장치(100) 내에서 구현되고, 다른 일부 모듈은 외부 서버 또는 외부 장치에서 구현될 수 있다.
테스트 영상 투사 모듈(141)는 투사 영상을 보정하기 위한 테스트 영상을 투사하기 위한 구성이다. 테스트 영상은 투사 영역(10)의 표면 정보 및 색상 정보 등을 포함하는 보정 정보를 획득하기 위한 영상으로, 일 예로, 테스트 영상은 특정 패턴을 포함할 수 있다. 그리고, 프로세서(140)는 카메라 장치(200)를 통해 획득한 테스트 영상을 촬영한 촬영 영상을 바탕으로, 투사 영상을 보정할 수 있다.
테스트 영상 투사 모듈(141)은 투사 영역(10) 상에 테스트 영상을 투사할 수 있다. 일 실시 예로, 테스트 영상 투사 모듈(141)은 일정 재생률(refresh rate)에 따라 테스트 영상을 투사할 수 있다. 재생률(refresh rate)이란 1초 동안에 발광부(110)에서 투사되는 정지 이미지의 개수를 의미할 수 있다. 즉, 재생률이 50hz인 경우, 발광부(110)에서 1초당 50개의 정지 이미지를 투사할 수 있다.
일 실시 예로, 도 4, 도 5 및 도 6에서 후술하듯이, 테스트 영상 투사 모듈(141)은 일정 재생률에 따라 GREEN 색상의 테스트 영상, RED 색상의 테스트 영상 및 BLUE 색상의 테스트 영상을 순차적으로 투사할 수 있다.
일 실시 예로, 도 7에서 후술하듯이, 테스트 영상 투사 모듈(141)은 일 정 재생률에 따라 GREEN 색상, RED 색상 및 BLUE 색상이 혼합된 테스트 영상을 일정 재생률에 따라 투사할 수 있다.
발광 정보 획득 모듈(142)은 발광부(110)의 발광 여부를 감지하여, 발광 정보를 획득하기 위한 구성이다. 본 개시에 따른 발광 정보는 발광부(110)에서 발광이 시작된 시점에 대한 정보일 수 있다. 즉, 발광부(110)에 의해 테스트 영상이 투사되면, 발광 정보 획득 모듈(142)은 테스트 영상이 투사되기 시작한 시점에 대한 정보를 획득할 수 있다. 일 실시 예로, 발광 정보는 발광부(110)를 통해 투사 되는 테스트 영상의 색상에 대한 정보를 더 포함할 수도 있다.
일 실시 예로, 발광 정보 획득 모듈(142)은 발광부(110)의 발광 여부를 감지하기 위한 센서를 이용하여 발광 정보를 획득할 수 있다. 센서는 일 예로, 포토 다이오드(photo diode)와 같이 빛 에너지를 전기 에너지로 변환하는 센서로 구현될 수 있다. 즉, 발광부(110)에 의해 테스트 영상이 투사되면, 발광 정보 획득 모듈(142)은 센서를 통해 빛 에너지 감지하여 발광 정보를 획득할 수 있다.
일 실시 예로, 센서는 단일 센서로 구성될 수 있으나 본 개시는 이에 한정되지 않는다. 즉, 일 예로, 센서는 GREEN 계열 파장의 빛 에너지를 감지하기 위한 제1 센서, RED 계열 파장의 빛 에너지를 감지하기 위한 제2 센서 및 BLUE 계열 파장의 빛 에너지를 감지하기 위한 제3 센서를 포함할 수 있다.
일 실시 예로, 전자 장치(100)가 LED 다이오드에 전압을 제어하는 칩(chip)을 포함하는 RGB LED 프로젝터 장치로 구현되는 경우, 발광 정보 획득 모듈(142)은 칩(chip)을 이용하여 전압을 감지하여 발광 정보를 획득할 수 있다.
일 실시 예로, 테스트 영상 투사 모듈(141)에 의해 테스트 영상이 투사되면, 발광 정보 획득 모듈(142)은 테스트 영상의 재생률에 따라 발광부(110)의 발광 여부를 감지할 수 있다.
일 예로, 도 4와 같이 테스트 영상 투사 모듈(141)은 GREEN 색상, RED 색상 및 BLUE 색상의 테스트 영상을 순차적으로 투사한 후, 일정 시간(D)이 경과된 후, 다시 GREEN 색상, RED 색상 및 BLUE 색상의 테스트 영상을 순차적으로 투사할 수 있다. 즉, 포토 다이오드(photo diode)와 같은 센서를 이용하여 발광 정보를 획득하는 경우, 발광부(110)가 일정 휴지기(D)를 거쳐 포토 다이오드(photo diode)의 채도가 낮아진(desaturate) 후 다시 발광을 하여야, 발광 정보 획득 모듈(142)은 센서에 의해 발광 여부를 다시 감지할 수 있다.
도 4를 참조하면, 발광 정보 획득 모듈(142)은 발광부(110)의 발광이 시작된 시점 즉, GREEN 색상의 테스트 영상이 투사되기 시작한 시점(1, 5, 9 시점)에 대한 발광 정보를 획득할 수 있다. 그리고, 발광 정보 획득 모듈(142)은 통신 인터페이스(120)를 통해 발광 정보를 카메라 장치(200)로 전송할 수 있다. 본 개시는 도 4의 실시 예에 한정되지 않으며, 본 개시에 대한 다양한 실시 예에 대해서는 도 5 내지 도 7을 통해 후술하도록 한다.
상술한 실시 예에서는 발광 정보 획득 모듈(142)이 센서 또는 칩을 이용하여 발광 정보를 획득하는 것으로 설명하였으나, 본 개시는 이에 한정되지 않고, 발광부(110)의 발광 여부를 감지하기 위한 다양한 구성을 통해 발광 정보를 획득할 수 있다.
영상 보정 모듈(143)은 카메라 장치(200)로부터 테스트 영상 투사 모듈(141)을 통해 투사한 테스트 영상을 촬영한 촬영 영상을 획득하여, 획득된 촬영 영상을 바탕으로 투사 영상을 보정(calibration)하기 위한 구성이다.
일 실시 예로, 영상 보정 모듈(143)은 통신 인터페이스(120)를 통해 카메라 장치(200)로부터 촬영 영상을 획득할 수 있다. 즉, 카메라 장치(200)는 전자 장치(100)로부터 수신한 발광 정보를 바탕으로, 테스트 영상을 촬영하여 촬영 영상을 획득할 수 있다. 일 예로, 도 4를 참조하면, 카메라 장치(200)가 전자 장치(100)로부터 1 시점에 대한 발광 정보를 수신하면, 기 설정된 셔터 속도에 따라 투사 영역(10) 상에 투사된 테스트 영상을 촬영할 수 있다. 일 예로, 전자 장치(100)에서 테스트 영상이 투사된 후, 카메라 장치(200)가 발광 정보를 수신하여 테스트 영상을 촬영하는 시간 사이의 딜레이(C 시간 간격)가 발생될 수 있다. 따라서, 카메라 장치(200)는 전자 장치(100)에서 테스트 영상이 투사되기 시작한 시점(1, 5, 9 시점)에서 일정 시간(C 시간)이 경과된 후에 테스트 영상을 촬영할 수 있다.
그리고, 본 개시의 일 실시 예로, 기 설정된 셔터 속도는 테스트 영상 투사 모듈(141)이 투사하는 테스트 영상의 재생률에 따라 기 설정될 수 있다.
일 예로, 도 4와 같이, 테스트 영상 투사 모듈(141)이 GREEN 색상, RED 색상 및 BLUE 색상의 테스트 영상을 순차적으로 투사하고 일정 시간(D) 경과 후, 다시 GREEN 색상, RED 색상 및 BLUE 색상의 테스트 영상을 순차적으로 투사하는 경우, GREEN 색상, RED 색상 및 BLUE 색상의 테스트 영상이 투사되는 시점(1 시점에서 4 시점) 동안 테스트 영상을 촬영하도록 셔터 속도가 기 설정될 수 있다.
일 예로, 도 5와 같이, 테스트 영상 투사 모듈(141)이 GREEN 색상의 테스트 영상을 투사하고 일정 시간(D) 경과 후 RED 색상의 테스트 영상을 투사하고 일정 시간(D) 경과 후 BLUE 색상의 테스트 영상을 투사할 수 있다. 이 경우, 발광 정보 획득 모듈(142)은 통신 인터페이스(120)를 통해 GREEN 색상, RED 색상 및 BLUE 색상의 테스트 영상이 각각 투사되는 시점(1 시점, 5 시점, 9 시점)에 대한 발광 정보를 카메라 장치(200)로 전송할 수 있다. 그리고, 카메라 장치(200)는 GREEN 색상의 테스트 영상이 투사되는 시점(1 시점에서 4 시점)에 대응되는 기 설정된 셔터 속도로 테스트 영상을 촬영할 수 있다. 또한, 카메라 장치(200)는 RED 색상의 테스트 영상이 투사되는 시점(5 시점에서 8 시점)에 대응되는 기 설정된 셔터 속도로 테스트 영상을 촬영할 수 있다. 또한, 카메라 장치(200)는 BLUE 색상의 테스트 영상이 투사되는 시점(9 시점에서 12 시점)에 대응되는 기 설정된 셔터 속도로 테스트 영상을 촬영할 수 있다.
그리고, 일 실시 예로, 각각의 색상의 테스트 영상이 투사되는 시점에 대응되는 기 설정된 셔터 속도는 각각의 색상 별로 상이할 수 있다. 즉, 일 예로, GREEN 색상에 대응되는 기 설정된 셔터 속도는 다른 색상의 기 설정된 셔터 속도보다 상대적으로 짧도록 기 설정되며, BLUE 색상에 대응되는 기 설정된 셔터 속도는 다른 색상의 기 설정된 셔터 속도보다 상대적으로 길도록 기 설정될 수 있다. 즉, GREEN, RED 및 BLUE 계열의 파장 분포가 상이 함에 따라, GREEN, RED 및 BLUE 계열의 테스트 영상이 투사될 때의 전력 스펙트럼 분포 또한 상이하게 된다. 즉, 파장 대 별로 양자 효율(quantum efficiency)이 상이한 점을 고려하여 본 개시는 GREEN, RED, BLUE 계열의 테스트 영상을 촬영하는 셔터 속도를 기 설정할 수 있다. 양자 효율이란 광자(photon)가 다른 에너지의 광자로 변환되는 비율로, 빛이 발광될 때, 여기(excitation) 에너지가 발광 에너지로 변환되는 비율을 의미할 수 있다. 일 예로, GREEN 계열의 파장 대에서 양자 효율이 상대적으로 높음에 따라 GREEN 색상에 대응되는 기 설정된 셔터 속도가 다른 색상의 기 설정된 셔터 속도보다 상대적으로 짧도록 기 설정될 수 있다.
카메라 장치(200)가 기 설정된 셔터 속도 및 발광 정보에 따라 테스트 영상을 촬영하여 촬영 영상을 획득하면, 영상 보정 모듈(143)은 통신 인터페이스(120)를 통해 촬영 영상을 수신하고, 촬영 영상을 통해 투사 영상을 보정(calibration)하기 위한 보정 정보를 획득할 수 있다.
일 실시 예로, 보정 정보는 테스트 영상이 투사된 투사 영역(10)에 대한 표면의 왜곡에 대한 2차원 픽셀 변위 맵(displacement map) 및 투사 영역(10) 표면의 색상에 대한 2차원 표면 텍스쳐(surface texture) 정보를 포함할 수 있다. 일 예로, 테스트 영상에는 특정 패턴을 포함할 수 있으며, 특정 패턴이 일 영역 상에 투사된 형태를 촬영한 촬영 영상을 통해 일 영역의 표면의 왜곡에 대한 2차원 픽셀 변위 맵(displacement map)을 획득할 수 있다. 그리고, 일 예로, 도 4와 같이 GREEN 색상, RED 색상 및 BLUE 색상의 테스트 영상이 투사되는 기간의 셔터 속도로 촬영하여 획득된 WHITE 색상의 촬영 영상을 통해, 투사 영역(10) 표면의 색상에 대한 2차원 표면 텍스쳐(surface texture) 정보를 획득할 수 있다. 2차원 픽셀 변위 맵 및 2차원 표면 텍스쳐를 이용하여 투사 영상을 보정하는 방법은 종래 공지된 기술인 바, 상세한 설명은 생략하도록 한다.
그리고, 영상 보정 모듈(143)은 보정 정보에 따라 투사 영역(10) 상에 투사될 투사 영상을 보정할 수 있다. 일 실시 예로, 2차원 픽셀 변위 맵 및 2차원 표면 텍스쳐를 바탕으로 픽셀 각각의 색상 및 기타 속성을 계산하여 투사 영상을 렌더링하는 픽셀 세이더(pixel shader) 기법을 수행하여 렌더링된 투사 영상을 획득할 수 있다.
영상 투사 모듈(144)은 보정 정보에 따라 렌더링된 투사 영상을 투사 영역(10) 상에 투사하기 위한 구성이다. 구체적으로, 영상 보정 모듈(143)에 의해 렌더링된 투사 영상이 획득되면, 영상 투사 모듈(144)은 렌더링된 투사 영상을 투사하도록 발광부(110)를 제어할 수 있다. 즉, 영상 보정 모듈(143)은 카메라 장치(200)를 통해 획득한 보정 정보를 통해 투사 영상이 투사될 투사 영역(10) 표면의 왜곡 및 색상을 반영하여 투사 영상을 렌더링 하고, 영상 투사 모듈(144)은 렌더링된 투사 영상을 투사하도록 발광부(110)를 제어할 수 있다.
상술한 실시 예들을 통해, 본 개시는 공간 필터(spatial filter)를 이용하지 않고도 렌더링된 투사 영상을 획득할 수 있다. 즉, 종래에는 투사 영상에서 발생될 수 있는 투사 영상의 외곽 부분이 어두워지는 vignette effect를 감소시키기 위해 공간 필터(spatial filter)를 이용하여야 하였으나, 본 개시에 따른 전자 장치(100)는 상술한 실시 예들을 통해 공간 필터(spatial filter)를 이용하지 않고도 투사 영상에서 발생될 수 있는 vignette effect를 감소시킬 수 있다.
상술한 실시 예들을 통해, 전자 장치는 테스트 영상의 재생률(refresh rate)과 동기화된 프레임 속도로 촬영된 촬영 영상을 바탕으로 보정 정보를 획득하여 투사 영상에 대한 품질을 향상시킬 수 있다.
도 4는 본 개시에 따른 GREEN 색상, RED 색상 및 BLUE 색상의 테스트 영상이 투사되는 시점에 대응되는 셔터 속도로 테스트 영상을 촬영하는 실시 예를 설명하기 위한 도면이다.
구체적으로, 도 4와 같이, 전자 장치(100)는 GREEN 색상, RED 색상 및 BLUE 색상의 테스트 영상을 순차적으로 투사한 후, 일정 휴지기(D) 이후, 다시 GREEN 색상, RED 색상 및 BLUE 색상의 테스트 영상을 순차적으로 투사할 수 있다. 즉, 전자 장치(100)는 도 4와 같이 GREEN 색상, RED 색상 및 BLUE 색상의 테스트 영상을 1시점 간격 동안 투사하는 재생률로 테스트 영상을 투사할 수 있다.
일 예로, 전자 장치(100)의 테스트 영상을 투사하는 재생률이 50hz인 경우, 1시점 간격은 1/50초를 의미할 수 있다. 다만, 이에 한정되지 않으며, GREEN 색상, RED 색상 및 BLUE 색상의 테스트 영상이 투사되는 3 시점 간격을 하나의 정지 영상으로 보는 경우, 전자 장치(100)의 테스트 영상을 투사하는 재생률이 50hz인 경우 휴지기 까지 고려하여, 1시점 간격은 1/200초를 의미할 수 있다.
구체적으로, 전자 장치(100)가 포토 다이오드(photo diode)와 같은 센서를 이용하여 발광 정보를 획득하는 경우의 실시 예에서, 전자 장치(100)가 하나의 센서를 이용하는 경우에는 테스트 영상 투사 이후 휴지기(D)를 거쳐 포토 다이오드(photo diode)의 채도가 낮아진(desaturate) 후 다시 테스트 영상을 투사 하여야, 전자 장치(100)는 센서에 의해 발광 여부를 다시 감지할 수 있다. 즉, 도 4를 참조하면, 0시점부터 1시점까지의 휴지기(D)이후, 1시점에서 GREEN 색상의 투사 영상이 투사되면, 전자 장치(100)는 1시점에 대한 발광 정보를 획득할 수 있다. 그리고, 전자 장치(100)는 1시점에서 발광 정보를 카메라 장치(200)로 전송하고, C 기간 간격의 딜레이 이후, 카메라 장치(200)가 발광 정보를 수신하면, 카메라 장치(200)는 B 기간에 대응되는 셔터 속도로 테스트 영상을 촬영하여 촬영 영상을 획득할 수 있다. 즉, 1시점에서 2시점 동안 GREEN 색상의 투사 영상이 투사된 후 2 시점에서 3시점 동안 GREEN 색상의 투사 영상이 바로 투사된 경우, 계속하여 테스트 영상이 투사되므로 포토 다이오드(photo diode)와 같은 센서는 2시점에서 발광 정보를 획득하지 않을 수 있다.
그리고, 3시점에서 4시점 동안 BLUE 색상의 테스트 영상이 투사된 후 일정 휴지기(D)이후, 다시 GREEN 색상 의 테스트 영상이 투사되면, 전자 장치(100)는 5시점에 대한 발광 정보를 획득하고, 카메라 장치(200)로 발광 정보를 전송할 수 있다. 그리고, 카메라 장치(200)는 5시점으로부터 C기간의 딜레이 이후, B 기간에 대응되는 셔터 속도로 테스트 영상을 촬영하여 촬영 영상을 획득할 수 있다.
따라서, 도 4와 같은 실시 예에서는 카메라 장치(200)는 GREEN 색상, RED 색상 및 BLUE 색상의 테스트 영상이 투사되는 기간(1시점에서 4시점, 5시점에서 8시점, 9시점에서 12시점) 동안 테스트 영상을 촬영하도록 셔터 속도(B)가 기 설정될 수 있다.
도 5는 본 개시에 따른 GREEN 색상, RED 색상 및 BLUE 색상의 테스트 영상이 투사되는 시점에 각각에 대응되는 셔터 속도로 테스트 영상을 촬영하는 실시 예를 설명하기 위한 도면이다.
도 4의 실시 예와 달리, 전자 장치(100)는 GREEN 색상, RED 색상 및 BLUE 색상의 테스트 영상이 각각 투사되는 기간 사이에 휴지기(D)를 두어, GREEN 색상, RED 색상 및 BLUE 색상의 테스트 영상 각각을 촬영하도록 카메라 장치(200)로 발광 정보를 전송할 수 있다. 즉, 전자 장치(100)는 도 5와 같이 GREEN 색상, RED 색상 및 BLUE 색상의 테스트 영상을 3시점 간격 동안 투사하며, 1시점 간격의 휴지기를 포함하는 재생률로 테스트 영상을 투사할 수 있다.
구체적으로, 도 5를 참조하면, 전자 장치(100)는 1시점에서 4시점 동안 GREEN 색상의 테스트 영상을 투사할 수 있다. 그리고, 전자 장치(100)는 1시점에 대한 발광 정보를 획득하고, 1시점에서 카메라 장치(200)로 발광 정보를 전송할 수 있다. 그리고, E 기간 간격의 딜레이 이후, 카메라 장치(200)가 발광 정보를 수신하면, 카메라 장치(200)는 A 기간의 셔터 속도로 GREEN 색상의 테스트 영상 촬영하여 촬영 영상을 획득할 수 있다.
그리고, 전자 장치(100)는 4시점에서 5시점 동안의 휴지기(D) 이후, 전자 장치(100)는 5시점에서 8시점 동안 RED 색상의 테스트 영상을 투사할 수 있다. 그리고, 전자 장치(100)는 5시점에 대한 발광 정보를 획득하고, 5시점에서 카메라 장치(200)로 발광 정보를 전송할 수 있다. 그리고, E 기간 간격의 딜레이 이후, 카메라 장치(200)가 발광 정보를 수신하면, 카메라 장치(200)는 B 기간의 셔터 속도로 RED 색상의 테스트 영상 촬영하여 촬영 영상을 획득할 수 있다.
그리고, 전자 장치(100)는 8시점에서 9시점 동안의 휴지기(D) 이후, 전자 장치(100)는 9시점에서 12시점 동안 BLUE 색상의 테스트 영상을 투사할 수 있다. 그리고, 전자 장치(100)는 9시점에 대한 발광 정보를 획득하고, 9시점에서 카메라 장치(200)로 발광 정보를 전송할 수 있다. 그리고, E 기간 간격의 딜레이 이후, 카메라 장치(200)가 발광 정보를 수신하면, 카메라 장치(200)는 C 기간의 셔터 속도로 BLUE 색상의 테스트 영상 촬영하여 촬영 영상을 획득할 수 있다.
즉, 도 5와 같이 GREEN 색상, RED 색상 및 BLUE 색상의 테스트 영상이 투사되는 기간 사이에 휴지기(D)가 있는 경우, 포토 다이오드(photo diode)가 휴지기(D) 동안 채도가 낮아지게(desaturate) 되며, 휴지기 이후 테스트 영상이 투사되면, 전자 장치(100)는 포토 다이오드에 의해 발광 정보를 획득할 수 있다.
그리고, 일 실시 예로, 전자 장치(100)가 투사하는 테스트 영상의 색상에 따라 카메라 장치(200)의 셔터 속도가 상이하게 기결정될 수 있다. 일 예로, GREEN 색상에 대한 발광 정보에 따라 촬영되는 촬영 영상의 기 설정된 셔터 속도(A)는 다른 색상에 대한 발광 정보에 따라 촬영되는 촬영 영상의 기 설정된 셔터 속도(B, C)보다 상대적으로 짧도록 기 설정되며, BLUE 색상에 대한 발광 정보에 따라 촬영되는 촬영 영상의 기 설정된 셔터 속도(C)는 다른 색상에 대한 발광 정보에 따라 촬영되는 촬영 영상의 기 설정된 셔터 속도(A, B)보다 상대적으로 길도록 기 설정될 수 있다.
도 6은 본 개시에 따른 GREEN 색상, RED 색상 및 BLUE 색상 각각에 대응되는 센서를 이용하여 휴지기 없이 GREEN 색상, RED 색상 및 BLUE 색상의 테스트 영상을 투사하는 실시 예를 설명하기 위한 도면이다. 즉, 전자 장치(100)는 도 6과 같이 휴지기 없이 GREEN 색상, RED 색상 및 BLUE 색상의 테스트 영상을 3시점 간격 동안 각각 투사하는 재생률로 테스트 영상을 투사할 수 있다.
도 4 및 도 5에서는 단일 포토 다이오드를 이용하여 발광 정보를 획득하는 실시 예이나, 본 개시는 이에 한정되지 않는다. 즉, 본 개시는 GREEN 색상, RED 색상 및 BLUE 색상 각각의 발광 여부를 감지하기 위한 3개의 센서를 이용할 수 있다. 즉, 전자 장치(100)의 발광부(110)가 GREEN 색상을 발광하는 제1 발광부, RED 색상을 발광하는 제2 발광부 및 BLUE 색상을 발광하는 제3 발광부로 구현되는 경우, 전자 장치(100)는 제1 발광부의 발광 여부를 감지하는 제1 센서, 제2 발광부의 발광 여부를 감지하는 제2 센서 및 제3 발광부의 발광 여부를 감지하는 제3 센서를 포함할 수 있다.
그리고, 도 6과 같이, 1시점에 GREEN 색상의 테스트 영상이 투사되면, 전자 장치(100)는 제1 센서를 통해 발광 여부를 감지하여 발광 정보를 획득하고, 1시점에 발광 정보를 카메라 장치(200)로 전송할 수 있다. 그리고, 1시점으로부터 E 기간 간격의 딜레이 이후, 카메라 장치(200)가 발광 정보를 수신하면, 카메라 장치(200)는 B 기간의 셔터 속도로 GREEN 색상의 테스트 영상을 촬영하여 촬영 영상을 획득할 수 있다.
그리고, 1 시점에서 4시점 동안 GREEN 색상의 테스트 영상이 투사된 후, 전자 장치(100)는 4시점에서 7시점 동안 RED 색상의 테스트 영상을 투사할 수 있다. 4시점에 RED 색상의 테스트 영상이 투사되면, 전자 장치(100)는 제2 센서를 통해 발광 여부를 감지하여 발광 정보를 획득하고, 4시점에 발광 정보를 카메라 장치(200)로 전송할 수 있다. 그리고, 4시점으로부터 E 기간 간격의 딜레이 이후, 카메라 장치(200)가 발광 정보를 수신하면, 카메라 장치(200)는 C 기간의 셔터 속도로 RED 색상의 테스트 영상을 촬영하여 촬영 영상을 획득할 수 있다.
그리고, 4시점에서 7시점 동안 RED 색상의 테스트 영상이 투사된 후, 전자 장치(100)는 7시점에서 10시점 동안 BLUE 색상의 테스트 영상을 투사할 수 있다. 7시점에 BLUE 색상의 테스트 영상이 투사되면, 전자 장치(100)는 제3 센서를 통해 발광 여부를 감지하여 발광 정보를 획득하고, 7시점에 발광 정보를 카메라 장치(200)로 전송할 수 있다. 그리고, 7시점으로부터 E 기간 간격의 딜레이 이후, 카메라 장치(200)가 발광 정보를 수신하면, 카메라 장치(200)는 D 기간의 서터 속도로 BLUE 색상의 테스트 영상을 촬영하여 촬영 영상을 획득할 수 있다.
그리고, 일 실시 예로, 전자 장치(100)가 투사하는 테스트 영상의 색상에 따라 카메라 장치(200)의 셔터 속도가 상이하게 기결정될 수 있다. 일 예로, GREEN 색상에 대한 발광 정보에 따라 촬영되는 촬영 영상의 기 설정된 셔터 속도(B)는 다른 색상에 대한 발광 정보에 따라 촬영되는 촬영 영상의 기 설정된 셔터 속도(C, D)보다 상대적으로 짧도록 기 설정되며, BLUE 색상에 대한 발광 정보에 따라 촬영되는 촬영 영상의 기 설정된 셔터 속도(D)는 다른 색상에 대한 발광 정보에 따라 촬영되는 촬영 영상의 기 설정된 셔터 속도(B, C)보다 상대적으로 길도록 기 설정될 수 있다.
그리고, 상술한 실시 예에서는 포토 다이오드로 구현된 제1 센서, 제2 센서 및 제3 센서를 이용하여 발광 정보를 획득하는 것으로 설명하였으나, 본 개시는 이에 한정되지 않는다. 즉, 전자 장치(100)가 LED 다이오드에 전압을 제어하는 칩(chip)을 포함하는 RGB LED 프로젝터 장치로 구현되는 경우, 전자 장치(100)는 칩(chip)을 이용하여 전압을 감지하여 발광 정보를 획득할 수 있다.
도 7은 GREEN 색상, RED 색상 및 BLUE 색상의 테스트 영상을 동시에 투사하며, 동시에 투사된 테스트 영상을 촬영하는 실시 예를 설명하기 위한 도면이다.
일 실시 예로, 색상 표현이 핵심 요소가 아닌 실시 예의 경우, 전자 장치(100)는 GREEN 색상, RED 색상 및 BLUE 색상의 테스트 영상을 동시에 투사할 수 있다.
구체적으로, 도 7을 참조하면, 전자 장치(100)는 0에서 1시점 동안의 휴지기(B) 이후, 1시점에서 4시점 동안 GREEN 색상, RED 색상 및 BLUE 색상의 제1 테스트 영상을 동시에 투사할 수 있다. 그리고, 전자 장치(100)는 1시점에서 발광 정보를 획득하여 카메라 장치(200)로 발광 정보를 전송할 수 있다. 그리고, C 기간 간격의 딜레이 이후, 카메라 장치(200)가 발광 정보를 수신하면, 카메라 장치(200)는 A 기간의 셔터 속도로 GREEN 색상, RED 색상 및 BLUE 색상이 혼합된 제1 테스트 영상을 촬영하여 촬영 영상을 획득할 수 있다.
그리고, 4시점에서 5시점 동안의 휴지기(B) 이후, 전자 장치(100)는 5시점에서 8시점 동안 GREEN 색상, RED 색상 및 BLUE 색상의 제2 테스트 영상을 동시에 투사할 수 있다. 그리고, 전자 장치(100)는 5시점에서 발광 정보를 획득하여 카메라 장치(200)로 발광 정보를 전송할 수 있다. 그리고, C 기간 간격의 딜레이 이후, 카메라 장치(200)가 발광 정보를 수신하면, 카메라 장치(200)는 A 기간의 셔터 속도로 GREEN 색상, RED 색상 및 BLUE 색상이 혼합된 제2 테스트 영상을 촬영하여 촬영 영상을 획득할 수 있다.
도 8은 본 개시에 따른 전자 장치 및 카메라 장치간의 동작을 설명하기 위한 시퀀스도이다.
도 8을 참조하면, 우선 전자 장치(100)는 테스트 영상을 투사할 수 있다(S810). 구체적으로, 전자 장치(100)는 테스트 영상을 일 영역 상에 투사하도록 발광부를 제어할 수 있다. 그리고, 전자 장치(100)는 테스트 영상이 투사되는 동안, 테스트 영상에 대한 발광 정보를 획득할 수 있다(S820). 본 개시에 따른 발광 정보는 발광부에서 발광이 시작된 시점에 대한 정보일 수 있다. 즉, 테스트 영상 기 설정된 재생률에 따라 투사되면, 전자 장치(100)는 재생률을 바탕으로 테스트 영상이 투사되기 시작한 시점에 대한 정보를 획득할 수 있다.
그리고, 전자 장치(100)는 발광 정보를 카메라 장치(200)로 전송할 수 있다(S830). 그리고, 카메라 장치(200)는 수신된 발광 정보에 의해 기결정된 프레임 속도로 테스트 영상을 촬영하여 복수의 촬영 영상을 획득할 수 있다(S840). 일 예로, 전자 장치(100)가 발광 정보를 전송하는 시점과, 카메라 장치(200)가 발광 정보를 수신하는 시점 사이에는 일정 간격(딜레이 시간)이 존재할 수 있다.
즉, 카메라 장치(200)는 발광 정보가 전자 장치(100)로부터 수신되는 시점에 테스트를 영상을 기결정된 프레임 속도(셔터 속도)로 촬영하여 촬영 영상을 획득할 수 있으며, 전자 장치(100)로부터 수신되는 복수의 발광 정보에 따라 복수의 촬영 영상을 획득할 수 있다. 즉, 카메라 장치(200)는 전자 장치(100)로부터 수신되는 발광 정보의 횟수에 대응되는 개수의 복수의 촬영 영상을 획득할 수 있다. 그리고, 일 실시 예로, 카메라 장치(200)의 기결정된 프레임 속도(셔터 속도)는 전자 장치(100)가 투사하는 테스트 영상의 재생률을 바탕으로 기결정될 수 있다.
일 예로, 전자 장치(100)가 GREEN 색상, RED 색상 및 BLUE 색상의 테스트 영상을 순차적으로 투사하고 일정 시간 경과 후, 다시 GREEN 색상, RED 색상 및 BLUE 색상의 테스트 영상을 순차적으로 투사하는 경우, GREEN 색상, RED 색상 및 BLUE 색상의 테스트 영상이 투사되는 기간 동안 테스트 영상을 각 색상 별로 촬영하도록 셔터 속도가 기 설정될 수 있다.
일 예로, 전자 장치(100)가 GREEN 색상의 테스트 영상을 투사하고 일정 시간 경과 후 RED 색상의 테스트 영상을 투사하며 일정 시간 경과 후 BLUE 색상의 테스트 영상을 투사할 수 있다. 이 경우, 전자 장치(100)는 GREEN 색상, RED 색상 및 BLUE 색상의 테스트 영상이 각각 투사되는 시점에 대한 발광 정보를 카메라 장치(200)로 전송할 수 있다. 그리고, 카메라 장치(200)는 GREEN 색상에 대한 발광 정보가 수신된 시점에, 기 설정된 셔터 속도로 테스트 영상을 촬영할 수 있다. 그리고, 카메라 장치(200)는 RED 색상에 대한 발광 정보가 수신된 시점에, 기 설정된 셔터 속도로 테스트 영상을 촬영할 수 있다. 또한, 카메라 장치(200)는 BLUE 색상에 대한 발광 정보가 수신된 시점에, 기 설정된 셔터 속도로 테스트 영상을 촬영할 수 있다.
일 실시 예로, 전자 장치(100)가 투사하는 테스트 영상의 색상에 따라 카메라 장치(200)의 셔터 속도가 상이하게 기결정될 수 있다. 일 예로, GREEN 색상에 대한 발광 정보에 따라 촬영되는 촬영 영상의 기 설정된 셔터 속도는 다른 색상에 대한 발광 정보에 따라 촬영되는 촬영 영상의 기 설정된 셔터 속도보다 상대적으로 짧도록 기 설정되며, BLUE 색상에 대한 발광 정보에 따라 촬영되는 촬영 영상의 기 설정된 셔터 속도는 다른 색상에 대한 발광 정보에 따라 촬영되는 촬영 영상의 기 설정된 셔터 속도보다 상대적으로 길도록 기 설정될 수 있다.
그리고, 카메라 장치(200)는 발광 정보에 따라 촬영된 복수의 촬영 영상을 전자 장치(100)로 전송할 수 있다(S850).
복수의 촬영 영상을 전자 장치(100)가 수신하면, 전자 장치(100)는 투사 영상의 보정 정보를 획득할 수 있다(S860). 즉, 전자 장치(100)는 복수의 촬영 영상을 바탕으로, 투사 영상을 보정하기 위한 보정 정보를 획득할 수 있으며, 보정 정보는 일 예로, 테스트 영상이 투사된 일 영역에 대한 표면의 왜곡에 대한 2차원 픽셀 변위 맵(displacement map) 및 일 영역에 대한 표면의 색상에 대한 2차원 표면 텍스쳐(surface texture) 정보를 포함할 수 있다.
그리고, 전자 장치(100)는 보정 정보에 따라 투사 영상을 조정하여 투사할 수 있다(S870). 즉, 전자 장치(100)는 보정 정보에 따라 일 영역 상에 투사할 투사 영상을 렌더링 하고, 렌더링된 투사 영상을 일 영역 상에 투사할 수 있다.
도 9는 본 개시에 따른, 전자 장치의 제어 방법을 설명하기 위한 흐름도이다.
도 9를 참조하면, 전자 장치(100)는 영상을 투사하는 발광부에 의해 테스트 영상을 투사할 수 있다(S910).
일 실시 예로, 발광부를 제1 색을 발광하는 제1 발광부, 제2 색을 발광하는 제2 발광부 및 제3 색을 발광하는 제3 발광부를 포함할 수 있다. 다만, 본 개시는 이에 한정되지 않고, 단일 색상(예로, WHITE 색상)을 발광하는 하나의 발광부와 투사되는 영상의 색상을 구분해주는 컬러 휠(color wheel)을 포함 수 있다.
테스트 영상을 투사하는 동안, 전자 장치(100)는 테스트 영상에 대한 발광 정보를 카메라 장치(200)로 전송할 수 있다(S920).
구체적으로, 전자 장치(100)는 발광부의 발광 여부를 감지하고, 발광부가 발광하는 것으로 감지되면, 카메라 장치(200)로 발광 정보를 전송할 수 있다.
그리고, 전자 장치(100)는, 발광 정보에 의해 결정된 테스트 영상의 재생률과 동기화된 프레임 속도로 테스트 영상이 투사된 영역을 촬영한 복수의 촬영 영상을 카메라 장치(200)로부터 수신할 수 있다(S930).
구체적으로, 전자 장치(100)는 발광 정보에 따라 전자 장치(100)의 재생률과 동기화된 속도로 테스트 영상이 투사된 영역을 촬영한 촬영 영상을 카메라 장치(200)로부터 수신할 수 있다. 즉, 카메라 장치(200)는 발광 정보를 수신하는 즉시 기 결정된 셔터 속도로 테스트 영상을 촬영함으로, 전자 장치(100)의 재생률과 동기화된 프레임 속도로 복수의 촬영 영상을 획득할 수 있다.
그리고, 전자 장치(100)는 복수의 촬영 영상을 바탕으로 전자 장치가 영역 상에 투사하는 투사 영상의 보정 정보를 획득할 수 있다(S940). 일 실시 예로, 보정 정보는 테스트 영상이 투사된 영역에 대한 표면의 왜곡에 대한 2차원 픽셀 변위 맵(displacement map) 및 표면의 색상에 대한 2차원 표면 텍스쳐(surface texture) 정보를 포함할 수 있다.
그리고, 전자 장치(100)는 보정 정보에 따라 투사 영상을 조정하여 투사할 수 있다(S950). 일 실시 예로, 전자 장치(100)는 2차원 픽셀 변위 맵 및 2차원 표면 텍스쳐 정보를 이용하여 픽셀 세이더를 수행함으로, 보정된 투사 영상을 획득하고, 보정된 투사 영상을 투사할 수 있다.
본 실시 예들은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하였다. 그러나 이는 특정한 실시 형태에 대해 범위를 한정하려는 것이 아니며, 본 개시의 실시 예의 다양한 변경(modifications), 균등물(equivalents), 및/또는 대체물(alternatives)을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다.
본 개시를 설명함에 있어서, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 개시의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그에 대한 상세한 설명은 생략한다.
덧붙여, 상술한 실시 예들은 여러 가지 다른 형태로 변형될 수 있으며, 본 개시의 기술적 사상의 범위가 하기 실시 예에 한정되는 것은 아니다. 오히려, 이들 실시 예는 본 개시를 더욱 충실하고 완전하게 하고, 당업자에게 본 개시의 기술적 사상을 완전하게 전달하기 위하여 제공되는 것이다.
본 개시에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 권리범위를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 개시에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
본 개시에서, "A 또는 B," "A 또는/및 B 중 적어도 하나," 또는 "A 또는/및 B 중 하나 또는 그 이상"등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, "A 또는 B," "A 및 B 중 적어도 하나," 또는 "A 또는 B 중 적어도 하나"는, (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는 (3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다.
본 개시에서 사용된 "제1," "제2," "첫째," 또는 "둘째,"등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다.
어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다.
반면에, 어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 다른 구성요소(예: 제3 구성요소)가 존재하지 않는 것으로 이해될 수 있다.
본 개시에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)," "~하는 능력을 가지는(having the capacity to)," "~하도록 설계된(designed to)," "~하도록 변경된(adapted to)," "~하도록 만들어진(made to)," 또는 "~를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성된(또는 설정된)"은 하드웨어적으로 "특별히 설계된(specifically designed to)" 것만을 반드시 의미하지 않을 수 있다.
대신, 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.
실시 예에 있어서 '모듈' 혹은 '부'는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 '모듈' 혹은 복수의 '부'는 특정한 하드웨어로 구현될 필요가 있는 '모듈' 혹은 '부'를 제외하고는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서로 구현될 수 있다.
한편, 도면에서의 다양한 요소와 영역은 개략적으로 그려진 것이다. 따라서, 본 발명의 기술적 사상은 첨부한 도면에 그려진 상대적인 크기나 간격에 의해 제한되지 않는다.
한편, 이상에서 설명된 다양한 실시 예들은 소프트웨어(software), 하드웨어(hardware) 또는 이들의 조합된 것을 이용하여 컴퓨터(computer) 또는 이와 유사한 장치로 읽을 수 있는 기록 매체 내에서 구현될 수 있다. 하드웨어적인 구현에 의하면, 본 개시에서 설명되는 실시 예들은 ASICs(Application Specific Integrated Circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적인 유닛(unit) 중 적어도 하나를 이용하여 구현될 수 있다. 일부의 경우에 본 명세서에서 설명되는 실시 예들이 프로세서 자체로 구현될 수 있다. 소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시 예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 상기 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다.
한편, 상술한 본 개시의 다양한 실시 예들에 따른 방법은 비일시적 판독 가능 매체(non-transitory readable medium)에 저장될 수 있다. 이러한 비일시적 판독 가능 매체는 다양한 장치에 탑재되어 사용될 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 방법을 수행하기 위한 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
일 실시 예에 따르면, 본 문서에 개시된 다양한 실시 예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 온라인으로 배포될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
또한, 이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시가 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.
100: 전자 장치 200: 카메라 장치

Claims (20)

  1. 영상을 투사(project)하기 위한 전자 장치에 있어서,
    영상을 투사하는 발광부(light source);
    통신 인터페이스;
    적어도 하나의 인스트럭션을 저장하는 메모리; 및
    상기 메모리에 저장된 적어도 하나의 인스트럭션을 실행하여 상기 전자 장치를 제어하는 프로세서;를 포함하고,
    상기 프로세서는,
    발광부에 의해 테스트 영상을 투사하고,
    상기 테스트 영상을 투사하는 동안 상기 테스트 영상에 대한 발광 정보를 카메라 장치에 전송하도록 상기 통신 인터페이스를 제어하고,
    상기 발광 정보를 바탕으로, 상기 테스트 영상이 투사되는 재생률(refresh rate)과 동기화된 프레임 속도로 상기 테스트 영상이 투사된 영역을 촬영한 복수의 촬영 영상을 상기 카메라 장치로부터 수신하도록 상기 통신 인터페이스를 제어하고,
    상기 복수의 촬영 영상을 바탕으로, 상기 전자 장치가 상기 영역 상에 투사하는 투사 영상의 보정(calibration) 정보를 획득하고,
    상기 보정 정보에 따라 투사 영상을 조정하여 투사하는 전자 장치.
  2. 제1항에 있어서,
    상기 프로세서는,
    상기 발광부의 발광 여부를 감지하고,
    상기 발광부가 발광하는 것으로 감지되면, 상기 카메라 장치로 상기 발광 정보를 전송하도록 상기 통신 인터페이스를 제어하고,
    상기 발광 정보에 따라 상기 재생률과 동기화된 프레임 속도로 상기 테스트 영상이 투사된 영역을 촬영한 상기 촬영 영상을 상기 카메라 장치로부터 수신하도록 상기 통신 인터페이스를 제어하는 전자 장치.
  3. 제2항에 있어서,
    상기 발광부는 제1 색을 발광하는 제1 발광부, 제2 색을 발광하는 제2 발광부 및 제3 색을 발광하는 제3 발광부를 포함하는 것을 특징으로 하는 전자 장치.
  4. 제3항에 있어서,
    상기 프로세서는,
    상기 제1 발광부가 발광하는 것으로 감지되면, 상기 제1 발광부에 대한 발광 정보를 상기 카메라로 전송하도록 상기 통신 인터페이스를 제어하며, 제1 시간 간격으로 상기 제1 발광부, 상기 제2 발광부 및 상기 제3 발광부 각각을 통해 상기 테스트 영상을 투사하도록 상기 발광부를 제어하고,
    상기 테스트 영상이 제1 시간 동안 제3 발광부를 통해 투사된 후 제2 시간이 경과되면, 상기 제1 시간 동안 제1 발광부를 통해 상기 테스트 영상을 투사하도록 상기 발광부를 제어하고, 상기 제1 발광부가 발광되는 시점에 상기 제1 발광부에 대한 발광 정보를 상기 카메라 장치로 전송하도록 상기 통신 인터페이스를 제어하는 전자 장치.

  5. 제3항에 있어서,
    상기 프로세서는,
    제1 시간 동안 상기 제1 발광부를 통해 제1 색의 테스트 영상을 투사하고, 상기 제1 발광부가 발광되는 시점에 감지된 제1 발광부에 대한 발광 정보를 상기 카메라로 전송하도록 상기 통신 인터페이스를 제어하고,
    상기 제1 색의 테스트 영상이 상기 제1 시간 동안 투사된 후 제2 시간이 경과되면, 상기 제1 시간 동안 상기 제2 발광부를 통해 상기 제2 색의 테스트 영상을 투사하고, 상기 제2 발광부가 발광되는 시점에 감지된 상기 제2 발광부에 대한 발광 정보를 상기 카메라로 전송하도록 상기 통신 인터페이스를 제어하고,
    상기 제2 색의 테스트 영상이 상기 제1 시간 동안 투사된 후 상기 제2 시간이 경과되면, 상기 제1 시간 동안 상기 제3 발광부를 통해 상기 제3 색의 테스트 영상을 투사하고, 상기 제3 발광부가 발광되는 시점에 감지된 상기 제3 발광부에 대한 발광 정보를 상기 카메라로 전송하도록 상기 통신 인터페이스를 제어하는 전자 장치.
  6. 제3항에 있어서,
    상기 제1 발광부의 발광 여부를 감지하는 제1 센서, 상기 제2 발광부의 발광 여부를 감지하는 제2 센서 및 상기 제3 발광부의 발광 여부를 감지하는 제3 센서를 포함하며,
    상기 프로세서는,
    제1 시간 동안 상기 제1 발광부를 통해 제1 색의 테스트 영상을 투사하고, 상기 제1 발광부가 발광되는 시점에 상기 제1 센서에 의해 감지된 제1 발광부에 대한 발광 정보를 상기 카메라로 전송하도록 상기 통신 인터페이스를 제어하고,
    상기 제1 색의 텍스트 영상이 상기 제1 시간 동안 투사되면, 상기 제1 시간 동안 상기 제2 발광부를 통해 상기 제2 색의 테스트 영상을 투사하고, 상기 제2 발광부가 발광되는 시점에 상기 제2 센서에 의해 감지된 제2 발광부에 대한 발광 정보를 상기 카메라로 전송하도록 상기 통신 인터페이스를 제어하고,
    상기 제2 색의 텍스트 영상이 상기 제1 시간 동안 투사되면, 상기 제1 시간 동안 상기 제3 발광부를 통해 상기 제3 색의 테스트 영상을 투사하고, 상기 제3 발광부가 발광되는 시점에 상기 제3 센서에 의해 감지된 제3 발광부에 대한 발광 정보를 상기 카메라로 전송하도록 상기 통신 인터페이스를 제어하는 전자 장치.
  7. 제3항에 있어서,
    상기 프로세서는,
    상기 제1 시간 동안 상기 제1 발광부, 상기 제2 발광부 및 상기 제3 발광부를 통해 상기 제1 색, 상기 제2 색 및 상기 제3 색이 혼합된 제1 테스트 영상을 투사하고, 상기 제1 발광부, 상기 제2 발광부 및 상기 제3 발광부가 발광되는 시점에 감지된 발광 정보를 상기 카메라 장치로 전송하도록 상기 통신 인터페이스를 제어하고,
    상기 제3 색이 혼합된 제1 테스트 영상이 상기 제1 시간 동안 투사된 후 제2 시간이 경과되면, 상기 제1 시간 동안 상기 제1 발광부, 상기 제2 발광부 및 상기 제3 발광부를 통해 상기 제3 색이 혼합된 제2 테스트 영상을 투사하고, 상기 제1 발광부, 상기 제2 발광부 및 상기 제3 발광부가 발광되는 시점에 감지된 발광 정보를 상기 카메라 장치로 전송하도록 상기 통신 인터페이스를 제어하는 전자 장치.
  8. 제1항에 있어서,
    상기 보정 정보는 상기 테스트 영상이 투사된 영역에 대한 표면의 왜곡에 대한 2차원 픽셀 변위 맵(displacement map) 및 상기 표면의 색상에 대한 2차원 표면 텍스쳐(surface texture) 정보를 포함하는 전자 장치.
  9. 제8항에 있어서,
    상기 프로세서는
    상기 2차원 픽셀 변위 맵 및 상기 2차원 표면 텍스쳐 정보를 이용하여 픽셀 세이더를 수행함으로, 보정된 투사 영상을 획득하는 전자 장치.
  10. 제1항에 있어서,
    상기 발광부는 단일 발광부로 구현되며,
    상기 프로세서는,
    컬러 휠(color wheel)에 의해 제1 색의 테스트 영상, 제2 색의 테스트 영상 및 제3 색의 테스트 영상을 순차적으로 상기 영역 상에 투사하는 전자 장치.
  11. 영상을 투사(project)하기 위한 전자 장치의 제어 방법에 있어서,
    영상을 투사하는 발광부(light source)에 의해 테스트 영상을 투사하는 단계;
    상기 테스트 영상을 투사하는 동안 상기 테스트 영상에 대한 발광 정보를 카메라 장치에 전송하는 단계;
    상기 발광 정보를 바탕으로, 상기 테스트 영상이 투사되는 재생률(refresh ratio)과 동기화된 프레임 속도로 상기 테스트 영상이 투사된 영역을 촬영한 복수의 촬영 영상을 상기 카메라 장치로부터 수신하는 단계;
    상기 복수의 촬영 영상을 바탕으로, 상기 전자 장치가 상기 영역 상에 투사하는 투사 영상의 보정 정보를 획득하는 단계; 및
    상기 보정 정보에 따라 투사 영상을 조정하여 투사하는 단계;를 포함하는 제어 방법.
  12. 제11항에 있어서,
    상기 발광 정보를 카메라 장치에 전송하는 단계는,
    상기 발광부의 발광 여부를 감지하는 단계; 및
    상기 발광부가 발광하는 것으로 감지되면, 상기 카메라 장치로 상기 발광 정보를 전송하는 단계;를 포함하며,
    상기 수신하는 단계는,
    상기 발광 정보에 따라 상기 재생률과 동기화된 프레임 속도로 상기 테스트 영상이 투사된 영역을 촬영한 상기 촬영 영상을 상기 카메라 장치로부터 수신하는 단계;를 포함하는 제어 방법.
  13. 제12항에 있어서,
    상기 발광부는 제1 색을 발광하는 제1 발광부, 제2 색을 발광하는 제2 발광부 및 제3 색을 발광하는 제3 발광부를 포함하는 것을 특징으로 하는 제어 방법.
  14. 제13항에 있어서,
    상기 테스트 영상을 투사하는 단계는,
    상기 제1 발광부가 발광하는 것으로 감지되면, 상기 제1 발광부에 대한 발광 정보를 상기 카메라로 전송하고, 제1 시간 간격으로 상기 제1 발광부, 상기 제2 발광부 및 상기 제3 발광부 각각을 통해 상기 테스트 영상을 투사하는 단계; 및
    상기 테스트 영상이 제1 시간 동안 제3 발광부를 통해 투사된 후 제2 시간이 경과되면, 상기 제1 시간 동안 제1 발광부를 통해 상기 테스트 영상을 투사하고 상기 제1 발광부에 대한 발광 정보를 상기 카메라 장치로 전송하는 단계;를 포함하는 제어 방법.
  15. 제13항에 있어서,
    상기 발광 정보를 카메라 장치에 전송하는 단계는,
    제1 시간 동안 상기 제1 발광부를 통해 제1 색의 테스트 영상을 투사하고, 상기 제1 발광부가 발광되는 시점에 감지된 제1 발광부에 대한 발광 정보를 상기 카메라로 전송하는 단계;
    상기 제1 색의 테스트 영상이 상기 제1 시간 동안 투사된 후 제2 시간이 경과되면, 상기 제1 시간 동안 상기 제2 발광부를 통해 상기 제2 색의 테스트 영상을 투사하고, 상기 제2 발광부가 발광되는 시점에 감지된 상기 제2 발광부에 대한 발광 정보를 상기 카메라로 전송하는 단계; 및
    상기 제2 색의 테스트 영상이 상기 제1 시간 동안 투사된 후 상기 제2 시간이 경과되면, 상기 제1 시간 동안 상기 제3 발광부를 통해 상기 제3 색의 테스트 영상을 투사하고, 상기 제3 발광부가 발광되는 시점에 감지된 상기 제3 발광부에 대한 발광 정보를 상기 카메라로 전송하는 단계;를 포함하는 제어 방법.
  16. 제13항에 있어서,
    상기 테스트 영상을 투사하는 단계는,
    제1 시간 동안 상기 제1 발광부를 통해 제1 색의 테스트 영상을 투사하고, 상기 제1 발광부가 발광되는 시점에 상기 제1 발광부의 발광 여부를 감지하는 제1 센서에 의해 감지된 제1 발광부에 대한 발광 정보를 상기 카메라로 전송하는 단계;
    상기 제1 색의 텍스트 영상이 상기 제1 시간 동안 투사되면, 상기 제1 시간 동안 상기 제2 발광부를 통해 상기 제2 색의 테스트 영상을 투사하고, 상기 제2 발광부가 발광되는 시점에 상기 제2 발광부의 발광 여부를 감지하는 제2 센서에 의해 감지된 제2 발광부에 대한 발광 정보를 상기 카메라로 전송하는 단계; 및
    상기 제2 색의 텍스트 영상이 상기 제1 시간 동안 투사되면, 상기 제1 시간 동안 상기 제3 발광부를 통해 상기 제3 색의 테스트 영상을 투사하고, 상기 제3 발광부가 발광되는 시점에 상기 제3 발광부의 발광 여부를 감지하는 제3 센서에 의해 감지된 제3 발광부에 대한 발광 정보를 상기 카메라로 전송하는 단계;를 포함하는 제어 방법.
  17. 제13항에 있어서,
    상기 테스트 영상을 투사하는 단계는,
    상기 제1 시간 동안 상기 제1 발광부, 상기 제2 발광부 및 상기 제3 발광부를 통해 상기 제1 색, 상기 제2 색 및 상기 제3 색이 혼합된 제1 테스트 영상을 투사하고, 상기 제1 발광부, 상기 제2 발광부 및 상기 제3 발광부가 발광되는 시점에 감지된 발광 정보를 상기 카메라 장치로 전송하는 단계; 및
    상기 제3 색이 혼합된 제1 테스트 영상이 상기 제1 시간 동안 투사된 후 제2 시간이 경과되면, 상기 제1 시간 동안 상기 제1 발광부, 상기 제2 발광부 및 상기 제3 발광부를 통해 상기 제3 색이 혼합된 제2 테스트 영상을 투사하고, 상기 제1 발광부, 상기 제2 발광부 및 상기 제3 발광부가 발광되는 시점에 감지된 발광 정보를 상기 카메라 장치로 전송하는 단계;를 포함하는 제어 방법.
  18. 제11항에 있어서,
    상기 보정 정보는 상기 테스트 영상이 투사된 영역에 대한 표면의 왜곡에 대한 2차원 픽셀 변위 맵(displacement map) 및 상기 표면의 색상에 대한 2차원 표면 텍스쳐(surface texture) 정보를 포함하는 제어 방법.
  19. 제18항에 있어서,
    상기 투사 영상을 조정하여 투사하는 단계는,
    상기 2차원 픽셀 변위 맵 및 상기 2차원 표면 텍스쳐 정보를 이용하여 픽셀 세이더를 수행함으로, 보정된 투사 영상을 획득하는 단계를 포함하는 제어 방법.
  20. 제11항에 있어서,
    상기 발광부는 단일 발광부로 구현되며,
    상기 테스트 영상을 투사하는 단계는,
    컬러 휠(color wheel)에 의해 제1 색의 테스트 영상, 제2 색의 테스트 영상 및 제3 색의 테스트 영상을 순차적으로 상기 영역 상에 투사하는 단계인 제어 방법.
KR1020210031391A 2021-03-10 2021-03-10 전자 장치 및 이의 제어 방법 KR20220126977A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020210031391A KR20220126977A (ko) 2021-03-10 2021-03-10 전자 장치 및 이의 제어 방법
PCT/KR2022/000756 WO2022191410A1 (ko) 2021-03-10 2022-01-14 전자 장치 및 이의 제어 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210031391A KR20220126977A (ko) 2021-03-10 2021-03-10 전자 장치 및 이의 제어 방법

Publications (1)

Publication Number Publication Date
KR20220126977A true KR20220126977A (ko) 2022-09-19

Family

ID=83226910

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210031391A KR20220126977A (ko) 2021-03-10 2021-03-10 전자 장치 및 이의 제어 방법

Country Status (2)

Country Link
KR (1) KR20220126977A (ko)
WO (1) WO2022191410A1 (ko)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6016068B2 (ja) * 2012-05-16 2016-10-26 株式会社リコー 画像投影装置及びその制御方法並びにプログラム
JP2017016027A (ja) * 2015-07-03 2017-01-19 カシオ計算機株式会社 投影システム、投影制御装置、投影制御方法及びプログラム
US11146766B2 (en) * 2017-02-03 2021-10-12 Maxell, Ltd. Projection-type video display device
JP2019114887A (ja) * 2017-12-22 2019-07-11 キヤノン株式会社 投射型画像表示装置およびその制御方法
JP7140514B2 (ja) * 2018-03-07 2022-09-21 キヤノン株式会社 投射型表示装置およびその制御方法

Also Published As

Publication number Publication date
WO2022191410A1 (ko) 2022-09-15

Similar Documents

Publication Publication Date Title
US11699219B2 (en) System, method, and computer program for capturing an image with correct skin tone exposure
US20220210313A1 (en) System and method for generating a digital image
EP3105713B1 (en) System and method for generating a digital image
JP2020184786A (ja) 高ダイナミックレンジ(hdr)画素ストリームを生成するための装置、コンピュータプログラムおよび方法
KR102599950B1 (ko) 전자 장치 및 그 제어 방법
CA2944949C (en) Automatic chroma key background generator with incident key lighting
US9167174B1 (en) Systems and methods for high-dynamic range images
CN106576159A (zh) 一种获取深度信息的拍照设备和方法
US20180373134A1 (en) Projector apparatus, projection method, and storage medium storing program
JP2015037250A (ja) 画像投影装置及びプレゼンテーションシステム
TW201622409A (zh) 同時顯示led光下的影像投射及擷取技術
TW202235909A (zh) 高解析度飛行時間深度成像
EP3175291B1 (en) Image projection and capture with adjustment for white point
US10205940B1 (en) Determining calibration settings for displaying content on a monitor
JP2021118413A (ja) プロジェクターの制御方法、プロジェクター、及び表示システム
CN110235442B (zh) 投射型影像显示装置
KR20220126977A (ko) 전자 장치 및 이의 제어 방법
US11315268B2 (en) Image processing methods, image processing apparatuses and electronic devices
US20200374420A1 (en) Image processing apparatus, image processing method, and storage medium
US11138761B2 (en) Image processing apparatus, image processing method, and storage medium
JP6523908B2 (ja) コード読取装置、コード読取方法、およびプログラム
US20160006998A1 (en) Image processing device and method thereof
JP5200599B2 (ja) スクリーン、光学特性測定システム、および光学特性測定方法
Alencar et al. Closed-loop calibration of RGB LED consumer projectors
JP2014135695A (ja) 投影装置、投影制御方法、及び投影システム