KR100834638B1 - 영상 투사기의 영상 색상 조절 방법 및 그 장치 - Google Patents

Abstract

본 발명은 휴대용 영상 투사기가 투영될 당시의 배경색의 영향을 고려한 휴대용 영상 투사기의 색 보정기술에 관한 것으로, 인간 시각의 칼라 항상성(color constancy) 기법을 도입하여 투영될 배경색의 영향을 보정하여 화이트스크린에서 획득 가능한 고화질의 영상을 재현하고자 한다. 본 발명에 따른 휴대용 영상 투사기의 배경색을 고려한 색 보정 기술은 휴대용 카메라를 사용한 투영면의 배경색 유무를 판별하는 단계, 원 영상과 카메라로 촬영된 영상의 공간적인 위치를 연결시키기 위한 마스크 영상의 영상크기 변환 단계, 배경색의 다양한 밝기 값의 분포로 인한 투영된 영상의 밝기의 비 균일성을 보정하는 마스크 영상의 밝기 보정 단계, 배경색의 다양한 색상으로 투영된 영상의 색상 왜곡을 보정하기 위한 배경색 보정 단계로 이루어지고, 배경색 보정 단계는 백색 스크린의 색도값을 미리 설정하는 초기화 단계와 인간 시각의 칼라 항상성 기법을 적용한 색도 보정 단계로 구성된다.

영상 투사기, 색상, 변환, 외부, 스크린, 카메라

Description

영상 투사기의 영상 색상 조절 방법 및 그 장치{METHOD AND APPARATUS FOR ADJUSTING MAGE COLOR FOR BEAM PROJECTOR}

도 1은 본 발명의 제1실시예에 따른 영상 투사기를 구비한 이동통신 단말기의 전체 블록 구성도

도 2는 본 발명의 일 실시예에 따른 영상 투사기의 영상 색상 조절 동작의 흐름도

도 3은 도 1 중 배경색 유무 판단 과정의 상세 흐름도

도 4는 도 1 중 색보정 기술부의 상세 동작 흐름도

도 5는 도 4 중 마스크 영상의 밝기의 비균일성 보정 단계의 상세 흐름도

도 6은 도 4의 칼라 항상성을 이용한 색도 보정 단계의 상세 흐름도

본 발명은 영상 투사기 및 디스플레이 장치로서 영상 투사기를 구비하는 다양한 장치(예를 들어 이동통신 단말기)들에서 영상 투사기를 통해 영상을 외부에 투사할 때 투사될 영상의 색상을 조절하기 위한 방법 및 그 장치에 관한 것이다.

통상적으로 영상을 투사할 수 있는 기능을 가진 장치는, 사용자가 지정한 임의의 방향 및 장소로 영상을 투사할 수 있다. 이때 영상 투사 장치는 메모리에 저장되어 있는 영상 데이터나 또는 영상 입력 단자를 통하여 들어온 영상 신호를 스크린에 표시하게 된다. 영상이 맺히는 곳은 사용자가 설치한 스크린이 될 수 있으며, 또는 흰색 벽 또는 임의의 색상을 지닌 평면이 스크린으로 이용될 수 있다. 이와 같이 영상이 표시될 수 있는 곳은 사용자가 원하는 어떠한 것도 될 수 있다.

이처럼 영상 투사기는 해당 장치의 외부에 영상을 투사하는 것으로 일반적으로 LCD와 같은 내부 표시 장치와는 다른 특성을 가지고 있다. 내부 표시 장치는 필요한 설정을 쉽게 할 수 있으며, 그 설정된 값들을 이용하여 영상의 색상을 효과적으로 표시 가능하다. 하지만, 영상 투사기와 같은 외부 표시장치는 영상의 색상이 영상이 투사되는 환경, 예를 들어 외부 광원의 밝기, 스크린의 색상 등에 많은 영향을 받는다. 이와 같은 투사 환경은 일반적으로 투사된 영상의 화질에 좋지 않는 영향을 미치는데, 투사 환경에 대한 처리 없이 내부 표시 장치에서와 같은 방식으로 영상을 투사하게 된다면 투사 영상의 화질이 떨어지게 된다. 특히 최근 들어 휴대용 단말기와 같은 이동 환경에 채용된 영상 투사기에서는 이러한 문제점은 더욱 커지게 된다.

휴대용 단말기는 이제 단순히 의사 소통을 위한 통신 수단이 아니라, 인터넷 쇼핑, 폰뱅킹, 카메라 촬영 및 방송 시청, 오락, 생체 진단 등 일반 사용자들에게 다양한 생활 정보와 문화를 제공하는 멀티-엔터테이너(multi-entertainer)로 인식되고 있다. 특히, 동영상촬영, 영화 감상, 3차원 게임 등과 같은 다양한 컨텐츠를 실현하기 위해, 휴대용 단말기에 디지털 카메라, 디지털 멀티미디어 방송 시스템(DMB), MP3 재생기와 같은 다양한 멀티미디어 장치를 소형화하여 휴대용 단말기에 내장하고 있다.

이의 일환으로, 현재 출시되고 있는 휴대용 단말기의 소화면 크기의 제약을 극복하고, 영화를 시청할 때 보다 긴장감이 넘치는 영화 감상이나 다이내믹한 오락 게임을 제공하기 위해 휴대용 단말기에 일반 빔 프로젝트의 기능을 설치하기 위한 연구들이 진행중에 있다. 그러나, 일반 영상 투사기의 렌즈, 백라이트의 소형화에 따른 저휘도, 투영된 영상의 왜곡현상과 같은 하드웨어적인 기술 문제와 함께, 휴대용 영상 투사기 자체의 색 화질의 개선 및 주위 환경의 영향으로 투영된 영상의 왜곡 문제가 제품 개발의 걸림돌이 되고 있다. 특히, 휴대용 영상 투사기는 주위 환경(광원, 스크린)이 고정된 일반 LCD(Liquid Crystal Display)나 DLP(Digital Light Processing) 영상 투사기와는 달리, 휴대용 단말기의 잦은 이동성으로 인해 주위 광원이나 투영되는 물체의 배경색에 의해 영상의 화질이 상당한 영향을 받게 된다. 따라서 휴대용 영상 투사기의 외부 조명 환경이나 투영면의 색상을 고려한 색 화질 기술 개발이 필요하다. 이에 따라 휴대용 영상 투사기가 영상을 투영할 당시의 투영면(스크린)의 물체색을 고려한 색 보정 기술이 개발되고 있다.

종래의 배경색을 고려한 색 보정 기술은 일반 영상 투사기 장비에서 인간 시각의 색 순응 현상을 이용한 배경색 보정 기술(예를 들어, Masato Tsukada,"Projector Color Reproduction Adapted to the Colored Wall Projection," CGIV 2004)이 있다. 이 방법은 CIEXYZ의 색 공간에서 인간 시각의 색 순응 모델을 도입해서 배경색의 영향을 보정한 기술이지만, 칼라 센서의 RGB 출력 값과 CIEXYZ 값의 관계를 도출하는 장치 특성화(characterization) 기술의 오차로 인해 배경색 보정에 많은 오차를 수반하며, 특히 CIEXYZ 색 공간에서의 색 보정 기술은 색역 사상(gamut mapping)과정과 장치 특성화 과정의 많은 연산량으로 인해 실시간 구현이 어려웠다.

본 발명은 전술한 바와 같은 문제점을 해결하기 위하여 안출된 것으로, 배경색의 존재 유무를 휴대용 단말기 등에 내장된 카메라를 사용해서 판별하고, 배경색이 존재할 때 배경색의 다양한 밝기 값과 색상의 분포로 인한 투영된 영상의 밝기의 비 균일성과 색상 왜곡을 RGB 색 공간에서 인간 시각의 칼라 항상성 기법을 실시간으로 적용해서 배경색의 영향을 제거한 고화질의 영상을 재현하고자 한다.

이하 본 발명에 따른 바람직한 실시예를 첨부한 도면을 참조하여 상세히 설명한다. 하기 설명에서는 구체적인 구성 소자 등과 같은 특정 사항들이 나타나고 있는데 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐 이러한 특정 사항들이 본 발명의 범위 내에서 소정의 변형이나 혹은 변경이 이루어질 수 있음은 이 기술분야에서 통상의 지식을 가진 자에게는 자명하다 할 것이다.

도 1은 본 발명의 제1실시예에 따른 영상 투사기를 구비한 이동통신 단말기 의 전체 블록 구성도로서, 본 발명에서는 영상 투사기를 구비하는 다양한 장치들 중에서 도 1에 도시된 바와 같이, 이동통신 단말기를 예로 들어 설명하도록 한다. 도 1을 참조하면, 본 발명의 일 실시예에 따른 이동통신 단말기는 제어부(2), 메모리(4), 키입력부(6), 음성 처리부(6), 무선부(10), 제1표시부(12), 영상 투사기(14) 및 카메라(16)를 포함한다.

키입력부(6)는 사용자로부터 전화 번호 또는 문자를 입력받기 위한 장치로서, 숫자 및 문자 정보를 입력하기 위한 키들 및 각종 기능을 설정하기 위한 기능키들을 구비하며, 이의 입력 신호를 제어부(2)로 출력한다. 제1표시부(12)는 이동통신 단말기의 내부 표시 장치로서, 액정표시장치(Liquid Crystal Display :LCD) 등과 같은 표시장치로 이루어질 수 있으며, 제어부(2)에서 입력받은 영상 출력 신호를 스크린에 출력하는 기능을 수행한다.

무선부(10)는 사용자의 음성 데이터 및 제어 데이터를 무선 신호로 변환하여 이동통신망의 기지국(미도시)으로 송신하고, 기지국으로부터 무선 신호를 수신하여 음성 데이터 및 제어 데이터로 변환하여 출력한다. 음성처리부(8)는 제어부(2)의 제어하에, 상기 무선부(10)에서 수신한 음성 데이터를 디코딩하여 스피커(speaker)를 통해 가청음으로 출력하며, 마이크로폰(microphone)으로부터 입력되는 사용자의 음성신호를 데이터화하여 무선부(10)로 출력한다.

카메라(16)는 제어부(2)의 일반적인 디지털 카메라 기능을 수행하며, 외부 피사체로부터 입력되는 가시 영상 신호를 적절한 포맷의 디지털 영상 데이터로 변환한다. 영상 투사기(14)는 일반 투사기 기능을 이동통신 단말기에서 수행할 수 있 도록 구성된 장치이며, 광원, 투과성 디스플레이 장치, 렌즈 등으로 구성될 수 있다. 영상 투사기(14)는 제어부(2)에서 입력받은 투사 영상 출력 신호를 외부로 투사하는 기능을 수행한다.

제어부(2)는 상기 각 기능부들의 동작을 총괄적으로 제어하여 이동통신 단말기의 전반적인 동작을 제어하는 기능을 수행한다. 즉, 제어부(2)는 키입력부(6)를 통해 입력된 번호 및 메뉴 선택 신호에 따른 처리를 수행하고, 카메라(16)를 통해 외부 촬영 영상 신호를 입력받고 그에 따른 처리를 수행하며, 카메라 촬영 영상을 비롯한 각종 동작에 필요한 영상 출력 신호를 제1표시부(12) 또는 영상 투사기(14)를 이용하여 출력하게 된다. 이때 필요에 따라 메모리(4)에 저장된 출력할 내용을 가지고 오거나, 또는 그 내용을 메모리(4)에 저장한다. 메모리(4)는 제어부(2)의 동작 관련된 다수의 프로그램과 데이터를 저장하고 있으며, 또한 이동통신 단말기의 사용시에 필요한 정보 및 카메라 촬영 영상 정보를 저장하는데 사용된다.

이러한 구성을 가지는 이동통신 단말기는 카메라 기능을 포함하여 통상적인 이동통신 서비스 관련 동작을 수행하며, 영상 투사기(14)를 통해 본 발명과 관련된 영상 투사 기능을 수행하게 된다. 이와 같이 영상 투사기를 구비한 이동통신 단말기에 관한 기술로는 본원 출원인에 의해 선출원된 특허 출원번호 제2004-29693호(명칭: 영상 프로젝터를 구비한 휴대용 단말기 및 그의 제어방법, 발명자: 김성구, 출원일: 2004. 4. 28)에 개시된 바를 예로 들 수 있다.

한편, 본 발명의 특징에 따른 이동통신 단말기에서는 상기 영상 투사 동작시에 상기 제어부(2)에서는 상기의 기능 외에도 본 발명의 특징에 따라 영상 색상 조 절 동작을 추가로 더 수행하게 된다. 아울러, 상기 메모리(4)에는 본 발명의 특징에 따라 제어부(2)에서 영상 투사 동작과 관련된 프로그램이나, 색상 조절을 위한 관련 정보를 추가로 더 저장하며, 필요시 제어부(2)로 이에 대한 정보를 출력하게 된다. 이하 첨부 도면을 참조하여 본 발명에 따른 색상 조절 동작에 대해 보다 상세히 설명하기로 한다.

도 2는 본 발명의 일 실시예에 따른 영상 투사기의 영상 색상 조절 동작의 흐름도이다. 도 2를 참조하면, 본 발명의 영상 색상 조절 동작은 먼저, 투영면의 배경색을 판별하기 위해, RGB의 백색 신호(255,255,255)를 배경색의 투영면에 출력한다(202과정). 이후, 휴대용 단말기에 내장된 카메라(16)를 사용하여 해당 투영면을 촬영하므로 배경색을 촬영하며, 촬영된 RGB 영상의 평균값의 색도 값을 계산하여 백색 외의 배경색 존재 유무를 판별한다(204과정). 판단 결과 배경색이 존재할 경우에는 본 발명의 특징에 따른 배경색 보정 기술부로 이동하여 색보정 기술을 적용하며(208과정), 보정된 RGB 결과 영상을 실시간으로 투영면에 출력하게 된다(210과정). 한편 상기 판단 결과 하고, 배경색이 거의 백색일 경우에는 원 영상을 그대로 휴대용 영상 투사기에 출력하거나, 휴대용 영상 투사기 자체의 색 화질 기술을 적용할 수도 있다(206과정).

도 3은 도 2의 각 과정 중 카메라를 사용해서 배경색 존재 유무를 판별하는 과정의 상세 흐름도이다. 도 3을 참조하면, 배경색 판별 여부는 원 영상을 투영하기 전에 RGB=(255,255,255) 신호로 만들어진 백색 패치를 영상 투사기(14)로 출력한 후(302단계), 카메라(16)로 배경색을 촬영한다(305). 이후 촬영된 영상(배경색) 의 각 채널의 평균값을 계산하며, RGB 신호의 절대크기가 아닌 RGB 색 신호의 총합에서 각 RGB 신호가 차지하는 비율을 나타내는 색도 값을 하기 수학식 1과 같이 구함으로써 이후 이를 통해 배경색 유무를 판별하게 한다(306단계).

상기 수학식 1에서, (R_ave, G_ave, B_ave) 값은 카메라로 촬영된 배경색의 평균값을 의미하고, (r, g)는 배경색의 색도 값을 나타낸다.

이와 같이 구해진 색도 값을 특정한 문턱치 (TH₁, TH₂) 및 (TH₃, TH₄) 영역과 비교하여(308단계), 비교 결과 색도 값이 특정 문턱치 영역 안에 있을 경우에는 배경색이 거의 화이트로 간주하고(310단계), 이 범위밖에 있을 때에는 배경색이 존재하는 것으로 판단하여(312단계) 이후 다음 과정인 배경색 보정 기술부에서 배경색 보정 동작을 수행하게 된다.

도 4는 본 발명의 일 실시예에 따른 배경색 보정 기술부의 상세 동작 흐름도로서, 이러한 배경색 보정 기술부는 제어부(2) 등의 영상 처리 모듈에 적절히 채용될 수 있다. 도 4를 참조하면, 본 발명에 따른 색보정 기술부는 마스크 영상의 영상사이즈 변환 단계(402단계), 마스크 영상의 밝기의 비균일성 보정 단계(404단계), 칼라항상성을 이용한 색도 보정 단계(404단계)로 그 동작이 수행된다.

도 4에서 마스크 영상이란 상기 도 3에서 투영면의 배경색 유무를 위해 카메 라로 촬영된 배경색 영상을 의미하고, 마스크 영상 사이즈 변환 단계(402)는 카메라로 촬영된 영상의 크기를 원 영상의 크기로 연결시키는 단계이다. 휴대용 스크린에 출력되는 원 영상의 사이즈는 240x320 이지만, 배경색 판단을 위해 카메라로 촬영된 영상의 크기는 촬영 옵션과 카메라의 성능에 따라 다양하다. 따라서, 배경색의 영향을 고려한 원 영상의 보정된 결과 영상을 획득하기 위해서는 촬영된 영상을 원 영상의 크기로 변환하는 과정이 필요하다.

마스크 영상의 영상사이즈 변환 단계에서는 하기 수학식 2와 같이 촬영된 영상과 원 영상의 가로 및 세로의 비율을 계산하여 촬영된 영상을 다운 샘플링(Down-sampling)하거나 기존의 다양한 보간법을 사용해서도 구현 가능하다.

상기 수학식 2에서, (Wc, Hc)는 휴대용 카메라로 촬영된 영상의 가로 및 세로의 크기이고, (W_D, H_D)는 원 영상의 가로 및 세로의 크기이다. n₁과 n₂는 촬영된 영상과 원 영상의 가로 및 세로의 비율을 나타내며, 'MaskImage'는 촬영된 마스크 영상이고, (x, y)는 화소의 공간적인 위치 좌표를 나타낸다. 촬영된 마스크 영상을 n_1,과 n₂의 비율만큼 다운 샘플링하여 영상 사이즈를 변환한다.

도 5는 상기 도 4에서 언급한 마스크 영상의 밝기의 비균일성 보정 단계의 상세 흐름도이다. 도 5를 참조하면, 마스크 영상이 단일 배경색이 아닐 경우, 즉 배경색이 다양한 텍스처나 배경 그림이 삽입되어 있을 때, 배경색의 위치에 따른 다양한 반사율로 투영된 영상의 밝기가 공간적으로 비 균일해지는 왜곡을 보정하는 과정이다. 투영면의 배경색은 공간적인 위치에 따라 다양한 반사율을 가지기 때문에, 촬영된 마스크 영상내의 밝기 값을 이용하여 원 영상의 밝기 값을 보정하여 투영된 영상의 밝기를 균일하게 보정할 수 있다.

촬영된 마스크 영상의 밝기의 보정 기술은 먼저, 원 영상과 마스크 영상의 RGB 값을 휘도신호와 색 신호를 분리할 수 있는 YCbCr 색 공간 좌표로 이동한 후, 마스크 영상의 휘도의 평균 값(Y_{MaskImage-Ave})을 계산한다(502, 504, 506스텝). 이후 마스크 영상의 휘도의 평균값(Y_{MaskImage-Ave})을 기준으로 해서 마스크 영상의 각 화소에 대응되는 휘도 값(Y_MaskImage(x, y))의 차이값을 구하여(508스텝), 이후 이 값이 마스크 영상의 휘도의 평균값보다 높으면 그 차이 값만큼 원 영상의 휘도 값(Y(x,y))을 낮추어 주고, 반대로 마스크 영상의 각 화소에 대응되는 휘도 값이 마스크 영상의 휘도의 평균값보다 작으면 그 차이 값만큼 원 영상의 휘도 값을 높여줌으로써, 배경색의 밝기의 비균일성을 보정할 수 있다. 이러한 마스크 영상의 밝기의 비균일성 보정 단계는 하기 수학식 3으로 표현될 수 있다.

상기 수학식 3에서, (R_MaskImage(x,y), G_MaskImage(x,y), B_MaskImage(x,y))는 마스크 영상의 각 화소 값을 0-1로 정규화 한 값이고, (R_{OriginalImage}(x,y), G_{OrigihanImage}(x,y), B_{OriginalImage}(x,y))는 원 영상의 각 화소 값을 0-1로 정규화 값이다. Y_MaskImage(x,y))와 Y(x,y)는 마스크 영상과 원 영상의 값을 YCbCr 색 공간 좌표로 변환한 뒤, 획득된 휘도 값을 나타낸다.

YCbCr 색 공간 좌표계에서 색 신호 성분은 그대로 유지하고, 마스크 영상의 휘도 신호 (Y_MaskImage(x,y))와 마스크 영상의 평균 휘도값(Y_{MaskImage-Ave})의 차이를 원 영상의 휘도 값인 Y(x,y)에 더해줌으로써 배경색의 다양한 반사율로 인한 밝기의 비균일성을 보정해 줄 수 있다(510스텝). 보정된 최종 원 영상의 휘도 값 (Y_Correct(x,y))은 YCbCr 역변환을 통해 다시 RGB 영상으로 변환된다(512스텝).

도 6은 도 4의 칼라 항상성을 이용한 색도 보정 단계의 상세 흐름도로서, 이러한 단계는 원 영상을 다양한 색상을 가진 배경색에 투영했을 때, 배경색으로 인해 열화된 영상의 화질을 향상시키는 단계이다. 본 발명의 휴대용 영상 투사기는 고정된 스크린의 백색 투영면에 영상을 투영하는 일반 영상 투사기와는 달리, 휴대용 단말기의 특성으로 인해 다양한 배경색을 가진 투영면에 투영될 수 있기 때문에, 투영면의 배경색을 고려한 색 보정 기술이 필요하다. 종래의 색 순응 모델을 이용한 배경색을 보정하는 방법은 칼라 센서의 장치 특성화의 오차와 실시간 구현의 어려움이 있기 때문에, 본 발명에서는 CIEXYZ 색 공간이 아닌 RGB 색 공간에서 인간 시각의 칼라 항상성 기법을 적용한 영상 투사기의 배경색 보정 기술을 제안한다.

인간은 물체에서 반사되는 빛 에너지에 기반을 두어 주위 광원의 효과를 상쇄시켜 물체의 고유색을 인지한다. 인간 시각은 물체를 바라보는 초기단계에서 광원의 변화를 효과적으로 상쇄시키는 어떠한 기계적인 작용이 있는데, 이를 인간의 시각의 칼라항상성이라 한다. 촬영된 영상에서 광원의 영향을 배제하는 칼라 항상성 기법은 광원의 색도 값을 추정함으로써 물체색의 고유한 색을 획득할 수 있다. 이러한 기존의 칼라 항상성의 기법은 휴대용 영상 투사기의 배경색의 영향을 보정하기 위해서도 사용될 수 있다.

도 6을 참조하면, 카메라를 이용한 백색 스크린의 색도 값의 초기화 스텝(602스텝)은 카메라의 화이트밸런스 기능을 활성화하지 않은 상태에서 다양한 백색 배경색을 가진 물체색의 색도 값을 구하는 동작이다. 휴대용 영상 투사기는 다양한 백색 배경색에 투영될 수 있기 때문에, 기준이 되는 백색 스크린의 색도 값을 설정할 필요가 있다. 따라서, 휴대용 단말기에 내장된 카메라를 사용하여 다양한 백색 배경색을 가진 물체색을 촬영해서 각 채널의 평균값을 계산한 후, 기준 백색 스크린의 색도 값을 하기 수학식 4와 같이 초기화한다.

상기 수학식 4에서, (R_{average-white}, G_{average-white}, B_{average-white})는 휴대용 카메라로 촬영된 백색 배경색의 평균값이고, (r_white, g_white)는 백색 스크린의 색도값을 나타낸다.

도 6의 배경색의 평균값과 색도 값의 추정 스텝(604스텝)은 현재 투영될 배경색의 색도 값을 추정하는 동작이다. 배경색의 색도 값은 카메라를 사용해서 배경색의 평균값을 계산한 후, 하기 수학식 5와 같이 계산할 수 있다.

상기 수학식 5에서, (R_average-back, G_average-back, B_average-back)는 휴대용 카메라로 촬영된 백색 배경색의 평균값이고, (r_background, g_background,b_background)는 배경색의 색도 값이다.

도 6에서 배경색의 영향을 제거한 보정된 영상의 획득 스텝(606스텝)은 상기 스텝들에서 추정된 백색 스크린의 색도 값과 배경색의 색도 값의 비를 원 영상에 곱해줌으로써 보정된 결과 영상을 획득하는 동작이다. 배경색이 있는 투영면의 영향을 제거하기 위해서는 휴대용 영상 투사기에 인가되는 원 영상의 픽셀 값을 변경해주어야 된다. 예를 들어, 푸른 계통의 배경색에 투영된 영상이 백색 스크린에서 보는 것과 유사한 결과를 획득하기 위해서는 푸른색에 대응되는 B채널의 이득을 줄여주면 된다. 즉, 하기 수학식 6과 같이 백색 스크린의 색도 값과 배경색의 색도 값의 비를 전체 영상에 곱해줌으로써, 배경색의 영향이 제거된 보정된 결과 영상을 달성할 수 있다.

상기 수학식 6에서, (R, G, B)는 원영상의 픽셀 값이고, R', G' ,B'은 칼라 항상성이 적용된 보정된 결과 영상이다. 따라서, 보정된 결과 영상을 영상 투사기에 출력함으로써, 배경색의 영향이 제거된 백색 스크린하에서 보이는 결과 영상을 재현할 수 있게 된다.

상기와 같이 본 발명의 일 실시예에 따른 영상 투사기의 영상 색상 조절 동작이 이루어질 수 있으며, 한편 상기한 본 발명의 설명에서는 구체적인 실시예에 관해 설명하였으나 여러 가지 변형이 본 발명의 범위를 벗어나지 않고 실시될 수 있다. 따라서 본 발명의 범위는 설명된 실시예에 의하여 정할 것이 아니고 청구범위와 청구범위의 균등한 것에 의하여 정하여져야 할 것이다.

상기한 바와 같이, 본 발명에 따른 영상 투사기의 영상 색상 조절 방식은 스크린의 배경색을 고려한 휴대용 영상 투사기의 색 보정 기술을 사용하여, 휴대용 단말기에 내장된 휴대용 카메라를 이용해서 배경색의 색도 값을 추출한 후, 색도 범위를 평가함으로써 배경색의 유무를 판단하는 기법을 제안하였고, 인간 시각의 칼라 항상성 기법을 배경색의 색 보정에 적용함으로써 화이트 스크린에서 보이는 영상과 유사한 결과 영상을 획득하여 고화질의 색 재현을 달성할 수 있다. 또한 색 보정 기술의 전체 프로세서가 간단하고, 연산량이 적기 때문에 실시간 구현의 장점이 있다. 또한 이러한 본 발명의 색상 조절 방식은 휴대용 영상 투사기뿐만 아니라, 일반 영상 투사기까지 적용가능함은 물론이다.

Claims (16)

1. 삭제
2. 삭제
3. 영상 투사기의 투사 영상 색상 조절 방법에 있어서,

   백색 신호를 투영면에 출력하는 과정과,

   상기 투영면을 촬영하므로 배경색을 촬영하는 과정과,

   상기 촬영된 배경색의 평균값의 색도 값을 계산하여 백색 외의 배경색 존재 유무를 판별하는 과정과,

   상기 판별 결과 배경색이 존재할 경우에는 상기 배경색에 따라 출력 영상의 색보정을 수행하는 과정과,

   상기 보정된 결과 영상을 실시간으로 투영면에 출력하는 과정을 포함하며,

   상기 배경색 존재 유무를 판별하는 과정은

   상기 촬영된 배경색의 각 채널의 평균값을 계산하며, RGB 색 신호의 총합에서 각 RGB 신호가 차지하는 비율을 나타내는 색도 값을 하기 수학식 7과 같이 구하는 단계와,

   상기 구해진 색도 값을 미리 설정된 문턱치 영역과 비교하여, 비교 결과에 따라 배경색 유무를 판단하는 단계를 포함함을 특징으로 하는 투사 영상 색상 조절 방법.

   

   상기 수학식 7에서, (R_ave, G_ave, B_ave) 값은 상기 배경색의 평균값을 의미하고, (r, g)는 배경색의 색도 값을 나타낸다.
4. 영상 투사기의 투사 영상 색상 조절 방법에 있어서,

   백색 신호를 투영면에 출력하는 과정과,

   상기 투영면을 촬영하므로 배경색을 촬영하는 과정과,

   상기 촬영된 배경색의 평균값의 색도 값을 계산하여 백색 외의 배경색 존재 유무를 판별하는 과정과,

   상기 판별 결과 배경색이 존재할 경우에는 상기 배경색에 따라 출력 영상의 색보정을 수행하는 과정과,

   상기 보정된 결과 영상을 실시간으로 투영면에 출력하는 과정을 포함하며,

   상기 배경색에 따라 출력 영상의 색보정을 수행하는 과정은

   상기 촬영된 배경색 영상을 마스크 영상으로 하여 투사하려는 원 영상의 사이즈로 영상사이즈를 변환 단계와,

   상기 마스크 영상의 밝기 값을 이용하여 원 영상의 밝기 값을 보정하므로, 상기 사이즈 변환된 마스크 영상의 밝기의 비균일성을 보정하는 단계를 포함함을 특징으로 하는 투사 영상 색상 조절 방법.
5. 제4항에 있어서, 상기 마스크 영상의 영상사이즈 변환 단계는 상기 촬영된 배경색의 영상과 상기 원 영상의 가로 및 세로의 비율을 계산하여 촬영된 영상을 다운 샘플링(Down-sampling) 또는 보간하여 수행함을 특징으로 하는 투사 영상 색상 조절 방법.
6. 제5항에 있어서, 상기 영상사이즈 변환 동작은 하기 수학식 8에 따라 수행함을 특징으로 하는 투사 영상 색상 조절 방법.

   

   상기 수학식 8에서, (Wc, Hc)는 상기 촬영된 배경색의 영상의 가로 및 세로의 크기이고, (W_D, H_D)는 원 영상의 가로 및 세로의 크기이며, n₁과 n₂는 상기 촬영된 배경색의 영상과 상기 원 영상의 가로 및 세로의 비율을 나타내며, 상기 'MaskImage'는 촬영된 마스크 영상이고, (x, y)는 화소의 공간적인 위치 좌표를 나타내며, 상기 마스크 영상을 상기 n_1,과 n₂의 비율만큼 다운 샘플링 또는 보간하여 영상 사이즈를 변환한다.
7. 제4항에 있어서, 상기 사이즈 변환된 마스크 영상의 밝기의 비균일성을 보정하는 단계는 상기 원 영상과 상기 마스크 영상의 RGB 값을 휘도신호와 색 신호를 분리하기 위해 YCbCr 색 공간 좌표로 이동한 후, 상기 마스크 영상의 휘도의 평균 값을 계산하며, 상기 마스크 영상의 휘도의 평균 값을 기준으로 상기 마스크 영상의 각 화소에 대응되는 휘도 값의 차이값을 구하여, 상기 차이 값에 따라 원 영상의 휘도 값을 조절함을 특징으로 하는 투사 영상 색상 조절 방법.
8. 제7항에 있어서, 상기 사이즈 변환된 마스크 영상의 밝기의 비균일성을 보정 동작은 하기 수학식 9에 따라 수행함을 특징으로 하는 투사 영상 색상 조절 방법.

   

   상기 수학식 9에서, (R_MaskImage(x,y), G_MaskImage(x,y), B_MaskImage(x,y))는 마스크 영상의 각 화소 값을 0-1로 정규화 한 값이고, (R_{OriginalImage}(x,y), G_{OrigihanImage}(x,y), B_{OriginalImage}(x,y))는 원 영상의 각 화소 값을 0-1로 정규화 값이며. Y_MaskImage(x,y))와 Y(x,y)는 마스크 영상과 원 영상의 값을 YCbCr 색 공간 좌표로 변환한 뒤, 획득된 휘도 값을 나타내며, (Y_Correct(x,y))는 보정된 최종 원 영상의 휘도 값을 나타낸다.
9. 제4항에 있어서, 상기 배경색에 따라 출력 영상의 색보정을 수행하는 과정은

   상기 밝기의 비균일성이 보정된 영상을 칼라항상성을 이용한 색도 보정을 수행하는 단계를 더 포함함을 특징으로 하는 투사 영상 색상 조절 방법.
10. 제9항에 있어서, 상기 칼라항상성을 이용한 색도 보정을 수행하는 단계는

    다수의 사용 환경의 백색 배경색을 가진 물체색의 색도 값을 구하여 각 채널의 평균 값에 따라 기준 백색 스크린의 색도 값을 구하는 스텝과,

    상기 촬영된 배경색의 평균값을 계산하여 이를 이용하여 상기 촬영된 배경색의 색도 값을 구하는 스텝과,

    상기 기준 백색 스크린의 색도 값과 상기 배경색의 색도 값의 비를 원 영상에 곱하여 보정된 결과 영상을 획득하는 스텝을 포함함을 특징으로 하는 투사 영상 색상 조절 방법.
11. 제10항에 있어서, 상기 기준 백색 스크린의 색도 값은 하기 수학식 10에 따라 구하며, 상기 촬영된 배경색의 색도 값은 하기 수학식 11에 따라 구하며, 상기 보정된 결과 영상을 획득하는 것은 하기 수학식 12에 따라 구함을 특징으로 하는 특징으로 하는 투사 영상 색상 조절 방법.

    

    상기 수학식 10에서, (R_{average-white}, G_{average-white}, B_{average-white})는 상기 다수의 사용 환경의 백색 배경색을 가진 물체색의 평균값이고, (r_white, g_white)는 상기 기준 백색 스크린의 색도 값을 나타낸다.

    

    상기 수학식 11에서, (R_average-back, G_average-back, B_average-back)는 상기 촬영된 배경색의 평균 값이고, (r_background, g_background,b_background)은 상기 촬영된 배경색의 색도 값이다.

    

    상기 수학식 12에서, (R, G, B)는 원 영상의 픽셀 값이고, R', G' ,B'은 상기 보정된 결과 영상의 픽셀 값이다.
12. 영상 투사기의 투사 영상 색상 조절 방법에 있어서,

    백색 신호를 투영면에 출력하는 과정과,

    상기 투영면을 촬영하므로 배경색을 촬영하는 과정과,

    상기 촬영된 배경색의 평균값의 색도 값을 계산하여 백색 외의 배경색 존재 유무를 판별하는 과정과,

    상기 판별 결과 배경색이 존재할 경우에는 상기 배경색에 따라 출력 영상의 색보정을 수행하는 과정과,

    상기 보정된 결과 영상을 실시간으로 투영면에 출력하는 과정을 포함하며,

    상기 배경색 존재 유무를 판별하는 과정은 상기 촬영된 배경색의 각 채널의 평균값을 계산하며, RGB 색 신호의 총합에서 각 RGB 신호가 차지하는 비율을 나타내는 색도 값을 구하는 단계와,

    상기 구해진 색도 값을 미리 설정된 문턱치 영역과 비교하여, 비교 결과에 따라 배경색 유무를 판단하는 단계를 포함하며,

    상기 배경색에 따라 출력 영상의 색보정을 수행하는 과정은 상기 촬영된 배경색 영상을 마스크 영상으로 하여 투사하려는 원 영상의 사이즈로 영상사이즈를 변환 단계와,

    상기 마스크 영상의 밝기 값을 이용하여 원 영상의 밝기 값을 보정하므로, 상기 사이즈 변환된 마스크 영상의 밝기의 비균일성을 보정하는 단계를 포함함을 특징으로 하는 투사 영상 색상 조절 방법.
13. 제12항에 있어서, 상기 마스크 영상의 영상사이즈 변환 단계는 상기 촬영된 배경색의 영상과 상기 원 영상의 가로 및 세로의 비율을 계산하여 촬영된 영상을 다운 샘플링(Down-sampling) 또는 보간하여 수행함을 특징으로 하는 투사 영상 색상 조절 방법.
14. 제12항에 있어서, 상기 사이즈 변환된 마스크 영상의 밝기의 비균일성을 보정하는 단계는 상기 원 영상과 상기 마스크 영상의 RGB 값을 휘도신호와 색 신호를 분리하기 위해 YCbCr 색 공간 좌표로 이동한 후, 상기 마스크 영상의 휘도의 평균 값을 계산하며, 상기 마스크 영상의 휘도의 평균 값을 기준으로 상기 마스크 영상의 각 화소에 대응되는 휘도 값의 차이값을 구하여, 상기 차이 값에 따라 원 영상의 휘도 값을 조절함을 특징으로 하는 투사 영상 색상 조절 방법.
15. 제12항에 있어서, 상기 배경색에 따라 출력 영상의 색보정을 수행하는 과정은

    상기 밝기의 비균일성이 보정된 영상을 칼라항상성을 이용한 색도 보정을 수행하는 단계를 더 포함함을 특징으로 하는 투사 영상 색상 조절 방법.
16. 제15항에 있어서, 상기 칼라항상성을 이용한 색도 보정을 수행하는 단계는

    다수의 사용 환경의 백색 배경색을 가진 물체색의 색도 값을 구하여 각 채널의 평균 값에 따라 기준 백색 스크린의 색도 값을 구하는 스텝과,

    상기 촬영된 배경색의 평균값을 계산하여 이를 이용하여 상기 촬영된 배경색의 색도 값을 구하는 스텝과,

    상기 기준 백색 스크린의 색도 값과 상기 배경색의 색도 값의 비를 원 영상에 곱하여 보정된 결과 영상을 획득하는 스텝을 포함함을 특징으로 하는 투사 영상 색상 조절 방법.

Images