KR100442597B1

KR100442597B1 - 자동이득제어 기능을 가지는 카메라를 구비한 이동통신단말기에서 디스플레이 밝기 제어를 위한 주변 밝기판정방법과 그를 이용한 디스플레이 밝기 제어방법

Info

Publication number: KR100442597B1
Application number: KR10-2001-0067479A
Authority: KR
Inventors: 이승철; 유상기
Original assignee: 삼성전자주식회사
Priority date: 2001-10-31
Filing date: 2001-10-31
Publication date: 2004-08-02
Also published as: CN1198453C; KR20030035400A; DE60235945D1; CN1426228A; EP1309187B1; US20030081133A1; EP1309187A1; US7158173B2

Abstract

본 발명은 자동이득제어(AGC: Automatic Gain Control) 기능을 가지는 카메라를 구비하는 이동통신단말기에서 다양한 사용 환경에 따른 주변 밝기의 변화에 적절하게 디스플레이 밝기를 제어할 수 있도록 주변 밝기를 판정하며 그에 따라 디스플레이 밝기를 제어할 수 있도록 한다. 이를 위한 본 발명은 카메라의 촬영에 따른 영상신호로 부터 촬영 화면에 대하여 AGC 기준 영역에 대응하는 중심부 영역과 중심부 영역을 제외한 주변부 영역의 휘도 평균값을 각각의 밝기값으로서 구하고, 주변부 밝기값을 미리 설정된 어두운 환경 임계값과 비교하고 그 결과에 대응되게 중심부 밝기값과 주변부 밝기값을 비교하여 주변 밝기를 어두운 상태와 밝은 상태 중 하나로 판정한다. 또한 디스플레이에 인가할 영상 신호의 휘도 성분만을 추출하여, 휘도 성분의 히스토그램을 구하여 명암 대비 스트레칭을 하고, 미리 설정된 조정값을 상기 판정된 주변 밝기에 따라 가감하여 밝기를 조정하여, 디스플레이에 인가할 영상 신호의 휘도 성분으로 대체한다.

Description

자동이득제어 기능을 가지는 카메라를 구비한 이동통신단말기에서 디스플레이 밝기 제어를 위한 주변 밝기 판정방법과 그를 이용한 디스플레이 밝기 제어방법{ENVIRONMENT BRIGHTNESS DECISION METHOD FOR CONTROLLING BRIGHTNESS OF DISPLAY IN MOBILE COMMUNICATION TERMINAL WITH CAMERA HAVING AUTOMATIC GAIN CONTROL FUNCTION AND METHOD FOR CONTROLLING BRIGHTNESS OF DISPLAY UTILIZING THE ENVIRONMENT BRIGHTNESS DECISION}

본 발명은 자동이득제어(AGC: Automatic Gain Control) 기능을 가지는 카메라를 구비한 이동통신단말기에 관한 것으로, 특히 주변 밝기를 판정하며 그에 따라 디스플레이(display) 밝기를 제어하는 방법에 관한 것이다.

최근 동영상 디스플레이가 가능할 뿐만아니라 카메라를 장착하여 영상을 송,수신할 수 있는 이동통신단말기가 등장하고 있다. 이러한 이동통신단말기에 사용되는 카메라는 촬상소자로서 CCD(Charge Coupled Device), CMOS(Complementary Metal Oxide Semiconductor) 등을 사용하고 있으며, AGC 기능을 가지고 있다. 상기한 AGC 기능은 촬영 화면내의 중심부에 설정되는 AGC 기준 영역에 대한 영상의 휘도 평균값이 일정 범위내에 속하도록 광량을 자동으로 조절하는 기능으로서, 밝거나 어두운 환경에서도 피사체의 감지가 가능하도록 한다. 이러한 AGC 기능을 간략히 살펴보면, 먼저 촬영에 따라 촬상소자의 센서들 중에 AGC 기준 영역에 해당하는 중심부에 있는 센서들에 의해 감지되는 영상신호의 휘도값의 평균을 구해 미리 정해진 임계 범위를 벗어나는지를 확인한다. 다음에 휘도값의 평균이 임계 범위내에 들어오도록 조리개를 조절하여 광량을 증감시키는데, 임계 범위의 상한값보다 크면 광량을 줄이고 임계 범위의 하한값보다 작으면 광량을 늘린다. 이와 같은 조절을 반복함으로서 밝거나 어두운 환경에서도 피사체에 대한 최적의 영상을 얻을 수 있게 된다.

한편 상기한 바와 같은 이동통신단말기는 디스플레이로서 LCD(Liquid Crystal Display)를 채용하고 있는데, LCD는 주변 밝기에 따라 상대적으로 사용자에게 보이는 화면의 밝기가 달라진다. 그리고 휴대용 단말기는 사용자가 휴대하므로 주변 밝기가 다양하게 변화하는 사용 환경을 가지게 된다. 이에 따라 사용자가 LCD 화면상에 디스플레이되는 영상을 선명하게 보기 위해서는 LCD의 디스플레이 밝기가 주변 밝기에 따라 적절히 조절되어야 한다. 예를 들어 어두운 곳에서는 디스플레이를 밝게 해 주어야 잘 보인다.

상기한 바와 같이 디스플레이 밝기를 조절하는 기술의 예를 들면, 1998년 5월 15일자로 공개된 대한민국 특허공개번호 1998-013821호 "액정 디스플레이의 자동 밝기 조절장치", 1999년 1월 15일자로 공개된 대한민국 특허공개번호 1999-000122호 "액정 디스플레이 화면의 밝기 자동조절방법", 2000년 6월 15일자로 공개된 대한민국 특허공개번호 2000-0032894호 "화상 전화기의 모니터 밝기 자동 제어방법" 등이 있다. 이들 중에 특허공개번호 1998-013821호는 카메라의 뷰 파인더(view finder)에 구비되는 LCD의 밝기 조절을 위해 솔라 셀을 이용하여 주변밝기를 감지하고, 그에 따라 백라이트의 밝기를 자동으로 조절함과 아울러 틸트 제어도 자동으로 수행하는 기술을 개시하고 있다. 특허공개번호 1999-000122호는 LCD를 구비하는 캠코더에 있어서 조리개(아이리스)의 개폐량을 감지하여 주변환경의 조도를 감지하고, 그에 대응하여 LCD 화면의 브라이트, 콘트라스트, 칼라를 자동 조절함으로써 촬상되는 피사체를 선명하게 볼 수 있도록 하는 기술을 개시하고 있다. 특허공개번호 2000-0032894호는 화상 전화기에서 별도의 휘도센서를 사용하지 않고 카메라 자체로 촬영된 영상의 휘도신호레벨을 해석하여 기기 주변의 밝기를 판정하고, 그 판정된 결과를 이용해서 최적의 LCD 밝기를 계산하여 LCD 모니터의 밝기를 가변 제어하는 기술을 개시하고 있다.

상기한 바와 같은 기술들에 따르면, 주변 밝기에 따라 LCD 디스플레이 밝기를 자동으로 조절할 수 있게 된다. 그러나 특허공개번호 1998-013821호는 이동통신단말기의 디스플레이에 관한 것이 아닐 뿐만 아니라 이에 따르면 주변 밝기를 감지하기 위해 별도로 솔라 셀과 이와 관련된 회로를 설치하여야 한다. 이 뿐만 아니라, 단순히 솔라 셀에 의해 감지되는 광량에 따라 주변 밝기를 감지하는 것이므로 디스플레이 밝기가 부적절하게 조절되는 경우가 발생할 수 있게 된다. 이러한 경우의 예를 들면, 솔라 셀이 LCD 앞쪽에 설치된 상태에서 LCD 뒤쪽에 밝은 광원이 위치해 있는 경우 솔라 셀은 사용자 등에 의해 반사된 빛을 감지함에 따라 주변이 밝은 상태로 감지하게 되지만, 실제 사용자에게는 LCD 화면이 상대적으로 어둡게 보이게 된다.

또한 조리개의 개폐량에 따라 주변환경의 조도를 감지하거나 카메라에 의해 촬영된 영상의 휘도신호레벨에 근거하여 주변 밝기를 판정하는 기술을 AGC 기능을 가지는 카메라를 구비한 이동통신단말기에 적용한다고 가정하면, AGC 기능으로 인해 주변 밝기를 정확히 판정해 낼 수 없게 된다. 이는 이동통신단말기의 사용 환경에서는 피사체와 배경의 밝기가 서로 다른 경우가 다양하게 발생하는데, AGC 기능은 전체 화면 중에서 일부에 불과한 AGC 기준 영역만을 중심으로 광량을 임계 범위내에 들도록 조절하므로 상대적으로 주변 밝기가 왜곡되기 때문이다. 예를 들어 역광인 상태를 가정하면, 주변 밝기는 밝은 상태이지만 피사체가 어둡게 보이므로 AGC 기능은 피사체를 밝게 하기 위해 조리개를 더 열어 광량을 증가시키게 된다. 이러한 경우 조리개의 개폐량에 따라 주변환경의 조도를 감지한다면, 주변 밝기를 어두운 상태로 잘못 판정하게 될 것이다. 또한 카메라에 의해 촬영된 영상의 전체 화면의 휘도신호레벨에 근거하여 주변 밝기를 판정하는 경우에 있어서, 피사체 전면에 밝은 광원이 있는 경우 피사체에 의해 반사되는 빛에 의해 피사체가 밝게 보이므로 AGC 기능은 피사체를 어둡게 하기 위해 조리개를 더 닫아 광량을 감소시키게 되므로, 전체 화면의 휘도신호레벨은 낮아지게 되며, 그에 따라 주변 밝기를 어두운 상태로 잘못 판정하게 될 것이다.

따라서 본 발명의 목적은 AGC 기능을 가지는 카메라를 구비하는 이동통신단말기에서 다양한 사용 환경에 따른 주변 밝기의 변화에 적절하게 디스플레이 밝기를 제어할 수 있도록 주변 밝기를 판정할 수 있는 주변 밝기 판정방법을 제공함에있다.

본 발명의 다른 목적은 AGC 기능을 가지는 카메라를 구비하는 이동통신단말기에서 주변 밝기의 변화에 적절하게 디스플레이 밝기를 제어할 수 있도록 주변 밝기를 판정하여 디스플레이 밝기를 제어할 수 있는 방법을 제공함에 있다.

도 1은 본 발명의 실시예에 따른 디스플레이 밝기 제어를 위한 주변 밝기 판정 및 디스플레이 밝기 제어장치의 블록구성도,

도 2는 통상적인 자동이득제어 기능을 가지는 카메라에서 자동이득제어를 위한 화면의 영역 구분 예시도,

도 3은 본 발명의 실시예에 따른 화면 영역 구분 예시도,

도 4는 본 발명의 실시예에 따른 디스플레이 밝기 제어를 위한 주변 밝기 판정 처리 흐름도,

도 5는 본 발명의 실시예에 따른 밝은 환경에서 카메라의 자동이득제어 과정의 시뮬레이션에 따른 화면 예시도,

도 6은 본 발명의 실시예에 따른 밝은 환경에서 역광 상황과 그 반대 상황의시뮬레이션에 따른 화면 예시도,

도 7은 본 발명의 실시예에 따른 어두운 환경에서 카메라의 자동이득제어 과정의 시뮬레이션에 따른 화면 예시도,

도 8은 본 발명의 실시예에 따른 디스플레이 밝기 제어 처리 흐름도,

도 9는 본 발명의 실시예에 따른 밝기 조정 처리 예시도.

상술한 목적을 달성하기 위한 본 발명의 주변 밝기 판정방법은, 촬영 화면내에 설정되는 AGC 기준 영역에 대한 영상의 휘도 평균값이 일정 범위내에 속하도록 광량을 자동으로 조절하는 AGC 기능을 가지는 카메라를 구비한 휴대용 단말기에서, 카메라의 촬영에 따른 영상신호로 부터 촬영 화면에 대하여 AGC 기준 영역에 대응하는 중심부 영역과 중심부 영역을 제외한 주변부 영역의 휘도 평균값을 각각의 밝기값으로서 구하고, 주변부 밝기값을 미리 설정된 어두운 환경 임계값과 비교하고 그 결과에 대응되게 중심부 밝기값과 주변부 밝기값을 비교하여 주변 밝기를 어두운 상태와 밝은 상태 중 하나로 판정한다.

또한 상술한 목적을 달성하기 위한 본 발명의 디스플레이 밝기 제어방법은, 디스플레이에 인가할 영상 신호의 휘도 성분만을 추출하여, 휘도 성분의 히스토그램을 구하여 명암 대비 스트레칭을 하고, 미리 설정된 조정값을 상기한 주변 밝기 판정방법에 따라 판정된 주변 밝기에 따라 가감하여 밝기를 조정하고, 디스플레이에 인가할 영상 신호의 휘도 성분으로 대체한다.

이하 본 발명의 바람직한 실시예를 첨부한 도면을 참조하여 상세히 설명한다. 하기 설명 및 첨부 도면에서 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략한다.

도 1은 본 발명의 실시예에 따른 디스플레이 밝기 제어를 위한 주변 밝기 판정 및 디스플레이 밝기 제어장치의 블록구성도를 보인 것으로, 전술한 바와 같이 AGC 기능을 가지는 카메라(100)를 구비한 이동통신단말기에서 주변 밝기 검출부(112)에 의해 주변 밝기를 판정함과 아울러 이와 같이 판정된 주변 밝기에 따라 밝기 조정부(106)에 의해 LCD(110) 디스플레이 밝기를 제어하며 LCD(110)에 대한 라이트(light)를 제공하기 위한 라이트 디바이스(116)를 제어하는 구성을 보인 것이다. 통상적으로 카메라(100)를 구비한 이동통신단말기에 있어서 카메라(100)는 LCD(110) 위쪽에 설치된다. 이러한 카메라(100)의 촬영에 따라 발생되는 영상신호는 비디오(video) 코덱(CODEC: coder/decoder)(102)과 주변 밝기 검출부(112)에 인가된다.

상기한 비디오 코덱(102)은 통상적으로 MPEG-1(Moving Picture Expert Group-1), MPEG-2, MPEG-4, H.261, H.263, H.26L과 같은 비디오 압축 부호화방식에 따른 비디오 인코더(encoder)와 비디오 디코더(decoder)를 구비하는 표준 비디오 코덱이 사용된다. 이러한 비디오 코덱(102)의 비디오 인코더는 카메라(100)로 부터 입력되는 영상신호를 압축 부호화하고 비디오 디코더는 수신된 압축 부호화된 영상신호를 복호화하여 원래의 영상신호를 복원한다. 만일 카메라(100)에 의해 촬영되는 영상을 LCD(110)에 디스플레이시켜야 할 경우에는 카메라(100)로 부터 발생되는 영상신호는 비디오 코덱(102)에 의해 처리되고 LCD 드라이버(108)에 인가됨으로써LCD(110)의 화면상에 영상이 디스플레이되게 된다. 한편 MPEG-1, MPEG-2, MPEG-4, H.261, H.263, H.26L과 같은 비디오 압축 부호화방식에 따른 비디오 코덱(102)은 DCT(Discret Cosine Transform)을 사용하는데, 비디오 인코더에는 DCT 블록(104)이 구비되어 압축 부호화 과정중에 DCT 처리 과정이 포함되고, 이와 대응되게 비디오 디코더에는 IDCT(Inverse Discret Cosine Transform) 블록이 구비되어 복호화 과정중에 IDCT 처리를 포함된다.

상기한 주변 밝기 검출부(112)는 후술하는 바와 같이 본 발명에 따라 카메라(100)의 촬영에 따른 영상신호로 부터 촬영 화면에 대하여 AGC 기준 영역에 대응하는 중심부 영역과 이 중심부 영역을 제외한 주변부 영역의 휘도 평균값을 각각의 밝기값으로서 구하고 그에 근거하여 주변 밝기를 판정한다. 이는 전술한 바와 같이 카메라(100)로 부터 입력되는 영상은 AGC 기능에 의해 AGC 기준 영역이 되는 중심부의 영상이 항상 일정한 범위의 밝기값을 가지는 것에 착안하여, 주변부의 밝기값과 비교하여 피사체 주변 환경의 밝기를 판정하는 것이다. 그리고 주변 밝기 판정에 휘도값만을 이용하는 이유는, 영상에서 색상은 개체 자체에 따라 밝고 어두움의 제약조건이 있는데 반하여, 색차 정보를 제외하고 휘도 정보만을 사용할 경우 상기한 제약조건으로 부터 어느 정도 자유로울 수 있기 때문이다.

그리고 통상적인 AGC 기능을 가지는 카메라(100)에서 AGC를 위한 화면의 영역은 도 2에 보인 바와 같이 전체 화면(100) 중에 중심부에 설정되는 AGC 기준 영역(202)에 대응되게 도 3의 예와 같이 전체 화면(300)의 중앙의 영역을 중심부(302)로 설정하고, 이 중심부(302)를 제외한 나머지 영역을 주변부(304)로설정한다. 여기서 도 3은 중심부(302)의 크기는 전체 화면(300)의 크기의 1/4로 설정하는 예를 보인다. 물론 도 3은 일예를 보인 것으로, 카메라(100)의 AGC 특성에 따라 중심부(302)의 크기, 위치, 형태 등을 설정한다.

상기한 바와 같은 주변 밝기 검출부(112)는 중심부의 밝기값과 주변부의 밝기값을 카메라(100)로 부터 입력되는 영상신호로 부터 직접 구하거나 비디오 코덱(102)의 비디오 인코더의 DCT 블록(104)로 부터 얻어지는 휘도 블록의 DCT DC(Direct Current) 계수를 사용하여 구한다. 이러한 처리를 위해 주변 밝기 검출부(112)는 이동통신단말기의 주제어장치, 예를 들어 퀄컴(QUALCOMM)의 MSM(Mobile System Modem) 칩을 사용하지 않고 별도의 전용 CPU(Central Processing Unit)를 사용하는 것이 바람직하다.

이제 본 발명의 실시예에 따른 주변 밝기 검출부(112)의 판정 처리를 (400)∼(426)단계로 보인 도 4를 참조하면, 주변 밝기 검출부(112)는 먼저 (400)∼(416)단계에서 카메라(100)의 촬영에 따른 영상신호로 부터 촬영 화면(300)에 대하여 도 2와 같은 AGC 기준 영역(202)에 대응하는 중심부 영역(302)과 주변부 영역(304)의 휘도 평균값을 각각의 밝기값으로서 구한다.

여기서 중심부(302)와 주변부(304)의 밝기값을 구하는 것은 카메라(100)로 부터 영상신호를 직접 입력받아 판정할 수도 있고, 비디오 코덱(102)내의 비디오 인코더에 있어서 영상데이터를 DCT하는 DCT 블록(104)에서 DCT 처리가 된 다음에 다음의 처리 과정인 양자화 블록으로 넘어가기 전에 중심부(302)와 주변부(304) 각각에 속하는 색차 블록들과 휘도 블록들 중에 휘도 블록들 각각의 첫번째 DCT 계수, 즉 (0,0) 좌표값에 해당하는 DC 계수의 값을 추출하여 처리할 수도 있다. 이는 도 1의 이동통신단말기가 상대방에게 영상을 송신하는 경우 카메라(100)에 의해 발생된 영상을 비디오 코덱(102)에 의해 압축 부호화하여 전송하게 되는데, 이 압축 부호화과정에는 DCT 과정이 포함되며, DCT 후의 DC 계수값이 해당 DCT 이미지 블록의 압축된 전체적인 에너지, 위상을 나타낸다는 DCT의 특성을 이용한 것이다. 그리고 하나의 블록 DCT 이미지는 8×8화소의 크기로서 DCT 계수가 64개인데, 이 64개의 DCT 계수들 중에 DC 계수는 해당 DCT 이미지 블록의 평균의 의미하므로 굳이 평균값을 따로 구할 필요가 없다. 또한 결과적으로 전체 화면의 화소들 중에 1/64개만을 샘플링하기 때문에 계산복잡도가 거의 없다고 볼 수 있다.

그러나 상기한 바와 같이 DCT DC계수를 이용하는 것은 비디오 코덱(102)의 비디오 인코더가 동작중인 경우에만 가능하다. 이에따라 도 4의 (400)단계에서 우선 비디오 인코더의 동작 여부를 검사하여 비디오 인코더가 동작 중이 아닌 경우에는 (402)단계를 수행하고, 비디오 인코더가 동작 중인 경우에는 (408)단계를 수행한다. 상기한 (404)단계에서는 카메라(100)의 촬영에 따라 발생되는 영상신호로 부터 휘도성분을 추출한 다음에, (404)∼(406)단계에서 이와 같이 추출한 휘도성분으로 이루어지는 화면중에서 중심부 영역(302)과 주변부 영역(304) 각각의 휘도 평균값을 구한다. 또한 상기한 (408)단계에서는 비디오 인코더의 DCT 블록(104)으로 부터 휘도 블록의 DCT DC 계수를 추출한 다음에, (410)∼(412)단계에서 이와 같이 추출한 휘도 블록의 DCT DC 계수 중에 중심부 영역(302)과 주변부 영역(304)에 속하는 휘도 블록들의 DC 계수의 평균값, 즉 각 휘도 블록의 DC 계수를 모두 더한 후휘도 블록 개수로 나눈 평균값을 각각의 휘도 평균값으로 구한다. 이후 (414)단계에서 상기한 바와 같이 휘도 평균값을 1초 간격으로 N회 반복하여 구하였는가를 검사하여, 아직 N회를 반복하지 않았으면 상기한 (400)단계부터 다시 반복하고, N회를 반복하였으면 (416)단계를 수행한다. 이에 따라 상기한 (416)단계에서는 N회만큼 얻어진 중심부(302)와 주변부(304) 각각의 N개의 휘도 평균값을 각각 평균하여 중심부(302)와 주변부(304) 각각의 밝기값으로 구한다. 여기서 N회를 반복하여 휘도 평균값들을 얻은 후 이들에 대한 평균값을 구하는 것은 일시적으로 주변 밝기 변화가 발생한다거나 이동통신단말기가 움직이는 경우 등으로 인해 주변 밝기를 잘못 판정하는 것을 방지하기 위한 것이다.

다음에 주변 밝기 검출부(112)는 (418)∼(426)단계에서 주변부 밝기값을 미리 설정된 어두운 환경 임계값과 비교하고 그 결과에 대응되게 중심부(302) 밝기값과 주변부(304) 밝기값을 비교하여 주변 밝기를 어두운 상태와 밝은 상태 중 하나로 판정한다. 이때 중심부(302) 밝기값과 주변부(304) 밝기값이 카메라(100)의 AGC로 인해 변화되며 LCD(110) 화면, 피사체, 사용자 등의 상대적인 위치뿐만아니라 밝은 광원이 있는 경우에는 이를 포함한 상대적인 위치에 따라 달라진다. 그러므로 이러한 상황들로 인해 주변 밝기를 실제와 다르게 판정하게 되는 경우가 발생되는 것을 방지하고 정확히 판정하기 위해 주변부 밝기값을 어두운 환경 임계값과 비교하고 그 결과에 대응되게 중심부(302) 밝기값과 주변부(304) 밝기값을 비교하는 것이다.

참고적으로 카메라(100)의 AGC 과정과 주변 환경에 따라 얻어지는중심부(302) 밝기값과 주변부(304) 밝기값에 대하여 시뮬레이션(simulation)을 실시한 결과를 밝힌다. 시뮬레이션에 있어서 카메라는 국내 삼성전기 사에서 시판하고 있는 컬러 USB PC 카메라인 MPC-M10을 사용하였고, 시뮬레이션에 따른 메뉴 화면은 도 5 내지 도 7에서 보는 바와 같이 구성하였다. 도 5 내지 도 7에 보이는 메뉴 화면에 있어서 두개의 화면 창들 중에 위의 화면 창은 원본 영상을 실시간으로 디스플레이하는 화면 창이고 밑의 화면 창은 휘도영상을 실시간으로 디스플레이 화면 창으로서 사각형 표시 안의 영역이 도 3의 중심부(302)에 해당하고 나머지 영역이 주변부(304)에 해당한다. 또한 하단의 "center", "edge"로 표시되는 값은 각각 상기한 바와 같은 (400)∼(416)단계의 처리에 의해 얻어지는 중심부(302)와 주변부(304)의 휘도 평균값, 즉 밝기값을 나타내는데, 휘도값을 8비트 데이터로 나타내는 경우의 예로서 0∼255가 된다. 그렇지만 최고값은 실내에서도 255에 근접하는 값까지 얻을 수 있었으나, 최저 밝기값인 0에 근접하는 값은 카메라(100)의 렌즈를 손으로 완전히 가려도 얻을 수 없었다.

한편 주변 밝기는 크게 밝은 환경과 어두운 환경으로 구분할 수 있으나, 밝은 환경은 역광 및 그 반대 상황도 고려해야 한다.

먼저 도 5는 카메라(100)가 천정에 설치된 형광등을 피사체로서 촬영하는 경우의 AGC 과정의 시뮬레이션에 따른 화면을 예시한 것으로, 촬영 시작직후에는 도 5(a)와 같이 중심부와 주변부의 휘도 차이가 거의 나지 않는 매우 밝은 화면이 AGC 진행에 따라 도 5(b)와 같이 점차 차이가 발생하는 단계를 거쳐 도 5(c)와 같이 피사체가 확인할 수 있는 화면이 얻어지게 되며 중심부와 주변부의 밝기값이 크게 차이가 나게 된다. 도 5(a)→도 5(c)의 과정에는 약 1초 정도 소요되었다. 여기서 도 5(c)를 보면 중심부 밝기값은 206으로서 중앙의 형광등의 형체가 제대로 보이지만, 조리개가 지나치게 닫혀 주변부 밝기값은 122로서 주변부에 속하는 천정이 매우 어둡게 왜곡되었음을 알 수 있다.

도 6(a)는 역광 상황을 보인 것으로, 피사체가 밝은 빛을 등지고 있어서 얼굴이 어둡게 보이며, 얼굴을 밝게 하기 위해 AGC에 의해 조리개를 열었기 때문에 주변부가 더욱 밝아진다. 그리고 중심부 밝기값 125이 주변부 밝기값 144보다 작음을 알 수 있으며, 실험 결과 언제나 중심부 밝기값이 주변부 밝기값보다 작은 조건이 성립되었다. 또한 실제 이동통신단말기의 카메라(100)와 LCD(110)는 밝은 빛을 향하고 있는 상황이므로, 이러한 경우에는 주변 밝기를 밝은 상태로 판정하여 언제나 LCD 라이트는 오프시켜도 된다. 도 6(b)는 도 6(a)와 반대 상황을 보인 것으로, 실제 카메라(100)의 주변은 광원을 등지는 상황이기 때문에 그림자가 지게 되며, 밝은 빛을 정면으로 바라 볼 경우 얼굴이 밝기 때문에 얼굴을 어둡게 하기 위하여 조리개를 닫기 때문에 주변이 어두워진다. 이때 중심부 밝기값 129와 주변부 밝기값 115이 크게 차이가 나지 않고 대체로 비슷하게 되었다. 이때 사람의 눈은 광원을 바라보므로 밝기 차이에 의해 카메라(100)가 더욱 어둡게 보이게 된다. 이와 같이 실제 이동통신단말기의 카메라(100)와 LCD(110)는 빛을 등진 상황이라 주변 밝기를 어두운 상태로 판정하여 LCD 라이트는 온시켜야 한다. 시뮬레이션 환경은 실내라 중심부와 주변부의 밝기값 차이가 별로 나지 않지만, 실외에서 화창하게 맑은 날 사용하게 되면, 아마도 LCD(110)의 주변을 손으로 가리고 라이트를 온시켜야 잘보이게 된다.

다음에 도 7은 주변이 어두운 환경에서 카메라(100)가 피사체로서 컵을 촬영하는 경우의 AGC 과정의 시뮬레이션에 따른 화면을 예시한 것으로, 촬영 시작직후에는 도 7(a)와 같이 중심부와 주변부의 휘도 차이가 거의 나지 않는 매우 어두운 화면이 AGC 진행에 따라 도 7(b)와 같이 점차 차이가 발생하는 단계를 거쳐 도 7(c)와 같이 피사체가 확인할 수 있는 화면이 얻어지게 되며 중심부와 주변부의 밝기값이 크게 차이가 나게 된다. 도 7(a)→도 7(c)의 과정에는 약 1초 정도 소요되었다. 여기서 도 7(c)를 보면 중심부 밝기값 122이 주변부 밝기값 106보다 더 큰 값을 가짐을 알 있다.

상기한 바와 같은 도 5 내지 도 7에 따른 시뮬레이션 결과를 정리하면 다음과 같다. 밝은 환경에서는 중심부나 주변부 모두 밝기값이 언제나 100이상의 값을 가지는 것으로 나타났다. 그리고 주변부 밝기값이 140이상이면 거의 99% 밝은 상황이라 판단할 수 있었으나, 밝은 상황임에도 불구하고 주변부 밝기값이 140이상 나오지 않는 경우도 적지 않았다. 또한 어두운 환경에서는 밝기값이 언제나 110이하의 값을 가지는 것으로 나타났는데, 상기한 바와 같이 밝은 환경에서도 이 값을 가질 수 있다. 그렇지만 주변부 밝기값이 80이하이면 거의 99% 어두운 상황이라 판단할 수 있었으나, 어두운 상황임에도 주변부 밝기값이 80이상 되는 경우가 많았었다. 중심부가 주변부보다 더 큰 밝기값을 가지게 되며, 주변부 밝기값이 95이하의 경우 어두운 환경으로 판단해도 큰 무리가 없는 것으로 나타났다.

상기한 바와 같은 시뮬레이션 결과에 따라 일정 밝기값, 예를 들어 120을 어두운 환경 임계값으로 설정하고, 먼저 주변부 밝기값을 어두운 환경 임계값과 비교한다. 만일 주변부 밝기값이 어두운 환경 임계값보다 큰 경우에는 대부분의 경우 밝은 환경으로 볼 수 있으나, 중심부(302)가 아주 어두운 물체이기 때문에 AGC기능으로 인해 주변부(304)가 밝은 상태로 오인될 수도 있다. 이처럼 중심부(302)가 아주 어둡기 때문에 주변부(304)가 상대적으로 밝은 상태라면, 주변부 밝기값과 중심부 밝기값을 그대로 비교하면 당연히 주변부 밝기값이 중심부 밝기값보다 크게 된다. 그러므로 주변부 밝기값과 중심부 밝기값을 그대로 비교하면, 중심부(302)가 아주 어둡기 때문에 주변 밝기가 밝은 상태로 오인되는 것인지, 아니면 실제로 주변 밝기가 밝은 상태인지를 올바르게 판정할 수 없다. 이에 따라 주변 밝기를 올바르게 판정하기 위해, 주변부 밝기값을 일정 비율만큼 줄인 다음에, 이 값(이하 "제1기준값"이라 함)을 중심부 밝기값과 비교하여, 그 결과에 따라 주변 밝기를 어두운 상태인지 아니면 밝은 상태인지를 판정한다. 이때 중심부(302)가 아주 어둡기 때문에 AGC 기능에 의해 주변부(304)가 상대적으로 밝은 상태로 되었다면, 주변부(304)가 실제보다 더 밝게 된 상태이므로, 이를 반영하여 주변부 밝기값을 줄여 제1기준값으로 정하는 것이다.상기한 바와 같이 제1기준값은 주변부(304)가 실제보다 더 밝게 된 것을 반영하여 주변부 밝기값을 줄여 정해야 하므로, 임계 비율은 당연히 1보다 작아야 하고, 0이 되어서는 의미가 없으므로 0보다 커야 한다. 또한 임계 비율은 실제 사용된 카메라(100)의 명암 및 해상도 등의 고유특성이 반영되어 설정되어야 된다. 그러므로 실제 사용된 카메라(100)의 고유특성에 따라 임계 비율을 여러 가지로 변경시키면서 실제 사용 환경에 맞게 주변 밝기를 판정하게 되는지를 시뮬레이션하여, 주변 밝기가 올바르게 판정되는 값으로 임계 비율을 설정한다. 따라서 임계 비율을 정하는 기준은, 0 < 임계 비율 < 1의 범위 내에서 설정하되, 본 발명이 적용되는 이동통신단말기에 실제 사용된 카메라(100)의 명암 및 해상도 등의 고유특성에 따라 임계 비율을 여러 가지로 변경시키면서 실제 사용 환경에 맞게 주변 밝기를 판정하게 되는지를 시뮬레이션하여, 주변 밝기가 올바르게 판정되는 값을 결정하여 임계 비율로 정하는 것임을 알 수 있다.한편 상기한 바와 달리 주변부 밝기값이 어두운 환경 임계값보다 크지 않을 경우에는 대부분의 경우 어두운 환경으로 볼 수 있으나, 중심부(302)를 중심으로 카메라(100)가 AGC기능을 수행함에 따라 주변부(304)가 많이 어두워 졌을 경우도 있으므로, 중심부 밝기값에 상기한 임계 비율을 곱하여 줄인 값(이하 "제2기준값"이라 함)과 비교한다. 즉, 이 경우에는 실제는 어두운 환경이 아님에도 불구하고 주변부(304)가 어둡게 된 것인지 여부를 판정해야 하므로, 중심부 밝기값에 임계 비율을 곱하여 중심부 밝기값을 줄인 다음에 주변부 밝기값과 비교하여, 그 결과에 따라 주변 밝기를 어두운 상태인지 아니면 밝은 상태인지를 판정한다.

상기한 바와 같은 비교 결과에 따라 어두운 상태와 밝은 상태 중 하나로 판정하는 과정을 보인 (418)∼(426)단계를 살펴보면, 먼저 (416)단계에서는 주변부(304) 밝기값을 어두운 환경 임계값과 비교한다. 이때 주변부(304) 밝기값이 어두운 환경 임계값보다 크면 (420)단계에서 중심부(302) 밝기값을 상기한 제1기준값과 비교하고, 어두운 환경 임계값보다 크지 않으면 (422)단계에서 주변부(304) 밝기값을 상기한 제2기준값과 비교한다. 이러한 비교 결과, 주변부(304) 밝기값이 제1기준값보다 크면 (426)단계에서 주변 밝기를 어두운 상태로 판정하고, 제1기준값보다 크지 않으면 (424)단계에서 주변 밝기를 밝은 상태로 판정한다. 또한 중심부(302) 밝기값이 제2기준값보다 크면 (424)단계에서 주변 밝기를 밝은 상태로 판정하고, 제2기준값보다 크지 않으면 (426)단계에서 주변 밝기를 어두운 상태로 판정한다.

상기한 바와 같은 비교와 판정 결과를 대응시켜 정리하면 하기 표 1과 같다.

경우	조건	판정 결과
1	주변부 밝기값 ≤어두운 환경 임계값및주변부 밝기값 ≤중심부 밝기값 ×임계비율	어두운 상태
2	주변부 밝기값 ≤어두운 환경 임계값및주변부 밝기값 > 중심부 밝기값 ×임계비율	밝은 상태
3	주변부 밝기값 > 어두운 환경 임계값및중심부 밝기값 ≤주변부 밝기값 ×임계비율	밝은 상태
4	주변부 밝기값 > 어두운 환경 임계값및중심부 밝기값 > 주변부 밝기값 ×임계비율	어두운 상태

상기한 표 1에서 '경우 1'은 주변부(304)의 밝기값이 어두운 환경 임계값보다 크지 않으므로 어두운 상태일 가능성이 매우 높은 상황임을 확인한 상태에서 주변부(304)와 중심부(302)의 밝기 비교를 통하여 현재 상태가 어두운 상태임을 확실히 결론내리는 것이다. '경우 2'는 주변부(304)의 밝기값이 어두운 환경 임계값보다 크지 않으므로 어두운 상태일 가능성이 매우 높았으나, 주변부(304)와 중심부(302)의 밝기값 비교 결과 주변환경이 어두운 것이 아니라 상대적으로 중심부(302)가 지나치게 밝은 것으로 판단된 경우이다. 이는 중심부(302)를 중심으로 카메라(100)가 AGC기능을 수행함에 따라 주변부(304)가 많이 어두워 졌을 경우이다. '경우 3'은 주변부(304)의 밝기값이 어두운 환경 임계값보다 크므로 밝은 상태일 가능성이 높은 상태에서 중심부(302)와 주변부(304)의 밝기 비교를 통하여 확실히 밝은 상태임을 확인하는 경우이다. '경우 4'는 주변부(304)의 밝기값이 어두운환경 임계값보다 크므로 밝은 상태일 가능성이 높았으나, 중심부(302)와 주변부(304)의 밝기 비교를 통하여 확인한 결과 중심부(302)가 아주 어두운 물체이기 때문에 주변부(304)가 밝은 상태로 오인된 경우이다.

따라서 AGC 기능을 가지는 카메라를 구비하는 이동통신단말기에서 다양한 사용 환경에 따른 주변 밝기의 변화에 적절하게 디스플레이 밝기를 제어할 수 있도록 주변 밝기를 판정할 수 있게 된다.

한편 상기한 바와 같은 주변 밝기 검출부(112)에 의한 주변 밝기의 판정 결과는 밝기 조정부(106)와 LCD 라이트 구동부(114)에 제공된다. 비디오 코덱(102)과 LCD 드라이버(108) 사이에 접속되는 밝기 조정부(106)는 비디오 코덱(102)로 부터 입력되는 LCD(110)에 인가할 영상신호, 즉 LCD 드라이버(108)에 의해 LCD(110)를 구동시킬 영상신호의 밝기를 주변 밝기 검출부(112)의 주변 밝기 판정 결과에 대응되게 조정한다. 예를 들어 밝기 조정부(106)는 상기와 같이 판정된 주변 밝기에 따라 전술한 특허공개번호 1999-000122호처럼 LCD 화면의 브라이트, 콘트라스트, 칼라를 자동 조절하도록 하면 된다.

그러나 LCD(110) 디스플레이 밝기를 실제 주변 환경의 밝기에 직접적으로 대응되게 조절하기 위해서는 영상의 전체적인 밝기가 아니라 화소단위로 조절하는 것이 바람직하다.

상기한 바와 같은 주변 밝기 검출부(112)에 의한 주변 밝기의 판정 결과에 따라 화소단위로 조절하기 위한 본 발명의 실시예에 따른 밝기 조정부(106)의 디스플레이 밝기 제어 처리를 (500)∼(510)단계로 보인 도 8을 참조하면, (500)단계에서 LCD(110)에 인가할 영상 신호, 즉 비디오 코덱(102)로 부터 출력되는 영상신호의 휘도 성분만을 추출한다. 다음에 (502)단계에서 도 9(a)와 같이 휘도 성분의 히스토그램을 구하여 명암 대비 스트레칭(contrast streching)을 한 다음에 (504)∼(510)단계에서 명암 대비 스트레칭된 화소값들에 미리 설정된 조정값을 주변 밝기 검출부(112)에 의해 판정된 주변 밝기에 따라 가감하여 밝기를 조정한다. 만일 주변 밝기가 밝은 상태로 판정된 경우에는 도 9(c)와 같이 명암 대비 스트레칭된 화소값들에 조정값을 감산하고, 주변 밝기가 어두운 상태로 판정된 경우에는 도 9(b)와 같이 명암 대비 스트레칭된 화소값들에 조정값을 가산한다. 이후 (510)단계에서는 상기한 바와 같이 밝기 조정된 휘도 성분을 LCD(110)에 인가할 영상 신호의 휘도 성분으로 대체하여 LCD 드라이버(108)에 인가한다.

따라서 AGC 기능을 가지는 카메라를 구비하는 이동통신단말기에서 LCD(110) 디스플레이 밝기가 다양한 사용 환경에 따른 주변 밝기의 변화에 직접적으로 대응되게 조절된다.

한편 LCD 라이트 구동부(114)는 주변 밝기 검출부(112)의 주변 밝기 판정 결과에 대응되게 라이트 디바이스(116)를 온/오프시키거나 라이트 밝기를 조절한다. 라이트 디바이스(116)는 통상적으로 LCD(110)에 대한 라이트로서 프론트 라이트(front light) 및/또는 백 라이트(back light)를 제공한다.

한편 상술한 본 발명의 설명에서는 구체적인 실시예에 관해 설명하였으나, 여러가지 변형이 본 발명의 범위에서 벗어나지 않고 실시할 수 있다. 특히 본 발명의 실시예에서는 LCD의 디스플레이 밝기를 조절하거나 라이트를 조절하는 예를 들었으나, 어두운 환경에서 키패드(keypad)의 조명을 위해 채용되는 LED(Light Emitting Diode)를 주변 밝기에 따라 자동으로 온/오프시키는 경우처럼 주변 밝기에 따른 조절이 필요한 경우라면 마찬가지로 적용된다. 따라서 발명의 범위는 설명된 실시예에 의하여 정할 것이 아니고 특허청구범위와 특허청구범위의 균등한 것에 의하여 정하여져야 한다.

상술한 바와 같이 본 발명은 AGC 기능을 가지는 카메라를 구비하는 이동통신단말기에서 다양한 사용 환경에 따른 주변 밝기의 변화에 적절하게 디스플레이 밝기를 제어할 수 있도록 주변 밝기를 판정할 수 있는 잇점이 있다. 또한 이를 이용하여 적절하게 디스플레이 밝기를 제어할 수 있는 잇점이 있다.

Claims

촬영 화면내에 설정되는 자동이득제어(AGC: Automatic Gain Control) 기준 영역에 대한 영상의 휘도 평균값이 일정 범위내에 속하도록 광량을 자동으로 조절하는 AGC 기능을 가지는 카메라를 구비한 이동통신단말기에서 디스플레이 밝기를 제어하기 위해 주변 밝기를 판정하는 방법에 있어서,

상기 카메라의 촬영에 따른 영상신호로 부터 상기 촬영 화면에 대하여 기준 영역에 대응하는 중심부 영역과 상기 중심부 영역을 제외한 주변부 영역의 휘도 평균값을 각각의 밝기값으로서 구하는 과정과,

상기 주변부 밝기값을 미리 설정된 어두운 환경 임계값과 비교하고 그 결과에 대응되게 상기 중심부 밝기값과 상기 주변부 밝기값을 비교하여 상기 주변 밝기를 어두운 상태와 밝은 상태 중 하나로 판정하는 과정을 구비하며,

상기 주변 밝기 판정 과정이,

상기 주변부 밝기값을 상기 어두운 환경 임계값과 비교하는 과정과,

상기 주변부 밝기값이 상기 어두운 환경 임계값보다 크면 상기 중심부 밝기값을 미리 설정된 임계 비율만큼 상기 주변부 밝기값을 작게 줄인 제1기준값과 비교하고, 상기 어두운 환경 임계값보다 크지 않으면 상기 주변부 밝기값을 상기 임계 비율만큼 상기 중심부 밝기값을 작게 줄인 제2기준값과 비교하는 과정과,

상기 주변부 밝기값이 상기 제1기준값보다 크면 상기 주변 밝기를 상기 어두운 상태로 판정하고, 상기 제1기준값보다 크지 않으면 상기 주변 밝기를 상기 밝은 상태로 판정하는 과정과,

상기 중심부 밝기값이 상기 제2기준값보다 크면 상기 주변 밝기를 상기 밝은 상태로 판정하고, 상기 제2기준값보다 크지 않으면 상기 주변 밝기를 상기 어두운 상태로 판정하는 과정을 구비함을 특징으로 하는 디스플레이 밝기 제어를 위한 주변 밝기 판정방법.
삭제
제1항에 있어서, 상기 임계 비율이, 0보다 크면서 1보다 작은 범위에 속하는 값으로 설정됨을 특징으로 하는 디스플레이 밝기 제어를 위한 주변 밝기 판정방법.
제1항에 있어서, 상기 밝기값을 구하는 과정이,

상기 카메라의 촬영에 따라 발생되는 영상신호로 부터 휘도성분을 추출하는 과정과,

상기 추출한 휘도성분으로 이루어지는 화면중에서 상기 중심부 영역과 상기 주변부 영역 각각의 휘도 평균값을 구하는 과정을 구비함을 특징으로 하는 디스플레이 밝기 제어를 위한 주변 밝기 판정방법.
제1항에 있어서, 상기 밝기값을 구하는 과정이,

상기 카메라의 촬영에 따라 발생되는 영상신호를 압축부호화하는 비디오 인코더의 DCT(Discret Cosine Transform) 블록으로 부터 휘도 블록의 DCT DC(Direct Current) 계수를 추출하는 과정과,

상기 추출한 휘도 블록의 DCT DC 계수 중에 상기 중심부 영역과 상기 주변부 영역에 속하는 DC 계수의 평균값을 각각의 상기 휘도 평균값으로 구하는 과정을 구비함을 특징으로 하는 디스플레이 밝기 제어를 위한 주변 밝기 판정방법.
제1항에 있어서, 상기 밝기값을 구하는 과정이,

상기 카메라의 촬영에 따라 발생되는 영상신호를 압축부호화하는 비디오 인코더의 동작 여부를 검사하는 과정과,

상기 비디오 인코더가 동작 중이 아닌 경우에는 상기 카메라의 촬영에 따라 발생되는 영상신호로 부터 휘도성분을 추출하는 과정과,

상기 추출한 휘도성분으로 이루어지는 화면중에서 상기 중심부 영역과 상기 주변부 영역 각각의 휘도 평균값을 구하는 과정과,

상기 비디오 인코더가 동작 중인 경우에는 상기 비디오 인코더의 DCT(Discret Cosine Transform) 블록으로 부터 휘도 블록의 DCT DC(Direct Current) 계수를 추출하는 과정과,

상기 추출한 휘도 블록의 DCT DC 계수 중에 상기 중심부 영역과 상기 주변부 영역에 속하는 DC 계수의 평균값을 각각의 상기 휘도 평균값으로 구하는 과정을 구비함을 특징으로 하는 디스플레이 밝기 제어를 위한 주변 밝기 판정방법.
제1항에 있어서, 상기 중심부 영역이, 상기 화면의 중앙에 상기 화면의 1/4 크기로 설정됨을 특징으로 하는 디스플레이 밝기 제어를 위한 주변 밝기 판정방법.
촬영 화면내에 설정되는 자동이득제어(AGC: Automatic Gain Control) 기준 영역에 대한 영상의 휘도 평균값이 일정 범위내에 속하도록 광량을 자동으로 조절하는 AGC 기능을 가지는 카메라를 구비한 이동통신단말기에서 디스플레이 밝기를 제어하는 방법에 있어서,

상기 카메라의 촬영에 따른 영상신호로 부터 상기 촬영 화면에 대하여 상기 기준 영역에 대응하는 중심부 영역과 상기 중심부 영역을 제외한 주변부 영역의 휘도 평균값을 각각의 밝기값으로서 구하는 과정과,

상기 주변부 밝기값을 미리 설정된 어두운 환경 임계값과 비교하고 그 결과에 대응되게 상기 중심부 밝기값과 상기 주변부 밝기값을 비교하여 상기 주변 밝기를 어두운 상태와 밝은 상태 중 하나로 판정하는 과정과,

상기 디스플레이에 인가할 영상 신호의 휘도 성분만을 추출하는 과정과,

상기 휘도 성분의 히스토그램을 구하여 명암 대비 스트레칭을 하는 과정과,

상기 명암 대비 스트레칭된 화소값들에 미리 설정된 조정값을 상기 판정된 주변 밝기에 따라 가감하여 밝기를 조정하는 과정과,

상기 밝기 조정된 휘도 성분을 상기 디스플레이에 인가할 영상 신호의 휘도 성분으로 대체하는 과정을 구비하며,

상기 주변 밝기 판정 과정이,

상기 주변부 밝기값을 상기 어두운 환경 임계값과 비교하는 과정과,

상기 주변부 밝기값이 상기 어두운 환경 임계값보다 크면 상기 중심부 밝기값을 미리 설정된 임계 비율만큼 상기 주변부 밝기값을 작게 줄인 제1기준값과 비교하고, 상기 어두운 환경 임계값보다 크지 않으면 상기 주변부 밝기값을 상기 임계 비율만큼 상기 중심부 밝기값을 작게 줄인 제2기준값과 비교하는 과정과,

상기 주변부 밝기값이 상기 제1기준값보다 크면 상기 주변 밝기를 상기 어두운 상태로 판정하고, 상기 제1기준값보다 크지 않으면 상기 주변 밝기를 상기 밝은 상태로 판정하는 과정과,

상기 중심부 밝기값이 상기 제2기준값보다 크면 상기 주변 밝기를 상기 밝은 상태로 판정하고, 상기 제2기준값보다 크지 않으면 상기 주변 밝기를 상기 어두운 상태로 판정하는 과정을 구비함을 특징으로 하는 디스플레이 밝기 제어방법.
제8항에 있어서, 상기 조정과정이, 상기 주변 밝기가 밝은 상태로 판정된 경우에는 상기 명암 대비 스트레칭된 화소값들에 상기 조정값을 감산하고, 상기 주변 밝기가 어두운 상태로 판정된 경우에는 상기 명암 대비 스트레칭된 화소값들에 상기 조정값을 가산함을 특징으로 하는 디스플레이 밝기 제어방법.
삭제
제8항에 있어서, 상기 임계 비율이, 0보다 크면서 1보다 작은 범위에 속하는 값으로 설정됨을 특징으로 하는 디스플레이 밝기 제어방법.