KR101361645B1 - 이미지 왜곡 보정 방법 및 그 장치 - Google Patents

이미지 왜곡 보정 방법 및 그 장치 Download PDF

Info

Publication number
KR101361645B1
KR101361645B1 KR1020080010017A KR20080010017A KR101361645B1 KR 101361645 B1 KR101361645 B1 KR 101361645B1 KR 1020080010017 A KR1020080010017 A KR 1020080010017A KR 20080010017 A KR20080010017 A KR 20080010017A KR 101361645 B1 KR101361645 B1 KR 101361645B1
Authority
KR
South Korea
Prior art keywords
change
image
color level
color
pixels
Prior art date
Application number
KR1020080010017A
Other languages
English (en)
Other versions
KR20090084061A (ko
Inventor
조철래
Original Assignee
엠텍비젼 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엠텍비젼 주식회사 filed Critical 엠텍비젼 주식회사
Priority to KR1020080010017A priority Critical patent/KR101361645B1/ko
Priority to US12/363,108 priority patent/US8264562B2/en
Publication of KR20090084061A publication Critical patent/KR20090084061A/ko
Application granted granted Critical
Publication of KR101361645B1 publication Critical patent/KR101361645B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

고해상도의 이미지를 저해상도의 디스플레이 장치에 표시할 때 발생하는 왜곡 현상을 보정하는 장치 및 방법이 개시된다. 이미지 왜곡 보정 방법은 원본 이미지를 입력받는 단계, 입력받은 원본 이미지의 모든 픽셀들에 대한 색상 레벨을 분석하는 단계, 상기 픽셀들의 위치에 따른 상기 색상 레벨의 변화 추이를 판단하는 단계, 상기 변화 추이가 미리 정해진 임계치를 벗어나는 영역에서의 상기 색상 레벨의 변화 추이를 조정하는 단계, 상기 조정된 변화 추이에 따라 상기 픽셀들의 색상 레벨을 보정하는 단계 및 상기 보정된 이미지를 출력하는 단계를 포함할 수 있다. 이미지 센서로부터 입력되는 이미지를 디스플레이 모듈로 표시할 때 발생하는 이미지 왜곡을 보정할 수 있다.
이미지, 왜곡, 보정, 해상도, 변화 추이

Description

이미지 왜곡 보정 방법 및 그 장치{Method and apparatus for compensating image distortion}
본 발명은 이미지 왜곡 보정 장치에 관한 것으로, 보다 상세하게는 고해상도의 이미지를 저해상도의 디스플레이 장치에 표시할 때 발생하는 왜곡 현상을 보정하는 장치 및 방법에 관한 것이다.
카메라 모듈을 포함하는 이동 통신 단말 또는 디지털 카메라 등은 렌즈를 통해 촬영된 이미지를 디스플레이 모듈에 표시하고, 메모리 등의 저장매체에 저장한다. 이러한 이동 통신 단말 또는 디지털 카메라 등에 구비된 카메라 디스플레이 장치의 기본적인 구성도가 도 1에 도시되어 있다.
도 1은 카메라 디스플레이 장치의 기본적인 구성도가 도시되어 있고, 도 2는 촬영된 이미지가 디스플레이 모듈에 표시되기까지의 이미지 변환 형태를 나타낸 도면이다.
도 1을 참조하면, 카메라 디스플레이 장치는 카메라 모듈(Camera Module)(10), 카메라 컨트롤 프로세서(Camera Control Processor)(20), 디스플레이 모듈(30)을 포함한다. 카메라 제어 모듈(10)은 렌즈(11), 이미지 센서(13), 이미지 신호 프로세서(15)를 포함한다.
피사체로부터의 빛이 렌즈(11)를 통해 이미지화되어 이미지 센서(13)로 전달된다.
이미지 센서(13)는 반도체가 빛에 반응하는 성질을 이용하여 이미지를 재생한다. 이미지 센서(13)는 픽셀(pixel)로 불리는 작은 감광 다이오드들의 어레이로 구성된다. 그리고 각각의 피사체에서 나오는 각기 다른 빛의 밝기 및 파장을 각 픽셀이 감지하여 전기적인 값으로 읽어내고 이를 신호처리가 가능한 레벨로 만들어준다. 즉, 이미지 센서(13)는 광학 영상을 전기 신호로 변환시키는 반도체 소자이다.
이미지 센서(13)는 여러 개의 픽셀이 2차원 구조로 배열되어 있으며, 각 픽셀은 들어오는 빛의 밝기에 따라서 이를 전기적인 신호로 변환시키게 된다. 이러한 전기 신호를 측정하면 각 픽셀에 유입되는 빛의 양을 알 수 있고 이를 이용하여 픽셀 단위의 영상을 구성할 수 있다.
일반적으로 이미지 센서(15)의 각 픽셀들은 영상에 포함된 여러 개의 색상 중에서 단 하나의 색상에 대한 픽셀 데이터를 추출하기 때문에 컬러 필터 어레이(CFA: Color Filter Array)를 이용하여 그 주위의 픽셀에 대한 정보로부터 잃어버린 픽셀의 정보를 추론하여야 한다. 컬러 필터 어레이는 픽셀 어레이의 한 픽셀마다 한 가지 컬러를 나타내는 빛만을 통과시키며 규칙적으로 배열된 구조를 가지고 있다. 컬러 필터 어레이는 컬러 요소가 배열된 구조에 따라서 여러가지 형 태를 가지고 있으나, 가장 널리 사용되는 패턴은 RGB 베이어(Bayer) 패턴이다. 여기서, R은 적색, G은 녹색, B는 청색을 의미한다.
픽셀들의 전체 개수의 절반은 녹색(G)이며, 전체 개수의 각 4분의 1은 적색(R)과 청색(B)에 할당된다. 컬러 정보를 얻기 위해, 컬러 영상 픽셀들은 적색, 녹색 또는 청색 필터로 반복 패턴으로 이루어지며, 예를 들어 베이어 패턴의 경우 2×2 배열이라 할 수 있다.
이미지 센서(13)에서의 베이어 패턴에 따른 전기 신호, 즉 베이어 포맷(Bayer Format)을 가지는 로우 데이터(RAW data)는 이미지 신호 프로세서(15)에 전달된다. 여기서, 로우 데이터는 촬영 이미지의 해상도인 A×B의 해상도를 가지는 것으로 가정한다.
이미지 신호 프로세서(15)는 베이어 포맷을 가지는 로우 데이터를 각 픽셀들이 각각 적색, 녹색, 청색의 픽셀 데이터를 가지도록 보간한 보간 RGB 데이터(interpolated RGB data)로 변환한다. 그리고 보간 RGB 데이터를 YUV 데이터로 변환하여 카메라 컨트롤 프로세서(20)로 전달한다. 여기서, YUV 데이터는 촬영 이미지인 로우 데이터를 축소한 C×D의 해상도를 가지는 것으로 가정한다.
YUV 데이터는 눈이 밝기에 민감한 특성을 이용한 포맷을 가진다. Y는 밝기(luminance)를 나타내며, U, V는 색상(chrominance)를 나타낸다. YUV 데이터는 YUV422, YUV420, YUV411 등의 포맷이 있으며, 이는 각 구성값의 비트 할당수에서 비롯한다. 예를 들어, YUV422의 경우 Y:U:V=4:2:2이다.
카메라 컨트롤 프로세서(20)는 이미지 신호 프로세서(15)로부터 전달된 YUV 데이터를 이용하여 디스플레이 모듈(30)의 크기에 맞도록 E×F의 해상도로 축소한다. 그리고 디스플레이 모듈(30)에서 표시될 수 있도록 YUV 데이터를 RGB 데이터로 변환하여 디스플레이 모듈(30)에 전달한다.
A×B의 해상도를 가지는 촬영 이미지는 축소 변환을 통해 디스플레이 모듈(30)에 표시될 수 있도록 축소되며, 이 과정 중에 촬영 이미지가 축소되어 디스플레이 모듈(30)에 표시될 때 많은 왜곡 현상을 가지게 된다.
종래의 기술은 이미지 센서 자체에서 가지게 되는 물리적인 특성과 데이터 변환시에 발생하게 되는 이미지 왜곡 현상을 보정하는데 그 기술적인 해결 방법이 논의되고 기술되어 있다.
구체적으로는 이미지 센서(13)를 이용하여 카메라 모듈(10)을 제작할 때 발생하게 되는 물리적인 왜곡(렌즈, 기구 등에 기인함)과 데이터 변환(로우 데이터를 YUV 데이터로 변환)시 발생하는 이미지 왜곡이 그 중점적인 논의 대상이다. 이미지 신호 프로세서(15)에서 출력되는 YUV 데이터에서의 이미지 왜곡 보정은 밝기 신호인 Y 신호를 이용한다. 이러한 보정은 촬영 이미지에 최대한 근접하도록 함에 있어서 그 효력이 발휘할 수 있으나 실제 디스플레이 모듈(30)에 여전히 왜곡된 이미지가 표시되는 문제점이 있다.
구체적으로 SXGA(1.3메가, 1280×1024)급 이미지 센서를 이용하여 이미지 촬영시에 디스플레이 모듈의 해상도는 VGA(640×480)급 이하로 적용되는 있는 사례가 대부분이다. 따라서, 촬영된 이미지 프리뷰시에 카메라 모듈에서 SXGA 해상도가 아닌 640×480 또는 800×600의 해상도로 이미지를 출력하게 되고, 이때 이미지 왜곡 현상이 발생하게 된다.
도 3은 이미지 축소 변환 중 일례를 나타낸 도면이고, 도 4는 축소된 이미지에 나타나는 왜곡 현상을 나타낸 도면이다.
이미지 축소 변환 중 입력된 이미지를 1/4로 축소하는 경우 4×4 픽셀 데이터를 1×1 픽셀 데이터로 변환하면 된다. 도 3을 참조하면, 4×4 픽셀 데이터 및 1×1 픽셀 데이터는 YUV 422 포맷을 가지는 것으로 가정한다.
이 경우 1×1 픽셀 데이터의 Y1’, U1’, V1’, Y2’는 다음과 같다.
Y1’ = (Y1 + … + Y16)/16
U1’ = (U1 + … + U16)/16
V1’ = (V1 + … + V16)/16
Y2’ = (Y17 + … + Y32)/16
이러한 이미지 축소 변환에 의해 변환된 이미지의 픽셀 데이터는 촬영 이미지인 로우 데이터와는 다른 픽셀 데이터를 가지게 되며, 이로 인해 최종적으로 도 4에 도시된 것과 같이 등고선 모양의 왜곡 현상이 나타나는 문제점이 있다.
따라서, 본 발명은 이미지 센서로부터 입력되는 이미지를 디스플레이 모듈로 표시할 때 발생하는 이미지 왜곡을 보정할 수 있는 이미지 왜곡 보정 방법 및 그 장치를 제공한다.
또한, 본 발명은 고해상도의 이미지를 저해상도의 이미지로 변환하여 디스플레이 모듈에 표시할 때 이미지 왜곡이 줄어드는 이미지 왜곡 보정 방법 및 그 장치를 제공한다.
또한, 본 발명은 디스플레이 모듈에 표시되는 이미지의 화질이 개선되어 사용자의 피로감이 줄어드는 이미지 왜곡 보정 방법 및 그 장치를 제공한다.
본 발명의 일 측면에 따르면, 고해상도의 이미지를 저해상도로 축소함에 있어 발생하는 이미지 왜곡을 보정하는 이미지 왜곡 보정 방법 및 이를 수행하기 위한 프로그램이 기록된 기록매체가 제공된다.
본 발명의 일 실시예에 따른 이미지 왜곡 보정 방법은, 원본 이미지를 입력받는 단계; 입력받은 원본 이미지의 모든 픽셀들에 대한 색상 레벨을 분석하는 단계; 상기 픽셀들의 위치에 따른 상기 색상 레벨의 변화 추이를 판단하는 단계; 상기 변화 추이가 미리 정해진 임계치를 벗어나는 영역에서의 상기 색상 레벨의 변화 추이를 조정하는 단계; 상기 조정된 변화 추이에 따라 상기 픽셀들의 색상 레벨을 보정하는 단계; 및 상기 보정된 이미지를 출력하는 단계를 포함할 수 있다.
상기 원본 이미지는 각 픽셀이 적색, 녹색 및 청색의 픽셀 데이터를 모두 가지는 RGB 포맷에 따른 이미지일 수 있다.
상기 색상 레벨을 분석하는 단계는 적색, 녹색 및 청색에 대해서 각각 색상 레벨을 분석할 수 있다.
상기 색상 레벨의 변화 추이를 판단하는 단계는 X축 방향 및 Y축 방향 중 하나 이상의 방향에 대해서 상기 변화 추이를 판단할 수 있다.
상기 색상 레벨의 변화 추이를 조정하는 단계는 적색, 녹색 및 청색의 색상 레벨 변화 추이가 동일 또는 유사한 경우에 한하여 상기 색상 레벨의 변화 추이를 조정할 수 있다.
상기 색상 레벨의 변화 추이를 조정하는 단계는 상기 영역에서 색상 레벨의 변화 추이가 상기 임계치를 벗어나지 않도록 조정할 수 있다.
상기 색상 레벨의 변화 추이를 조정하는 단계는 상기 영역에서 색상 레벨이 선형적인(linear) 변화 추이를 가지도록 조정할 수 있다.
본 발명의 다른 측면에 따르면, 고해상도의 이미지를 저해상도로 축소함에 있어 발생하는 이미지 왜곡을 보정하는 이미지 왜곡 보정 장치가 제공된다.
본 발명의 일 실시예에 따른 이미지 왜곡 보정 장치는, 입력받은 원본 이미지의 모든 픽셀들에 대한 색상 레벨을 분석하는 색상 분석부; 상기 픽셀들의 위치에 따른 상기 색상 레벨의 변화 추이를 판단하는 추이 판단부; 상기 변화 추이가 미리 정해진 임계치를 벗어나는 영역에서의 상기 색상 레벨의 변화 추이를 조정하는 추이 조정부; 및 상기 조정된 변화 추이에 따라 상기 픽셀들의 색상 레벨을 보 정하는 보정부를 포함할 수 있다.
상기 원본 이미지는 각 픽셀이 적색, 녹색 및 청색의 픽셀 데이터를 모두 가지는 RGB 포맷에 따른 이미지일 수 있다.
상기 색상 분석부는 적색, 녹색 및 청색에 대해서 각각 색상 레벨을 분석할 수 있다.
상기 추이 판단부는 X축 방향 및 Y축 방향 중 하나 이상의 방향에 대해서 상기 변화 추이를 판단할 수 있다.
상기 추이 조정부는 적색, 녹색 및 청색의 색상 레벨 변화 추이가 동일 또는 유사한 경우에 한하여 상기 색상 레벨의 변화 추이를 조정할 수 있다.
상기 추이 조정부는 상기 영역에서 색상 레벨의 변화 추이가 상기 임계치를 벗어나지 않도록 조정할 수 있다.
상기 추이 조정부는 상기 영역에서 색상 레벨이 선형적인 변화 추이를 가지도록 조정할 수 있다.
전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.
본 발명에 따른 이미지 왜곡 보정 방법 및 그 장치는 이미지 센서로부터 입력되는 이미지를 디스플레이 모듈로 표시할 때 발생하는 이미지 왜곡을 보정할 수 있다.
또한, 고해상도의 이미지를 저해상도의 이미지로 변환하여 디스플레이 모듈 에 표시할 때 이미지 왜곡이 줄어드는 효과가 있다.
또한, 디스플레이 모듈에 표시되는 이미지의 화질이 개선되어 사용자의 피로감이 줄어드는 효과가 있다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하, 본 발명의 실시예를 첨부한 도면들을 참조하여 상세히 설명하기로 한다.
도 5는 본 발명의 일 실시예에 따른 이미지 왜곡 보정 장치의 블록 구성도이다.
이미지 왜곡 보정 장치(100)는 색상 분석부(110), 추이 판단부(120), 추이 조정부(130), 보정부(140)를 포함한다.
색상 분석부(110)는 이미지 왜곡 보정 장치(100)가 입력받은 원본 이미지의 모든 픽셀들의 색상 레벨을 분석한다. 분석 대상이 되는 픽셀의 색상 레벨은 RGB 레벨이며, 적색, 녹색, 청색 각각에 대한 레벨일 수 있다.
추이 판단부(120)는 픽셀들의 위치에 따라 색상 분석부(110)에 의해 분석된 색상 레벨의 변화 추이를 판단한다. 변화 추이의 판단 방향은 X축 방향, Y축 방향 중 적어도 하나를 포함한다. 색상 레벨의 변화 추이는 적색, 녹색, 청색 각각에 대하여 함께 수행되거나 별도로 수행될 수 있다.
추이 조정부(130)는 추이 판단부(120)에서 판단한 색상 레벨의 변화 추이가 미리 정해진 임계치를 벗어나는 영역을 선정하고, 해당 영역의 색상 레벨의 변화 추이를 조정한다. 임의의 영역을 중심으로 전후 영역의 색상 레벨과 비교할 때 색상 레벨의 변화가 큰 경우 원본 이미지의 해당 영역에 도 4에 도시된 것과 같은 등고선 모양의 이미지 왜곡이 있을 가능성이 높다. 따라서, 이 경우 색상 레벨의 변 화가 상대적으로 완만하도록 변화시켜 등고선 모양의 이미지 왜곡을 보정할 수 있다. 색상 레벨의 변화가 상대적으로 완만하도록 변화시키는 방법으로는 선형 변환 방법이 있으며, 이에 대해서는 추후 도면을 참조하여 상세히 설명하기로 한다.
추이 조정부(130)가 색상 레벨의 변화 추이를 조정함에 있어서, 전제 조건으로 적색, 녹색, 청색의 변화 추이가 동일하거나 유사할 것이 요구된다. 어느 하나의 색의 변화 추이가 다른 색들의 변화 추이와 다른 경우는 이미지 왜곡이라기 보다는 원본 이미지 내에서 각 픽셀의 대표 색상이 변화했을 경우가 대다수이기 때문이다. 그리고 적색, 녹색, 청색의 변화 추이가 동일하거나 유사한 경우에 상술한 것과 같은 등고선 모양의 이미지 왜곡이 나타나기 때문이다.
보정부(140)는 추이 조정부(130)에서 조정된 변화 추이에 따라 해당 영역에서의 각 픽셀들의 색상 레벨을 보정한다. 해당 영역 뿐만 아니라 해당 영역을 중심으로 전후 영역에 포함되는 픽셀들의 색상 레벨도 보정할 수 있다.
각 픽셀들의 색상 레벨이 보정된 보정 이미지가 최종적으로 이미지 왜곡 보정 장치(100)로부터 출력된다.
이미지 왜곡 보정 장치(100)에 입력되는 원본 이미지는 축소 변환이 수행된 이미지로, 각 픽셀들이 적색, 녹색, 청색의 픽셀 데이터를 모두 가지고 있는 RGB 포맷의 데이터이다. 또한, 이미지 왜곡 보정 장치(100)에 입력되는 원본 이미지와, 이미지 왜곡 보정 장치(100)로부터 출력되는 보정 이미지는 해상도가 동일한 것이 바람직하다.
본 발명의 일 실시예에 따른 이미지 왜곡 보정 장치(100)를 도 1에 도시된 카메라 디스플레이 장치에 적용시키는 경우, 이미지 왜곡 보정 장치(100)는 카메라 컨트롤 프로세서(20)와 디스플레이 모듈(30) 사이에 연결되거나, 카메라 컨트롤 프로세서(20) 내에 구성요소 중 하나로 구현될 수 있다.
이미지 왜곡 보정 장치(100)를 이용하여 원본 이미지에 나타나는 이미지 축소 변환에 따른 이미지 왜곡(예를 들어, 등고선 모양의 왜곡 등)을 보정하는 방법에 대하여 도 6 이하의 도면을 참조하여 보다 상세히 설명하기로 한다.
도 6은 본 발명의 일 실시예에 따른 이미지 왜곡 보정 방법의 순서도이고, 도 7은 RGB 데이터 포맷을 가지는 원본 이미지를 확대한 도면이며, 도 8은 등고선 모양의 이미지 왜곡을 가지는 원본 이미지이다. 도 9는 보정전 색상 레벨의 변화 추이를 나타낸 그래프이고, 도 10은 이상적으로 조정된 색상 레벨의 변화 추이를 나타낸 그래프이며, 도 11은 본 발명의 일 실시예에 따라 조정된 색상 레벨의 변화 추이를 나타낸 그래프이고, 도 12는 원본 이미지와 보정 이미지가 도시되어 있다.
단계 200에서, 이미지 왜곡 보정 장치(100)는 원본 이미지를 입력받는다.
여기서, 원본 이미지는 현재 촬영되었거나 미리 촬영되어 저장매체에 저장되어 있던 고해상도의 이미지가 디스플레이 모듈에 표시될 수 있도록 저해상도로 축소 변환된 이미지일 수 있다.
또한, 원본 이미지는 디스플레이 모듈에 표시될 수 있도록 픽셀별로 적색, 녹색 및 청색의 픽셀 데이터를 가지고 있을 수 있다. 도 7을 참조하면, 원본 이미지는 RGB 포맷을 가지는 데이터이며, 각 픽셀들은 적색, 녹색 및 청색의 픽셀 데이터를 가지고 있다. 예를 들어, 좌상단 첫번째 픽셀은 R101, G101, B101과 같은 적 색, 녹색 및 청색의 픽셀 데이터를 가지고 있다. X축 방향으로 두번째 픽셀은 R102, G102, B102와 같은 적색, 녹색 및 청색의 픽셀 데이터를 가지고 있고, Y축 방향으로 두번째 픽셀은 R210, G201, B201과 같은 적색, 녹색 및 청색의 픽셀 데이터를 가지고 있다.
단계 210에서, 색상 분석부(110)는 입력받은 원본 이미지의 각 픽셀들의 색상 레벨을 분석한다. 즉, 각 픽셀들의 픽셀 데이터를 통해 적색 레벨, 녹색 레벨 및 청색 레벨을 분석할 수 있다.
단계 220에서, 추이 판단부(120)는 분석된 색상 레벨을 이용하여 소정 방향으로의 색상 레벨의 변화 추이를 판단한다. 원본 이미지의 수평 방향을 X축 방향, 수직 방향을 Y축 방향이라 가정할 때, X축 방향의 변화 추이 및 Y축 방향의 변화 추이 중 하나 이상의 변화 추이를 판단한다. 그리고 각 색상별로, 즉 적색, 녹색 및 청색에 대해서 각각의 색상 레벨의 변화 추이를 판단한다.
단계 230에서, 추이 조정부(130)는 색상 레벨의 변화 추이가 미리 정해진 임계치를 벗어나는 영역을 선정하고, 해당 영역에서의 변화 추이를 조정한다. 이를 위한 전제 조건으로 각 색상의 색상 레벨의 변화 추이가 동일 또는 유사한 영역이어야 한다. 어느 하나의 색상의 색상 레벨은 급격히 변화하지만, 다른 색상의 색상 레벨은 변화가 없는 경우에는 이미지 왜곡이 있는 것이 아니라 이미지 내에서 색상이 변화한 것이기 때문이다.
단계 240에서, 보정부(140)는 조정된 변화 추이에 따라 해당 영역의 픽셀들의 색상 레벨을 보정한다. 다른 실시예에서는 해당 영역 이외에 전후 영역의 픽셀 들에 대해서도 색상 레벨을 보정할 수 있다.
단계 250에서, 원본 이미지 내의 모든 영역에 대해서 변화 추이 조정(단계 230) 및 색상 레벨 보정(240)이 완료되면 최종적인 보정 이미지를 출력한다.
원본 이미지 내에 도 8에 도시된 것과 같이 등고선 모양의 이미지 왜곡이 나타나고 있는 경우를 가정한다. 그리고 이하 발명의 이해와 설명의 편의를 위해 X축 방향으로의 색상 레벨의 변화 추이를 조정하는 방법에 대해 설명하기로 한다. Y축 방향으로의 색상 레벨의 변화 추이를 조정하는 방법 역시 X축 방향과 동일하다.
임의의 영역(300)은 등고선 현상을 나타내고 있으며, 제1 영역(310)은 (150, 150, 150)((R, G, B)의 픽셀 데이터를 의미함)의 색상 레벨을, 제2 영역(320)은 (190, 190, 190)의 색상 레벨을, 제3 영역(330)은 (230, 230, 230)의 색상 레벨을 가지는 것으로 가정한다. 여기서, 임의의 영역(300) 내에서 색상 레벨의 변화 추이(400)는 도 9에 도시된 것과 같다. 그리고 미리 정해진 임계치가 10인 경우, 각 영역 간의 색상 레벨 변화는 40으로, 미리 정해진 임계치를 벗어나는 영역이다. 즉, 해당 영역은 이미지 왜곡 현상이 나타난 부분으로 보정이 필요한 부분임을 알 수 있다.
색상 레벨의 변화 추이(400)가 계단 형태를 나타내며, 각 영역의 경계선 부분에서 급격한 변화를 나타낸다. 이 경우 도 8에 도시된 것과 같이 등고선 현상이 나타나므로, 변화 추이의 조정이 필요하다.
이상적으로는 등고선 현상을 제거하기 위하여 도 10에 도시된 것과 같이 계단 형태의 변화 추이(400)를 선형적인(linear) 형태의 변화 추이(410)로 조정하는 것이 바람직하다. 하지만, 이미지는 픽셀 단위로 색을 표시하는 불연속적인 값이므로, 해당 영역 내에서 표시 가능한 픽셀 개수를 기준으로 대표값을 적용한다. 대표값은 중간값, 평균값, 최대값, 최소값 등이 될 수 있다.
임의의 영역(300) 내에 X축 방향으로 9개의 픽셀이 있고, 제1 영역(310)에 3개의 픽셀, 제2 영역(320)에 3개의 픽셀, 제3 영역(330)에 3개의 픽셀이 있는 것을 가정하여 설명한다. 이 경우 임의의 영역(300) 내에서 색상 레벨이 도 10에 도시되어 있는 것과 같이 150부터 230까지 선형적으로 변화하는 것이 바람직하지만, 9개의 픽셀들은 각각 하나의 색상 레벨만을 가질 수 있으므로, 각 픽셀들의 색상 레벨은 150, 160, 170, 180, 190, 200, 210, 220, 230과 같이 9등분된 불연속적인 값을 가진다.
여기서, 첫번째 픽셀의 경우 150 내지 160 중 어느 한 값을 가질 수 있으며, 대표값을 선정하여 해당 픽셀의 색상 레벨로 결정한다. 중간값을 가지는 경우 155, 평균값을 가지는 경우 155, 최대값을 가지는 경우 160, 최소값을 가지는 경우 150이 해당 픽셀의 색상 레벨이 될 수 있다.
이러한 색상 레벨의 보정을 통해 도 12에 도시된 것과 같이 3가지 색상 분포를 가지던 영역을 9가지 색상 분포를 가지는 영역으로 보정하여 이미지 왜곡이 줄어든 보정 이미지를 출력하는 것이 가능하다.
한편, 상술한 이미지 왜곡 보정 방법은 컴퓨터 프로그램으로 작성 가능하다. 상기 프로그램을 구성하는 코드들 및 코드 세그먼트들은 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 또한, 상기 프로그램은 컴퓨터가 읽을 수 있는 정보저장매체(computer readable media)에 저장되고, 컴퓨터에 의하여 읽혀지고 실행됨으로써 이미지 왜곡 보정 방법을 구현한다. 상기 정보저장매체는 자기 기록매체, 광 기록매체 및 캐리어 웨이브 매체를 포함한다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
도 1은 카메라 디스플레이 장치의 기본적인 구성도.
도 2는 촬영된 이미지가 디스플레이 모듈에 표시되기까지의 이미지 변환 형태를 나타낸 도면.
도 3은 이미지 축소 변환 중 일례를 나타낸 도면.
도 4는 축소된 이미지에 나타나는 왜곡 현상을 나타낸 도면.
도 5는 본 발명의 일 실시예에 따른 이미지 왜곡 보정 장치의 블록 구성도.
도 6은 본 발명의 일 실시예에 따른 이미지 왜곡 보정 방법의 순서도.
도 7은 RGB 데이터 포맷을 가지는 원본 이미지를 확대한 도면.
도 8은 등고선 모양의 이미지 왜곡을 가지는 원본 이미지.
도 9는 보정전 색상 레벨의 변화 추이를 나타낸 그래프.
도 10은 이상적으로 조정된 색상 레벨의 변화 추이를 나타낸 그래프.
도 11은 본 발명의 일 실시예에 따라 조정된 색상 레벨의 변화 추이를 나타낸 그래프.
도 12는 보정 전 원본 이미지와 보정 후 보정 이미지.

Claims (9)

  1. 원본 이미지를 입력받는 단계;
    입력받은 원본 이미지의 모든 픽셀들에 대한 색상 레벨을 분석하는 단계;
    상기 픽셀들의 위치에 따른 상기 색상 레벨의 변화 추이를 판단하는 단계;
    상기 변화 추이가 미리 정해진 임계치를 벗어나는 영역에서의 상기 색상 레벨의 변화 추이를 조정하는 단계;
    상기 조정된 변화 추이에 따라 상기 픽셀들의 색상 레벨을 보정하는 단계; 및
    상기 픽셀들의 색상 레벨이 보정된 이미지를 출력하는 단계를 포함하되,
    상기 색상 레벨의 변화 추이를 조정하는 단계는 적색, 녹색 및 청색의 색상 레벨 변화 추이가 동일 또는 유사한 경우에 한하여 상기 색상 레벨의 변화 추이를 조정하는 것을 특징으로 하는 이미지 왜곡 보정 방법.
  2. 제1항에 있어서,
    상기 원본 이미지는 각 픽셀이 적색, 녹색 및 청색의 픽셀 데이터를 모두 가지는 RGB 포맷에 따른 이미지인 것을 특징으로 하는 이미지 왜곡 보정 방법.
  3. 제1항에 있어서,
    상기 색상 레벨을 분석하는 단계는 적색, 녹색 및 청색에 대해서 각각 색상 레벨을 분석하는 것을 특징으로 하는 이미지 왜곡 보정 방법.
  4. 제1항에 있어서,
    상기 색상 레벨의 변화 추이를 판단하는 단계는 X축 방향 및 Y축 방향 중 하나 이상의 방향에 대해서 상기 변화 추이를 판단하는 것을 특징으로 하는 이미지 왜곡 보정 방법.
  5. 삭제
  6. 제1항에 있어서,
    상기 색상 레벨의 변화 추이를 조정하는 단계는 상기 영역에서 색상 레벨의 변화 추이가 상기 임계치를 벗어나지 않도록 조정하는 것을 특징으로 하는 이미지 왜곡 보정 방법.
  7. 제6항에 있어서,
    상기 색상 레벨의 변화 추이를 조정하는 단계는 상기 영역에서 색상 레벨이 선형적인(linear) 변화 추이를 가지도록 조정하는 것을 특징으로 하는 이미지 왜곡 보정 방법.
  8. 제1항 내지 제4항 및 제6항 내지 제7항 중 어느 한 항에 기재된 이미지 왜곡 보정 방법을 수행하기 위하여 컴퓨터 장치에서 실행될 수 있는 명령어들의 프로그램이 기록되어 있으며, 상기 컴퓨터 장치에 의해 판독될 수 있는 프로그램이 기록된 기록매체.
  9. 입력받은 원본 이미지의 모든 픽셀들에 대한 색상 레벨을 분석하는 색상 분석부;
    상기 픽셀들의 위치에 따른 상기 색상 레벨의 변화 추이를 판단하는 추이 판단부;
    상기 변화 추이가 미리 정해진 임계치를 벗어나는 영역에서의 상기 색상 레벨의 변화 추이를 조정하는 추이 조정부; 및
    상기 조정된 변화 추이에 따라 상기 픽셀들의 색상 레벨을 보정하는 보정부를 포함하되,
    상기 추이 조정부는 적색, 녹색 및 청색의 색상 레벨 변화 추이가 동일 또는 유사한 경우에 한하여 상기 색상 레벨의 변화 추이를 조정하는 것을 특징으로 하는 이미지 왜곡 보정 장치.
KR1020080010017A 2008-01-31 2008-01-31 이미지 왜곡 보정 방법 및 그 장치 KR101361645B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020080010017A KR101361645B1 (ko) 2008-01-31 2008-01-31 이미지 왜곡 보정 방법 및 그 장치
US12/363,108 US8264562B2 (en) 2008-01-31 2009-01-30 Image distortion correcting method and device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080010017A KR101361645B1 (ko) 2008-01-31 2008-01-31 이미지 왜곡 보정 방법 및 그 장치

Publications (2)

Publication Number Publication Date
KR20090084061A KR20090084061A (ko) 2009-08-05
KR101361645B1 true KR101361645B1 (ko) 2014-02-12

Family

ID=40931281

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080010017A KR101361645B1 (ko) 2008-01-31 2008-01-31 이미지 왜곡 보정 방법 및 그 장치

Country Status (2)

Country Link
US (1) US8264562B2 (ko)
KR (1) KR101361645B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170025651A (ko) * 2015-08-31 2017-03-08 엘지디스플레이 주식회사 영상 처리 방법 및 영상 처리 회로와 그를 이용한 표시 장치

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9047531B2 (en) * 2010-05-21 2015-06-02 Hand Held Products, Inc. Interactive user interface for capturing a document in an image signal
US20130121676A1 (en) * 2011-11-10 2013-05-16 Research In Motion Limited Camera autofocus apparatus and associated method
US9620082B2 (en) 2015-05-15 2017-04-11 Hewlett-Packard Development Company, L.P. Correcting artifacts on a display
US20170302852A1 (en) * 2016-04-13 2017-10-19 Jason Tze Wah Lam Three Axis Gimbals Stabilized Action Camera Lens Unit
CN112133197B (zh) * 2020-09-29 2022-09-13 厦门天马微电子有限公司 显示屏、显示屏中屏下摄像头的光补偿方法及光补偿***

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040093206A (ko) * 2003-04-22 2004-11-05 엘지전자 주식회사 화면 왜곡 보정 방법 및 장치
JP2005318523A (ja) * 2004-03-30 2005-11-10 Seiko Epson Corp 画像処理装置、画像処理方法、および、画像処理プログラム
KR100731812B1 (ko) * 2006-08-11 2007-06-22 엠텍비젼 주식회사 색상 편차 보정 장치 및 그 보정 방법, 이를 이용한 이미지프로세서, 기록 매체
US20100020192A1 (en) * 2008-07-25 2010-01-28 Samsung Electro-Mechanics Co.,Ltd. Method of controlling auto white balance

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040093206A (ko) * 2003-04-22 2004-11-05 엘지전자 주식회사 화면 왜곡 보정 방법 및 장치
JP2005318523A (ja) * 2004-03-30 2005-11-10 Seiko Epson Corp 画像処理装置、画像処理方法、および、画像処理プログラム
KR100731812B1 (ko) * 2006-08-11 2007-06-22 엠텍비젼 주식회사 색상 편차 보정 장치 및 그 보정 방법, 이를 이용한 이미지프로세서, 기록 매체
US20100020192A1 (en) * 2008-07-25 2010-01-28 Samsung Electro-Mechanics Co.,Ltd. Method of controlling auto white balance

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170025651A (ko) * 2015-08-31 2017-03-08 엘지디스플레이 주식회사 영상 처리 방법 및 영상 처리 회로와 그를 이용한 표시 장치
KR102379774B1 (ko) 2015-08-31 2022-03-28 엘지디스플레이 주식회사 영상 처리 방법 및 영상 처리 회로와 그를 이용한 표시 장치

Also Published As

Publication number Publication date
KR20090084061A (ko) 2009-08-05
US8264562B2 (en) 2012-09-11
US20090195676A1 (en) 2009-08-06

Similar Documents

Publication Publication Date Title
US8363131B2 (en) Apparatus and method for local contrast enhanced tone mapping
KR100615277B1 (ko) 이미지 센서에서의 렌즈 셰이딩 현상 보정 방법 및 장치
US8059169B2 (en) Apparatus and method for compensating color, and image processor, digital processing apparatus, recording medium using it
JP5045421B2 (ja) 撮像装置、色ノイズ低減方法および色ノイズ低減プログラム
US8248483B2 (en) Signal processing apparatus, signal processing method, control program, readable recording medium, solid-state image capturing apparatus, and electronic information device
US8565524B2 (en) Image processing apparatus, and image pickup apparatus using same
US8373769B2 (en) Imaging apparatus, imaging processing method and recording medium
KR101361645B1 (ko) 이미지 왜곡 보정 방법 및 그 장치
US10281714B2 (en) Projector and projection system that correct optical characteristics, image processing apparatus, and storage medium
US20070064118A1 (en) Image processing apparatus and image processing method
CN102224736A (zh) 摄像装置
US8144211B2 (en) Chromatic aberration correction apparatus, image pickup apparatus, chromatic aberration amount calculation method, and chromatic aberration amount calculation program
US20110199520A1 (en) Image processing apparatus and image processing method
KR20190073516A (ko) 화상 처리 장치, 디지털 카메라, 화상 처리 프로그램, 및 기록 매체
KR100731812B1 (ko) 색상 편차 보정 장치 및 그 보정 방법, 이를 이용한 이미지프로세서, 기록 매체
JP2010219683A (ja) 画像処理装置、画像処理方法及びプログラム
CN110996015B (zh) 空间多重曝光
US20230254553A1 (en) Image obtaining method and apparatus, terminal, and computer-readable storage medium
JPWO2006059365A1 (ja) 画像処理装置、非撮像色信号算出装置及び画像処理方法
KR100967742B1 (ko) 이미지센서의 색 보간 방법
JP2006135564A (ja) 画素補間装置、画素補間方法
KR100747729B1 (ko) 이미지 프로세서, 렌즈 셰이딩 보정 장치 및 그 방법
CN117408872B (zh) 色彩图像数据转换方法、装置、设备及存储介质
US8818094B2 (en) Image processing apparatus, image processing method and recording device recording image processing program
CN114514743A (zh) 服务器装置及程序

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180129

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20200128

Year of fee payment: 7