KR101608874B1 - 이미지 처리 장치 - Google Patents

Abstract

본 발명은 이미지 처리 장치에 관한 것으로, 본 발명은 피사체의 빛을 입사하는 렌즈부, 상기 렌즈부의 외부에 위치하여 상기 피사체와 상기 렌즈부 사이의 거리를 감지하는 거리 감지부, 상기 렌즈부의 빛을 R, G, B별 영상 데이터로 변환하는 이미지 센서, 상기 R, G, B별 영상 데이터의 R, G, B별 에지 영역을 검출하는 에지 검출부, 상기 거리 감지부의 상기 거리에 대응하여 상기 R, G, B별 에지 영역에 적용되는 R, G, B별 보정 상수를 변경하는 보정 상수 변경부, 상기 R, G, B별 에지 영역을 상기 R, G, B별 보정 상수로 보정하여 에지가 강조된 R, G, B별 보정 데이터를 생성하는 에지 강조부를 포함한다.

Description

이미지 처리 장치{Apparatus for processing image}

본 발명은 휴대용 단말기에 적용되는 카메라 모듈의 이미지 처리 장치에 관한 것이다.

최근 대용량의 화소를 구비한 카메라 모듈이 핸드폰, PDA(Personal Digital Assistants), PMP등(Portable Multimedia Player)과 같은 휴대용 단말기에 탑재되면서 휴대용 단말기를 통해서도 전용 디지털 카메라와 대등한 품질의 이미지나 동영상을 촬영할 수 있게 되었다.

일반적으로 휴대용 단말기에 탐재되는 카메라 모듈은 이미지 센서와 이미지 신호 처리부(ISP, Image Signal Processor)를 포함한다.

이미지 센서는 베이어 패턴(Bayer Pattern)을 가지는 CCD(Charge Coupled Device) 또는 CMOS(Complementary Metal-Oxide Semiconductor)로 구성되고 단위 픽셀 별로 렌즈를 통해 입력된 빛의 양에 상응하는 전기 신호를 출력한다.

이미지 신호 처리부는 이미지 센서로부터 입력된 전기 신호를 디스플레이부에 표시되는 이미지 신호로 처리하는 역할을 수행하며, 피사체의 경계를 분명하게 구분 지을 수 있도록 에지 강조(Edge Enhancement) 방법을 사용한다.

종래 이미지 신호 처리부의 에지 강조 방법은 3×3개의 화소로 구성된 영역에 대한 특정 값(tuning factor) 연산으로 저주파 영역은 낮추고 고파주 영역을 부각시키는 방식이었다.

이때, 종래에는 휘도(Y)값만을 가인자로 추출하여 R(red), G(green), B(blue) 채널을 모두 동일하게 에지 보정함으로써, 근거리 피사체의 경우에는 B 채널에 고주파 노이즈(high frequency noise)가 발생하였고, 원거리 화상의 경우에는 R 채널에 고주파 노이즈가 발생하는 문제점이 있었다.

따라서, B 채널과 R 채널의 고주파 노이즈를 방지하기 위하여 에지 강조 계수를 낮출 경우에는 피사체의 경계가 뭉개져 해상력이 떨어지는 문제점이 있었다.

본 발명은 고주파 노이즈를 억제하면서 에지를 강조할 수 있는 이미지 처리 장치를 제공한다.

본 발명의 한 특징에 따르면, 피사체의 빛을 입사하는 렌즈부, 상기 렌즈부의 외부에 위치하여 상기 피사체와 상기 렌즈부 사이의 거리를 감지하는 거리 감지부, 상기 렌즈부의 빛을 R, G, B별 영상 데이터로 변환하는 이미지 센서, 상기 R, G, B별 영상 데이터의 R, G, B별 에지 영역을 검출하는 에지 검출부, 상기 거리 감지부의 상기 거리에 대응하여 상기 R, G, B별 에지 영역에 적용되는 R, G, B별 보정 상수를 변경하는 보정 상수 변경부, 상기 R, G, B별 에지 영역을 상기 R, G, B별 보정 상수로 보정하여 에지가 강조된 R, G, B별 보정 데이터를 생성하는 에지 강조부를 포함하는 이미지 처리 장치가 제공된다.

본 발명의 실시 예에서는 피사체와의 거리에 따라 에지를 강조하는 R, G, B별 보정 상수를 변경함으로써, 피사체와의 거리에 관계없이 영상에 고주파 노이즈가 발생하는 것을 방지할 수 있다.

또한, 본 발명에서는 R, G, B별 영상 데이터의 에지 영역을 강조한 이후 인접한 픽셀 사이의 계조 차이가 기준 계조 이상으로 강조된 픽셀에 대해 계조 상한을 적용함으로써, 계조가 초과하여 영상에 왜곡되는 것을 보정할 수 있다.

도 1은 본 발명의 실시 예에 따른 카메라 모듈의 이미지 처리 장치를 나타내는 도면이다.
도 2는 본 발명의 실시 예에 따른 R, G, B별 보정 데이터를 나타내는 그래프이다.
도 3은 본 발명의 실시 예에 따른 계조 상한 설정부의 동작을 나타내는 플로우차트이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제2 구성요소는 제1 구성요소로 명명될 수 있고, 유사하게 제1 구성요소도 제2 구성요소로 명명될 수 있다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

이제 본 발명의 실시 예에 따른 이미지 처리 장치에 대하여 도면을 참고하여 상세하게 설명하고, 도면 부호에 관계없이 동일하거나 대응하는 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기도 한다.

도 1은 본 발명의 실시 예에 따른 카메라 모듈의 이미지 처리 장치를 나타내는 도면이다.

도 1에 도시된 바와 같이, 본 발명의 이미지 처리 장치는 렌즈부(10), 거리 감지부(20), 이미지 센서(30) 및 이미지 신호 처리부(40)를 포함한다.

렌즈부(10)는 복수의 렌즈로 구성되어 있으며, 피사체의 광 이미지를 입사하여 이미지 센서(30)로 전달한다.

거리 감지부(20)는 렌즈부(10)의 외측에 설치되어 피사체와 렌즈부(10) 사이의 거리를 측정하는 소자이다.

이미지 센서(30)는 CCD(Charge Coupled Device) 또는 CMOS(Complementary Metal-Oxide Semiconductor) 이미지 센서로 구성될 수 있고, 베이어 패턴(Bayer Pattern)을 가질 수 있다.

이미지 센서(30)는 복수의 픽셀로 구성되고, 각 픽셀은 렌즈부(10)를 통해 입사된 빛의 세기에 상응하는 R, G, B 채널별 영상 데이터를 출력한다. 아래에서는 설명의 편의를 위해 R 채널의 영상 데이터를 R-영상 데이터, G 채널의 영상 데이터를 G-영상 데이터, B 채널의 영상 데이터를 B-영상 데이터라 한다.

이미지 신호 처리부(40)는 R, G, B별 영상 데이터의 R, G, B별 에지 영역을 검출하는 에지 검출부(41)와, 거리 감지부(20)의 거리에 대응하여 R, G, B별 에지 영역에 적용되는 R, G, B별 보정 상수를 변경하는 보정 상수 변경부(42)와, R, G, B별 에지 영역을 R, G, B별 보정 상수로 보정하여 에지가 강조된 R, G, B별 보정 데이터를 생성하는 에지 강조부(43)와, R, G, B별 보정 데이터 중 상호 인접한 픽셀 사이의 계조가 기준 계조 이상인 제1 픽셀 및 제2 픽셀을 추출하고, 제1 픽셀과 제2 픽셀 중 기준 계조 이상인 픽셀의 계조를 기준 계조로 설정하는 계조 상한 설정부(44)를 포함한다.

에지 검출부(41)는 이미지 센서(30)로부터 입력되는 R-영상 데이터, G-영상 데이터 및 B-영상 데이터의 에지 영역인 R-에지 영역, G-에지 영역, B-에지 영역을 각각 검출한다.

보정 상수 변경부(42)는 거리 감지부(20)로부터 입력되는 피사체와의 거리에 대응하여 R-에지 영역, G-에지 영역 및 B-에지 영역에 적용되는 R-보정 상수, G-보정상수 및 B-보정 상수를 각각 변경한다.

보다 구체적으로, 거리 감지부(20)에서 감지된 피사체와 렌즈부(10) 사이의 거리가 대략 20cm내외인 근거리인 경우, 보정 상수 변경부(42)는 B-보정 상수를 R-보정 상수 및 G-보정 상수에 비해 상대적으로 낮게 설정한다. 그러면, 근거리 피사체를 촬영할 때 B-영상 데이터에서 발생하는 고주파 노이즈(high frequency noise)를 방지할 수 있다.

거리 감지부(20)에서 감지된 피사체와 렌즈부(10) 사이의 거리가 대략 60cm 내외인 중거리인 경우, 보정 상수 변경부(42)는 G-보정 상수를 R-보정 상수 및 B-보정 상수에 비해 상대적으로 낮게 설정한다. 그러면, 중거리 피사체를 촬영할 때 G-영상 데이터에 발생하는 고주파 노이즈를 방지할 수 있다.

거리 감지부(20)에서 감지된 피사체와 렌즈부(10) 사이의 거리가 대략 5m 내외인 원거리인 경우, 보정 상수 변경부(42)는 R-보정 상수를 G-보정 상수 및 B-보정 상수에 비해 상대적으로 낮게 설정한다. 그러면, 원거리 피사체를 촬영할 때 R-영상 데이터에 발생하는 고주파 노이즈를 방지할 수 있다.

에지 강조부(43)는 R-에지 영역을 피사체와의 거리에 따라 변경된 R-보정 상수로 보정하여 에지가 강조된 R-보정 데이터를 출력하고, G-에지 영역을 피사체와의 거리에 따라 변경된 G-보정 상수로 보정하여 에지가 강조된 G-보정 데이터를 출력하고, B-에지 영역을 피사체와의 거리에 따라 변경된 B-보정 상수로 보정하여 에지가 강조된 B-보정 데이터를 출력한다.

도 2는 본 발명의 실시 예에 따른 R, G, B별 보정 데이터를 나타내는 그래프로서, 도 2a는 R, G, B별 영상 데이터라고 할 때, 도 2b는 근거리 피사체의 R, G, B별 보정 데이터이고, 도 2c는 중거리 피사체의 R, G, B별 보정 데이터이고, 도 2d는 원거리 피사체의 R, G, B별 보정 데이터를 나타내는 그래프이다.

도 2b 내지 도 2d에 도시된 바와 같이, 본 발명에서는 피사체와의 거리에 따라 에지를 강조하는 R, G, B별 보정 상수를 변경함으로써, 피사체와의 거리에 관계없이 영상에 고주파 노이즈가 발생하는 것을 방지할 수 있다.

계조 상한 설정부(44)는 R, G, B별 보정 데이터의 상호 인접한 픽셀의 계조 차이와 기준 계조를 비교하여, 상호 인접한 픽셀의 계조 차이가 기준 계조 미만이면 그대로 R, G, B별 보정 데이터를 출력하고, 상호 인접한 픽셀의 계조 차이가 기준 계조 이상이면 계조의 상한을 기준 계조로 설정한다.

본 발명에서는 설명의 편의상 기준 계조를 고주파 노이즈가 발생할 수 있는 고계조인 240 계조로 설정하였으나, 본 발명은 이에 한정되지 않고 변경 가능하다.

도 3은 본 발명의 실시 예에 따른 계조 상한 설정부(44)의 동작을 나타내는 플로우차트이다.

R, G, B별 보정 데이터가 입력되면(S301), 계조 상한 설정부(44)는 R, G, B별 보정 데이터에 포함되어 있는 복수의 픽셀 중 인접한 픽셀 사이의 계조 차이를 연산한다(S302).

이때, 제1 픽셀(x)과 제2 픽셀(x+1)의 계조 차이가 기준 계조(240 계조) 미만이면(S303), 계조 상한 설정부(44)는 R, G, B별 보정 데이터를 그대로 출력한다(S304).

반대로, 제1 픽셀과 제2 픽셀의 계조 차이가 기준 계조(240 계조) 이상이면(S303), 계조 상한 설정부(44)는 제1 픽셀과 제2 픽셀 중 기준 계조 이상인 픽셀이 있는지를 판단한다.

제1 픽셀의 계조가 제2 픽셀의 계조보다 크고 제1 픽셀의 계조가 기준 계조 이상이면(S305), 계조 상한 설정부(44)는 제1 픽셀의 계조를 기준 계조로 설정한다(S306).

또한, 제2 픽셀의 계조가 제1 픽셀의 계조보다 크고 제2 픽셀의 계조가 기준 계조 이상이면(S307), 계조 상한 설정부(44)는 제2 픽셀의 계조를 기준 계조로 설정한다(S308).

단계(S305)에서 제1 픽셀의 계조가 제2 픽셀의 계조보다 크지만 제1 픽셀의 계조가 기준 계조 미만이면, 계조 상한 설정부(44)는 계조의 상한을 제한하지 않고 R, G, B별 보정 데이터를 그대로 출력한다(S304).

단계(S307)에서 제2 픽셀의 계조가 제1 픽셀의 계조보다 크지만 제2 픽셀의 계조가 기준 계조 미만이면, 계조 상항 설정부(44)는 계조의 상한을 제한하지 않고 R, G, B별 보정 데이터를 그대로 출력한다(S304).

이와 같이, 본 발명에서는 R, G, B별 영상 데이터의 에지 영역을 강조한 이후 인접한 픽셀 사이의 계조 차이가 기준 계조 이상으로 강조된 픽셀에 대해 계조 상한을 적용함으로써, 계조가 초과하여 영상에 왜곡되는 것을 보정할 수 있다.

이상에서 본 발명의 실시 예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

10: 렌즈부 20: 거리 감지부
30: 이미지 센서 40: 신호 처리부
41: 에지 검출부 42: 보정 상수 변경부
43: 에지 강조부 44: 계조 상한 설정부

Claims (5)

1. 피사체의 빛을 입사하는 렌즈부,
   상기 렌즈부의 외부에 위치하여 상기 피사체와 상기 렌즈부 사이의 거리를 감지하는 거리 감지부,
   상기 렌즈부의 빛을 R, G, B별 영상 데이터로 변환하는 이미지 센서,
   상기 R, G, B별 영상 데이터의 R, G, B별 에지 영역을 검출하는 에지 검출부,
   상기 거리 감지부의 상기 거리에 대응하여 상기 R, G, B별 에지 영역에 적용되는 R, G, B별 보정 상수를 변경하는 보정 상수 변경부,
   상기 R, G, B별 에지 영역을 상기 R, G, B별 보정 상수로 보정하여 에지가 강조된 R, G, B별 보정 데이터를 생성하는 에지 강조부,및
   상기 R, G, B별 보정 데이터 중 상호 인접한 픽셀 사이의 계조 차이가 기준 계조 이상인 제1 픽셀 및 제2 픽셀을 추출하고, 상기 제1 픽셀과 상기 제2 픽셀 중 상기 기준 계조 이상인 픽셀의 계조를 상기 기준 계조로 설정하는 계조 상한 설정부를 포함하는 이미지 처리 장치.
2. 삭제
3. 제1항에 있어서,
   상기 R, G, B별 보정 데이터 중 상호 인접한 픽셀 사이의 계조와 비교하는 기준 계조는 상기 R, G, B별 보정 데이터에 고주파 노이즈가 발생하는 고계조인 이미지 처리 장치.
4. 제1항에 있어서,
   상기 보정 상수 변경부는,
   상기 거리 감지부에서 감지된 거리가 근거리인 경우, 상기 B 보정 상수를 상기 R 및 G 보정 상수보다 낮게 설정하는 이미지 처리 장치.
5. 제1항에 있어서,
   상기 보정 상수 변경부는,
   상기 거리 감지부에서 감지된 거리가 원거리인 경우, 상기 R 보정 상수를 상기 G 및 B 보정 상수보다 낮게 설정하는 이미지 처리 장치.

Images