상기의 기술적 과제를 달성하기 위한 본 발명의 일 측면에 따른 구간 선형 처리 장치는 사용자의 기본-설정값과 저조도-설정값을 저장하기 위한 구분점 저장수단과, 잡음이 많은 환경을 판단하여 현재-조도-정보신호 및 최고-조도-정보신호를 출력하기 위한 조도 판단수단과, 상기 기본-설정값과 상기 저조도-설정값과, 상기 현재- 조도-정보신호 및 상기 최고-조도-정보신호를 인가받아 잡음의 정도에 따라 조절된 적응-구분점을 공급하기 위한 적응 구분점 공급수단과, 상기 적응-구분점에 따른 영역을 기준으로 입력-데이터에 구간-증폭률을 적용하여 출력-데이터를 출력하기 위한 구간 선형 처리수단을 구비한다.
이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여, 본 발명의 가장 바람직한 실시예를 첨부된 도면을 참조하여 설명하기로 한다.
도 5는 본 발명의 제1 실시 예에 따른 구간 선형 처리 장치의 블록 구성도이다.
도 5를 참조하면, 제1 실시 예에 따른 구간 선형 처리 장치는 사용자의 기본-설정값(Am)과 저조도-설정값(Bm)을 저장하기 위한 구분점 저장부(100)와, 잡음이 많은 환경을 판단하여 조도-정보신호(LuInfocurrent, LuInfoMAX)를 출력하기 위한 조도 판단부(200)와, 기본-설정값(Am)과 저조도-설정값(Bm)과, 조도-정보신호(LuInfocurrent, LuInfoMAX)를 인가받아 잡음의 정도에 따라 조절된 적응-구분점을 공급하기 위한 적응 구분점 공급부(300)와, 적응-구분점에 따른 영역을 기준으로 입력-데이터(IN_FX_DT)에 구간-증폭률을 적용하여 출력-데이터(OUT_FX_DT)를 출력하기 위한 구간 선형 처리부(400)를 구비한다.
그리고 구분점 저장부(100)는 인가되는 기본-설정값(Am)을 저장하기 위한 제1 구분점 저장부(120)와, 저조도-설정값(Bm)을 저장하기 위한 제2 구분점 저장부(140)를 구비한다.
적응 구분점 공급부(300)는 보편적 환경에서는 기본-설정값(Am)을 출력하고, 잡음 환경에서는 기본-설정값(Am)과 저조도-설정값(Bm) 사이의 값을 출력하기 위한 적응 구분점 계산부(320)와, 적응 구분점 계산부(320)의 출력신호를 저장하여 적응-구분점으로 출력하기 위한 출력부(340)를 포함한다.
참고적으로, 기본-설정값(Am)은 보편적 환경에서 입력-데이터(IN_FX_DT)의 처리를 위해 사용되는 구분점이며, 저조도-설정값(Bm)은 잡음이 많은 저조도 상황에서 입력-데이터(IN_FX_DT)의 처리를 위해 사용되는 구분점이다.
또한, 조도 판단부(200)는 자동 노출장치(Auto Exposure, 도면에 도시되지 않음)와 연계되어 현재 노출 시간과 화상 증폭률(Gain Factor)를 관측함으로 현재의 조도 상태를 계산하여 적응 구분점 공급부(300)에 조도-정보신호(LuInfocurrent, LuInfoMAX)를 공급한다.
한편, 도 6a은 도 5에 도시된 구간 선형 처리 장치가 갖는 선형 함수로서, 이를 참조하여 제1 실시 예의 구간 선형 처리 장치의 구동을 간략히 살펴보도록 한다.
먼저, 사용자는 기본-설정값(Am)과 저조도-설정값(Bm)을 인가하며, 해당 구분점 저장부(120, 140)가 이를 저장한다.
그리고 보편적 상황에서, 적응 구분점 공급부(300)는 기본-설정값(Am) A0 ~ A6를 적응-구분점으로 공급한다. 이어, 구간 선형 처리부(400)는, 기본-설정값(Am)을 갖는 적응-구분점에 따른 영역을 기준으로 입력-데이터(IN_FX_DT)에 구간-증폭률을 적용하여 출력-데이터(OUT_FX_DT)를 출력한다.
한편, 저조도 상황에서, 조도 판단부(200)는 조도-정보신호(LuInfocurrent, LuInfoMAX)를 출력한다.
따라서, 적응 구분점 계산부(320)는 기본-설정값(Am)과 저조도-설정값(Bm)과, 조도-정보신호(LuInfocurrent, LuInfoMAX)를 인가받아 잡음의 정도에 따라 조절된 적응-구분점을 공급한다. 다시 언급하면, 공급되는 적응-구분점은, 도 6a에 도시된 바와 같이, 보편적 환경에서의 기본-설정값(Am)과 화면 잡음이 열악한 저조도 상황에서 적용할 저조도-설정값(Bm)을 보간하여 현 조도에 적용할 적응-구분점을 실시간으로 계산 및 적용된다.
따라서, 저조도 상황과 같이 화면 잡음이 많은 경우, 보편적 환경에서 사용하는 선형함수로 인해 저코드 영역에 증폭률이 집중되는 것을 방지하기 위해, 도 6a에 도시된 바와 같이, 저조도 설정값(Bm)을 사용하여 입력-데이터(IN_FX_DT)를 처리한다. 또한, 이러한 전환단계에서 발생할 수 있는 에러의 인식을 줄이기 위해, 출력 범위를 A0에서 C0를 거쳐, B0로 점진적으로 옮겨 적용한다. 여기서 언급된 C0는 A0와 B0 사이의 중간값들을 의미한다.
한편, 이러한 선형함수의 변화를 A영역과 같이, 입력범위 대 출력범위의 측면으로 살펴보도록 한다. 먼저, 선형함수의 두개의 점의 X축, 입력값의 차이는 입력범위, Y축 출력값의 차이는 출력범위이다. A영역은 보편적 환경의 선형함수 A0와 A1의 입력범위 대 출력범위를 나타내는데, 저조도 환경의 선형함수 B0와 B1의 입력범위 대 출력범위와 비교하여 보면, 저조도 환경에서의 입력범위대 출력범위의 비율이 점차적으로 줄어드는 것을 알 수 있다.
이와 같이, 본 발명에 따른 적응 구분점 공급부는 조도 환경이 변할 때마다 현재의 조도에 적응할 수 있는 적응-구분점을 새롭게 실시간으로 계산하여 적용하므로써, 종래 보편적 환경에서 저조도 환경으로 넘어가는 문턱 상황에서발생하던 구분점의 급격한 변화를 방지한다.
한편, 적응 구분점 계산부(320)의 적응-구분점 계산 방법에 대해 수식을 통해 구체적으로 살펴보도록 한다.
먼저, 적응 구분점 계산부(320)은 잡음의 정도를 의미하는 변수 K를 계산한다. 즉, 잡음의 정도는 현재 조도 정보로 대변될 수 있으므로, 상기 수학식 1과 같이 조도-정보신호 LuInfocurrent 를 LuInfoMAX로 나누어 변수 K를 구한다.
이어, 적응 구분점 계산부(320)는, 상기 수학식 2에 도시한 바와 같이, 기본-설정값(Am)과 저조도-설정값(Bm)의 차이에, 현재 조도의 밝음 정도를 나타내는 변 수 K를 곱하여, 적응-구분점(Cm)을 결정한다. 즉, 변수 K를 통해 저조도-설정값(Bm)보다 기본-설정값(Am)에 얼마나 근접한 지점을 사용할 것인지 결정한다.
적응-구분점이 계산되는 과정을 실제적인 수치를 예로 들어 살펴보도록 한다. 먼저, 조도-정보신호 LuInfoMAX가 16을 가지는 정수이며, 현재의 조도-정보신호 LuInfocurrent가 4라고 가정한다. 그리고 기본-설정값(Am)은 135, 저조도-설정값(Bm)은 114로 설정된 것으로 가정한다.
먼저, 상기 수학식 1에 따라, 조도변수 K는 4/16 = 0.25가 된다. 이어, 상기 수학식 2에 따라 적응-구분점 C1m은 (135 - 114) X 0.25 + 114 = 119.25가 된다.
또한, 현재의 조도-정보신호 LuInfocurrent가 10으로 밝아진 경우를 살펴보도록 한다. 먼저, 상기 수학식 1에 따라, 조도 변수K는 10/16 = 0.625로 증가한다. 따라서, 상기 수학식 2에 의해, 적응-구분점 C2m은 (135 - 114) X 0.625 + 114 = 127.1250가 됨을 알 수 있다.
앞서 언급한 바와 같이, 현재의 조도-정보신호 LuInfocurrent가 4에서 10으로 변화함에 따른, 적응-구분점의 설정을 도시한 것이 도 6b이다. 전술한 바와 도 6b를 참고하면, 현재의 조도가 밝아지므로, 조도-정보신호 LuInfocurrent 의 증가에 따라 적응-구분점(Cm)이 C1m = 119.25에서 C2m = 127.1250으로 이동한다. 즉, 조도가 밝아지는 것은 잡음이 적어지는 것을 의미하므로, 적응-구분점(Cm)이 잡음이 없는 노말 상태에 적용하는 기본-설정값(Am)으로 점차 가까워지는 것을 알 수 있다. 다 시 언급해 보면, 잡음이 많아 조도가 어두워지면, 적응-구분점은 기본-설정값(Am)에서 점차적으로 변화하여 조도-설정값(Bm)으로 이르는 것을 알 수 있다.
참고적으로, 제1 실시 예에 따른 구간 선형 처리 장치는 잡음의 정도를 조도-정보신호(LuInfocurrent 및 LuInfoMAX)를 이용하였으나, 필요에 따라 잡음을 대표하는 다른 참고치도 사용될 수 있다.
한편, 전술한 바와 같은 계산 과정은 픽셀 출력 타이밍 상에서 프레임과 프레임 사이 픽셀 출력이 일어나지 않는 공백시간, V_time에서 이뤄진다. 이에 관해, 도면을 참조하여 좀더 살펴보도록 한다.
도 7은 앞서 도시한 구간 선형 처리 장치를 포함하는 이미지 센서에서 사용하고 있는 ITU_R BT601표준에 의거한 VSync신호의 출력 타이밍을 도시한 도면이다.
도 7에 도시된 바와 같이, VSync신호는 크게 영상신호(Y_data)의 픽셀, 즉 출력-데이터(OUT_FX_DT)가 출력되는 출력시간 Y_time과, 픽셀 출력이 일어나지 않는 공백시간 V_time으로 나뉜다.
한편, 구간 선형 처리 장치는 입력-데이터(IN_FX_DT)에 대해 구간 선형 처리를 실시간으로 수행하여, 출력-데이터(OUT_FX_DT)를 출력한다. 이를 위해, 적응 구분점 공급부(300)의 구동, 역시 데이터가 처리되는 동안인 출력시간 Y_time 동안 이뤄진다면, 동일한 출력시간 Y_time 동안 상기 수학식 1과 2와 같은 계산을 하기 위한 추가적인 시간이 소요될 것이다. 추가적인 시간 소요는 구현 비용을 증가시키는 문제점을 발생시킬 것이다.
따라서, 적응-구분점의 계산은 공백시간 V_time 동안 이뤄지도록 함으로써, 적응-구분점의 계산에 따른 소요시간이 출력시간 Y_time에 추가되지 않도록 한다. 즉, 적응-구분점의 계산에 따른 구현상의 비용을 최소화할 수 있다.
한편, 제1 실시 예에 따른 구간 선형 처리 장치의 경우, 보편적 환경인 잡음이 없는 보통 조도 상태에 적용될 기본-설정값(Am)과, 화면 잡음이 제일 많은 경우 적용할 저조도-설정값(Bm)을 모두 설정해 주어야 한다. 따라서, 구간 선형 처리 장치에 저조도-설정값(Bm)을 저장하기 위한 제2 구분점 저장부(140)를 더 포함하는 단점을 수반한다.
이와 같이, 저조도 환경에서의 구분점의 설정이 필요하지 않은 본 발명의 다른 실시 예를 살펴보도록 한다.
도 8은 본 발명의 제2 실시 예에 따른 구간 선형 처리 장치의 블록 구성도이다.
도 8을 참조하면, 본 발명의 제2 실시 예에 따른 구간 선형 처리 장치는사용자의 기본-설정값(Am)을 저장하기 위한 기본 구분점 저장부(500)와, 잡음의 정도를 판단하여 조도-정보신호(LuInfocurrent, LuInfoMAX)를 출력하기 위한 조도 판단부(200)와, 기본-설정값(Am)과 코드-정보신호(UpCode, DownCode)로 잡음의 정도에 따라 조절된 구분점을 공급하기 위한 적응 구분점 공급부(600)와, 적응 구분점 공급부(600)의 구분점에 따른 영역을 기준으로 입력-데이터(IN_FX_DT)에 구간-증폭률을 적용하여 출력-데이터(OUT_FX_DT)를 출력하기 위한 구간 선형 처리부(400)를 구비 한다.
그리고 적응 구분점 공급부(600)는 보편적 환경에서는 기본-설정값(Am)을 출력하고, 잡음이 많은 환경에서는 기본-설정값(Am)와 코드-정보신호(UpCode, DownCode)를 통해 잡음의 정도에 따른 적응-구분점을 출력하기 위한 적응 구분점 계산부(620)와, 적응 구분점 계산부(620)의 출력신호를 저장하여 적응-구분점으로 출력하기 위한 출력부(640)를 포함한다.
이와 같이, 제2 실시 예에 따른 구간 선형 처리 장치는 보편적인 환경만을 고려하여 구분점을 설정해주면 되므로, 도 5에 도시된 바와 같이 저조도-설정값(Bm)을 저장하기 위한 저장부가 필요하지 않아 면적 측면에서 유리하다.
한편, 제2 실시 예에 따른 적응 구분점 계산부(620)의 계산 방법에 대해 하기 수식을 통해 구체적으로 살펴보도록 한다. 특히, 잡음이 많은 저조도 환경에서 필요한 저조도-설정값(Bm)을 계산하는 과정에 관해 살펴보도록 한다.
참고적으로, 상기 수학식 3의 코드-정보신호 UpCode와 DownCode는 저조도-설정값(Bm)의 계산을 위해 인가되는 값이다. 그리고, InputCode_Max와 OutputCode_Max는 각각 구간 선형 처리 장치에서 사용되는 최대 입력코드와 최대 출력 코드를 의미한다.
먼저, 적응 구분점 계산부(620)는 인가되는 코드-정보신호 UpCode와 DownCode를 상기 수학식 3에 적용하여, 기울기 SlopeREF를 구한다.
이어, 적은 구분점 계산부(620)는 상식 수학식 3을 통해 구해진 기울기 SlopeREF 에 각 기본-설정값(Am)의 X축 좌표값(XptAM)을 곱하고, UpCode를 더함으로써, 저조도-설정값(Bm)을 구한다.
이와 같이, 수학식 3과 4가 적응-구분점을 계산하기 위한 과정에 추가되었으나, 계산을 통해 조도-설정값을 구할 수 있어, 이를 저장하기 위한 저장부가 필요하지 않아 하드웨어 면적의 증가를 방지할 수 있다.
한편, 적응 구분점 계산부(620)는 수학식 5를 통해 적응-구분점을 계산한다. 이는 앞서 언급한 수학식 1및 2와 동일하므로, 구체적인 언급은 생략하도록 한다. 또한, 도 7에 도시된 바와 같이, 전술한 바와 같은 계산 과정은 픽셀 출력 타이밍 상에서 프레임과 프레임 사이 픽셀 출력이 일어나지 않는 공백시간, V_time에서 이뤄진다.
그러므로, 제2 실시 예에 따른 적응 구분점 계산부(620)를 포함하는 구간 선형 처리 장치는 수학식 3 및 4를 통해 저조도 환경에서의 저조도-설정값(Bm)을 계산한다. 사용자가 저조도 환경을 위한 저조도-설정값(Bm)을 별도로 인가하지 않아도 되어, 면적 측면에서 유리하게 된다.
한편, 앞서 언급한 바와 같은 구간 선형 처리 장치는 감마 보정, 컨트라스트 보정, 채도 보정 등을 위해 사용될 수 있다. 따라서, 이미지 센서 내에 감마 보정, 컨트라스트 보정, 채도 보정을 위한 구간 선형 처리 장치가 N개 구비될 수 있다. 만약, N개의 구간 선형 처리장치가 각각의 적응 구분점 계산부 및 조도 판단부를 구비한다면, 적응 구분점 계산부의 하드웨어 구현 면적이 A라 할때, N*A만큼의 면적이 증가하여, 구현적 측면에서 부담이 된다. 이를 방지하기 위해 중앙형 적응 구분점 계산부 및 조도 판단부를 서로 공유하므로서, 구간 선형 처리 장치의 개수가 증가해도 하드웨어 구현 면적의 추가적 증가를 막을 수 있다. 이러한 경우에 따른, 구간 선형 처리 장치의 구성을 도면을 참조하여 살펴보도록 한다.
도 9는 제 3 실시 예에 따른 N개의 구간 선형 처리부를 포함하는 구간 선형 처리 장치의 블록 구성도이다.
도 9를 참조하면, 제3 실시 예에 따른 구간 선형 처리 장치는 저조도 환경을 판단하여 조도-정보신호(LuInfocurrent)를 출력하기 위한 조도 판단부(780)와, 조도-정보신호(LuInfocurrent, LuInfoMAX)와 제1 내지 제N 기본-설정값(Am1, Am2 , Am3)을 인가받아 제1 내지 제N 적응-구분점(Cm1, Cm2 , Cm3)을 계산하기 위한 적응 구분점 계산부(760)와, 인가되는 제1 기본-설정값(Am1)과 제1 적응-구분점(Cm1)을 저장하여 출력하기 위한 제1 구분점 저장부(720)와, 제1 적응-구분점(Cm1)에 따른 영역을 기준으로 제1 입력-데이터(IN_FX_DT)에 구간-증폭률을 적용하여 제1 출력-데이터(OUT_FX_DT)를 출력하기 위한 제1 구간 선형 처리부(740)와, 인가되는 제2 기본-설정값(Am2)과 제2 적응-구분점(Cm2)을 저장하여 출력하기 위한 제2 구분점 저장부(820)와, 제2 적응-구분점(Cm2)에 따른 영역을 기준으로 제2 입력-데이터(IN_FX_DT)에 구간-증폭률을 적용하여 제2 출력-데이터(OUT_FX_DT)를 출력하기 위한 제2 구간 선형 처리부(840)와, 인가되는 제N 기본-설정값(AmN)과 제N 적응-구분점(CmN)을 저장하여 출력하기 위한 제N 구분점 저장부(920)와, 제N 적응-구분점(CmN)에 따른 영역을 기준으로 제N 입력-데이터(IN_FX_DT)에 구간-증폭률을 적용하여 제N 출력-데이터(OUT_FX_DT)를 출력하기 위한 제N 구간 선형 처리부(940)를 구비한다.
이와 같이, 구간 선형 처리부를 N개 구비하는 제3 실시 예의 구간 선형 처리 장치는 적응 구분점 계산부(760)와, 조도 판단부(780)를 공유한다. 이에 대한 동작 타이밍도를 참조하여, 구동을 살펴보도록 한다.
도 10은 이미지 센서에서 사용하고 있는 ITU_R BT601표준에 의거한 VSync신호의 출력 타이밍을 도시한 도면이다. 특히, 복수개의 구간 선형 처리부를 포함하는 경우에, 적응-구분점을 계산하는 타이밍을 도시하였다.
도 10에 도시된 바와 같이, 구간 선형 처리 장치는 프레임과 프레임 사이 픽셀 출력이 일어나지 않는 공백시간, V_time에서 적응-구분점 계산을 수행한다. 특히, 제1 내지 제N 적응-구분점(Cm1, Cm2 , Cm3)을 시분할 방식을 통해 계산한다. 다시 언급하면, 제1 구분점 저장부(720)의 제1 적응-구분점(Cm1) 갱신을 위해 T1의 시간 동안 점유하여 계산한 후 완료되면, 제 2 구분점 저장부(820)의 제2 적응-구분점(Cm2) 갱신을 시작하는 방식이다.
그러므로, 제3 실시 예와 같이 복수개의 구간 선형 처리부를 포함하는 구간 선형 처리 장치는 중앙형 조도 판단부와 적응 구분점 계산부를 공유함으로써, 복수의 구간 선형 처리부를 구비하면서도 개별적으로 조도 판단부 및 적응 구분점 계산부을 구비함에 따른 추가적인 면적의 증가는 방지할 수 있다.
참고적으로, 제3 실시 예의 구간 선형 처리 장치가 구비하는 복수개의 구간 선형 처리부의 수가, 공백시간 V_time 내에 모두 갱신 작업을 완료할 수 없을 만큼 많은 경우에는, 부분적으로 적응 구분점 계산부를 자체적으로 구비하도록 할 수 있다. 혹은, 중앙에 적응 구분점 계산부를 복수개 구비하여 이를 공유하도록 할 수 있다.
그러므로, 전술한 본 발명은 잡음의 정도를 현재 조도 상태를 나타내는 대표값 LuInfo_current를 통해 감지하여, 구간 선형 처리부에서 사용될 구분점을 잡음의 정도에 따라 조정하여 생성한다. 따라서, 특정 영역에서 잡음이 증폭되는 문제점을 해결하였다. 뿐만 아니라, 종래 선형함수의 변경에 따른 최종 출력화면의 급격한 변화를 방지할 수 있다.
또한, 본 발명은 시분할 방식을 사용하여 복수개의 구간 선형 처리부를 구동하므로써, 구현 상 하드웨어의 면적 증가에 따른 부담을 줄일 수 있다.
즉, 본 발명은 이미지 센싱의 주요 척도로 평가되는, 저조도에서의 신호대 잡음비를 최소한으로 할 뿐 아니라, 하드웨어 구현 시 따르는 부담을 개선한다.
이상에서 설명한 본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하다는 것이 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에게 있어 명백할 것이다.