KR100792986B1 - Compensation apparatus and method for lens distortion in the mobile terminal - Google Patents
Compensation apparatus and method for lens distortion in the mobile terminal Download PDFInfo
- Publication number
- KR100792986B1 KR100792986B1 KR1020050090600A KR20050090600A KR100792986B1 KR 100792986 B1 KR100792986 B1 KR 100792986B1 KR 1020050090600 A KR1020050090600 A KR 1020050090600A KR 20050090600 A KR20050090600 A KR 20050090600A KR 100792986 B1 KR100792986 B1 KR 100792986B1
- Authority
- KR
- South Korea
- Prior art keywords
- gain table
- lens
- center
- lens distortion
- gain
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
Abstract
본 발명은 휴대 단말기에 있어서, 특히 카메라 모듈 내에서 모듈 특성에 맞는 게인 테이블을 생성하고 생성된 게인 테이블을 이용하여 이미지 데이터의 렌즈 왜곡을 보상할 수 있도록 한 휴대 단말기에서의 렌즈 왜곡 보상 장치 및 방법에 관한 것이다. The present invention provides a device and method for compensating lens distortion in a mobile terminal, in particular, a gain table suitable for module characteristics in a camera module, and to compensate for lens distortion of image data using the generated gain table. It is about.
본 발명에 따른 휴대 단말기에서의 렌즈 왜곡 보상 장치는, 카메라 모듈 특성에 따른 게인 테이블을 생성하여 렌즈 왜곡을 보상하는 휴대 단말기에서의 렌즈 왜곡 보상 장치에 있어서, 디지털 이미지 데이터로 출력하는 이미지 센서와; 상기 이미지 센서로부터 카메라 모듈 특성에 맞는 게인 테이블을 생성하기 위한 표준영상을 입력받아 임의로 선택된 중심으로부터 주변부까지의 거리를 n 등분으로 반경을 나누고, 상기 각 반경마다의 상/하/좌/우 방향에 위치한 지점에 대해 각 픽셀들로부터 최소인 점을 렌즈의 중심위치로 판별하는 중심위치를 판별하는 중심 판별부 및 상기 렌즈 중심 위치로부터 거리별 R/G/B 픽셀에 대해 각각 게인 테이블을 생성시키는 R/G/B 게인 테이블 생성부를 포함하는 렌즈 왜곡 보정 게인 테이블 생성부와; 상기 생성된 거리별 각 픽셀 칼라에 대한 게인 테이블이 저장된 메모리부와; 상기 카메라 모듈의 동작시 렌즈 왜곡 보상을 위해 상기 메모리부에 저장된 게인 테이블이 저장되는 게인 테이블 메모리와; 상기 카메라 모듈를 통해 입력되는 일반영상을 상기 게인 테이블 메모리에 저장된 게인 테이블을 이용하여 각 픽셀에 대해 렌즈 왜곡을 보정하는 렌즈 왜곡 보정부를 포함하는 것을 특징으로 한다.An apparatus for compensating lens distortion in a portable terminal according to the present invention includes a lens distortion compensating apparatus for a portable terminal for compensating for lens distortion by generating a gain table according to characteristics of a camera module, comprising: an image sensor for outputting digital image data; The standard image is input from the image sensor to generate a gain table that matches the characteristics of the camera module. The distance from the arbitrarily selected center to the periphery is divided by n equal radii, and in the up / down / left / right directions for each radius. A center discriminating unit for determining a center position for discriminating the smallest point from each pixel with respect to the located position as a center position of the lens, and R for generating a gain table for R / G / B pixels for each distance from the lens center position A lens distortion correction gain table generator including a / G / B gain table generator; A memory unit storing a gain table for each pixel color for each generated distance; A gain table memory in which a gain table stored in the memory unit is stored to compensate for lens distortion during operation of the camera module; And a lens distortion correcting unit configured to correct lens distortion for each pixel by using the gain table stored in the gain table memory for the general image input through the camera module.
휴대 단말기, 카메라, 렌즈, 왜곡, 보상 Handset, camera, lens, distortion, compensation
Description
도 1의 (a)~(d)는 렌즈 보상 전/후의 밝기 상태를 나타낸 도면.1A to 1D are diagrams showing brightness states before and after lens compensation.
도 2는 종래 휴대 단말기에서의 렌즈 왜곡 보상 장치를 나타낸 구성도.2 is a block diagram showing a lens distortion compensation device in a conventional portable terminal.
도 3은 종래 게인 테이블의 예시도.3 is an exemplary view of a conventional gain table.
도 4는 본 발명 실시 예에 따른 렌즈 왜곡 보상 장치를 나타낸 구성도.4 is a block diagram showing a lens distortion compensation apparatus according to an embodiment of the present invention.
도 5는 도 4의 각 부 상세 구성도.5 is a detailed configuration diagram of each part of FIG. 4.
도 6은 본 발명에 따른 렌즈 왜곡 보상 방법을 나타낸 플로우 챠트.6 is a flow chart showing a lens distortion compensation method according to the present invention.
도 7은 본 발명에 따른 게인 테이블 생성 방법을 나타낸 플로우 챠트.7 is a flowchart illustrating a method of generating a gain table according to the present invention.
도 8은 본 발명에 따른 중심 판별을 위한 제 1실시 예를 위해 나타낸 도면.8 is a diagram illustrating a first embodiment for determining a center according to the present invention;
도 9는 본 발명에 따른 중심 판별을 위한 제 2실시 예를 나타낸 도면.9 is a view showing a second embodiment for determining the center according to the present invention.
도 10은 도 9와 같은 예에서, 다른 지점의 중심 판별 상태를 나타낸 도면.FIG. 10 is a diagram illustrating a state determination of the centers of different points in the example of FIG. 9; FIG.
도 11 및 도 12는 본 발명에 따른 렌즈 중심부로부터 주변부로 갈수록 게인이 증가되는 상태를 나타낸 도면.11 and 12 are views showing a state in which the gain increases toward the peripheral portion from the lens center in accordance with the present invention.
도 13은 본 발명에 따른 자동 게인 테이블 생성 방법을 나타낸 플로우 챠트.13 is a flowchart illustrating a method for generating an automatic gain table according to the present invention.
<도면의 주요 부분에 대한 부호의 설명><Explanation of symbols for the main parts of the drawings>
100...카메라 모듈 110...이미지 센서100
120...렌즈 왜곡 보상부 121...거리 계산부120 Lens
122...레드(R) 보정부 123...그린 보정부122 ... Red (R) Compensator 123 ... Green Compensator
124...블루 보정부 130...영상 처리부124
140...게인 테이블 메모리 141...인터페이스140 ...
142...레드 게인 테이블 143...그린 게인 테이블142 Red Gain Table 143 Green Gain Table
144...블루 게인 테이블 150...렌즈 왜곡 보정 게인 테이블 생성부144 ... blue gain table 150 ... lens distortion correction gain table generator
151....중심 판별부 152...레드 게인 테이블 생성부Central Determination Unit 152 Red Gain Table Generation Unit
153...그린 게인 테이블 생성부 154...블루 게인 테이블 생성부153 Green Gain Table Generator 154 Blue Gain Table Generator
160...메모리부160 ... Memory section
본 발명은 휴대 단말기에 있어서, 특히 카메라 모듈 내에서 모듈 특성에 맞는 게인 테이블을 생성하고 생성된 게인 테이블을 이용하여 이미지 데이터의 렌즈 왜곡을 보상할 수 있도록 한 휴대 단말기에서의 렌즈 왜곡 보상 장치 및 방법에 관한 것이다.The present invention provides a device and method for compensating lens distortion in a mobile terminal, in particular, a gain table suitable for module characteristics in a camera module, and to compensate for lens distortion of image data using the generated gain table. It is about.
오늘날 휴대 단말기는 단순한 전화로서의 기능뿐만 아니라, 다양한 부가적인 기능들이 제공되고 있다. 특히 휴대 단말기에 전화 기능과 다른 부가적인 기능이 복합된 복합 휴대 단말기(이하 휴대 단말기라 함)들이 개발되고 있다. 그 중에서 카메라와 휴대 전화기가 복합된 휴대 단말기는 영상을 촬영한 후 저장하고 필요시 재생하고, 배경 화면으로 사용할 수 도 있으며 이메일이나 전화번호를 이용하여 다른 기기에 전송할 수 있다. Today's portable terminals offer not only a simple telephone function, but also a variety of additional functions. In particular, composite portable terminals (hereinafter referred to as portable terminals) in which a telephone function and other additional functions are combined in a portable terminal have been developed. Among them, a mobile terminal, which is a combination of a camera and a mobile phone, can take a picture, store it, play it when necessary, use it as a wallpaper, and send it to another device using an email or a phone number.
이에 따라 기존의 디지털 카메라 시장에 카메라 폰 등 카메라를 갖는 휴대 단말기가 대중화되어, 개인이 하나의 카메라를 보유하는 1인 1카메라 시대에 접어들고 있다. 이런 휴대 단말기에 내장된 카메라는 고 화소, 고 기능의 추세로 개발되고 있다.Accordingly, portable terminals having cameras, such as camera phones, have become popular in the existing digital camera market, and individuals are entering an era of one-person cameras with one camera. Cameras embedded in such portable terminals are being developed with the trend of high pixels and high functions.
이러한 휴대 단말기에 장착된 카메라 모듈은 크게 CCD(Charge Coupled Device) 또는 CMOS(Complementary Metal-Oxide Semiconductor) 등으로 이루어진 이미지 센서(Image sensor)부와 영상 처리 및 제어부로 구성된다. 상기 이미지 센서부는 빛을 전기적 신호로 바꾸어 출력하게 되며, 영상 처리 및 제어부는 상기 이미지 센서부의 출력 영상을 가공하고 모터 등을 제어하게 된다. The camera module mounted on the portable terminal is composed of an image sensor unit, an image processing unit, and a controller made of a charge coupled device (CCD) or a complementary metal-oxide semiconductor (CMOS). The image sensor unit converts light into an electrical signal and outputs the image sensor, and the image processing and control unit processes an output image of the image sensor unit and controls a motor.
이러한 영상 처리 및 제어부는 ISP(Image Signal Processor) 또는 카메라 제어 프로세서(camera control processor)라고 하며, 이미지 센서와 결합하여 하나의 칩으로 구현되기도 하고, 독립적인 칩으로 구현되기도 한다. Such an image processing and control unit is called an image signal processor (ISP) or a camera control processor (ISP), and may be implemented as a single chip or an independent chip in combination with an image sensor.
이러한 카메라 모듈은 특성상 소형화되기 때문에 렌즈의 광학적 성능이 좋지 않게 된다. 특히 렌즈의 중앙에서 주변부로 갈수록 밝기가 감소되는 렌즈 쉐이딩(Lens shading, 또는 렌즈 왜곡) 현상이 대표적이다. 종래의 저급 CIF/VGA 급 모듈에서는 필요성이 크게 대두되지 않았으나, 근대 출시되는 메가 픽셀급(1.3M,2M,3M 등) 카메라 모듈에서는 필수적으로 적용이 요구되고 있다. Since the camera module is miniaturized in nature, the optical performance of the lens is poor. In particular, a lens shading phenomenon, in which the brightness decreases from the center of the lens toward the periphery, is typical. Although the need for conventional low-level CIF / VGA module has not been raised much, the application is required for mega pixel (1.3M, 2M, 3M, etc.) camera module that is released in modern times.
도 1은 카메라 시스템에서의 렌즈 왜곡 상태를 나타낸 도면이다. 1 is a diagram illustrating a lens distortion state in a camera system.
도 1의 (a)(b)는 렌즈 왜곡 상태로서, 렌즈의 중심부의 밝기와 주변부의 밝기가 일정하지 않는 상태를 나타내며, 도 1의 (c)(d)는 렌즈 보정 상태로서, 렌즈의 중심부의 밝기와 주변부의 밝기가 일정한 상태를 나타내고 있다.(A) and (b) of FIG. 1 are lens distortion states, and the brightness of the center portion of the lens and the brightness of the peripheral portion are not constant. FIG. 1 (c) (d) is the lens correction state, and the center portion of the lens. The brightness of the peripheral and the brightness of the peripheral area is indicated.
이러한 렌즈 왜곡 상태를 보정하기 위해 종래 카메라 모듈의 렌즈 왜곡 보정 장치는 도 2에 도시된 바와 같다. In order to correct the lens distortion state, the lens distortion correction apparatus of the conventional camera module is illustrated in FIG. 2.
카메라 모듈(10)에는 렌즈로부터 입력되는 빛(이미지 데이터)을 전기적 신호로 검출하고 디지털 신호로 변환하여 출력하는 이미지 센서(11)와, 메모리(14)에 저장된 게인 테이블(Gain Table)에 따라 거리에 따라 각 픽셀별 렌즈 왜곡을 보정하기 위한 렌즈 왜곡 보정부(12)와, 상기 렌즈 왜곡 보정된 영상을 출력 포맷에 맞게 영상 처리하는 영상 처리부(13)를 포함하게 된다. The
그리고, 상기 게인 테이블은 PC 등에 탑재된 게인 테이블 생성부(20)에 의해 휴대 단말기의 카메라 모듈의 특성에 맞게 일괄적으로 생성되어 상기 메모리(14)에 저장되는 방식이다. The gain table is collectively generated by the gain
이러한 카메라 렌즈 왜곡 보상 장치는 먼저 게인 테이블 생성부(20)에서 휴대 단말기에 적용될 카메라 모듈(10)의 한 종류에 대해 이미지 데이터를 받아서 도 3과 같은 게인 테이블을 생성한 후, 모든 카메라 모듈(10)의 메모리(14)의 게인 테이블로 저장하게 된다.The camera lens distortion compensator first receives image data of one type of
이러한, 게인 테이블은 렌즈의 중심위치 및 거리별 게인 값으로서, 카메라 모듈(10)의 외부에서 구해지며, 구해진 값을 카메라 모듈(10)에 적용하게 된다. The gain table is a gain value for each center position and distance of the lens, and is obtained from the outside of the
그리고, 카메라 모듈(10)의 이미지 센서(11)에서는 촬상된 이미지 데이터를 전기적 신호로 검출한 후 디지털 이미지 데이터로 변환하여 출력하게 되고, 렌즈 왜곡 보정부(12)는 상기 이미지 데이터를 메모리(14)의 게인 테이블을 이용하여 각 픽셀마다의 게인을 보상하여 렌즈 왜곡을 보정하게 되며, 보정된 이미지 데이터는 영상 처리부(13)를 통해 영상 처리되어 출력된다. The
상기 렌즈 왜곡 보정부(12)는 수동적으로 현재 픽셀과 중심 위치에서의 거리를 계산한 다음, 상기 구해진 픽셀별 거리를 게인 테이블에 저장된 값을 적용하여 렌즈 왜곡을 보상하게 된다.The lens
그러나, 종래에는 다음과 같은 문제가 있다.However, the following problems exist conventionally.
렌즈 왜곡 보정을 위한 렌즈 중심으로부터 거리에 따른 게인 테이블은 카메라 출력 영상을 받아 외부에서 만들어지기 때문에 외부에 별도의 게인 테이블 생성부(20)가 필요하게 된다.Since the gain table according to the distance from the center of the lens for lens distortion correction is made outside by receiving the camera output image, a separate
또 다른 문제는 카메라 모듈별 조립시 이미지 센서에 상이 맺히는 중심부에 편차가 존재할 수 있다. 즉, 렌즈의 제품, 카메라 모듈이 회사마다 상이하므로 렌즈의 왜곡 정도도 상이하게 발생될 수 있어 왜곡 편차가 발생될 수 있다. 이에 따라 게인 테이블 생성부(20)에서 한 번 생성된 게인 테이블을 이용하여 모든 카메라 모듈에 적용하면 렌즈 왜곡 보정이 정상적으로 이루어지지 않는 문제가 있다.Another problem is that there may be a deviation in the center of the image sensor when assembling each camera module. That is, since the lens product and the camera module are different from company to company, the distortion degree of the lens may also be generated differently, which may cause distortion deviation. Accordingly, when the gain table generated by the gain
본 발명의 제 1목적은 카메라 모듈에서 자체적으로 렌즈 왜곡 보정을 위한 게인 테이블을 생성하고, 상기 생성된 게인 테이블을 이용하여 촬상된 이미지 데이터를 보정할 수 있도록 한 휴대 단말기에서의 렌즈 왜곡 보상 장치 및 방법을 제공함에 있다.A first object of the present invention is to provide a lens distortion compensation device in a mobile terminal that allows the camera module to generate a gain table for correcting lens distortion by itself, and to correct image data captured by using the generated gain table. In providing a method.
본 발명의 제 2목적은 균일한 밝기를 가지는 표준 영상 입력에 대하여 자동 게인 테이블을 1회 생성한 후 메모리에 저장한 후, 카메라 모듈의 동작이 시작되면 고속 접근용 메모리에 상기 게인 테이블을 옮겨 놓은 후 촬상된 이미지 데이터를 보정할 수 있도록 한 휴대 단말기에서의 렌즈 왜곡 보상 장치 및 방법을 제공함에 있다. A second object of the present invention is to generate an automatic gain table once for a standard image input having a uniform brightness and store it in a memory, and then move the gain table to a high speed access memory when the camera module starts to operate. An apparatus and method for compensating lens distortion in a portable terminal for correcting post-photographed image data are provided.
본 발명의 제 3목적은 카메라 모듈의 특성 또는 렌즈 특성에 맞게 게인 테이블을 생성하여 적용할 수 있도록 한 휴대 단말기에서의 렌즈 왜곡 보상 장치 및 방법을 제공함에 있다.A third object of the present invention is to provide an apparatus and method for compensating lens distortion in a portable terminal, which can generate and apply a gain table according to the characteristics or lens characteristics of a camera module.
상기한 목적 달성을 위한 본 발명에 따른 휴대 단말기에서의 렌즈 왜곡 보상 장치는,Lens distortion compensation device in a mobile terminal according to the present invention for achieving the above object,
카메라 모듈 특성에 따른 게인 테이블을 생성하여 렌즈 왜곡을 보상하는 휴대 단말기에서의 렌즈 왜곡 보상 장치에 있어서,An apparatus for compensating lens distortion in a portable terminal for compensating for lens distortion by generating a gain table according to a camera module characteristic,
디지털 이미지 데이터로 출력하는 이미지 센서와; 상기 이미지 센서로부터 카메라 모듈 특성에 맞는 게인 테이블을 생성하기 위한 표준영상을 입력받아 임의로 선택된 중심으로부터 주변부까지의 거리를 n 등분으로 반경을 나누고, 상기 각 반경마다의 상/하/좌/우 방향에 위치한 지점에 대해 각 픽셀들로부터 최소인 점을 렌즈의 중심위치로 판별하는 중심위치를 판별하는 중심 판별부 및 상기 렌즈 중심 위치로부터 거리별 R/G/B 픽셀에 대해 각각 게인 테이블을 생성시키는 R/G/B 게인 테이블 생성부를 포함하는 렌즈 왜곡 보정 게인 테이블 생성부와; 상기 생성된 거리별 각 픽셀 칼라에 대한 게인 테이블이 저장된 메모리부와; 상기 카메라 모듈의 동작시 렌즈 왜곡 보상을 위해 상기 메모리부에 저장된 게인 테이블이 저장되는 게인 테이블 메모리와; 상기 카메라 모듈를 통해 입력되는 일반영상을 상기 게인 테이블 메모리에 저장된 게인 테이블을 이용하여 각 픽셀에 대해 렌즈 왜곡을 보정하는 렌즈 왜곡 보정부를 포함하는 것을 특징으로 한다.An image sensor for outputting digital image data; The standard image is input from the image sensor to generate a gain table that matches the characteristics of the camera module. The distance from the arbitrarily selected center to the periphery is divided by n equal radii, and in the up / down / left / right directions for each radius. A center discriminating unit for determining a center position for discriminating the smallest point from each pixel with respect to the located position as a center position of the lens, and R for generating a gain table for R / G / B pixels for each distance from the lens center position A lens distortion correction gain table generator including a / G / B gain table generator; A memory unit storing a gain table for each pixel color for each generated distance; A gain table memory in which a gain table stored in the memory unit is stored to compensate for lens distortion during operation of the camera module; And a lens distortion correcting unit configured to correct lens distortion for each pixel by using the gain table stored in the gain table memory for the general image input through the camera module.
바람직하게, 상기 렌즈 왜곡 보정 게인 테이블 생성부는 상기 카메라 모듈별로 중심위치 및 게인 테이블을 자동 생성하고, 그 생성된 게인 테이블을 상기 메모리부에 저장시키는 것을 특징으로 한다. The lens distortion correction gain table generating unit may automatically generate a center position and a gain table for each camera module, and store the generated gain table in the memory unit.
바람직하게, 상기 렌즈 왜곡 보정 게인 테이블 생성부는 1회만 동작하는 것을 특징으로 한다. Preferably, the lens distortion correction gain table generating unit operates only once.
삭제delete
바람직하게, 상기 중심 판별부는 R/G/B 밝기 정보 중 빈도수가 가장 많은 그린(blue) 밝기 정보를 이용하여, 그린 밝기 정보의 값 중에서 최소인 점을 렌즈 중심으로 판별하는 것을 특징으로 한다. Preferably, the center discriminator is configured to determine the minimum point among the values of the green brightness information as the center of the lens by using the blue brightness information having the highest frequency among the R / G / B brightness information.
삭제delete
바람직하게, 상기 중심 판별부는 미리 정의된 중심 위치 탐색 영역을 비율 축소를 통해 각 탐색 영역내의 n*n 개(n=1을 제외한 홀수 중 하나)의 점들에 대하여 픽셀 값이 최소인 점을 선택하는 것을 특징으로 한다. Preferably, the center discriminator selects a point having a minimum pixel value with respect to n * n points (one of odd numbers except n = 1) in each search area by reducing the predefined center position search area. It is characterized by.
바람직하게, 상기 게인 테이블 메모리부는 상기 메모리부로부터 R/G/B 게인 데이터를 읽어오기 위한 인터페이스부와, 렌즈 왜곡 보정을 위한 상기 인터페이스로부터 읽어온 R/G/B 게인 데이터가 저장되는 R/G/B 게인 테이블을 포함하는 것을 특징으로 한다. Preferably, the gain table memory unit includes an interface unit for reading R / G / B gain data from the memory unit and an R / G for storing R / G / B gain data read from the interface for lens distortion correction. / B It includes a gain table.
바람직하게 ,상기 렌즈 왜곡 보정부는 이미지 센서로부터 입력되는 디지털 이미지 데이터의 렌즈 중심부터 각 칼라 픽셀 사이의 거리를 계산하는 거리 계산부와, 상기 계산된 거리에 따른 칼라 픽셀들을 R/G/B 게인 테이블로 보정하기 위한 R/G/B 보정부를 포함하는 것을 특징으로 한다. Preferably, the lens distortion correction unit is a distance calculator for calculating the distance between each color pixel from the lens center of the digital image data input from the image sensor, and the color pixels according to the calculated distance R / G / B gain table It characterized in that it comprises a R / G / B correction unit for correcting.
바람직하게, 상기 렌즈 왜곡 보정된 이미지 데이터를 출력 포맷에 맞게 영상 처리하는 영상 처리부를 더 포함하는 것을 특징으로 한다. The image processing unit may further include an image processor configured to process the lens distortion corrected image data according to an output format.
본 발명에 따른 휴대 단말기에서의 렌즈 왜곡 보정 방법은,Lens distortion correction method in a mobile terminal according to the present invention,
카메라 모듈 특성에 맞는 게인 테이블을 생성하기 위한 표준영상을 이미지 센서를 통해 입력받아 상기 표준영상에 대한 밝기 차이로부터 렌즈 중심을 판별하는 단계; 상기 렌즈 중심으로부터 거리에 따른 R/G/B/ 게인 게이블을 생성하는 단계; 상기 생성된 게인 테이블을 저장하는 단계; 상기 저장된 게인 테이블을 이용하여 상기 이미지 센서로부터 입력되는 일반 영상에 대하여 렌즈 왜곡을 보정하는 단계를 포함하는 것을 특징으로 한다.Determining a lens center from a brightness difference with respect to the standard image by receiving a standard image for generating a gain table matching a camera module characteristic through an image sensor; Generating an R / G / B / gain gable according to distance from the lens center; Storing the generated gain table; And correcting lens distortion with respect to the general image input from the image sensor using the stored gain table.
바람직하게, 상기 게인 테이블 생성 단계는 표준 영상에 대하여 밝기 차이로 부터 렌즈 중심을 판별하는 단계; 상기 렌즈 중심으로부터 거리에 따른 R/G/B/ 게인 게이블을 생성하는 단계를 포함하는 것을 특징으로 한다. Preferably, the gain table generating step may include determining a lens center from a brightness difference with respect to a standard image; And generating an R / G / B / gain gable according to a distance from the lens center.
바람직하게, 상기 렌즈 중심은 R/G/B 밝기 정보 중 빈도수가 가장 많은 그린(blue) 픽셀들을 이용하여 밝기 정보가 최소인 점을 렌즈 중심으로 판별하는 것을 특징으로 한다. Preferably, the lens center is characterized by determining the point of the minimum brightness information as the lens center by using the blue pixels with the highest frequency among the R / G / B brightness information.
바람직하게, 상기 렌즈 중심을 판별하는 단계는, 임의로 선택된 중심으로부터 주변부까지의 거리를 n 등분으로 반경을 나누는 단계; 상기 각 반경마다의 상/하/좌/우 방향에 위치한 지점에 대해 해당 픽셀들의 합의 평균을 구하는 단계; 상기 평균값을 해당 픽셀의 값들로 각각 감산한 후 누적하여 분산시키는 단계; 상기 누적 분사된 값의 합을 구하여 최소인 점을 렌즈 중심으로 판별하는 단계를 포함하는 것을 특징으로 한다. Preferably, the determining of the lens center comprises: dividing the radius from the arbitrarily selected center to the periphery by n equal parts; Obtaining an average of sums of pixels corresponding to points located in up / down / left / right directions for each radius; Subtracting the average value into values of a corresponding pixel, and then accumulating and dispersing the average value; And determining the minimum point as the lens center by obtaining the sum of the cumulative injection values.
바람직하게, 상기 렌즈 중심을 판별하는 단계는, 미리 정의된 1차 중심 위치 탐색 영역 내의 n*n 개(n=1을 제외한 홀수 중 하나)의 점들에 대하여 픽셀 값이 최소인 점을 선택하는 단계 및 상기 선택된 픽셀 지점을 중심으로 1차 중심 위치 탐색영역에서 일정 비율로 축소된 제 2중심 위치 탐색 영역에 대해 픽셀 값이 최소인 점을 탐색하는 단계를 영역의 축소를 통해 반복 수행하여, 렌즈 중심을 판별하는 것을 특징으로 한다. Preferably, the determining of the lens center may include selecting a point having a minimum pixel value for n * n points (one of odd numbers except n = 1) in a predefined primary center position search area. And searching for a point having the minimum pixel value with respect to the second center location search area reduced by a predetermined ratio in the first center location search area around the selected pixel point by reducing the area to reduce the lens center. Characterized in that it determines.
바람직하게, 상기 렌즈 왜곡 보정은 R/G/B 각각에 대해 렌즈 왜곡을 보정하는 단계를 포함하는 것을 특징으로 한다. Preferably, the lens distortion correction comprises the step of correcting the lens distortion for each of the R / G / B.
바람직하게, 상기 게인 테이블 생성 단계는 렌즈 중심 및 그 중심 위치의 게 인을 초기화하는 단계; 각 거리에 따른 픽셀 값과 중심 위치의 게인을 곱하여 중심점 픽셀 값보다 작으면 게인을 한 스텝씩 증가시켜 주는 단계 및, 상기 증가된 위치에서의 픽셀 값과 게인의 곱이 중심 위치의 픽셀 값과 같으면 거리를 한 스텝씩 증가시켜 주는 단계를 반복적으로 수행하는 것을 특징으로 한다. Preferably, the gain table generating step includes initializing the gain of the lens center and its center position; Multiplying the gain of the center position by the pixel value according to each distance and increasing the gain by one step if it is smaller than the center point pixel value; and if the product of the pixel value and the gain at the increased position is equal to the pixel value of the center position, It is characterized by repeatedly performing the step of increasing by one step.
이하 첨부된 도면을 참조하여 설명하면 다음과 같다.Hereinafter, with reference to the accompanying drawings as follows.
도 4는 본 발명 실시 예에 따른 카메라 렌즈 왜곡 보정 장치를 나타낸 구성도이다.4 is a block diagram showing a camera lens distortion correction apparatus according to an embodiment of the present invention.
도 4를 참조하면, 카메라 모듈(100)은 카메라 렌즈로 입력되는 빛을 전기적 신호로 검출한 후 디지털 이미지 데이터로 변환하는 이미지 센서(110)와, 상기 이미지 데이터를 입력받아 게인 테이블 메모리(140)에 저장된 게인 테이블을 이용하여 렌즈 왜곡 보정을 수행하는 렌즈 왜곡 보정부(120)와, 상기 렌즈 왜곡 보정된 이미지 데이터를 출력 포맷에 맞게 변환하는 영상 처리부(130)와, 초기 1회 입력되는 표준 영상의 이미지 데이터를 이용하여 렌즈 왜곡 보정 테이블을 생성하는 렌즈 왜곡 보정 테이블 생성부(150)와, 상기 생성된 렌즈 왜곡 보정 테이블이 저장된 메모리부(160)를 포함하는 구성이다. Referring to FIG. 4, the
상기와 같이 구성되는 본 발명 실시 예에 따른 휴대 단말기에서의 카메라 렌즈 왜곡 보정 장치에 대하여 첨부된 도면을 참조하여 설명하면 다음과 같다.Referring to the accompanying drawings, a camera lens distortion correction apparatus in a mobile terminal according to an embodiment of the present invention configured as described above is as follows.
도 4를 참조하면, 카메라 모듈(100)은 모듈 내부에 자체적으로 자신의 모듈 특성에 맞는 게인 테이블을 생성하고, 생성된 게인 테이블을 저장한 후, 촬상된 이미지 데이터에 대해 자동 보정이 수행될 수 있도록 함에 있다.Referring to FIG. 4, the
이를 위해, 상기 카메라 모듈(100)은 이미지 센서(110), 렌즈 왜곡 보정부(120), 영상 처리부(130), 게인 테이블 메모리(140), 렌즈 왜곡 보정 게인 테이블 생성부(150), 메모리(160)를 포함하는 구성이다.To this end, the
상기 이미지 센서(110)는 카메라 렌즈를 통해 반사 입력되는 빛을 전기적인 신호로 검출한 후 디지털 이미지로 데이터 변환하여 출력하게 된다. 상기 디지털 이미지 데이터는 렌즈 왜곡 보정부(120)에 입력되며, 렌즈 왜곡 보정부(120)는 게인 테이블 메모리(140)에 저장된 게인 테이블을 이용하여 렌즈 왜곡을 보정하게 된다. 여기서, 상기 게인 테이블 메모리(140)는 고속으로 액세스가 가능한 메모리 예컨대, RAM으로 구성되며, 카메라 모듈 동작시 상기 비휘발성 메모리인 메모리부(160)에 저장된 게인 테이블이 저장된다. The
상기 렌즈 왜곡 보정부(120)에 의해 보정된 이미지 데이터는 영상 처리부(130)에 의해 출력 포맷에 맞게 변환되어 출력된다.The image data corrected by the lens
여기서, 본 발명의 게인 테이블(gain table)은 카메라 모듈(100) 내에서 자체적으로 생성 및 저장하게 된다. 즉, 렌즈 왜곡 보정용 게인 테이블이 카메라 모듈(100)의 이미지 센서 프로세서(ISP)에서 자동으로 생성되어 카메라 모듈(100) 내에 저장되기 때문에 외부에서 게인 테이블 생성을 위한 장치(즉 tool)가 필요 없게 된다. 또한 카메라 모듈별로 렌즈 왜곡 보상이 최적화되게 된다.Herein, the gain table of the present invention is generated and stored in the
이를 위해 상기 렌즈 왜곡 보정 게인 테이블 생성부(150)는 게인 테이블 생성 모드에서, 이미지 센서(110)로부터 입력되는 균일한 밝기를 가지는 표준 입력 영상(즉, White screen)에 대해 게인 테이블을 생성하게 된다. 이에 따라 해당 카 메라 모듈(100) 또는 렌즈의 특성에 맞는 게인 테이블을 생성하게 된다. To this end, the lens distortion correction
이를 위해 렌즈 왜곡 보정 게인 테이블 생성부(150)는 이미지 데이터로부터 중심 위치를 판별하고, 렌즈 중심으로부터 화소간의 거리별 칼라 신호(R/G/B) 게인 보정 값을 각각 계산하여 저장하게 된다. 상기 렌즈 왜곡 보정 게인 테이블 생성부(150)에 의해 생성된 게인 테이블은 메모리부(160)에 저장되는데, 상기 메모리부(160)는 비휘발성 메모리(NVM: Non-volatile memory)로서, 상기 생성된 게인 테이블에 대해 제품 출하 시점에 초기 1회만 저장하게 된다. To this end, the lens distortion correction
이후, 카메라 모듈(100)의 동작이 시작되면, 상기 메모리부(160)에 저장된 게인 테이블은 게인 테이블 메모리(140)에 의해 읽혀진 후 저장되며, 렌즈왜곡 보정부(120)는 이미지 센서(110)로부터 입력되는 디지털 이미지 데이터에 대해 상기 게인 테이블 메모리(140)에 저장된 게인 테이블을 읽어 각 화소별 렌즈 왜곡을 보정해 주게 된다. 즉, 렌즈 왜곡 보정부(120)는 현재 화소 중심으로부터 거리를 계산한 다음 그 거리에 해당되는 RGB 각각의 게인을 입력 영상에 가함으로써 보상하게 된다.Subsequently, when the operation of the
여기서, 렌즈 왜곡 보정시 메모리부(160)에 저장된 게인 테이블을 직접 읽어오지 않는 이유는, 매 픽셀마다 게인을 보정하기 때문에 상기 메모리부(160)에 있는 게인 테이블을 사용하면 실시간 처리가 어렵게 된다. 따라서 고속 접근이 가능한 별도의 게인 테이블이 필요하게 된다. 그리고, 카메라 모듈(100)의 동작이 시작되면 상기 메모리부(160)의 게인 테이블을 고속 접근이 가능한 게인 테이블 메모리(140)에 복사하는 과정을 제일 먼저 수행하게 된다.The reason why the gain table stored in the
도 5는 본 발명 실시 예에 따른 휴대 단말기에서의 카메라 렌즈 왜곡 보정 장치의 상세 구성도이다.5 is a detailed block diagram of a camera lens distortion correction apparatus in a mobile terminal according to an exemplary embodiment of the present invention.
도 5를 참조하면, 자동 테이블 생성 모드(M1)는, 이미지 센서에 표준 이미지 영상이 입력되며, 입력된 이미지 영상 데이터는 이미지 센서(110)에 의해 디지털 신호로 변환된 후 출력된다. 렌즈 왜곡 보정 게인 테이블 생성부(120)는 중심 판별부(151)에 의해 렌즈 중심이 판별되면, 그 렌즈 중심으로부터 각 픽셀간의 거리에 따른 각 칼라 픽셀별로 게인 테이블을 생성하게 된다. 즉, 레드(R) 게인 테이블 생성부(152)는 거리별 레드(R) 픽셀에 대해 게인 테이블을 각각 생성하고, 그린(G) 게인 테이블 생성부(153)는 거리별 그린(G) 픽셀에 대해 게인 테이블을 생성하며, 블루(B) 게인 테이블 생성부(154)는 거리별 블루(B) 픽셀에 대해 게인 테이블을 생성하게 된다. 이와 같이, 현재 픽셀이 렌즈 중심으로부터 거리가 어느 정도인지를 계산한 다음, 그 거리에 해당되는 R/G/B 각각의 게인 테이블을 생성하게 된다.Referring to FIG. 5, in the automatic table generation mode M1, a standard image image is input to an image sensor, and the input image image data is converted into a digital signal by the
상기 렌즈 왜곡 보정 게인 테이블 생성부(150)에 의해 생성된 거리별 칼라 게인 테이블은 비휘발성 메모리부(160)에 저장됨으로써, 자동 테이블 생성 모드가 종료된다.The distance-specific color gain table generated by the lens distortion correction gain
그리고, 정상 동작 모드(렌즈 왜곡 보정 모드)(M2)는 카메라 모듈(100)이 동작되면, 렌즈를 통해 입력되는 일반 영상을 이미지 센서(110)에서 전기적 신호로 검출한 후 디지털 신호로 변환하여 출력하게 된다. 상기 이미지 센서(110)에 의해 출력된 디지털 이미지 데이터는 렌즈 왜곡 보정부(120)에 입력된다.In addition, when the
이때, 게인 테이블 메모리(140)는 메모리부(160)에 저장된 게인 테이블을 인 터페이스부(141)를 통해 각각의 레드/그린/블루(R/G/B) 게인 테이블(142,143,144)에 각각 저장된다. In this case, the
그리고, 상기 렌즈 왜곡 보정부(120)는 렌즈 왜곡을 보정하기 위해, 거리 계산부(121) 및 레드/그린/블루 보정부(122,123,124)를 포함하며, 상기 거리 계산부(121)는 렌즈 중심부로부터 각 픽셀 사이의 거리를 계산하게 되며, 계산된 거리에 따른 각 R/G/B 픽셀별로 해당 게인 테이블(142,143,144)을 고속으로 액세스하여 레드/그린/블루 보정부(122,123,124)에서 보정을 수행하게 된다. In addition, the
이와 같이 렌즈 왜곡 보정부(120)에 의해 거리에 따른 칼라별 렌즈 왜곡이 보상되고 보장된 이미지 데이터는 영상 처리부(130)를 통해 출력 포맷에 맞게 변환되어 출력된다.As described above, lens distortion for each color is compensated for by the
도 6은 본 발명 실시 예에 따른 카메라 모듈의 렌즈 보정 방법을 나타낸 플로우 챠트이다. 6 is a flowchart illustrating a lens correction method of a camera module according to an exemplary embodiment of the present invention.
도 6에 도시된 바와 같이, 균일한 밝기를 갖는 표준 영상 입력에 대하여 자동 게인 테이블을 생성하게 된다(S101). 이러한 자동 게인 테이블 생성은 모듈 내부에 자동 게인 테이블 생성부를 구비함으로써 제품 출하를 위해 1회만 수행하면 된다. As shown in FIG. 6, an automatic gain table is generated for a standard image input having uniform brightness (S101). The automatic gain table generation needs to be performed only once to ship the product by providing the automatic gain table generator in the module.
이후, 일반 입력 영상에 대하여 렌즈 왜곡 보정 기능을 수행하게 되는데, 먼저 카메라 모듈의 동작 여부를 확인한 후(S102), 카메라 모듈이 정상 모드로 동작되면 메모리부로부터 게인 테이블을 독출하여 게인 테이블 메모리에 저장하게 된다(S103). 이미지 데이터가 획득되면(S105), 획득된 이미지 데이터를 상기 저장된 게 인 테이블을 이용하여 각 R/G/B 픽셀별로 보정하게 된다(S107). 이후, 보정된 이미지 데이터를 처리 및 출력하게 된다(S109).Subsequently, the lens distortion correction function is performed on the general input image. After checking whether the camera module is in operation (S102), when the camera module is operated in the normal mode, the gain table is read from the memory unit and stored in the gain table memory. (S103). When image data is acquired (S105), the obtained image data is corrected for each R / G / B pixel using the stored gain table (S107). Thereafter, the corrected image data is processed and output (S109).
이러한 자동 렌즈 보정을 위한 플로우는 도 7과 같다. The flow for such automatic lens correction is shown in FIG. 7.
도 7에 도시된 바와 같이, 표준 영상으로 입력된 이미지 데이터의 렌즈 중심 위치를 판별한 후(S111), 거리별 RGB 게인 보상 값을 각각 계산하게 된다(S113). 이에 따라 각 R/G/B별 게인 테이블이 생성된다.As shown in FIG. 7, after determining the lens center position of the image data input as the standard image (S111), RGB gain compensation values for each distance are calculated (S113). As a result, a gain table for each R / G / B is generated.
본 발명에 따른 렌즈 왜곡 보정 게인 테이블 생성부의 중심 판별부에 의한 실시 예로서, 중심 위치 판별 방법은 다음과 같다.According to an embodiment of the present invention, the center position discriminating method of the lens distortion correcting gain table generating unit according to the present invention is as follows.
칼라 픽셀 중에서 밝기의 정보를 가장 많이 가지는 그린(G) 픽셀에 대해서 중심 판별 알고리즘을 수행하게 된다. 이는 픽셀 배열이 첫 번째 열은 R/G/R/G 순으로 배열되며, 두 번째 열은 G/R/G/R 순으로 배열됨으로써, 이미지 센서에는 레드, 그린, 블루 픽셀 중에서 그린(G) 픽셀이 가장 많은 개수로 배열된다. 즉, 모든 픽셀들을 이용하지 않고 그린 픽셀들만을 이용하여 렌즈 중심을 판별할 수 있다. The center discrimination algorithm is performed on the green (G) pixel having the most brightness information among the color pixels. This means that the pixel array is arranged in the order of R / G / R / G in the first column, and in the order of G / R / G / R in the second column, so that the image sensor has green (G) among red, green, and blue pixels. The pixels are arranged in the largest number. That is, the lens center may be determined using only the green pixels instead of all the pixels.
이러한 그린 픽셀들을 이용하여 중심 판별을 수행하게 되는데, 먼저 수학식 1의 변수(k) 값이 최소인 점이 중심점이 된다. 이 변수(k) 값은 다음과 같이 정의된다.The center determination is performed using the green pixels. First, the point where the value of the variable k in
도 8을 참조하면, 임의의 선택된 중심으로부터 가상원인 r0-rn까지 거리를 n개로 나눈 다음, 칼라 픽셀에서 상/하 및 좌/우 방향으로 거리가 rn인 지점을 rno(우, right), rn1(상, top), rn2(좌, left), rn3(하, bottom)으로 하고, 상기 지점의 해당 픽셀의 값을 Prn0, Prn1, Prn2, Prn3라고 하면, 평균(mn) 및 분산(vn)은 각각 수학식1과 같이 정의된다.Referring to FIG. 8, the distance from any selected center to the virtual circle r0-rn is divided by n, and then rno (right, rn1) is a point at which the distance is rn in the up / down and left / right directions from the color pixels. (Top, top), rn2 (left, left), rn3 (bottom, bottom), and if the value of the pixel at the point is Prn0, Prn1, Prn2, Prn3, the average (mn) and variance (vn) are Each is defined as shown in equation (1).
변수(k) 값은 분산 vo부터 vn까지 합으로 정의하는데, 이론적으로는 상기 k값이 0이면 중심점이라고 할 수 있다.The value of the variable (k) is defined as the sum from the variances vo to vn. In theory, the value of k may be referred to as the center point.
상기 평균(mn)값은 임의로 선택된 중심점으로부터 반경 방향의 좌/우/상/하 지점에 위치한 픽셀 값들의 합의 평균이며, 상기 분산 값은 상기 픽셀 평균값들을 각각 분산시킨 후 중심 위치인가를 판별하게 되며, 변수(k)는 각각의 분산 값의 누적 합이 0이면 중심점이라고 할 수 있다. 이와 같이 중심 판별을 위한 변수(k) 값을 모든 픽셀에 대하여 구하여 최소 값을 가지는 지점을 선택하면 된다. The mean value mn is an average of sums of pixel values located at left, right, top, and bottom points in a radial direction from a randomly selected center point, and the variance value determines whether a center position is obtained after dispersing the pixel average values, respectively. , The variable k is a center point when the cumulative sum of the respective variance values is zero. In this way, the value of the variable k for determining the center may be obtained for all pixels, and the point having the minimum value may be selected.
이를 위해 본 발명의 다른 실시 예로서, 도 9 및 도 10에 도시된 바와 같이, 미리 정의된 사각형 위치의 1차 중심 위치 탐색 영역 내의 일정 개(예: 9개)(c0~c8)의 점들에 대하여 변수(k) 값을 각각 구해보고, 구해진 변수 값들 중에서 최소 값을 가지는 지점을 선택하게 된다. 상기 선택된 최소 지점을 기준으로 일정 비율 축소된 2차 중심 위치 탐색 영역 내의 주변 9개의 점(c0'~c8')들에 대하여 변수(k) 값을 구하는 작업을 반복적으로 수행하게 된다. 이렇게 영역을 축소해가면서 중심 위치 판별 시간 및 계산량을 줄이게 된다. 상기에서 중심 위치 탐색 영역은 n*n(1을 제외한 홀수, 예: 3*3, 5*5 등) 방식을 이용하게 된다. 또한 상기 2차 중심 위치 탐색 영역은 1차 중심 위치 탐색 영역을 기준으로 축소 비율이 1/4로 할 수도 있다.To this end, as another embodiment of the present invention, as shown in Figs. 9 and 10, a predetermined number (for example, nine) (c0 ~ c8) points in the primary center position search area of the predefined rectangular position Then, the value of the variable k is obtained, and the point having the minimum value among the obtained variable values is selected. Based on the selected minimum point, a variable k value is repeatedly calculated for the surrounding nine points c0 'to c8' within the secondary center position search region reduced by a certain ratio. As the area is reduced, the center position determination time and calculation amount are reduced. In the above-described center location search area, n * n (odd except 1, for example, 3 * 3, 5 * 5, etc.) is used. The secondary center position search region may have a reduction ratio of 1/4 based on the primary center position search region.
도 10에 도시된 바와 같이, 사각형태로 일정개의 1차 중심 위치 탐색 영역(c0~c8)을 선정한 후 각각의 픽셀 값을 계산하여 최소의 값을 구하고, 1차 탐색 영역의 탐색 결과, 변수(k) 값이 c4일 경우 상기 c4를 중심으로 2차 중심 위치 탐색 영역(c0'~c8')을 9개를 선정한 후 다시 중심 위치를 찾는 방식으로 진행하게 된다.As shown in FIG. 10, after selecting certain primary center position search areas c0 to c8 in a rectangular shape, each pixel value is calculated to obtain a minimum value, and the search result and variable ( k) If the value is c4, nine secondary center position search areas c0 'to c8' are selected based on the c4, and then the center position is searched again.
도 11에서는, 주변의 일정 개를 탐색 영역(c0~c8)을 이용하여 1차 중심 위치 탐색의 탐색 결과, c1 값이 최소인 경우 다시 c1을 중심으로 하는 주변에 일정개의 탐색 영역을 통해 중심 위치를 찾게 된다. 이러한 도 10 및 도 11과 같은 방식으로 진행하여 최소 픽셀 값을 렌즈 중심으로 하게 된다. In FIG. 11, as a result of the search for the primary center position search using the search areas c0 to c8 around a certain dog, when the value of c1 is minimum, the center position through the predetermined search area around the center of c1 again. You will find. 10 and 11, the minimum pixel value is the lens center.
이와 같이 렌즈 중심을 찾게 되면 자동 게인 테이블을 생성하게 된다. Finding the center of the lens like this creates an automatic gain table.
자동 게인 테이블의 생성 과정은 다음과 같다. 도 12에 도시된 바와 같이 렌즈 중심에서 주변부까지 거리에 따라 n개의 점 ro~rn을 선택한다. 최종적으로 구할 게인 테이블은 g0~gn이라고 할 때, 그 관계식은 수학식 2와 같다. The process of creating an automatic gain table is as follows. As shown in FIG. 12, n points ro to rn are selected according to the distance from the lens center to the peripheral portion. Finally, when the gain table to be obtained is called g0 to gn, the relation is as shown in
여기서, go = 1.0이며, Prn은 거리 rn에 있는 픽셀의 값이다. 이는 렌즈 중심부에서는 게인이 필요 없기 때문에 기본 값(즉, 1)으로 하며, 렌즈 중심 픽셀에서 거리에 따른 픽셀 값들이 결정됨으로서, 게인이 생성된다. 따라서 게인 값은 다 음과 같이 구해진다. 즉, gn = Pro/Prn이 된다. 다시 말하면, 거리(rn)의 픽셀 값에 게인을 곱하면 중심 픽셀 값과 같게 해주면 된다.Where go = 1.0 and Prn is the value of the pixel at distance rn. Since the gain is not required at the center of the lens, the default value (ie, 1) is set. The gain is generated by determining pixel values according to the distance from the lens center pixel. Therefore, the gain value is obtained as follows. That is, gn = Pro / Prn. In other words, multiplying the gain by the pixel value at distance rn equals the center pixel value.
상기 게인 값을 한 번에 구하기 위해서는 게인을 1씩 증가시키는 연산과, 비교 연산을 반복적으로 수행하면서 게인 값을 구하게 된다. 이렇게 구해지는 거리별 게인 값은 도 10에 도시된 바와 같이 렌즈 중심으로부터 거리에 따라 게인 값이 점차적으로 증가되는 특성을 나타낸다. In order to obtain the gain value at once, the gain value is calculated by repeatedly increasing the gain by 1 and performing the comparison operation repeatedly. The gain value for each distance thus obtained shows a characteristic that the gain value is gradually increased with distance from the lens center as shown in FIG. 10.
도 13은 본 발명에 따른 자동 게인 테이블 생성 방법을 나타낸 플로우 챠트이다.13 is a flowchart illustrating an automatic gain table generation method according to the present invention.
도 13을 참조하면, 렌즈 중심 위치(i=0) 및 게인(gain=1) 값을 설정한 후(S121), 렌즈 주변부를 벗어나지 않았으면(i=n+1)(S123), 게인과 중심 위치의 픽셀 값(Pr1)의 곱이 중심점의 픽셀 값(Pr0) 보다 작으면 게인을 한 스텝씩 증가시키고(S125), 증가시킨 게인을 이용하여 다시 비교하게 된다(S127). 즉, 모든 거리에 따른 픽셀 값과 이에 맞게 증가된 게인의 곱이 중심 픽셀 값과 같게 해주면 된다.Referring to FIG. 13, after setting the lens center position (i = 0) and the gain (gain = 1) values (S121), if the lens periphery is not deviated (i = n + 1) (S123), the gain and the center If the product of the pixel value Pr1 of the position is smaller than the pixel value Pr0 of the center point, the gain is increased by one step (S125), and compared again using the increased gain (S127). In other words, the product of the pixel values according to all distances and the gain increased accordingly is equal to the center pixel value.
상기 과정을 반복하여 비교 값이 같으면 또는 오차 범위 내에 있으면 게인 값은 현재 게인으로 하고(gi=gain) 위치를 증가(i=i+1)시켜 r2를 수행하게 된다(S129). 이러한 과정을 반복하면서 rn까지 하고 종료하게 된다.If the comparison value is the same or is within the error range, the gain value is set to the current gain (gi = gain) and the position is increased (i = i + 1) to perform r2 (S129). Repeating this process ends up to rn.
이제까지 본 발명에 대하여 그 바람직한 실시 예를 중심으로 살펴보았으며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 본질적 기술 범위 내에서 상기 본 발명의 상세한 설명과 다른 형태의 실시 예들을 구현할 수 있 을 것이다. 여기서 본 발명의 본질적 기술범위는 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.So far, the present invention has been described with reference to the preferred embodiments, and those skilled in the art to which the present invention pertains to the detailed description of the present invention and other forms of embodiments within the essential technical scope of the present invention. It can be implemented. Here, the essential technical scope of the present invention is shown in the claims, and all differences within the equivalent range will be construed as being included in the present invention.
본 발명에 의하면 모바일 카메라 모듈의 렌즈 왜곡을 보정할 때, 모듈 조립시 발생되는 편차를 감안하여 모듈별로 자체 특성에 맞는 게인 테이블을 생성하고 이를 이용하여 렌즈 왜곡을 보정할 수 있기 때문에 모듈별 렌즈 보정을 최적화할 수 있는 효과가 있다.According to the present invention, when correcting the lens distortion of the mobile camera module, in consideration of the deviation generated during assembly of the module to create a gain table for each module according to its own characteristics and can correct the lens distortion by using the lens correction for each module This has the effect of optimizing.
본 발명은 렌즈 왜곡 보정의 전 과정이 카메라 모듈내 하드웨어 방식으로 자동으로 수행되기 때문에 R/G/B에 대해 렌즈 왜곡 보정을 쉽고 빠르게 처리할 수 있는 효과가 있다.The present invention has an effect that the lens distortion correction for the R / G / B can be easily and quickly because the entire process of the lens distortion correction is automatically performed in the hardware method in the camera module.
본 발명은 카메라가 장착된 휴대용 기기의 카메라 영상 처리부에 적용되어 쉽게 빠르게 카메라 모듈의 화질을 개선하게 하는 효과를 볼 수 있다.The present invention can be applied to the camera image processing unit of a portable device equipped with a camera can easily see the effect of improving the image quality of the camera module quickly.
Claims (17)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020050090600A KR100792986B1 (en) | 2005-09-28 | 2005-09-28 | Compensation apparatus and method for lens distortion in the mobile terminal |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020050090600A KR100792986B1 (en) | 2005-09-28 | 2005-09-28 | Compensation apparatus and method for lens distortion in the mobile terminal |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20070035792A KR20070035792A (en) | 2007-04-02 |
| KR100792986B1 true KR100792986B1 (en) | 2008-01-08 |
Family
ID=38158258
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020050090600A KR100792986B1 (en) | 2005-09-28 | 2005-09-28 | Compensation apparatus and method for lens distortion in the mobile terminal |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR100792986B1 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9177368B2 (en) * | 2007-12-17 | 2015-11-03 | Nvidia Corporation | Image distortion correction |
| JP7142715B2 (en) * | 2018-04-04 | 2022-09-27 | 華為技術有限公司 | Ambient light detection method and terminal |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06319042A (en) * | 1993-05-10 | 1994-11-15 | Toshiba Eng Co Ltd | Image processor |
| JP2000092379A (en) * | 1998-09-14 | 2000-03-31 | Casio Comput Co Ltd | Image pickup device, its exposure controlling method and recording medium |
| KR20060016648A (en) * | 2004-08-18 | 2006-02-22 | 엠텍비젼 주식회사 | Method and apparatus for compensating image sensor lens shading |
| KR20060068497A (en) * | 2004-12-16 | 2006-06-21 | 삼성전기주식회사 | Automatic correction method and apparatus for lens shading |
-
2005
- 2005-09-28 KR KR1020050090600A patent/KR100792986B1/en not_active IP Right Cessation
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06319042A (en) * | 1993-05-10 | 1994-11-15 | Toshiba Eng Co Ltd | Image processor |
| JP2000092379A (en) * | 1998-09-14 | 2000-03-31 | Casio Comput Co Ltd | Image pickup device, its exposure controlling method and recording medium |
| KR20060016648A (en) * | 2004-08-18 | 2006-02-22 | 엠텍비젼 주식회사 | Method and apparatus for compensating image sensor lens shading |
| KR20060068497A (en) * | 2004-12-16 | 2006-06-21 | 삼성전기주식회사 | Automatic correction method and apparatus for lens shading |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20070035792A (en) | 2007-04-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10531019B2 (en) | Image processing method and apparatus, and electronic device | |
| US10348962B2 (en) | Image processing method and apparatus, and electronic device | |
| US10264178B2 (en) | Control method and apparatus, and electronic device | |
| US10438320B2 (en) | Image processing method and apparatus, and electronic device | |
| US10559070B2 (en) | Image processing method and apparatus, and electronic device | |
| CN112602111A (en) | Electronic apparatus that blurs image obtained by combining a plurality of images based on depth information and method of driving the same | |
| US8797427B2 (en) | Image processing apparatus | |
| US10165205B2 (en) | Image processing method and apparatus, and electronic device | |
| US20180152685A1 (en) | Image processing method and apparatus, and electronic device | |
| US20200314402A1 (en) | Image processing method and device for auto white balance | |
| JP4992698B2 (en) | Chromatic aberration correction apparatus, imaging apparatus, chromatic aberration calculation method, and chromatic aberration calculation program | |
| US8570392B2 (en) | Information processing apparatus, imaging apparatus, and method for correcting images | |
| US8537240B2 (en) | White balance correction in a captured digital image | |
| US8743239B2 (en) | Image processing apparatus, control method thereof, and image-capturing apparatus | |
| KR100792986B1 (en) | Compensation apparatus and method for lens distortion in the mobile terminal | |
| KR20140106221A (en) | Photographing method and apparatus using multiple image sensors | |
| US11122188B1 (en) | Image noise reduction device and method thereof | |
| US8547447B2 (en) | Image sensor compensation | |
| US8866925B2 (en) | Image sensor compensation | |
| US8488020B2 (en) | Imaging device, method for controlling the imaging device, and recording medium recording the method | |
| JP2005268877A (en) | Imaging apparatus and image data conversion method | |
| US12010436B2 (en) | Imaging apparatus, method for controlling imaging apparatus, and storage medium | |
| CN118118788A (en) | Automatic exposure parameter determining method and device and storage medium | |
| JP2005260573A (en) | Electronic camera, camera system and black point correcting method of electronic camera | |
| JP2004304663A (en) | Image processing apparatus, image processing method, digital camera, image processing program, and readable recording medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E90F | Notification of reason for final refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| G170 | Re-publication after modification of scope of protection [patent] | ||
| LAPS | Lapse due to unpaid annual fee |