KR102404557B1 - 영상 처리 장치 및 영상 처리 방법 - Google Patents
영상 처리 장치 및 영상 처리 방법 Download PDFInfo
- Publication number
- KR102404557B1 KR102404557B1 KR1020150092226A KR20150092226A KR102404557B1 KR 102404557 B1 KR102404557 B1 KR 102404557B1 KR 1020150092226 A KR1020150092226 A KR 1020150092226A KR 20150092226 A KR20150092226 A KR 20150092226A KR 102404557 B1 KR102404557 B1 KR 102404557B1
- Authority
- KR
- South Korea
- Prior art keywords
- pixel
- gain
- edge
- interest
- image data
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 28
- 239000000203 mixture Substances 0.000 claims abstract description 27
- 238000004364 calculation method Methods 0.000 claims description 60
- 230000002093 peripheral effect Effects 0.000 claims description 4
- 238000003672 processing method Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 39
- 230000004048 modification Effects 0.000 description 19
- 238000012986 modification Methods 0.000 description 19
- 238000006243 chemical reaction Methods 0.000 description 14
- 238000001514 detection method Methods 0.000 description 10
- 238000002474 experimental method Methods 0.000 description 7
- 230000014509 gene expression Effects 0.000 description 2
- 238000009499 grossing Methods 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/40—Picture signal circuits
- H04N1/409—Edge or detail enhancement; Noise or error suppression
- H04N1/4092—Edge or detail enhancement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20192—Edge enhancement; Edge preservation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
- Computer Vision & Pattern Recognition (AREA)
Abstract
영상 처리 장치는 주목 화소의 주목 화소 값과, 주목 화소에 인접하는 주변 화소의 주변 화소 값에 기초하여, 기 설정된 복수의 엣지에 각각 대응하는 복수의 제 1 게인을 산출하는 게인 산출부; 주목 화소값 및 주변 화소 값에 기초하여, 복수의 엣지의 정확도를 각각 나타내는 복수의 특징량을 산출하고, 복수의 특징량에 기초하여, 복수의 제 1 게인에 각각 대응하는 복수의 가중치를 산출하는 블랜드 비율 산출부; 복수의 제 1 게인 및 복수의 가중치에 기초하여, 제 2 게인을 산출하는 게인 조정부; 및 주목 화소 값에 제 2 게인을 적용함으로써, 출력 영상 데이터를 생성하는 출력 영상 생성부를 구비한다.
Description
본 발명은 영상 처리 장치 및 영상 처리 방법 에 관한 것이다.
영상을 보다 명확하게 표시 하기 위해, 영상 중의 윤곽 등의 엣지를 강조하기 위한 영상 처리를 실시하는 경우가 있다. 이와 같은 엣지를 강조하기 위한 영상 처리의 구체적인 일 예로서 언샤프마스크(unsharp mask) 처리를 들 수 있다.
입력 영상에 대해 언샤프마스크 처리를 실시한 경우에, 링깅(ringing)이라 불리우는, 입력 영상 중에 본래는 존재하지 않는 허상이 발생하는 경우가 있다. 링잉은 입력 영상에 대해 언샤프마스크 처리를 실시한 경우에, 엣지 부분에 발생하는 언더슈트나 오버슈트에서 기인한다.
특허 문헌 1에는, 언더슈트나 오버슈트가 발생한 부분에 대하여 클립 처리를 적용함으로써, 링깅의 발생을 억제하고, 엣지를 강조하는 것을 가능하게 하는 기술(즉, 영상 처리)의 일 예가 개시되어 있다. 그러나, 특허 문헌 1에 따른 기술에서는 특히, 이른바 자연화(自然畵)와 같은, 계조의 변화가 복잡한 영상이 처리 대상인 경우에, 링깅의 발생은 억제될지라도, 클립 처리에 의해, 엣지 근방의 계조가 손상되는 경우가 있다.
여기서, 본 발명은 상기 문제를 감안하여 이루어진 것이고, 본 발명의 목적은 링깅의 발생을 억제하고, 또한, 보다 바람직한 형태로 엣지를 강조하는 것이 가능한 영상 처리 장치, 영상 처리 방법, 및 프로그램을 제공하는 것에 있다.
본 발명의 일 실시예에 따른 영상 처리 장치는 주목 화소의 주목 화소 값과, 상기 주목 화소에 인접하는 주변 화소의 주변 화소 값에 기초하여, 기 설정된 복수의 엣지에 각각 대응하는 복수의 제 1 게인을 산출하는 게인 산출부; 상기 주목 화소값 및 상기 주변 화소 값에 기초하여, 상기 복수의 엣지의 정확도를 각각 나타내는 복수의 특징량을 산출하고, 상기 복수의 특징량에 기초하여, 상기 복수의 제 1 게인에 각각 대응하는 복수의 가중치를 산출하는 블랜드 비율 산출부; 상기 복수의 제 1 게인 및 상기 복수의 가중치에 기초하여, 제 2 게인을 산출하는 게인 조정부; 및 상기 주목 화소 값에 상기 제 2 게인을 적용함으로써, 출력 영상 데이터를 생성하는 출력 영상 생성부를 구비한다.
상기 블랜드 비율 산출부는 상기 주목 화소를 기준으로 소정 범위 내에 위치한 화소를 근거로 산출된 기울기 및 라플라시안에 기초하여 상기 복수의 특징량을 산출한다.
상기 블랜드 비율 산출부는, 상기 복수의 엣지 중, 제 1 엣지에 대해서, 상기 소정 범위 내에 위치한 화소를 근거로 산출된 상기 기울기 및 상기 라플라시안에 기초하여 복수의 제 1 특징량을 산출하고, 상기 복수의 제 1 특징량들로부터 상기 복수의 제 1 특징량의 최대 값 및 최소 값을 추출하고, 상기 최대 값 및 최소 값각각의 절대값들간의 차분에 기초하여, 당해 상기 제 1 엣지의 정확도를 나타내는 제 2 특징량을 산출한다.
상기 블랜드 비율 산출부는, 상기 복수 종류의 엣지 중, 제 2 엣지에 대해서, 상기 소정 범위에 포함되는 화소를 근거로 산출된 상기 기울기 및 상기 라플라시안에 기초하여 복수의 제 1 특징량을로 산출하고, 상기 복수의 제 1 특징량들로부터 상기 복수의 제 1 특징량들의 최대 값 및 최소 값을 추출하고, 상기 최대 값 및 최소 값간의 차분과, 상기 최대 값 및 최소 값의 평균에 기초하여, 상기 제 2 엣지의 정확도를 나타내는 제 2 특징량을 산출한다.
상기 블랜드 비율 산출부는 상기 복수의 엣지 중, 제 3 엣지의 정확도를 나타내는 특징량을, 상기 주목 화소를 기준으로 소정 범위 내에 포함되는 화소를 근거로 산출된 복수의 기울기에 기초하여 산출한다.
상기 블랜드 비율 산출부는 상기 복수의 기울기의 최대 값 및 최소 값의 차분과, 상기 주목 화소를 근거로 산출된 기울기의 절대값에 기초하여, 상기 제 3 엣지의 정확도를 나타내는 상기 특징량을 산출한다.
상기 블랜드 비율 산출부는 상기 복수의 엣지 중, 제 4 엣지의 정확도를 나타내는 특징량을, 상기 주목 화소를 기준으로 소정 범위 내에 위치하는 화소를 근거로 산출된 복수의 라플라시안에 기초하여 산출한다.
상기 블랜드 비율 산출부는 상기 소정 범위에 포함되는 화소에 대하여 산출된 상기 복수의 라플라시안의 최대 값 및 최소 값 각각의 절대값 중, 보다 큰 값을, 상기 제 4 엣지의 정확도를 나타내는 상기 특징량으로 결정 한다.
상기 게인 산출부는 상기 복수의 제 1 게인을 대응되는 복수의 계산식에 각각 기초하여 산출하고, 상기 복수의 계산식은 상기 복수의 엣지에 각각 대응된다.
상기 복수의 제 1 게인은 상기 주변 화소 중 수평 방향으로 인접한 주변 화소를 근거로 산출된 수평 제 1 게인 및 상기 주변 화소 중 수직 방향으로 인접한 주변 화소를 근거로 산출된 수직 제 2 게인을 포함한다.
제 1 해상도의 제 1 영상 데이터에 소정의 확대 처리를 실시함으로써, 상기 제 1 해상도 보다도 높은 제 2 해상도의 제 2 영상 데이터로 변환하고, 당해 제 2 영상 데이터를 상기 입력 영상 데이터로서 출력하는 확대 처리부를 구비한다.
주목 화소의 주목 화소 값과, 상기 주목 화소에 인접하는 주변 화소의 주변 화소 값에 기초하여, 기 설정된 복수의 엣지에 각각 대응하는 복수의 제 1 게인을 산출하는 단계; 상기 주목 화소 값 및 상기 주변 화소 값에 기초하여, 상기 복수의 엣지의 정확도를 나타내는 복수의 특징량을 산출하는 단계; 상기 복수의 특징량에 기초하여, 상기 복수의 제 1 게인에 각각 대응하는 복수의 가중치를 산출하는 단계; 상기 복수의 제 1 게인과, 상기 복수의 가중치에 기초하여, 제 2 게인을 산출하는 단계; 및 상기 주목 화소 값에 상기 제 2 게인을 적용함으로써, 출력 영상 데이터를 생성하는 단계를 포함한다.
이상 설명한 바와 같이 본 발명에 의하면, 링깅의 발생을 억제하고, 보다 효과적으로 엣지를 강조하는 것이 가능한 영상 처리 장치 및 영상 처리 방법이 제공될 수 있다.
도 1은 본 발명의 일 실시 형태에 따른 영상 처리 장치의 개략적인 구성의 일 예를 나타낸 도면이다.
도 2는 본 실시 형태에 따른 영상 처리 장치의 개요에 대해서 설명하기 위한 설명도이다.
도 3은 본 실시 형태에 따른 강조 처리부(2)의 기능 구성의 일 예를 나타낸 블록도이다.
도 4는 본 실시 형태에 따른 강조 처리부의 기능 구성의 일 예에 대하여 나타낸 블록도이다.
도 5 는 주목 화소에 대응하는 엣지가 라인 엣지인 경우에 있어서, 입력 영상 데이터의 화소 값(휘도)과, 기울기(grad(x)), 라플라시안(lap(x)), 및 특징량(seed(x))과의 관계의 일 예를 나타낸 도면 이다.
도 6은 주목 화소에 대응하는 엣지가 라인 엣지인 경우에 있어서, 입력 영상 데이터의 화소 값(휘도)과, 라인 게인(GainL(x))과, 강조 처리 후의 화소 값(휘도)과의 관계의 일 예를 나타낸 도면이다.
도 7은 주목 화소에 대응하는 엣지가 스텝 엣지인 경우, 입력 영상 데이터의 화소 값(휘도)과, 기울기(grad(x)), 라플라시안(lap(x)), 및 기울기(grad(x))의 최대 값(gradMax(x))과의 관계의 일 예를 나타내는 도면이다.
도 8은 주목 화소에 대응하는 엣지가 스텝 엣지인 경우에 있어서, 입력 영상 데이터의 화소 값(휘도)과, 스텝 게인(GainS(x))과, 강조 처리 후의 화소 값(휘도)과의 관계의 일 예를 나타내는 도면이다.
도 9는 블랜드 비율 산출부의 기능 구성의 일 예를 나타낸 블록도이다.
도 10은 단독 피크 특징량 산출부의 기능 구성의 일 예를 나타낸 블록도이다.
도 11은 EdgeL0와 dltPeakL 사이의 관계의 일 예를 나타낸 도면이다.
도 12는 연속 피크 특징량 산출부의 기능 구성의 일 예를 나타낸 블록도이다.
도 13은 EdgeT와 detToggle 사이의 관계의 일 예를 나타낸 도면이다.
도 14는 스텝 엣지 특징량 산출부의 기능 구성의 일 예를 나타낸 블록도이다.
도 15는 라인 엣지인 경우에 있어서 기울기의 특성의 일 예를 나타낸 도면이다.
도 16는 스텝 엣지인 경우에 있어서 기울기의 특성의 일 예를 나타낸 도면이다.
도 17은 EdgeS와 detNotStep 사이의 관계의 일 예를 나타낸 도면이다.
도 18은 텍스쳐 엣지 특징량 산출부의 기능 구성의 일 예를 나타낸 블록도이다.
도 19는 EdgeX와 absLapXMax 사이의 관계의 일 예를 나타낸 도면이다.
도 20은 변형예 1에 따른 강조 처리부의 기능 구성의 일 예를 나타낸 블록도이다.
도 21은 변형예 2에 따른 영상 처리 장치의 기능 구성의 일 예를 나타낸 블록도이다.
도 2는 본 실시 형태에 따른 영상 처리 장치의 개요에 대해서 설명하기 위한 설명도이다.
도 3은 본 실시 형태에 따른 강조 처리부(2)의 기능 구성의 일 예를 나타낸 블록도이다.
도 4는 본 실시 형태에 따른 강조 처리부의 기능 구성의 일 예에 대하여 나타낸 블록도이다.
도 5 는 주목 화소에 대응하는 엣지가 라인 엣지인 경우에 있어서, 입력 영상 데이터의 화소 값(휘도)과, 기울기(grad(x)), 라플라시안(lap(x)), 및 특징량(seed(x))과의 관계의 일 예를 나타낸 도면 이다.
도 6은 주목 화소에 대응하는 엣지가 라인 엣지인 경우에 있어서, 입력 영상 데이터의 화소 값(휘도)과, 라인 게인(GainL(x))과, 강조 처리 후의 화소 값(휘도)과의 관계의 일 예를 나타낸 도면이다.
도 7은 주목 화소에 대응하는 엣지가 스텝 엣지인 경우, 입력 영상 데이터의 화소 값(휘도)과, 기울기(grad(x)), 라플라시안(lap(x)), 및 기울기(grad(x))의 최대 값(gradMax(x))과의 관계의 일 예를 나타내는 도면이다.
도 8은 주목 화소에 대응하는 엣지가 스텝 엣지인 경우에 있어서, 입력 영상 데이터의 화소 값(휘도)과, 스텝 게인(GainS(x))과, 강조 처리 후의 화소 값(휘도)과의 관계의 일 예를 나타내는 도면이다.
도 9는 블랜드 비율 산출부의 기능 구성의 일 예를 나타낸 블록도이다.
도 10은 단독 피크 특징량 산출부의 기능 구성의 일 예를 나타낸 블록도이다.
도 11은 EdgeL0와 dltPeakL 사이의 관계의 일 예를 나타낸 도면이다.
도 12는 연속 피크 특징량 산출부의 기능 구성의 일 예를 나타낸 블록도이다.
도 13은 EdgeT와 detToggle 사이의 관계의 일 예를 나타낸 도면이다.
도 14는 스텝 엣지 특징량 산출부의 기능 구성의 일 예를 나타낸 블록도이다.
도 15는 라인 엣지인 경우에 있어서 기울기의 특성의 일 예를 나타낸 도면이다.
도 16는 스텝 엣지인 경우에 있어서 기울기의 특성의 일 예를 나타낸 도면이다.
도 17은 EdgeS와 detNotStep 사이의 관계의 일 예를 나타낸 도면이다.
도 18은 텍스쳐 엣지 특징량 산출부의 기능 구성의 일 예를 나타낸 블록도이다.
도 19는 EdgeX와 absLapXMax 사이의 관계의 일 예를 나타낸 도면이다.
도 20은 변형예 1에 따른 강조 처리부의 기능 구성의 일 예를 나타낸 블록도이다.
도 21은 변형예 2에 따른 영상 처리 장치의 기능 구성의 일 예를 나타낸 블록도이다.
이하에 첨부 도면을 참조하면서, 본 발명의 바람직한 실시 형태에 대해서 상세하게 설명한다. 또한, 본 명세서 및 도면에 있어서, 실질적으로 동일한 기능 구성을 갖는 구성 요소에 대해서는, 동일한 부호를 붙임으로써, 중복 설명을 생략한다.
< 1. 개요>
먼저, 도 1 및 도 2를 참조하여, 본 발명의 일 실시 형태에 따른 영상 처리 장치의 개요에 대해서 설명한다.
도 1은 본 실시 형태에 따른 영상 처리 장치의 개략적인 구성의 일 예를 나타낸 도면이다.
도 1은 본 실시 형태에 따른 영상 처리 장치(1)가 이른바, 업스케일러(upscaler)로서 구성되어 있는 경우의 일 예를 나타내고 있다. 즉, 도 1에 나타내는 예에서는, 영상 처리 장치(1)는 예를 들어, FHD : Full High Definition(1920 x 1080)의 입력 영상 데이터를 받고, 입력 영상 데이터에 대해 확대 처리를 실시함으로써, UHD : Ultra High Definition(3840 x 2160)의 출력 영상 데이터를 생성하여 출력하도록 구성되어 있다.
입력 영상에 대해 확대 처리를 실시함으로써, 입력 영상보다도 해상도가 높은 출력 영상을 생성하는 경우, 확대 처리에 의해 영상 중 엣지 근방에서 화소 간의 화소 값의 변화가 작아지고, 엣지가 둔해지는(또는 흐려지는) 경향이 있다. 여기서, 도 1에 나타내는 영상 처리 장치(1)에서는 입력 영상 데이터에 대해 확대 처리를 실시한 후, 확대 처리 후의 영상 데이터(이후에는, 「확대 영상 데이터」이라 칭할 수 있다)에 대해, 엣지를 강조하기 위한 영상 처리를 실시한다. 또한, 이후에는, 엣지를 강조하기 위한 영상 처리를 「엣지 강조 처리」라 칭할 수 있다.
본 발명의 일 예로, 도 1에 나타내는 바와 같이, 본 실시 형태에 따른 영상 처리 장치(1)는 확대 처리부(9) 및 강조 처리부(2)를 포함한다.
확대 처리부(9)는 입력 영상 데이터에 대해, 이른바 바이리니어(Bilinear) 법이나, 바이큐빅(Bicubic)법 등의 보간 처리에 기초하는 확대 처리를 실시함으로써, 당해 입력 영상 데이터를, 보다 높은 해상도를 갖는 확대 영상 데이터로 변환한다. 그리고, 확대 처리부(9)는 생성한 확대 영상 데이터를 강조 처리부(2)로 출력한다.
강조 처리부(2)는 입력된 영상 데이터(예를 들어, 확대 영상 데이터)에 대해, 엣지 강조 처리를 실시함으로써, 출력 영상 데이터를 생성한다.
특히, 본 실시 형태에 따른 강조 처리부(2)는 입력된 영상 데이터 중의 엣지를 여러 종류의 엣지로 분류하고, 분류된 엣지의 종류에 따른 게인을 적용함으로써, 엣지의 강조를 행한다.
도 2a 내지 도 2d(이하, 도 2라 칭할 수 있다)는 본 실시 형태에 따른 영상 처리 장치의 개요에 대해서 설명하기 위한 설명도이다.
도 2는 엣지의 종류에 따른 입력과 엣지의 종류에 따라 적용되는 게인, 및 엣지의 종류에 따른 강조 처리 후의 출력들의 일 예를 나타내고 있다.
도 2에 있어서, 「input」으로서 나타낸 그래프는 입력 값, 즉, 입력 영상 데이터 중의 일방향에 따른 계조 값의 변화의 일 예를 나타내고 있다. 또한, 「gain」으로서 나타낸 그래프는 입력 값에 대해 적용되는 게인의 일 예를 나타내고 있다. 또한, 「output」으로서 나타낸 그래프는 강조 처리 후의 출력 값, 즉, 입력 값에 대해 게인이 적용된 경우의 출력 값의 일 예를 나타내고 있다.
도 2에 나타내는 바와 같이, 본 실시 형태에 따른 강조 처리부(2)는 입력된 영상 데이터 중의 엣지를 4 종류의 엣지, 즉, 라인 엣지(단독 피크), 스텝 엣지, 토글 엣지(연속 피크), 및 텍스쳐 엣지로 분류한다.
도 2에 있어서, 도 2a는 라인 엣지에 대응하는 입력 값, 게인, 및 출력 값의 일 예를 나타내고 있다. 마찬가지로, 도 2b 내지 도 2d 는 각각, 스텝 엣지, 토글 엣지(연속 피크), 및 텍스쳐 엣지에 대응하고, 각 엣지의 종류에 대응하는 입력 값, 게인, 및 출력 값의 일 예를 나타내고 있다.
도 2a에 도시된 바와 같이, 라인 엣지는 하나의 피크를 갖고, 당해 피크의 주위에 역 극성의 피크가 존재하지 않는 경우의 엣지일 수 있다. 라인 엣지는 영상 데이터 중에, 이른바, 선으로서 표현된 엣지를 나타내고 있다. 처리 대상인 엣지가 라인 엣지인 경우에는, 강조 처리부(2)는 피크의 저변에 발생될 수 있는 언더슈트를 억제함으로써, 선 폭을 가늘게 하는 동시에, 피크의 정점을 보다 강조한다(즉, 정점에 오버슈트를 발생시킨다). 또한, 라인 엣지는 이른바, 백색 선과 흑색 선을 판별하기 위해, 피크의 극성을 판정할 필요가 있다. 또한, 라인 엣지가 「제 1 엣지」의 일 예에 상당한다.
또한, 도 2b에 도시된 바와 같이, 스텝 엣지는 계조의 변화가 계단 형상으로 되는 엣지일 수 있다. 처리 대상으로 되는 엣지가 스텝 엣지인 경우에는, 강조 처리부(2)는 오버슈트 및 언더슈트의 발생을 억제하고, 또한 계조의 변화가 보다 급격하게 되도록 영상 처리를 실시한다(즉, 엣지의 경사를 보다 세운다). 또한, 스텝 엣지가 「제 3 엣지」의 일 예에 상당한다.
또한, 도 2c 및 도 2d에 도시된 바와 같이, 토글 엣지 및 텍스쳐 엣지는 양음(정부)의 극성의 피크가 연속하는 엣지일 수 있다. 처리 대상으로 되는 엣지가 토글 엣지 및 텍스쳐 엣지인 경우에는, 강조 처리부(2)는 오버슈트 및 언더슈트를 발생시킴으로써, 엣지의 선명도를 향상시킨다. 또한, 토글 엣지가 「제 2 엣지」의 일 예에 상당하고, 텍스쳐 엣지가 「제 4 엣지」의 일 예에 상당한다.
또한, 도 2에 나타내는 바와 같이, 토글 엣지인 경우에는, 강조 처리부(2)는 입력 값의 진폭이 비교적 크기 때문에, 엣지가 너무 강조되지 않도록, 입력 값에 대한 게인의 진폭 비가 보다 작아지도록 제어한다. 텍스쳐 엣지인 경우에는, 강조 처리부(2)는 입력 값의 진폭가 비교적 작기 때문에, 엣지가 보다 강조되도록, 입력 값에 대한 게인의 진폭 비가 보다 커지도록 제어한다.
이상과 같이, 본 실시 형태에 따른 강조 처리부(2)는 입력된 영상 데이터 중의 엣지를, 여러 종류의 엣지로 분류하고, 분류된 엣지의 종류에 따른 게인을 적용함으로써, 엣지의 강조를 행한다. 또한, 강조 처리부(2)에 의한 엣지의 종류의 판별에 따른 처리나, 판별된 엣지의 종류에 따른 엣지의 강조에 따른 처리의 상세에 대하여는, 당해 강조 처리부(2)의 기능 구성의 상세와 함께, 별도 후술한다.
이상, 도 1 및 도 2를 참조하여 본 실시 형태에 따른 영상 처리 장치(1)의 개요에 대해서 설명하였다.
<2. 강조 처리부의 기능 구성>
이어서, 본 실시 형태에 따른 강조 처리부(2)의 기능 구성의 일 예에 대하여 설명한다.
[2.1. 전체 구성]
먼저, 도 3을 참조하여, 본 실시 형태에 따른 강조 처리부(2)의 전체 구성에 대해서 설명한다.
도 3은 본 실시 형태에 따른 강조 처리부(2)의 기능 구성의 일 예를 나타낸 블록도이다.
도 3에 나타내는 바와 같이, 강조 처리부(2)는 RGB - YCbCr 변환부(5), 게인 제어부(3a 및 3b), 가산부(4), 및 YCbCr - RGB 변환부(6)를 포함한다.
RGB - YCbCr 변환부(5)는 영상 데이터 중의 각 화소의 RGB 성분을 휘도 성분(Y)과, 색차 성분(Cb 및 Cr)으로 변환하기 위한 구성이다. RGB - YCbCr 변환부(5)는 강조 처리부(2)에 입력된 입력 영상 데이터(즉, 확대 처리부(9)로부터 출력된 확대 영상 데이터) 중의 각 화소의 RGB 성분을, 휘도 성분(Y)과, 색차 성분(Cb 및 Cr)으로 변환한다. 그리고, RGB - YCbCr 변환부(5)는 화소마다의 휘도 성분(Y)과 색차 성분(Cb 및 Cr) 중, 휘도 성분(Y)을, 게인 제어부(3a 및 3b)와 가산부(4)로 출력하고, 색차 성분(Cb 및 Cr)에 대하여는, YCbCr - RGB 변환부(6)로 출력한다.
게인 제어부(3a)는 입력 영상 데이터의 휘도 성분(Y)을 RGB - YCbCr 변환부(5)로부터 수신한다. 게인 제어부(3a)는 입력 영상 데이터 중의 각 화소를 주목 화소로서 정의하고, 주목 화소마다, 입력 영상 데이터의 H 방향(수평 방향)에 따른 엣지의 종류를 판별하고, 판별된 종류에 따라서, H 방향에 대응하는 게인을 산출한다. 그리고, 게인 제어부(3a)는 주목 화소마다(즉, 입력 영상 데이터 중의 화소마다) 산출한 H 방향에 대응하는 게인을 가산부(4)로 출력한다.
또한, 게인 제어부(3b)는 입력 영상 데이터의 휘도 성분(Y)을 RGB - YCbCr 변환부(5)로부터 수신한다. 게인 제어부(3b)는 입력 영상 데이터 중의 각 화소를 주목 화소로 정의하고, 주목 화소마다, 입력 영상 데이터의 V 방향(수직 방향)에 따른 엣지의 종류를 판별하고, 판별된 종류에 따라서, V 방향에 대응하는 게인을 산출한다. 그리고, 게인 제어부(3b)는 주목 화소마다(즉, 입력 영상 데이터 중의 화소마다) 산출한 V 방향에 대응하는 게인을, 가산부(4)로 출력한다.
가산부(4)는 입력 영상 데이터의 휘도 성분(Y)을 RGB - YCbCr 변환부(5)로부터 수신한다. 또한, 가산부(4)는 입력 영상 데이터 중의 화소마다 산출된 H 방향에 대응하는 게인을 게인 제어부(3a)로부터 수신한다. 마찬가지로, 가산부(4)는 입력 영상 데이터 중의 화소마다 산출된 V 방향에 대응하는 게인을 게인 제어부(3b)로부터 수신한다.
가산부(4)는 입력 영상 데이터 중의 화소마다, 당해 화소의 휘도 성분(Y)에 대해, 수신한 H 방향에 대응하는 게인과 V 방향에 대응하는 게인을 적용함으로써, 당해 입력 영상 데이터의 휘도 성분(Y)에 대해 엣지 강조 처리를 실시한다. 그리고, 가산부(4)는 엣지 강조 처리가 실시된 입력 영상 데이터의 휘도 성분(Y)을 YCbCr - RGB 변환부(6)로 출력한다.
또한, 게인 제어부(3a 및 3b)와 가산부(4)의 각각의 상세에 대하여는 별도 후술한다. 또한, 가산부(4)가 「출력 영상 생성부」의 일 예에 상당한다.
YCbCr - RGB 변환부(6)는 강조 처리부(2)에 입력된 입력 영상 데이터 중의 화소마다의 색차 성분(Cb 및 Cr)을 RGB - YCbCr 변환부(5)로부터 수신한다. 또한, YCbCr - RGB 변환부(6)는 가산부(4)로부터, 엣지 강조 처리가 실시된, 당해 입력 영상 데이터 중의 화소마다의 휘도 성분(Y)을 수신한다. YCbCr - RGB 변환부(6)는 입력 영상 데이터 중의 화소마다 수신한, 색차 성분(Cb 및 Cr)과, 엣지 강조 처리가 실시된 휘도 성분(Y)을, RGB 성분으로 변환함으로써, 출력 영상 데이터를 생성하여 출력한다.
[2.2. 게인 제어부 및 가산부의 상세]
이어서, 도 4를 참조하여, 본 실시 형태에 따른 강조 처리부(2) 중, 특히, 게인 제어부(3a 및 3b)와, 가산부(4)의 각각의 구성의 상세하게 대하여 설명한다.
도 4는 본 실시 형태에 따른 강조 처리부의 기능 구성의 일 예에 대하여 나타낸 블록도이다.
도 4는 특히, 게인 제어부(3a 및 3b)와, 가산부(4)의 상세한 구성에 대해서 나타내고 있다.
또한, 게인 제어부(3a 및 3b)는 처리 대상으로 되는 엣지의 방향이, H 방향(수평 방향)과 V 방향(수직 방향)으로 다른 점을 제외하면, 서로 동일한 구성을 갖는다. 그러므로, 이후에는, 게인 제어부(3a 및 3b)의 기능 구성에 대하여는, 특히, 게인 제어부(3a)에 촛점을 맞추어 설명하고, 게인 제어부(3b)에 대한 상세한 설명은 생략한다.
또한, 이후의 설명에서는, 입력 영상 데이터 중의 H 방향을 x 방향, V 방향을 y 방향으로 정의하고, 당해 입력 영상 데이터의 휘도 성분(Y) 중, 좌표(x,y)에 위치하는 화소의 휘도 성분을 lum(x,y)로 지시 할 수 있다. 또한, 입력 영상 데이터 중 x 방향에만 촛점을 맞추고 있는 경우에는, 휘도 성분(lum(x,y))를 단지, lum(x)라 지시 할 수 있다.
도 4에 나타내는 바와 같이, 게인 제어부(3a)는 엣지 게인 산출부(10), 블랜드 비율(blend ratio) 산출부(20), 및 게인 조정부(30)를 포함한다. 또한, 엣지 게인 산출부(10)는 라인 게인 산출부(11), 스텝 게인 산출부(12), 토글 게인 산출부(13), 및 텍스쳐 게인 산출부(14)를 포함한다.
(라인 게인 산출부(11))
라인 게인 산출부(11)는 입력 영상 데이터 중 각 화소의 휘도 성분에 기초하여, 화소에 대응하는 엣지가 라인 엣지인 경우에, 엣지(즉, 라인 엣지)를 강조하기 위한 게인(이후에는, 「라인 게인」이라 지시 할 수 있다)를 산출한다.
구체적으로, 라인 게인 산출부(11)는 먼저, 입력 영상 데이터 중 각 화소를 주목 화소로 정의하고, 주목 화소와, 당해 주목 화소를 기준으로 x 방향으로 소정의 범위 내에 위치하는 주변 화소 각각의 휘도 성분에 기초하여, 기울기 및 라플라시안을 산출한다. 또한, 본 설명에서는 주목 화소(x,y)에 대해, x 방향으로 인접하는 화소((x + 1, y), (x - 1, y))를 주변 화소로 정의 하여 설명한다.
여기서, 주목 화소(x,y)의 휘도 성분을 lum(x), 주변 화소 화소(x + 1, y)의 휘도 성분을 lum(x + 1), 주변 화소(x - 1, y)의 휘도 성분을 lum(x - 1)로 정의 한다. 이 경우, 당해 주목 화소에 대응하는 기울기(grad(x))는 (수학식 1)에 기초하여 산출될 수 있다.
[수학식 1]
또한, 주목 화소에 대응하는 라플라시안(lap(x))은 (수학식 2)에 기초하여 산출 될 수 있다.
[수학식 2]
이어서, 라인 게인 산출부(11)는 산출한 기울기(grad(x))와 라플라시안(lap(x))에 기초하여, 라인 게인을 산출하기 위한 특징량(seed(x))을 산출한다. 특징량(seed(x))은 (수학식 3) 에 기초하여 산출될 수 있다.
[수학식 3]
(수학식 3)에서 계수(pLine1)는 강조 처리 후의 각 화소의 화소 값(휘도)의 피크 부분(즉, 정점)과 탑 부분(즉, 저변)의 비율을 조정하기 위한 계수이다. 구체적으로는, 계수(pLine1)가 작을수록, 라인 엣지의 폭(즉, 선폭)이 보다 가늘고, 계수(pLine1)가 클수록, 라인 엣지의 폭이 보다 두껍워 질 수 있다. 또한, 계수(pLine1)가 커질수록, 링깅의 억제 효과가 저하되는(즉, 링깅이 발생하기 쉬워지는) 경향이 있다.
도 5 는 주목 화소에 대응하는 엣지가 라인 엣지인 경우에 있어서, 입력 영상 데이터의 화소 값(휘도)과, 기울기(grad(x)), 라플라시안(lap(x)), 및 특징량(seed(x))과의 관계의 일 예를 나타낸 도면 이다.
도 5를 참조하면, 횡축은 입력 영상 데이터 중 x 방향에 따른 위치를 나타내고 있다. 또한, 종축은 대응하는 화소의 화소 값(휘도)을 나타내고 있다. 또한, 도 5에 있어서, 「input」으로서 나타낸 그래프는 입력 영상 데이터 중의 각 화소의 화소 값(휘도)을 나타내고 있다. 또한, 「grad」로서 나타낸 그래프는 입력 영상 데이터 중의 각 화소에 대해서 산출된 기울기(grad(x))를 나타내고 있다. 또한, 「lap」로서 나타낸 그래프는 입력 영상 데이터 중의 각 화소에 대해서 산출된 라플라시안(lap(x))을 나타내고 있다. 또한, 「seed」로서 나타낸 그래프는 입력 영상 데이터 중의 각 화소에 대해서 산출된 특징량(seed(x))을 나타내고 있다.
또한, 도 5에 도시된 예는 입력 영상 데이터 중 각 화소의 화소 값(휘도)의 피크가 양인 경우, 즉, 주위의 화소 보다도 엣지 부분의 화소 값이 보다 큰 계조값을 갖는 밝은 선(예를 들어, 백색 선)인 경우의 일 예를 나타내고 있다. 또한, 주위의 화소 보다도 엣지 부분의 화소 값이 보다 작은 계조값을 갖는 어두운 선(예를 들어, 흑색 선)인 경우에는 도 5에 나타내는 각 그래프의 양음(정부)을 반전시킬 수 있다.
이어서, 라인 게인 산출부(11)는 화소마다 산출한 특징량(seed(x))에 기초하여, 라인 게인(GainL(x))을 화소마다 산출한다. 라인 게인(GainL(x))은 (수학식 3) 에 기초하여 산출될 수 있다.
[수학식 4]
또한, (수학식 4) 에서 계수(pLine0P)는 주목 화소에 대응하는 엣지가 라인 엣지인 경우에 있어서, 각 화소의 화소 값(휘도) 중, 피크 부분에 대한 강조량을 조정하기 위한 계수이다. 또한, 계수(pLine0M)는 주목 화소에 대응하는 엣지가 라인 엣지인 경우에 있어서, 각 화소의 화소 값(휘도) 중, 탑 부분에 대한 강조량을 조정하기 위한 계수이다. 또한, 계수(pLine0P 및 pLine0M)에 대하여는 사전의 실험의 결과 등에 기초하여, 미리 조정할 수 있다.
도 6은 주목 화소에 대응하는 엣지가 라인 엣지인 경우에 있어서, 입력 영상 데이터의 화소 값(휘도)과, 라인 게인(GainL(x))과, 강조 처리 후의 화소 값(휘도)과의 관계의 일 예를 나타낸 도면이다.
도 6을 참조하면, 횡축은 입력 영상 데이터 중의 x 방향에 따른 위치를 나타내고 있다. 또한, 종축은 대응하는 화소의 화소 값(휘도)을 나타내고 있다. 또한, 도 6에 있어서, 「input」으로서 나타낸 그래프는 입력 영상 데이터 중의 각 화소의 화소 값(휘도)을 나타내고 있다. 또한, 「GainL」로서 나타낸 그래프는 입력 영상 데이터 중의 각 화소에 대해서 산출된 라인 게인(GainL(x))을 나타내고 있다. 또한, 「EhnL」로서 나타낸 그래프는 강조 처리 후의 화소 값(휘도)을 나타내고 있고, EnhL = input + GainL로 나타낼 수 있다.
이와 같이, 라인 게인 산출부(11)는 라인 엣지의 피크에 상당하는 부분(특징량(seed(x))이 양인 부분)과, 탑에 상당하는 부분(특징량(seed(x))이 음인 부분)에서, 다른 계수를 적용함으로써, 라인 게인(GainL(x))을 산출한다. 구체적으로는, 라인 게인 산출부(11)는 도 6에 나타내는 바와 같이, 특징량(seed(x))이 음인 부분(즉, 풋에 상당하는 부분)에서는, 언더슈트의 발생을 억제하고, 특징량(seed(x))이 양인 부분(즉, 피크에 상당하는 부분)이 보다 강조되도록, 라인 게인(GainL(x))을 산출한다.
또한, 상기에 나타낸 계산식은 어디까지나 일 예이고, 동일한 특성을 갖는 게인을 산출 가능하면, 당해 게인의 산출 방법이나, 당해 게인을 도출하기 위한 구성은 특히 한정되지 않는다.
구체적인 일 예로서, 이상에서는 주목 화소의 양쪽에 인접하는 주변 화소의 화소 값에 기초하여, 기울기(grad(x))가 산출되는 예에 대하여 설명하였다. 본 발명의 다른 일 예로, 주목 화소를 기준으로 어느 한 쪽에 위치하고, 서로 인접하는 2 개의 주변 화소의 화소 값의 합계로부터, 주목 화소를 기준으로 다른 쪽에 위치하고, 서로 인접하는 2 개의 주변 화소의 화소 값의 합계를 뺌으로써, 기울기(grad(x))가 산출될 수도 있다. 또한, 입력 영상 데이터에 대해 평활화 필터 등의 노이즈 제거 필터를 사전에 적용하고, 당해 필터 적용 후의 입력 영상 데이터에 기초하여, 라인 게인(GainL(x))이 산출될 수 있다.
이상과 같이 하여, 라인 게인 산출부(11)는 입력 영상 데이터 중의 화소마다 라인 게인(GainL(x))을 산출하고, 산출한 화소마다의 라인 게인(GainL(x))을 후단에 위치하는 게인 조정부(30)로 출력한다.
(스텝 게인 산출부(12))
스텝 게인 산출부(12)는 입력 영상 데이터 중 각 화소의 휘도 성분에 기초하여, 당해 화소에 대응하는 엣지가 스텝 엣지인 경우에, 당해 엣지(즉, 스텝 엣지)를 강조하기 위한 게인(이후에는, 「스텝 게인」이라 지시 할 수 있다)을 산출한다.
구체적으로는, 스텝 게인 산출부(12)는 먼저, 입력 영상 데이터 중 각 화소를 주목 화소로서 정의하고, 주목 화소와, 주목 화소를 기준으로 x 방향으로 소정의 범위 내에 위치하는 주변 화소 각각의 휘도 성분에 기초하여, 기울기(grad(x)) 및 라플라시안(lap(x))을 산출한다. 또한, 기울기(grad(x)) 및 라플라시안(lap(x))에 대하여는, 전술한 (수학식 1) 및 (수학식 2)에 기초하여 산출된다.
이어서, 스텝 게인 산출부(12)는 주목 화소(x,y)를 기준으로 한 소정의 범위 내에 있어서 화소 각각에 대하여 산출한 기울기(grad(x))에 기초하여, 당해 범위 내에 있어서 기울기(grad(x))의 최대 값(gradMax(x))을 화소마다 산출한다. 예를 들어, 주목 화소(x,y)를 중심으로서 x 방향으로 전후 3 화소에 대응되는 범위(즉, 주목 화소를 중심으로 한 7 화소에 대응되는 범위)를 소정의 범위로 한 경우에, 기울기(grad(x))의 최대 값(gradMax(x))은 이하에 (수학식 5) 에 기초하여 산출될 수 있다.
[수학식 5]
도 7은 주목 화소에 대응하는 엣지가 스텝 엣지인 경우, 입력 영상 데이터의 화소 값(휘도)과, 기울기(grad(x)), 라플라시안(lap(x)), 및 기울기(grad(x))의 최대 값(gradMax(x))과의 관계의 일 예를 나타내는 도면이다.
도 7을 참조하면, 횡축은 입력 영상 데이터 중 x 방향으로의 위치를 나타내고 있다. 또한, 종축은 대응하는 화소의 화소 값(휘도)을 나타내고 있다. 또한, 도 7에 있어서, 「input」으로서 나타낸 그래프는 입력 영상 데이터 중 각 화소의 화소 값(휘도)을 나타내고 있다. 또한, 「grad」로서 나타낸 그래프는 입력 영상 데이터 중 각 화소에 대해서 산출된 기울기(grad(x))를 나타내고 있다. 또한, 「lap」로서 나타낸 그래프는 입력 영상 데이터 중 각 화소에 대해서 산출된 라플라시안(lap(x))을 나타내고 있다. 또한, 「gradMax」로서 나타낸 그래프는 입력 영상 데이터 중 각 화소에 대해서 산출된 기울기(grad(x))의 최대 값(gradMax(x))을 나타내고 있다.
이어서, 스텝 게인 산출부(12)는 화소마다 산출한, 기울기(grad(x))의 최대 값(gradMax(x))과, 라플라시안(lap(x))에 기초하여, 스텝 게인(GainS(x))을 화소마다 산출한다. 스텝 게인(GainS(x))는 이하에 (수학식 6) 에 기초하여 산출될 수 있다.
[수학식 6]
또한, (수학식 6) 에서 계수(pStep)는 주목 화소에 대응하는 엣지가 스텝 엣지인 경우에 있어서, 각 화소의 화소 값(휘도)에 대한 강조량을 조정하기 위한 계수이다. 또한, 계수(pStep) 는 사전의 실험의 결과 등에 기초하여, 미리 조정될 수 있다.
도 8은 주목 화소에 대응하는 엣지가 스텝 엣지인 경우에 있어서, 입력 영상 데이터의 화소 값(휘도)과, 스텝 게인(GainS(x))과, 강조 처리 후의 화소 값(휘도)과의 관계의 일 예를 나타내는 도면이다.
도 8을 참조 하면, 횡축은 입력 영상 데이터 중 x 방향으로의 위치를 나타내고 있다. 또한, 종축은 대응하는 화소의 화소 값(휘도)을 나타내고 있다. 또한, 도 8에 있어서, 「input」으로서 나타낸 그래프는 입력 영상 데이터 중의 각 화소의 화소 값(휘도)을 나타내고 있다. 또한, 「GainS」로서 나타낸 그래프는 입력 영상 데이터 중의 각 화소에 대해서 산출된 스텝 게인(GainS(x))을 나타내고 있다. 또한, 「EhnS」로서 나타낸 그래프는 강조 처리 후의 화소 값(휘도)을 나타내고 있고, EnhS = input + GainS로 나타낼 수 있다.
도 8에 나타내는 바와 같이, 스텝 게인 산출부(12)는 오버슈트 및 언더슈트의 발생을 억제하고, 또한 화소 값(휘도)의 변화가 보다 급격해지도록, 스텝 게인(GainS(x))을 산출한다.
또한, 상기에 나타낸 계산식은 어디까지나 일 예이고, 동일한 특성을 갖는 게인을 산출 가능하면, 당해 게인의 산출 방법이나, 당해 게인을 도출하기 위한 구성은 특히 한정되지 않는다.
이상과 같이, 스텝 게인 산출부(12)는 입력 영상 데이터 중의 화소마다 스텝 게인(GainS(x))을 산출하고, 산출한 화소마다의 스텝 게인(GainS(x))을 후단에 위치하는 게인 조정부(30)로 출력한다.
(토글 게인 산출부(13))
토글 게인 산출부(13)는 입력 영상 데이터 중 각 화소의 휘도 성분에 기초하여, 당해 화소에 대응하는 엣지가 토글 엣지인 경우에, 당해 엣지(즉, 토글 엣지)를 강조하기 위한 게인(이후에는, 「토글 게인」이라 지시할 수 있다)을 산출한다.
구체적으로는, 토글 게인 산출부(13)는 입력 영상 데이터 중 각 화소를 주목 화소로 정의하고, 주목 화소와, 주목 화소를 기준으로서 x 방향으로의 소정 범위 내에 위치하는 주변 화소 각각의 휘도 성분에 기초하여, 라플라시안(lap(x))을 산출한다. 라플라시안(lap(x))에 대하여는 전술한 (수학식 2)에 기초하여 산출된다.
이어서, 토글 게인 산출부(13)는 화소마다 산출한 라플라시안(lap(x))에 기초하여, 토글 게인(GainT(x))을 화소마다 산출한다. 토글 게인(GainT(x))은 이하에 (수학식 7) 에 기초하여 산출될 수 있다.
[수학식 7]
또한, (수학식 7) 중에 있어서 계수(pToggle)는 주목 화소에 대응하는 엣지가 토글 엣지인 경우에 있어서, 각 화소의 화소 값(휘도)에 대한 강조량을 조정하기 위한 계수이다. 또한, 계수(pToggle) 는 사전의 실험의 결과 등에 기초하여, 미리 조정될 수 있다.
이상과 같이, 토글 게인 산출부(13)는 입력 영상 데이터 중 화소마다 토글 게인(GainT(x))을 산출하고, 산출한 화소마다의 토글 게인(GainT(x))을 후단에 위치하는 게인 조정부(30)로 출력한다.
(텍스쳐 게인 산출부(14))
텍스쳐 게인 산출부(14)는 입력 영상 데이터 중 각 화소의 휘도 성분에 기초하여, 당해 화소에 대응하는 엣지가 텍스쳐 엣지인 경우에, 당해 엣지(즉, 텍스쳐 엣지)를 강조하기 위한 게인(이후에는, 「텍스쳐 게인」이라 지시할 수 있다)을 산출한다.
구체적으로는, 텍스쳐 게인 산출부(14)는 입력 영상 데이터 중 각 화소를 주목 화소로 정의하고, 주목 화소와, 주목 화소를 기준으로 x 방향으로의 소정 범위 내에 위치하는 주변 화소 각각의 휘도 성분에 기초하여, 라플라시안(lap(x))을 산출한다. 또한, 라플라시안(lap(x))에 대하여는 전술한 (수학식 2)에 기초하여 산출될 수 있다.
이어서, 텍스쳐 게인 산출부(14)는 화소마다 산출한 라플라시안(lap(x))에 기초하여, 텍스쳐 게인(GainX(x))을 화소마다 산출한다. 텍스쳐 게인(GainX(x))은 이하에 (수학식 8) 에 기초하여 산출될 수 있다.
[수학식 8]
또한, (수학식 8) 중에 있어서 계수(pTexture)는 주목 화소에 대응하는 엣지가 텍스쳐 엣지인 경우에 있어서, 각 화소의 화소 값(휘도)에 대한 강조량을 조정하기 위한 계수이다. 또한, 계수(pTexture) 는 사전의 실험의 결과 등에 기초하여, 미리 조정될 수 있다. 본 발명의 일 예로 계수(pTexture)와, 계수(pToggle)는 pToggle < pTexture의 관계를 갖도록 결정 될 수 있다.
이상과 같이, 텍스쳐 게인 산출부(14)는 입력 영상 데이터 중의 화소마다 토글 게인(GainT(x))을 산출하고, 산출한 화소마다의 토글 게인(GainT(x))을 후단에 위치하는 게인 조정부(30)로 출력한다.
(블랜드 비율 산출부(20))
이어서, 블랜드 비율 산출부(20)에 대해서 도 9를 참조하여 설명한다.
도 9는 블랜드 비율 산출부(20)의 기능 구성의 일 예를 나타낸 블록도이며, 도 10은 단독 피크 특징량 산출부(21)의 기능 구성의 일 예를 나타낸 블록도이다.
도 9를 참조하면, 블랜드 비율 산출부(20)는 단독 피크 특징량 산출부(21), 연속 피크 특징량 산출부(23), 스텝 엣지 특징량 산출부(25), 텍스쳐 엣지 특징량 산출부(27), 및 연산부(29)를 포함한다.
(단독 피크 특징량 산출부(21))
단독 피크 특징량 산출부(21)는 입력 영상 데이터 중 화소마다, 당해 화소에 대응하는 엣지가 라인 엣지인 것의 정확도(또는, 확실도)을 나타내는 특징량(EdgeL)을 산출하기 위한 구성이다.
도 10에 나타내는 바와 같이, 단독 피크 특징량 산출부(21)는 피크 검출부(211), Max 필터(213), Min 필터(215), 및 연산부(217)를 포함한다.
피크 검출부(211)는 입력 영상 데이터 중 각 화소를 주목 화소로서, 당해 주목 화소와, 당해 주목 화소를 기준으로 x 방향으로의 소정 범위 내에 위치하는 주변 화소 각각의 휘도 성분에 기초하여, 기울기 및 라플라시안을 산출한다. 또한, 본 설명에서는, 주목 화소(x,y)에 대해, x 방향의 한 쪽에 위치하는 화소(x + 2, y), 및 다른 쪽에 위치하는 화소(x - 2, y)를 주변 화소 정의 한다.
이 경우에는, 주목 화소에 대응하는 기울기(grad(x))는 이하에 나타내는 (수학식 9)에 기초하여 산출될 수 있다.
[수학식 9]
[수학식 10]
이어서, 피크 검출부(211)는 산출한 기울기(grad(x))와 라플라시안(lap(x))에 기초하여, 피크 부분을 검출하기 위한 특징량(peakL(x))을 화소마다 산출한다. 특징량(peakL(x))은 이하에 (수학식 11)~ (수학식 13) 에 기초하여 산출될 수 있다.
[수학식 11]
[수학식 12]
[수학식 13]
또한, (수학식 11) 에서 계수(pPeakL)는 다양한 선폭의 엣지 중 라인 엣지로서 검출하는 범위를 조정하기 위한 계수이다. 계수(pPeakL)는 전술한 특징량(seed(x))을 산출하기 위한 (수학식 3)의 계수(pLine1)에 상당할 수 있다. 즉, 계수(pPeakL)를 크게 할수록, 보다 폭이 넓은 엣지를 라인 엣지로서 검출하기 쉽게 된다. 또한, 계수(pPeakL)는, 사전의 실험의 결과 등에 기초하여, 미리 조정될 수 있다.
이상과 같이 하여, 피크 검출부(211)는 입력 영상 데이터 중의 화소마다 피크 부분을 검출하기 위한 특징량(peakL(x))을 산출하고, 산출한 화소마다의 특징량(peakL(x))을 후단에 위치하는 Max 필터(213) 및 Min 필터(215)로 출력한다.
Max 필터(213)는 피크 검출부(211)로부터 입력 영상 데이터 중 화소마다 특징량(peakL(x))을 수신한다. Max 필터(213)는 입력 영상 데이터 중 각 화소를 주목 화소로 정의하고, 주목 화소를 기준으로 소정 범위 내의 화소 각각에 대하여 산출된 특징량(peakL(x))에 기초하여, 당해 범위 내에서 특징량(peakL(x))의 최대 값을 화소마다 산출한다.
예를 들어, 주목 화소(x,y)를 중심으로서 x 방향으로의 전후 5 화소에 대응하는 범위(즉, 주목 화소를 중심으로 한 11 화소에 대응하는 범위)를, 소정의 범위로 한 경우에, 특징량(peakL(x))의 최대 값(peakLMax(x))은 (수학식 15) 에 기초하여 산출될 수 있다.
[수학식 15]
그리고, Max 필터(213)는 화소마다 산출한, 특징량(peakL(x))의 최대 값(peakLMax(x))을 후단에 위치하는 연산부(217)로 출력한다.
Min 필터(215)는 피크 검출부(211)로부터, 입력 영상 데이터 중 화소마다 특징량(peakL(x))을 수신한다. Min 필터(215)는 입력 영상 데이터 중 각 화소를 주목 화소로 정의하고, 주목 화소를 기준으로 소정 범위 내의 화소 각각에 대하여 산출된 특징량(peakL(x))에 기초하여, 소정 범위 내에서 특징량(peakL(x))의 최소 값을 화소마다 산출한다.
예를 들어, 주목 화소(x,y)를 중심으로서 x 방향으로의 전후 5 화소에 대응하는 범위(즉, 주목 화소를 중심으로 한 11 화소에 대응하는 범위)를, 소정의 범위로 한 경우에, 특징량(peakL(x))의 최소 값(peakLMin(x))은 (수학식 16) 에 기초하여 산출될 수 있다.
[수학식 16]
그리고, Min 필터(215)는 화소마다 산출한, 특징량(peakL(x))의 최소 값(peakLMin(x))을 후단에 위치하는 연산부(217)로 출력한다.
또한, 상기에 나타낸, Max 필터(213) 및 Min 필터(215)가 특징량(peakL(x))의 최대 값(peakLMax(x)) 및 최소 값(peakLMin(x))을 특정 하기 위해 참조하는 범위는 어디까지나 일 예이고, 반드시, 주목 화소를 중심으로 한 11 화소에 대응하는 범위에는 한정되지 않는다.
연산부(217)는 Max 필터(213)로부터, 입력 영상 데이터 중 화소마다 산출된, 특징량(peakL(x))의 최대 값(peakLMax(x))을 수신한다. 또한, 연산부(217)는 Min 필터(215)로부터 입력 영상 데이터 중 화소마다 산출된, 특징량(peakL(x))의 최소 값(peakLMin(x))을 수신한다.
연산부(217)는 입력 영상 데이터 중의 화소마다, 특징량(peakL(x))의 최대 값(peakLMax(x))과, 최소 값(peakLMin(x))과 진폭의 차분(dltPeakL0(x))과, dltPeakL0(x)의 절대값(dltPeakL(x))을 산출한다. 진폭의 차분(dltPeakL0(x))과, dltPeakL0(x)의 절대값(dltPeakL(x))은 (수학식 17) 및 (수학식 18) 에 기초하여 산출될 수 있다.
[수학식 17]
[수학식 18]
그리고, 연산부(217)는 화소마다 산출한 dltPeakL0(x) 및 dltPeakL(x)에 기초하여, 당해 화소에 대응하는 엣지가 라인 엣지인 것의 정확도(바꾸어 말하면, 확실도)을 나타내는 특징량(EdgeL)을 화소마다 산출한다. 화소마다의 특징량(EdgeL)을 EdgeL(x)라 정의하면, EdgeL(x)는 (수학식 19) 및 (수학식 20) 에 기초하여 산출될 수 있다. 또한, (수학식 19)의 thL0 및 thL1는, 미리 설정된 문턱값이고, 예를 들어 thL0 < thL1의 관계가 성립 될 수 있다.
[수학식 19]
[수학식 20]
(수학식 20)에 있어서, dltPeakL0(x) ≥≥ 0인 경우는 양의 피크를 갖는 경우에 상당하고, dltPeakL0(x) < 0인 경우는 음의 측으로 피크를 갖는 경우에 상당한다.
도 11은 상기에 나타낸 (수학식 19)에 기초하는 EdgeL0(x)와 dltPeakL(x) 사이의 관계의 일 예를 나타낸도면이다.
도 11에 있어서, 횡축은 dltPeakL(x)를 나타내고 있다. 또한, 종축은 EdgeL0(x)를 나타내고 있다.
또한, 특징량((EdgeL)(x))은 주목 화소를 기준으로 소정 범위 내에, 양의 피크 및 음의 피크 중 어느 하나에만 피크가 존재하는 경우에, 보다 높은 값을 갖는다. 한편, 주목 화소를 기준으로 소정 범위 내에, 양의 피크 및 음의 피크 쌍방에 피크가 존재하는 경우(예를 들어, 토글 엣지인 경우)에는, 특징량((EdgeL)(x))은 보다 낮은 값을 갖을 수 있다. 또한, 이 경우에는, 후술하는 토글 엣지의 정확도를 나타내는 특징량(EdgeT(x))이 보다 높은 값을 가질 수 있다.
이상과 같이, 연산부(217)는 입력 영상 데이터 중 화소마다, 화소에 대응하는 엣지가 라인 엣지인 것의 정확도(바꾸어 말하면, 확실도)을 나타내는 특징량((EdgeL)(x))을 산출한다. 그리고, 연산부(217)는 화소마다 산출한 특징량((EdgeL)(x))을 단독 피크 특징량 산출부(21)의 후단에 위치하는 연산부(29)로 출력한다.
(연속 피크 특징량 산출부(23))
이어서, 연속 피크 특징량 산출부(23)에 대해서 설명한다. 연속 피크 특징량 산출부(23)는 입력 영상 데이터 중 화소마다, 화소에 대응하는 엣지가 토글 엣지인 것의 정확도(바꾸어 말하면, 확실도)을 나타내는 특징량(EdgeT)을 산출하기 위한 구성이다.
도 12는 연속 피크 특징량 산출부(23)의 기능 구성의 일 예를 나타낸 블록도이다.
도 12에 나타내는 바와 같이, 연속 피크 특징량 산출부(23)는 피크 검출부(231), Max 필터(233), Min 필터(235), 및 연산부(237)를 포함한다.
피크 검출부(231)는 입력 영상 데이터 중 각 화소를 주목 화소로 정의하고, 주목 화소와, 당해 주목 화소를 기준으로 x 방향으로의 소정 범위 내에 위치하는 주변 화소 각각의 휘도 성분에 기초하여, 기울기(grad(x)) 및 라플라시안(lap(x))을 산출한다. 또한, 기울기(grad(x)) 및 라플라시안(lap(x))에 대하여는 전술한 (수학식 9) 및 (수학식 10)에 기초하여 산출된다.
이어서, 피크 검출부(231)는 산출한 기울기(grad(x))와 라플라시안(lap(x))에 기초하여, 피크 부분을 검출하기 위한 특징량(peakT(x))을 화소마다 산출한다. 특징량(peakT(x))은 (수학식 21)~(수학식 23) 에 기초하여 산출될 수 있다.
[수학식 21]
[수학식 22]
[수학식 23]
또한, (수학식 21) 중에 있어서 계수(pPeakT)는 다양 선폭의 엣지 중 토글 엣지로서 검출하는 범위를 조정하기 위한 계수이다. 계수(pPeakT)는 (수학식 11)의 계수(pPeakL)에 상당할 수 있다. 또한, 계수(pPeakT) 는, 계수(pPeakL)와 마찬가지로, 사전의 실험의 결과 등에 기초하여, 미리 조정될 수 있다.
이상과 같이, 피크 검출부(231)는 입력 영상 데이터 중 화소마다 피크 부분을 검출하기 위한 특징량(peakT(x))을 산출하고, 산출한 화소마다의 특징량(peakT(x))을 후단에 위치하는Max 필터(233) 및 Min 필터(235)로 출력한다.
Max 필터(233)는 피크 검출부(231)로부터 입력 영상 데이터 중 화소마다 특징량(peakT(x))을 수신한다. Max 필터(233)는 입력 영상 데이터 중 각 화소를 주목 화소로 정의하고, 주목 화소를 기준으로 소정 범위 내의 화소 각각에 대하여 산출된 특징량(peakT(x))에 기초하여, 소정 범위 내에서 특징량(peakT(x))의 최대 값을 화소마다 산출한다.
예를 들어, 주목 화소(x,y)를 중심으로서 x 방향으로의 전후 5 화소에 대응하는 범위(즉, 주목 화소를 중심으로 한 11 화소에 대응하는 범위)를, 소정 범위로 한 경우에, 특징량(peakT(x))의 최대 값(peakTMax(x))은 (수학식 24) 에 기초하여 산출될 수 있다.
[수학식 24]
그리고, Max 필터(233)는 화소마다 산출한, 특징량(peakT(x))의 최대 값(peakTMax(x))을 후단에 위치하는 연산부(237)로 출력한다.
Min 필터(235)는 피크 검출부(231)로부터 입력 영상 데이터 중 화소마다 특징량(peakT(x))을 수신한다. Min 필터(235)는 입력 영상 데이터 중 각 화소를 주목 화소로 정의하고, 주목 화소를 기준으로 소정 범위 내의 화소 각각에 대하여 산출된 특징량(peakT(x))에 기초하여, 소정 범위 내에서 특징량(peakT(x))의 최소 값을 화소마다 산출한다.
예를 들어, 주목 화소(x,y)를 중심으로서 x 방향으로의 전후 5 화소에 대으하는 범위(즉, 주목 화소를 중심으로 한 11 화소에 대응하는 범위)를, 소정 범위로 한 경우에, 특징량(peakT(x))의 최소 값(peakTMin(x))은 (수학식 25) 에 기초하여 산출된다.
[수학식 25]
그리고, Min 필터(235)는 화소마다 산출한, 특징량(peakT(x))의 최소 값(peakTMin(x))을 후단에 위치하는 연산부(237)로 출력한다.
또한, 상기에 나타낸, Max 필터(233) 및 Min 필터(235)가 특징량(peakT(x))의 최대 값(peakTMax(x)) 및 최소 값(peakTMin(x))을 특정하기 위해 참조하는 범위는 어디까지나 일 예이고, 반드시, 주목 화소를 중심으로 한 11 화소에 대응하는 범위에는 한정되지 않는다.
연산부(237)는 Max 필터(233)로부터 입력 영상 데이터 중 화소마다 산출된 특징량(peakT(x))의 최대 값(peakTMax(x))을 수신한다. 또한, 연산부(237)는 Min 필터(235)으로부터, 입력 영상 데이터 중 화소마다 산출된 특징량(peakT(x))의 최소 값(peakTMin(x))을 수신한다.
연산부(237)는 입력 영상 데이터 중 화소마다, 특징량(peakT(x))의 최대 값(peakLMax(x))과, 최소 값(peakLMin(x))에 기초하여, 차분(바꾸어 말하면 다이나믹 레인지)(drPeakT(x))과, 평균(avgPeakT(x))을 산출한다. 차분(drPeakT(x))은 (수학식 26) 에 기초하여 산출될 수 있다.
[수학식 26]
[수학식 27]
그리고, 연산부(237)는 화소마다 산출한 drPeakT(x) 및 avgPeakT(x)에 기초하여, 당해 화소에 대응하는 엣지가 토글 엣지인 것의 정확도(바꾸어 말하면, 확실도)을 나타내는 특징량(EdgeT)을 화소마다 산출한다. 화소마다의 특징량(EdgeT)을 EdgeT(x)라 정의하면, EdgeT(x)는 이하에 (수학식 28) 및 (수학식 29)에 기초하여 산출될 수 있다. 또한, (수학식 29)에서 thT0 및 thT1은 미리 설정된 문턱값이며, 예를 들어, thT0 < thT1의 관계가 성립될 수 있다.
[수학식 28]
[수학식 29]
또한, (수학식 28)에서 계수(pT0)는 토글 엣지 유사성을 나타내는 특징량(EdgeT(x)) 산출 시, 차분(drPeakT(x))과, 평균(avgPeakT(x)) 사이의 가중치를 조정하기 위한 계수이다. 구체적으로는, 계수(pT0)가 커질수록, 양의 측의 피크의 진폭 값과 음의 측의 피크의 진폭 값간의 차이가 적은 엣지일수록, 특징량(EdgeT(x))이 높아질 수(즉, 토글 엣지의 정확도가 높아지도록)있다. 또한, 계수(pT0)가 작아질수록, 양의 측의 피크의 진폭 값과 음의 측의 피크의 진폭 값의 크기가 상이할지라도 (한 쪽의 진폭이 또 다른 쪽보다도 큰 경우에 있어서도), 특징량(EdgeT(x))이 높아질 수(즉, 토글 엣지의 정확도가 높아지도록) 있다. 또한, 계수(pT0)는 사전의 실험의 결과 등에 기초하여, 미리 조정될 수 있다.
도 13은 (수학식 29)에 기초하는 EdgeT(x)와 detToggle(x) 사이의 관계의 일 예를 나타낸 도면이다.
도 13에 있어서, 횡축은 detToggle(x)를 나타내고 있다. 또한, 종축은 EdgeT(x)를 나타내고 있다.
또한, 특징량(EdgeT(x))은 주목 화소를 기준으로 소정 범위 내에서, 양의 측의 피크 및 음의 측의 피크가 존재하는 경우에, 보다 높은 값으로 된다.
이상과 같이, 연산부(237)는 입력 영상 데이터 중 화소마다, 화소에 대응하는 엣지가 토글 엣지인 것의 정확도(바꾸어 말하면, 확실도)을 나타내는 특징량(EdgeT(x))을 산출한다. 그리고, 연산부(237)는 화소마다 산출한 특징량(EdgeT(x))을, 연속 피크 특징량 산출부(23)의 후단에 위치하는 연산부(29)로 출력한다.
(스텝 엣지 특징량 산출부(25))
이어서, 스텝 엣지 특징량 산출부(25)에 대해서 설명한다. 스텝 엣지 특징량 산출부(25)는 입력 영상 데이터 중 화소마다, 화소에 대응하는 엣지가 스텝 엣지인 것의 정확도(바꾸어 말하면, 확실도)을 나타내는 특징량(EdgeS)을 산출하기 위한 구성이다.
도 14는 스텝 엣지 특징량 산출부(25)의 기능 구성의 일 예를 나타낸 블록도이다.
도 14를 참조하면, 스텝 엣지 특징량 산출부(25)는 기울기 산출부(251), Max 필터(253), Min 필터(255), 및 연산부(257)를 포함한다.
기울기 산출부(251)는 입력 영상 데이터 중 각 화소를 주목 화소로 정의하고, 주목 화소와, 주목 화소를 기준으로서 x 방향으로의 소정 범위 내에 위치하는 주변 화소 각각의 휘도 성분에 기초하여, 기울기(grad(x))를 산출한다. 또한, 기울기(grad(x))에 대하여는 전술한 (수학식 9)에 기초하여 산출된다.
그리고, 기울기 산출부(251)는 입력 영상 데이터 중 화소마다 산출한 기울기(grad(x))를 후단에 위치하는 Max 필터(253) 및 Min 필터(255)로 출력한다.
Max 필터(253)는 기울기 산출부(251)로부터 입력 영상 데이터 중 화소마다 기울기(grad(x))를 수신한다. Max 필터(253)는 입력 영상 데이터 중 각 화소를 주목 화소로 정의하고, 주목 화소를 기준으로 한 소정 범위 내의 화소 각각에 대하여 산출된 기울기(grad(x))에 기초하여, 소정 범위 내의 기울기(grad(x))의 최대 값을 화소마다 산출한다.
예를 들어, 주목 화소(x,y)를 중심으로서 x 방향으로의 전후 5 화소에 대응하는 범위(즉, 주목 화소를 중심으로 한 11 화소에 대응하는 범위)를, 소정 범위로 한 경우, 기울기(grad(x))의 최대 값(gradSMax(x))은 (수학식 30)에 기초하여 산출될 수 있다.
[수학식 30]
그리고, Max 필터(253)는 화소마다 산출한 기울기(grad(x))의 최대 값(gradSMax(x))을 후단에 위치하는 연산부(257)로 출력한다.
Min 필터(255)는 기울기 산출부(251)로부터 입력 영상 데이터 중 화소마다 기울기(grad(x))를 수신한다. Min 필터(255)는 입력 영상 데이터 중 각 화소를 주목 화소로 정의 하고, 주목 화소를 기준으로 소정 범위 내의 화소 각각에 대하여 산출된 기울기(grad(x))에 기초하여, 소정 범위 내에 있어서 기울기(grad(x))의 최소 값을 화소마다 산출한다.
예를 들어, 주목 화소(x,y)를 중심으로 x 방향으로의 전후 5 화소에 대응하는 범위(즉, 주목 화소를 중심으로 한 11 화소에 대응하는 범위)를, 소정의 범위로 한 경우, 기울기(grad(x))의 최소 값(gradSMin(x))은 (수학식 31)에 기초하여 산출될 수 있다.
[수학식 31]
그리고, Min 필터(255)는 화소마다 산출한, 기울기(grad(x))의 최소 값(gradSMin(x))을 후단에 위치하는 연산부(257)로 출력한다.
또한, 상기에 나타낸 Max 필터(253) 및 Min 필터(255)가 기울기(grad(x))의 최대 값(gradSMax(x)) 및 최소 값(gradSMin(x))을 특정하기 위해 참조하는 소정 범위는 어디까지나 일 예이고, 반드시, 주목 화소를 중심으로 한 11 화소에 대응하는 범위에는 한정되지 않는다.
연산부(257)는 Max 필터(253)로부터 입력 영상 데이터 중 화소마다 산출된 기울기(grad(x))의 최대 값(gradSMax(x))을 수신한다. 또한, 연산부(257)는 Min 필터(255)로부터 입력 영상 데이터 중 화소마다 산출된 기울기(grad(x))의 최소 값(gradSMin(x))을 수신한다.
연산부(257)는 입력 영상 데이터 중 화소마다, 기울기(grad(x))의 최대 값(gradSMax(x))과, 최소 값(gradSMin(x))에 기초하여, 차분(바꾸어 말하면 다이나믹 레인지)(drGradSMax(x))과, 절대값(absGradSMax(x))을 산출한다. 차분(drGradSMax(x))은 이하에 (수학식 32)에 기초하여 산출될 수 있다.
[수학식 32]
또한, 절대값(absGradSMax(x))은 (수학식 33)에 기초하여 산출될 수 있다.
[수학식 33]
여기서, 도 15 및 도 16을 참조하여, 산출되는 기울기(grad(x))의 특성에 대해서, 대상으로 되는 엣지가 라인 엣지인 경우와, 스텝 엣지인 경우의 쌍방에 대해서 설명한다.
도 15는 대상으로 되는 엣지가 라인 엣지인 경우에 있어서 기울기(grad(x))의 특성의 일 예를 나타낸 도면이다. 또한, 도 16은 대상으로 되는 엣지가 스텝 엣지인 경우에 있어서 기울기(grad(x))의 특성의 일 예를 나타내는 도면이다.
도 15 및 도 16에 있어서, 횡축은, 입력 영상 데이터 중 x 방향에 따른 위치를 나타내고 있다. 또한, 종축은 대응하는 화소의 화소 값(휘도)을 나타내고 있다.
예를 들어, 도 15에 나타내는 바와 같이, 라인 엣지인 경우에는, 산출되는 기울기(grad(x))는 양의 값 및 음의 값을 모두 취할 수 있다. 이것에 대해, 스텝 엣지인 경우에는, 도 16에 나타내는 바와 같이, 산출되는 기울기(grad(x))는 양의 값 및 음의 값 중 어느 하나의 값만을 취할 수 있는 것으로 된다. 즉, 주목 화소를 기준으로 소정 범위 내에, 양의 측 및 음의 측 중, 어느 하나의 측의 값만 가지며, 기울기(grad(x))의 절대값이 높은 화소가 존재하는 경우에, 스텝 엣지인 것의 정확도가 높아지는 경향이 있다. 연산부(257)는 이와 같은 특성을 이용하여, 스텝 엣지인 것의 정확도(바꾸어 말하면, 확실도)을 나타내는 특징량(EdgeS)을 산출한다.
구체적으로는, 연산부(257)는 화소마다 산출한 drGradSMax(x) 및 absGradSMax(x)에 기초하여, 화소에 대응하는 엣지가 스텝 엣지인 것의 정확도(바꾸어 말하면, 확실도)을 나타내는 특징량(EdgeS)을 화소마다 산출한다. 화소마다의 특징량(EdgeS)을 EdgeS(x)라 하면, EdgeS(x)는 이하에 (수학식 34) 및 (수학식 35) 에 기초하여 산출될 수 있다. 또한, (수학식 35) 중의 thS0 및 thS1는 미리 설정된 문턱값이며, 예를 들어, thS0 < thS1의 관계가 성립 될 수 있다.
[수학식 34]
[수학식 35]
도 17은, (수학식 35)에 기초하는 EdgeS(x)와 detNotStep(x) 사이의 관계의 일 예를 나타낸 도면이다.
도 17에 있어서, 횡축은 detNotStep(x)를 나타내고 있다. 또한, 종축은 EdgeS(x)를 나타내고 있다. 또한, (수학식 34) 및 (식 수학35)에 있어서 detNotStep(x)는 대상으로 되는 엣지가, 스텝 엣지가 아닌 것의 정확도를 나타내는 특징량에 상당한다.
또한, 도 15 및 도 16을 참조하여 전술한 바와 같이, 특징량(EdgeS)(x)은 주목 화소를 기준으로 소정 범위 내에, 양의 측 및 음의 측 중, 어느 하나 측의 값만 가지고, 기울기(grad(x))의 절대값이 높은 화소가 존재하는 경우에, 보다 높은 값을 가질 수 있다.
이상과 같이, 연산부(257)는 입력 영상 데이터 중 화소마다, 화소에 대응하는 엣지가 스텝 엣지인 것의 정확도(바꾸어 말하면, 확실도)을 나타내는 특징량((EdgeS)(x))을 산출한다. 그리고, 연산부(257)는 화소마다 산출한 특징량((EdgeS)(x))을 스텝 엣지 특징량 산출부(25)의 후단에 위치하는 연산부(29)로 출력한다.
(텍스쳐 엣지 특징량 산출부(27))
이어서, 텍스쳐 엣지 특징량 산출부(27)에 대해서 설명한다. 텍스쳐 엣지 특징량 산출부(27)는 입력 영상 데이터 중 화소마다, 화소에 대응하는 엣지가 텍스쳐 엣지인 것의 정확도(바꾸어 말하면, 확실도)을 나타내는 특징량(EdgeX)을 산출하기 위한 구성이다.
도 18은 텍스쳐 엣지 특징량 산출부(27)의 기능 구성의 일 예를 나타낸 블록도이다.
도 18을 참조하면, 텍스쳐 엣지 특징량 산출부(27)는 라플라시안 산출부(271), Max 필터(273), Min 필터(275), 및 연산부(277)를 포함한다.
라플라시안 산출부(271)는 입력 영상 데이터 중 각 화소를 주목 화소로 정의하고, 주목 화소와, 주목 화소를 기준으로 x 방향 및 y 방향으로 소정 범위 내에 위치하는 주변 화소 각각의 휘도 성분에 기초하여, 라플라시안(lap(x,y))을 산출한다. 주목 화소(x,y)에 대응하는 라플라시안(lap(x,y))은 이하에 나타내는 (수학식 36)에 기초하여 산출 될 수 있다.
[수학식 36]
그리고, 라플라시안 산출부(271)는 입력 영상 데이터 중 화소마다 산출한 라플라시안(lap(x,y))을 후단에 위치하는 Max 필터(273) 및 Min 필터(275)로 출력한다.
Max 필터(273)는 라플라시안 산출부(271)로부터, 입력 영상 데이터 중 화소마다 라플라시안(lap(x,y))을 수신한다. Max 필터(273)는 입력 영상 데이터 중의 각 화소를 주목 화소로 정의하고, 주목 화소를 기준으로 소정 범위 내의 화소 각각에 대하여 산출된 라플라시안(lap(x,y))에 기초하여, 소정 범위 내에 있어서 라플라시안(lap(x,y))의 최대 값을 화소마다 산출한다.
예를 들어, 주목 화소(x,y)를 중심으로서 x 방향 및 y 방향으로의 전후 2 화소에 대응하는 범위(즉, 주목 화소를 중심으로 한 5x5 화소에 대응하는 범위)를, 소정 범위로 한 경우에, 라플라시안(lap(x,y))의 최대 값(lapXMax(x,y))은 이하에 (수학식 37)에 기초하여 산출된다.
[수학식 37]
그리고, Max 필터(273)는 화소마다 산출한, 라플라시안(lap(x,y))의 최대 값(lapXMax(x,y))을 후단에 위치하는 연산부(277)로 출력한다.
Min 필터(275)는 라플라시안 산출부(271)로부터 입력 영상 데이터 중 화소마다 라플라시안(lap(x,y))을 수신한다. Min 필터(275)는 입력 영상 데이터 중 각 화소를 주목 화소로 정의하고, 주목 화소를 기준으로 소정 범위 내의 화소 각각에 대하여 산출된 라플라시안(lap(x,y))에 기초하여, 소정 범위 내에 있어서 라플라시안(lap(x,y))의 최소 값을 화소마다 산출한다.
예를 들어, 주목 화소(x,y)를 중심으로 x 방향 및 y 방향으로의 전후 2 화소에 대응하는 (즉, 주목 화소를 중심으로 한 5x5 화소에 대응하는 범위)를, 소정 범위로 한 경우에, 라플라시안(lap(x,y))의 최소 값(lapXMin(x,y))은 (수학식 38)에 기초하여 산출될 수 있다.
[수학식 38]
그리고, Min 필터(275)는 화소마다 산출한, 라플라시안(lap(x,y))의 최소 값(lapXMin(x,y))을 후단에 위치하는 연산부(277)로 출력한다.
또한, 상기에 나타낸, Max 필터(273) 및 Min 필터(275)가 라플라시안(lap(x,y))의 최대 값(lapXMax(x,y)) 및 최소 값(lapXMin(x,y))을 특정하기 위해 참조하는 소정 범위는 어디까지나 일 예이고, 반드시, 주목 화소를 중심으로 한 5x5 화소에 대응하는 범위로 한정되지 않는다.
연산부(277)는 Max 필터(273)로부터 입력 영상 데이터 중 화소마다 산출된 라플라시안(lap(x,y))의 최대 값(lapXMax(x,y))을 수신한다. 또한, 연산부(277)는 Min 필터(275)로부터 입력 영상 데이터 중 화소마다 산출된 라플라시안(lap(x,y))의 최소 값(lapXMin(x,y))을 수신한다.
연산부(277)는 입력 영상 데이터 중 화소마다, 라플라시안(lap(x,y))의 최대 값(lapXMax(x,y))과, 최소 값(lapXMin(x,y))에 기초하여, 절대(값absLapXMax(x,y))을 산출한다. 절대값(absLapXMax(x,y))은 (수학식 39)에 기초하여 산출될 수 있다.
[수학식 39]
그리고, 연산부(277)는 화소마다 산출한 절대값(absLapXMax(x,y))에 기초하여, 화소에 대응하는 엣지가 텍스쳐 엣지인 것의 정확도(바꾸어 말하면, 확실도)을 나타내는 특징량(EdgeX)을 화소마다 산출한다. 화소마다의 특징량(EdgeX)을 EdgeX(x,y)라 하면, EdgeX(x,y)는 (수학식 40)에 기초하여 산출될 수 있다. 또한, (수학식 40) 중의 thX0 및 thX1은 미리 설정된 문턱값이며, 예를 들어, thX0 < thX1의 관계가 성립될 수 있다.
[수학식 40]
도 19는 (수학식 40)에 기초하는 EdgeX(x,y)와 absLapXMax(x,y) 사이의 관계의 일 예를 나타낸 도면이다. 도 19에 있어서, 횡축은 absLapXMax(x,y)를 나타내고 있다. 또한, 종축은 EdgeX(x,y)를 나타내고 있다. 또한, 도 19에 나타내는 바와 같이, absLapXMax(x,y)가 문턱값(thX0) 미만인 경우에는, 노이즈로서 판정되고, 특징량(EdgeX(x,y))은 0으로 된다.
이상과 같이, 연산부(277)는 입력 영상 데이터 중 화소마다, 화소에 대응하는 엣지가 텍스쳐 엣지인 것의 정확도(바꾸어 말하면, 확실도)를 나타내는 특징량(EdgeX(x,y))을 산출한다. 그리고, 연산부(277)는 화소마다 산출한 특징량(EdgeX(x,y))을 텍스쳐 엣지 특징량 산출부(27)의 후단에 위치하는 연산부(29)로 출력한다.
(연산부(29))
이어서, 블랜드 비율 산출부(20)의 연산부(29)에 대해서 설명한다. 연산부(29)는 단독 피크 특징량 산출부(21)로부터 입력 영상 데이터 중 화소마다 산출된 특징량(EdgeL)을 수신한다. 마찬가지로, 연산부(29)는 연속 피크 특징량 산출부(23)로부터 입력 영상 데이터 중 화소마다 산출된 특징량(EdgeT)을 수신한다. 또한, 연산부(29)는 스텝 엣지 특징량 산출부(25)로부터 입력 영상 데이터 중 화소마다 산출된 특징량(EdgeS)을 수신하고, 텍스쳐 엣지 특징량 산출부(27)로부터 화소마다 산출된 특징량(EdgeX)을 수신한다.
연산부(29)는 수신한 각 엣지에 대응하는 특징량(EdgeL, EdgeT, EdgeS, 및 EdgeX)에 기초하여, 각 엣지에 대응하는 게인(GainL, GainT, GainS, 및 GainX)에 대해 적용되는 가중치를 산출한다. 또한, 각 엣지에 대응하는 게인(GainL, GainT, GainS, 및 GainX)에 대해 적용되는 가중치는, 당해 각 엣지에 대응하는 게인 각각의 적용 비율을 나타내고 있다. 또한, 각 엣지에 대응하는 게인(GainL, GainT, GainS, 및 GainX)의 각각이 「제 1 게인」의 일 예에 상당한다.
여기서, 게인(GainL, GainT, GainS, 및 GainX)의 각각에 대해 적용되는 가중치를 BldL, BldT, BldS, 및 BldX라 하면, 각 가중치는 이하에 (수학식 41)에 기초하여 산출될 수 있다.
[수학식 41]
이상과 같이 하여, 연산부(29)는 가중치(BldL, BldT, BldS, 및 BldX)를 산출하고, 산출한 가중치(BldL, BldT, BldS, 및 BldX)를 블랜드 비율 산출부(20)의 후단에 위치하는 게인 조정부(30)로 출력한다.
(게인 조정부(30))
게인 조정부(30)는 입력 영상 데이터 중 화소마다, 당해 화소에 대해서 산출된 각 엣지에 대응하는 게인과, 당해 각 엣지에 대응하는 게인 각각에 대한 가중치에 기초하여, 당해 화소에 대해 적용되는 게인을 조정하기 위한 구성이다.
구체적으로는, 게인 조정부(30)는 라인 게인 산출부(11)로부터 입력 영상 데이터 중 화소마다 산출된 라인 게인(GainL)을 수신한다. 마찬가지로, 게인 조정부(30)는 스텝 게인 산출부(12)로부터 입력 영상 데이터 중 화소마다 산출된 스텝 게인(GainS)을 수신한다. 또한, 게인 조정부(30)는 토글 게인 산출부(13)로부터 입력 영상 데이터 중 화소마다 산출된 토글 게인(GainT)를 수신하고, 텍스쳐 게인 산출부(14)로부터 당해 화소마다 산출된 텍스쳐 게인(GainX)을 수신한다. 또한, 이후의 설명에서는, 화소(x,y)에 대해서 산출된, 각 엣지에 대응하는 게인(GainL, GainS, GainT, 및 GainX를, GainL(x,y), GainS(x,y), GainT(x,y), 및 GainX(x,y))로 지시 할 수 있다.
또한, 게인 조정부(30)는 블랜드 비율 산출부(20)로부터 입력 영상 데이터 중 화소마다 산출된 각 엣지에 대응하는 게인 각각에 대한 가중치(BldL, BldT, BldS, 및 BldX)를 수신한다. 또한, 이후의 설명에서는, 화소(x,y)에 대해서 산출된 각 엣지에 대응하는 게인 각각에 대한 가중치(BldL, BldT, BldS, 및 BldX)를, BldL(x,y), BldT(x,y), BldS(x,y), 및 BldX(x,y)로 지시 할 수 있다.
게인 조정부(30)는 화소마다 수신한 각 엣지에 대응하는 게인((GainL)(x,y), GainS(x,y), GainT(x,y), 및 GainX(x,y))와, 가중치(BldL(x,y), BldT(x,y), BldS(x,y), 및 BldX(x,y))에 기초하여, 화소에 대해 적용되는 게인을 산출한다. 또한, 입력 영상 데이터 중 각 화소에 적용되는 게인은 H 방향(수평 방향) 및 V 방향(수직 방향)의 각각에 대하여 산출된다. 즉, 게인 제어부(3a)의 게인 조정부(30)에 의해, H 방향에 대응하는 게인(GainBldH(x,y))이 산출되고, 게인 제어부(3b)의 게인 조정부(30)에 의해, V 방향에 대응하는 게인(GainBldV(x,y))이 산출된다.
입력 영상 데이터 중 각 화소에 대해 적용되는 GainBldH(x,y) 및 GainBldV(x,y)는 (수학식 42)로서 나타내는 계산식에 기초하여 산출된다. 또한, (수학식 42)에서 기호 「*」는 「H」 및 「V」 중의 어느 하나를 나타내고 있다.
[수학식 42]
이상과 같이, 게인 제어부(3a)의 게인 조정부(30)는 입력 영상 데이터 중 화소마다, H 방향에 대응하는 게인(GainBldH(x,y))을 산출하고, 산출한 화소마다의 게인(GainBldH(x,y))을 가산부(4)로 출력한다. 마찬가지로, 게인 제어부(3b)의 게인 조정부(30)는, 입력 영상 데이터 중의 화소마다, V 방향에 대응하는 게인(GainBldV(x,y))을 산출하고, 산출한 화소마다의 게인GainBldV(x,y)을 가산부(4)로 출력한다. 또한, 게인(GainBldH(x,y)) 및 게인(GainBldV(x,y))의 각각이 「제 2 게인」의 일 예에 상당한다.
(가산부(4))
가산부(4)는 게인 제어부(3a)로부터 입력 영상 데이터 중 화소마다 산출된 H 방향에 대응하는 게인(GainBldH(x,y))을 수신한다. 또한, 가산부(4)는 게인 제어부(3b)로부터 입력 영상 데이터 중 화소마다 산출된 V 방향에 대응하는 게인(GainBldV(x,y))을 수신한다.
그리고, 가산부(4)는 입력 영상 데이터 중 각 화소의 휘도 성분(lum(x,y))에 대해, 당해 화소에 대응하는 게인(GainBldH(x,y)) 및 게인(GainBldH(x,y))을 적용함으로써, 출력 영상 데이터의 각 화소에 대응하는 휘도 성분(lumOut(x,y))을 산출한다. 출력 영상 데이터의 각 화소에 대응하는 휘도 성분(lumOut(x,y))은 (수학식 43)에 기초하여 산출될 수 있다.
[수학식 43]
이상과 같은 구성에 의해, 입력 영상 데이터 중 각 화소의 휘도 성분(lum(x,y))에 대해, 당해 화소에 대응하는 엣지의 특성에 따라서 엣지 강조 처리가 실시되고, 출력 영상 데이터의 각 화소에 대응하는 휘도 성분(lumOut(x,y))이 산출된다.
가산부(4)는 산출한 출력 영상 데이터의 각 화소에 대응하는 휘도 성분(lumOut(x,y)), 즉, 엣지 강조 처리가 실시된 입력 영상 데이터 중의 화소마다의 휘도 성분(Y)을 YCbCr - RGB 변환부(6)로 출력한다.
또한, 이후의 처리는 전술한 바와 같다. 즉, YCbCr - RGB 변환부(6)는 가산부(4)로부터 수신한 화소마다의 휘도 성분(Y)과, RGB - YCbCr 변환부(5)로부터 수신한 화소마다의 색차 성분(Cb 및 Cr)을 RGB 성분으로 변환함으로써, 출력 영상 데이터를 생성하여 출력한다.
이상, 도 4~도 19를 참조하여, 본 실시 형태에 따른 강조 처리부(2) 중, 특히, 게인 제어부(3a 및 3b)와, 가산부(4)의 각각의 구성의 상세하게 대하여 설명하였다.
또한, 전술한 바와 같이, 본 실시 형태에 따른 영상 처리 장치(1)는 확대 처리부(9)에 의해 확대 처리가 실시된 영상 데이터에 대해, 강조 처리부(2)에 의해 엣지 강조 처리를 실시되는 구성으로 되어 있다.
일반적으로, 영상 데이터에 대해 확대 처리가 실시되면, 전술한 바와 같이, 영상 데이터 중의 엣지 근방에 있어서 화소 사이의 화소 값의 변화가 작아지고, 당해 엣지가 둔해지는(흐려지는) 경향이 있다. 그러므로, 본 실시 형태에 따른 영상 처리 장치(1)와 같은, 확대 처리가 실시된 영상에 대해 엣지 강조 처리를 실시하는 구성인 경우에는, 라인 엣지의 선폭을 보다 가늘게 하고, 스텝 엣지에 있어서 화소 값의 변화는 급격하게 되도록 하는 것이 효과적이다.
구체적으로는, (수학식 4)로서 전술한 라인 게인(GainL(x))의 계산식에 있어서, 계수(pLine0P 및 pLine0M)를 조정함으로써, 강조 처리 후의 라인 엣지의 선 폭을 제어하는 것이 가능하다. 또한, (수학식 6)으로서 전술한 스텝 게인(GainS(x))의 계산식에 있어서, 계수(pStep)를 조정함으로써, 강조 처리 후의 스텝 엣지에 있어서 화소 값의 변화를 제어하는 것이 가능하다.
또한, 상술한 일련의 동작은 영상 처리 장치(1) 로서 설명한 각 구성을 동작시키는 장치의 CPU를 기능시키기 위한 프로그램에 의해 구현될 수 있다. 이 프로그램은 그 장치에 인스톨된 OS(Operating System)를 통하여 실행되도록 구성할 수 있다. 또한, 이 프로그램은 상술한 처리를 실행하는 구성이 포함되는 장치가 읽기 가능하면, 기억되는 위치에 한정되지 않는다. 예를 들어, 장치의 외부로부터 접속되는 기록 매체에 프로그램이 저장될 수도 있다. 이 경우에는 프로그램이 저장된 기록 매체를 장치에 접속함으로써, 그 장치의 CPU에 당해 프로그램을 실행시키도록 구성하면 된다.
< 3. 변형예>
이어서, 본 발명의 일 실시 형태에 따른 영상 처리 장치(1)의 변형예에 대해서 설명한다.
[3.1. 변형예 1]
먼저, 변형예 1에 따른 영상 처리 장치에 대해서, 특히, 강조 처리부(2)에 촛점을 맞추어 설명한다. 또한, 이후의 설명에서는, 변형예 1에 따른 강조 처리부(2)를 전술한 실시 형태에 따른 강조 처리부(2)와 명시적으로 구별하는 경우에는, 「강조 처리부(2')」라 지시 할 수 있다.
전술한 실시 형태에 따른 강조 처리부(2)에서는, 입력 영상 데이터의 각 화소의 RGB 성분을 휘도 성분(Y)과, 색차 성분(Cb 및 Cr)으로 변환하고, 휘도 성분(Y)만을 대상으로서 엣지 강조 처리를 실시하고 있다.
이것에 대해, 변형예 1에 따른 강조 처리부(2')에서는, 입력 영상 데이터의 각 화소의 RGB 성분 자체를 대상으로서 엣지 강조 처리를 실시하는 점에서, 전술한 실시 형태에 따른 강조 처리부(2)(도 3 참조)와 다르다.
도 20은 변형예 1에 따른 강조 처리부(2')의 기능 구성의 일 예를 나타낸 블록도이다.
도 20에 나타내는 바와 같이, 변형예 1에 따른 강조 처리부(2')는 게인 제어부(3a 및 3b), 및 가산부(4)를 포함한다. 또한, 변형예 1에 따른 강조 처리부(2')에서는, 게인 제어부(3a), 게인 제어부(3b), 및 가산부(4)는 입력 영상 데이터의 각 화소의 RGB 성분을 처리 대상으로 하는 점을 제외하면, 처리 내용에 대하여는, 전술한 실시 형태에 따른 게인 제어부(3a), 게인 제어부(3b), 및 가산부(4)와 동일하다.
이상, 변형예 1로서 설명한 바와 같이, 강조 처리부(2)는 입력된 영상 데이터의 각 화소의 RGB 성분을 대상으로서, 엣지 강조 처리를 실시할 수 있다.
[3.2. 변형예 2]
이어서, 도 21을 참조하여, 변형예 2에 따른 영상 처리 장치에 대해서 설명한다.
도 21은 변형예 2에 따른 영상 처리 장치의 기능 구성의 일 예를 나타낸 블록도이다.
또한, 이후의 설명에서는, 변형예 2에 따른 영상 처리 장치를 전술한 실시 형태에 따른 영상 처리 장치(1)와 명시적으로 구별하는 경우에는, 「영상 처리 장치(1')」로 기재하는 경우가 있다.
전술한 실시 형태에 따른 영상 처리 장치(1)는 도 1에 나타내는 바와 같이, 확대 처리부(9), 및 강조 처리부(2)를 포함하고, 입력된 영상 데이터에 대해 확대 처리를 실시한 후, 확대 처리 후의 영상 데이터에 대해 엣지 강조 처리를 실시하고 있다. 이것에 대해, 변형예 2에 따른 영상 처리 장치(1')는 확대 처리부(9)를 포함하지 않는 점에서, 전술한 실시 형태에 따른 영상 처리 장치(1)와 다르다. 즉, 변형예 2에 따른 영상 처리 장치(1')에서는 입력된 영상 데이터 자체를 대상으로서 엣지 강조 처리를 실시하는 것으로 된다.
또한, 변형예 2에 따른 강조 처리부(2)의 기능 구성 및 처리 내용에 대하여는 전술한 실시 형태에 따른 강조 처리부(2)(도 1, 도 3, 및 도 4 참조)와 동일하다.
한편, 입력된 영상 데이터에 대해 확대 처리를 실시하지 않은 경우에는, 확대 처리가 실시된 영상 데이터를 대상으로 하는 경우와 마찬가지로 엣지 강조 처리를 실시하면, 라인 엣지나 스텝 엣지가 과도하게 강조된 영상 데이터가 출력되는 경우가 있다. 이것은 영상 데이터에 대해 확대 처리를 실시하는 경우에는, 당해 확대 처리에 의해 둔해진 엣지를 엣지 강조 처리에 의해 보정함으로써, 보다 자연스러운 또는 원래의 영상에 가까운 영상 데이터를 생성하는 것에 기인한다.
그러므로, 입력된 영상 데이터 자체를 처리 대상으로 하는 경우에는, 확대 처리가 실시된 영상 데이터를 대상으로 하는 경우에 비해, 라인 엣지나 스텝 엣지에 대한 강조량을 줄이는 쪽이 효과적이다. 또한, 라인 엣지에 대한 강조량(즉, 라인 게인(GainL(x)))에 대하여는, (수학식 4)로서 전술한 라인 게인(GainL(x))의 계산식에 있어서, 계수(pLine0P 및 pLine0M)를 조정함으로써, 제어할 수 있다. 또한, 스텝 엣지에 대한 강조량(즉, 스텝 게인(GainS)(x))에 대하여는, (수학식 6)으로서 전술한 스텝 게인(GainS(x))의 계산식에 있어서, 계수(pStep)를 조정함으로써, 제어할 수 있다.
또한, 입력된 영상 데이터에 대해 확대 처리를 실시하지 않은 경우에는, 텍스쳐 엣지와 같이 복잡한 엣지가 보다 강조되도록, 영상 데이터에 대해 엣지 강조 처리를 실시함으로써, 선명도를 향상시킨 영상 데이터가 얻어지는 경우가 있다. 이와 같은 경우에는, 텍스쳐 엣지에 대한 강조량을 증가시킬 수 있다. 또한, 텍스쳐 엣지에 대한 강조량(즉, 텍스쳐 게인(GainX(x)))에 대하여는, (수학식 8)로서 전술한 텍스쳐 게인(GainX(x))의 계산식에 있어서, 계수(pTexture)를 조정함으로써, 제어할 수 있다.
이상, 변형예 2로서 설명한 바와 같이, 본 실시 형태에 따른 영상 처리 장치는 입력된 영상 데이터에 대한 확대 처리를 수반하지 않고, 영상 데이터에 대해 엣지 강조 처리만을 실시하도록 구성될 수도 있다.
< 4. 정리>
이상, 설명한 바와 같이, 본 실시 형태에 따른 영상 처리 장치(1)에서는, 입력된 영상 데이터 중 엣지를 복수 종류의 엣지의 종류로 분류하고, 분류된 엣지의 종류에 따른 게인을 적용함으로써, 엣지의 강조를 행한다. 이와 같은 구성에 의해, 본 실시 형태에 따른 영상 처리 장치(1)는 링깅의 발생을 억제하고, 또한, 보다 효과적으로 엣지가 강조된 영상을 출력할 수 있다.
또한, 본 실시 형태에 따른 영상 처리 장치(1)는 대상으로 되는 엣지에 대해, 엣지의 종류마다 당해 엣지의 정확도를 나타내는 특징량을 산출하고, 산출한 특징량에 따라서, 당해 엣지의 종류마다 산출된 게인의 적용 양을 제어한다. 이와 같은 구성에 의해, 본 실시 형태에 따른 영상 처리 장치(1)는 복수 종류의 엣지 중의 어디에 해당하는지를 명확하게 판별하는 것이 곤란한 복잡한 엣지에 대해서도, 당해 엣지의 특성에 따른 게인을 적용하는 것이 가능하게 된다. 즉, 본 실시 형태에 따른 영상 처리 장치(1)에 의하면, 복수 종류의 엣지 중의 어디에 해당하는지를 명확하게 판별하는 것이 곤란한 복잡한 엣지에 대해서도, 링깅의 발생을 억제하고, 또한, 보다 효과적으로 엣지 강조 처리를 실시하는 것이 가능하게 된다.
이상, 첨부 도면을 참조하면서 본 발명의 바람직한 실시 형태에 대해서 상세하게 설명하였으나, 본 발명은 이러한 예에 한정되지 않는다. 본 발명의 속하는 기술의 분야에 있어서 통상의 지식을 갖는 자이면, 특허 청구의 범위에 기재된 기술적 사상의 범주 내에 있어서, 각종의 변경예 또는 수정예에 착안하여 얻는 것은 명확하고, 이들에 대해서도, 당연히 본 발명의 기술적 범위에 속하는 것으로 해석된다.
1 : 영상 처리 장치 2 : 강조 처리부
3a, 3b : 게인 제어부 4 : 가산부
5 : RGB - YCbCr 변환부 6 : YCbCr - RGB 변환부
9 : 확대 처리부 10 : 엣지 게인 산출부
11 : 라인 게인 산출부 12 : 스텝 게인 산출부
13 : 토글 게인 산출부 14 : 텍스쳐 게인 산출부
20 : 블랜드 비율 산출부 21 : 단독 피크 특징량 산출부
211 : 피크 검출부 213 : Max 필터
215 : Min 필터 217 : 연산부
23 : 연속 피크 특징량 산출부 231 : 피크 검출부
233 : Max 필터 235 : Min 필터
237 : 연산부 25 : 스텝 엣지 특징량 산출부
251 : 기울기 산출부 253 : Max 필터
255 : Min 필터 257 : 연산부
27 : 텍스쳐 엣지 특징량 산출부 271 : 라플라시안 산출부
273 : Max 필터 275 : Min 필터
277 : 연산부 29 : 연산부
30 : 게인 조정부
3a, 3b : 게인 제어부 4 : 가산부
5 : RGB - YCbCr 변환부 6 : YCbCr - RGB 변환부
9 : 확대 처리부 10 : 엣지 게인 산출부
11 : 라인 게인 산출부 12 : 스텝 게인 산출부
13 : 토글 게인 산출부 14 : 텍스쳐 게인 산출부
20 : 블랜드 비율 산출부 21 : 단독 피크 특징량 산출부
211 : 피크 검출부 213 : Max 필터
215 : Min 필터 217 : 연산부
23 : 연속 피크 특징량 산출부 231 : 피크 검출부
233 : Max 필터 235 : Min 필터
237 : 연산부 25 : 스텝 엣지 특징량 산출부
251 : 기울기 산출부 253 : Max 필터
255 : Min 필터 257 : 연산부
27 : 텍스쳐 엣지 특징량 산출부 271 : 라플라시안 산출부
273 : Max 필터 275 : Min 필터
277 : 연산부 29 : 연산부
30 : 게인 조정부
Claims (12)
- 주목 화소의 주목 화소 값과, 상기 주목 화소에 인접하는 주변 화소의 주변 화소 값에 기초하여, 기 설정된 복수의 엣지에 각각 대응하는 복수의 제 1 게인을 산출하는 게인 산출부;
상기 주목 화소값 및 상기 주변 화소 값에 기초하여, 상기 복수의 엣지의 정확도를 각각 나타내는 복수의 특징량을 산출하고, 상기 복수의 특징량에 기초하여, 상기 복수의 제 1 게인에 각각 대응하는 복수의 가중치를 산출하는 블랜드 비율 산출부;
상기 복수의 제 1 게인 및 상기 복수의 가중치에 기초하여, 제 2 게인을 산출하는 게인 조정부; 및
상기 주목 화소 값에 상기 제 2 게인을 적용함으로써, 출력 영상 데이터를 생성하는 출력 영상 생성부를 구비한 것을 특징으로 하고,
상기 게인 산출부는 라인 게인 산출부, 스텝 게인 산출부, 토글 게인 산출부, 및 텍스쳐 게인 산출부를 포함하고,
상기 복수의 엣지는 라인 엣지, 스텝 엣지, 토글 엣지, 및 텍스쳐 엣지를 포함하며,
상기 복수의 게인은 라인 게인, 스텝 게인, 토글 게인, 및 텍스쳐 게인을 포함하고,
상기 라인 게인 산출부는 상기 라인 엣지를 근거로 상기 라인 게인을 산출하며,
상기 스텝 게인 산출부는 상기 스텝 엣지를 근거로 상기 스텝 게인을 산출하고,
상기 토글 게인 산추부는 상기 토글 엣지를 근거로 상기 토글 게인을 산출하며,
상기 텍스쳐 게인 산출부는 상기 텍스쳐 엣지를 근거로 텍스쳐 게인을 산출하는 영상 처리 장치. - 제 1 항에 있어서,
상기 블랜드 비율 산출부는 상기 주목 화소를 기준으로 소정 범위 내에 위치한 화소를 근거로 산출된 기울기 및 라플라시안에 기초하여 상기 복수의 특징량을 산출하는 것을 특징으로 하는 영상 처리 장치. - 제 2 항에 있어서,
상기 블랜드 비율 산출부는,
상기 복수의 엣지 중, 제 1 엣지에 대해서,
상기 소정 범위 내에 위치한 화소를 근거로 산출된 상기 기울기 및 상기 라플라시안에 기초하여 복수의 제 1 특징량을 산출하고, 상기 복수의 제 1 특징량들로부터 상기 복수의 제 1 특징량의 최대 값 및 최소 값을 추출하고,
상기 최대 값 및 최소 값각각의 절대값들간의 차분에 기초하여, 당해 상기 제 1 엣지의 정확도를 나타내는 제 2 특징량을 산출하는것을 특징으로 하는 영상 처리 장치. - 제 2 항에 있어서,
상기 블랜드 비율 산출부는,
상기 복수의 엣지 중, 제 2 엣지에 대해서,
상기 소정 범위에 포함되는 화소를 근거로 산출된 상기 기울기 및 상기 라플라시안에 기초하여 복수의 제 1 특징량을로 산출하고, 상기 복수의 제 1 특징량들로부터 상기 복수의 제 1 특징량들의 최대 값 및 최소 값을 추출하고,
상기 최대 값 및 최소 값간의 차분과, 상기 최대 값 및 최소 값의 평균에 기초하여, 상기 제 2 엣지의 정확도를 나타내는 제 2 특징량을 산출하는것을 특징으로 하는 영상 처리 장치. - 제 1 항에 있어서,
상기 블랜드 비율 산출부는 상기 복수의 엣지 중, 제 3 엣지의 정확도를 나타내는 특징량을, 상기 주목 화소를 기준으로 소정 범위 내에 포함되는 화소를 근거로 산출된 복수의 기울기에 기초하여 산출하는 것을 특징으로 하는 영상 처리 장치. - 제 5 항에 있어서,
상기 블랜드 비율 산출부는 상기 복수의 기울기의 최대 값 및 최소 값의 차분과, 상기 주목 화소를 근거로 산출된 기울기의 절대값에 기초하여, 상기 제 3 엣지의 정확도를 나타내는 상기 특징량을 산출하는 것을 특징으로 하는 영상 처리 장치. - 제 1 항에 있어서,
상기 블랜드 비율 산출부는 상기 복수의 엣지 중, 제 4 엣지의 정확도를 나타내는 특징량을, 상기 주목 화소를 기준으로 소정 범위 내에 위치하는 화소를 근거로 산출된 복수의 라플라시안에 기초하여 산출하는 것을 특징으로 하는 영상 처리 장치. - 제 7 항에 있어서,
상기 블랜드 비율 산출부는 상기 소정 범위에 포함되는 화소에 대하여 산출된 상기 복수의 라플라시안의 최대 값 및 최소 값 각각의 절대값 중, 보다 큰 값을, 상기 제 4 엣지의 정확도를 나타내는 상기 특징량으로 결정 하는 것을 특징으로 하는 영상 처리 장치. - 제 1 항에 있어서,
상기 게인 산출부는 상기 복수의 제 1 게인을 대응되는 복수의 계산식에 각각 기초하여 산출하고, 상기 복수의 계산식은 상기 복수의 엣지에 각각 대응되는 것을 특징으로 하는 영상 처리 장치. - 제 1 항에 있어서,
상기 복수의 제 1 게인은 상기 주변 화소 중 수평 방향으로 인접한 주변 화소를 근거로 산출된 수평 제 1 게인 및 상기 주변 화소 중 수직 방향으로 인접한 주변 화소를 근거로 산출된 수직 제 2 게인을 포함하는 것을 특징으로 하는 영상 처리 장치. - 제 1 항에 있어서,
제 1 해상도의 제 1 영상 데이터에 소정의 확대 처리를 실시함으로써, 상기 제 1 해상도 보다도 높은 제 2 해상도의 제 2 영상 데이터로 변환하고, 상기 제 2 영상 데이터를 입력 영상 데이터로서 출력하는 확대 처리부를 더 구비하는 것을 특징으로 하는 영상 처리 장치. - 주목 화소의 주목 화소 값과, 상기 주목 화소에 인접하는 주변 화소의 주변 화소 값에 기초하여, 복수의 제 1 게인을 산출하는 단계;
상기 주목 화소 값 및 상기 주변 화소 값에 기초하여, 상기 복수의 엣지의 정확도를 나타내는 복수의 특징량을 산출하는 단계;
상기 복수의 특징량에 기초하여, 상기 복수의 제 1 게인에 각각 대응하는 복수의 가중치를 산출하는 단계;
상기 복수의 제 1 게인과, 상기 복수의 가중치에 기초하여, 제 2 게인을 산출하는 단계; 및
상기 주목 화소 값에 상기 제 2 게인을 적용함으로써, 출력 영상 데이터를 생성하는 단계를 포함하는 것을 특징으로 하고,
상기 복수의 제1 게인을 산출하는 단계는
라인 엣지를 근거로 라인 게인을 산출하는 단계;
스텝 엣지를 근거로 스텝 게인을 산출하는 단계;
토글 엣지를 근거로 토글 게인을 산출하는 단계; 및
텍스쳐 엣지를 근거로 텍스쳐 게인을 산출하는 단계를 포함하는 영상 처리 방법.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JPJP-P-2014-246423 | 2014-12-05 | ||
JP2014246423A JP2016111489A (ja) | 2014-12-05 | 2014-12-05 | 画像処理装置、画像処理方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20160069453A KR20160069453A (ko) | 2016-06-16 |
KR102404557B1 true KR102404557B1 (ko) | 2022-06-03 |
Family
ID=56095457
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020150092226A KR102404557B1 (ko) | 2014-12-05 | 2015-06-29 | 영상 처리 장치 및 영상 처리 방법 |
Country Status (3)
Country | Link |
---|---|
US (1) | US9614999B2 (ko) |
JP (1) | JP2016111489A (ko) |
KR (1) | KR102404557B1 (ko) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6504500B2 (ja) * | 2015-06-18 | 2019-04-24 | パナソニックIpマネジメント株式会社 | ビデオ画像強調方法 |
CN108550158B (zh) * | 2018-04-16 | 2021-12-17 | Tcl华星光电技术有限公司 | 图像边缘处理方法、电子装置及计算机可读存储介质 |
CN109035158B (zh) * | 2018-06-25 | 2021-03-26 | 东软集团股份有限公司 | 图像模糊处理方法、装置、存储介质及电子设备 |
CN112819872B (zh) * | 2019-11-15 | 2024-05-24 | 瑞昱半导体股份有限公司 | 基于感测器特性的影像处理方法 |
KR20220010297A (ko) * | 2020-07-17 | 2022-01-25 | 에스케이하이닉스 주식회사 | 엣지 기반 샤프니스 세기 제어 회로, 이미지 센싱 장치 및 그 동작방법 |
CN117575974B (zh) * | 2024-01-15 | 2024-04-09 | 浙江芯劢微电子股份有限公司 | 一种图像画质增强方法、***、电子设备和存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002344746A (ja) * | 2001-05-22 | 2002-11-29 | Sanyo Electric Co Ltd | 輪郭補正回路および輪郭補正方法 |
US20050008251A1 (en) * | 2003-05-17 | 2005-01-13 | Stmicroelectronics Asia Pacific Pte Ltd. | Edge enhancement process and system |
JP2011250238A (ja) * | 2010-05-28 | 2011-12-08 | Canon Inc | 画像処理装置及び画像処理方法 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5142592A (en) * | 1990-12-17 | 1992-08-25 | Moler Keith E | Method and apparatus for detection of parallel edges in image processing |
US5697001A (en) * | 1996-04-24 | 1997-12-09 | Eastman Kodak Company | Camera for generating and recording object data with the recorded image |
JP2000115526A (ja) | 1998-10-06 | 2000-04-21 | Hitachi Ltd | 画像処理装置およびエッジ処理方法 |
JP3736219B2 (ja) | 1999-08-13 | 2006-01-18 | コニカミノルタビジネステクノロジーズ株式会社 | 画像処理装置及び方法 |
JP4556276B2 (ja) * | 2000-03-23 | 2010-10-06 | ソニー株式会社 | 画像処理回路及び画像処理方法 |
US7551792B2 (en) | 2003-11-07 | 2009-06-23 | Mitsubishi Electric Research Laboratories, Inc. | System and method for reducing ringing artifacts in images |
JP4730141B2 (ja) | 2006-03-06 | 2011-07-20 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びに、プログラム |
US8574537B2 (en) | 2007-04-24 | 2013-11-05 | Cabot Corporation | Low structure carbon black and method of making same |
US8233744B2 (en) | 2008-12-22 | 2012-07-31 | Panasonic Corporation | Image enlargement apparatus, method, integrated circuit, and program |
JP5407462B2 (ja) | 2009-03-19 | 2014-02-05 | 富士通株式会社 | 画像出力装置、輪郭強調装置及び輪郭強調方法 |
EP2760209B1 (en) | 2011-09-21 | 2017-07-12 | FUJIFILM Corporation | Image processing device, method, program and recording medium, stereoscopic image capture device, portable electronic apparatus, printer, and stereoscopic image player device |
JP2015114729A (ja) | 2013-12-09 | 2015-06-22 | 三星ディスプレイ株式會社Samsung Display Co.,Ltd. | 画像処理装置、表示装置、画像処理方法およびプログラム |
-
2014
- 2014-12-05 JP JP2014246423A patent/JP2016111489A/ja active Pending
-
2015
- 2015-06-29 KR KR1020150092226A patent/KR102404557B1/ko active IP Right Grant
- 2015-11-10 US US14/937,316 patent/US9614999B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002344746A (ja) * | 2001-05-22 | 2002-11-29 | Sanyo Electric Co Ltd | 輪郭補正回路および輪郭補正方法 |
US20050008251A1 (en) * | 2003-05-17 | 2005-01-13 | Stmicroelectronics Asia Pacific Pte Ltd. | Edge enhancement process and system |
JP2011250238A (ja) * | 2010-05-28 | 2011-12-08 | Canon Inc | 画像処理装置及び画像処理方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2016111489A (ja) | 2016-06-20 |
US20160165096A1 (en) | 2016-06-09 |
KR20160069453A (ko) | 2016-06-16 |
US9614999B2 (en) | 2017-04-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102404557B1 (ko) | 영상 처리 장치 및 영상 처리 방법 | |
JP6052902B2 (ja) | ディジタル画像中のハイライト領域および飽和領域を処理するための方法 | |
KR102146560B1 (ko) | 영상 보정 방법 및 장치 | |
KR100901353B1 (ko) | 영상 처리 장치 및 그 방법 | |
US7853095B2 (en) | Apparatus, method, recording medium and program for processing signal | |
US20150071530A1 (en) | Image processing apparatus and method, and program | |
US8131084B2 (en) | Apparatus for improving sharpness of image | |
TWI538506B (zh) | 影像處理裝置、資訊處理方法及電腦可讀取儲存媒體 | |
US8005313B2 (en) | Edge enhancing device and method | |
JP2010226260A (ja) | 画像出力装置、輪郭強調装置及び輪郭強調方法 | |
US9135689B2 (en) | Apparatus and method for performing detail enhancement | |
JP6548907B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2009025862A (ja) | 画像処理装置、画像処理方法、画像処理プログラム及び画像表示装置 | |
JP5614550B2 (ja) | 画像処理方法、画像処理装置及びプログラム | |
JPWO2014102876A1 (ja) | 画像処理装置、および、画像処理方法 | |
US9524538B2 (en) | Image processing apparatus | |
KR101101434B1 (ko) | 이미지 선명도 향상 장치 | |
EP3826301B1 (en) | Image processing apparatus, image processing method, and computer program | |
JP4104475B2 (ja) | 輪郭補正装置 | |
KR101582800B1 (ko) | 적응적으로 컬러 영상 내의 에지를 검출하는 방법, 장치 및 컴퓨터 판독 가능한 기록 매체 | |
JP2010277607A (ja) | 画像処理装置及び画像処理方法 | |
JP6126054B2 (ja) | 画像信号処理方法及び画像信号処理装置 | |
De Jonge | Adaptive Unsharp Masking for Image Enhancement | |
JP2006033045A (ja) | 画像エッジ補正装置及び画像エッジ補正方法 | |
KR20160103212A (ko) | 레티넥스 기법을 이용한 고속의 영상처리장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right |