KR101177634B1

KR101177634B1 - 커널 퓨전을 사용하는 디지털 신호 패턴 검출 및 분류

Info

Publication number: KR101177634B1
Application number: KR1020107019288A
Authority: KR
Inventors: 바박 포루탄포우어
Original assignee: 콸콤 인코포레이티드
Priority date: 2008-01-30
Filing date: 2009-01-29
Publication date: 2012-08-27
Also published as: CN101903893B; WO2009097423A1; JP5254361B2; CN101903893A; EP2085910A1; US7995845B2; TW200943232A; JP2011511984A; US20090190837A1; KR20100107516A

Abstract

본 명세서는 신호의 형태를 결정하기 위한 기술들을 설명한다. 특히, 커널은 커널의 단일 패스에서 적어도 신호의 부분의 첫번째 제 1차 도함수 및 신호의 부분의 두번째 제 1차 도함수를 계산하기 위하여 신호의 부분에 적용된다. 신호의 부분의 형태는 첫번째 및 두번째 제 1차 도함수들에 기초하여 결정된다. 일 실시예에서, 신호의 부분의 형태는 첫번째 제 1차 도함수 및 두번째 제 1차 도함수의 비율에 기초하여 결정된다. 이러한 기술들은 이미지 신호들 내에 에지들을 검출하는데 특히 효율적일 수 있다. 그러나, 기술들은 시간, 공간, 또는 다른 디멘션에 따라 변화하는 변수를 나타내는 임의의 신호 내에 현저한 변화들의 형태를 검출하는데 사용될 수 있다.

Description

커널 퓨전을 사용하는 디지털 신호 패턴 검출 및 분류{DIGITAL SIGNAL PATTERN DETECTION AND CLASSIFICATION USING KERNEL FUSION}

본 명세서는 신호 프로세싱과 관련되며, 특히, 신호의 형태들을 검출하는 것과 관련된다.

신호에 의해 나타나는 변수들이 현저한 변화를 보이는 신호의 위치들의 검출은 신호들의 분석 및 프로세싱에 있어 유용할 수 있다. 특히, 변수에서 현저한 변화를 보이는 위치들의 검출은 신호의 형태, 신호 내에 콘텐츠 등의 분석에 유용할 수 있다. 현저한 변화들의 검출은 이미지 프로세싱, 오디오 프로세싱, 비디오 프로세싱, 또는 임의의 다른 정보 프로세싱 애플리케이션들을 포함하는 다수의 분야들에서 유용할 수 있다.

이미지 프로세싱의 분야에서, 예를 들어, 강도(intensity)의 현저한 변화들이 발생하는 이미지 신호의 위치들의 검출은 이미지 내의 에지들의 검출에 있어 유용할 수 있다. 이러한 검출된 에지들은 통상적으로 깊이의 불연속성, 표면 배향의 불연속성, 물질 속성의 변화들, 장면 조도(illumination)의 변화 등과 같은 해당 장면의 구조적 특성들을 나타낸다.

이미지 신호는 해당 장면 내에 특정 위치들에서 강도 및/또는 색상을 나타내는 다수의 픽셀 값들을 포함한다. 이미지 신호 내에 에지들을 검출하기 위하여, 이미지 프로세서는 커널(kernel) 필터를 이미지에 적용한다. 커널 필터는 곱셈 인자들 또는 가중치들의 매트릭스로서 보여질 수 있다. 매트릭스는 통상적으로 그것이 적용되는 실제 이미지보다 매우 작다. 예를 들어, 에지 검출을 위해 사용되는 통상적인 커널 매트릭스는 3개 픽셀들 곱하기 3개 픽셀들일 수 있다(즉, 3×3 커널).

이미지 프로세서가 에지들을 검출하기 위하여, 이미지 프로세서는 이미지에 걸쳐 커널을 슬라이딩함으로써 차례로 이미지의 각각의 픽셀들에 커널 매트릭스를 적용할 수 있다. 이미지 프로세서는 차례로 커널을 이미지의 각각의 픽셀상의 중앙에 놓고, 가중된 픽셀 값들을 생성하기 위하여 커널 매트릭스의 대응하는 가중치들을 중앙 픽셀 근처에 3×3 영역의 픽셀 값들에 곱한다.

이미지 프로세서는 이미지 신호의 3×3 부분의 1차 도함수(first order derivative)를 획득하기 위하여 가중된 픽셀 값들을 합산한다. 이미지 프로세서는 임계 값에 이미지 신호의 3×3 부분의 1차 도함수를 비교하고, 1차 도함수가 임계 값을 초과하거나 동일할 때 에지를 검출한다. 상이한 커널들이 상이한 타입의 필터링을 수행하기 위하여 적용될 수 있다.

본 명세서는 신호의 형태를 결정하기 위한 기술에 관한 것이다. 상기 기술들은 신호에 의하여 나타나는 변수가 현저한 변화를 보이는 신호의 위치들을 검출하고 변수가 검출된 위치들에 걸쳐 변화하는 방법을 결정하는데 사용될 수 있다. 이러한 방식으로, 기술들은 디지털 신호 패턴들의 검출 및 검출된 패턴들의 분류로서 보여질 수 있다. 이미지 프로세싱의 맥락에서, 예를 들어, 기술들은 이미지 신호 내에 에지들, 즉, 강도의 현저한 변화들을 보이는 디지털 이미지 신호의 위치들을 검출하는데 사용될 수 있다. 이러한 맥락에서, 디지털 신호 패턴들은 이미지 신호 내에 에지들이다.

기술들은 에지들을 검출하고, 동시에 검출된 에지들의 형태를 결정할 수 있다. 예를 들어, 기술들은 검출된 에지들이 뾰족(sharp)한지 또는 평활(smooth)한지 여부를 결정하는데 사용될 수 있다. 때때로 하드(hard) 에지로서 지칭되는 뾰족한 에지는 단일 픽셀상에서 발생할 수 있다. 때때로 소프트(soft) 에지로서 지칭되는 평활한 에지는 다수의 픽셀들상에서 발생할 수 있다. 에지들을 검출하고 에지 형태를, 즉, 뾰족 또는 평활로서 분간하기 위하여, 상기 기술들은 단일 패스(pass)의 위치들에서 다수의 1차 도함수들을 계산하는 결합된(fused) 커널을 이용할 수 있다.

검출된 에지들의 형태를 결정하는 것은 뾰족한 에지들보다 더욱 적극적으로 평활한 에지들을 샤프닝(sharpening)함으로써 더 뾰족한 이미지를 생성하기 위하여 이미지 신호를 프로세싱하는 이미지 프로세서의 능력을 향상시킬 수 있다. 본 명세서에 개시되는 기술들은 시간, 공간, 또는 다른 디멘션(dimension)에 따라 변화하는 변수를 나타내는 신호 내에 현저한 변화들 및 현저한 변화들의 형태들을 검출하는데 사용될 수 있다. 예를 들어, 상기 기술들은 오디오 신호들, 비디오 신호들, 또는 다른 타입의 신호들 내에 현저한 변화들을 검출하는데 사용될 수 있다.

일 양상에서, 방법은 커널의 단일 패스에서 적어도 신호의 부분의 첫번째 제 1차 도함수 및 상기 이미지 신호의 부분의 두번째 제 1차 도함수를 계산하기 위하여 신호의 부분에 커널을 적용하는 단계, 및 첫번째 제 1차 도함수 및 두번째 제 1차 도함수에 기초하여 신호의 부분의 형태를 결정하는 단계를 포함한다.

다른 양상에서, 디바이스는 커널의 단일 패스에서 적어도 신호의 부분의 첫번째 제 1차 도함수 및 상기 이미지 신호의 부분의 두번째 제 1차 도함수를 계산하고 상기 첫번째 제 1차 도함수 및 상기 두번째 제 1차 도함수에 기초하여 상기 이미지 신호의 부분의 형태를 결정하기 위하여 상기 이미지 신호의 부분에 상기 커널을 적용하기 위한 에지 검출 모듈을 포함하는 프로세서를 포함한다.

다른 양상에서, 컴퓨터 판독가능 매체는, 프로세서로 하여금, 커널의 단일 패스에서 적어도 신호의 부분의 첫번째 제 1차 도함수 및 상기 이미지 신호의 부분의 두번째 제 1차 도함수를 계산하기 위하여 신호의 부분에 커널을 적용하고, 첫번째 제 1차 도함수 및 두번째 제 1차 도함수에 기초하여 신호의 부분의 형태를 결정하도록 하기 위한 명령들을 포함한다.

다른 양상에서, 디바이스는 커널의 단일 패스에서 적어도 신호의 부분의 첫번째 제 1차 도함수 및 상기 이미지 신호의 부분의 두번째 제 1차 도함수를 계산하기 위하여 신호의 부분에 커널을 적용하기 위한 수단, 및 첫번째 제 1차 도함수 및 두번째 제 1차 도함수에 기초하여 신호의 부분의 형태를 결정하기 위한 수단을 포함한다.

본 명세서에 개시되는 기술들은 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 임의의 조합으로 구현될 수 있다. 소프트웨어로 구현된다면, 소프트웨어는 마이크로프로세서, 애플리케이션 특정 집적 회로(ASIC), 필드 프로그래밍가능 게이트 어레이(FPGA), 또는 디지털 신호 프로세서(DSP), 또는 다른 동등한 집적 또는 이산 로직 회로와 같은 하나 이상의 프로세서들로 지칭될 수 있는 프로세서에 의해 실행될 수 있다. 기술들을 실행하는 소프트웨어는 처음에 컴퓨터-판독가능 매체에 저장되고, 프로세서에 의하여 로딩되어 실행될 수 있다. 따라서, 본 명세서는 또한 프로세서로 하여금 본 명세서에 개시되는 바와 같은 다양한 기술들 중 임의의 것을 수행하도록 하기 위한 명령들을 포함하는 컴퓨터-판독가능 매체를 고려한다. 몇몇 경우에, 컴퓨터-판독가능 매체는 제작자들에게 판매되고/판매되거나 디바이스에서 사용될 수 있는 컴퓨터 프로그램 물건의 부분을 형성할 수 있다. 컴퓨터 프로그램 물건은 컴퓨터-판독가능 매체를 포함할 수 있으며, 몇몇 경우에, 패키징 물질들을 더 포함할 수 있다.

하나 이상의 실시예들의 세부사항들은 첨부 도면들 및 하기의 설명에서 언급된다. 다른 특징들, 목적들 및 이점들은 설명과 도면들, 및 청구범위로부터 명백해질 것이다.

도 1은 본 명세서에 개시되는 기술들을 구현하는 예시적인 이미지 캡쳐 디바이스의 블록도이다.
도 2a 및 2b는 이미지 신호 내에 하드 에지 및 소프트 에지에 대한 샤프닝 마스크(sharpening mask)의 적용을 예증한다.
도 3a 및 3b는 이미지 신호의 부분에 대응하는 소프트 에지 및 픽셀 값들을 포함하는 이미지 신호의 예시적인 부분을 예증한다.
도 4a 및 4b는 이미지 신호의 부분에 대응하는 하드 에지 및 픽셀 값들을 포함하는 이미지 신호의 예시적인 부분을 예증한다.
도 5는 본 명세서에 개시되는 기술들을 사용하여 신호의 형태를 결정하는 프로세서의 예시적인 동작을 예증하는 흐름도이다.
도 6은 본 명세서에 개시되는 에지 검출 기술들을 구현하는 이미지 캡쳐 디바이스를 포함하는 예시적인 무선 통신 디바이스를 예증하는 블록도이다.

도 1은 본 명세서에 개시되는 기술들을 구현하는 예시적인 이미지 캡쳐 디바이스(2)의 블록도이다. 이미지 캡쳐 디바이스(2)는 디지털 스틸 이미지 카메라, 디지털 비디오 카메라, 또는 이들의 조합물과 같은 디지털 카메라일 수 있다. 또한, 이미지 캡쳐 디바이스(2)는 독립형 카메라와 같은 독립형 디바이스이거나, 또는 무선 통신 디바이스와 같은 다른 디바이스에 통합될 수 있다. 일 실시예로서, 이미지 캡쳐 디바이스(2)는 소위 "카메라 폰" 또는 "비디오 폰"을 형성하기 위하여 이동 무선 전화에 통합될 수 있다.

도 1에 도시되는 바와 같이, 이미지 캡쳐 디바이스(2)는 이미지 센서(4), 이미지 프로세서(6) 및 스토리지 모듈(8)을 포함한다. 이미지 센서(4)는 스틸 이미지들을 캡쳐하거나, 가능하다면 완전한 운동 비디오 시퀀스들을 캡쳐하고, 이러한 경우에 에지 검출 기술들은 비디오 시퀀스의 하나 이상의 이미지 프레임들상에 수행 될 수 있다. 이미지 센서(4)는 개별적인 이미지 센서 엘리먼트들의 2- 어레이를 포함할 수 있는데, 예를 들어, 열들 또는 행들로 정렬될 수 있다. 몇몇 양상들에서, 이미지 센서(4)의 각각의 이미지 센서 구성요소들은 단일 픽셀과 연관될 수 있다. 다시 말해, 이미지 센서 구성요소들과 픽셀들 사이에 일-대-일 대응이 존재할 수 있다. 대안적으로, 각각의 픽셀과 연관되는 둘 이상의 이미지 센서 구성요소 또는 각각의 이미지 센서 구성요소와 연관되는 둘 이상의 픽셀이 존재할 수 있다. 이미지 센서(4)는 예를 들어, 상보적 금속 산화물 반도체(CMOS) 센서들, 전하 결합 디바이스(CCD) 센서들 등과 같은 고체 상태 센서들의 어레이를 포함할 수 있다. 또한, 이미지 센서(4)는 이미지 획득 동안에 그것이 이미지 정보를 저장하는 하나 이상의 이미지 버퍼들을 유지시킬 수 있다.

이미지를 읽어들이기 위하여, 이미지 센서(4)는 이미지를 읽어들이기 위하여 이미지 장면(scene)에 이미지 센서 구성요소들을 노출한다. 이미지 센서(4) 내에 이미지 센서 구성요소들은 예를 들어, 특정 픽셀 위치에서 장면의 광의 강도를 나타내는 강도 값들을 읽어들일 수 있다. 특히, 이미지 센서 구성요소들은 해당 장면 내에 물체들에 반사되는 광의 강도를 나타내는 강도 값들을 읽어들인다. 몇몇 경우들에 있어, 이미지 센서(4)의 각각의 이미지 센서 구성요소들은 상기 엘리먼트를 가리는 색상 필터들로 인하여 단지 하나의 색상, 또는 색상 밴드에 민감할 수 있다. 예를 들어, 이미지 센서(4)는 적색, 녹색, 및 청색(RGB) 필터들의 어레이를 포함할 수 있다. 그러나 이미지 센서(4)는 시안, 마젠타, 노란, 블랙(CMYK) 색상 필터들과 같은 다른 색상 필터들을 이용할 수 있다. 따라서, 이미지 센서(4)의 이미지 센서 구성요소들 각각은 단 하나의 색상에 대한 강도 값들을 읽어들일 수 있다. 따라서, 이미지 정보는 이미지 센서(4)의 센서 구성요소들에 의하여 캡처 되는 픽셀 강도 값들을 포함할 수 있다.

이미지 센서 구성요소들에 의하여 캡처 되는 픽셀 강도 값들은 물체들에 반사퇴는 광의 강도에 기초하여 이미지 전반에 걸쳐 변화한다. 작은 픽셀 강도 값들로부터 큰 픽셀 강도 값들로의, 또는 큰 픽셀 강도 값들로부터 작은 픽셀 강도 값들로의 현격한 천이들은 통상적으로 이미지 내의 에지와 대응한다. 예를 들어, 강도 값들에서의 현저한 변화들은 이미지 내에 물체의 에지를 나타낼 수 있다. 몇몇 예시들에서, 픽셀 강도 값들에서의 천이는 하나 또는 두개의 픽셀들에 걸쳐 발생하는 뾰족한 천이일 수 있다. 예를 들어, 2개의 이웃 픽셀들은 현저하게 상이한 강도 값들을 가질 수 있다. 이러한 타입의 뾰족한 천이들은 "뾰족한 에지들" 또는 "하드 에지들"로서 지칭될 수 있다. 본 명세서에서 사용될 때, 뾰족한 에지들 및 하드 에지들은 상호교환가능하게 사용될 수 있다. 다른 예시들에서, 픽셀 강도 값들에서의 천이는 다수의 픽셀들에 걸쳐 점진적으로 발생할 수 있다. 예를 들어, 천이는 5개 이상의 픽셀 값들에 걸쳐 점진적으로 발생할 수 있다. 이러한 타입의 평활한한 점진적 천이들은 "평활한 에지들" 또는 "소프트 에지들"로서 지칭될 수 있다. 본 명세서에서 사용될 때, 평활한 에지들 및 소프트 에지들이라는 용어들은 상호교환가능하게 사용될 수 있다. 소프트 에지들은 사용자에게 흐릿한 에지로서 보여질 수 있는 반면, 하드 에지들은 더 뾰족하게 보여질 수 있다.

이미지 프로세서(6)는 예를 들어, 이미지 센서(4)의 버퍼로부터 이미지(또는 프레임)에 대한 디지털 이미지 신호를 획득하고, 본 명세서에 개시되는 형태 검출 기술들을 수행한다. 형태 검출 기술들은 에지들의 검출에 관하여 설명될 것이고, 동시에 검출된 에지들의 형태, 즉, 에지들이 하드인지 소프트인지 여부를 결정할 것이다. 이미지 프로세서(6)는 에지 검출 모듈(10) 및 커널 선택 모듈(12)을 포함한다. 에지 검출 모듈(10)은 디지털 이미지 신호들의 경우에 이미지 내에 에지들을 식별하기 위하여 이미지들의 픽셀 강도 값들을 분석할 수 있다. 특히, 에지 검출 모듈(10)은 이미지 신호 내에 에지들을 검출하기 위하여 커널을 적용한다. 하기에서 더욱 상세히 설명되는 바와 같이, 커널은 이미지의 부분들, 예를 들어, 이미지의 5×5 부분에 적용될 승수들 또는 가중치들의 매트릭스로서 보여질 수 있다. 몇몇 예시들에서, 에지 검출 모듈(10)은 이미지 내에 하드 에지들 및 소프트 에지들 모두를 검출하기 위해 커널을 적용할 수 있다. 다른 예시들에서, 에지 검출 모듈(10)은 소프트 에지들 또는 하드 에지들만을 검출할 수 있다. 이러한 후자의 경우에, 에지 검출 모듈(10)은 선택적 에지 검출, 즉, 특정 형태의 에지들만의 검출을 수행한다.

에지 검출 모듈(10)은 커널 선택 모듈(12)로부터 커널을 수신한다. 몇몇 예시들에 있어서, 커널 선택 모듈(12)은 다수의 커널들로부터 이미지 신호에 적용하기 위하여 커널을 선택할 수 있다. 예를 들어, 이미지 캡쳐 디바이스(2)는 수직 방향으로 에지들을 검출하기 위하여 사용되는 제 1 커널 및 수평 방향으로 에지들을 검출하는데 사용되는 제 2 커널을 스토리지 모듈(8)에 저장할 수 있으며, 커널 선택 모듈(12)은 에지 검출 모듈(10)이 수직 또는 수평 방향으로 에지들을 검출하는지 여부에 기초하여 수평 에지 검출 커널 또는 수직 에지 검출 커널 중 하나를 선택할 수 있다. 이러한 방식으로, 커널 선택 모듈(12)은 에지 검출에 사용될 커널을 자동적으로 선택할 수 있다.

다른 실시예로서, 이미지 캡쳐 디바이스(2)는 상이한 해상도의 이미지들에서 에지들을 검출하는데 사용하기 위한 다수의 커널들을 저장할 수 있다. 커널들은 예를 들어, 이미지 센서 출력의 해상도가 증가함에 따라 디멘션이증가할 수 있다. 다시 말해, 출력되는 이미지 센서의 해상도가 높아질수록, 커널의 디멘션은더 커진다. 예를 들어, 커널 선택 모듈(12)은 320×240의 해상도를 갖는 이미지 센서 출력에 대해 5×5의 디멘션을갖는 커널을 선택하고, 2560×1920의 해상도를 갖는 이미지 센서 출력에 대해 7×7 크기의 디멘션을갖는 커널을 선택할 수 있다. 이러한 방식으로, 커널 선택 모듈(12)은 이미지 센서 출력의 해상도에 기초하여 에지 검출에 사용될 커널을 선택할 수 있다. 몇몇 예시들에서, 이미지 캡쳐 디바이스(2)는 스토리지 모듈(8) 내에 사전-정의된 커널들을 저장하지 않을 수 있으나, 대신에 커널 선택 모듈(12)이 작동 중에(on the fly) 예를 들어, 수학적 함수에 따라 커널들을 생성할 수 있다.

커널 선택 모듈(12)에 의한 커널의 선택 이후에, 에지 검출 모듈(10)은 이미지에 선택된 커널을 적용한다. 에지 검출 모듈(10)은 이미지와 커널 사이에 콘볼루션을 수행할 수 있다. 이미지 콘볼루션을 수행하기 위하여, 에지 검출 모듈(10)은 커널을 차례로 이미지의 각각의 픽셀상의 중심에 놓고, 픽셀 값으로 곱셈된 커널의 합산를 계산한다. 이러한 합산은 그 후 픽셀에 할당된다. 본 명세서에 개시되는 기술들에 따라, 커널의 애플리케이션은 단일 패스에 신호의 부분의 적어도 2개의 1차 도함수를 나타내는 합산를 생성한다. 다시 말해, 신호의 부분의 적어도 2개의 1차 도함수들은 단일 커널의 애플리케이션에 의하여 생성된다. 하기에서 보다 상세히 설명되는 바와 같이, 생성된 합산들의 상이한 자릿수(order of magnitude)의 값들은 적어도 2개의 1차 도함수들을 나타낸다. 80,160의 생성된 합산에 대하여, 예를 들어, 제 1 자릿수의 값, 즉, 80,000은 첫번째 제 1차 도함수를 나타낼 수 있으며, 제 2 자릿수의 값, 즉, 160은 두번째 제 1차 도함수를 나타낼 수 있다. 이러한 방식으로, 에지 검출 모듈(10)은 단일 커널의 단일 패스에서 신호의 부분에 대한 두 개 이상의 1차 도함수들을 계산한다. 본 명세서의 기술들을 사용하여 적용되는 단일 커널은 그것이 둘 이상의 커널의 애플리케이션에 요구되는 결과들을 전형적으로 제공하기 때문에 퓨전된(fused) 커널로서 보여질 수 있다.

단일 패스의 결합된 커널을 사용하는 신호의 부분의 둘 이상의 1차 도함수들의 계산은 둘 이상의 패스들에서 둘 이상의 커널들을 적용할 필요성을 제거함으로써 에지 검출을 위해 사용되는 프로세싱 리소스들의 양을 감소시킬 수 있다. 또한, 기술들은 그것이 이미지 내에 에지들을 검출하는데 드는 시간량을 감소시킬 수 있다. 본 명세서에 개시되는 기술들과 달리, 종래의 이미지 프로세서들은 단지 패스당 하나의 1차 도함수를 계산하고, 따라서, 신호의 부분에 대한 적어도 2개의 1차 도함수들을 검출하기 위하여 둘 이상의 커널의 둘 이상의 패스를 요구할 것이다. 두 개의 1차 도함수들을 계산하기 위하여, 종래의 이미지 프로세서들은 첫번째 제 1차 도함수를 획득하기 위하여 이미지의 부분에 제 1 커널을 적용하고, 두번째 제 1차 도함수를 획득하기 위하여 이미지의 부분에 제 2 커널을 적용한다.

에지 검출 모듈(10)은 픽셀이 에지에 위치되는지 여부, 그리고 에지에 위치된다면, 에지의 형태, 예컨대 뾰족/하드 또는 평활/소프트를 결정하기 위하여 적어도 2개의 1차 도함수들을 사용한다. 에지 검출 모듈(10)은 1차 도함수들을 정규화하고, 픽셀이 신호 내의 에지에 위치되는지 여부를 결정하기 위하여 하나 이상의 임계치들 또는 임계치 범위들에 1차 도함수들 중 적어도 하나를 비교할 수 있다. 예를 들어, 에지 검출 모듈(10)은 변화가 에지이기에 충분히 큰 것을 보장하기 위하여 임계 값에 1차 도함수들 중 적어도 하나를 비교할 수 있다. 에지 검출 모듈(10)이 픽셀이 에지에 위치되는 것을 결정한다면, 에지 검출 모듈(10)은 픽셀이 위치되는 에지의 형태를 결정할 수 있다. 에지 검출 모듈(10)은 예를 들어, 1차 도함수들의 비율에 기초하여 에지의 형태를 결정할 수 있다. 이러한 방식으로, 에지 검출 모듈(10)은 신호의 형태를 결정하기 위하여 신호를 분석한다. 임계 값들 및 범위들은 에지 검출 모듈(10)이 하드 에지들, 소프트 에지들, 또는 둘 모두를 검출하도록 조정될 수 있다.

이미지 프로세서(6)는 검출된 에지들을 사용하여 캡쳐된 이미지를 프로세싱할 수 있다. 예를 들어, 이미지 프로세서(6)는 검출된 에지들에 기초하여 이미지를 샤프닝 할 수 있다. 따라서 이미지 내에 검출된 에지상에 수행되는 샤프닝의양은 에지가 하드 에지로서 또는 소프트 에지로서 검출되는지 여부의 함수일 수 있다. 이미지 프로세서(6)는 하드 에지들을 샤프닝하는데사용되는 것보다 적극적인 샤프닝 기술을 사용하여 소프트 에지들을 샤프닝할수 있다. 소프트 에지들을 샤프닝하기 위하여 사용되는 동일한 샤프닝 기술들을 사용하여 하드 에지들을 샤프닝하는것은 하드 에지들에서 클립핑 아티팩트들(clippingartifact)을 초래할 수 있으며, 이는 노이즈를 생성하고 품질 이미지를 감소시킨다. 따라서, 이미지 프로세서(6)는 에지가 소프트 에지인 것으로 검출될 때 더욱 적극적으로 에지의 2개 측면들 사이에서의 콘트라스트(contrast)를 증가시키는 샤프닝 마스크(sharpening mask)를 사용하고, 에지가 하드 에지인 것으로 검출될 때 덜 적극적으로 에지의 2개 측면들 사이에서의 콘트라스트를 증가시키는 샤프닝 마스크를 사용할 수 있다. 이러한 방식으로, 이미지 프로세서(6)는 이미지 프로세서(6)에 의하여 수행되는 샤프닝 함수에 대하여 발견적 방법(heuristic)으로서 계산된 1차 도함수들을 사용할 수 있는데, 특히, 2개의 1차 도함수들의 비율을 사용할 수 있다. 이미지 프로세서(6)는 이미지 내에 검출된 에지들에 기초하여 이미지상에 다른 이미지 프로세싱을 수행할 수 있다. 다시 말해, 계산된 1차 도함수들은 이미지 프로세서(6)에 의하여 수행되는 다른 이미지 프로세싱 함수들에 대하여 발견적 방법으로서 기능할 수 있다.

이미지 프로세서(6)는 하나 이상의 마이크로프로세서들, 디지털 신호 프로세서(DSP)들, 애플리케이션 특정 집적 회로(ASIC)들, 필드 프로그래밍가능 게이트 어레이(FPGA)들, 또는 임의의 다른 동등한 이산 또는 지적 로직 회로, 또는 이들의 조합물과 같은 하나 이상의 집적 회로 디바이스들에 의하여 실현될 수 있다. 몇몇 예시들에서, 이미지 프로세서(6)는 MPEEP(Motion Pictures expert group)-2, MPEG-4, ITU(International Telecommunication Union) H.263, ITU H.264, JPEG(Joint Photographic Experts Group), GIF(Graphics Interchange Format), TIFF(Tagged Image File Format) 등과 같은 특정 인코딩 기술 또는 포맷에 따라 이미지 정보를 인코딩하는 인코더-디코더(CODEC)의 부분을 형성할 수 있다. 이미지 프로세서(6)는 이미지 크롭핑(cropping), 압축, 개선(enhancement) 등과 같은 이미지 정보상의 부가적 프로세싱을 수행할 수 있다.

이미지 프로세서(6)는 스토리지 모듈(8)에 캡쳐된 이미지를 저장할 수 있다. 대안적으로, 이미지 프로세서(6)는 이미지상에 부가적 프로세싱을 수행하고, 전체 이미지를 프로세싱된 포맷 또는 인코딩된 포맷으로 스토리지 모듈(8)에 저장할 수 있다. 이미지 정보에 오디오 정보가 동반된다면, 오디오 정보는 또한 이미지 정보를 포함하는 하나 이상의 프레임들을 포함하는 비디오 정보와 함께 또는 독립적으로 스토리지 모듈(8)에 저장될 수 있다. 스토리지 모듈(8)은 판독 전용 메모리(ROM), 전기적 소거가능 프로그래밍가능 판독 전용 메모리(EEPROM), 또는 플래시 메모리와 같은, 또는 자기 데이터 스토리지 디바이스 또는 광학 데이터 스토리지 디바이스와 같은 임의의 휘발성 또는 비휘발성 메모리 또는 스토리지 디바이스를 포함할 수 있다.

다수의 다른 엘리먼트들은 이미지 캡쳐 디바이스(2)에 또한 포함될 수 있으나, 설명의 간략성 및 용이함을 위하여 도 1에 특별히 예증되지 않는다. 예를 들어, 이미지 캡쳐 디바이스(2)는 렌즈, 셔터, 플래시 디바이스, 및 뷰파인더와 같은 이미지를 캡쳐하기 위한 부가적인 컴포넌트들을 포함할 수 있다. 도 1에 예증되는 아키텍쳐는 단지 예시적인 것으로서, 본 명세서에 개시되는 기술들은 다양한 다른 아키텍쳐들로 구현될 수 있다. 또한, 도 1에 예증되는 피쳐들은 하드웨어 및/또는 소프트웨어 컴포넌트들의 임의의 적절한 조합물에 의하여 실현될 수 있다.

기술들은 본 명세서에서 이미지 신호들 내에 에지들을 검출하는 이미지 캡쳐 디바이스의 맥락에서 설명되나, 상기 기술들은 시간, 공간, 또는 다른 디멘션에 따라 변화하는 변수를 나타내는 임의의 신호 내에 현저한 변화들의 형태를 검출하기 위하여 다른 타입의 디바이스들에 의하여 사용될 수 있다. 예를 들어, 기술들은 오디오 신호들, 비디오 신호들, 또는 임의의 다른 타입의 신호들 내에 현저한 변화들의 형태를 검출하는데 사용될 수 있다. 그러나, 기술들은 임의의 신호의 디지털 신호 패턴들을 검출하고 검출된 디지털 신호를 분류하는데 적용될 수 있다.

도 2a 및 2b는 이미지 신호 내에 하드 에지 및 소프트 에지에 대한 샤프닝 마스크의 적용을 예증한다. 도 2a는 소프트 에지를 포함하는 이미지 신호의 부분에 대한 샤프닝 마스크의 적용을 예증한다. 이미지 신호(14)는 샤프닝 이전에 원본 이미지 신호의 부분을 나타낸다. 상기 개시되는 바와 같이, 이미지 신호(14) 내에 소프트 에지는 픽셀 강도 천이가 발생하는 평활한 점진적 방식으로 인하여 시청자에게 흐릿하게 보일 수 있다. 소프트 에지를 샤프닝하기 위하여, 이미지 프로세서(6)는 이미지 신호(14) 내에 에지의 어두운 측면의 픽셀 강도 값들을 감소시키고 이미지 신호(14) 내에 에지의 밝은 측면의 픽셀 강도 값들을 증가시키는 가중된 값들을 포함하는 샤프닝 마스크를 적용할 수 있다. 샤프닝 마스크의 가중된 값들은 에지의 어두운 측면과 에지의 밝은 측면 사이의 콘트라스트가 시청자에게 에지가 더 뾰족해보이게 하는데 충분한 정도로 크다. 이미지 신호(16)는 이미지 신호(14)에 샤프닝 마스크를 적용한 이후에 결과적인 이미지 신호를 나타낸다. 도 2a에 예증되는 바와 같이, 이미지 신호(16)의 낮은 강도(어두운) 영역들은 원본 이미지 신호(14)에서보다 현저히 낮고, 이미지 신호(16)의 높은 강도(밝은) 영역들은 원본 이미지 신호(16)에서보다 현저히 높다.

도 2b는 하드 에지를 포함하는 이미지 신호의 부분에 대한 동일한 샤프닝 마스크의 적용을 예증한다. 이미지 신호(18)는 샤프닝 이전에 원본 이미지 신호의 부분을 나타낸다. 상기 개시되는 바와 같이, 이미지 신호(18) 내의 하드 에지들은 이미 시청자에게 뾰족하게 보여진다. 에지 검출 모듈이 하드 에지와 소프트 에지 사이에서 구별할 수 없다면, 그러나, 이미지 프로세서(6)는 소프트 에지들 뿐 아니라 하드 에지들에 샤프닝 마스크를 적용한다. 이미지 신호(19)는 이미지 신호(18)에 샤프닝 마스크를 적용한 이후에 결과적인 이미지 신호를 나타낸다. 도 2b에 예증되는 바와 같이, 소프트 에지들을 샤프닝하는데 사용되는 샤프닝 마스크의 이미지 신호(18)에 대한 적용은 이미지 신호의 낮은 강도 영역 및 높은 강도 영역에 클립핑 인공물들을 초래한다. 다시 말해, 이미지 신호(19)의 낮은 강도 영역들은 블랙에 고정되고, 이미지 신호(19)의 높은 강도 영역들은 화이트에 고정된다. 결과적인 이미지 신호는 예를 들어, 시청자에게 솔트 앤 페퍼(salt and pepper) 노이즈로서 보여질 수 있는 노이즈를 포함한다.

본 명세서에 개시되는 신호 형태 검출 기술들은 이미지 프로세서(6)가 캡쳐된 이미지 내에 에지들을 선택적으로 샤프닝하도록 허용한다. 예를 들어, 에지 검출 모듈(10)은 소프트 에지들만이 검출되고 샤프닝되도록 이미지 신호 내에 에지들을 선택적으로 검출할 수 있다. 다른 실시예로서, 에지 검출 모듈(10)은 검출된 에지들의 형태를 식별할 수 있으며, 이미지 프로세서(6)는 더 큰 가중치들을 갖는 샤프닝 필터를 사용하여 소프트 에지들을 샤프닝하고, 더 작은 가중치들을 갖는 샤프닝 필터를 사용하여 하드 에지들을 샤프닝할 수 있다. 예를 들어, 이미지 프로세서(6)는 검출된 에지들에 기초하여 이미지를 샤프닝할 수 있다. 이러한 방식으로, 이미지 프로세서(6)는 이미지 프로세서(6)에 의하여 수행되는 샤프닝 함수에 대한 발견적 방법으로서 검출된 에지들의 형태를 사용할 수 있다.

도 3a는 소프트 에지를 포함하는 이미지 신호의 예시적인 부분을 예증한다. 도 3b는 이미지 신호의 부분에 대응하는 5 픽셀 곱하기 5 픽셀(5×5) 영역의 픽셀 강도 값들을 예증한다. 특히, 도 3b에 도시되는 5×5 영역의 픽셀 강도 값들은 도 3a에 예증되는 이미지 신호의 부분에 대응한다. 도 3a 및 3b에 예증되는 이미지 신호는 5개 픽셀 폭에 걸쳐 상대적으로 평활한 점진적 방식으로 10의 픽셀 강도 값으로부터 50의 픽셀 강도 값으로 천이한다. 도 3b의 픽셀 강도 값들에 의하여 보여지는 바와 같이, 이미지 신호는 점진적 방식으로 10에서 50으로 점진적으로 증가한다. 도 3a에 예증되는 디지털 이미지 신호의 부분의 포인트들(20, 22 및 24)은 도 3b에 예증되는 픽셀 강도 값들의 열 1, 3 및 5에서 픽셀 강도 값들에 대응한다.

픽셀이 한 에지상에 있는, 특히 소프트 에지상에 있는 것을 결정하기 위하여 이미지의 예시적인 부분의 제 3 행 및 제 3 열의 픽셀에 대한 예시적인 커널의 적용이 예시를 위한 목적으로 설명될 것이다. 에지 검출 모듈(10)은 이미지 내에 다른 픽셀들에 유사한 방식으로 예시적인 커널을 적용할 수 있다. 몇몇 예시들에서, 에지 검출 모듈(10)은 유사한 방식으로 이미지 내에 모든 픽셀들로 커널을 적용한다. 다른 예시들에서, 에지 검출 모듈(10)은 이미지 내에 픽셀들의 서브세트에만, 예를 들어, 모든 다른 행 또는 열의 픽셀들에 커널을 적용할 수 있다. 다음 페이지상에 예증되는 예시적인 커널 (1)에 관하여 개시되었으나, 기술들은 상이한 디멘션의 커널들, 비-제로 초과 또는 미만의 값들을 갖는 커널들, 상이한 비-제로 값들을 갖는 커널들, 또는 이들의 조합물과 함께 이용될 수 있다.

(1)

상기 예증된 예시적인 5×5 커널은 적어도 하나의 행을 가지며, 상기 적어도 하나의 행은 제 1 자릿수의 적어도 하나의 음의 값을 포함하는 제 1 열, 제 2 자릿수의 적어도 하나의 음의 값을 포함하는 제 2 열, 및 제 1 자릿수의 제 1 컴포넌트 및 제 2 자릿수의 제 2 컴포넌트를 포함하는 적어도 하나의 양의 값을 포함하는 제 3 열을 갖는다. 상기 도시되는 예시적인 5×5 커널은 비-제로 값들을 포함하는 3개 행들을 포함한다. 커널의 제 2 행은 값들 -1, 0, -1000, 0 및 1001을 포함하고, 커널의 제 3 행은 값들 -2, 0, -2000, 0 및 2002을 포함하며, 커널의 제4 행은 값들 -1, 0, -1000, 0 및 1001을 포함한다. 따라서, 3개 행들 각각은 제 1 자릿수인 음의 값, 즉, 1 또는 -2, 제 2 자릿수인 음의 값, 즉, -1000 또는 -2000, 그리고 제 1 자릿수, 즉, 각각 값 -1001 및 -2002의 -1 또는 -2의 컴포넌트 및 제 2 자릿수, 즉, 각각 값 -1001 또는 -2002의 -1000 또는 -2000인 컴포넌트를 갖는 양의 값을 갖는다. 하기에서 상세히 설명되는 바와 같이, 제 1 자릿수 및 제 2 자릿수를 갖는 커널 값들의 선택은 에지 검출 모듈(10)이 단일 패스의 신호의 부분의 적어도 2개의 1차 도함수들을 나타내는 합산들을 생성하도록 허용한다.

용어들 "제 1 자릿수(first order of magnitude)" 및 "제 2 자릿수(second order of magnitude)"는 상이한 자릿수들에 대응하며, 반드시 연속적인 자릿수에 대응할 필요는 없다. 상기 실시예에서 예증되는 바와 같이, "제 1 자릿수"의 값들, 즉, 값들 -1 및 -2는 0-번째 자릿수에 대응하는 것으로서 보여질 수 있는 반면, "제 2 자릿수"의 값들, 즉, -1000 및 - 2000은 제 3 자릿수에 대응하는 것으로서 보여질 수 있다. 따라서, 본 명세서에서 사용될 때, "제 1 자릿수" 및 "제 2 자릿수"는 연속적일 수 있거나, 연속적이지 않을 수 있는 상이한 자릿수들에 대응한다.

커널에서 비-제로 값들에 대한 자릿수들은 예를 들어, 분석중인 신호의 타입의 함수로서 예컨대 애플리케이션 설계자에 의하여 선택될 수 있다. 예증되는 예시적인 커널은 특히 8-비트 디지털 이미지 신호에, 즉, 8-비트를 사용하여 각각의 픽셀 값이 나타나는 디지털 이미지 신호에 적용하기에 적합할 수 있다. 8-비트 디지털 이미지 신호에서 각각의 픽셀은 0과 255 사이의 값을 갖는다. 비-제로 값들에 대하여 선택되는 제 2 자릿수는 열의 제 1 자릿수 비-제로 컴포넌트들로 곱해지는 픽셀 값들의 합산이 제 2 자릿수로 범람할 기회가 없거나, 또는 매우 작은 기회만이 존재하도록 선택된다. 일 실시예로서 8-비트 이미지를 사용하면, 제 1 자릿수 값들, 즉, -1, -2 및 -1로 곱셈된 최대 픽셀 값 255의 합산은 1020과 같다. 그러나, 개별적인 위치들의 픽셀들 각각이 255의 값을 이용할 가능성은 매우 작기 때문에, 예시적인 커널은 제 2 자릿수(예를 들어, 1000)를 갖는다. 범람할 기회를 제거하기 위하여, 더 큰 제 2 자릿수, 예를 들어, 10,000이 선택될 수 있다. 더 많거나 더 적은 개수의 비트들로 나타나는 신호들에 대하여, 더 큰 또는 더 작은 자릿수를 갖는 비-제로 값들이 사용될 수 있다. 16-비트 이미지에 대하여, 예를 들어, 더 큰 자릿수를 갖는 비-제로 값들, 예를 들어, 1,000,000이 사용될 수 있다. 2-비트 신호에 대한 것과 유사하게, 더 작은 자릿수를 갖는 비-제로 값들, 예를 들어, 100이 사용될 수 있다. 이러한 방식으로, 커널의 비-제로 값들의 제 2 자릿수가 신호의 최대 가능 값의 함수로서 선택될 수 있다.

(1)에 도시되는 예시적인 커널을 적용하기 위하여, 에지 검출 모듈(10)은 커널을 이미지의 부분상의 중심에 놓아, 커널은 제 3 행 및 제 3 열의 픽셀상의 중심에 놓인다. 에지 검출 모듈(10)은 픽셀 값들로 곱셈되는 커널의 합산를 계산하기 위하여 커널 및 이미지의 부분의 콘볼루션을 수행한다. 특히, 이미지의 부분의 픽셀 강도 값들 각각은 가중된 픽셀 값들을 획득하기 위하여 커널 내에 대응 위치의 값으로 곱셈되고, 가중된 픽셀 값들이 합산된다. 상기 예증되는 실시예에서, 에지 검출 모듈(10)은 중앙 픽셀 위치에 대한 80,160의 합산, 즉, (-1)(1O) + (-1000)(30) + (1001)(50) + (-2)(10) + (-2000)(30) + (2002)(50) + (-1)(1O) + (-1000)(30) + (1001)(50)를 계산한다. 이러한 방식으로, 특정 픽셀 위치에 대한 합산은 특정 픽셀의 이웃에 픽셀 값들의 적어도 부분의 함수로서 계산된다. 커널의 비-제로 값들의 수는 결정에 더 많거나 더 적은 이웃 픽셀 값들을 포함시키기 위하여 부가되거나 제거될 수 있다.

상기 개시되는 바와 같이, 계산된 합산은 커널이 적용되는 신호의 부분의 적어도 2개의 1차 도함수들을 나타낸다. 본 실시예에서, 합산은 정확히 2개의 1차 도함수들, 즉, 도 3a에 예증되는 신호의 포인트들(22 및 24) 사이의 라인(28)의 경사에 대응하는 첫번째 제 1차 도함수, 및 도 3a에 예증되는 신호의 포인트(20) 및 포인트(24) 사이에 라인(26)의 경사에 대응하는 두번째 제 1차 도함수를 나타낸다. 특히, 합산의 제 1 자릿수의 값, 즉 80,000은 첫번째 제 1차 도함수에 대응하고, 합산의 제 2 자릿수의 값, 즉, 160은 두번째 제 1차 도함수에 대응한다. 따라서, 에지 검출 모듈(10)은 3개 포인트들, 즉, 포인트들(20, 22 및 24)에서 수평 방향을 따라 이미지 신호를 샘플링함으로써 보여질 수 있다.

에지 검출 모듈(10)은 1000으로 80,160의 계산된 합산를 나누기 위한 나눗셈 연산을 수행함으로써 첫번째 및 두번째 제 1차 도함수들의 값들을 식별하고, 첫번째 제 1차 도함수로서 몫, 즉, 80을 그리고 두번째 제 1차 도함수로서 나머지, 즉, 160을 사용할 수 있다. 몇몇 예시들에서, 에지 검출 모듈(10)은 160의 나머지를 획득하기 위하여 모듈로(modulo) 연산을 수행할 수 있다. 첫번째 제 1차 도함수는 포인트(22 및 24) 사이에 제 1 폭에 걸쳐 증가된 픽셀 값의 양에 대응하며, 두번째 제 1차 도함수는 포인트(20) 및 포인트(24) 사이에 제 2 폭에 걸쳐 증가된 픽셀 값의 양에 대응한다. 라인들(26 및 28)의 경사들에 관하여, 첫번째 제 1차 도함수는 포인트(22 및 24) 사이의 런(run)들상의 제 1 상승(rise)에 대응하고, 두번째 제 1차 도함수는 포인트(20 및 24) 사이의 런들상의 제 2 상승에 대응한다. 포인트(22 및 24) 사이의 첫번째 제 1차 도함수는 선두적인(leading) 1차 도함수(또는 경사)로서 보여질 수 있으며, 포인트들(20 및 24) 사이에 두번째 제 1차 도함수는 뒤떨어지는(lagging) 1차 도함수(또는 경사)로서 보여질 수 있다.

에지 검출 모듈(10)은 동일한 런 위에 제 1 및 제 2 상승들을 추가로 정규화할 수 있다. 제 1 상승(rise)는 3개 픽셀 런(run)에 대응하는 반면, 제 2 상승은 5개 픽셀 런에 대응한다. 동일한 길이의 런들상의 상승들을 정규화하기 위하여, 에지 검출 모듈(10)은 2로 제 1 상승을 곱셈할 수 있다. 이러한 방식으로, 상승들은 2개 상승들이 5개 픽셀 폭에 걸친 런들에 대응하도록 정규화된다. 상기 개시되는 실시예들에서, 정규화된 제 1 및 제 2 상승들은 모두 160과 동일하다. 5개 픽셀 런위에 있을 상승들을 정규화함으로써, 에지 검출 모듈(10)은 라인들(26 및 28)의 경사들을 분석하기 위한 목적으로 상승들의 값들을 사용할 수 있다.

다른 예시들에서, 에지 검출 모듈(10)은 상승들을 정규화하지 않을 수 있다. 대신에, 에지 검출 모듈(10)은 대응 런들로 상승들 각각을 나누고, 그 후 경사들을 비교함으로써 개별적으로 라인들(26 및 28)의 경사들을 계산할 수 있다. 예를 들어, 에지 검출 모듈은 2로 제 1 상승을 나눔으로써 (즉, 제 3 픽셀과 제5 픽셀 사이에 런) 라인(28)의 경사를 계산하고, 4로 제 2 상승을 나눔으로써 (즉, 제 1 픽셀과 제5 픽셀 사이에 런) 라인(26)의 경사를 계산할 수 있다. 그러나, 런들을 정규화하고 런들을 비교하는 것은 에지 검출 모듈(10)이 수행하는 수학적 연산들의 개수를 감소시킬 수 있다. 특히, 2개 경사들의 계산은 2개 나눗셈 연산들을 요구하고, 그 후, 2개 경사들의 비율의 비교는 다른 나눗셈 연산을 요구한다. 그러나, 상승들의 정규화는 하나의 곱셈 연산들(즉, 2로 제 1 상승을 곰셈)만을 요구하며, 2개 상승들의 비율의 비교는 나눗셈 연산을 요구한다. 수천 또는 심지어 수백만의 픽셀들의 이미지상에서 작동할 때, 결과는 각각의 분석된 픽셀에 대한 하나의 수학적 연산의 감소일 것이고, 수학적 연산들 및 연관된 계산 오버헤드 및 전력 소모의 현저한 감소를 초래할 것이다.

에지 검출 모듈(10)은 픽셀 위치가 에지에 대응하는지 여부, 그리고 만약 그렇다면 에지가 소프트 에지인지 또는 하드 에지인지 여부를 결정하기 위하여 라인들(26 및 28)의 경사들을 분석한다. 몇몇 양상들에서, 에지 검출 모듈(10)은 정규화된 상승들을 분석함으로써 라인들(26 및 28)의 경사들을 분석할 수 있다. 에지 검출 모듈(10)은 상승들이 동일한 런 길이에 걸쳐, 즉, 5개 픽셀 폭에 걸쳐 정규화되기 때문에 경사를 분석하기 위하여 상승들을 사용할 수 있다. 에지 검출 모듈(10)은 포인트(20)로부터 포인트(24)로의 폭에 대응하는 제 2 정규화된 상승을 값들의 임계치 범위에 비교할 수 있다. 일 실시예로서, 에지 검출 모듈(10)은 제 2 정규화된 상승이 120를 초과하거나 동일한지, 또는 300 미만이거나 동일한지 여부를 결정할 수 있다. 임계치 범위는 픽셀의 최대 가능 값, 경사가 뻗어나가는 픽셀의 수, 또는 둘 모두의 함수로서 선택될 수 있다. 제 2 정규화된 상승이 300보다 크다면, 포인트(20)로부터 포인트(24)로의 경사는 소프트 에지를 구성하기에 너무 큰 것으로 간주된다. 제 2 정규화된 상승이 120 미만이라면, 포인트(20)로부터 포인트(24)로의 경사가 눈에 띄는 에지를 구성하기에 충분히 크지 않은 것으로 간주된다. 임계치 범위의 값들은 분석되고 있는 이미지의 타입 또는 커널의 값들의 자릿수들에 기초하여 조정될 수 있다.

제 2 정규화된 상승이 임계치 범위에 포함된다면, 에지 검출 모듈(10)은 에지가 소프트 에지인지 또는 하드 에지인지 여부를 결정하기 위하여 2개 상승들의 비율을 계산한다. 2개 정규화된 상승들의 계산된 비율이 0.4를 초과하거나 동일하고 1.6 미만이거나 동일하다면, 에지 검출 모듈(10)은 에지를 소프트 에지로서 검출한다. 다시 말해, 2개 상승들은 평활한 점진적 에지로 간주되기에 서로에 충분히 가깝다. 2개 상승들의 비율이 0.4 미만이거나 1.6을 초과한다면, 에지 검출 모듈(10)은 에지를 하드 에지로서 검출한다. 이러한 방식으로, 에지 검출 모듈(10)은 라인들(26 및 28)의 경사들의 비율에 기초하여 검출된 에지가 하드인지 또는 소프트인지 여부를 결정한다.

경사들 및 경사들의 비율에 대한 임계 값들 및/또는 범위들은 더욱 적극적으로 에지들을 검출하거나 덜 적극적으로 에지들을 검출하도록 조정될 수 있다. 또한, 경사들에 대한 임계 값들 및/또는 범위들은 에지 검출 모듈(10)이 하드 에지 및 소프트 에지 모두를, 또는 소프트 에지만을, 또는 하드 에지만을 검출하도록 조정될 수 있다. 따라서, 경사들에 대한 임계 값들 및/또는 범위들은 특정 형태들의 에지들을, 예를 들어, 평활한 에지들만을 및/또는 뾰족한 에지들만을 선택적으로 검출하도록 에지 검출 모듈(10)을 구성하도록 조정될 수 있다. 평활한 에지들만의 검출은 이미지 프로세서(6)(도 1)가 그러한 뾰족한 에지들의 품질을 감소시키는 방식으로 뾰족한 에지들이 샤프닝되지 않도록 검출된 에지들을 선택적으로 샤프닝하도록 허용할 수 있다. 종래의 1차 및 2차 에지 검출 커널들은 하드 에지 및 소프트 에지를 발견하기 위하여 튜닝될 수 있다. 그러나, 종래의 1차 및 2차 에지 검출 커널들은 이미지의 부분에 걸친 변화의 경사 레이트 또는 이웃 경사들에 관한 정보를 생성하지 않기 때문에, 단일 패스에서 에지의 형태, 즉, 에지가 하드인지 또는 소프트인지 여부를 검출하기 위하여 튜닝될 수 없다.

도 3a 및 3b에 예증되는 신호의 예시적인 부분에서, 제 1 및 제 2 정규화된 상승들은 160과 동일하다. 제 1 정규화된 상승은 120-300의 대응 임계치 범위에 포함된다. 제 2 정규화된 상승은 또한 25-300의 대응 임계치 범위 내에 포함된다. 따라서, 에지 검출 모듈은 픽셀이 에지상에 위치되는 것을 결정한다. 또한, 상승들의 비율은 1과 동일하고, 이는 소프트 에지를 구성하는 범위 내에 있다. 따라서, 에지 검출 모듈(10)은 제 3 행 및 제 3 열의 픽셀이 소프트 에지상에 위치되는 것을 검출한다. 이러한 방식으로, 에지 검출 모듈(10)은 신호의 형태를 결정하기 위하여 디지털 이미지 신호를 분석한다.

이러한 방식으로, 에지 검출 모듈(20)은 단일 패스의 신호의 부분의 둘 이상의 1차 도함수들을 계산하고, 신호의 형태를 결정하기 위하여 둘 이상의 1차 도함수들을 사용한다. 그러나, 종래의 에지 검출기들은 신호의 부분에 대한 적어도 2개의 1차 도함수들을 검출하기 위하여 2개의 커널들의 적용을 요구한다. 예를 들어, 종래의 에지 검출기들은 2개의 1차 도함수들을 생성하기 위하여 하기에 예증되는 커널들 (2) 및 (3)을 적용할 수 있다. 특히, 종래의 에지 검출기들은 이미지 신호의 부분의 첫번째 제 1차 도함수를 검출하기 위하여 커널 (2)을 적용할 수 있으며, 이미지 신호의 부분의 두번째 제 1차 도함수를 검출하기 위하여 커널 (3)을 적용할 수 있다.

(2)

(3)

따라서, 종래의 에지 검출 기술들은 본 명세서에 개시되는 기술들에 대한 유사한 결과를 달성하기 위한 프로세싱 리소스들 및 시간의 양의 대략 2배를 요구한다. 에지 검출 모듈(10)은 단일 커널, 예를 들어, (1)에 예증되는 커널만을 적용함으로써 동일한 결과들을 획득할 수 있다. 이러한 방식으로, (1)에 예증되는 커널은 단일 커널로의 커널들 (2) 및 (3)의 통합으로서 보여질 수 있다.

커널을 추가로 최적화하기 위하여, 이미지 프로세서(6)는 (1)에 보여지는 커널을 3×3 커널로 압축시킬(condense) 수 있다. 특히, 모든 0 값들을 포함하는 행들 및 열들은 ((5)에 보여지는 바와 같이) 3×3 압축 커널을 형성하기 위하여 ((4)에 보여지는 바와 같이) 5×5 매트릭스로부터 제거될 수 있다.

(4)

(5)

커널은 압축되고 3×3 커널로서 저장되나, 에지 검출 모듈(10)은 여전히 이미지 신호의 5×5 부분들에 커널을 적용할 수 있다.

상기 (1)에 보여지는 예시적인 커널은 이미지 내에 수직 에지들을 검출하기 위하여 에지 검출 모듈(10)에 의하여 적용될 수 있다. 에지 검출 모듈(10)은 이미지 신호 내에 수평 에지들을 검출하기 위하여 실질적으로 유사한 성질의 제 2 커널을 적용할 수 있다. 본 명세서의 기술들에 따른 이미지 신호 내에 수평 에지들을 검출하기 위하여 사용될 수 있는 예시적인 커널이 하기에 예증된다.

(6)

에지 검출 모듈(10)은 동시에 또는 개별적인 패스들 동안에 픽셀 위치에 제 1 커널 및 제 2 커널을 적용할 수 있다. 수직 에지들을 검출하기 위하여 사용되는 커널과 마찬가지로, 수평 에지들을 검출하는데 사용되는 커널 (6)은 커널들 (7) 및 (8)의 통합으로서 보여질 수 있다.

(7)

(8)

상기 (1)에 예증되는 예시적인 커널에 관하여 설명되나, 기술들은 상이한 디멘션의 커널들, 더 많거나 더 적은 비-제로 값들을 갖는 커널들, 커널 내에 상이한 위치들에서 비-제로 값들을 갖는 커널들, 상이한 비-제로 값들을 갖는 커널들, 또는 이들의 조합물과 함께 이용될 수 있다. 일 실시예로서, 커널 (1)의 비-제로 값들은 2의 멱(power)들인 비-제로 값들로 교체될 수 있다. (1) 및 (4)에 도시되는 5×5 커널들에서, (9)에서 보여지는 바와 같이, 예를 들어, -1000의 값들은 -1024로 교체될 수 있고, 1001의 값들은 1025로 교체될 수 있고, -2000의 값은 -2048로 교체될 수 있으며, 2002의 값은 2050로 교체될 수 있다. 2의 멱들인 비-제로 값들의 사용은 에지 검출 모듈(10)이 예를 들어, 시프트들 및 나눗셈들만을 사용하는 더 빠른 시프트 연산자를 사용하도록 허용한다.

(9)

다른 실시예로서, 커널은 3개의 상이한 크기들의 4개의 비-제로 값들을 갖는 행들을 포함할 수 있다. 그러한 커널의 일 실시예가 하기에 예증된다.

(10)

예시적인 커널은 제 1 자릿수의 제 1 음의 값, 제 2 자릿수의 제 2 음의 값, 제 3 자릿수의 제 3 음의 값, 및 제 1 자릿수의 컴포넌트, 제 2 자릿수의 컴포넌트 및 제 3 자릿수의 컴포넌트를 갖는 양의 값을 포함하는 행들로 구성된다. 그러한 커널은 3개의 단일 패스에서 에지 검출 모듈(10)이 1차 도함수들, 즉, 3개의 상이한 폭들의 경사들을 계산하도록 허용한다. 따라서, 에지 검출 모듈(10)은 신호의 부분 내에 에지의 형태를 보다 정확하게 결정할 수 있다.

다른 실시예로서, 커널은 수평 및 수직 방식 대신에 방사상(radial) 방식으로 정렬되는 비-제로 값들을 포함할 수 있다. 그러한 커널이 하기에 예증된다.

(11)

기술들은 상이한 디멘션의 커널들, 더 많거나 더 적은 비-제로 값들을 갖는 커널들, 상이한 비-제로 값들을 갖는 커널들, 또는 이들의 조합물과 함께 이용될 수 있다.

도 4a는 하드 에지를 포함하는 이미지 신호의 예시적인 부분을 예증한다. 도 4b는 이미지 신호의 부분에 대응하는 5 픽셀 곱하기 5 픽셀(5×5) 영역의 픽셀 강도 값을 예증한다. 특히, 도 4b에 보여지는 5×5 영역의 픽셀 강도 값은 도 4a에 보여지는 이미지 신호의 부분에 대응한다. 도 3a 및 3b에 예증되는 이미지 신호의 5×5 부분과 유사하게, 도 4a 및 4b에 예증되는 이미지 신호의 5×5 부분은 10의 픽셀 강도 값으로부터 50의 픽셀 강도 값으로 천이한다. 그러나, 도 4a 및 4b에 예증되는 이미지 신호의 부분은 5 픽셀 폭에 걸쳐 점진적으로 천이하는 대신 단일 픽셀에 걸쳐 뾰족하게 천이한다. 도 4b의 픽셀 강도 값들에 의하여 보여지는 바와 같이, 이러한 뾰족한 천이는 픽셀들의 제 3 열과 픽셀들의 제4 열 사이에 발생한다. 도 4a에 예증되는 이미지 신호의 부분의 포인트들(30, 32 및 34)은 도 4b에 예증되는 픽셀 강도 값들의 열들 1, 3 및 5에서의 픽셀 강도 값들과 대응한다.

도 4a 및 4b에 예증되는 신호의 부분에서 하드 에지를 검출하기 위하여 에지 검출 모듈(10)에 의한 상기 예증되는 5×5 커널 (1)의 적용이 다른 예시로서 설명될 것이다. 에지 검출 모듈(10)은 커널이 제 3 행 및 제 3 열에서 픽셀상의 중심에 놓이도록 커널을 이미지의 부분상에 중심에 놓는다. 에지 검출 모듈(10)은 가중된 픽셀 값들을 계산하고 가중된 픽셀 값들을 합산하기 위하여 커널 및 이미지의 부분의 콘볼루션을 수행한다. 도 3a 및 3b에 예증되는 신호에 대하여, 에지 검출 모듈(10)은 중앙 픽셀 위치에 대한 160,160의 합산, 즉, (-1)(10) + (-100O)(10) + (1001)(50) + (-2)(10) + (-200O)(10) + (2002)(50) + (-1)(10) + (-100O)(10) + (1001)(50)를 계산한다.

계산된 합산의 제 1 자릿수의 값, 즉, 160,000는 첫번째 제 1차 도함수에 대응하며, 제 2 자릿수의 값, 즉, 160은 두번째 제 1차 도함수에 대응한다. 에지 검출 모듈(10)은 처음에 나눗셈 연산의 몫 및 나머지를 사용함으로써 동일한 자릿수로 첫번째 및 두번째 제 1차 도함수들의 값들을 정규화할 수 있다. 특히, 나눗셈 연산의 몫, 즉, 160은 첫번째 제 1차 도함수에 대응하고, 나머지, 즉, 160은 두번째 제 1차 도함수에 대응한다. 상기 개시되는 바와 같이, 정규화된 첫번째 제 1차 도함수는 포인트들(32 및 34) 사이의 런 위의 제 1 상승에 대응하며, 정규화된 두번째 제 1차 도함수는 포인트들(30 및 34) 사이에 런 위의 제 2 상승에 대응한다.

에지 검출 모듈(10)은 2를 제 1 상승에 곱함으로써 동일한 런 위에 제 1 상승 및 제 2 상승을 추가로 정규화할 수 있다. 이러한 방식으로, 2개 상승들이 5개 픽셀 폭에 걸친 런들에 대응하도록 상승들이 정규화된다. 상기 개시된 실시예에서, 정규화된 제 1 상승은 320과 동일하고, 제 2 상승은 160과 동일하다. 5개 픽셀 런 위에 있을 상승들을 정규화함으로써, 에지 검출 모듈(10)은 각각의 경사들을 개별적으로 계산하는 대신 라인들(26, 28)의 경사들을 분석하기 위한 목적으로 상승들의 값들을 사용할 수 있다. 상기 개시되는 바와 같이, 그러한 기술은 에지 검출 모듈(10)에 의하여 수행되는 산술 연산들의 개수를 감소시킬 수 있다.

이러한 경우에, 2개 상승들의 비율은 2와 동일하며, 이는 0.4 내지 1.6의 범위 밖에 있다. 따라서, 에지 검출 모듈(10)은 하드 에지로서 에지를 특징화한다. 상기 개시되는 바와 같이, 에지 검출 모듈(10)은 동일한 런 길이 위에 상승들을 정규화하지 않고 경사들을 계산하고, 계산된 경사들을 분석할 수 있다. 그러나, 그러한 분석은 부가적 수학 연산들을 수행하기 위하여 에지 검출 모듈(10)을 요구할 수 있다.

도 5는 본 명세서에 개시되는 기술들을 사용하여 신호의 형태를 결정하는, 도 1의 이미지 프로세서(6)와 같은 이미지 프로세서의 예시적인 연산을 예증하는 흐름도이다. 처음에 이미지 프로세서(6)는 신호(40)를 획득한다. 이미지 프로세서(6)는 예를 들어, 이미지 프로세서(6)가 결합되는 이미지 센서(4)(도 1)로부터 이미지 신호를 획득할 수 있다. 그러나 이미지 프로세서(6)는 예를 들어, 이미지 프로세서(6)가 결합되는 네트워크를 통해 다른 소스들로부터 이미지 신호를 획득할 수 있다.

이미지 프로세서(6)의 커널 선택 모듈(12)은 신호(42)에 적용하기 위해 다수의 커널들 중 하나의 커널을 선택한다. 커널 선택 모듈(12)은 이미지 프로세서(6)의 에지 검출 모듈(10)은 수직 또는 수평 방향으로 에지들을 검출하는지 여부에 기초하여 커널을 선택할 수 있다. 예를 들어, 몇몇 커널들은 수직 검출에 대해 공식화될 수 있는 반면, 다른 커널들은 수평 검출에 대하여 공식화된다. 커널 선택 모듈(12)은 또한 이미지의 해상도와 같은 다른 파라미터들에 기초하여 커널을 선택할 수 있다.

에지 검출 모듈(10)은 픽셀에 대한 합산를 계산하기 위하여 제 1 커널에 커널을 적용한다(44). 특히, 에지 검출 모듈(10)은 커널을 제 1 픽셀상의 중심에 놓고, 커널 내에 대응 위치의 값을 제 1 픽셀 근처의 이미지의 부분 내에 픽셀 값들 각각을 곱하는 콘볼루션을 수행하고, 결과들을 합한다. 에지 검출 모듈(10)은 계산된 합산에 기초하여 적어도 2개의 1차 도함수들을 식별한다(46). 상기 개시되는 바와 같이, 계산된 합산의 제 1 자릿수의 값은 첫번째 제 1차 도함수에 대응하고, 합산의 제 2 자릿수의 값은 두번째 제 1차 도함수에 대응한다. 에지 검출 모듈(10)은 계산된 합산에 나눗셈 연산을 수행하고, 각각 첫번째 제 1차 도함수 및 두번째 제 1차 도함수로서 나눗셈 연산의 몫 및 나머지를 사용함으로써, 첫번째 제 1차 도함수 및 두번째 제 1차 도함수를 획득할 수 있다.

에지 검출 모듈(10)은 동일한 폭의 픽셀들에 걸쳐 적어도 2개의 1차 도함수들을 정규화할 수 있다(48). 첫번째 제 1차 도함수는 제 1 폭의 픽셀들 위에 제 1 상승에 대응하고, 두번째 제 1차 도함수는 제 2 폭의 픽셀들 위에 제 2 상승에 대응한다. 일 실시예에서, 첫번째 제 1차 도함수는 포인트(22 및 24)(도 3a) 사이의 경사를 나타내고, 두번째 제 1차 도함수는 포인트들(20 및 24)(도 3a) 사이에 경사를 나타낼 수 있다. 1차 도함수들은 동일한 폭의 픽셀들에 걸쳐 정규화될 수 있다. 이것은 감소된 계산 복잡성을 초래하고, 따라서, 나눗셈 연산들을 사용하여 경사들을 계산하는데 있어 다수의 효율성 장점들을 제공한다.

에지 검출 모듈(10)은 두번째 제 1차 도함수가 값들의 임계치 범위 내에 있는지 여부를 결정한다(52). 두번째 제 1차 도함수가 값들의 임계치 범위 내에 있지 않을 때(52의 "NO" 브랜치), 에지 검출 모듈(10)은 두번째 제 1차 도함수가 임계치 범위를 초과하는지 여부를 결정한다(54). 에지 검출 모듈(10)이 두번째 제 1차 도함수가 임계치 범위를 초과하는 것을 결정할 때(54의 "YES" 브랜치), 에지 검출 모듈(10)은 하드 에지에 픽셀에 위치되는 것을 검출한다(56). 에지 검출 모듈(10)이 두번째 제 1차 도함수들이 임계치 범위를 초과하지 않는 것을 결정할 때(54의 "NO" 브랜치), 에지 검출 모듈(10)은 픽셀이 에지에 위치되지 않는 것을 검출한다(58).

두번째 제 1차 도함수가 값들의 임계치 범위 내에 있을 때(52의 "YES" 브랜치), 에지 검출 모듈(10)은 첫번째 제 1차 도함수 및 두번째 제 1차 도함수의 비율이 범위의 임계치 범위 내에 있는지 여부를 결정한다(60). 비율이 비율의 임계치 범위를 초과하거나 미만일 때(60의 "NO" 브랜치), 에지 검출 모듈(10)은 픽셀이 하드 에지에 위치되는 것을 검출한다(56). 비율이 비율의 임계치 범위 내에 있을 때(60의 "YES" 브랜치), 에지 검출 모듈(10)은 픽셀이 소프트 에지에 위치되는 것을 검출한다(62). 에지 검출 모듈(10)은 커널에 적용할 이미지 신호 내에 부가적 픽셀들이 존재하는지 여부를 결정한다(64). 부가적인 픽셀들이 존재할 때(64의 "NO" 브랜치), 이미지 프로세서(6)는 다른 신호를 획득하기 위해 기다린다(40). 부가적인 픽셀들이 존재할 때(64의 "YES" 브랜치), 에지 검출 모듈(10)은 이미지 신호의 다음 픽셀에 커널을 적용한다(44). 이러한 방식으로, 이미지 프로세서(6)는 커널의 단일 패스에서 신호의 부분의 형태를 결정하는데, 예를 들어, 픽셀이 에지에 있는지 여부를 검출한다.

도 6은 본 명세서에 개시되는 에지 검출 기술들을 구현하는 이미지 캡쳐 디바이스(2)를 포함하는 예시적인 무선 통신 디바이스(70)를 예증하는 블록도이다. 도 6은 무선 통신 디바이스(70) 내에 통합되는 이미지 캡쳐 디바이스(2)를 보여준다. 이미지 캡쳐 디바이스(2)의 동작은 도 1과 관련하여 상기 설명되고, 따라서, 여기서 상세히 설명되지 않을 것이다. 무선 통신 디바이스(70)는 이미지 캡쳐 능력들을을 갖는 셀룰러 폰(예를 들어, 소위 카메라 폰 또는 비디오 폰), 비디오 레코더, 웹 캠, 개인용 디지털 단말(PDA), 랩탑 컴퓨터, 또는 이미지 캡쳐 능력 및 무선 통신 능력을 갖는 임의의 다른 디바이스와 같은 무선 통신 디바이스 핸드셋을 포함할 수 있다. 무선 통신 디바이스의 맥락에서 예증되나, 본 명세서의 기술들은 유선 통신 디바이스들에 또한 적용가능할 수 있다.

도 6의 실시예에서, 무선 통신 디바이스(70)는 이미지 캡쳐 디바이스(2), 인코딩 모듈(72), 전송기(74), 및 뷰파인더(76)를 포함한다. 인코딩 모듈(72)은 저장 및/또는 전송을 위해 특정 이미지 압축 포맷으로 이미지를 압축하기 위하여 캡쳐된 이미지 정보를 인코딩할 수 있다. 인코딩 모듈(72)은 JPEG, TIFF, GIF 또는 다른 이미지 압축 포맷을 포함하는 다수의 이미지 압축 포맷들 중 임의의 것을 사용하여 이미지를 압축할 수 있다. 비디오의 경우에, 인코딩 모듈(72)은 MPEG, MPEG AVC(Advanced Video Coding) 파트 10, ITU H.264 등과 같은 임의의 개수의 비디오 압축 포맷들을 사용하여 비디오를 압축할 수 있다.

무선 통신 디바이스(70)는 전송기(74)를 통해 다른 디바이스로 인코딩된 이미지를 전송할 수 있다. 전송기(74)는 통상적으로 코드 분할 다중 액세스(CDMA) 네트워크, 광대역 코드 분할 다중 액세스(W-CDMA) 네트워크, 시분할 다중 액세스(TDMA) 네트워크, 및 GSM(global system for mobile communication) 네트워크, 또는 다른 유사한 네트워크와 같은 셀룰러 네트워크에 인터페이스를 제공한다. 셀룰러 네트워크 이외에 또는 대안적으로, 전송기(74)는 관련된 IEEE(Institute of Electrical and Electronics Engineers) 802.11 표준들, 또는 임의의 다른 유선 또는 무선 네트워크 중 임의의 것에 의하여 정의되는 바와 같이 무선 네트워크에 인터페이스를 제공할 수 있다.

무선 통신 디바이스(70)는 뷰파인더(76)상에 이미지 캡쳐 디바이스(2)에 의하여 캡쳐되는 이미지 또는 이미지 캡쳐 디바이스(2)에 의하여 캡쳐될 해당 장면의 실시간 이미지를 나타낼 수 있다(즉, 이미지 프리뷰). 뷰파인더(76)는 전자 뷰파인더를 포함할 수 있다. 예시적인 전자 뷰파인더들은 통상적으로 액정 디스플레이(LCD), 유기 발광 다이오드(OLED) 디스플레이, 플라즈마 디스플레이 패널(PDP), 발광 다이오드(LED) 디스플레이(예를 들어, 액티브 매트릭스 LED 디스플레이), 또는 캡쳐된 이미지 또는 실시간 이미지를 나타낼 수 있는 임의의 다른 타입의 디스플레이와 같은 하나 이상의 타입의 디스플레이들을 포함한다. 뷰파인더(76)는 또한 상기 개시된 전자 뷰파인더 대신에 더 종래의 광학 뷰파인더를 포함할 수 있다. 무선 통신 디바이스(70)의 경우에, 뷰파인더(76)는 범용 전자 디스플레이를 포함할 수 있으며, 디스플레이는 무선 통신 디바이스(70)가 수행할 수 있는 다른 기능들에 관한 정보를 또한 나타낸다. 예를 들어, 무선 통신 디바이스(70)가 소위 카메라 폰을 나타낸다면, 뷰파인더(76)는 또한 셀룰러 폰 호출들의 전송 및 수신에 관한 정보를 나타낼 수 있다.

단지 이미지 캡쳐 디바이스(2), 인코딩 모듈(72), 전송기(74), 및 뷰파인더(76)만을 포함하는 것으로서 개시되나, 무선 통신 디바이스(70)는 사용자와 인터페이싱하기 위한 사용자 인터페이스(예를 들어, 키패드), 부가적인 연산들을 수행하기 위한 하나 이상의 프로세서들, 착탈식 메모리, 헤드폰들, 전력 공급기들, 및 임의의 다른 그러한 주변 장치들을 수용하기 위한 다양한 포트들 및 리셉터클들과 같은 다른 모듈들을 포함할 수 있다.

하나 이상의 양상들에서, 설명한 기능들은 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 임의의 조합으로 구현될 수 있다. 모듈들 또는 컴포넌트들로서 개시되는 임의의 피쳐들은 집적 로직 디바이스에 함께, 그러나 별개이지만 상호 정보 교환이 가능한 로직 디바이스들로서 개별적으로 구현될 수 있다. 몇몇 경우들에 있어, 다양한 피쳐들이 집적 회로 칩 또는 칩셋과 같은 지적 회로 디바이스로서 구현될 수 있다. 소프트웨어로 구현된다면, 기술들은 실행시 상기 개시되는 방법들 중 하나 이상을 수행하는 명령들을 포함하는 컴퓨터-판독가능 매체에 의하여 적어도 부분적으로 실현될 수 있다. 컴퓨터-판독가능 매체는 패키징 물질들을 포함할 수 있는 컴퓨터 프로그램 물건의 부분을 형성할 수 있다. 컴퓨터-판독가능 매체는 동기 동적 랜덤 액세스 메모리(SDRAM)와 같은 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 비휘발성 랜덤 액세스 메모리(NVRAM), 전기적으로 소거 가능한 프로그래밍 가능 판독 전용 메모리(EEPROM), FLASH 메모리, 자기 또는 광학 데이터 저장 매체 등을 포함할 수 있다. 기술들은 또한 적어도 부분적으로 명령들 또는 데이터 구조들의 형태로 코드를 전달 또는 통신하고 컴퓨터에 의하여 액세스, 판독 및/또는 실행될 수 있는 컴퓨터-판독가능 통신 매체에 의하여 실현될 수 있다.

코드는 하나 이상의 DSP들, 범용 마이크로프로세서들, ASIC들, 필드 프로그램가능 로직 어레이(FPGA)들, 또는 다른 등가 집적 또는 이산 로직 회로와 같은 하나 이상의 프로세서에 의해 실행될 수 있다. 따라서, 본 명세서에서 사용될 때 "프로세서"라는 용어는 전술한 구조들 중 임의의 것, 또는 본 명세서에 개시된 기술들의 구현에 적합한 임의의 다른 구조를 지칭할 수 있다. 또한, 본 명세서에 개시되는 기능은 인코딩 및 디코딩을 위해 구성된 전용 소프트웨어 모듈이나 하드웨어 모듈 내에 제공될 수도 있고, 또는 조합된 비디오 인코더-디코더(CODEC)에 통합될 수도 있다. 이런 이유로, 본 명세서는 또한 본 명세서에 개시되는 기술들 중 하나 이상을 구현하기 위한 회로를 포함하는 다양한 집적 회로 디바이스들 중 임의의 것을 고려한다. 그러한 회로는 하나의 집적 회로 칩 또는 다수의 공동 사용가능한 집적 회로 칩들에 제공될 수 있다.

본 명세서에 개시되는 기술들은 디지털 이미지 신호들의 맥락에서 설명되나, 기술들은 시간, 공간, 또는 다른 디멘션에 걸쳐 변화하는 변수를 나타내는 임의의 신호 내에 현저한 변화들을 나타내는 신호의 위치들(예를 들어, 에지들)을 검출하는데 사용될 수 있다. 또한, 본 명세서의 기술들은 검출된 위치들에 걸쳐 변수가 변화하는 방법을 결정하는데 사용될 수 있다. 이러한 방식으로, 기술들은 디지털 신호 패턴들의 검출 및 검출된 패턴들의 분류로서 보여질 수 있다. 예를 들어, 본 명세서의 기술들은 오디오 신호들, 비디오 신호들, 또는 임의의 다른 타입의 신호들 내에 디지털 신호 패턴들을 검출하고 이러한 검출된 패턴들을 분류하는데 사용될 수 있다.

다양한 양상들이 설명되었다. 이러한 그리고 다른 양상들은 하기의 청구항들의 범위 내에 존재한다.

Claims

이미지 신호의 형태들을 검출하기 위한 방법으로서,
단일 커널(single kernel)의 단일 패스(single pass)에서 적어도 이미지 신호의 부분의 첫번째 제 1 차 도함수(a first, first order derivative)및 상기 이미지 신호의 부분의 두번째 제 1 차 도함수를 계산하기 위하여 상기 이미지 신호의 부분에 프로세서를 이용하여 상기 단일 커널을 적용하는 단계; 및
상기 첫번째 및 두번째 제 1차 도함수에 기초하여 상기 이미지 신호의 부분의 형태를 결정하는 단계를 포함하고,
상기 단일 커널을 적용하는 단계는 적어도 하나의 행(row)을 갖는 단일 커널을 적용하는 단계를 포함하고, 여기서 제 1 열은 제 1 자릿수(order of magnitude)의 적어도 하나의 음의 값을 포함하고, 제 2 열은 제 2 자릿수의 적어도 하나의 음의 값을 포함하고 그리고 제 3 열은 상기 제 1 자릿수의 제 1 컴포넌트 및 상기 제 2 자릿수의 제 2 컴포넌트를 포함하는 적어도 하나의 양의 값을 포함하며,
상기 첫번째 및 두번째 제 1차 도함수는 두 상이한 지점들 사이의 제 1 및 제 2 범위들에 대한 픽셀 값의 증가량에 각각 대응하는,
이미지 신호의 형태들을 검출하기 위한 방법.
제 1항에 있어서,
상기 이미지 신호를 획득하는 단계를 더 포함하며, 상기 이미지 신호는 디지털 이미지 신호를 포함하는, 이미지 신호의 형태들을 검출하기 위한 방법.
제 1항에 있어서,
상기 이미지 신호의 부분의 형태를 결정하는 단계는,
상기 첫번째 및 두번째 제 1차 도함수에 기초하여 상기 이미지 신호 내의 에지를 검출하는 단계; 및
상기 첫번째 및 두번째 제 1차 도함수에 기초하여 상기 이미지 신호 내의 상기 에지의 형태를 결정하는 단계를 포함하는,
이미지 신호의 형태들을 검출하기 위한 방법.
제 3항에 있어서,
상기 에지를 검출하는 단계는 상기 첫번째 및 두번째 제 1차 도함수 중 하나가 임계치보다 클 때 상기 에지를 검출하는 단계를 포함하는, 이미지 신호의 형태들을 검출하기 위한 방법.
제 3항에 있어서,
상기 에지의 형태를 결정하는 단계는 상기 첫번째 및 두번째 제 1차 도함수 사이의 비율에 기초하여 상기 에지의 형태를 결정하는 단계를 포함하는, 방법.
제 5항에 있어서,
상기 에지의 형태를 결정하는 단계는 상기 비율이 임계치 범위 내에 있을 때 상기 에지를 소프트(soft)한 것으로 식별하는(identify) 단계를 포함하는, 이미지 신호의 형태들을 검출하기 위한 방법.
제 5항에 있어서,
상기 에지의 형태를 결정하는 단계는 상기 비율이 임계치 범위를 초과하거나 임계치 범위 미만일 때 상기 에지를 하드(hard)한 것으로 식별하는 단계를 포함하는, 이미지 신호의 형태들을 검출하기 위한 방법.
삭제
제 1항에 있어서,
상기 제 2 자릿수는 상기 이미지 신호의 최대 가능 값의 함수인, 이미지 신호의 형태들을 검출하기 위한 방법.
제 1항에 있어서,
상기 커널의 단일 패스에서 상기 이미지 신호의 부분의 첫번째 제 1 차 도함수 및 상기 이미지 신호의 부분의 두번째 제 1 차 도함수를 계산하기 위하여 상기 이미지 신호의 부분에 상기 커널을 적용하는 단계는,
가중된 이미지 신호 값들을 획득하기 위하여 상기 이미지 신호의 부분의 대응하는 값들을 상기 커널의 음이 아닌 값들에 곱하는 단계;
상기 가중된 이미지 신호 값들을 합산하는 단계;
상기 합산의 제 1 자릿수의 값을 상기 첫번째 제 1 차 도함수로 식별하는 단계; 및
상기 합산의 제 2의 제 1 자릿수의 값을 상기 두번째 제 1 차 도함수로 식별하는 단계를 포함하는,
이미지 신호의 형태들을 검출하기 위한 방법.
제 10항에 있어서,
상기 합산의 제 1 자릿수의 값을 식별하는 단계는 나눗셈 연산의 몫을 상기 합산의 제 1 자릿수의 값으로 식별하는 단계를 포함하며,
상기 합산의 제 2 자릿수의 값을 식별하는 단계는 나눗셈 연산의 나머지를 상기 합산의 제 2 자릿수의 값으로 식별하는 단계를 포함하는, 이미지 신호의 형태들을 검출하기 위한 방법.
제 1항에 있어서,
상기 이미지 신호의 부분의 형태를 결정하는 단계는 상기 첫번째 및 두번째제 1 차 도함수에 기초하여 수직 방향으로 상기 이미지 신호의 부분의 형태를 결정하는 단계를 포함하며,
상기 방법은;
제 2 커널의 단일 패스에서 상기 이미지 신호의 부분의 세번째 제 1차 도함수 및 상기 이미지 신호의 부분의 네번째 제 1차 도함수를 계산하기 위하여 상기 이미지 신호의 부분에 제 2 커널을 적용하는 단계; 및
상기 세번째 및 네번째 제 1 차 도함수에 기초하여 수평 방향으로 상기 이미지 신호의 부분의 형태를 결정하는 단계를 더 포함하는,
이미지 신호의 형태들을 검출하기 위한 방법.
단일 커널의 단일 패스에서 적어도 이미지 신호의 부분의 첫번째 제 1차 도함수 및 상기 이미지 신호의 부분의 두번째 제 1차 도함수를 계산하고 상기 첫번째 제 1차 도함수 및 상기 두번째 제 1차 도함수에 기초하여 상기 이미지 신호의 부분의 형태를 결정하기 위하여 상기 이미지 신호의 부분에 상기 단일 커널을 적용하기 위한 에지 검출 모듈을 포함하는 프로세서를 포함하고,
상기 에지 검출 모듈은 적어도 하나의 행을 갖는 단일 커널을 적용하고, 여기서 제 1 열은 제 1 자릿수의 적어도 하나의 음의 값을 포함하고, 제 2 열은 제 2 자릿수의 적어도 하나의 음의 값을 포함하고 그리고 제 3 열은 상기 제 1 자릿수의 제 1 컴포넌트 및 상기 제 2 자릿수의 제 2 컴포넌트를 포함하는 적어도 하나의 양의 값을 포함하며,
상기 첫번째 및 두번째 제 1차 도함수는 두 상이한 지점들 사이의 제 1 및 제 2 범위들에 대한 픽셀 값의 증가량에 각각 대응하는,
디바이스.
제 13항에 있어서,
상기 이미지 신호를 캡쳐하기 위한 이미지 센서를 더 포함하며, 상기 이미지 신호는 디지털 이미지 신호를 포함하고, 상기 프로세서는 상기 이미지 센서로부터 상기 디지털 이미지 신호를 획득하는, 디바이스.
제 13항에 있어서,
상기 에지 검출 모듈은 상기 첫번째 및 두번째 제 1차 도함수에 기초하여 상기 이미지 신호 내의 에지를 검출하고, 상기 첫번째 및 두번째 제 1차 도함수에 기초하여 상기 이미지 신호 내의 상기 에지의 형태를 결정하는, 디바이스.
제 15항에 있어서,
상기 에지 검출 모듈은 상기 첫번째 제 1차 도함수 및 상기 두번째 제 1차 도함수 중 하나가 임계치를 초과할 때 상기 에지를 검출하는, 디바이스.
제 15항에 있어서,
상기 에지 검출 모듈은 상기 첫번째 및 두번째 제 1차 도함수 사이에 비율에 기초하여 상기 에지의 형태를 결정하는, 디바이스.
제 17항에 있어서,
상기 에지 검출 모듈은 상기 비율이 임계치 범위 내에 있을 때 상기 에지를 소프트한 것으로 식별하는, 디바이스.
제 17항에 있어서,
상기 에지 검출 모듈은 상기 비율이 임계치 범위를 초과하거나 임계치 범위 미만일 때 상기 에지를 하드한 것으로 식별하는, 디바이스.
삭제
제 13항에 있어서,
상기 제 2 자릿수는 상기 이미지 신호의 최대 가능 값의 함수인, 디바이스.
제 13항에 있어서,
상기 에지 검출 모듈은, 가중된 이미지 신호 값들을 획득하기 위하여 상기 이미지 신호의 부분의 대응하는 값들을 상기 단일 커널의 음이 아닌 값들에 곱하고, 상기 가중된 이미지 신호 값들을 합산하고, 상기 합산의 제 1 자릿수의 값을 상기 첫번째 제 1차 도함수로 식별하며, 상기 합산의 제 2의 제 1 자릿수의 값을 상기 두번째 제 1차 도함수로 식별하는, 디바이스.
제 22항에 있어서,
상기 에지 검출 모듈은 나눗셈 연산의 몫을 상기 합산의 제 1 자릿수의 값으로 식별하고, 나눗셈 연산의 나머지를 상기 합산의 제 2 자릿수의 값으로 식별하는, 디바이스.
제 13항에 있어서,
상기 에지 검출 모듈은, 상기 첫번째 제 1차 도함수 및 상기 두번째 제 1차 도함수에 기초하여 수직 방향으로 상기 이미지 신호의 부분의 형태를 결정하고, 제 2 커널의 단일 패스에서 상기 이미지 신호의 부분의 세번째 제 1차 도함수 및 네번째 제 1차 도함수를 계산하기 위하여 상기 이미지 신호의 부분에 상기 제 2 커널을 적용하며, 상기 세번째 제 1차 도함수 및 상기 네번째 제 1차 도함수에 기초하여 수평 방향으로 상기 이미지 신호의 부분의 형태를 결정하는, 디바이스.
제 13항에 있어서,
상기 디바이스는 무선 통신 디바이스를 포함하는, 디바이스.
제 13항에 있어서,
상기 디바이스는 집적 회로 디바이스를 포함하는, 디바이스.
컴퓨터 판독가능 매체로서,
프로세서로 하여금,
단일 커널의 단일 패스에서 적어도 이미지 신호의 부분의 첫번째 제 1차 도함수 및 상기 이미지 신호의 부분의 두번째 제 1차 도함수를 계산하기 위하여 상기 이미지 신호의 부분에 상기 단일 커널을 적용하도록 하고; 그리고
상기 첫번째 제 1차 도함수 및 상기 두번째 제 1차 도함수에 기초하여 상기 이미지 신호의 부분의 형태를 결정하도록 하는 명령들을 포함하고,
상기 프로세서로 하여금 상기 단일 커널을 적용하도록 하는 명령들은 상기 프로세서로 하여금 적어도 하나의 행을 갖는 단일 커널을 적용하도록 하는 명령들을 포함하고, 여기서 제 1 열은 제 1 자릿수의 적어도 하나의 음의 값을 포함하고, 제 2 열은 제 2 자릿수의 적어도 하나의 음의 값을 포함하고 그리고 제 3 열은 상기 제 1 자릿수의 제 1 컴포넌트 및 상기 제 2 자릿수의 제 2 컴포넌트를 포함하는 적어도 하나의 양의 값을 포함하며,
상기 첫번째 및 두번째 제 1차 도함수는 두 상이한 지점들 사이의 제 1 및 제 2 범위들에 대한 픽셀 값의 증가량에 각각 대응하는,
컴퓨터 판독가능 매체.
제 27항에 있어서,
상기 프로세서로 하여금 상기 이미지 신호를 획득하도록 하기 위한 명령들을 더 포함하며, 상기 이미지 신호는 디지털 이미지 신호를 포함하는, 컴퓨터 판독가능 매체.
제 27항에 있어서,
상기 프로세서로 하여금 상기 이미지 신호의 부분의 형태를 결정하도록 하기 위한 명령들은,
상기 프로세서로 하여금;
상기 첫번째 및 두번째 제 1차 도함수에 기초하여 상기 이미지 신호 내의 에지를 검출하도록 하고; 그리고
상기 첫번째 및 두번째 제 1차 도함수에 기초하여 상기 이미지 신호 내의 상기 에지의 형태를 결정하도록 하기 위한 명령들을 포함하는, 컴퓨터 판독가능 매체.
제 29항에 있어서,
상기 프로세서로 하여금 상기 에지를 검출하도록 하기 위한 명령들은 상기 프로세서로 하여금 상기 첫번째 제 1차 도함수 및 상기 두번째 제 1차 도함수 중 하나가 임계치를 초과할 때 상기 에지를 검출하게 하도록 하기 위한 명령들을 포함하는, 컴퓨터 판독가능 매체.
제 29항에 있어서,
상기 프로세서로 하여금 상기 에지의 형태를 결정하도록 하기 위한 명령들은 상기 프로세서로 하여금 상기 첫번째 및 두번째 제 1차 도함수 사이에 비율에 기초하여 상기 에지의 형태를 결정하도록 하기 위한 명령들을 포함하는, 컴퓨터 판독가능 매체.
제 31항에 있어서,
상기 프로세서로 하여금 상기 에지의 형태를 결정하도록 하기 위한 명령들은 상기 프로세서로 하여금 상기 비율이 임계치 범위 내에 있을 때 상기 에지를 소프트한 것으로 식별하도록 하기 위한 명령들을 포함하는, 컴퓨터 판독가능 매체.
제 31항에 있어서,
상기 프로세서로 하여금 상기 에지의 형태를 결정하도록 하기 위한 명령들은 상기 프로세서로 하여금 상기 비율이 임계치 범위를 초과하거나 임계치 범위 미만일 때 상기 에지를 하드한 것으로 식별하도록 하기 위한 명령들을 포함하는, 컴퓨터 판독가능 매체.
삭제
제 27항에 있어서,
상기 제 2 자릿수는 상기 이미지 신호의 최대 가능 값의 함수인, 컴퓨터 판독가능 매체.
제 27항에 있어서,
상기 프로세서로 하여금 단일 커널의 단일 패스에서 상기 이미지 신호의 부분의 첫번째 제 1차 도함수 및 상기 이미지 신호의 부분의 두번째 제 1차 도함수를 계산하기 위하여 상기 이미지 신호의 부분에 상기 단일 커널을 적용하도록 하기 위한 명령들은, 상기 프로세서로 하여금,
가중된 이미지 신호 값들을 획득하기 위하여 상기 이미지 신호의 부분의 대응하는 값들을 상기 커널의 음이 아닌 값들에 곱하도록 하고;
상기 가중된 이미지 신호 값들을 합산하도록 하고;
상기 합산의 제 1 자릿수의 값을 상기 첫번째 제 1차 도함수로 식별하도록 하며; 그리고
상기 합산의 제 2의 제 1 자릿수의 값을 상기 두번째 제 1차 도함수로 식별하게 하도록 하기 위한 명령들을 포함하는,
컴퓨터 판독가능 매체.
제 36항에 있어서,
상기 프로세서로 하여금 상기 합산의 제 1 자릿수의 값을 식별하도록 하기 위한 명령들은 상기 프로세서로 하여금 나눗셈 연산의 몫을 상기 합산의 제 1 자릿수의 값으로 식별하도록 하기 위한 명령들을 포함하고,
상기 프로세서로 하여금 상기 합산의 제 2 자릿수의 값을 식별하도록 하기 위한 명령들은 상기 프로세서로 하여금 나눗셈 연산의 나머지를 상기 합산의 제 2 자릿수의 값으로 식별하도록 하기 위한 명령들을 포함하는, 컴퓨터 판독가능 매체.
제 27항에 있어서,
상기 프로세서로 하여금 상기 이미지 신호의 부분의 형태를 결정하도록 하기 위한 명령들은 상기 프로세서로 하여금 상기 첫번째 제 1차 도함수 및 상기 두번째 제 1차 도함수에 기초하여 수직 방향으로 상기 이미지 신호의 부분의 형태를 결정하도록 하기 위한 명령들을 포함하며, 상기 프로세서로 하여금,
제 2 커널의 단일 패스에서 상기 이미지 신호의 부분의 세번째 제 1차 도함수 및 상기 이미지 신호의 부분의 네번째 제 1차 도함수를 계산하기 위하여 상기 이미지 신호의 부분에 상기 제 2 커널을 적용하며; 그리고
상기 세번째 및 네번째 제 1차 도함수에 기초하여 수평 방향으로 상기 이미지 신호의 부분의 형태를 결정하도록 하기 위한 명령들을 더 포함하는,
컴퓨터 판독가능 매체.
단일 커널의 단일 패스에서 적어도 이미지 신호의 부분의 첫번째 제 1차 도함수 및 상기 이미지 신호의 부분의 두번째 제 1차 도함수를 계산하기 위하여 상기 이미지 신호의 부분에 상기 커널을 적용하기 위한 수단; 및
상기 첫번째 제 1차 도함수 및 상기 두번째 제 1차 도함수에 기초하여 상기 이미지 신호의 부분의 형태를 결정하기 위한 수단을 포함하고,
상기 단일 커널 적용 수단은 적어도 하나의 행을 갖는 단일 커널을 적용하고, 여기서 제 1 열은 제 1 자릿수의 적어도 하나의 음의 값을 포함하고, 제 2 열은 제 2 자릿수의 적어도 하나의 음의 값을 포함하고 그리고 제 3 열은 상기 제 1 자릿수의 제 1 컴포넌트 및 상기 제 2 자릿수의 제 2 컴포넌트를 포함하는 적어도 하나의 양의 값을 포함하며,
상기 첫번째 및 두번째 제 1차 도함수는 두 상이한 지점들 사이의 제 1 및 제 2 범위들에 대한 픽셀 값의 증가량에 각각 대응하는, 디바이스.
제 39항에 있어서,
상기 이미지 신호를 획득하기 위한 수단을 더 포함하며, 상기 획득 수단은 디지털 이미지 신호를 획득하는, 디바이스.
제 39항에 있어서,
상기 형태 결정 수단은 상기 첫번째 및 두번째 제 1차 도함수에 기초하여 상기 이미지 신호 내의 에지를 검출하고, 상기 첫번째 및 두번째 제 1차 도함수에 기초하여 상기 이미지 신호 내의 상기 에지의 형태를 결정하는, 디바이스.
제41항에 있어서,
상기 형태 결정 수단은 상기 첫번째 및 두번째 제 1차 도함수 중 하나가 임계치를 초과할 때 상기 에지를 검출하는, 디바이스.
제41항에 있어서,
상기 형태 결정 수단은 상기 첫번째 제 1차 도함수 및 상기 두번째 제 1차 도함수 사이에 비율에 기초하여 상기 에지의 형태를 결정하는, 디바이스.
제43항에 있어서,
상기 형태 결정 수단은 상기 비율이 임계치 범위 내에 있을 때 상기 에지를 소프트한 것으로 식별하는, 디바이스.
제43항에 있어서,
상기 형태 결정 수단은 상기 비율이 임계치 범위를 초과하거나 임계치 범위 미만일 때 상기 에지를 하드한 것으로 식별하는, 디바이스.
삭제
제39항에 있어서,
상기 제 2 자릿수는 상기 이미지 신호의 최대 가능 값의 함수인, 디바이스.
제 39항에 있어서,
상기 커널 적용 수단은 가중된 이미지 신호 값들을 획득하기 위하여 상기 이미지 신호의 부분의 대응하는 값들을 상기 단일 커널의 음이 아닌 값들에 곱하고, 상기 가중된 이미지 신호 값들을 합산하고, 상기 합산의 제 1 자릿수의 값을 상기 첫번째 제 1차 도함수로 식별하며, 그리고 상기 합산의 제 2의 제 1 자릿수 값을 상기 두번째 제 1차 도함수로 식별하는, 디바이스.
제48항에 있어서,
상기 커널 적용 수단은 나눗셈 연산의 몫을 상기 합산의 제 1 자릿수의 값으로 식별하고, 나눗셈 연산의 나머지를 상기 합산의 제 2 자릿수의 값으로 식별하는, 디바이스.
제 39항에 있어서,
상기 형태 결정 수단은 상기 첫번째 및 두번째 제 1차 도함수에 기초하여 수직 방향으로 상기 이미지 신호의 부분의 형태를 결정하며, 상기 단일 커널 적용 수단은 제 2 커널의 단일 패스에서 상기 이미지 신호의 부분의 세번째 제 1차 도함수 및 상기 이미지 신호의 부분의 네번째 제 1차 도함수를 계산하기 위하여 상기 이미지 신호의 부분에 상기 제 2 커널을 적용하고, 상기 형태 결정 수단은 상기 세번째 및 네번째 제 1차 도함수에 기초하여 수평 방향으로 상기 이미지 신호의 부분의 형태를 결정하는, 디바이스.