KR101499927B1

KR101499927B1 - 불규칙성을 제거하기 위해 이미지들의 에지들을 평활화하는 시스템, 방법 및 장치

Info

Publication number: KR101499927B1
Application number: KR1020117007617A
Authority: KR
Inventors: 데일 알. 아담스
Original assignee: 실리콘 이미지, 인크.
Priority date: 2008-09-04
Filing date: 2009-08-20
Publication date: 2015-03-06
Also published as: US9305337B2; CN102177705B; JP2012502555A; EP2332325B8; EP2332325B1; WO2010027686A2; CN102177705A; EP2332325A4; US20140105517A1; US8559746B2; US20100054622A1; EP2332325A2; JP5597636B2; KR20110065491A; WO2010027686A3

Abstract

불규칙성들을 제거하기 위해 이미지들의 에지들을 평활화하는 시스템, 방법 및 장치가 기술된다. 본 발명의 일 양상에서, 이미지 프로세스싱 방법은, 연관된 집합의 에지 특성들을 갖는 이미지의 에지를 식별하는 단계와, 연관된 집합의 에지 특성들을 결정하는 단계와, 이미지를 기반으로 제2 이미지를 생성하기 위해 연관된 집합의 에지 특성들을 기반으로 에지의 픽셀에 로우 패스 필터를 적용하는 단계를 포함하고, 이미지의 에지는 제2 이미지에서 평활화된다. 본 방법은 연관된 집합의 에지 특성들을 기반으로 고유 이미지 및 제2 (에지-평활화된) 이미지의 블렌드인 제3 이미지를 생성하는 단계를 더 포함한다.

Description

불규칙성을 제거하기 위해 이미지들의 에지들을 평활화하는 시스템, 방법 및 장치{SYSTEM, METHOD, AND APPARATUS FOR SMOOTHING OF EDGES IN IMAGES TO REMOVE IRREGULARITIES}

관련 출원에 대한 상호참조

본 출원은, 본 명세서에 참조용으로 전체가 인용된, 2008년 9월 4일에 출원된 미국 특허 출원 제12/204,760호에 대한 우선권을 주장한다.

휴먼 비주얼 시스템은 (예를 들어, 디지털 이미지, 물리적 이미지, 디지털 사진, 물리적 사진, 또는 비디오 프레임들에서) 이미지의 객체들의 에지들에 대해 매우 민감하다. 따라서, (다수의 타입들의 디지털 처리된 콘텐츠의 경우에서처럼) 거칠거나, 뾰족하거나(jagged), 또는 울퉁불퉁한(stair-stepped) 에지들과 같이, 물리적 또는 전자 이미지에 존재하는 에지들의 불규칙성(irregularities)은 현저해지는 경향이 있으며 반대할만 하다.

디지털 압축으로부터의 아티팩트들, 저품질의 디인터레이싱(poor-quality deinterlacing), 및 이미지의 디지털 샘플링의 해상도 한계들을 포함해서, 이러한 불규칙한 에지들이 이미지에 나타날 수 있는 다양한 이유들이 존재한다. 또한, 저 해상도 이미지의 더 높은 해상도로의 변환은, 종종, 고유 이미지의 해상도 한계들이 스케일링된 이미지에서 불규칙한 에지들로서 보이게 한다.

도 1은, 일 실시예에 따른, 비디오 소스들을 갖는 홈 엔터테인먼트 시스템을 도시한 블록도이다.
도 2는, 일 실시예에 따른, 비디오 소스들에 연결된 비디오 허브를 갖는 홈 엔터테인먼트 시스템을 도시한 블록도이다.
도 3은, 일 실시예에 따른, 에지 평활화 캐퍼빌러티들을 갖는 광 디스크 장치의 블록도이다.
도 4는, 일 실시예에 따른, 에지 평활화 캐퍼빌러티들을 갖는 시스템의 블록도이다.
도 5는, 일 실시예에 따른, 에지 평활화 캐퍼빌러티들을 갖는 이미지 프로세서의 블록도이다.
도 6a는, 일 실시예에 따라, 기울기 크기 임계값이 어떻게 결정되는지를 도시한 그래프이다.
도 6b는, 일 실시예에 따라, 임계-크기 기울기가 어떻게 결정되는지를 도시한 그래프이다.
도 6c는, 일 실시예에 따라, 검출된 에지의 주변에 위치한 다수의 빈들(bins) 및 이미지 픽셀들의 도표적 표현을 도시한다.
도 7은, 일 실시예에 따른, 이미지의 에지 평활화를 실행하는 일례의 프로세스를 도시한 플로우챠트이다.
도 8은, 일 실시예에 따른, 검출된 에지의 불규칙성을 제거하는 일례의 프로세스를 도시한 플로우챠트이다.
도 9는, 일 실시예에 따른, 동적으로 결정된 기울기 크기 임계값을 기반으로 픽셀이 에지에 위치하는지를 결정하는 일례의 프로세스를 도시한 플로우챠트이다.

이하의 설명 및 도면들은 예시적인 것이며 제한의 의미로 해석되지 않는다. 본 발명의 철저한 이해를 제공하기 위해 다수의 특정 세부 사항들이 기술된다. 그러나, 특정 실례들에서, 본 설명을 모호하게 하지 않기 위해 공지되어 있거나 종래의 세부 사항들은 기술되지 않는다. 본 발명의 하나의 실시예 또는 일 실시예에 대한 참조들은 동일한 실시예를 참조하는 것일 수 있으나, 반드시 그런 것은 아니다; 이러한 참조들은 적어도 하나의 실시예들을 의미한다.

본 명세서에서, "하나의 실시예" 또는 "일 실시예"에 대한 참조는, 실시예와 관련해서 기술된 특정 피처, 구조, 또는 특징이 본 설명의 적어도 하나의 실시예에 포함됨을 의미한다. 본 명세서 곳곳에서의 "일 실시예에서"라는 구절의 출현은 반드시 모두 동일한 실시예를 언급하는 것이 아니며, 다른 실시예들과 상호 배타적인 개별적이거나 대안의 실시예들도 아니다. 또한, 일부 실시예들에 의해서는 나타나지만 다른 실시예들에 의해서는 나타나지 않을 수도 있는 각종 피처들이 기술된다. 유사하게, 일부 실시예들에서는 요구 사항들이지만 다른 실시예들에서는 요구 사항이 아닐 수도 있는 각종 요구 사항들이 기술된다.

본 발명의 문맥 내에서, 또한, 각각의 용어가 사용되는 특정 문맥에서, 본 명세서에서 사용된 용어들은 일반적으로 본 기술 분야의 일상적인 의미들을 갖는다. 본 발명을 기술하는데 사용되는 특정 용어들은 후술되거나, 본 명세서의 다른 장소에서 기술되어, 본 발명의 설명에 대한 추가 안내를 실행자에게 제공한다. 편의상, 특정 용어들은, 예를 들어, 이태릭체 및/또는 인용 부호들을 사용해서, 하이라이팅될 수 있다. 하이라이팅의 사용은 용어의 범위 및 의미에는 영향을 끼치지 않는다; 용어의 범위 및 의미는, 하이라이팅의 여부와 상관 없이, 동일한 문맥에서는 동일하다. 동일물은 여러 방법으로 언급될 수 있음을 알 것이다.

따라서, 대안 언어 및 동의어들은 본 명세서에 기술된 용어들의 임의의 하나 이상의 용어들에 대해 사용될 수 있으며, 본 명세서에서 용어가 상세히 설명되거나 기술되는 지의 여부에 따라 특별한 의미가 부여되지는 않는다. 특정 용어들의 동의어들이 제공된다. 하나 이상의 동의어들의 인용은 다른 동의어들의 사용을 배제하지 않는다. 본 명세서에 기술된 임의의 용어들의 일례들을 포함하는 본 명세서 곳곳의 일례들의 사용은 단지 예시적인 것으로, 본 발명 또는 임의의 예시적인 용어의 범위 및 의미를 더 제한하려는 의도는 아니다. 마찬가지로, 본 발명은 본 명세서에 기술된 각종 실시예들로 제한되지 않는다.

본 발명의 범위를 더 제한하려는 의도 없이, 본 발명의 실시예들에 따른 도구들, 장치들, 방법들 및 관련 결과들의 일례들이 후술된다. 제목들 또는 부제목들이 독자의 편의를 위해 일례들에서 사용될 수 있으며, 어떠한 방법으로든 본 발명의 범위를 제한하지 않음을 주지하라. 달리 정의되지 않는 한, 본 명세서에서 사용된 모든 기술적 과학적 용어들은 본 발명이 속한 기술 분야의 당업자에 의해 통상적으로 이해되는 바와 동일한 의미를 갖는다. 논쟁이 있는 경우, 본 문서는 정의들을 포함해서 제어될 것이다.

본 발명의 실시예들은 디지털 이미지들 및 디지털 비디오에서의 에지 검출 및 에지 평활화를 위한 시스템들, 방법들 및 장치들을 포함한다.

이미지들의 불규칙한 에지들은 저 해상도(a small resolution)를 갖는 압축 콘텐츠(예를 들어, 웹-기반 이미지들 및 비디오 콘텐츠, 스트리밍 콘텐츠 등)에 만연하다. 예를 들어, 디지털 이미지들 및/또는 디지털 비디오는 종종 디스크 공간을 절약하거나 송신 시간을 감소시키기 위해 압축된다. 따라서, 디지털 이미지들 또는 비디오 프레임들은 종종 제한된 해상도를 가지며 사람의 눈에 저 품질로 나타난다.

상이한 비디오 포맷들은 상이한 해상도들을 갖는다. HD DVD 및 블루레이(Blu-ray) 등의 고해상도 포맷들은 DVD, VCD, VHS 테이프 등의 더 구형의 포맷들 보다 상당히 더 높은 해상도를 갖는다. 고화질 소스들(high-definition sources)의 해상도는 종종 현재의 디지털 디스플레이 디바이스들과 직접 호환가능하지만, 더 낮은 해상도 이미지들 및 포맷들은 더 큰 디스플레이 스크린에 적합하도록 스케일 업되어야만 한다. 이것이 실행될 때, 이미지의 에지들은 확대되고 이러한 에지들의 더 낮은 해상도가 사람의 눈에 명백하게 된다. 가변 포맷들을 지원하는 디스플레이들, 미디어 플레이어들, 및 광 디스크 리더들 간의 상호 호환성은, 더 낮은 해상도 포맷들이 종종 상이한 해상도로 스케일링될 것을 요구해서, 스케일링된 이미지들 및/또는 비디오들에서 거칠거나 불규칙한 에지들이 나타나게 한다.

본 발명의 실시예들은, 특히, 거칠거나, 뾰족하거나 또는 불규칙한 에지들을 갖는 이미지들 및/또는 비디오들을 뷰하는 비주얼 불만(visual displeasure)을 감소 또는 제거하기 위해, 이미지 또는 비디오 프레임들에서 에지들을 검출하는 방법들을 포함한다. 에지들은 임의의 공지된 편리한 수단 또는 임의의 변경을 통해 검출될 수 있다. 에지들의 세기(strength)(예를 들어, 기울기 크기로 표시됨) 및 방향이 또한 통상 임의의 공지된 편리한 수단 또는 임의의 변경을 통해 검출된다. 예를 들어, 이미지 기울기들을 사용해서 에지들이 검출되었으면, 에지의 세기는 기울기 크기를 계산함으로써 결정되고, 에지의 방향은 기울기의 수직 및 수평 성분들을 사용해서 에지 각도의 탄젠트를 계산함으로써 결정될 수 있다.

에지들의 불규칙성들의 잠정적인 존재는, 일 실시예에서, 에지의 방향으로 방향성 로우 패스 필터가 적용될 때 제거되어서, 이미지의 전체 외관을 개선한다. 일부 실례들에서, 추가 프로세싱이 실행되어 다른 더 최적화된 이미지를 생성할 수 있다. 더 최적화된 이미지는, 크기 기울기들 및 에지 방향 결정들을 기반으로 에지가 얼마나 '강한(strong)'지를 나타내는 검출된 에지의 '정확도(accuracy)'에 관한 양자화된 데이터를 추적함으로부터 생성될 수 있다.

예를 들어, 더 최적화된 이미지, 또는 비디오의 프레임들은 고유 소스 및 평활화된 소스의 지능적 조합일 수 있어서, 더 많은 결정론적 에지들을 갖는 고유 콘텐츠의 일부분들은 평활화된 소스로부터 취해지고, 더 적은 결정론적 에지들을 갖는 고유 콘텐츠의 일부분들은 고유 소스로부터 취해진다. 더 최적화된 이미지는, 기울기 크기를 기반으로 에지가 얼마나 '강한'지를 나타내고 에지 방향 결정들을 기반으로 에지 각도가 얼마나 '일관적(consistent)'인지를 나타내는 검출된 에지의 '정확도'에 관한 양자화된 데이터를 추적함으로부터 생성될 수 있다.

본 발명의 실시예들은 재생 또는 프로세싱을 위해 비디오 콘텐츠를 수신, 생성, 또는 변경하는 임의의 타입의 디바이스에 적용될 수 있다. 디바이스는 임의의 타입의 미디어 플레이어, 디스플레이 디바이스, 포터블 비디오 플레이어(예를 들어, iPOD, 아이폰(iPhone), iPOD 독, 포터블 DVD 플레이어 등), 셀 폰, 데스크탑 컴퓨터, 랩탑 컴퓨터, 블랙베리 등일 수 있다. 수신된 비디오 또는 이미지 콘텐츠는, 인터넷 콘텐츠(예를 들어, 스트리밍 또는 다운로드됨), 로컬 기억 콘텐츠, 원격 디바이스에 기억된 콘텐츠, 및/또는 판독 가능 미디어(예를 들어, 자기, 광 등)에 기억된 콘텐츠를 포함하지만, 이들로만 제한되지 않는, 본 발명의 신규한 양상의 범위 내의 각종 소스들로부터 수신된 것일 수 있다.

도 1은, 일 실시예에 따른, 비디오 소스들(104A-B)에 연결된 디스플레이 유닛(102)을 갖는 시스템(100)을 도시한 블록도이다.

시스템(100)은 다수의 비디오 소스들(104A-B)(예를 들어, 엑스박스(X-box), 플레이스테이션(PlayStations)을 포함하지만 이들로만 제한되지 않는 게이밍 콘솔, VCR을 포함하지만 이로만 제한되지 않는 미디어 리더들, CD 플레이어들, DVD 플레이어들, 블루레이 플레이어들, HD-DVD 플레이어들, 및 기타 A/V 소스들을 포함하지만 이들로만 제한되지 않는 광 디스크 장치들 등의 오디오/비디오 소스들)에 연결된 디스플레이 유닛(102)(예를 들어, 텔레비전 세트, 플라즈마 디스플레이, CRT 디스플레이, LCD 디스플레이, LED 디스플레이, 및 기타 디스플레이 유닛들)을 포함한다. 일 실시예에서, 비디오 소스들(104A-B)은 존재할 수도 있는 임의의 잠정적인 불규칙성을 제거하기 위한 이미지 및/또는 비디오 에지 검출 및 에지 평활화 캐퍼빌러티들을 갖는다. 평활화된 에지들을 갖는 이미지들/비디오는 디스플레이 유닛(102)에 디스플레이된 디지털 멀티미디어의 비주얼 외관을 강화한다. 유사하게, 디스플레이 유닛(102)은 이미지 또는 비디오 콘텐츠의 에지들을 평활화하는 기능을 가질 수도 있다. 불규칙한 에지들은 미디어 콘텐츠, 광 디스크, 비디오 소스들(104A-B)의 고유 한계들(예를 들어, 하드웨어 판독/미디어 콘텐츠 디코딩), 또는 상술된 바의 조합으로 인해 존재할 수 있다.

도 2는, 일 실시예에 따른, 비디오 소스들(204A-B)에 연결된 비디오 허브(250)를 갖는 시스템(200)을 도시한 블록도이다.

일례의 시스템(200)은 비디오 소스들(204A-B), 디스플레이 유닛(202), 및 비디오 허브(250)를 포함한다. 비디오 소스들(204A-B)은 HDMI 커넥터들, 아날로그 비디오 커넥터들, 및/또는 아날로그 오디오 커넥터들을 통해 비디오 허브(250)에 연결될 수 있다. 비디오 허브(250)의 출력은 HDMI 포트(예를 들어, 비디오 HDMI) 또는 아날로그 커넥터들을 통해 디스플레이 유닛(202)에 연결될 수 있다.

허브(250)는 소스들(204A-B)로부터 행선 디바이스들(예를 들어, 디스플레이 유닛(202))로 시스템(200)의 오디오 및 비디오 신호들을 모두 라우팅한다. 일 실시예에서, 허브(250)는 입력 신호들 및 포맷들의 자동 검출에 의해 오디오 및/또는 비디오 신호들의 스위칭 및 라우팅을 제어한다. 예를 들어, 허브(250)는 포맷을 검출해서 아날로그 비디오 입력들 및/또는 아날로그 오디오 입력들을 HDMI 호환 가능한 디지털 신호로 변환할 수 있다.

본 발명의 실시예들에 따라, 비디오 허브(250)는 비디오 소스들(204A-B)로부터 수신된 이미지들 및/또는 비디오들의 불규칙한 에지들을 평활화하는 기능을 갖는다. 에지 평활화 캐퍼빌러티들은 하드웨어 컴포넌트들, 소프트웨어 컴포넌트들, 및/또는 임의의 조합/부조합을 통해 구현될 수 있다. 비디오 허브(250)의 컴포넌트들의 일례들은 도 4-5를 더 참조해서 설명된다.

도 3은, 일 실시예에 따른, 불규칙성들의 잠정적인 존재를 제거하기 위해 에지를 평활화하는 캐퍼빌러티들을 갖는 광 디스크 장치(300)로 도시된 미디어 플레이어의 블록도이다.

미디어 플레이어(예를 들어, 광 디스크 장치(300))는 광 디스크 리더(302), 프로세싱 유닛(304), 메모리(306), 디코더(308), 및/또는 이미지 프로세서(350)를 포함한다. 일부 실시예들에서, 임의의 상술된 모듈들/디바이스들 또는 표현된 기능들은 전체적으로 또는 부분적으로 미디어 플레이어(예를 들어, 광 디스크 장치(300))의 외부에 있을 수 있다. 다른 실시예들에서, 광 디스크 장치 외의 미디어 플레이어의 경우, 광 디스크 리더(302)가 본 발명의 신규한 분야에서 벗어나지 않은 채로 임의의 다른 적합한 미디어 리더로 대체될 수 있음을 알 것이다. 다른 타입들의 적합한 미디어 리더는 공지된 및/또는 편리한 수단으로 동작할 수 있다.

광 디스크 리더(302)는 광 디스크에 빛을 조사하거나, 광 디스크로부터 반사된 빛을 검출하거나, 검출된 빛을 전기적 신호로 변환할 수 있는 소프트웨어 에이전트들 및/또는 하드웨어 컴포넌트들의 임의의 조합일 수 있다. 광 디스크 리더(302)는 CD, DVD, HD-DVD, 블루레이 및 HDV를 포함하지만 이들로만 제한되지 않는 임의의 광 디스크를 판독할 수 있다. 호환 가능한 광 디스크들은 또한 판독 전용 메모리(ROM), WORM(write once - read many), I(Interactive) 및/또는 E(erasable)일 수 있다.

일 실시예에서, 광 디스크 장치(300)는 광 디스크 리더(302)에 연결된 메모리(306)를 포함한다. 메모리(306)는 광 디스크 리더(302)를 위한 데이터 입력/출력 버퍼로서 작용하는 소프트웨어 에이전트들 및/또는 하드웨어 컴포넌트들의 임의의 조합일 수 있다. 일 실시예에서, 광 디스크 장치(300)는 광 디스크 리더(302) 및 메모리(306)에 연결된 디코더(308)를 포함한다. 디코더(308)는 비디오/오디오 콘텐츠 및 하드웨어 디코더들과 호환 가능한 코덱들을 갖는 소프트웨어 에이전트들 및/또는 하드웨어 컴포넌트들의 임의의 조합일 수 있다. 디코더(308)는 디지털 비디오 및/또는 오디오 콘텐츠를 수신해서 압축 해제할 수 있다. 예를 들어, 디코더(308)는 통상 MPEG-2, H.264/AVC, SMPTE VC-1, 및 H.263, 돌비 디지털(Dolby Digital), DTS, 리니어 PCM, 돌비 디지털 플러스(Dolby Digital Plus), DTS-HD 고해상도 오디오, 돌비 TrueHD, 및 DTS-HD 마스터를 포함하는 코덱들을 지원하지만, 이들로만 제한되지는 않는다. 오디오도 또한 지원될 수 있다.

광 디스크 장치(300)의 일 실시예는 광 디스크 리더(302)에 연결된 프로세싱 유닛(304)을 포함한다. 일부 실례들에서, 프로세싱 유닛(304)은 메모리(306) 및/또는 이미지 프로세서(350)에 연결된다. 프로세싱 유닛(304)은 광 디스크 장치(300)에 의해 사용된 명령들을 실행할 수 있는 소프트웨어 에이전트들 및/또는 하드웨어 컴포넌트들의 임의의 조합일 수 있다. 일 실시예에서, 프로세싱 유닛(304)은 내부 및/또는 외부 요청들을 처리하고 필요한 계산들을 실행한다. 프로세싱 유닛(304)은, 일부 실시예들에서, 프로세싱 유닛(304) 및/또는 이미지 프로세서(350)에 의해 실행 가능한 명령들의 시퀀스들을 저장하는 메모리(306)와 통신할 수 있다. 광 디스크 장치(300)의 일 실시예는 이미지 프로세서(350)를 포함한다. 일 실시예에서, 이미지 프로세서는 메모리(306)에 연결된다. 이미지 프로세서(350)는 이미지, 비디오 프로세싱, 및/또는 디지털 오디오 프로세싱을 실행할 수 있는 소프트웨어 에이전트들 및/또는 하드웨어 컴포넌트들의 임의의 조합일 수 있다. 이미지 프로세서(350)의 일 실시예는 비디오 프로세서를 포함한다. 이미지들은 사진들, 도면들, 비디오 프레임들, 디지털 이미지들, 애니메이션들일 수 있다. 콘텐츠는 메모리(306)로부터 수신 또는 검색될 수 있다.

일 실시예에서, 이미지 프로세서(350)는 에지 검출 및/또는 이미지 또는 비디오 프레임들의 에지들의 불규칙성의 평활화와 연관된 모든 또는 일부 태스크들을 실행한다. 이미지 프로세서(350)의 일례의 컴포넌트들은 도 5를 더 참조해서 설명된다. 검출된 에지들은 에지들의 불규칙성들을 평활화하기 위해 에지 방향으로 방향성 로우 패스 필터링된다. 결과 이미지가 고유 이미지 대신 제시될 수 있다. 일부 실시예들에서, 이미지 프로세서(350)는 평활화된 이미지 및 고유 이미지를 지능적으로 병합해서 최적화된 이미지를 생성한다. 예를 들어, 에지들이 존재하는 이미지의 일부분들은 평활화된 이미지로부터 취해질 수 있으며, 에지들이 없거나 약한 에지들을 갖는 일부분들은 고유 이미지로부터 취해질 수 있다. 에지 검출 및/또는 평활화를 위해 이미지 프로세서(350)에 의해 실행되는 일례의 프로세스는 도 7-9의 플로우챠트들을 참조해서 더 기술된다.

상술된 일례는 광 디스크 리더와 관련해서 기술되었지만, 이미지 프로세서에 의해 실행되는 기능들과 관련된 양상들과 같은, 본 발명의 신규한 양상들은 위성 케이블, 또는 IPTV(DSL) 셋탑 박스들(예를 들어, DVR 기능을 갖거나 갖지 않음), 포터블 미디어 플레이어(예를 들어, iPOD, 준(Zune) 등), 및/또는 포터블 폰(예를 들어, 블랙베리, 아이폰 등을 포함하지만 이들로만 제한되지 않는 다기능 폰들)을 포함하지만 이들로만 제한되지 않는 미디어 플레이어들일 수도 있고 아닐 수도 있는 디바이스들에 적용될 수 있다.

또한, 신규한 기능들은 미디어 도킹 스테이션(예를 들어, iPOD, 준(Zune) 등을 위함), 인터넷 기반 미디어 플레이어들(예를 들어, VOD(video on demand) 인터넷 콘텐츠, 애플 TV, 넷플릭스(Netflix), 부두(Vudu), 베리스모(Verismo) 등), 디스플레이(예를 들어, TV, 모니터 등), DVD 레코더, 비디오 출력을 갖는 PC(예를 들어, 훌루(Hulu), 유튜브(YouTube) 등), 게이밍 콘솔(예를 들어, 엑스박스, PS3, 위(Wii) 등), AVR, 스위처, 디지털 캠코더, 및/또는 디지털 카메라로 구현될 수도 있다.

도 4는, 일 실시예에 따른, 에지 평활화 캐퍼빌러티들을 갖는 시스템(400)의 블록도이다.

시스템(400)은 프로세싱 유닛(404), 메모리(406), 메모리 컨트롤러(408), 호스트 인터페이스(410), 및/또는 이미지 프로세서(450)를 포함한다. 일부 실시예들에서, 임의의 상술된 모듈들/디바이스들 또는 표현된 기능들은 전체적으로 또는 부분적으로 시스템(400)의 외부에 있을 수 있다.

시스템(400)은, 일반적으로, 인터넷 콘텐츠(스트리밍 및/또는 로컬 기억), 디지털 이미징 디바이스(예를 들어, 캠코더, 카메라 등)에 의해 기록된 콘텐츠, 사용자 생성 콘텐츠, 기억 매체(예를 들어, VHS, 자기 매체 또는 광 매체)에 저장된 콘텐츠 등을 포함하지만 이들로만 제한되지 않는, 각종 소스들로부터 나온 디지털 이미지들, 디지털 비디오, 및/또는 디지털 오디오를 수신 및 처리할 수 있다. 호환 가능한 타입들의 광 미디어 포맷들은, CD, DVD, HD-DVD, 블루레이 및 HDV를 포함할 수 있지만 이들로만 제한되지는 않는다. 호환 가능한 광 디스크들은 또한 판독 전용 메모리(ROM), WORM(write once - read many), I(Interactive) 및/또는 E(erasable)일 수 있다.

시스템(400)의 일 실시예는 메모리 컨트롤러(408) 및/또는 호스트 인터페이스(410)를 통해 메모리(406)에 연결된 프로세싱 유닛(404)을 포함한다. 프로세싱 유닛(404)은 시스템(400)에 의해 사용된 명령들을 실행할 수 있는 소프트웨어 에이전트들 및/또는 하드웨어 컴포넌트들의 임의의 조합일 수 있다. 명령들은 메모리(406)와 통신함으로써 액세스될 수 있다.

일 실시예에서, 프로세싱 유닛(404)은 내부 및/또는 외부 요청들을 처리하고 필요한 계산들을 실행한다. 예를 들어, 프로세싱 유닛(404)은 디스크 드라이브를 오픈/클로즈하라는 요청, (예를 들어, 사용자가 플레이를 히트할 때) 디스크 드라이브를 판독하라는 요청, 재생을 잠시 멈추라는 요청, 또는 디스크 드라이브 판독을 정지하라는 요청 등을 수신해서, 실행을 위해 적합한 모듈들로 커맨드들을 릴레이할 수 있다. 프로세싱 유닛(404)은, 일부 실시예들에서, 프로세싱 유닛(404) 및/또는 이미지 프로세서(450)에 의해 실행 가능한 명령들의 시퀀스들을 저장하는 메모리(406)와 통신할 수 있다.

일 실시예에서, 시스템(400)은 이미지 프로세서(450) 및/또는 메모리 컨트롤러(408)에 연결된 메모리(406)를 포함한다. 메모리(406)는 이미지 프로세서(450)를 위한 데이터 입력/출력 버퍼로서 작용하는 소프트웨어 에이전트들 및/또는 하드웨어 컴포넌트들의 임의의 조합일 수 있다. 메모리(406)의 데이터는 시스템(400)의 내부 및/또는 외부에 있는 임의의 엔티티로부터 수신될 수 있다.

시스템(400)의 일 실시예는 메모리(406) 및 호스트 인터페이스(410)에 연결된 메모리 컨트롤러(408)를 포함한다. 메모리 컨트롤러(408)는 메모리(406)로부터 데이터를 판독하거나 메모리(406)에 데이터를 기록할 수 있는 소프트웨어 에이전트들 및/또는 하드웨어 컴포넌트들의 임의의 조합일 수 있다. 메모리 컨트롤러(408)는 프로세싱 유닛(404) 또는 다른 컴포넌트들로부터 수신된 커맨드들을 기반으로 메모리 트랜잭션들을 위해 메모리(406)에 액세스할 수 있다. 특히, 메모리 컨트롤러(408)는 외부 비디오, 오디오, 및/또는 이미지 소스들 등의 각종 내부 및/또는 외부 클라이언트들에 의해 메모리(406)에 대한 액세스를 조정한다.

일 실시예에서, 시스템(400)은 메모리 컨트롤러(408) 및/또는 프로세싱 유닛(404)에 연결된 호스트 인터페이스(410)를 선택적으로 포함한다. 호스트 인터페이스(410)는 프로세싱 유닛(404)에 의해 메모리 액세스를 관리할 수 있는 소프트웨어 에이전트들 및/또는 하드웨어 컴포넌트들의 임의의 조합일 수 있다.

호스트 인터페이스(410)는 프로세싱 유닛(404)에 의한 메모리(406)의 성능 액세스를 제공할 수 있다. 일 실시예에서, 호스트 인터페이스(410)는 프로세싱 유닛(404)과의 메모리 트랜잭션들을 서비스하는 캐시를 포함한다. 캐시는 가장 최근에 사용된 명령들 또는 메모리(406)로부터 이미 검색된 데이터를 저장하는 소규모 고속 메모리일 수 있다. 프로세싱 유닛(404)에 의해 실행되는 프로그램들이 통상 명령들 또는 데이터의 부집합을 반복해서 사용하기 때문에, 캐시는 메모리(406)를 항상 쓸 필요 없이 프로세싱 유닛(404) 트랜잭션들을 서비스하는 효율적인 방법이다.

시스템(400)의 일 실시예는 이미지 프로세서(450)를 포함한다. 일 실시예에서, 이미지 프로세서는 메모리(406)에 연결된다. 이미지 프로세서(450)는 이미지, 비디오 프로세싱, 및/또는 디지털 오디오 프로세싱을 실행할 수 있는 소프트웨어 에이전트들 및/또는 하드웨어 컴포넌트들의 임의의 조합일 수 있다. 이미지 프로세서(450)의 일 실시예는 비디오 프로세서(452) 및/또는 비디오 캡쳐 모듈(454)을 포함한다. 이미지들은 사진들, 도면들, 비디오 프레임들, 디지털 이미지들, 애니메이션들일 수 있다. 콘텐츠는 메모리(406)로부터 수신 또는 검색될 수 있다.

이미지 프로세서(450)에 의해 적용될 수 있는 프로세스들은, 예를 들어, 기하학적 변형(예를 들어, 확대, 스케일링, 감소, 회전 등), 색 조정, 밝기 조정, 콘트라스트 조정, 양자화, 상이한 컬러 스페이스로의 변환, 디지털 합성, 광 합성, 보간, 에일리어싱 감소, 필터링, 이미지 편집, 이미지 등록, 이미지 안정화, 이미지 세그먼테이션 등을 포함하지만 이들로만 제한되지는 않는다.

일 실시예에서, 이미지 프로세서(450)는 이미지 또는 비디오 프레임들에서의 에지 검출 및/또는 에지 평활화와 연관된 모든 또는 일부 태스크들을 실행한다. 이미지 프로세서(450)의 일례의 컴포넌트들은 도 5를 더 참조해서 설명된다. 검출된 에지들은 에지들의 임의의 불규칙성들을 평활화하기 위해 에지 방향으로 방향성 로우 패스 필터링된다. 결과 이미지가 고유 이미지 대신 제시될 수 있다. 일부 실시예들에서, 이미지 프로세서(450)는 평활화된 이미지 및 고유 이미지를 지능적으로 병합해서 최적화된 이미지를 생성한다. 예를 들어, 에지들이 존재하는 이미지의 일부분들은 평활화된 이미지로부터 취해질 수 있으며, 에지들이 없거나 약한 에지들을 갖는 일부분들은 고유 이미지로부터 취해질 수 있다. 에지 검출 및/또는 평활화를 위해 이미지 프로세서(450)에 의해 실행되는 일례의 프로세스는 도 7-9의 플로우챠트들을 참조해서 더 기술된다.

도 5는, 일 실시예에 따른, 에지 평활화 캐퍼빌러티들을 갖는 이미지 프로세서(550)의 블록도이다.

이미지 프로세서(550)는 에지 검출기 모듈(552), 필터 모듈(554), 에지 평활화 모듈을 갖는 블렌딩 모듈, 신뢰도 모듈(confidence level module)(558), 및/또는 빈 할당 모듈(560)을 포함한다. 일부 실시예들에서, 임의의 상술된 모듈들/디바이스들 또는 표현된 기능들은 전체적으로 또는 부분적으로 이미지 프로세서(550)의 외부에 있을 수 있다.

이미지 프로세서(550)의 일 실시예는 에지 검출기 모듈(552)을 포함한다. 에지 검출기 모듈(552)은 디지털 이미지 또는 비디오 프레임들에서 객체 에지들을 검출할 수 있는 소프트웨어 에이전트들 및/또는 하드웨어 컴포넌트들의 임의의 조합일 수 있다. 에지들은, 예를 들어, 변경된 소벨(Sobel) 기술을 통해, 이미지의 수직 및/또는 수평 기울기들을 계산함으로써 검출될 수 있다. 기울기 값들을 계산하는데 사용되는 기울기 필터 커널 파라미터들은 일반적으로 케이스 마다 변경 가능하며, 적용 가능하고, 조정 가능하다. 일 실시예에서, 이미지는 수직 및/또는 수평 기울기들을 검출하기 전에 노이즈 및 고주파 성분들의 영향들을 제거하거나 감소시키기 위해 로우 패스 필터링된다. 이미지는 필터 모듈(554)에 의해 로우 패스 필터링될 수 있다.

일 실시예에서, 에지 검출기 모듈(552)은 검출된 에지의 기울기 크기를 결정한다. 기울기 크기는, 예를 들어, 수평 및 수직 기울기들의 제곱들의 합의 제곱근을 계산함으로써, 수직 기울기 및 수평 기울기로부터 계산될 수 있다. 일 실시예에서, 기울기 크기 계산은 기울기 크기 모듈에 의해 실행된다.

일부 실례들에서, 임계값은 에지의 세기를 결정하기 위해 기울기 크기들과 관련해서 사용된다. 임계값은 미리 결정된 영역의 동적 범위를 기반으로 미리 결정된 픽셀 영역(예를 들어, 3x3, 5x5, 3x5, 10x10 등)에 대해 동적으로 결정될 수 있다. 일 실시예에서, 기울기 크기를 임계값과 비교해서, 에지의 세기를 나타내는 0 내지 1 사이의 값을 산출한다. 결과가 1에 가까울수록, 에지는 더 세다. 임계값 결정 및 비교 알고리즘들과 관련된 추가 세부 사항들은 도 6a/b 및 도 7을 더 참조해서 기술된다.

또한, 에지 검출기 모듈(552)은 에지 방향을 더 결정한다. 에지 방향은 수직 기울기 및 수평 기울기에 의해 형성된 에지 각도의 탄젠트를 계산함으로써 결정될 수 있다. 일 실시예에서, 에지 각도의 탄젠트를 계산하기 전에, 수평 및 수직 기울기 크기들은 에지 방향 계산의 불규칙성의 영향을 감소시키기 위해 로우 패스 필터링될 수 있다. 또한, 기울기 벡터의 부호는, 예를 들어, 에지 각도가 수평 또는 수직에 가까운 영역들에서의 노이즈를 감소시키기 위해 에지 검출기 모듈(552)에 의해 중간-필터링(median-filtered)될 수 있다.

이미지 프로세서(550)의 일 실시예는 2D 로우 패스 필터 모듈(554)을 포함한다. 필터 모듈(554)은 하나의 이미지 또는 이미지/비디오들의 일부분들에 로우 패스 필터를 적용할 수 있는 소프트웨어 에이전트들 및/또는 하드웨어 컴포넌트들의 임의의 조합일 수 있다.

로우 패스 필터는, 이미지 프로세싱을 실행하기 전에, 예를 들어, 에지 검출 및/또는 에지의 불규칙성을 평활화하는 프로시져들을 실행하기 전에, 이미지에 적용될 수 있다. 일 실시예에서, 가우스형 필터(Gaussian shaped filter)는 고주파 성분들 및 노이즈 요소들을 제거하거나 또는 감소시키는 이미지 프로세싱 전에 이미지에 적용될 수 있다.

일 실시예에서, 에지 방향은 방향성 필터링을 위해 사용되는 빈 방향을 결정하는데 사용된다. 빈 할당은 도 6c의 일례를 더 참조해서 그래픽적으로 도시되며, 에지 검출기(552)와 통신해서 빈 할당 모듈(560)에 의해 결정될 수 있다. 에지 방향들을 따른 방향성 필터들은 특정 로케이션들에 위치한 픽셀 값들을 사용하기 때문에, 각각의 픽셀에 대한 에지 각도는 이미지의 물리적 픽셀들과 정렬되는 소수의 미리 결정된 빈 방향들 중 하나로 비닝된다(binned). 에지들의 불규칙성은, 일단 에지를 평활화하기 위해 방향성 필터링되면, 뾰족함/거침(jaggedness/roughness) 면에서 효율적으로 제거되거나 또는 감소된다. 일 실시예에서, 블렌딩 모듈(556)은 평활화된 에지들을 갖는 이미지를 고유 이미지와 블렌딩함으로써 향상된 비주얼 특성들을 갖는 평활화된 에지들을 갖는 다른 이미지를 생성할 수 있다. 블렌딩 모듈(556)의 평활화 모듈은 잠정적으로 현존하는 불규칙성들을 제거하기 위해 에지들을 평활화하기 위한 방향을 기반으로 검출된 에지들에 대해 방향성 필터링을 적용할 수 있다.

이미지 프로세서(550)의 일 실시예는 에지 평활화 모듈을 갖는 블렌딩 모듈(556)을 포함한다. 에지 평활화 모듈은 에지들의 불규칙성을 평활화할 수 있는 소프트웨어 에이전트들 및/또는 하드웨어 컴포넌트들의 임의의 조합일 수 있다. 에지 평활화 모듈은 에지 검출기(552) 및 빈 할당 모듈(560)에 연결되고, 에지 검출기(552) 및 빈 할당 모듈(560)과 통신하여, 에지들의 로케이션들 및 연관된 특성들(예를 들어, 기울기 크기 및/또는 에지 방향)을 결정한다.

이미지 프로세서(550)의 일 실시예는 신뢰도 모듈(558)을 포함한다. 신뢰도 모듈(558)은 검출된 에지의 계산된 에지 방향(예를 들어, 빈 방향으로 표시됨)의 정확도를 결정 또는 추정할 수 있는 소프트웨어 에이전트들 및/또는 하드웨어 컴포넌트들의 임의의 조합일 수 있다. 신뢰도 모듈(558)은 빈 할당 모듈(560)에 연결되어 빈 할당 모듈(560)과 통신해서, 특정 픽셀의 빈 값을 결정하고 빈 값을 특정 픽셀 주변의 미리 결정된 픽셀 영역(예를 들어, 3x3, 5x5 등) 내의 각각의 픽셀의 빈 값들과 비교한다. 일 실시예에서, 미리 결정된 픽셀 영역의 빈 값들의 통계적 속성이 계산될 수 있다. 통계적 속성은 개별 빈 값 및 통계적 속성과 비교하는 방법을 기반으로 픽셀에 신뢰도 값을 할당하는데 사용될 수 있다. 디지털 이미지들/비디오들이 불완전한 경향이 있기 때문에, 픽셀이 에지에 존재하더라도, 그 특성들은 에지의 동일한 속성들(예를 들어, 크기 기울기 및/또는 에지 방향)을 반영하지 않도록 무효화될 수 있다.

이러한 영향들은 픽셀들을 서로 비교함으로써 불규칙성이 발생하는 로케이션들을 식별하는 탐색들을 실행함으로써 완화될 수 있다. 특히, 소수의 모든 픽셀들이 유사하거나 동일한 특성들을 갖는 영역들을 식별하는 것이 유익하다. 소수의 픽셀들은 이례적일 가능성이 있으며 에지 거칠기 평활화를 위한 방향성 필터링 프로세스의 결과들에 부정적인 영향을 줄 수 있다. 따라서, 방향성 로우 패스 필터를 적용하기 전에, 소수의 픽셀들의 특성들(예를 들어, 기울기 크기, 에지 방향, 및/또는 빈 방향)은 근처 영역들의 다수의 픽셀들의 특성들에 따라 조정 또는 변경될 수 있다.

일 실시예에서, 미리 결정된 픽셀 영역(예를 들어, 3x3, 5x5, 7x7 등)의 특정 픽셀의 에지 방향과 유사하거나 동일한 에지 방향들의 수가, 예를 들어, 신뢰도 모듈(558)에 의해 결정된다. 일반적으로, 유사하거나 동일한 에지 방향들을 갖는 더 많은 주변 픽셀들을 갖는 픽셀들에게 더 높은 신뢰도가 할당되어서, 계산된 에지 방향의 더 높은 정확도를 나타낸다. 신뢰도 값 및 기울기 크기 비교 결과들은 그 후 고유 이미지 및 방향성 로우 패스 필터링된 이미지를 블렌딩하는데 사용된다.

블렌딩 연산에서 사용되는 승수(multiplier)는 동적 범위 기반 크기 임계값과 기울기 크기를 비교한 결과들 및 신뢰도의 곱(product)이다. 이는 강한 에지를 따라 위치하고 높은 신뢰도를 갖는 픽셀들이 필터링된 이미지로부터 대규모로 (또는 전체적으로) 취해지게 한다. 역으로, 에지를 따라 위치하지 않거나 낮은 신뢰도를 갖는 픽셀 로케이션들은 고유 이미지로부터 대규모로 (또는 전체적으로) 취해진다.

본 발명의 실시예들이 이미지 프로세서에 의해 실행되는 것으로 기술되더라도, 본 명세서의 피처들은, 본 발명의 신규한 기술로부터 벗어나지 않은 채로, 비디오 프로세서/그래픽스 프로세서 내에 포함되거나 및/또는 비디오 프로세서/그래픽스 프로세서를 통해 구현될 수 있다. 예를 들어, 유사하거나 동일한 이미지 프로세싱 기능들은 전용 그래픽스 프로세서들과 같은 프로세싱 블록들에 의해 또는 범용 프로세서들의 소프트웨어로 실행될 수 있다.

도 6a는, 일 실시예에 따라, 기울기 크기 임계값이 어떻게 결정되는지를 도시한 그래프이다.

도면(630)은 x-축 상의 미리 결정된 픽셀 영역의 동적 범위의 측정값에 대해 정해진 y-축 상의 결과 임계값을 도시한다. 미리 결정된 영역의 동적 범위는 블록의 최대 또는 최대에 근접한 휘도값 마이너스 최소 또는 최소에 근접한 휘도값이다. 일부 실례들에서, 동적 범위는 이득값(예를 들어, 0.5)에 의해 승산되어 x-축 상에 도시되며, 승산 결과는 y-축 상에 도시된다. 도시된 바와 같이, 스텝 1의 결과가 미리 결정된 최대 임계값보다 더 크거나 또는 미리 결정된 최소 임계값보다 더 작으면, 임계값은, 각각, 최대값 또는 최소값으로 설정된다. 다른 경우, 임계값은 이득값으로 승산된 동적 범위이다.

도 6b는, 일 실시예에 따라, 임계-크기 기울기가 어떻게 결정되는지를 도시한 그래프이다.

도면(640)은 x-축 상에 도시된 기울기 크기에 대한 y-축 상의 임계 기울기 크기를 도시한다. 기울기 크기가 임계값 플러스 윈도 값(window value) 보다 더 크면, 임계-기울기는 1로 설정된다. 임계값은 도 6a에 도시된 바와 같이 동적으로 결정될 수 있다. 기울기 크기가 임계값 마이너스 윈도 값 보다 더 작으면, 임계-기울기는 0으로 설정된다. 일 실시예에서, 현 구현에서 사용된 윈도 값은 10/255이다. 다른 경우, 임계 기울기는 2 경계들 간에서 선형으로 변하며, 다음과 같이 계산될 수 있다: 임계 기울기 = (기울기 크기 - (임계값 - 윈도 값))/(2 x 윈도 값)

도 6c는, 일 실시예에 따라, 검출된 에지의 주변에 위치한 다수의 빈들 및 이미지 픽셀들의 도표적 표현을 도시한다.

도 6c의 일례에서, 비디오 필드(600)는 복수의 공지된 픽셀들(610), 빈 분할 라인들(602, 604), 및 검출된 에지(620)를 포함한다. 에지(620)는, 에지 검출기 모듈(예를 들어, 도 5의 에지 검출기 모듈)에 의해 실행되거나 에지 검출기 모듈과 연관된 프로세스들 및/또는 기능들을 통해 검출되는 것을 포함하지만 이로만 제한되지는 않으며, 임의의 공지된 및/또는 편리한 기술을 사용해서 검출될 수 있다. 도 6c의 일례에 도시된 바와 같이, 검출된 에지는 빈 분할 라인들(602, 604) 간에 위치한다. 따라서, 빈의 상부 경계는 빈 라인(602)이고 하부 경계는 빈 라인(604)이다. 픽셀 로케이션들을 통과하는 점선들 각각은 일례의 집합의 빈 방향들을 형성한다. 빈 방향들은 비디오 필드(600)의 특정 픽셀 로케이션들(610)에 정렬될 수 있다. 빈들은 임의의 공지된 및/또는 편리한 기술을 사용해서 계산될 수 있다. 상부 경계 및 하부 경계 간에 둘러싸인 영역은 빈을 형성한다. 일 실시예에서, 빈 경계들은 픽셀과 픽셀을 연결하는 라인들 간의 중심 라인들이다.

도 7은, 일 실시예에 따른, 이미지의 거친 에지들의 평활화를 실행하는 일례의 프로세스를 도시한 플로우챠트이다.

프로세스(702)에서, 초기 로우 패스 필터가 선택적으로 이미지에 적용된다. 로우 패스 필터는 에지 검출 전에 에지들에 가까운 노이즈 및/또는 고주파들을 제거하도록 적용될 수 있다. 일 실시예에서, 가우스형 필터가 사용되며, 필터의 파라미터들은 통상 이미지 및 연관된 이미지 특성들을 기반으로 동적으로 선택된다. 예를 들어, 스케일링된 이미지는 고유 해상도에서 이미지에 적용된 것 보다 더 많이 필터링될 수 있다.

프로세스(704)에서, 이미지의 에지의 존재가 결정된다. 에지는, 예를 들어, 변경된 소벨 기술을 통해 수직 및 수평 기울기들을 계산하는 것으로부터 식별될 수 있다. 기울기 필터 커널들은 일반적으로 기울기 값들이 어떻게 사용되는지에 따라 선택될 수 있다. 예를 들어, 더 큰 필터 커널(예를 들어, 5x5)은 이미지의 객체 에지들을 식별하기 위해 기울기 값들에 대해 사용될 수 있는 반면, 더 작은 필터 커널(예를 들어, 3x3)은 에지 방향을 결정하기 위해 기울기 값들을 생성하는데 사용될 수 있다.

프로세스(706)에서, 기울기 크기가 결정된다. 검출된 에지들의 불규칙성이 제거 또는 감소될 수 있는데, 이는 도 8의 일례의 프로세스를 더 참조해서 설명도니다. 기울기 크기는, 예를 들어, 수직 및 수평 기울기 값들의 제곱들의 합의 제곱근을 사용해서, 수직 및 수평 기울기 값들로부터 계산된다. 일 실시예에서, 기울기 크기는 임계값과 비교해서 이미지의 객체 에지들의 로케이션을 결정하는데 사용된다. 임계값들을 사용하는 에지 검출 프로세스는 도 9의 일례를 더 참조해서 설명된다.

프로세스(708)에서, 수평 및 수직 기울기 크기들로부터, 에지 방향이 결정된다. 수평 및/또는 수직 기울기들은 에지 배향(edge orientation)을 결정하기 전에 기울기 크기들의 불규칙성 발생을 감소시키기 위해 선택적으로 로우 패스 필터링된다. 예를 들어, 기울기 벡터의 부호는 에지들이 수평에 가깝거나 또는 수직에 가까운 영역들의 노이즈를 감소시키기 위해 중간 필터링될 수 있다. 에지 각도의 탄젠트는 에지 방향을 결정하기 위해 수평 및 수직 기울기들 또는 필터링된 기울기들로부터 계산될 수 있다.

프로세스(710)에서, 에지 방향들에 따른 로우 패스 필터링이 특정 방향들에 위치한 픽셀 값들을 사용하기 때문에, 빈 방향은 에지 방향에 할당된다. 빈 할당 프로세스는 도 6c의 일례를 더 참조해서 그래픽적으로 설명된다. 먼 픽셀 로케이션들을 사용해서 필터들의 필요성을 감소시키기 위해 적은 수의 빈들이 사용될 수 있다. 일 실시예에서, 비닝된 방향 값들은 주변 픽셀들의 값들과 상이한 에지 각도들의 고립된 인스턴스들의 수를 제거하거나 감소시키기 위해 선택적으로 처리된다. 각각의 픽셀의 빈 방향을 인접 픽셀들의 빈 방향들과 비교함으로써, 빈 방향들의 불규칙성들이 제거 또는 감소될 수 있다. 예를 들어, 특정 픽셀 로케이션의 좌우 또는 상하의 픽셀이 동일한 빈 방향을 가지면, 픽셀의 빈 값은 인접 픽셀들의 빈 값과 매치하도록 설정될 수 있다.

프로세스(712)에서, 결정된 에지 각도의 정확도에 대응하는 에지의 픽셀들에 신뢰도가 할당된다. 신뢰도는 동일하거나 유사한 에지 방향들을 갖는 특정 픽셀 주변의 미리 결정된 영역의 픽셀들의 수를 기반으로 계산될 수 있다. 일반적으로, 주변 영역에서 유사한 방향들의 수가 더 많으면, 더 높은 신뢰도가 산출되며, 그 역도 성립한다.

프로세스(714)에서, 로우 패스 필터가 빈 방향의 에지의 각각의 픽셀에 적용되어 이미지를 기반으로 제2 이미지가 생성된다. 이 프로세스는 결정된 빈 방향을 기반으로 이미지의 에지들에 위치한 각각의 픽셀에 대해 실행되어서, 에지 불규칙성들을 평활화한다.

프로세스(716)에서, 제3 이미지가 제2 이미지(예를 들어, 방향성 로우 패스 필터링된 이미지) 및 제1 이미지(예를 들어, 고유 이미지)를 기반으로 생성된다. 일 실시예에서, 블렌딩 연산에서 사용되는 승수(multiplier)는 동적 범위 기반 크기 임계값과 기울기 크기를 비교한 결과들 및 신뢰도의 곱(product)이다. 이는 강한 에지를 따라 위치하고 높은 신뢰도를 갖는 픽셀들이 필터링된 이미지로부터 대규모로 (또는 전체적으로) 취해지게 한다. 역으로, 에지를 따라 위치하지 않거나 낮은 신뢰도를 갖는 픽셀 로케이션들은 고유 이미지로부터 대규모로 (또는 전체적으로) 취해진다.

이미지에 따라, 선-평활화(pre-smoothing) 및 후-평활화(post-smoothing)가 최적 결과들 산출과 관련해서 교대로 일어나거나 사용될 수 있다. 예를 들어, 더 높은 품질/해상도의 소스 이미지들은 일반적으로 거칠거나 뾰족한 에지들을 갖지 않아서, 소스 이미지의 고유 해상도에서 에지 평활화로부터 최소로 이득을 얻는다. 그러나, 더 낮은 품질/해상도의 이미지들의 경우, 차후 프로세싱 전에, 특히, 고유 이미지를 더 높은 해상도로 스케일링하기 전에, 이미지를 에지-평활화하는 것이 유용하다.

저해상도 이미지(예를 들어, 720x480 이하)를 더 높은 해상도의 이미지로 스케일링하는 오퍼레이션에 이어, 스케일링된 이미지는 에지-평활화되어서, 고유 이미지로부터 해상도 한계들의 가시성을 감소시킬 수 있다. 대부분의 경우들에서, 선-평활화 및 후-평활화는 이미지 품질을 최적화하는데 사용될 수 있다. 예를 들어, 스케일링 비율이 거의 3x 이거나 그 보다 크면, 통상 스케일링 업된 결과 이미지는 에지 평활화로부터 이익을 얻는다. 일반적으로, 2x 미만으로 스케일링 업된 이미지들은 단지 약간의 이익을 얻을 수 있다.

그러나, 일반적으로, 이미지의 제한된 스케일링 업의 경우, 선-평활화는 충분한 결과들을 산출할 수 있다. 유사하게, 고 품질/해상도 소스 이미지(예를 들어, 거의 1080p 또는 그 이상)의 경우, 후-평활화만이 요구될 수 있다.

도 8은, 일 실시예에 따른, 검출된 에지의 불규칙성을 제거하는 일례의 프로세스를 도시한 플로우챠트이다.

프로세스(802)에서, 검출된 에지의 특정 픽셀의 기울기 크기는 인접 또는 주변 픽셀들의 기울기 크기와 비교된다. 인접(예를 들어, 주변) 픽셀들은 특정 픽셀의 좌, 우, 상, 및/또는 하에 위치할 수 있다. 프로세스(804)에서, 특정 픽셀 값이 인접 픽셀들 보다 더 작을 때, 에지(620)의 불규칙성들의 존재가 결정된다. 프로세스(806)에서, 불규칙성들이 제거된다. 일 실시예에서, 불규칙성들은 인접 또는 주변 픽셀들과 상이한 픽셀들의 임계 크기 값들을 변경함으로써 제거된다. 예를 들어, 임계 크기는 주변 픽셀들의 임계값들의 최대값으로 변경될 수 있다.

도 9는, 일 실시예에 따른, 동적으로 결정된 기울기 크기 임계값을 기반으로 픽셀이 에지에 위치하는지를 결정하는 일례의 프로세스를 도시한 플로우챠트이다.

프로세스(902)에서, 기울기 크기 임계값은 동적으로 결정된다. 일 실시예에서, 임계값은, 영역, 예를 들어, 3x5 픽셀 영역의 동적 범위를 기반으로 이미지의 미리 결정된 영역의 픽셀 값들의 집합을 기반으로 동적으로 결정된다. 프로세스(904)에서, 픽셀의 기울기 크기는 임계값과 비교된다. 비교 결과들은 0 및 1 사이의 스케일로 양자화될 수 있으며, 더 큰 값들은 픽셀이 강한 에지에 더 가까이 위치함을 나타내고, 더 작은 값들은 픽셀이 강한 에지로부터 더 멀리 위치함을 나타낸다. 0의 값들은 일반적으로 픽셀이 객체 에지에 위치하지 않음을 나타낸다.

0 및 1 사이의 스케일로 비교 결과들을 생성하기 위해, 미리 결정된 영역의 동적 범위는 이득 팩터(예를 들어, 0.5의 값)으로 승산된다. 승산 결과가 미리 결정된 최대 임계값보다 더 크거나 또는 미리 결정된 최소값보다 더 작으면, 임계값은, 각각, 미리 결정된 최대값 또는 최소값으로 설정된다. 다른 경우, 임계값은 동적 범위와 이득 팩터의 승산의 결과들로 설정된다. 임계값 계산 프로세스는 도 6a의 일례를 더 참조해서 그래픽적으로 설명된다. 일 실시예에서, 사용된 미리 결정된 최대값 및 최소값은 55/255 및 15/255이다.

임계-기울기를 생성하기 위해 기울기 크기를 임계값과 비교할 때, 프로세스(906)에서와 같이, 윈도는 비교를 위해 임계값 주위에서 사용되어, 픽셀이 에지에 위치하는지가 결정된다. 일 실시예에서, 기울기 크기가 임계값 플러스 윈도 값 보다 더 크면, 임계-기울기는 1로 설정된다. 기울기 크기가 임계값 마이너스 윈도 값 보다 더 작으면, 임계-기울기는 0으로 설정된다. 중간 값들은 (임계값 + 윈도 값) 및 (임계값 - 윈도 값) 사이에서 선형으로 변한다. 이 프로세스는 도 6b의 일례를 더 참조해서 그래픽적으로 설명된다. 일 실시예에서, 윈도 값은 10/255이다.

문맥이 명백히 달리 요구하지 않는 한, 본 설명 및 청구항들에서, "포함하다(comprise)", "포함(comprising)" 등의 단어들은, 배타적이거나 소모적인 의미에 반한 거의 모든 것을 포함하는 의미로 해석된다; 즉, "포함하지만, 이로만 제한되지 않는(including, but not limited to)"의 의미로 해석된다. 본 명세서에서 사용된 용어들 "연결('connected', 'coupled' 또는 그 변형물)"은 2개 이상의 요소들 간의 직접적 또는 간접적인 임의의 연결(connection, coupling)을 의미한다; 요소들 간의 연결은 물리적이거나 논리적이거나 또는 그 조합일 수 있다. 또한, 단어들 "본 명세서에서(herein)", "상술(above)", "후술(below)", 및 유사한 의미의 단어들은, 본 명세서에서 사용될 때, 본 명세서 전체를 언급하는 것으로서, 본 명세서의 임의의 특정 부분들을 언급하는 것이 아니다. 문맥이 허용하는 경우, 단수 또는 복수를 사용하는 상술된 상세한 설명의 단어들은 각각 복수 또는 단수를 포함할 수 있다. 2 이상의 아이템들의 리스트와 관련해서, 단어 "또는(or)"은 단어의 이하의 해석들: 리스트의 임의의 아이템들, 리스트의 모든 아이템들, 및 리스트의 아이템들의 임의의 조합 모두를 커버한다.

본 발명의 실시예들의 상술된 상세한 설명은 상술된 정확한 형태로 본 교시를 제한하거나 배타적인 것이 아니다. 본 발명의 특정 실시예들 및 일례들이 설명을 목적으로 기술되었지만, 각종 동등한 변경물들이 본 발명의 범위 내에서 가능하며, 이는 관련 분야의 당업자들이 알 것이다. 예를 들어, 프로세스들 또는 블록들이 소정의 순서로 제시되었지만, 다른 실시예들이 상이한 순서로 단계들을 갖는 루틴들을 실행하거나 블록들을 갖는 시스템들을 사용할 수 있으며, 일부 프로세스들 또는 블록들은 삭제, 이동, 추가, 분할, 결합 및/또는 변경되어 대안 또는 부 조합들을 제공할 수 있다. 이러한 프로세스들 또는 블록들 각각은 각종 상이한 방법들로 구현될 수 있다. 또한, 프로세스들 또는 블록들이 때때로 직렬로 실행되는 것으로 도시되었지만, 프로세스들 또는 블록들은 대신 병렬로 실행되거나, 상이한 시간들에 실행될 수도 있다. 본 명세서에 기술된 다른 임의의 특정 수들(any specific numbers)은 단지 일례들이며; 다른 구현들이 상이한 값들 또는 범위들을 사용할 수 있다.

본 명세서에서 제공된 본 발명의 교시들은 반드시 상술된 시스템이 아닌 다른 시스템들에도 적용될 수 있다. 상술된 각종 실시예들의 요소들 및 액션들이 조합되어서 다른 실시예들을 제공할 수 있다.

첨부 출원 서류들에 리스트될 수 있는 임의의 것을 포함해서, 상술된 임의의 특허들 및 출원물들 및 다른 참조물들이 참조용으로 본 명세서에 인용된다. 본 발명의 양상들은 변경되어서, 필요한 경우, 상술된 각종 참조물들의 시스템들, 기능들, 및 개념들을 사용해서 본 발명의 또 다른 실시예들을 제공할 수 있다.

상술된 상세한 설명의 교시에서 본 발명에 대한 여타 변경들이 이루어질 수 있다. 상술된 상세한 설명이 본 발명의 특정 실시예들을 기술하고, 예기되는 최상 모드를 기술하더라도, 문맥에서 얼마나 상세하게 상술되었는지와 상관 없이, 본 교시들은 다수의 방법들로 실행될 수 있다. 시스템의 세부 사항들은 구현 세부 사항들로 현저하게 변할 수 있지만, 본 명세서에 기술된 특허 대상(subject matter)에 의해 여전히 포함된다. 상술된 바와 같이, 본 발명의 특정 피처들 또는 양상들을 기술할 때 사용된 특정 용어는, 용어와 연관된 본 발명의 임의의 특정 특성들, 피처들, 또는 양상들로 제한되게 본 명세서에서 용어가 재정의되는 것을 의미하지 않는다. 일반적으로, 상술된 상세한 설명 섹션이 명백히 용어들을 정의하지 않는 한, 이하의 청구항들에서 사용된 용어는 본 명세서에 기술된 특정 실들로 본 발명을 제한하는 것으로 해석되지 않는다. 따라서, 본 발명의 실제 범위는 기술된 실시예들 뿐만 아니라, 청구항들 하에서 본 발명을 실행 또는 구현하는 모든 동등한 방법들을 포함한다.

본 발명의 특정 양상들이 특정 청구항 형태들로 후술되지만, 발명자들은 임의의 수의 청구항 형태들로 본 발명의 각종 양상들을 예상한다. 예를 들어, 본 발명의 오직 하나의 양상만이 35 U.S.C. §112, ¶6 하의 수단-플러스-기능 청구항(means-plus-function claim)으로서 인용되지만, 다른 양상들도 마찬가지로 수단-플러스-기능 청구항으로서, 또는, 컴퓨터 판독 가능 매체들로 구현되는 등의 다른 형태들로 구현될 수 있다. (35 U.S.C. §112, ¶6 하에서 다루어지는 임의의 청구항들은 단어들 "~하는 수단(means for)"으로 시작한다.) 따라서, 본 발명의 다른 양상들에 대한 추가 청구항 형태들을 추구하도록 본 출원물을 출원한 후에 추가 청구항들을 추가할 권리를 보유한다.

Claims

이미지 프로세싱 방법으로서,
에지 평활화 전에 노이즈 및 고주파 변형들을 감소시키기 위해 제1 이미지에 로우 패스 필터를 적용하는 단계;
연관된 집합의 에지 특성들을 갖는 에지를 상기 제1 이미지에서 식별하는 단계 - 상기 연관된 집합의 에지 특성들은 상기 에지의 기울기 크기(gradient magnitude) 및 상기 에지의 에지 방향을 포함함 -;
상기 기울기 크기를 결정하는 단계;
상기 에지 방향을 결정하는 단계;
상기 에지에 위치한 복수의 픽셀 각각에 신뢰도(confidence level)를 할당하는 단계 - 상기 신뢰도는 검출된 상기 에지 방향의 정확도(accuracy)에 대응함 -;
상기 에지 방향에 빈(bin) 방향을 할당하는 단계;
상기 제1 이미지를 기반으로 제2 이미지를 생성하기 위해 상기 할당된 빈 방향으로 상기 에지의 픽셀에 로우 패스 필터를 방향적으로 적용하는 단계 - 상기 제1 이미지의 상기 에지는 상기 제2 이미지에서 평활화됨 -; 및
상기 제2 이미지 및 상기 제1 이미지를 기반으로 제3 이미지를 생성하는 단계 - 상기 제3 이미지는 상기 평활화된 에지를 갖는 상기 제2 이미지의 일부분 및 상기 제1 이미지의 일부분의 블렌딩으로부터 생성됨 -
를 포함하고,
상기 제2 이미지 및 상기 제1 이미지의 상기 블렌딩을 위한 승수(multiplier)는 상기 에지 방향에 관한 픽셀 신뢰도 및 임계값에 대한 상기 에지의 기울기 크기의 비교의 곱(product)인 이미지 프로세싱 방법.
제1항에 있어서,
상기 임계값에 대한 상기 에지의 상기 기울기 크기의 상기 비교는 상기 에지의 상기 기울기 크기가 상기 임계값을 초과하거나 또는 상기 임계값과 동일한지 여부를 결정하는 것을 포함하고, 상기 임계값은 상기 제1 이미지의 미리 결정된 영역의 픽셀 값들의 집합을 기반으로 동적으로 결정되는 이미지 프로세싱 방법.
제1항에 있어서,
상기 연관된 집합의 에지 특성들을 기반으로 상기 에지의 불규칙성들의 집합의 존재를 결정하는 단계; 및
상기 불규칙성들의 집합 중 하나 이상의 불규칙성들을 제거하는 단계
를 더 포함하는 이미지 프로세싱 방법.
이미지 프로세싱 방법으로서,
연관된 집합의 에지 특성들을 갖는 에지를 제1 이미지에서 식별하는 단계;
상기 에지의 방향을 결정하는 것을 포함하는 상기 연관된 집합의 에지 특성들을 결정하는 단계;
상기 에지의 상기 결정된 방향에 빈 방향을 할당하는 단계;
상기 제1 이미지를 기반으로 제2 이미지를 생성하기 위해 상기 연관된 집합의 에지 특성들을 기반으로 상기 에지의 픽셀에 로우 패스 필터를 방향적으로 적용하는 단계 - 상기 제1 이미지의 상기 에지는 상기 제2 이미지에서 평활화되고, 상기 로우 패스 필터는 상기 에지를 평활화하기 위하여 상기 빈 방향을 따라 적용됨 -; 및
상기 제2 이미지 및 상기 제1 이미지를 기반으로 제3 이미지를 생성하는 단계 - 상기 제3 이미지는 상기 평활화된 에지를 갖는 제2 이미지의 일부분 및 상기 제1 이미지의 일부분을 블렌딩함으로써 생성됨 -
를 포함하고,
상기 제2 이미지 및 상기 제1 이미지의 상기 블렌딩을 위한 승수는 상기 에지 방향에 관한 픽셀들에 대한 신뢰도들 및 임계값에 대한 상기 에지의 기울기 크기의 비교의 곱인 이미지 프로세싱 방법.
제4항에 있어서,
상기 제1 이미지에서 상기 에지를 식별하기 전에 노이즈 및 고주파 변형들을 감소시키기 위해 상기 제1 이미지에 로우 패스 필터를 적용하는 단계를 더 포함하는 이미지 프로세싱 방법.
제4항에 있어서,
상기 연관된 집합의 에지 특성들을 결정하는 단계는, 상기 에지의 수평 기울기 및 수직 기울기로부터 상기 에지의 기울기 크기를 결정하는 단계를 포함하는 이미지 프로세싱 방법.
제4항에 있어서,
상기 임계값은 상기 제1 이미지의 미리 결정된 영역의 픽셀 값들의 집합을 기반으로 동적으로 결정되는 이미지 프로세싱 방법.
제4항에 있어서,
상기 에지에 포함된 복수의 픽셀 각각에 신뢰도를 할당하는 단계를 더 포함하고, 상기 신뢰도는 검출된 상기 에지의 방향의 정확도에 대응하는 이미지 프로세싱 방법.
제4항에 있어서,
상기 연관된 집합의 에지 특성들을 기반으로 상기 에지의 불규칙성들의 집합의 존재를 결정하는 단계; 및
상기 불규칙성들의 집합 중 하나 이상의 불규칙성들을 제거하는 단계
를 더 포함하는 이미지 프로세싱 방법.
제9항에 있어서,
상기 불규칙성들의 집합의 존재는 상기 에지의 특정 픽셀의 기울기 크기를 인접 픽셀들과 비교함으로써 검출되는 이미지 프로세싱 방법.
제1항에 있어서,
상기 로우 패스 필터는 가우스 필터(Gaussian filter)인 이미지 프로세싱 방법.
제1항에 있어서,
상기 로우 패스 필터의 필터 파라미터들의 집합은 상기 이미지의 이미지 특성들을 기반으로 조정 가능한 이미지 프로세싱 방법.
시스템으로서,
메모리에 연결된 메모리 컨트롤러 - 상기 메모리 컨트롤러는 상기 메모리에 대한 액세스를 제어함 -; 및
상기 메모리에 연결된 이미지 프로세서
를 포함하고,
상기 이미지 프로세서는,
제1 이미지에서 에지를 식별하고,
상기 에지의 기울기 크기를 결정하고,
상기 에지의 에지 방향을 결정하고,
상기 에지에 위치된 복수의 픽셀들의 각각에 대해 신뢰도를 할당하고 - 상기 신뢰도는 검출된 상기 에지 방향의 정확도에 대응함 -,
상기 에지에 대해 결정된 상기 에지 방향에 빈 방향을 할당하고,
상기 제1 이미지를 기반으로 제2 이미지를 생성하기 위해 상기 에지 방향을 기반으로 상기 에지의 픽셀에 로우 패스 필터를 방향적으로 적용하고 - 상기 제1 이미지의 상기 에지는 상기 제2 이미지에서 평활화됨 -,
상기 제2 이미지 및 상기 제1 이미지를 기반으로 제3 이미지를 생성하는 - 상기 제3 이미지는 상기 평활화된 에지를 갖는 제2 이미지의 일부분 및 상기 제1 이미지의 일부분을 블렌딩함으로써 생성됨 - 알고리즘을 실행하며,
상기 제2 이미지 및 상기 제1 이미지의 상기 블렌딩을 위한 승수는 상기 에지 방향에 관한 픽셀 신뢰도들 및 임계값에 대한 상기 에지의 기울기 크기의 비교의 곱인 시스템.
제13항에 있어서,
상기 이미지 프로세서는 비디오 프로세서를 더 포함하는 시스템.
제13항에 있어서,
상기 메모리 컨트롤러 및 프로세싱 유닛에 연결된 호스트 인터페이스를 더 포함하고, 상기 호스트 인터페이스는 상기 메모리에 액세스하기 위해 상기 프로세싱 유닛으로부터의 요청들을 수신하는 시스템.
제15항에 있어서,
상기 이미지 프로세서는 메모리 유닛에 연결된 비디오 캡처 모듈을 더 포함하는 시스템.
제13항에 있어서,
상기 시스템은 셋탑 박스(set-top box)인 시스템.
제13항에 있어서,
상기 시스템은 블루레이 플레이어(Blu-ray Player)인 시스템.
제13항에 있어서,
상기 시스템은 DVD 플레이어인 시스템.
제15항에 있어서,
그래픽 프로세스는 메모리 모듈에 연결된 비디오 디스플레이 컨트롤러를 더 포함하는 시스템.
시스템에 있어서,
에지 평활화 전에 노이즈 및 고주파 변형들을 감소시키기 위해 제1 이미지에 로우 패스 필터를 적용하는 수단;
연관된 집합의 에지 특성들을 갖는 에지를 상기 제1 이미지에서 식별하는 수단 - 상기 연관된 집합의 에지 특성들은 상기 에지의 기울기 크기 및 상기 에지의 에지 방향을 포함함 -;
상기 기울기 크기를 결정하는 수단;
상기 에지 방향을 결정하는 수단;
상기 에지에 위치한 복수의 픽셀 각각에 신뢰도를 할당하는 수단 - 상기 신뢰도는 검출된 상기 에지 방향의 정확도에 대응함 -;
상기 에지 방향에 빈 방향을 할당하는 수단;
상기 제1 이미지를 기반으로 제2 이미지를 생성하기 위해 상기 할당된 빈 방향으로 상기 에지의 픽셀에 로우 패스 필터를 방향적으로 적용하는 수단 - 상기 제1 이미지의 상기 에지는 상기 제2 이미지에서 평활화됨 -;
상기 제2 이미지 및 상기 제1 이미지를 기반으로 제3 이미지를 생성하는 수단 - 상기 제3 이미지는 상기 평활화된 에지를 갖는 상기 제2 이미지의 일부분 및 상기 제1 이미지의 일부분의 블렌딩으로부터 생성됨 -
을 포함하고,
상기 제2 이미지 및 상기 제1 이미지의 상기 블렌딩을 위한 승수는 상기 에지 방향에 관한 픽셀 신뢰도들 및 임계값에 대한 상기 에지의 기울기 크기의 비교의 곱인 시스템.
제1항에 있어서,
각각의 픽셀에 대한 빈 방향으로 상기 에지의 각각의 픽셀에 상기 로우 패스 필터를 방향적으로 적용하는 단계를 더 포함하는 이미지 프로세싱 방법.
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제