KR20150117646A - 적어도 하나의 추가적인 이미지를 사용한 이미지 향상과 에지 검증을 위한 방법 및 장치 - Google Patents

적어도 하나의 추가적인 이미지를 사용한 이미지 향상과 에지 검증을 위한 방법 및 장치 Download PDF

Info

Publication number
KR20150117646A
KR20150117646A KR1020157019155A KR20157019155A KR20150117646A KR 20150117646 A KR20150117646 A KR 20150117646A KR 1020157019155 A KR1020157019155 A KR 1020157019155A KR 20157019155 A KR20157019155 A KR 20157019155A KR 20150117646 A KR20150117646 A KR 20150117646A
Authority
KR
South Korea
Prior art keywords
edge
image
pixel
mask
way
Prior art date
Application number
KR1020157019155A
Other languages
English (en)
Inventor
데니스 브이 파페노브
데니스 브이 파코멘코
이반 엘 마주렌코
데니스 브이 자이트세브
드미트리 엔 바빈
Original Assignee
엘에스아이 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘에스아이 코포레이션 filed Critical 엘에스아이 코포레이션
Publication of KR20150117646A publication Critical patent/KR20150117646A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G06T7/0097—
    • G06T5/003—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G06T7/0085—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

이미지 처리 시스템은 각각 제 1 에지 이미지 및 제 2 에지 이미지를 획득하기 위해 제 1 이미지 및 제 2 이미지 각각에 제 1 에지 검출 동작 및 제 2 에지 검출 동작을 수행하고, 제 1 에지 이미지 및 제 2 에지 이미지로부터의 에지를 사용하여 조인트 에지 가중 동작을 적용하고, 에지 가중 동작의 결과에 기초하여 에지 마스크를 생성하고, 에지 마스크를 이용하여 제 3 에지 이미지를 획득하고, 제 3 에지 이미지에 기초하여 제 3 이미지를 생성하도록 구성된 이미지 프로세서를 포함한다. 예시로서만, 주어진 실시예에서 제 1 이미지는 깊이 이미져가 생성한 제 1 깊이 이미지를 포함할 수 있고, 제 2 이미지는 대체로 제 1 이미지의 장면과 동일한 2 차원의 이미지를 포함할 수 있고, 제 3 이미지는 제 1 깊이 이미지에 비해 향상된 에지 품질을 가진 향상된 깊이 이미지를 포함할 수 있다.

Description

적어도 하나의 추가적인 이미지를 사용한 이미지 향상과 에지 검증을 위한 방법 및 장치{METHOD AND APPARATUS FOR IMAGE ENHANCEMENT AND EDGE VERIFICATION USING AT LEAST ONE ADDITIONAL IMAGE}
본 분야는 일반적으로 이미지 처리에 관련되고, 특히, 깊이 지도(depth maps)나 다른 종류의 깊이 이미지(depth image)와 같은 이미지 처리에 관련된다.
이미지의 에지를 검출하는 다양한 기술들이 알려져 있다. 이러한 기술들은 일반적으로 디지털 카메라에 의해 생성되는 사진이나 다른 2차원(2D) 이미지 같은 높은 해상도 이미지에 적용했을 때에는 사용할만한 결과를 만들어낸다. 그러나, 많은 중요한 머신 비젼(machine vision) 애플리케이션은 구조형 광(structured light; SL) 카메라 또는 ToF(time of flight) 카메라 같은 깊이 이미져(imager)가 생성한 3차원(3D) 이미지를 이용한다. 깊이 이미지들은 주로 낮은 해상도 이미지이고 일반적으로 매우 노이즈가 많고(noisy) 흐릿한 에지를 포함한다.
전통적인 에지 검출 기법은 깊이 이미지에 적용되었을 때 일반적으로 제대로 수행되지 못한다. 예를 들어, 전통적인 기법들은 주어진 깊이 이미지에서 중요한 에지를 놓친다거나, 중요한 에지와 함께 다수의 가짜 에지를 찾을 수도 있다. 결과적으로 검출된 에지는 질이 낮고, 따라서 특징 추출, 패턴 인식, 제스처 인식, 물체 인식 및 추적과 같은 차후의 이미지 처리 동작의 효율성을 약화시킨다.
일 실시예에서, 이미지 처리 시스템은 각각 제 1 에지 이미지 및 제 2 에지 이미지를 획득하기 위해 각각 제 1 이미지 및 제 2 이미지에 제 1 에지 검출 동작 및 제 2 에지 검출 동작을 수행하고, 제 1 에지 이미지 및 제 2 에지 이미지의 에지를 사용하여 조인트 에지 가중(joint edge weighting) 동작을 적용하고, 에지 가중 동작의 결과에 기초하여 에지 마스크를 생성하고, 에지 마스크를 이용하여 제 3 에지 이미지를 획득하고, 상기 제 3 에지 이미지에 기초하여 제 3 이미지를 생성하기 위해 구성된 이미지 프로세서를 포함한다.
오직 예시로서, 주어진 실시예에서 제 1 이미지는 깊이 이미져가 생성한 제 1 깊이 이미지(depth image)를 포함할 수 있고, 제 2 이미지는 제 1 이미지와 실질적으로 동일한 장면의 2차원 이미지를 포함할 수 있고, 제 3 이미지는 제 1 깊이 이미지에 비해 향상된 에지 품질을 가지는 향상된 깊이 이미지를 포함할 수 있다.
본 발명의 다른 실시예는 방법, 장치, 시스템, 처리 디바이스, 집적 회로 및 컴퓨터 프로그램 코드가 내부에 구현된 컴퓨터 판독 가능한 저장 매체를 포함하나, 이에 제한되지는 않는다.
도 1은 일 실시예에서 이미지 향상과 에지 검증을 위해 구성된 이미지 프로세서를 포함하는 이미지 처리 시스템의 블록도이다.
도 2는 도 1 시스템의 이미지 프로세서에서 그레이스케일(grayscale) 이미지를 사용하여 향상된 깊이 이미지를 생성하기 위한 대표적 처리의 흐름도이다.
도 3은 도 2 과정의 조인트 에지 가중 동작에서 사용 가능한 상이한 픽셀 부근을 도시한다.
본 명세서에서, 본 발명의 실시예는 이미지 프로세서나 다른 종류의 처리 디바이스를 포함하고, 신뢰가능한 에지를 가지는 향상된 깊이 이미지를 만들기 위한 기술을 구현하는 대표적 이미지 처리 시스템과 함께 도시된다. 그러나, 본 발명의 실시예는 하나 이상의 추가적인 이미지를 이용하여 하나의 이미지의 에지의 질을 향상시키는 임의의 이미지 처리 시스템, 관련 디바이스, 또는 기법에 일반적으로 적용 가능하다는 것이 이해되어야 한다.
도 1은 본 발명의 일 실시예의 이미지 처리 시스템(100)을 도시한다. 이미지 처리 시스템(100)은 하나 이상의 이미지 소스(105)에서 이미지를 수신하고 처리된 이미지를 하나 이상의 이미지 수신지(image destinations)(107)에 제공하는 이미지 프로세서(102)를 포함한다. 이미지 프로세서(102)는 또한 네트워크(104)를 통해 복수의 처리 디바이스(106)와 통신한다.
도 1에서 이미지 소스(들)(105)와 이미지 수신지(들)(107)는 처리 디바이스(106)와 별개인 것으로 도시되지만, 적어도 이러한 소스와 수신지의 서브세트는 하나 이상의 처리 디바이스(106)를 적어도 부분적으로 이용하여 구현될 수 있다. 따라서, 처리를 위해 이미지가 하나 이상의 처리 디바이스(106)로부터 네트워크(104)를 통해 이미지 프로세서(102)에 제공될 수 있다. 유사하게, 처리된 이미지는 네트워크(104)를 통해 이미지 프로세서(102)에 의해 하나 이상의 처리 디바이스(106)로 전달될 수 있다. 따라서 처리 디바이스는 이미지 소스 또는 이미지 수신지의 예시로 볼 수 있다.
주어진 이미지 소스는, 예를 들어, 깊이 이미지를 생성하도록 구성된 SL 카메라 또는 ToF 카메라 같은 3D 이미져(imager) 또는 그레이스케일 이미지, 색 이미지, 적외선 이미지 또는 다른 종류의 2D 이미지를 생성하도록 구성된 2D 이미져를 포함할 수 있다. 단일 이미져 또는 다른 이미지 소스가 깊이 이미지 및 그레이스케일 이미지, 색 이미지 또는 적외선 이미지 같은 대응하는 2D 이미지 둘 모두를 제공하는 것도 가능하다. 예를 들어, 특정 유형의 기존 3D 카메라는 주어진 장면의 깊이 지도뿐만 아니라 같은 장면의 2D 이미지까지 생성할 수 있다. 이와 달리, 주어진 장면의 깊이 지도를 제공하는 3D 이미져는 별개의 고해상도 비디오 카메라 또는 대체로 같은 장면의 2D 이미지를 제공하는 다른 2D 이미져의 부근에 배치될 수 있다.
이미지 소스의 또 다른 예시는 처리를 위해 이미지 프로세서(102)에 이미지를 제공하는 저장 디바이스 또는 서버이다.
주어진 이미지 수신지는 예를 들어, 이동 전화 또는 컴퓨터의 인간-머신 인터페이스의 하나 이상의 디스플레이 화면, 또는 이미지 프로세서(102)로부터 처리된 이미지들을 수신하는 적어도 하나의 서버 또는 저장 디바이스를 포함할 수 있다.
또한, 도 1에서 이미지 소스(들)(105)와 이미지 수신지(들)(107)는 이미지 프로세서(102)와 별개인 것으로 도시되지만, 이미지 프로세서(102)는 공통 처리 디바이스 상에서 적어도 하나 이상의 이미지 수신지와 하나 이상의 이미지 소스의 서브세트에 적어도 부분적으로 연결되어 있을 수 있다. 그러므로, 예를 들어, 주어진 이미지 소스와 이미지 프로세서(102)는 같은 처리 디바이스 상에 함께 구현될 수 있다. 유사하게, 주어진 이미지 수신지와 이미지 프로세서(102)는 같은 처리 디바이스에 총체적으로 구현될 수 있다.
본 실시예에서, 각각의 제 1 에지 이미지 및 제 2 에지 이미지를 획득하기 위해 각각의 제 1 이미지 및 제 2 이미지에 제 1 에지 검출 동작 및 제 2 에지 검출 동작을 수행하고, 제 1 에지 이미지 및 제 2 에지 이미지의 에지를 사용하여 조인트 에지 가중 동작을 적용하고, 에지 가중 동작의 결과에 기초하여 에지 마스크를 생성하고, 에지 마스크를 이용하여 제 3 에지 이미지를 획득하고, 제 3 에지 이미지에 기초하여 제 3 이미지를 생성하도록 구성된 이미지 프로세서(102)를 포함한다.
도 1에 도시된 이미지 프로세서(102)는 처리 모듈(110), 에지 검출 모듈(112), 조인트 에지 가중 모듈(114), 에지 마스킹 모듈(115), 에지 복원 모듈(116) 및 후처리 모듈(118)을 포함한다.
전술한 제 1 이미지, 제 2 이미지 및 제 3 이미지에 관한 하나의 가능한 예로서, 주어진 실시예의 제 1 이미지는 SL 카메라 또는 ToF 카메라 같은 깊이 이미져가 생성한 깊이 이미지를 포함할 수 있고, 제 2 이미지는 제 1 이미지와 실질적으로 같은 장면을 제공하는 2D 이미지를 포함할 수 있고, 제 3 이미지는 제 1 깊이 이미지에 비해 향상된 에지 품질을 가진 향상된 깊이 이미지를 포함할 수 있다. 단일 이미져 또는 다른 이미지 소스가 깊이 이미지 및 그레이스케일 이미지, 색 이미지 또는 적외선 이미지 같은 대응하는 2D 이미지 둘 모두를 제공하는 것이 가능하다고 앞서 개시되었다. 이와 달리, 제 1 이미지 및 제 2 이미지는 각각 별개의 3D와 2D 이미져에 의해 제공될 수 있다. 또한, 제 2 이미지만 사용하는 몇몇의 실시예와 대조적으로 복수의 추가적인 이미지들이 제 1 이미지를 향상시키기 위해 사용될 수 있다. 다른 실시예에서 이미지의 다른 종류와 배열이 수신되고, 처리되고, 생성될 수 있다.
도 1 실시예의 이미지 프로세서(102)에 도시된 모듈의 특정 번호와 배열은 다른 실시예에서 변경될 수 있다. 예를 들어, 다른 실시예에서 두 개 이상의 모듈들이 더 적은 수의 모듈로 연결될 수 있다. 본 명세서에 개시된 처리 동작을 이행하기 위해 적절하게 수정된 다른 방법의 기존의 이미지 처리 집적 회로 또는 다른 종류의 이미지 처리 회로는 이미지 프로세서(102)의 적어도 하나 이상의 모듈들(110, 112, 114, 115, 116 및 118)의 적어도 일부를 구현하기 위해 사용될 수 있다. 본 발명의 하나 이상의 실시예에서 사용 가능한 이미지 처리 회로의 일 실시예는 하나 이상의 모듈(110, 112, 114, 115, 116, 및 118)과 관련된 기능을 이행하기에 적절하게 재구성된 다른 방법의 기존의 그래픽 프로세서이다.
이미지 프로세서(102)의 동작은 도 2의 흐름도와 함께 더 자세히 설명될 것이다. 이 흐름도는 적어도 하나의 추가적 이미지를 사용한 이미지 향상과 에지 검증의 대표적인 처리를 도시하는데, 이 경우에는 전술한 제 2 이미지가 실질적으로 같은 장면의 2D 이미지를 입력 깊이 이미지로서 포함한다.
이미지 프로세서(102)에 의해 생성된 제 3 이미지는 입력 깊이 이미지에 비해 향상된 에지 품질을 가진 향상된 깊이 이미지를 포함한다. 이미지 프로세서(102)에 의해 생성된 이 향상된 깊이 이미지는, 예를 들어, 특징 추출, 패턴 인식, 제스처 인식, 물체 인식 및 추적과 같은 이미지 프로세서(102)의 추가적인 처리 동작의 대상이 될 수 있다.
이와 달리, 이미지 프로세서(102)에 의해 생성된 향상된 깊이 이미지는 하나 이상의 네트워크(104)를 통해 처리 디바이스(106)로 제공된다. 하나 이상의 처리 디바이스는 전술한 특징 추출, 패턴 인식, 제스처 인식, 물체 인식 및 추적과 같은 후속 동작들을 이행하도록 구성된 각각의 이미지 프로세서를 포함할 수 있다.
처리 디바이스(106)는 예를 들어, 컴퓨터, 이동 전화, 서버 또는 저장 디바이스의 임의의 조합을 포함할 수 있다. 하나 이상의 이러한 디바이스들은 또한 예를 들어, 이미지 프로세서(102)에 의해 생성된 이미지를 제시하기 위해 사용되는 디스플레이 스크린 또는 다른 사용자 인터페이스들을 포함할 수 있다. 처리 디바이스(106)는 그에 따라 네트워크(104)를 통해 이미지 프로세서(102)로부터 처리된 이미지 스트림(stream)을 수신하는 다양한 상이한 수신지 디바이스들을 포함하고, 예로써 이미지 프로세서(102)로부터 하나 이상의 처리된 이미지 스트림을 수신하는 적어도 하나의 서버 또는 저장 디바이스를 포함할 수 있다.
본 실시예에서 처리 디바이스(106)와 별개인 것으로 도시되었지만, 이미지 프로세서(102)는 처리 디바이스(106)의 하나 이상과 적어도 부분적으로 연결되어 있을 수 있다. 따라서, 예를 들어, 이미지 프로세서(102)는 주어진 처리 디바이스(106)를 사용하여 적어도 부분적으로 구현될 수 있다. 예시로서, 컴퓨터나 이동 전화가 이미지 프로세서(102)와 아마도 주어진 이미지 소스를 포함하도록 구성될 수 있다. 이미지 소스(들)(105)는 그에 따라 컴퓨터, 이동 전화 또는 다른 처리 디바이스와 관련된 카메라나 다른 이미져들을 포함할 수 있다. 앞서 언급된 바와 같이, 이미지 프로세서(102)는 공통 처리 디바이스 상에서 하나 이상의 이미지 수신지 또는 이미지 소스와 적어도 부분적으로 연결되어 있을 수 있다.
본 실시예의 이미지 프로세서(102)는 적어도 하나의 처리 디바이스를 사용하여 구현되는 것으로 가정되고, 메모리(122)와 연결된 프로세서(120)를 포함한다. 프로세서(120)는 이미지 처리 동작의 성능을 제어하기 위해 메모리(122)에 저장된 소프트웨어 코드를 실행한다. 이미지 프로세서(102)는 또한 네트워크(104)를 통한 통신을 지원하는 네트워크 인터페이스(124)를 포함한다.
프로세서(120)는, 예를 들어, 마이크로프로세서, 주문형 반도체(ASIC), 필드 프로그래머블 게이트 어레이(FPGA), 중앙 처리 디바이스(CPU), 산술 논리 연산 디바이스(ALU), 디지털 신호 프로세서(DSP), 또는 다른 유사한 처리 디바이스 구성요소뿐만 아니라 다른 종류 및 배열의 이미지 처리 회로의 임의의 조합을 포함할 수 있다.
메모리(122)는 모듈(110, 112, 114, 115, 116 및 118)의 부분과 같은 이미지 프로세서(102)의 기능의 일부를 구현하는데 있어서 프로세서(120)에 의해 실행되기 위한 소프트웨어 코드를 저장한다. 대응되는 프로세서에 의한 실행을 위한 소프트웨어 코드를 저장하는 주어진 그러한 메모리는 본 명세서에서 컴퓨터 판독 가능 매체 또는 컴퓨터 프로그램 코드가 포함된 다른 종류의 컴퓨터 프로그램 제품으로 더 일반적으로 지칭되는 것의 예시이고, 이 메모리는 예를 들어, 랜덤 액세스 메모리(RAM) 또는 판독 전용 메모리(ROM), 자기 메모리, 광학 메모리, 또는 다른 종류의 저장 디바이스의 임의의 조합을 포함할 수 있다. 앞서 표시한 바와 같이, 프로세서는 마이크로프로세서, ASIC, FPGA, CPU, ALU, DSP 또는 다른 이미지 처리 회로의 조합 또는 일부분을 포함할 수 있다.
본 발명의 실시예는 집적회로의 형태로 구현될 수도 있다는 것 또한 이해되어야 한다. 주어진 집적 회로 구현에서, 동일한 다이(die)가 일반적으로 반도체 웨이퍼의 표면에 반복되는 패턴으로 형성된다. 각각의 다이는 이미지 프로세서 또는 본 명세서에 개시된 다른 이미지 처리 회로를 포함하고, 다른 구조 또는 회로를 포함할 수 있다. 개별 다이는 웨이퍼로부터 절단되거나 다이싱된(diced) 후, 집적 회로로 패키징된다. 당업자는 웨이퍼를 다이싱하고 다이를 패키징하여 집적 회로를 생산하는 방법을 잘 알 것이다. 그렇게 제조된 집적 회로들은 본 발명의 실시예로 여겨진다.
도 1에 도시된 특정 구성의 이미지 처리 시스템(100)은 예시일 뿐이고, 다른 실시예에서 시스템(100)은 이러한 시스템의 전통적인 예시에서 일반적으로 찾을 수 있는 유형의 요소 하나 이상을 포함해, 구체적으로 개시된 것들 이외에 또는 대신에 다른 요소들을 포함할 수 있다.
예를 들어, 몇몇의 실시예에서, 이미지 처리 시스템(100)이 비디오 게임 시스템 또는 사용자의 제스처를 인식하기 위해 이미지 스트림을 처리하는 다른 종류의 제스처 기반 시스템으로서 구현된다. 개시된 기술들은 제스처 기반의 인간-머신 인터페이스를 필요로 하는 다양한 다른 시스템에서 사용되기 위해 유사하게 조정될 수 있고, 제스처 인식 이외의 애플리케이션, 예를 들어 로보틱스에서 머신 비젼 시스템과 다른 산업적 애플리케이션에 적용될 수 있다.
이제 도 2를 참조하면, 도 1의 이미지 처리 시스템(100)에서의 이미지 향상과 에지 검증에 대한 예시의 과정이 개시된다. 도 2 과정은 이미지 프로세서의 전처리 모듈(110), 에지 검출 모듈(112), 조인트 에지 가중 모듈(114), 에지 마스킹 모듈(115), 에지 복원 모듈(116) 및 후처리 모듈(118)을 사용하는 이미지 프로세서(102)에 의해 구현된다고 가정된다. 본 실시예의 과정은 단계(200 내지 214)를 포함한다.
본 실시예에서 하나 이상의 이미지 소스(105)로부터 이미지 프로세서(102)에 수신된 제 1 이미지 및 제 2 이미지는 입력 깊이 지도(input depth map)와 그레이스케일 이미지(grayscale image)를 각각 포함하고, 제 1 이미지 및 제 2 이미지를 사용하여 생성된 제 3 이미지는 향상된 깊이 지도를 포함하는 것으로 가정된다.
설명될 과정은 그레이스케일 이미지 에지가 입력 깊이 지도 에지보다 일반적으로 더 잘 정의되어있기 때문에, 입력 깊이 지도보다는 그레이스케일 이미지로부터의 그레이스케일 이미지 및 입력 깊이 지도 양자 모두에서 서로 충분히 가까이 있는 에지를 취함으로써 깊이 지도의 품질을 향상시킨다. 또한, 그레이스케일 이미지에는 존재하지만 입력 깊이 지도에는 존재하지 않는 에지는 향상된 깊이 지도에서 제거되고, 입력 깊이 지도에는 존재하지만 그레이스케일 이미지에는 존재하지 않는 충분히 강한 에지(sufficiently strong edges)는 향상된 깊이 지도에 포함된다.
단계(200)에서, 제 1 이미지 및 제 2 이미지는 일반적 이미지 센서로부터 비롯되지 않았다는 가정 하에 정렬된다. 또한, 다른 실시예에서, 정렬 단계(200)는 완전히 제거될 수 있다.
그러한 단계를 포함하는 실시예에서 단계(200)의 가능한 하나의 구현의 예시로, 만약 별개의 깊이 및 2D 이미져가 각각 제 1 이미지 및 제 2 이미지를 생성하는데 사용된다면, 아핀 변환(affine transforms) 또는 다른 종류의 변환과 같은 다양한 종류의 정렬 동작이 적용될 수 있다.
특히, 깊이 및 2D 이미져가 실질적으로 동일한 위치에 배치되는 경우, 해상도를 맞추기 위한 하나의 척도 계수(one scale coefficient)를 이용하는 간단한 선형 변환이 사용될 수 있다. 깊이 및 2D 이미져가 다른 위치에 배치되고 양자 모두 래스터 왜곡(raster distortions)이 없는 경우, 6개의 계수를 이용하는 2D 아핀 변환이 사용될 수 있다. 깊이 및 2D 이미져가 다른 위치에 위치하고 3D 이미져가 z축에 따른 값에 기초한 선형 래스터 왜곡을 갖는 경우, 8개의 계수를 이용하는 3D에서 2D로의 선형 변환(a 3D-to-2D linear transform)이 사용될 수 있다. 마지막으로, 만약 깊이 및 2D 이미져가 다른 위치에 배치되고 적어도 하나가 비선형적 래스터 왜곡을 갖는 경우, 가능하다면 선형 변환과 조합하여, 비선형 보정기(a non-linear corrector)가 사용될 수 있을 것이다. 변환 또는 다른 정렬 기법들의 다수의 다른 종류와 조합이 사용될 수 있다.
예시로써 입력 깊이 지도의 해상도가 (dx, dy)이고, 입력 그레이스케일 이미지의 해상도가 (gx, gy)라고 가정하고, 또한 깊이 지도와 그레이스케일 이미지가 dx,/gx=dy/gy=k(k는 상수)와 같은 동일한 종횡비를 가진다고 가정하자. 깊이 지도와 그레이스케일 이미지가 동일한 종횡비를 갖지 않는 경우, 이들 이미지 중 하나의 이미지가 잘리거나 다른 하나가 1차원을 따라 연장될 수 있다.
본 실시예에서, SL 또는 ToF 카메라와 같은 깊이 이미져는 일반적으로 사진 또는 비디오 카메라와 같은 2D 이미져 보다 크게 낮은 해상도를 갖기 때문에, 보통 k≤1이다. 단계(200)의 출력에서 정렬된 제 1 이미지 및 제 2 이미지는 동일한 좌표계를 가져야 하고, fx/fy=k 이고 dx<fx<gx일 때 실질적으로 동일한 해상도 (fx, fy)를 가져야 한다. 따라서, 단계(200)의 정렬은, 예를 들어, 2D 이미지를 재조정하는 것, 즉, (gx, gy)→(fx, fy)을 포함할 수 있다. 앞서 언급한 바와 같이, 예를 들어, 깊이 지도와 그레이스케일 이미지가 동일한 이미지 센서로부터 제공되거나, 또는, 하나 이상의 이미지 소스(105)에서 이미지 프로세서(102)로 제공될 때 이미 실질적으로 정렬된 실시예에서, 정렬은 제거될 수 있다.
단계(202)에서, 정렬된 깊이 지도에 전처리가 적용된다. 전처리는 예를 들어, 잡음제거(denoising), 등화(equalization) 등의 동작을 포함할 수 있다. 다른 실시예에서, 전처리는 단계(200)에 앞서 적용될 수 있다. 또한, 전처리는 추가적으로 또는 대안적으로 입력 그레이스케일 이미지에 적용되거나, 다 함께 제거될 수 있다.
단계(204-1)에서, 깊이 지도에 에지 검출 동작이 수행되어, 제 1 에지 이미지 E1을 획득한다.
단계(204-2)에서, 그레이스케일 이미지에 에지 검출 동작이 수행되어, 제 2 에지 이미지 E2를 획득한다.
이미지 E1 과 E2를 생성하기 위해 임의의 다양한 알려진 에지 검출 기법이 단계(204-1 및 204-2)에서 적용될 수 있다. 이런 에지 검출 기법의 예시는 예를 들어, J. Canny, "A computational approach to edge detection," IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. PAMI-8, Issue 6, pp. 679-698, November 1986, 및 R. Kimmel and A.M. Bruckstein, "On regularized Laplacian zero crossings and other optimal edge integrators," International Journal of Computer Vision, 53(3):225-243, 2003과, W.K. Pratt, Digital Image Processing, 3rd Edition, John Wiley & Sons, 2001에 개시되며, 이들은 본 명세서에 참조로 포함된다. 단계(204-1) 또는 단계(204-2)의 주어진 에지 검출 동작을 적용하는데 있어서, 임의의 관련된 에지 검출 임계값은 충분히 낮게 설정되어 중요한 에지의 유지를 보장해야 하고, 마찬가지로 이하에 설명될 후속처리는 신뢰할 수 없는 에지의 제지를 보장할 것이다. 또한, 잠재적으로 다른 에지 검출 임계값과 다른 매개변수를 사용하는 다른 종류의 에지 검출 동작이 단계(104-1 및 104-2)에서 사용될 수 있다.
본 명세서에 사용된 용어 "이미지"는 광범위하게 해석되도록 의도한 것이고, 에지 이미지 E1과 E2의 맥락에서 예를 들어, 에지 지도 또는 다른 검출된 에지를 특징화하는 픽셀 정보의 세트를 포함할 수 있다는 점을 유의한다. 용어 "에지" 또한, 예를 들어, 이미지된 대상의 주변의 부분과 이미지의 다른 부분 사이의 전환(transition)과 연관된 주어진 이미지 내의 픽셀 세트를 포함하기 위해 광범위하게 해석되도록 의도한 것이다.
주어진 에지 이미지 E1 또는 E2에서, 에지 픽셀은 특정 2진 픽셀 값으로 표시될 수 있다. 따라서, 에지의 일부인 다른 에지 이미지 픽셀이 에지 이미지에서 2진 값 "1"을 가지고, 에지의 일부가 아닌 다른 에지 이미지 픽셀은 에지 이미지에 2진 값 "0"을 가진다. 에지 이미지의 각각의 에지와 에지가 아닌 픽셀을 각각 나타내기 위해 "흰색"과 "검정색" 이라는 용어가 사용될 수도 있다.
단계(204-1 및 204-2)에 적용되는 에지 검출 기법은 보통보다 작은 에지의 거부뿐만 아니라 다양한 종류의 에지 분할과 같은 기법을 포함할 수 있다. 예를 들어, 주어진 에지 세그먼트의 각 픽셀이 에지 이미지 E1 또는 E2 중 하나의 특정 픽셀에 대응하고, 모든 에지가 1 픽셀 두께라고 가정될 때, 복수의 별개의 에지 세그먼트 ESn, n=1,...N을 식별하는데 에지 분할이 사용될 수 있다. 각각의 그러한 에지 세그먼트는 시작 픽셀 sn 및 마지막 픽셀 en을 갖고, 채워지거나 채워지지 않은 코너 위치, 또는 이들의 조합을 포함할 수 있다. 다수의 다른 종류의 에지 세그먼트가 단계(204-1 및 204-2)에서 생성될 수 있다. 예를 들어, 다른 실시예의 에지 세그먼트는 1 픽셀보다 더 두꺼울 수 있다.
단계(206)에서, 제 1 및 제 2 에지 이미지 E1 과 E2로부터의 에지를 사용하여 조인트 에지 가중 동작이 적용된다. 본 실시예의 조인트 에지 가중 동작은 제 1 에지 이미지 E1의 에지와 제 2 에지 이미지 E2 에지들 사이의 근접 측도를 결정하는 단계를 일반적으로 포함한다.
예를 들어, 본 실시예의 조인트 에지 가중 동작은, 특히, 픽셀 부근(a pixel vicinity)을 정의하는 단계를 포함하고, 제 1 에지 이미지 및 제 2 에지 이미지 E1 과 E2 중 하나의 에지 이미지 내의 복수의 에지 픽셀 각각에 대하여, 에지 픽셀의 정의된 부근 내에 있는 제 1 및 제 2 에지 이미지 E1 과 E2 중 다른 에지 이미지의 에지 픽셀 카운트(count)를 결정하는 단계를 포함한다. 제 1 에지 이미지 및 제 2 에지 이미지 중 하나의 에지 이미지 내의 복수의 에지 픽셀 중 현재 하나의 에지 픽셀에 대해 정의된 부근은, 이하에서 더 상세히 설명될 현재의 에지 픽셀의 특정된 반경 거리 이내의 모든 픽셀을 포함할 수 있다. 다른 종류의 거리 척도가 조인트 에지 가중의 목적을 위해 주어진 부근을 정의하기 위해 사용될 수 있다.
전형적으로, 입력 그레이스케일 이미지로부터 도출된 제 2 에지 이미지 E2는 입력 깊이 지도로부터 도출된 제 1 에지 이미지 E1보다 훨씬 더 신뢰할 수 있고 잘 정의된 에지를 갖는다. 이에 따라, 본 실시예에서, 전술한 에지 픽셀 카운트의 결정은 제 2 에지 이미지 E2의 각각의 에지 픽셀에 대해, 제 2 에지 이미지 E2의 에지 픽셀의 정의된 부근 내에 있는 제 1 에지 이미지 E1의 에지 픽셀 카운트를 결정하는 단계를 포함할 수 있다. 하지만, 다른 실시예에서, 이러한 예시의 조인트 에지 가중 동작에서의 제 1 에지 이미지 및 제 2 에지 이미지 E1 과 E2의 역할은 반전될 수 있다.
본 실시예에서, 맨하탄 거리(Manhattan distance) 미터법을 사용하여 부근이 정의되는데, 그 예시들은 도 3에 도시된다. 여기에서, 주어진 픽셀 주위의 예시적인 부근은 상이한 값의 부근 반경 r에 대하여 도시되며, 여기서 r은 주어진 픽셀로부터 부근의 둘레(perimeter)까지의 최대 맨하탄 거리를 의미한다. 도면에서, 오직 주어진 픽셀만으로 구성된 r=0의 값과, 주어진 픽셀을 둘러싸는 8개 픽셀로 구성된 r=1의 값과, 주어진 픽셀을 둘러싸는 24개 픽셀로 구성된 r=2의 값을 포함하는 세 개의 상이한 값의 부근 반지름 r에 대하여 도시된다. 본 예시에서 부근의 크기는 부근 반지름 r에 따라 기하급수적으로(exponentially) 증가한다. 조인트 에지 가중 동작의 맥락에서 부근을 정의하기 위해 다른 값의 부근 반지름 r이 사용될 수 있다. 또한, 앞서 개시한 바와 같이, 유클리디안 거리(Euclidean distance), 체스보드 거리(chessboard distance) 등을 포함하는 다른 거리 척도가 사용될 수 있다.
제 1 에지 이미지 E1의 에지 픽셀은 E1(i,j)=1이고, E1의 모든 다른 픽셀은 0과 같다. 이와 마찬가지로, 제 2 에지 이미지 E2의 에지 픽셀은 E2(i,j)=1이고, E2의 모든 다른 픽셀은 0과 같다.
제 1 예시에서, 단계(210)의 조인트 에지 가중 동작은 E2 내의 각 에지 픽셀에 대해 아래의 의사코드(pseudcode)를 실행하는 것을 포함한다:
Figure pct00001
제 2 예시에서, 단계(210)의 조인트 에지 가중 동작은 아래의 의사코드를 실행하는 것을 포함한다:
Figure pct00002
위의 제 2 예시는 거리 변환(distance transforms)을 이용하여 E2의 각각의 픽셀에 대하여 E1 내의 가장 가까운 에지 픽셀까지의 거리를 결정하고, 그 역 또한 같다.
제 3 예시에서, 단계(210)의 조인트 에지 가중 동작은 아래의 의사코드를 실행하는 것을 포함한다:
Figure pct00003
thresholdd 값은 조인트 에지 가중 동작의 파라미터로 설정된 정수 상수이다.
앞의 의사코드의 vote(i,j)값은 다른 에지 이미지의 특정 픽셀의 부근 내에 존재하는 하나의 에지 이미지의 특정 종류의 픽셀의 "카운트(counts)"로 본 명세서에서 더 일반적으로 지칭되는 것의 일 예시이다. 앞서 개시한 바와 같이, 예시들에서 부근들은 제 2 에지 이미지 E2의 픽셀에 대하여 정의되지만, 다른 실시예들에서는 E2 및 E1의 역할이 전환되어, 부근들이 제 1 에지 이미지 E1의 픽셀에 대하여 정의될 수 있다.
단계(210)에서, 단계(206)에서 수행된 에지 가중 동작의 결과에 기초하여 에지 마스크가 생성된다. 에지 마스크는 위에 개시된 각각 픽셀 부근에 대해 정의된 카운트를 사용하는 단계에 적어도 부분적으로 기초하여 생성되고, 제 3 에지 이미지 E3를 획득하기 위해 적용된다. 예를 들어, 제 3 에지 이미지는 제 2 에지 이미지에 에지 마스크의 픽셀 방식(pixel-wise) 적용에 의해 단계(210)에서 다음 공식에 따라 획득할 수 있다:
Figure pct00004
여기서 E3(i,j)는 제 3 에지 이미지의 픽셀을 나타내고, E2(i,j)는 제 2 에지 이미지의 픽셀을 나타내고, and는 논리 결합 연산자를 나타내고, mask(i,j)는 에지 마스크의 픽셀을 나타낸다.
본 예시에서, mask(i,j)는 vote(i,j)로 나타낸 대응하는 카운트가 특정 임계값을 초과하는지 여부에 기초하여 결정되는 2진 값이며, 카운트 vote(i,j)는 앞서 개시된 주어진 조인트 에지 가중의 예시 중 하나에 따라 제 2 에지 이미지의 픽셀 E2(i,j)의 정의된 부근 이내의 제 1 에지 이미지 E1의 에지 픽셀 카운트를 나타낸다.
카운트는 E2 내의 에지에서 E1 내의 에지까지의 가까운 정도를 나타낸다. E1 내에 충분히 가까운 대응이 없는 E2 내의 에지는 실제 객체 경계와 연관될 가능성이 낮은 신뢰할 수 없는 에지로 간주되고, 이에 따라, 에지 마스크의 적용에 의해 제거된다. 에지 마스킹 과정은 특히 다음과 같이 특징화될 수 있다:
Figure pct00005
여기서 thresholdv는 양의 상수이고, vrai는 vrai(true)=1 및 vrai(false)=0의 2진 출력 값을 제공하는 진리함수이다. 더 작은 값의 thresholdv는 E1 내에 가까운 이웃 에지가 없을 수도 있는 E2의 에지를 더 보존하는 경향이 있을 것이고, 더 높은 값의 thresholdv는 E1 내의 에지를 사용한 E2 내의 에지의 더 엄격한 검증으로 이어질 것이다. 단계(206)의 에지 가중 동작으로부터의 카운트에 기초하는 다른 종류의 에지 마스킹이 다른 실시예에서 사용될 수 있다.
도면에 도시된 바와 같이, 에지 마스킹 단계(210)의 출력 제 3 에지 이미지 E3는 향상된 에지의 세트를 표현한다. 각각의 에지는 이미지 프로세서(102)에 의해 수행되는 이후의 처리 동작에서 사용될 수 있는 관련된 신뢰 추정을 가질 수 있다. 이러한 신뢰 추정의 생성은 본 명세서에서 넓은 의미로 사용되는 "에지 검증(edge verification)"의 한 종류로 간주된다. 또한, 실질적으로 지정된 신뢰도 수준을 가지는 에지만을 주어진 에지 이미지 내에 포함하는 것은 본 명세서에 사용된 용어인 에지 검증의 또 다른 실시예이다.
단계(212)에서, 깊이 지도 필터링을 사용하여 에지 강화 동작이 수행된다. 깊이 지도 필터링은 수정된 제 3 에지 이미지 E3'를 생성하기 위해 제 3 에지 이미지 E3에 예시적으로 적용되는 것으로 도면에 도시된다. 입력 그레이스케일 이미지가 이미져로부터 각각 다른 거리에 놓인 동일한 그레이스케일 밝기의 물체를 포함하는 경우에 발생 가능한, 결과적인 수정된 제 3 에지 이미지 E3'가 E2에 대응이 없는 E1의 강한 에지를 포함하는 것을 보장하기 위해 단계(212)의 깊이 지도 필터링을 포함하는 동작이 사용될 수 있다. 일 예시로, 제 3 에지 이미지 E3에 다음과 같이 에지 강화 동작이 적용될 수 있다:
Figure pct00006
여기서 D(i,j)는 정렬되고 전처리된 입력 깊이 지도의 픽셀을 나타내거나, 논리적 분리 연산자를 나타내고, thresholdc는 이중 에지가 발생하지 않도록 보장하는 상대적으로 작은 임계값이고, thresholdi는 E1의 강한 에지가 E3'에 포함될 것을 보장하는 상대적으로 큰 임계값이다.
위의 edge_importance 함수는 여러 다른 방법으로 정의될 수 있다. 예를 들어, 이 함수는 2D 가우시안 저역 필터(Gaussian low-pass filter) LPF(·)로 평활화된 그라디언트 크기로 예시적으로 정의될 수 있다:
Figure pct00007
여기서 함수 thinning(·)는 에지를 일 픽셀 두께로 만든다. 단계(212)의 깊이 지도 필터링에 의해 에지 강화에 사용되는 입력 깊이 지도 D의 특정 에지의 중요성을 정의하기 위해 다수의 다른 함수들이 사용될 수 있다. 도면에 도시된 것처럼, 단계(204-1)의 에지 검출 동작의 에지 이미지 출력이 깊이 지도 필터링 단계(212)에 이용될 수 있다
단계(214)에서, 입력 깊이 지도에 비해 향상된 에지 품질을 가지는 향상된 깊이 지도를 생성하기 위해 제 3 에지 이미지 E3 또는 수정된 제 3 에지 이미지 E3'의 에지를 사용하여 에지 복원 동작이 수행된다. 에지 이미지 E3와 에지 이미지 E3'는 양자 모두 본 명세서에서 "제 3 이미지"로 일반적으로 지칭되는 것의 예시로 여겨진다. 이하의 예시에서, 에지 복원은 E3로부터의 에지를 사용하여 적용되지만, 대신 E3'로부터의 에지를 사용하여 적용될 수 있다.
E3의 신뢰할 수 있는 에지에 의해 둘러싸인(bounded) 영역 내부에서는 깊이가 (x, y) 위치의 함수로서 급격하게 변하지 않는다고 가정된다. 따라서, 단계(214)는 예를 들어, E3의 에지에 의해 정의된 경계 내부에 위치한 정렬되고 전처리된 입력 깊이 지도의 일부에 2D 평활화 필터의 적용을 포함할 수 있다. 단계(214)에 적용된 것들 및 다른 종류의 에지 복원은 깊이 지도 내부에 이미지된 객체의 스페클 노이즈(speckle noise)와 같은 노이즈를 억제하는데 사용될 수 있을 뿐만 아니라, 에지 근처에 균일하게 잘못 정의된 지역을 채우고 다른 특이성을 제거하는데 사용될 수 있다.
계산적으로 비싸지 않은 대표적인 에지 복원 동작은 다음 단계를 포함한다:
1. E3의 에지 근처의 신뢰할 수 없는 깊이 값을 가지는 깊이 지도 픽셀을 제외한다. 이것은 예를 들어, 다음과 같은 모든 깊이 지도 픽셀을 제거하는 단계를 포함할 수 있다.
Figure pct00008
여기서 reliability_threshold는 신뢰할 수 있다고 여겨지기 위해 깊이 지도 픽셀이 E3의 에지와 얼마나 가까이 있어야 하는지 결정하는 상수이다. 이 파라미터는 비교적 상황에 독립적이고 주어진 종류의 깊이 이미져에 최적화될 수 있다.
2. 주어진 에지의 동일한 측면의 인접한 신뢰할 수 있는 픽셀로부터의 깊이 값을 사용해 단계 1에서 생성된 빈자리를 복원한다. 예를 들어, 단계 1에서 제외된 각각의 픽셀에 대응되는 에지의 동일한 측면의 복수의 인접한 신뢰할 수 있는 중간 깊이 값에 의해 주어진 깊이 값이 할당되는 중간값 필터링 접근이 사용될 수 있다.
3. 복원된 영역에 평활화 필터를 적용한다. 예를 들어, 한번에 M2 픽셀을 덮는 슬라이딩(sliding) 2D 정사각형 모양의 단-지원 중간값 필터(a 2D square-shaped short-support median filter)가 사용될 수 있다. 만약 M2 픽셀의 필터링 처리된 영역의 일부가 에지와 겹친다면, 대응되는 깊이 값은 필터링에서 이용되지 않는다.
위의 에지 복원 과정은 지정된 깊이 값을 갖지 않는 남은 에지 픽셀을 어드레싱하는데 필요한 만큼 반복될 수 있다. 예를 들어, 지역적(localized) 3x3 2D 중간값 필터가 이 목적을 위해 사용될 수 있다. 빈 에지 픽셀이 문제가 되지 않는 제스처 인식과 같은 특정 응용에서, 이 추가적인 에지 복원 처리의 반복은 생략될 수 있다. 또한, 다른 종류의 에지 복원 동작이 다른 실시예에서 사용될 수 있고, 또는 에지 복원이 전부 생략될 수 있다.
도 2 과정은 간단한 방식으로 진행될(pipelined) 수 있다. 예를 들어, 단계들의 적어도 일부가 병렬적으로 수행되어, 주어진 입력 깊이 지도와 그레이스케일 이미지의 과정의 전체적인 지연 시간을 감소시킬 수 있고, 실시간 이미지 처리 응용에서 설명된 기법들의 구현을 촉진할 수 있다.
앞서 언급한 바와 같이, 단계(214)의 출력에서 생성되는 향상된 깊이 지도는 이미지 프로세서(102)에서 더 처리되거나, 다른 처리 디바이스(106) 또는 이미지 수신지(107)로 공급될 수 있다.
도 2에서 사용된 실시예의 특정 처리 단계는 오직 예시일 뿐이고, 다른 실시예들은 이미지 처리 동작의 여러 종류와 배열이 이용될 수 있다는 것이 이해되어야 한다. 예를 들어, 주어진 이미지의 에지가 향상되고 향상된 에지를 포함하는 이미지가 생성되는 특정 방법은 다른 실시예에서 다양화될 수 있다. 또한, 전술한 바와 같이, 도면에서 연속적으로 이행되는 것으로 표시되는 단계들은 다른 실시예의 하나 이상의 다른 단계와 적어도 부분적으로 평행하게 수행될 수 있다. 따라서, 도 2에 도시된 바와 같은 특정 단계들과 그들의 상호연결은 일 실시예의 처리 단계들의 하나의 가능한 배열로 봐야하고, 다른 실시예들은 다른 처리 순서로 배치된 추가적 또는 대안적인 처리 단계들을 포함할 수 있다.
본 발명의 실시예는 특히 하나 이상의 추가적 이미지를 사용한 이미지 향상과 에지 검증의 효과적 기법을 제공한다. 예를 들어, 개시된 기법은 특히 SL 또는 ToF 카메라 또는 다른 종류의 깊이 이미져의 깊이 이미지와 같은 특정 종류의 이미지들의 낮은 품질의 검출된 에지를 주로 생산하는 기존의 에지 검출 기법에 비해 크게 개선된 에지 이미지를 제공한다. 더 나아가, 신뢰할 수 있는 에지를 가지는 이미지는 기존의 에지 검출 동작에서 자주 요구되는 과도한 파라미터 조정의 비용및 복잡성 없이 본 명세서에 개시된 기법을 사용하여 제공된다.
따라서, 본 발명의 실시예에서 생성된 신뢰할 수 있는 에지를 가지는 향상된 깊이 지도와 다른 종류의 이미지는 예를 들어, 특징 추출, 패턴 인식, 제스처 인식, 물체 인식 및 추적을 포함하는, 에지를 이용하는 이후 이미지 처리 동작의 효율성을 크게 향상시킬 수 있다.
본 명세서에 설명된 본 발명의 실시예는 예시일 뿐이라는 것이 다시 강조되어야 한다. 예를 들어, 본 발명의 다른 실시예들이 본 명세서에 개시된 특정 실시예에서 이용된 것보다 다양한 다른 종류와 배열의 이미지 처리 회로, 모듈과 처리 동작을 이용하여 수행될 수 있다. 게다가, 본 명세서에 특정 실시예를 설명하는 맥락에서 행해진 특정 가정이 다른 실시예에 적용될 필요는 없다. 당업자에게 있어서 다음 청구항 범위 내의 이러한 및 다수의 다른 대안적인 실시예는 명백할 것이다.

Claims (20)

  1. 제 1 에지 이미지 및 제 2 에지 이미지 각각을 획득하기 위해 제 1 이미지 및 제 2 이미지의 각각에 제 1 에지 검출 동작 및 제 2 에지 검출 동작을 수행하는 단계와,
    상기 제 1 에지 이미지 및 상기 제 2 에지 이미지로부터의 에지를 사용하여 조인트 에지 가중 동작(a joint edge weighting operation)을 적용하는 단계와,
    상기 에지 가중 동작의 결과에 기초하여 에지 마스크(an edge mask)를 생성하는 단계와,
    상기 에지 마스크를 이용하여 제 3 에지 이미지를 획득하는 단계와,
    상기 제 3 에지 이미지에 기초하여 제 3 이미지를 생성하는 단계를 포함하되,
    상기 단계들은 메모리에 연결된 프로세서를 포함하는 적어도 하나의 프로세싱 디바이스 내에서 구현되는
    방법.
  2. 제 1 항에 있어서,
    상기 제 1 이미지는 깊이 이미져(a depth imager)에 의해 생성되는 제 1 깊이 이미지(depth image)를 포함하는
    방법.
  3. 제 2 항에 있어서,
    상기 제 2 이미지는 상기 제 1 이미지와 실질적으로 동일한 장면의 2 차원 이미지를 포함하는
    방법.
  4. 제 3 항에 있어서,
    상기 제 3 이미지는 상기 제 1 깊이 이미지에 비해 향상된 에지 품질(enhanced edge quality)을 가지는 향상된 깊이 이미지를 포함하는
    방법.
  5. 제 1 항에 있어서,
    상기 제 3 에지 이미지는,
    각각이 상기 제 1 에지 이미지 및 상기 제 2 에지 이미지 모두에서 충분히 근접하여 나타나지만, 상기 에지 이미지 중 특정 하나의 에지 이미지에서만 획득되는 하나 이상의 에지와,
    각각이 상기 제 1 에지 이미지에서는 나타나지만 상기 제 2 에지 이미지에는 나타나지 않는 하나 이상의 에지를 포함하되,
    상기 제 3 에지 이미지는 각각이 상기 제 2 에지 이미지에서는 나타나지만 상기 제 1 이미지에는 나타나지 않는 하나 이상의 에지를 포함하지 않는
    방법.
  6. 제 1 항에 있어서,
    상기 조인트 에지 가중 동작은 상기 제 1 에지 이미지에서의 에지와 상기 제 2 에지 이미지에서의 에지 사이의 근접 측도(measures of closeness)를 결정하는
    방법.
  7. 제 1 항에 있어서,
    상기 조인트 에지 가중 동작은,
    픽셀 부근(a pixel vicinity)을 정의하는 단계와,
    상기 제 1 에지 이미지 및 상기 제 2 에지 이미지 중 하나의 복수의 에지 픽셀의 각각에 대하여, 상기 제 1 에지 이미지 및 상기 제 2 에지 이미지 중 다른 하나의 에지 픽셀 중 해당 에지 픽셀의 상기 정의된 부근 내에 있는 에지 픽셀의 에지 픽셀 카운트(count)를 결정하는 단계를 포함하되,
    상기 에지 마스크는 상기 복수의 에지 픽셀의 각각에 대하여 결정된 상기 에지 픽셀 카운트에 적어도 부분적으로 기초하여 생성되는
    방법.
  8. 제 7 항에 있어서,
    상기 제 1 에지 이미지 및 상기 제 2 에지 이미지 중 하나의 상기 복수의 에지 픽셀 중 현재의 에지 픽셀을 위해 정의된 부근은 상기 현재 에지 픽셀의 특정 반경 거리(a specified radial distance) 내의 모든 픽셀을 포함하는
    방법.
  9. 제 7 항에 있어서,
    상기 에지 픽셀 카운트를 결정하는 단계는, 상기 제 2 에지 이미지의 복수의 에지 픽셀의 각각에 대하여, 상기 제 2 에지 이미지의 상기 에지 픽셀의 상기 정의된 부근 내에 있는 상기 제 1 에지 이미지의 에지 픽셀의 에지 픽셀 카운트를 결정하는 단계를 포함하는
    방법.
  10. 제 1 항에 있어서,
    상기 에지 마스크를 이용하여 제 3 에지 이미지를 획득하는 단계는, 다음 식에 따라 상기 제 2 에지 이미지에 대한 에지 마스크의 픽셀 방식 적용(pixel-wise application)을 포함하되,
    Figure pct00009

    E3(i,j)는 상기 제 3 에지 이미지의 픽셀을 나타내고, E2(i,j)는 상기 제 2 에지 이미지의 픽셀을 나타내며, and는 논리 연산자를 나타내고, mask(i,j)는 상기 에지 마스크의 픽셀을 나타내는
    방법.
  11. 제 10 항에 있어서,
    mask(i,j)는 vote(i,j)로 나타낸 카운트가 특정 임계값을 초과하는지 여부에 기초하여 결정되는 2진 값이되,
    상기 카운트 vote(i,j)는, 상기 제 2 에지 이미지의 픽셀 E2(i,j)의 정의된 부근 내에 있는 상기 제 1 에지 이미지의 에지 픽셀 카운트를 나타내는
    방법.
  12. 제 1 항에 있어서,
    상기 제 3 에지 이미지에 에지 강화 동작(an edge consolidation operation)을 수행하는 단계를 더 포함하는
    방법.
  13. 제 1 항에 있어서,
    상기 제 3 이미지를 생성하는 단계는 상기 제 3 에지 이미지의 에지로 둘러싸인(bounded) 상기 제 1 이미지의 부분에 에지 복원 동작(an edge inpainting operation)을 수행하는 단계를 더 포함하는
    방법.
  14. 컴퓨터 프로그램 코드를 저장하는 컴퓨터 판독 가능한 저장 매체로서,
    상기 컴퓨터 프로그램 코드는 처리 디바이스에서 실행될 때 상기 처리 디바이스로 하여금 제 1 항의 상기 방법을 수행하게 하는
    컴퓨터 판독 가능한 저장 매체.
  15. 메모리에 연결된 프로세서를 포함하는 적어도 하나의 처리 디바이스를 포함하는 장치로서,
    상기 적어도 하나의 처리 디바이스는,
    제 1 에지 이미지 및 제 2 에지 이미지를 각각 획득하도록 제 1 이미지 및 제 2 이미지 각각에 제 1 에지 검출 동작 및 제 2 에지 검출 동작을 수행하고,
    상기 제 1 에지 이미지 및 상기 제 2 에지 이미지로부터의 에지를 사용하여 조인트 에지 가중 동작을 적용하고,
    상기 에지 가중 동작의 결과에 기초하여 에지 마스크를 생성하고,
    상기 에지 마스크를 이용하여 제 3 에지 이미지를 획득하고,
    상기 제 3 에지 이미지에 기초하여 제 3 이미지를 생성
    하도록 구성되는
    장치.
  16. 제 15 항에 있어서,
    상기 처리 디바이스는 이미지 프로세서를 포함하되, 상기 이미지 프로세서는,
    상기 제1 에지 검출 동작 및 상기 제 2 에지 검출 동작을 수행하도록 구성된 에지 검출 모듈과,
    상기 조인트 에지 가중 동작을 수행하도록 구성된 조인트 에지 가중 모듈과,
    상기 에지 가중 동작의 결과에 기초하여 상기 에지 마스크를 생성하도록 구성된 에지 마스킹 모듈을 포함하되,
    상기 모듈들은 상기 이미지 프로세서의 적어도 하나의 그래픽 프로세서를 포함하는 이미지 처리 회로를 사용하여 구현되는
    장치.
  17. 제 15 항에 있어서,
    상기 이미지 프로세서는 상기 제 3 이미지의 생성과 함께 상기 제 3 에지 이미지의 에지 상에서 에지 복원 동작을 수행하도록 구성된 에지 복원 모듈을 더 포함하는
    장치.
  18. 제 15 항의 장치를 포함하는
    집적 회로.
  19. 이미지 처리 시스템으로서,
    제 1 이미지 및 제 2 이미지를 제공하는 하나 이상의 이미지 소스와,
    하나 이상의 이미지 수신지와,
    상기 하나 이상의 이미지 소스와 상기 하나 이상의 이미지 수신지 사이에 연결된 이미지 프로세서를 포함하되,
    상기 이미지 프로세서는,
    제 1 에지 이미지 및 제 2 에지 이미지 각각을 획득하기 위해 제 1 이미지 및 제 2 이미지 각각에 제 1 에지 검출 동작 및 제 2 에지 검출 동작을 수행하고,
    상기 제 1 에지 이미지 및 상기 제 2 에지 이미지로부터의 에지를 사용하여 조인트 에지 가중 동작을 적용하고,
    에지 가중 동작의 결과에 기초하여 에지 마스크를 생성하고,
    상기 에지 마스크를 이용하여 제 3 에지 이미지를 획득하고,
    상기 제 3 에지 이미지에 기초하여 제 3 이미지를 생성하도록 구성되는
    이미지 처리 시스템.
  20. 제 19 항에 있어서,
    상기 하나 이상의 이미지 소스 중 적어도 하나의 이미지 소스는 깊이 이미져(a depth imager)를 포함하는
    이미지 처리 시스템.
KR1020157019155A 2013-02-14 2013-08-28 적어도 하나의 추가적인 이미지를 사용한 이미지 향상과 에지 검증을 위한 방법 및 장치 KR20150117646A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
RU2013106513 2013-02-14
RU2013106513/08A RU2013106513A (ru) 2013-02-14 2013-02-14 Способ и устройство для улучшения изображения и подтверждения границ с использованием по меньшей мере одного дополнительного изображения
PCT/US2013/057048 WO2014126613A1 (en) 2013-02-14 2013-08-28 Method and apparatus for image enhancement and edge verification using at least one additional image

Publications (1)

Publication Number Publication Date
KR20150117646A true KR20150117646A (ko) 2015-10-20

Family

ID=51354463

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020157019155A KR20150117646A (ko) 2013-02-14 2013-08-28 적어도 하나의 추가적인 이미지를 사용한 이미지 향상과 에지 검증을 위한 방법 및 장치

Country Status (8)

Country Link
US (1) US9305360B2 (ko)
JP (1) JP2016513320A (ko)
KR (1) KR20150117646A (ko)
CN (1) CN104272323A (ko)
CA (1) CA2848829A1 (ko)
RU (1) RU2013106513A (ko)
TW (1) TW201432621A (ko)
WO (1) WO2014126613A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190014105A (ko) * 2016-06-27 2019-02-11 로베르트 보쉬 게엠베하 동적 가림 핸들링을 위한 시스템들 및 방법들
KR20200028316A (ko) * 2018-09-06 2020-03-16 타타 컨설턴시 서비시즈 리미티드 손 세그멘테이션 수행 시스템들 및 방법들
KR20200086429A (ko) * 2019-01-09 2020-07-17 삼성전자주식회사 이미지 처리 프로세서, 이미지 처리 시스템 및 이미지 처리 프로세서의 동작 방법

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2013106513A (ru) 2013-02-14 2014-08-20 ЭлЭсАй Корпорейшн Способ и устройство для улучшения изображения и подтверждения границ с использованием по меньшей мере одного дополнительного изображения
WO2016112019A1 (en) * 2015-01-06 2016-07-14 Oculus Vr, Llc Method and system for providing depth mapping using patterned light
WO2016154366A1 (en) * 2015-03-23 2016-09-29 Arris Enterprises, Inc. System and method for selectively compressing images
CN107534764B (zh) * 2015-04-30 2020-03-17 深圳市大疆创新科技有限公司 增强图像分辨率的***及方法
TWI595449B (zh) * 2015-12-30 2017-08-11 國立中正大學 影像增強方法
CN106228138A (zh) * 2016-07-26 2016-12-14 国网重庆市电力公司电力科学研究院 一种融合区域和边缘信息的道路检测算法
US9906717B1 (en) * 2016-09-01 2018-02-27 Infineon Technologies Ag Method for generating a high-resolution depth image and an apparatus for generating a high-resolution depth image
US10445861B2 (en) * 2017-02-14 2019-10-15 Qualcomm Incorporated Refinement of structured light depth maps using RGB color data
US10127631B1 (en) * 2017-03-02 2018-11-13 Snap Inc. Automatic image inpainting using local patch statistics
TWI618031B (zh) * 2017-04-12 2018-03-11 和碩聯合科技股份有限公司 影像邊緣偵測方法
DE112018004891T5 (de) * 2017-09-01 2020-06-10 Sony Corporation Bildverarbeitungsvorrichtung, bildverarbeitungsverfahren, programm und mobiler körper
US11393114B1 (en) * 2017-11-08 2022-07-19 AI Incorporated Method and system for collaborative construction of a map
US10706505B2 (en) * 2018-01-24 2020-07-07 GM Global Technology Operations LLC Method and system for generating a range image using sparse depth data
CN108320265B (zh) * 2018-01-31 2021-09-21 努比亚技术有限公司 一种图像处理方法、终端及计算机可读存储介质
CN108986156B (zh) * 2018-06-07 2021-05-14 成都通甲优博科技有限责任公司 深度图处理方法及装置
CN108830873B (zh) * 2018-06-29 2022-02-01 京东方科技集团股份有限公司 深度图像物体边缘提取方法、装置、介质及计算机设备
CN109527773A (zh) * 2018-12-03 2019-03-29 宁波锦觅网络科技有限公司 香体自适应选择式散香器
US10735436B1 (en) * 2020-02-05 2020-08-04 Cyberark Software Ltd. Dynamic display capture to verify encoded visual codes and network address information
DE102020104704A1 (de) * 2020-02-21 2021-08-26 Carl Zeiss Microscopy Gmbh Verfahren zur Verarbeitung von Bildern, Computerprogrammprodukt, Bildbearbeitungsvorrichtung und Strahlvorrichtung zum Ausführen des Verfahrens
WO2021174506A1 (zh) * 2020-03-05 2021-09-10 深圳市大疆创新科技有限公司 图像边缘检测方法、装置以及图像信号处理器
US11555703B2 (en) 2020-04-22 2023-01-17 Honeywell International Inc. Adaptive gaussian derivative sigma systems and methods
US11650057B2 (en) 2020-04-22 2023-05-16 Honeywell International Inc. Edge detection via window grid normalization
US20220156896A1 (en) * 2020-11-18 2022-05-19 Samsung Electronics Co., Ltd. System and method for image inpainting based on layout-guided pre-processing attention mechanism
CN112927154B (zh) * 2021-03-05 2023-06-02 上海炬佑智能科技有限公司 ToF装置、深度相机以及灰度图像增强方法
US20230094651A1 (en) * 2021-09-30 2023-03-30 Konica Minolta Business Solutions U.S.A., Inc. Extracting text from an image
CN116957990B (zh) * 2023-09-19 2023-12-08 东莞市华复实业有限公司 一种户外水表数据视觉采集方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8120679B2 (en) * 2008-08-01 2012-02-21 Nikon Corporation Image processing method
JP4743553B2 (ja) * 2008-09-29 2011-08-10 京セラ株式会社 レンズユニット、撮像装置、および電子機器
US8400468B2 (en) * 2009-08-27 2013-03-19 Seiko Epson Corporation Projector masks for calibrating projector-based display systems
JP5909187B2 (ja) * 2009-10-14 2016-04-26 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ フィルタ処理およびエッジ符号化
US8610758B2 (en) 2009-12-15 2013-12-17 Himax Technologies Limited Depth map generation for a video conversion system
US9047681B2 (en) * 2011-07-07 2015-06-02 Samsung Electronics Co., Ltd. Depth image conversion apparatus and method
JP5842441B2 (ja) 2011-07-29 2016-01-13 ブラザー工業株式会社 画像処理装置およびプログラム
RU2013106513A (ru) 2013-02-14 2014-08-20 ЭлЭсАй Корпорейшн Способ и устройство для улучшения изображения и подтверждения границ с использованием по меньшей мере одного дополнительного изображения

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190014105A (ko) * 2016-06-27 2019-02-11 로베르트 보쉬 게엠베하 동적 가림 핸들링을 위한 시스템들 및 방법들
KR20200028316A (ko) * 2018-09-06 2020-03-16 타타 컨설턴시 서비시즈 리미티드 손 세그멘테이션 수행 시스템들 및 방법들
KR20200086429A (ko) * 2019-01-09 2020-07-17 삼성전자주식회사 이미지 처리 프로세서, 이미지 처리 시스템 및 이미지 처리 프로세서의 동작 방법

Also Published As

Publication number Publication date
RU2013106513A (ru) 2014-08-20
TW201432621A (zh) 2014-08-16
JP2016513320A (ja) 2016-05-12
CA2848829A1 (en) 2014-08-14
WO2014126613A1 (en) 2014-08-21
US20150206318A1 (en) 2015-07-23
CN104272323A (zh) 2015-01-07
US9305360B2 (en) 2016-04-05

Similar Documents

Publication Publication Date Title
KR20150117646A (ko) 적어도 하나의 추가적인 이미지를 사용한 이미지 향상과 에지 검증을 위한 방법 및 장치
US9384411B2 (en) Image processor with edge-preserving noise suppression functionality
JP6501092B2 (ja) オブジェクトセグメンテーションのための前景マスク補正のための画像処理装置及び方法
US9384556B2 (en) Image processor configured for efficient estimation and elimination of foreground information in images
US7860280B2 (en) Facial feature detection method and device
US20230419453A1 (en) Image noise reduction
US20140240467A1 (en) Image processing method and apparatus for elimination of depth artifacts
EP3067863B1 (en) Image noise reduction
US9373053B2 (en) Image processor with edge selection functionality
JP5908844B2 (ja) 画像処理装置および画像処理方法
US20160247284A1 (en) Image processor with multi-channel interface between preprocessing layer and one or more higher layers
CN113822942A (zh) 一种基于二维码的单目摄像头测量物体尺寸的方法
WO2017128646A1 (zh) 一种图像处理的方法及装置
KR101681197B1 (ko) 다중 컬러 센서를 기반하여, 고속 컨벌루션을 이용한 영상의 깊이 정보 추출 방법 및 장치
CN115034988A (zh) 一种基于rgbd相机的两阶段主体点云滤波方法
EP1865443A2 (en) Facial feature detection method and device
Chakravathi et al. FPGA based architecture for realtime edge detection
Nguyen et al. A novel automatic deforming for smartphone image scanning using gradient-based corner detection

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid