KR101994319B1 - 깊이 영상을 이용하는 객체 인식 장치 및 그 장치를 이용한 방법 - Google Patents

깊이 영상을 이용하는 객체 인식 장치 및 그 장치를 이용한 방법 Download PDF

Info

Publication number
KR101994319B1
KR101994319B1 KR1020130017757A KR20130017757A KR101994319B1 KR 101994319 B1 KR101994319 B1 KR 101994319B1 KR 1020130017757 A KR1020130017757 A KR 1020130017757A KR 20130017757 A KR20130017757 A KR 20130017757A KR 101994319 B1 KR101994319 B1 KR 101994319B1
Authority
KR
South Korea
Prior art keywords
feature vector
foreground
depth
hole
features
Prior art date
Application number
KR1020130017757A
Other languages
English (en)
Other versions
KR20140104091A (ko
Inventor
한재준
최창규
이창교
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020130017757A priority Critical patent/KR101994319B1/ko
Priority to US14/074,247 priority patent/US9690985B2/en
Publication of KR20140104091A publication Critical patent/KR20140104091A/ko
Application granted granted Critical
Publication of KR101994319B1 publication Critical patent/KR101994319B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/24323—Tree-organised classifiers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/72—Data preparation, e.g. statistical preprocessing of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

깊이 영상의 홀을 이용하는 객체 인식 장치가 개시된다. 일 실시예는 깊이 영상으로부터 전경을 추출하는 전경 추출부, 추출된 전경 및 색상 영상을 이용하여 깊이 영상에 홀이 있는지 여부를 판단하는 홀 판단부, 전경 및 홀에 기초하여 객체에 대응되는 복수의 피쳐들을 생성함으로써 피쳐 벡터를 생성하는 피쳐 벡터 생성부 및 피쳐 벡터와 적어도 하나의 기준 피쳐 벡터에 기초하여 객체를 인식하는 객체 인식부를 포함한다.

Description

깊이 영상을 이용하는 객체 인식 장치 및 그 장치를 이용한 방법{APPARATUS OF RECOGNIZING AN OBJECT USING A DEPTH IMAGE AND METHOD THEREOF}
아래 실시예들은 깊이 영상을 이용하는 객체 인식 장치 및 그 장치를 이용한 방법에 관한 것으로, 보다 구체적으로 깊이 영상에 포함된 유실 데이터(missing data)로 인해 발생될 수 있는 오류를 감소시키는 기술에 관한 것이다.
최근 비디오 게임, 가상 세계(virtual world), 영화 컴퓨터 그래픽(computer graphic, CG) 등 실제 공간에서의 타깃 오브젝트(이를 테면, 인체(human body))의 동작을 추정하고, 이를 3-Dimensional(3D) 공간 내에서 구현하는 기술에 관한 관심이 증가하고 있다.
깊이 영상(depth image)은 깊이 영상 카메라로부터 타깃 오브젝트까지의 깊이를 저장하는 영상이다.
일 측에 따른 객체 인식 장치는 객체(object)와 관련된 깊이를 포함하는 깊이 영상(depth image)으로부터 전경(foreground)을 추출하는 전경 추출부; 상기 객체와 관련된 색상을 포함하는 색상 영상(color image) 및 상기 전경에 기초하여 상기 깊이 영상에 홀(hole)이 있는지 여부를 판단하는 홀 판단부; 상기 판단 결과에 따라 상기 전경 및 상기 홀 중 적어도 하나에 기초하여 상기 객체에 대응되는 복수의 피쳐(feature)들을 생성함으로써 피쳐 벡터(feature vector)를 생성하는 피쳐 벡터 생성부; 및 상기 피쳐 벡터와 상기 객체의 미리 정해진 외형에 대응되는 적어도 하나의 기준 피쳐 벡터에 기초하여 상기 객체를 인식하는 객체 인식부를 포함한다.
이 때, 상기 홀 판단부는 상기 깊이 영상에 홀이 있다고 판단되는 경우 상기 전경 및 상기 색상 영상에 기초하여 상기 홀을 추출하는 홀 추출부를 포함할 수 있다.
또한, 상기 홀 추출부는 상기 색상 영상에 포함된 픽셀(pixel)들의 색상 정보에 기초하여 상기 픽셀들이 상기 객체에 포함될 확률을 계산하고, 상기 확률에 기초하여 상기 홀을 추출할 수 있다.
또한, 상기 복수의 피쳐들은 해당 피쳐가 홀인지 여부에 대한 정보를 포함할 수 있다. 여기서, 상기 피쳐 벡터 생성부는 상기 깊이 영상에 홀이 있다고 판단되는 경우 상기 전경에 대응되는 피쳐들과 관련된 통계에 기초하여 상기 홀에 대응되는 피쳐의 값을 결정할 수 있다.
또한, 상기 객체 인식부는 상기 홀인지 여부에 대한 정보에 기초하여, 상기 피쳐 벡터에 포함된 복수의 피쳐들 중 홀인 피쳐를 제외한 나머지 피쳐들과 상기 적어도 하나의 기준 피쳐 벡터에 포함된 기준 피쳐들을 비교할 수 있다.
또한, 상기 객체 인식부는 상기 피쳐 벡터와 상기 적어도 하나의 기준 피쳐 벡터를 비교하기 위한 결정 트리(decision tree)-상기 결정 트리는 상기 피쳐 벡터에 포함된 복수의 피쳐들에 대응되는 복수의 분기 노드들 및 상기 객체의 외형과 관련된 정보를 포함하는 적어도 하나의 리프 노드를 포함함-를 획득하는 결정 트리 획득부; 및 상기 홀인지 여부에 대한 정보에 기초하여 상기 복수의 피쳐들 중 홀인 피쳐에 대응되는 분기 노드를 인지하고, 상기 분기 노드를 기준으로 복수의 브랜치(branch)들을 트래버스(traverse)하며, 상기 트래버스 결과에 따라 도달되는 복수의 리프 노드들에 포함된 정보에 기초하여 상기 객체를 추정하는 객체 추정부를 포함할 수 있다.
또한, 상기 적어도 하나의 기준 피쳐 벡터는 계층적 클러스터링 기법에 따라 생성되는 복수의 코드워드들을 포함하고, 상기 객체 인식부는 상기 피쳐 벡터와 상기 복수의 코드워드들을 비교함으로써 상기 복수의 코드워드들 중 상기 피쳐 벡터와 가장 유사한 코드워드를 검출하며, 상기 검출된 코드워드를 이용하여 상기 객체를 인식할 수 있다.
또한, 상기 적어도 하나의 기준 피쳐 벡터는 복수의 코드워드(codeword)들을 포함하고, 상기 복수의 코드워드들은 미리 구비된 데이터베이스에 저장되며, 상기 객체 인식부는 상기 미리 구비된 데이터베이스를 이용하여 상기 피쳐 벡터와 상기 복수의 코드워드들을 비교함으로써 상기 복수의 코드워드들 중 상기 피쳐 벡터와 가장 유사한 코드워드를 검출하고, 상기 검출된 코드워드를 이용하여 상기 객체를 인식할 수 있다.
다른 일 측에 따른 객체 인식 장치는 객체와 관련된 깊이를 포함하는 깊이 영상으로부터 전경 및 배경을 추출하는 추출부; 상기 전경에 대응되는 픽셀들의 깊이 값들과 관련된 통계에 기초하여 상기 배경의 깊이 값을 결정하는 결정부; 상기 전경에 대응되는 픽셀들의 깊이 값들 및 상기 배경의 깊이 값에 기초하여 상기 객체에 대응되는 복수의 피쳐들을 생성함으로써 피쳐 벡터를 생성하는 피쳐 벡터 생성부; 및 상기 피쳐 벡터와 상기 객체의 미리 정해진 외형에 대응되는 적어도 하나의 기준 피쳐 벡터에 기초하여 상기 객체를 인식하는 객체 인식부를 포함한다.
또 다른 일 측에 따른 객체 인식 방법은 객체와 관련된 깊이를 포함하는 깊이 영상 및 상기 객체와 관련된 색상을 포함하는 색상 영상을 획득하는 단계; 상기 깊이 영상으로부터 전경을 추출하는 단계; 상기 전경 및 상기 색상 영상을 이용하여 상기 깊이 영상에 홀이 있는지 여부를 판단하는 단계; 및 상기 판단 결과에 따라 상기 전경 및 상기 홀 중 적어도 하나에 기초하여 상기 객체에 대응되는 복수의 피쳐들을 생성함으로써, 상기 객체를 인식하기 위한 피쳐 벡터를 생성하는 단계를 포함한다.
또 다른 일 측에 따른 객체 인식 방법은 객체와 관련된 깊이를 포함하는 깊이 영상을 획득하는 단계; 상기 깊이 영상으로부터 전경 및 배경을 추출하는 단계; 상기 전경에 대응되는 픽셀들의 깊이 값들과 관련된 통계를 계산하는 단계; 상기 통계에 기초하여 상기 배경의 깊이 값을 결정하는 단계; 상기 전경에 대응되는 픽셀들의 깊이 값들 및 상기 배경의 깊이 값에 기초하여 상기 객체에 대응되는 복수의 피쳐들을 생성함으로써, 상기 객체를 인식하기 위한 피쳐 벡터를 생성하는 단계를 포함한다.
도 1은 일 실시예에 따른 깊이 영상과 색상 영상을 이용하는 객체 인식 장치를 나타낸 블록도.
도 2는 일 실시예에 따른 깊이 영상의 홀을 설명하기 위한 도면.
도 3은 일 실시예에 따른 객체 인식 장치에 포함된 홀 추출부 및 피쳐 벡터 생성부의 동작을 설명하기 위한 도면.
도 4 내지 도 5는 일 실시예에 따른 객체 인식부의 동작을 설명하기 위한 도면.
도 6은 일 실시예에 따른 깊이 영상에 포함된 전경의 깊이 값들과 관련된 통계를 이용하는 객체 인식 장치를 나타낸 블록도.
도 7은 일 실시예에 따른 깊이 영상과 색상 영상을 이용하는 객체 인식 방법을 나타낸 동작 흐름도.
도 8은 일 실시예에 따른 깊이 영상에 포함된 전경의 깊이 값들과 관련된 통계를 이용하는 객체 인식 방법을 나타낸 동작 흐름도.
도 9 내지 도 10은 일 실시예에 따른 객체 인식 장치가 미리 구비된 복수의 코드워드들을 이용하는 동작을 설명하기 위한 도면.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 일 실시예에 따른 깊이 영상과 색상 영상을 이용하는 객체 인식 장치를 나타낸 블록도이다.
도 1을 참조하면, 일 실시예에 따른 객체 인식 장치(100)는 전경 추출부(110), 홀 판단부(120), 피쳐 벡터 생성부(130), 및 객체 인식부(140)를 포함한다.
전경 추출부(110)는 객체(object)와 관련된 깊이를 포함하는 깊이 영상(depth image)으로부터 전경(foreground)을 추출할 수 있다. 여기서, 객체는 미리 정해진 적어도 하나의 외형을 가지는 입력 수단으로, 예를 들어 복수의 자세들을 취할 수 있는 이용자의 손 등을 포함할 수 있다.
예를 들어, 전경 추출부(110)는 미리 정해진 문턱 깊이에 기초하여 깊이 영상에 포함된 전경을 추출할 수 있다. 이 경우, 미리 정해진 문턱 깊이는 깊이 영상에서 전경과 배경을 구분하는 기준이 될 수 있다.
전경 추출부(110)는 깊이 영상에서 미리 정해진 문턱 깊이와 같거나 미리 정해진 문턱 깊이보다 가까운 영역을 전경으로 분류하고, 미리 정해진 문턱 깊이보다 먼 영역을 배경으로 분류할 수 있다. 이 때, 전경 추출부(110)에 의해 추출된 전경은 1차적으로 객체의 후보가 될 수 있다.
또한, 홀 판단부(120)는 객체와 관련된 색상을 포함하는 색상 영상(color image) 및 전경 추출부(110)에 의해 추출된 전경에 기초하여 깊이 영상에 홀(hole)이 있는지 여부를 판단할 수 있다.
여기서, 일 실시예에 따른 깊이 영상과 색상 영상은 객체를 대상으로 동시에 촬영된 것일 수 있고, 깊이 영상의 홀은 객체로 분류되어야 하는 영역 중 다양한 요소들로 인하여 객체로 분류되지 못한 영역을 포함할 수 있다.
예를 들어, 깊이 영상의 홀은 깊이 영상의 저해상도 특성으로 인하여 발생될 수 있다. 또는, 깊이 영상의 홀은 센서로부터 물체까지의 거리에 의하여 발생될 수 있고, 물체의 반사율 또는 물체의 크기 등 물체의 속성에 의하여 발생될 수 있다.
홀 판단부(120)는 깊이 영상에 비하여 많은 정보를 포함하는 색상 영상을 이용하여 깊이 영상에 홀이 있는지 여부를 판단할 수 있다. 예를 들어, 홀 판단부(120)는 색상 영상을 이미지 프로세싱함으로써 전경을 추출할 수 있고, 색상 영상으로부터 추출된 전경과 전경 추출부(110)에 의해 추출된 전경을 비교할 수 있다. 그 결과, 색상 영상으로부터 추출된 전경에는 포함되어 있으나 전경 추출부(110)에 의해 추출된 전경에는 포함되어 있지 않은 픽셀들이 존재하는 경우, 홀 판단부(120)는 깊이 영상에 홀이 있다고 판단할 수 있다.
도면에 표시하지 않았으나, 홀 판단부(120)는 깊이 영상에 홀이 있다고 판단되는 경우 해당 홀을 추출하는 홀 추출부를 포함할 수 있다. 이 경우, 홀 추출부는 색상 영상을 이용하여 깊이 영상의 유실 데이터(missing data)를 검출할 수 있다. 홀 추출부는 검출된 깊이 영상의 유실 데이터를 이용하여 깊이 영상의 홀을 추출할 수 있다.
예를 들어, 객체 인식 장치가 이용자의 손의 자세를 인식하는 경우를 가정하자. 이 경우, 객체 인식 장치에 의해 인식되는 객체는 이용자의 손일 수 있다. 도 2를 참조하면, 일 실시예에 따른 객체 인식 장치는 색상 영상(210)과 깊이 영상(220, 230)을 획득할 수 있다.
여기서, 깊이 영상(220)은 이용자의 새끼 손가락의 일부에 대한 깊이 값을 제대로 포함하지 못할 수 있다. 이 경우, 깊이 영상(220)은 홀(221)을 포함한다.
경우에 따라서, 깊이 영상에 포함된 홀은 자세 인식 결과에 영향을 미칠 수 있다. 예를 들어, 깊이 영상(230)은 집게 손가락 전부에 대한 깊이 값을 제대로 포함하지 못할 수 있다. 이 경우, 깊이 영상(230)은 홀(231)을 포함하고, 홀(231)로 인하여 이용자의 손의 자세를 제대로 인식하지 못할 수 있다.
반면, 색상 영상(210)은 깊이 영상(220, 230)에 비하여 더 많은 정보를 포함할 수 있다. 예를 들어, 색상 영상(210)은 깊이 영상(220, 230)에 비하여 높은 해상도를 가질 수 있다. 이로 인하여, 색상 영상(210)은 깊이 영상의 홀(221, 231)과 같은 유실 데이터를 포함하지 않을 수 있다.
따라서, 객체 인식 장치(100)는 색상 영상을 이용하여 깊이 영상의 홀을 추출함으로써, 객체 또는 객체의 자세를 인식하는 정확도를 향상시키는 기술을 제공할 수 있다. 색상 영상을 이용하여 깊이 영상의 홀을 추출하는 동작과 관련된 보다 상세한 사항들은 도 3을 참조하여 후술한다.
또한, 피쳐 벡터 생성부(130)는 전경 추출부(110)에 의해 추출된 전경과 홀 추출부에 의해 추출된 홀에 기초하여 객체를 인식하기 위한 피쳐 벡터를 생성할 수 있다.
여기서, 피쳐 벡터는 객체에 대응되는 복수의 피쳐들을 포함할 수 있고, 복수의 피쳐들 각각은 객체를 나타내기 위한 값을 포함할 수 있다. 예를 들어, 복수의 피쳐들 각각은 해당 피쳐에 대응되는 객체의 지점(point)의 깊이 정보를 포함할 수 있다.
예를 들어, 피쳐 벡터 생성부는 전경에 대응되는 피쳐들에 해당 피쳐의 깊이 값을 할당(assign)할 수 있다. 다른 실시예에 따른 피쳐 벡터 생성부는 전경에 대응되는 피쳐들의 깊이 값들 중 최소값을 검출하고, 검출된 최소값을 전경에 대응되는 피쳐들에 할당할 수 있다.
또 다른 실시예에 따른 피쳐 벡터 생성부는 전경에 대응되는 피쳐의 값을 할당할 때 해당 피쳐의 주변 피쳐들을 고려할 수 있다. 보다 구체적으로, 피쳐 벡터 생성부는 전경에 대응되는 피쳐들 중 해당 피쳐의 주변 영역으로 포함되는 주변 피쳐들을 검출할 수 있다. 이 경우, 피쳐 벡터 생성부는 주변 피쳐들의 깊이 값들의 평균 값을 해당 피쳐에 할당할 수 있다.
또한, 객체 인식부(140)는 피쳐 벡터 생성부(130)에 의해 생성된 피쳐 벡터와 적어도 하나의 기준 피쳐 벡터를 비교할 수 있다.
여기서, 적어도 하나의 기준 피쳐 벡터는 객체의 미리 정해진 적어도 하나의 외형에 대응될 수 있고, 객체 인식 데이터베이스에 미리 구비될 수 있다. 객체 인식 장치(100)는 객체 인식 데이터베이스를 포함하도록 구현될 수 있고, 경우에 따라 객체 인식 장치(100)와 별도로 구비된 객체 인식 데이터베이스로부터 필요한 정보를 획득하는 방식으로 구현될 수 있다.
객체 인식부(140)는 다양한 방식으로 피쳐 벡터와 기준 피쳐 벡터를 비교할 수 있다. 예를 들어, 객체 인식부(140)는 피쳐 벡터와 기준 피쳐 벡터를 비교하기 위하여, 피쳐 벡터에 포함된 피쳐들과 기준 피쳐 벡터에 포함된 피쳐들을 사이의 거리들을 계산할 수 있다. 또는, 객체 인식부(140)는 피쳐 벡터에 포함된 복수의 피쳐들과 기준 피쳐 벡터에 포함된 복수의 피쳐들을 각각 비교하는 대신, 피쳐 벡터 자체와 기준 피쳐 벡터 자체 사이의 거리를 계산할 수 있다. 이와 관련된 보다 상세한 사항들은 후술한다.
나아가, 객체 인식부(140)는 비교 결과에 따라 객체를 인식할 수 있다. 이하, 객체 인식부(140)가 객체를 인식한다고 함은 객체의 모양, 외형, 또는 형태(예를 들어, 이용자의 손의 자세 등)를 인식하는 것을 포함한다.
예를 들어, 객체 인식부(140)는 피쳐 벡터 생성부(130)에 의해 생성된 피쳐 벡터와 가장 유사한 기준 피쳐 벡터를 검출하고, 검출된 기준 피쳐 벡터에 대응되는 객체를 출력할 수 있다.
따라서, 일 실시예에 따른 객체 인식 장치는 깊이 영상이나 색상 영상 자체를 복원하는 대신, 깊이 영상과 색상 영상을 객체 분류기(classifier)에서 직접 활용할 수 있다.
도 3은 일 실시예에 따른 객체 인식 장치에 포함된 홀 추출부 및 피쳐 벡터 생성부의 동작을 설명하기 위한 도면이다.
도 3을 참조하면, 일 실시예에 따른 홀 추출부는 색상 영상에 포함된 픽셀들의 색상 정보에 기초하여 해당 픽셀들이 객체에 포함될 확률을 계산할 수 있다(320).
예를 들어, 객체가 이용자의 손인 경우, 홀 추출부는 색상 영상에 포함된 픽셀들의 색상 정보에 기초하여 해당 픽셀들의 스킨 확률(skin probability)을 계산할 수 있다. 여기서, 스킨 확률은 해당 픽셀들이 이용자의 피부에 대응되는 픽셀일 확률을 포함할 수 있다.
전술한 바와 같이 일 실시예에 따른 전경 추출부는 깊이 영상으로부터 전경을 추출할 수 있고(310), 홀 추출부는 깊이 영상에서 전경에 포함되지 않는 영역 중 객체에 포함될 확률(예를 들어, 스킨 확률)이 미리 정해진 문턱 확률 이상인 영역을 깊이 영상의 홀에 포함시킬 수 있다(330).
또한, 일 실시예에 따른 피쳐 벡터 생성부는 홀 추출부에 의해 추출된 깊이 영상의 홀을 이용하여 객체를 인식하기 위한 피쳐 벡터를 생성할 수 있다. 이 때, 피쳐 벡터 생성부는 피쳐 벡터에 포함된 복수의 피쳐들에 해당 피쳐가 홀인지 여부에 대한 정보를 포함시킬 수 있다.
보다 구체적으로, 피쳐 벡터 생성부는 객체에 대응되는 복수의 피쳐들 각각에 객체를 나타내기 위한 값(예를 들어, 깊이 값)을 포함시킬 수 있다(340). 나아가, 피쳐 벡터 생성부는 객체에 대응되는 복수의 피쳐들 각각에 해당 피쳐가 홀인지 여부에 대한 정보를 더 포함시킬 수 있다(350).
피쳐 벡터 생성부는 피쳐 벡터의 디멘션(dimension)이 미리 정해진 수 이상인지 여부를 판단하고(360), 피쳐 벡터의 디멘션이 미리 정해진 수보다 작은 경우 단계(340)과 단계(350)을 이터레이션(iteration)할 수 있다. 여기서, 피쳐 벡터의 디멘션은 피쳐 벡터에 포함된 피쳐들의 수를 포함할 수 있다.
피쳐 벡터 생성부는 피쳐 벡터의 디멘션이 미리 정해진 수 이상인 경우 피쳐 벡터의 생성을 완료할 수 있다(370).
도 4 내지 도 5는 일 실시예에 따른 객체 인식부의 동작을 설명하기 위한 도면이다.
일 실시예에 따른 객체 인식부는 해당 피쳐가 홀인지 여부에 대한 정보에 기초하여 다양한 방식으로 객체를 인식할 수 있다.
도 4를 참조하면, 일 실시예에 따른 객체 인식부는 피쳐 벡터와 기준 피쳐 벡터를 비교하기 위한 결정 트리(decision tree, 400)를 이용할 수 있다.
보다 구체적으로, 객체 인식부는 결정 트리 획득부 및 객체 추정부를 포함할 수 있다. 결정 트리 획득부는 결정 트리를 획득할 수 있다. 여기서, 결정 트리는 분기 노드들(410, 420) 및 리프 노드들(430, 440)을 포함할 수 있다. 분기 노드들(410, 420)은 피쳐 벡터에 포함된 복수의 피쳐들에 대응될 수 있고, 리프 노드들(430, 440)은 객체의 외형과 관련된 정보(431, 432, 433, 441, 442, 443)를 포함할 수 있다.
기본적으로, 객체 추정부는 특정 분기 노드에서 분기를 함으로써 리프 노드로 트래버스(traverse)할 수 있다. 객체 추정부는 해당 분기 노드에 대응되는 피쳐의 값이 기준 피쳐의 값보다 큰지 여부에 따라 분기할 브랜치(branch)를 선택할 수 있다. 예를 들어, 객체 추정부는 분기 노드(410)에서 k번째 피쳐(fk)의 값이 기분 피쳐의 값(b)보다 큰 경우 왼쪽 브랜치로 분기할 수 있다.
나아가, 객체 추정부는 해당 피쳐가 홀인지 여부에 대한 정보에 기초하여 홀인 피쳐에 대응되는 분기 노드를 인지할 수 있다. 예를 들어, 분기 노드(420)에 대응되는 피쳐가 홀인 경우를 가정하자.
이 경우, 객체 추정부는 분기 노드(420)을 기준으로 복수의 브랜치들(421, 422)을 트래버스할 수 있다. 객체 추정부는 복수의 브랜치들을 트래버스한 결과 도달되는 복수의 리프 노드들(430, 440)에 포함된 정보에 기초하여 객체를 추정할 수 있다.
예를 들어, 리프 노드들(430, 440)은 각각 인식된 이용자의 손의 자세가 가위일 확률(431, 441), 바위일 확률(432, 442), 보일 확률(433, 443)을 포함할 수 있다.
이 때, 리프 노드(430)에 포함된 정보에 따르면 인식된 이용자의 손의 자세가 가위일 확률(431)이 가장 높으며 보일 확률(433)이 가장 낮은 반면, 리프 노드(440)에 포함된 정보에 따르면 인식된 이용자의 손의 자세가 바위일 확률(442)이 가장 높고 가위일 확률(441)이 가장 낮을 수 있다.
객체 추정부는 복수의 리프 노드들(430, 440)에 포함된 정보를 모두 이용하여 객체를 추정할 수 있다. 보다 구체적으로, 객체 추정부는 리프 노드(430)에 포함된 정보와 리프 노드(440)에 포함된 정보를 균일하게 고려하여 도출되는 결과에 따라 객체를 추정할 수 있다.
다른 실시예에 따른 객체 추정부는 색상 영상으로부터 추출된 확률을 리프 노드의 가중치로 활용할 수 있다. 전술한 바와 같이, 홀 추출부는 색상 영상에 포함된 픽셀들의 색상 정보에 기초하여 해당 픽셀들이 객체에 포함될 확률을 계산할 수 있다. 이 경우, 객체 추정부는 홀 추출부에 의해 계산된 확률에 기초하여 복수의 리프 노드들의 가중치들을 획득할 수 있다.
예를 들어, 리프 노드(420)에 대응되는 피쳐가 홀이고, 해당 피쳐가 객체일 확률이 80%인 경우를 가정하자. 이 경우, 객체 추정부는 리프 노드(430)의 가중치를 0.8로 설정하고, 리프 노드(440)의 가중치를 0.2로 설정할 수 있다. 객체 추정부는 리프 노드(420)에 포함된 정보에 0.8을 곱한 값과 리프 노드(430)에 포함된 정보에 0.2를 곱한 값의 합을 출력할 수 있다.
따라서, 일 실시예에 따른 객체 인식 장치는 분기 노드(420)에서 유실 데이터가 발생된 경우 두 개의 브랜치들(421, 422)을 모두 트래버스하고, 마지막에 리프 노드들(430, 440)에 저장된 확률들을 적절히 합산함으로써 유실 데이터에 대한 트리 분류(Tree Classification)를 수행할 수 있다.
도 5를 참조하면, 일 실시예에 따른 객체 인식부는 계층적 클러스터링(hierarchical clustering) 기법에 따라 생성되는 코드워드(codeword)를 이용할 수 있다.
계층적 클러스터링 기법에 따르면 동일한 대표값으로 표현될 수 있는 피쳐들은 하나의 클러스터로 분류될 수 있다. 예를 들어, 클러스터(511)에 포함된 복수의 피쳐들은 제1 대표값으로 표현될 수 있고, 클러스터(512)에 포함된 복수의 피쳐들은 제2 대표값으로 표현될 수 있다.
나아가, 클러스터(511)과 클러스터(512)는 클러스터(520)의 제3 대표값과 대비되는 제4 대표값을 공유할 수 있다. 이 경우, 클러스터(511)과 클러스터(512)는 상위의 클러스터(510)으로 함께 분류될 수 있다. 뿐만 아니라, 클러스터(510)과 클러스터(520)은 클러스터(530)과 클러스터(540)에 의해 공유되는 제5 대표값과 대비되는 제6 대표값을 공유할 수 있다.
일 실시예에 따른 적어도 하나의 기준 피쳐 벡터는 계층적 클러스터링 기법에 따라 생성되는 복수의 코드워드들을 포함할 수 있다.
이 경우, 객체 인식부는 객체를 인식하기 위한 피쳐 벡터와 복수의 코드워드들을 비교함으로써 복수의 코드워드들 중 피쳐 벡터와 가장 유사한 코드워드를 검출할 수 있다.
객체 인식부는 검출된 코드워드를 이용하여 객체를 인식할 수 있다. 예를 들어, 객체 인식부는 검출된 코드워드에 대응되는 외형을 객체의 외형으로 인식하고, 해당 외형을 출력할 수 있다.
도면에 표시하지 않았으나, 홀 판단부에 의하여 깊이 영상에 홀이 포함되어 있지 않다고 판단되는 경우 객체 인식부는 피쳐 벡터에 포함된 복수의 피쳐들과 기준 피쳐 벡터에 포함된 기준 피쳐들을 비교할 수 있다.
예를 들어, 객체 인식부는 수학식 1을 이용하여 피쳐 벡터와 기준 피쳐 벡터 사이의 거리를 계산할 수 있다.
Figure 112013015001892-pat00001
여기서, N은 피쳐 벡터의 디멘션이고, fi는 피쳐 벡터 F = [f1, f2, f3, ..., fN]에 포함된 피쳐이며, fi'은 기준 피쳐 벡터 F' = [f'1, f'2, f'3, ..., f'N]에 포함된 기준 피쳐이다.
n은 계산되는 거리의 디멘션을 결정하는 파라미터이다. 예를 들어, n=1인 경우 객체 인식부에 의해 계산되는 거리 D의 디멘션은 피쳐 값의 절대값 차이이고, n=2인 경우 거리 D의 디멘션은 피쳐 값의 유클리드 거리 차이일 수 있다.
다른 실시예에 따른 객체 인식부는 복수의 피쳐들에 포함된 해당 피쳐가 홀인지 여부에 대한 정보를 더 이용할 수 있다.
보다 구체적으로, 객체 인식부는 홀인지 여부에 대한 정보에 기초하여 피쳐 벡터에 포함된 복수의 피쳐들 중 홀인 피쳐를 제외한 나머지 피쳐들을 포함하는 전경 피쳐 벡터를 생성할 수 있다. 이 경우, 객체 인식부는 전경 피쳐 벡터와 복수의 코드워드들을 비교함으로써 복수의 코드워드들 중 전경 피쳐 벡터와 가장 유사한 코드워드를 검출할 수 있다.
따라서, 일 실시예에 따른 객체 인식 장치는 계층적 클러스터링 기법을 통해 생성된 코드워드 및 입력된 피쳐 벡터 사이의 거리를 계산하여, 가장 가까운 코드워드를 추정함으로써 홀인 피쳐를 포함하는 개개의 피쳐들을 각각 비교하는 기법에 비하여 객체 인식의 정확도를 향상시킬 수 있다.
일 실시예에 따른 객체 인식 장치는 피쳐 벡터와 코드워드를 비교 시 병렬 처리 기법을 활용할 수 있다. 예를 들어, 객체 인식 장치는 병렬 처리가 가능한 그래픽 프로세싱 유닛(GPU)를 이용하여 피쳐 벡터와 코드워드를 비교할 수 있다.
도면에 표시하지 않았으나, 객체 인식부는 복수의 피쳐들에 포함된 해당 피쳐가 홀인지 여부에 대한 정보에 기초하여, 피쳐 벡터에 포함된 복수의 피쳐들 중 홀인 피쳐를 제외한 나머지 피쳐들과 기준 피쳐 벡터에 포함된 기준 피쳐들을 비교할 수 있다.
예를 들어, 객체 인식부는 수학식 2를 이용하여 피쳐 벡터와 기준 피쳐 벡터 사이의 거리를 계산할 수 있다.
Figure 112013015001892-pat00002
여기서, N은 피쳐 벡터의 디멘션이고, fi는 피쳐 벡터 F = [f1, f2, f3, ..., fN]에 포함된 피쳐이며, fi'은 기준 피쳐 벡터 F' = [f'1, f'2, f'3, ..., f'N]에 포함된 기준 피쳐이다. 이 때, 피쳐 벡터 F에는 k개의 홀이 있고, (t1, ... ,tk)는 홀이 발생된 위치이다.
n은 계산되는 거리의 디멘션을 결정하는 파라미터이다. 예를 들어, n=1인 경우 객체 인식부에 의해 계산되는 거리 D의 디멘션은 피쳐 값의 절대값 차이이고, n=2인 경우 거리 D의 디멘션은 피쳐 값의 유클리드 거리 차이일 수 있다.
도면에 표시하지 않았으나, 또 다른 실시예에 따른 객체 인식부는 전경 추출부에 의해 추출되는 전경에 대응되는 피쳐들과 관련된 통계에 기초하여 홀에 대응되는 피쳐의 값을 결정할 수 있다.
여기서, 전경에 대응되는 피쳐들과 관련된 통계는 해당 피쳐들의 깊이 값들 중 최소, 최대, 중간, 해당 피쳐들의 깊이 값들의 평균, 또는 해당 피쳐들의 깊이 값들의 표준 편차 중 적어도 하나를 포함할 수 있다.
예를 들어, 객체 인식부는 수학식 3을 이용하여 홀에 대응되는 피쳐의 값을 재조정할 수 있다.
Figure 112013015001892-pat00003
도 6은 일 실시예에 따른 깊이 영상에 포함된 전경의 깊이 값들과 관련된 통계를 이용하는 객체 인식 장치를 나타낸 블록도이다.
도 6을 참조하면, 일 실시예에 따른 객체 인식 장치(600)는 추출부(610), 결정부(620), 피쳐 벡터 생성부(630), 및 객체 인식부(640)를 포함한다.
추출부(610)는 객체와 관련된 깊이를 포함하는 깊이 영상으로부터 전경 및 배경을 추출할 수 있다. 추출부(610)에는 도 1 내지 도 5를 통하여 기술된 사항들이 그대로 적용될 수 있으므로, 보다 상세한 설명은 생략한다.
결정부(620)는 전경에 대응되는 픽셀들의 깊이 값들과 관련된 통계에 기초하여 배경의 깊이 값을 결정할 수 있다.
여기서, 전경에 대응되는 픽셀들의 깊이 값들과 관련된 통계는 전경에 대응되는 픽셀들의 깊이 값들 중 최소, 해당 깊이 값들 중 최대, 해당 깊이 값들 중 중간, 해당 깊이 값들의 평균, 또는 해당 깊이 값들의 표준 편차 중 적어도 하나를 포함할 수 있다.
예를 들어, 결정부(620)는 배경의 깊이 값을 전경의 깊이 값으로부터 일정 거리 떨어지도록 재조정할 수 있다. 일 실시예에 따른 결정부(620)는 전경에 대응되는 픽셀들의 깊이 값들 중 최소 및 깊이 값들의 표준 편차의 합을 계산함으로써 배경의 깊이 값을 결정할 수 있다.
Figure 112013015001892-pat00004
수학식 4에 따르면, 결정부(620)는 깊이 영상의 전경의 깊이 값들 중 최소값에 알파(Alpha)를 더하여 배경의 깊이 값을 재조정할 수 있다. 여기서, 알파는 전경의 깊이 값들의 표준 편차일 수도 있으며, 그 외에도 다양한 값이 대입될 수 있다.
따라서, 일 실시예에 따른 객체 인식 장치는 배경의 깊이 값을 전경의 깊이 값에 기초하여 재조정함으로써, 깊이 영상에 포함된 홀로 인한 피쳐의 오류를 감소시키는 기술을 제공할 수 있다.
또한, 피쳐 벡터 생성부(630)는 전경에 대응되는 픽셀들의 깊이 값들 및 배경의 깊이 값에 기초하여 객체에 대응되는 복수의 피쳐들을 생성함으로써 피쳐 벡터를 생성할 수 있다. 예를 들어, 피쳐 벡터 생성부(630)는 전경과 배경의 깊이 값의 차이를 피쳐 벡터의 원소(element)로 생성할 수 있다.
객체 인식부(640)는 피쳐 벡터와 객체의 미리 정해진 외형에 대응되는 적어도 하나의 기준 피쳐 벡터에 기초하여 객체를 인식할 수 있다.
여기서, 피쳐 벡터 생성부(630) 및 객체 인식부(640)에는 도 1 내지 도 5를 통하여 기술된 사항들이 그대로 적용될 수 있다.
예를 들어, 객체 인식부(640)는 배경의 깊이 값이 재조정된 피쳐 벡터와 계층적 클러스터링 기법에 따라 생성되는 복수의 코드워드들을 비교함으로써 복수의 코드워드들 중 피쳐 벡터와 가장 유사한 코드워드를 검출할 수 있다. 이 경우, 객체 인식부(640)는 검출된 코드워드를 이용하여 객체를 추정할 수 있다.
도 7은 일 실시예에 따른 깊이 영상과 색상 영상을 이용하는 객체 인식 방법을 나타낸 동작 흐름도이다.
도 7을 참조하면, 일 실시예에 따른 객체 인식 방법은 객체와 관련된 깊이를 포함하는 깊이 영상 및 객체와 관련된 색상을 포함하는 색상 영상을 획득할 수 있다(710).
또한, 객체 인식 방법은 획득된 깊이 영상으로부터 전경을 추출하고(720), 추출된 색상 영상을 이용하여 깊이 영상에 홀이 포함되어 있는지 여부를 판단할 수 있다(730).
나아가, 객체 인식 방법은 추출된 전경 및 홀에 기초하여 객체에 대응되는 복수의 피쳐들을 생성함으로써, 객체를 인식하기 위한 피쳐 벡터를 생성할 수 있다(740).
도 8은 일 실시예에 따른 깊이 영상에 포함된 전경의 깊이 값들과 관련된 통계를 이용하는 객체 인식 방법을 나타낸 동작 흐름도이다.
도 8을 참조하면, 일 실시예에 따른 객체 인식 방법은 객체와 관련된 깊이를 포함하는 깊이 영상을 획득하고(810), 획득된 깊이 영상으로부터 전경 및 배경을 추출할 수 있다(820).
또한, 객체 인식 방법은 추출된 전경에 대응되는 픽셀들의 깊이 값들과 관련된 통계를 계산하고(830), 계산된 통계에 기초하여 추출된 배경의 깊이 값을 결정할 수 있다(840).
나아가, 객체 인식 방법은 추출된 전경에 대응되는 픽셀들의 깊이 값들 및 추출된 배경의 깊이 값에 기초하여 객체에 대응되는 복수의 피쳐들을 생성함으로써, 객체를 인식하기 위한 피쳐 벡터를 생성할 수 있다(850).
도 7 및 8에 도시된 각 단계들에는 도 1 내지 도 6을 통하여 기술된 사항들이 그대로 적용될 수 있으므로, 보다 상세한 설명은 생략한다.
도 9 내지 도 10은 일 실시예에 따른 객체 인식 장치가 미리 구비된 복수의 코드워드들을 이용하는 동작을 설명하기 위한 도면이다.
도 9를 참조하면, 일 실시예에 따른 객체 인식 장치는 홀이 포함되지 않은 깊이 영상을 획득할 수 있다(910). 이 경우, 객체 인식 장치는 깊이 영상으로부터 복수의 피쳐들을 포함하는 피쳐 벡터를 생성할 수 있다(920).
객체 인식 장치는 객체를 인식하기 위하여 미리 구비된 외형 데이터베이스(943)를 이용하여 병렬 비교를 수행할 수 있다(930). 이 때, 외형 데이터베이스(943)는 특정 객체 또는 특정 객체의 특정 자세와 관련된 복수의 깊이 영상들(941)에 기초하여 생성된 복수의 기준 피쳐 벡터들(942)을 저장할 수 있다.
나아가, 객체 인식 장치는 외형 데이터베이스(943)에 포함된 복수의 기준 피쳐 벡터들(942)과의 병렬 비교 연산을 수행함으로써, 객체의 끝 부분(tip)들의 위치들(951)를 도출할 수 있다(950). 객체 인식 장치는 도출된 객체의 끝 부분들의 위치들에 기초하여 객체를 인식하거나, 해당 객체의 자세를 인식할 수 있다.
도 10을 참조하면, 일 실시예에 따른 객체 인식 장치는 홀이 포함된 깊이 영상을 획득할 수 있다(1010).
이 경우, 객체 인식 장치는 색상 영상을 이용하여 깊이 영상에 포함된 홀을 추출할 수 있다. 예를 들어, 객체 인식 장치는 색상 영상을 획득하고(1040), 색상 영상 및 깊이 영상의 차이에 기초하여 깊이 영상에 포함된 홀(1051)을 추출할 수 있다(1050).
객체 인식 장치는 추출된 홀(1051) 및 깊이 영상에 기초하여 복수의 피쳐들을 포함하는 피쳐 벡터를 생성할 수 있다(1020).
나아가, 객체 인식 장치는 객체를 인식하기 위하여 미리 구비된 외형 데이터베이스(1060)를 이용하여 병렬 비교를 수행할 수 있다(1030). 예를 들어, 객체 인식 장치는 단계(1020)에서 생성된 피쳐 벡터와 외형 데이터베이스(1060)에 포함된 복수의 기준 피쳐 벡터들을 병렬적으로 비교할 수 있다.
그 결과, 객체 인식 장치는 객체의 끝 부분들의 위치들(1071)를 도출할 수 있다(1070). 객체 인식 장치는 도출된 객체의 끝 부분들의 위치들에 기초하여 객체를 인식하거나, 해당 객체의 자세를 인식할 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (23)

  1. 객체(object)와 관련된 깊이를 포함하는 깊이 영상(depth image)으로부터 전경(foreground)을 추출하는 전경 추출부;
    상기 객체와 관련된 색상을 포함하는 색상 영상(color image) 및 상기 전경에 기초하여 상기 깊이 영상에 홀(hole)이 있는지 여부를 판단하는 홀 판단부;
    상기 판단 결과에 따라 상기 전경 및 상기 홀 중 적어도 하나에 기초하여 상기 객체에 대응되는 복수의 피쳐(feature)들을 생성함으로써 피쳐 벡터(feature vector)를 생성하는 피쳐 벡터 생성부; 및
    상기 피쳐 벡터와 상기 객체의 미리 정해진 외형에 대응되는 적어도 하나의 기준 피쳐 벡터에 기초하여 상기 객체를 인식하는 객체 인식부
    를 포함하는 객체 인식 장치.
  2. 제1항에 있어서,
    상기 홀 판단부는
    상기 깊이 영상에 홀이 있다고 판단되는 경우 상기 전경 및 상기 색상 영상에 기초하여 상기 홀을 추출하는 홀 추출부
    를 포함하는 객체 인식 장치.
  3. 제1항에 있어서,
    상기 전경 추출부는 미리 정해진 문턱 깊이에 기초하여 상기 전경을 추출하는 객체 인식 장치.
  4. 제2항에 있어서,
    상기 홀 추출부는 상기 색상 영상에 포함된 픽셀(pixel)들의 색상 정보에 기초하여 상기 픽셀들이 상기 객체에 포함될 확률을 계산하고, 상기 확률에 기초하여 상기 홀을 추출하는 객체 인식 장치.
  5. 제4항에 있어서,
    상기 홀 추출부는 상기 깊이 영상에서 상기 전경에 포함되지 않는 영역 중 상기 객체에 포함될 확률이 미리 정해진 문턱 확률 이상인 영역을 상기 홀에 포함시키는 객체 인식 장치.
  6. 제4항에 있어서,
    상기 객체는 이용자의 손을 포함하고, 상기 확률은 스킨 확률(skin probability)을 포함하는 객체 인식 장치.
  7. 제1항에 있어서,
    상기 복수의 피쳐들은 해당 피쳐가 홀인지 여부에 대한 정보를 포함하는 객체 인식 장치.
  8. 제7항에 있어서,
    상기 객체 인식부는 상기 홀인지 여부에 대한 정보에 기초하여, 상기 피쳐 벡터에 포함된 복수의 피쳐들 중 홀인 피쳐를 제외한 나머지 피쳐들과 상기 적어도 하나의 기준 피쳐 벡터에 포함된 기준 피쳐들을 비교하는 객체 인식 장치.
  9. 제7항에 있어서,
    상기 적어도 하나의 기준 피쳐 벡터는 계층적 클러스터링(hierarchical clustering) 기법에 따라 생성되는 복수의 코드워드(codeword)들을 포함하고,
    상기 객체 인식부는 상기 홀인지 여부에 대한 정보에 기초하여 상기 피쳐 벡터에 포함된 복수의 피쳐들 중 홀인 피쳐를 제외한 나머지 피쳐들을 포함하는 전경 피쳐 벡터를 생성하며, 상기 전경 피쳐 벡터와 상기 복수의 코드워드들을 비교함으로써 상기 복수의 코드워드들 중 상기 전경 피쳐 벡터와 가장 유사한 코드워드를 검출하고, 상기 검출된 코드워드를 이용하여 상기 객체를 인식하는 객체 인식 장치.
  10. 제7항에 있어서,
    상기 객체 인식부는
    상기 피쳐 벡터와 상기 적어도 하나의 기준 피쳐 벡터를 비교하기 위한 결정 트리(decision tree)-상기 결정 트리는 상기 피쳐 벡터에 포함된 복수의 피쳐들에 대응되는 복수의 분기 노드들 및 상기 객체의 외형과 관련된 정보를 포함하는 적어도 하나의 리프 노드를 포함함-를 획득하는 결정 트리 획득부; 및
    상기 홀인지 여부에 대한 정보에 기초하여 상기 복수의 피쳐들 중 홀인 피쳐에 대응되는 분기 노드를 인지하고, 상기 분기 노드를 기준으로 복수의 브랜치(branch)들을 트래버스(traverse)하며, 상기 트래버스 결과에 따라 도달되는 복수의 리프 노드들에 포함된 정보에 기초하여 상기 객체를 추정하는 객체 추정부
    를 포함하는 객체 인식 장치.
  11. 제10항에 있어서,
    상기 홀 추출부는 상기 색상 영상에 포함된 픽셀들의 색상 정보에 기초하여 상기 픽셀들이 상기 객체에 포함될 확률을 계산하고,
    상기 객체 추정부는 상기 객체에 포함된 확률에 기초하여 상기 복수의 리프 노드들의 가중치들을 획득하며, 상기 복수의 리프 노드들에 포함된 정보 및 상기 복수의 리프 노드들의 가중치들에 기초하여 상기 객체를 추정하는 객체 인식 장치.
  12. 제1항에 있어서,
    상기 피쳐 벡터 생성부는
    상기 깊이 영상에 홀이 있다고 판단되는 경우 상기 전경에 대응되는 피쳐들과 관련된 통계에 기초하여 상기 홀에 대응되는 피쳐의 값을 결정하는 객체 인식 장치.
  13. 제12항에 있어서,
    상기 통계는 상기 전경에 대응되는 복수의 피쳐들의 깊이 값들 중 최소, 상기 깊이 값들 중 최대, 상기 깊이 값들 중 중간, 상기 깊이 값들의 평균, 또는 상기 깊이 값들의 표준 편차 중 적어도 하나를 포함하는 객체 인식 장치.
  14. 제1항에 있어서,
    상기 적어도 하나의 기준 피쳐 벡터는 계층적 클러스터링 기법에 따라 생성되는 복수의 코드워드들을 포함하고,
    상기 객체 인식부는 상기 피쳐 벡터와 상기 복수의 코드워드들을 비교함으로써 상기 복수의 코드워드들 중 상기 피쳐 벡터와 가장 유사한 코드워드를 검출하며, 상기 검출된 코드워드를 이용하여 상기 객체를 인식하는 객체 인식 장치.
  15. 제1항에 있어서,
    상기 깊이 영상과 상기 색상 영상은 상기 객체를 대상으로 동시에 촬영된 것인 객체 인식 장치.
  16. 제1항에 있어서,
    상기 적어도 하나의 기준 피쳐 벡터는 복수의 코드워드(codeword)들을 포함하고, 상기 복수의 코드워드들은 미리 구비된 데이터베이스에 저장되며,
    상기 객체 인식부는 상기 미리 구비된 데이터베이스를 이용하여 상기 피쳐 벡터와 상기 복수의 코드워드들을 비교함으로써 상기 복수의 코드워드들 중 상기 피쳐 벡터와 가장 유사한 코드워드를 검출하고, 상기 검출된 코드워드를 이용하여 상기 객체를 인식하는 객체 인식 장치.
  17. 객체와 관련된 깊이를 포함하는 깊이 영상으로부터 전경 및 배경을 추출하는 추출부;
    상기 전경에 대응되는 픽셀들의 깊이 값들과 관련된 통계에 기초하여 상기 배경의 깊이 값을 결정하는 결정부;
    상기 전경에 대응되는 픽셀들의 깊이 값들 및 상기 배경의 깊이 값에 기초하여 상기 객체에 대응되는 복수의 피쳐들을 생성함으로써 피쳐 벡터를 생성하는 피쳐 벡터 생성부; 및
    상기 피쳐 벡터와 상기 객체의 미리 정해진 외형에 대응되는 적어도 하나의 기준 피쳐 벡터에 기초하여 상기 객체를 인식하는 객체 인식부
    를 포함하는 객체 인식 장치.
  18. 제17항에 있어서,
    상기 통계는 상기 전경에 대응되는 픽셀들의 깊이 값들 중 최소, 상기 깊이 값들 중 최대, 상기 깊이 값들 중 중간, 상기 깊이 값들의 평균, 또는 상기 깊이 값들의 표준 편차 중 적어도 하나를 포함하는 객체 인식 장치.
  19. 제17항에 있어서,
    상기 결정부는 상기 전경에 대응되는 픽셀들의 깊이 값들 중 최소 및 상기 깊이 값들의 표준 편차의 합을 계산함으로써 상기 배경의 깊이 값을 결정하는 객체 인식 장치.
  20. 제17항에 있어서,
    상기 적어도 하나의 기준 피쳐 벡터는 계층적 클러스터링 기법에 따라 생성되는 복수의 코드워드들을 포함하고,
    상기 객체 인식부는 상기 피쳐 벡터와 상기 복수의 코드워드들을 비교함으로써 상기 복수의 코드워드들 중 상기 피쳐 벡터와 가장 유사한 코드워드를 검출하며, 상기 검출된 코드워드를 이용하여 상기 객체를 인식하는 객체 인식 장치.
  21. 객체와 관련된 깊이를 포함하는 깊이 영상 및 상기 객체와 관련된 색상을 포함하는 색상 영상을 획득하는 단계;
    상기 깊이 영상으로부터 전경을 추출하는 단계;
    상기 전경 및 상기 색상 영상을 이용하여 상기 깊이 영상에 홀이 있는지 여부를 판단하는 단계; 및
    상기 판단 결과에 따라 상기 전경 및 상기 홀 중 적어도 하나에 기초하여 상기 객체에 대응되는 복수의 피쳐들을 생성함으로써, 상기 객체를 인식하기 위한 피쳐 벡터를 생성하는 단계
    를 포함하는 객체 인식 방법.
  22. 객체와 관련된 깊이를 포함하는 깊이 영상을 획득하는 단계;
    상기 깊이 영상으로부터 전경 및 배경을 추출하는 단계;
    상기 전경에 대응되는 픽셀들의 깊이 값들과 관련된 통계를 계산하는 단계;
    상기 통계에 기초하여 상기 배경의 깊이 값을 결정하는 단계;
    상기 전경에 대응되는 픽셀들의 깊이 값들 및 상기 배경의 깊이 값에 기초하여 상기 객체에 대응되는 복수의 피쳐들을 생성함으로써, 상기 객체를 인식하기 위한 피쳐 벡터를 생성하는 단계
    를 포함하는 객체 인식 방법.
  23. 제21항 내지 제22항 중에서 어느 하나의 항의 방법을 실행시키기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체.
KR1020130017757A 2013-02-20 2013-02-20 깊이 영상을 이용하는 객체 인식 장치 및 그 장치를 이용한 방법 KR101994319B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020130017757A KR101994319B1 (ko) 2013-02-20 2013-02-20 깊이 영상을 이용하는 객체 인식 장치 및 그 장치를 이용한 방법
US14/074,247 US9690985B2 (en) 2013-02-20 2013-11-07 Apparatus and method for recognizing object using depth image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130017757A KR101994319B1 (ko) 2013-02-20 2013-02-20 깊이 영상을 이용하는 객체 인식 장치 및 그 장치를 이용한 방법

Publications (2)

Publication Number Publication Date
KR20140104091A KR20140104091A (ko) 2014-08-28
KR101994319B1 true KR101994319B1 (ko) 2019-06-28

Family

ID=51351211

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130017757A KR101994319B1 (ko) 2013-02-20 2013-02-20 깊이 영상을 이용하는 객체 인식 장치 및 그 장치를 이용한 방법

Country Status (2)

Country Link
US (1) US9690985B2 (ko)
KR (1) KR101994319B1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9563955B1 (en) * 2013-05-15 2017-02-07 Amazon Technologies, Inc. Object tracking techniques
TWI485361B (zh) * 2013-09-11 2015-05-21 Univ Nat Taiwan 三維形貌輪廓量測裝置及其方法
KR102156410B1 (ko) * 2014-04-14 2020-09-15 삼성전자주식회사 오브젝트 움직임을 고려한 영상 처리 장치 및 방법
KR101556598B1 (ko) * 2014-11-25 2015-10-13 연세대학교 산학협력단 주요 픽셀 정보에 기반한 물체 검출 장치 및 그 방법
KR101980360B1 (ko) 2015-09-04 2019-08-28 한국전자통신연구원 컨볼루션 신경망을 이용한 객체 인식 장치 및 방법
US11308152B2 (en) * 2018-06-07 2022-04-19 Canon Kabushiki Kaisha Quantization method for feature vector, search method, apparatus and storage medium
CN112418423B (zh) * 2020-11-24 2023-08-15 百度在线网络技术（北京）有限公司 利用神经网络向用户推荐对象的方法、设备和介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090244309A1 (en) * 2006-08-03 2009-10-01 Benoit Maison Method and Device for Identifying and Extracting Images of multiple Users, and for Recognizing User Gestures
US20100303302A1 (en) 2009-05-29 2010-12-02 Microsoft Corporation Systems And Methods For Estimating An Occluded Body Part
US20110293180A1 (en) 2010-05-28 2011-12-01 Microsoft Corporation Foreground and Background Image Segmentation

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4355341B2 (ja) * 2003-05-29 2009-10-28 本田技研工業株式会社 深度データを用いたビジュアルトラッキング
KR101640077B1 (ko) * 2009-06-05 2016-07-15 삼성전자주식회사 인체 동작 및 얼굴 표정 모델링 및 인식을 위한 비디오 센서 기반의 장치 및 방법
KR101581954B1 (ko) * 2009-06-25 2015-12-31 삼성전자주식회사 실시간으로 피사체의 손을 검출하기 위한 장치 및 방법
US8787663B2 (en) * 2010-03-01 2014-07-22 Primesense Ltd. Tracking body parts by combined color image and depth processing
US8818028B2 (en) * 2010-04-09 2014-08-26 Personify, Inc. Systems and methods for accurate user foreground video extraction
KR20120049636A (ko) * 2010-11-09 2012-05-17 삼성전자주식회사 영상 처리 장치 및 방법
KR101210625B1 (ko) 2010-12-28 2012-12-11 주식회사 케이티 빈공간 채움 방법 및 이를 수행하는 3차원 비디오 시스템

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090244309A1 (en) * 2006-08-03 2009-10-01 Benoit Maison Method and Device for Identifying and Extracting Images of multiple Users, and for Recognizing User Gestures
US20100303302A1 (en) 2009-05-29 2010-12-02 Microsoft Corporation Systems And Methods For Estimating An Occluded Body Part
US20110293180A1 (en) 2010-05-28 2011-12-01 Microsoft Corporation Foreground and Background Image Segmentation

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
논문1

Also Published As

Publication number Publication date
US9690985B2 (en) 2017-06-27
KR20140104091A (ko) 2014-08-28
US20140233848A1 (en) 2014-08-21

Similar Documents

Publication Publication Date Title
KR101994319B1 (ko) 깊이 영상을 이용하는 객체 인식 장치 및 그 장치를 이용한 방법
US11789545B2 (en) Information processing device and method, program and recording medium for identifying a gesture of a person from captured image data
JP5554984B2 (ja) パターン認識方法およびパターン認識装置
KR101933921B1 (ko) 포즈 추정 방법 및 장치
KR101877711B1 (ko) 얼굴 트랙킹 장치 및 방법
KR101789071B1 (ko) 깊이 영상의 특징 추출 방법 및 장치
KR20090037967A (ko) 자세 추정 방법 및 시스템, 자세 추정 및 대조 방법 및 시스템, 물체 자세 조명 추정 방법 및 시스템, 물체 조명 추정 방법 및 시스템, 대조 시스템, 물체 상위도 계산 방법, 물체 대조 방법, 및 이들을 위한 프로그램이 기록된 컴퓨터 판독가능한 기록 매체
KR20130073812A (ko) 객체 포즈 추정을 위한 장치 및 방법
KR20110053166A (ko) 3ｄ 오브젝트 렌더딩 방법 및 장치
US20130301911A1 (en) Apparatus and method for detecting body parts
WO2017168462A1 (en) An image processing device, an image processing method, and computer-readable recording medium
KR102185979B1 (ko) 동영상에 포함된 객체의 운동 유형을 결정하기 위한 방법 및 장치
KR102068489B1 (ko) 3차원 객체 생성 장치
JP6393495B2 (ja) 画像処理装置および物体認識方法
JP6040825B2 (ja) 物体追跡プログラム、物体追跡方法及び物体追跡装置
KR101627929B1 (ko) 제스처 인식기 설정 방법, 제스처 인식 방법 및 그 장치
JP4449483B2 (ja) 画像解析装置、および画像解析方法、並びにコンピュータ・プログラム
KR20180082739A (ko) 단일 카메라를 이용한 영상에서 움직이는 객체 검출 방법 및 시스템
US20230130397A1 (en) Determination method and information processing apparatus
KR20230039813A (ko) 수정된 계몽 생성적 적대 신경망을 활용한 사람 인식 방법 및 장치
KR20220078420A (ko) 랜덤 포레스트를 사용한 손 자세의 계층적 추정 방법, 이를 수행하기 위한 기록 매체 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant