KR100847136B1 - 어깨 윤곽선 추출 방법, 이를 이용한 로봇 깨움 방법 및이를 위한 장치 - Google Patents

어깨 윤곽선 추출 방법, 이를 이용한 로봇 깨움 방법 및이를 위한 장치 Download PDF

Info

Publication number
KR100847136B1
KR100847136B1 KR1020060076870A KR20060076870A KR100847136B1 KR 100847136 B1 KR100847136 B1 KR 100847136B1 KR 1020060076870 A KR1020060076870 A KR 1020060076870A KR 20060076870 A KR20060076870 A KR 20060076870A KR 100847136 B1 KR100847136 B1 KR 100847136B1
Authority
KR
South Korea
Prior art keywords
region
area
image
shoulder
information
Prior art date
Application number
KR1020060076870A
Other languages
English (en)
Other versions
KR20080015320A (ko
Inventor
김혜진
윤호섭
김도형
이재연
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020060076870A priority Critical patent/KR100847136B1/ko
Priority to US11/673,696 priority patent/US8204311B2/en
Publication of KR20080015320A publication Critical patent/KR20080015320A/ko
Application granted granted Critical
Publication of KR100847136B1 publication Critical patent/KR100847136B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/20—Contour coding, e.g. using detection of edges

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 어깨 윤곽선을 간단하게 추출할 수 있는 알고리즘, 이를 이용한 로봇 깨움(GSD) 방법 및 장치에 관한 것으로, 특히 사용자의 자세가 고정되어있지 않더라도 어깨 윤곽선, 머리 혹은 그 위쪽에서 일어나는 GSD 호출행위를 먼 거리 또는 가까운 거리에서도 인식할 수 있는 어깨 윤곽선 추출 방법으로서, 주변의 사람들을 촬상한 영상을 입력받는 단계; 상기 입력된 영상으로부터 촬상된 사람의 피부색 정보를 검출하여 얼굴 영역을 추출하는 단계; 상기 영상으로부터 상기 얼굴 영역이 추출된 사람의 옷 색상 정보를 모델링하여 옷 영역을 추출하는 단계; 상기 영상으로부터 상기 얼굴 영역 및 옷 영역이 추출된 사람의 에지 정보를 추출하는 단계; 및 상기 얼굴 영역, 옷 영역 및 에지 정보로부터 얻어지는 에너지 함수를 이용하여 어깨 윤곽선에 대한 정보를 얻는 단계를 포함하여 구성되는 어깨 윤곽선 추출 방법, 이를 이용한 로봇 깨움 방법 및 이를 위한 장치에 관한 것이다.
어깨 윤곽선, 로봇 깨움, GSD

Description

어깨 윤곽선 추출 방법, 이를 이용한 로봇 깨움 방법 및 이를 위한 장치{Method and Apparatus for Shoulder-line detection and Gesture spotting detection}
도 1은 본 발명의 바람직한 일 실시예에 따른 어깨 윤곽선 추출 방법을 수행하기 위한 흐름을 개략적으로 도시한 블럭도,
도 2는 상기 단계에 의하여 설정된 얼굴 영역, 옷 영역 및 에지 정보의 관계를 나타내기 위한 도면,
도 3은 본 발명의 바람직한 제 2실시예에 따른 로봇 깨움 방법을 수행하기 위한 흐름을 개략적으로 도시한 블럭도
도 4는 본 발명의 실시예에 따른 어깨 윤곽선 추출장치의 개략적인 구성에 관한 블럭도, 그리고
도 5는 본 발명의 실시예에 따른 로봇 깨움 장치의 개략적인 구성에 관한 블럭도이다.
본 발명은 어깨 윤곽선을 간단하게 추출할 수 있는 알고리즘과, 이를 이용하 여 효율적으로 로봇 깨움(Gesture spotting detection, 이하 'GSD'라 함)에 관한 것으로, 특히 사용자의 자세가 고정되어있지 않더라도 어깨 윤곽선, 머리 혹은 그 위쪽에서 일어나는 GSD 호출행위를 먼 거리 또는 가까운 거리에서도 인식할 수 있는 어깨 윤곽선 추출 방법, 이를 이용한 로봇 깨움 방법 및 이를 위한 장치에 관한 것이다.
로봇 기술의 발달에 따라 일반 가정에서 여러가지 서비스를 제공할 수 있는 가정용 서비스 로봇들이 제작되어 보급되고 있다. 가정용 서비스 로봇이 제공하는 서비스는 관련 기술분야의 발전에 영향받아 보다 복잡하고 고차원적인 분야로까지 확대되고 있다.
이러한 가정용 서비스 로봇에게 특정 명령을 내리기 위하여 음성 또는 제스처를 이용하는 방법이 있다. 그러나, 소음이 많은 환경 또는 사용자가 언어 장애자 이거나 다른 언어를 사용하는 경우에는 로봇에 효율적으로 명령을 내리는 것이 곤란하다는 문제가 있었다. 이에 보다 효율적으로 인간과 컴퓨터의 상호작용을 위하여 사용자의 행위 인식 연구가 행하여지고 있으며, 특히 손을 이용한 제스처에 대한 연구가 활발하게 행하여지고 있다.
비전 센서를 통한 로봇의 제스처 인식은 음성 정보를 사용할 수 없는 상황 혹은 음성 정보와 결합하여 사용자와 로봇의 의사소통에 중요한 역할을 할 것으로 기대되고 있는 분야이다. 이때, 사용자의 행동이 로봇에게 의사 전달을 위한 의미 있는 제스처를 하고 있음을 로봇이 인지하기 위한 효과적인 방법이 필수적이다.
기존의 로봇용 제스처 및 행동 분석 연구에서 GSD와 관련된 문제를 해결하기 위하여 사용자의 자세를 고정시키는 방법이 널리 사용되어져 왔다. 그러나, 이 방업은 호출행위를 행하는 호출자가 고정된 자세에서 호출행위를 행하여야만 하는 등 호출자가 호출행위에 협조적이어야만 한다는 문제점을 갖고 있었다.
상기와 같은 문제점을 해결하기 위한 본 발명의 제1 목적은, 사용자의 자세가 고정되어있지 않더라도 어깨 윤곽선, 머리 혹은 그 위쪽에서 일어나는 호출행위를 먼 거리 또는 가까운 거리에서도 인식할 수 있는 로봇 깨움 방법 및 이를 위한 장치를 제공하는데 있다.
본 발명의 제2 목적은 로봇 깨움 방법 및 이를 위한 장치에 적용될 수 있고, 단순한 알고리즘으로 컴퓨터 상에서 계산량이 적은 어깨 윤곽선 추출 방법 및 이를 위한 장치를 제공하는데 있다.
본 발명의 제3 목적은 조명 변화에 강인한 로봇 깨움 방법 및 이를 위한 장치를 제공하는데 있다.
상기와 같은 본 발명의 목적을 달성하기 위하여, 본 발명의 바람직한 실시예에 따른 어깨 윤곽선 추출 방법은,
주변의 사람들을 촬상한 영상을 입력받는 단계;
상기 입력된 영상으로부터 몸 내부 공간 영역을 특정하는 단계;
상기 몸 내부 공간 영역에 기초하여 상기 입력된 영상으로부터 몸 외부 공간 영역을 특정하는 단계;
상기 몸 내부 공간 영역 및 몸 외부 공간 영역에 기초하여 상기 입력된 영상으로부터 에지 영역을 추출하는 단계;
상기 몸 내부 공간 영역, 몸 외부 공간 영역 및 에지 영역에 기초하여 얻어지는 에너지 함수를 이용하여 어깨 윤곽선에 대한 정보를 얻는 단계를 포함하여 구성된다.
상기와 같은 본 발명의 목적을 달성하기 위하여, 본 발명의 바람직한 실시예에 따른 로봇 깨움 방법은,
주변 사람들을 촬상한 영상을 입력받고, 이로부터 몸 내부 공간 영역, 몸 외부 공간 영역 및 에지 정보를 추출하여 이로부터 에너지 함수를 작성한 다음, 에너지 함수로부터 어깨 윤곽선에 대한 정보를 얻는 어깨 윤곽선 추출 단계;
상기 촬상한 영상으로부터 사람들의 호출정보를 추적하는 단계;
호출행위가 시작되면 상기에서 어깨 윤곽선 정보를 이용하여 호출행위가 동일인에 의하여 반복적으로 행하여지고 있는지 여부를 확인하는 단계; 및,
호출행위가 동일인에 의하여 임계값 이상으로 반복되면 확실한 호출자로 확인하는 단계를 포함하여 구성된다.
상기와 같은 본 발명의 목적을 달성하기 위하여, 본 발명의 바람직한 실시예에 따른 어깨 윤곽선 추출장치는,
외부 비전 센서로부터 주변 사람들이 촬상된 영상을 입력받는 영상 입력 모듈;
상기 영상 입력 모듈로부터 제공받은 영상 정보로부터 몸의 내부 공간에 해당하는 영역을 추출하는 몸 내부 공간 영역 특정 모듈;
상기 영상 입력 모듈로부터 제공받은 영상 정보와, 상기 몸 내부 공간 영역 특정 모듈로부터 전달받은 정보에 기초하여 몸의 외부 공간에 해당하는 영역을 특정하기 위한 몸 외부 공간 영역 특정 모듈;
상기 몸 내부 및 외부 공간 영역 특정 모듈에 의하여 특정된 정보에 기초하여 에지 공간 정보를 특정하는 에지 영역 특정 모듈; 및,
상기에서 특정된 몸의 내부 공간 영역과 몸의 외부 공간 영역의 비율을 최대로 하는 값에 기초하여 어깨 윤곽선에 대한 정보를 추출하는 어깨 윤곽선 추출 모듈을 포함하여 구성된다.
상기와 같은 본 발명의 목적을 달성하기 위하여, 본 발명의 바람직한 실시예에 따른 로봇 깨움 장치는,
외부 비전 센서로부터 주변 사람들이 촬상된 영상을 입력받는 영상 입력부;
상기 영상 입력부로부터 제공받은 영상 정보로부터 몸의 내부 공간에 해당하는 영역을 추출하는 몸 내부 공간 영역 특정 모듈, 상기 영상 입력 모듈로부터 제공받은 영상 정보와, 상기 몸 내부 공간 영역 특정 모듈로부터 전달받은 정보에 기초하여 몸의 외부 공간에 해당하는 영역을 특정하기 위한 몸 외부 공간 영역 특정 모듈, 상기 몸 내부 및 외부 공간 영역 특정 모듈에 의하여 특정된 정보에 기초하여 에지 공간 정보를 특정하는 에지 영역 특정 모듈 및 상기에서 특정된 몸의 내부 공간 영역과 몸의 외부 공간 영역의 비율을 최대로 하는 값에 기초하여 어깨 윤곽선에 대한 정보를 추출하는 어깨 윤곽선 추출 모듈을 포함하여 구성되는 어깨선 추출 모듈;
상기 영상 입력부로부터 제공받은 영상 정보와, 상기 어깨선 추출부로부터 제공받은 어깨 윤곽선 정보에 기초하여 호출자의 호출행위가 있었는지 여부를 판단하는 호출행위 판단부; 및,
호출 행위가 있었던 것으로 판단되면, 호출자를 확인한 다음 제스처 인식 시스템을 깨우고, 상기 시스템에 호출자의 손의 초기 위치에 관한 정보를 전달하는 제스처 인식 시스템 호출부를 포함하여 구성된다.
이하 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있는 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예에 대한 동작 원리를 상세하게 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다.
또한, 도면 전체에 걸쳐 유사한 기능 및 작용을 하는 부분에 대해서는 동일한 도면 부호를 사용한다.
이하, 도 1 및 도 2를 참조하여 본 발명의 바람직한 제 1실시예에 따른 어깨 윤곽선 추출 방법을 상세하게 설명한다.
도 1은 본 발명의 바람직한 일 실시예에 따른 어깨 윤곽선 추출 방법을 수행하기 위한 흐름을 개략적으로 도시한 블럭도이고, 도 2는 상기 단계에 의하여 설정된 얼굴 영역, 옷 영역 및 에지 정보의 관계를 나타내기 위한 도면이다.
도 1을 참조하면, 대상이 되는 사람들의 어깨 윤곽선 추출을 위하여 먼저 주변의 사람들을 촬상한 영상을 입력받은 다음(S100), 상기 입력된 영상으로부터 촬상된 사람의 얼굴 영역 및 옷 영역을 추출한다(S105, S110). 이는 상기 입력된 영상 정보에서 신체의 내부 및 외부 공간 영역을 구별함으로써 사람의 어깨 윤곽선 추출을 위해 불필요한 영역까지 탐색하게 되는 것을 배제시키기 위한 것으로서, 상기 신체의 내부에 해당하는 정보에 기초하여 팔 움직임 후보 영역에 관한 정보를 얻을 수 있다.
S105단계에서 얼굴 영역을 추출하기 위하여 OpenCV에서 제공하는 얼굴 추출 알고리즘을 이용하거나, 상기 입력된 영상으로부터 피부색에 해당하는 색상 정보를 포함하는 영역을 추출하여 얼굴 영역으로 설정할 수 있다. 이때, 상기 피부색에 해당하는 색상 정보를 추출하기 위하여, 사람의 피부색으로 모델링된 기준 정보를 이용하는 것이 바람직하다. 본 발명에 적용할 수 있는 바람직한 피부색 정보로는 피어스 컬러 모델(Peer's color model)을 들 수 있다.
입력된 영상으로부터 얼굴 영역이 검출되면(S105), 다음으로 상기 입력된 영상으로부터 옷 색상 영역 정보를 검출한 다음, 상기에서 검출된 얼굴 영역에 기초하여 옷 영역을 검출한다(S110). 먼저 옷 색상 영역 정보는 상기 영상에 컬러 히스토그램 백프로젝션(color histogram backprojection) 방법을 사용하여 검출된다. 상기 얼굴 영역 및 옷 색상 영역 정보에 기초하여, 상기에서 검출된 얼굴 영역으로부터 일정 거리에 있는 부분을 옷 영역으로 설정한다. 이때 먼저 추출된 사람들의 얼굴 정보와 함께 상반신의 옷 색상 정보를 모델링하여 이를 추적한 다음, 상기 영상의 상반신 영역에서 HSV의 히스토그램을 얻어, 상기 영상의 상반신 영역을 [색상,채도,명도]×[평균, 변화량, 왜도(Skewness)]의 9차원 배열값으로 표현할 수 있는데, 이로 인해 호출 행위를 하면서 호출자가 이동하더라도 호출정보는 그대로 유지될 수 있게 된다.
상기 S105 및 S110단계를 통하여 신체의 내부 공간 영역에 해당하는 정보가 얻어지면(S115), 이를 통하여 신체의 외부 공간 영역이 설정되고(S120), 다음으로 영상의 공간 기울기(spatial gradient) 정보를 이용하여 상기 영상으로부터 에지 영역에 관한 정보를 얻는다(S125). 이하, 도 2를 통하여 에지 영역이 특정되는 과정을 상세하게 설명한다.
도 2는 상기 단계에 의하여 설정된 얼굴 영역, 옷 영역 및 에지 영역의 관계를 나타내는 도면이다. 도 2를 참조하면 상기 단계에 의하여 설정된 얼굴 영역 및 옷 영역은 몸의 내부 공간 영역인 R2 영역이 되고, 그 이외의 영역은 몸 외부 공간 영역인 R1 영역이 된다. 이때, R2 영역이 일정한 길이(l)와 폭(r)을 갖는 것으로 결정되면, R1 영역은 상기 R1 영역와 동일한 길이(l)와 폭(r)을 갖는 영역으로 특정된다.
그리고, 상기 R1 및 R2 영역의 사이에 위치하는 영역으로서, 몸의 내부 및 외부 경계를 짓는 영역을 에지 영역(L)으로 설정한 후, 에지 영역을 기준으로 탐색 영역(searching area)을 설정한다.
그리고 a는 상기의 탐색 영역(searching area)이 에지 영역(L)를 기준으로 회전할 때, 탐색 영역(searching area)의 중심 영역(SC)과 에지 영역(L)간의 각도이다.
몸의 외부 공간 영역 R1, 몸의 내부 공간 영역 R2 및 에지 영역 L이 상기 도 2에 나타낸 바와 같이 특정되면, 어깨 윤곽선 추출을 위한 에너지 함수는 다음 수학식1과 같이 정의된다(S130).
[수학식 1]
Figure 112007083704306-pat00025
이때, 상기 a의 크기를 변화시키면서 즉, 탐색 영역(searching area)이 에지 영역(L)를 기준으로 회전시키면서 몸 내부 공간 영역 및 몸 외부 공간 영역의 에너지 값을 계산하고, 최대 에너지 값이 계산되는 탐색 영역(searching area)의 중심 영역(SC)을 어깨 윤곽선으로 획득할 수 있다. 그리고 이때의 탐색 영역(searching area)의 중심 영역(SC)과 에지 영역(L)간의 각도값(Θmax)은 다음 수학식2와 같이 얻을 수 있다(S135).
[수학식 2]
Figure 112008030336838-pat00042

여기에서, Is(x,y)는 위치 (x, y)에서의 해당 픽셀 강도의 공간기울기값이고, icosθ 및 isinθ는 i의 길이를 가지는 탐색 영역의 중심 영역이 임의의 위치(θ)에 위치할 때의 위치값을 의미한다.
이하, 도 3을 참조하여 본 발명의 바람직한 제 2실시예에 따른 로봇 깨움 방 법을 상세하게 설명한다. 도 3은 본 발명의 바람직한 제 2실시예에 따른 로봇 깨움 방법을 수행하기 위한 흐름을 개략적으로 도시한 블럭도이다.
도 3을 참조하면, 본 발명에 따라 로봇을 깨우기 위해서 먼저, 주변 사람들을 촬상한 영상을 입력받아(S200), 피부색 정보, 옷 색상 정보 및 에지 정보를 추출하여 에너지 함수를 작성한 다음, 상기 에너지 함수로부터 몸의 내부 공간 영역과 몸의 외부 공간 영역의 비율을 최대로 하는 각을 구하여 어깨 윤곽선에 대한 정보를 추출한다(S205). 이는 상기 제 1실시예와 동일 또는 유사한 방법에 의하여 행하여질 수 있다.
다음으로, 상기 촬상한 영상으로부터 사람들의 호출정보를 추적한다(S210). 호출 정보를 추적하는 것은 손의 움직임을 확인하는 과정과, 호출 행위를 하는 손이 누구의 손인지 확인하는 과정을 포함할 수 있다. 이는 상기 호출 행위가 해당 호출자의 행동임을 명확하게 하기 위한 것으로서, 이웃해 있는 사람의 호출 행위를 잘못 인식하거나 혹은 이웃해있는 사람의 움직임으로 잘못 인식할 위험을 줄이기 위한 것이다.
상기 손의 움직임을 확인하기 위한 손 추출은 OpenCV의 민쉬프트(Mean Shift) 알고리즘을 사용하여 추적할 수 있다. 여기에서 민쉬프트 알고리즘이란 민쉬프트 벡터인
Figure 112007083704306-pat00026
를 0으로 만드는 Yc를 찾는 것이다. 이때,
Figure 112007083704306-pat00027
는 하기 수학식 3으로 표현되는데, 이때 g는 커널(kernel) 함수를 나타내고, 특히 가우시안 커널(Gaussian kernel)이 바람직하다.
[수학식 3]
Figure 112007083704306-pat00028
,
다음으로, 상기 단계에서 얻은 어깨 윤곽선 정보를 이용하여 호출정보를 추적함으로써, 상기 호출정보가 해당 호출자의 행동임을 확인할 수 있다. 즉, 호출자의 어깨 윤곽선 실루엣을 획득하고 이 정보로부터 호출행위와 호출자의 얼굴 정보를 이용하여 한 몸에서 일어난 행위임을 확인할 수 있다.
상기 단계를 통하여 호출행위가 특정 호출자에 의하여 행하여지기 시작한 것으로 인식되면, 상기 호출행위가 반복적으로 행하여지고 있는지 여부를 확인한다(S215). 이는 상기 호출행위가 단순한 움직임인지 호출행위인지 여부를 확인하기 위한 것이다. 이때, 호출행위인지 여부에 대한 판단을 용이하게 하기 위하여 상기 호출행위가 임계값 이상 반복되는 경우에는 호출행위로 인식하고, 임계값에 미치지 못하는 경우에는 단순한 움직임인 것으로 인식하도록 설정할 수 있다. 이때, 상기 임계값은 호출행위가 행하여지는 상황에 따라서 다르기 때문에, 당업자의 판단에 따라 선택적으로 사용될 수 있다.
다음으로, 상기 호출행위가 동일인에 의하여 임계값 이상으로 반복되면 확실한 호출자로 확인한 다음(S220), 제스처 인식 시스템을 깨우고, 이 시스템에 손의 초기 위치를 알려준다(S225).
이하, 도 4를 통하여, 본 발명의 바람직한 제 3실시예에 따른 어깨 윤곽선 추출장치에 관하여 상세하게 설명한다. 도 4는 본 발명의 실시예에 따른 어깨 윤곽선 추출장치의 개략적인 구성에 관한 블럭도이다.
도 4를 참조하면, 본 발명의 실시예에 따른 어깨 윤곽선 추출 장치(100)는 영상 입력 모듈(110), 몸 내부 공간 영역 특정 모듈(120), 몸 외부 공간 영역 특정 모듈(130), 에지 영역 특정 모듈(140) 및 어깨선 추출모듈을 포함하여 구성된다.
영상 입력 모듈(110)은 외부 비전 센서와 같은 영상 입력 장치로부터 주변 사람들이 촬상된 영상을 입력받는다.
몸 내부 공간 영역 특정 모듈(120)은 상기 영상 입력 모듈(110)로부터 영상 정보를 입력받아 몸의 내부 공간에 해당하는 영역을 추출한다. 이를 위하여 상기 몸 내부 공간 영역 특정 모듈(120)은 상기 입력된 영상 정보로부터 촬상된 사람의 얼굴 영역 및 옷 영역을 추출한 다음, 이에 기초하여 몸 내부 공간 영역을 특정할 수 있다.
몸 외부 공간 영역 특정 모듈(120)은 상기 영상 입력 모듈로부터 제공받은 영상 정보와, 상기 몸 내부 공간 영역 특정 모듈로부터 전달받은 몸 내부 공간 영역에 관한 정보에 기초하여 몸의 외부 공간에 해당하는 영역을 특정한다. 이를 위하여 상기 몸 내부 공간 영역과 동일한 길이와 폭을 갖는 영역으로 몸 외부 공간 영역으로 특정할 수 있다.
에지 영역 특정 모듈은 상기 몸 내부 및 외부 공간 영역 특정 모듈에 의하여 특정된 정보에 기초하여 에지 공간 정보를 특정한다. 즉, 상기 몸 내부 공간 영역 및 몸 외부 공간 영역의 사이에 위치하는 영역으로서, 몸의 내부 및 외부 경계를 짓는 영역인 에지 공간 정보를 특정한다. 또한, 상기 에지 영역을 중심 영역으로 하는 탐색 영역을 설정한다.
어깨 윤곽선 추출 모듈은 상기에서 특정된 몸의 내부 공간 영역과 몸의 외부 공간 영역의 비율을 최대로 하는 값에 기초하여 어깨 윤곽선에 대한 정보를 추출한다. 이를 위하여 R1 영역을 얼굴 영역 및 옷 영역을 포함하고 일정한 길이(l)와 폭(r)을 갖는 몸의 내부 공간 영역이라 하고, R2 영역을 그 이외의 영역으로서 R1 영역와 동일한 길이(l)와 폭(r)을 갖는 몸 외부 공간 영역이라 하고, 에지 영역(L)을 상기 R1 및 R2 영역의 사이에 위치하는 영역으로서, 몸의 내부 및 외부 경계를 짓는 영역이고, 그리고 a는 탐색 영역(searching area)의 중심 영역(SC)을 에지 영역(L)을 기준으로 회전할 때 중심 영역(SC)과 에지 영역(L)간의 각도를 의미한다고 했을 때, 어깨 윤곽선 추출을 위한 에너지 함수는 다음 수학식1과 같이 정의된다.
[수학식 1]
Figure 112007083704306-pat00029
이때, 상기 a의 크기를 변화시키면서 에너지 S를 최대로 하는 값을 찾게 되면 어깨의 윤곽선을 확인할 수 있으며, 이 각도값(Θmax)은 다음 수학식2와 같이 얻을 수 있다. 여기에서, I(x,y)는 위치 (x, y)에서의 강도(intensity)값을 의미한다.
[수학식 2]
Figure 112008030336838-pat00043
여기에서, Is(x,y)는 위치 (x, y)에서 해당 픽셀 강도의 공간기울기값이고, icosθ 및 isinθ는 i의 길이를 가지는 탐색 영역의 중심 영역이 임의의 위치(θ)에 위치할 때의 위치값을 의미한다.
이하, 도 5를 통하여, 본 발명의 바람직한 제 4실시예에 따른 로봇 깨움 장치에 관하여 상세하게 설명한다. 도 5는 본 발명의 실시예에 따른 로봇 깨움 장치의 개략적인 구성에 관한 블럭도이다.
도 5를 참조하면, 본 발명의 실시예에 따른 로봇 깨움 장치는 영상 입력부(200), 어깨선 추출부(100), 호출행위 판단부(300) 및 제스처 인식 시스템 호출부(400)를 포함하여 구성된다.
상기 영상 입력부(200)는 외부 비전 센서와 같은 영상 입력장치로부터 주변 사람들이 촬상된 영상을 입력받는다.
어깨선 추출 모듈(100)는 상기 영상 입력부(200)로부터 제공받은 영상정보에 기초하여 촬상된 사람의 어깨 윤곽선에 관한 정보를 추출하는 장치이다. 이를 위하여 상기 어깨 윤곽선 추출 모듈(100)은, 상기 영상 입력부(200)로부터 제공받은 영상 정보로부터 몸의 내부 공간에 해당하는 영역을 추출하는 몸 내부 공간 영역 특정 모듈(120), 상기 영상 입력부(200)로부터 제공받은 영상 정보와, 상기 몸 내부 공간 영역 특정 모듈(120)로부터 전달받은 정보에 기초하여 몸의 외부 공간에 해당하는 영역을 특정하기 위한 몸 외부 공간 영역 특정 모듈(130), 상기 몸 내부 및 외부 공간 영역 특정 모듈(120, 130)에 의하여 특정된 정보에 기초하여 에지 영역을 특정하는 에지 영역 특정 모듈(140) 및 상기에서 특정된 몸의 내부 공간 영역과 몸의 외부 공간 영역의 비율을 최대로 하는 값에 기초하여 어깨 윤곽선에 대한 정보를 추출하는 어깨 윤곽선 추출 모듈(150)을 포함하여 구성된다.
호출행위 판단부(300) 상기 영상 입력부(200)로부터 제공받은 영상 정보와, 상기 어깨선 추출부로부터 제공받은 어깨 윤곽선 정보에 기초하여 호출자의 호출행위가 있었는지 여부를 판단한다. 이를 위하여 상기 호출행위 판단부(300)는, 반복되는 호출자의 행위가 손의 움직임에 해당하는 것인지 여부를 확인하기 위한 손 추출 모듈(310) 및 호출 행위를 하는 손이 누구의 손인지 여부와 상기 호출 행위가 임계값 이상으로 반복하여 실시되고 있는지 여부를 확인하는 호출행위 검출 모듈(320)를 포함하여 구성된다.
제스처 인식 시스템 호출부는 상기 호출행위 판단부(300)에 의하여 호출자가 호출행위를 행하고 있는 것으로 판단되면, 상기 호출행위를 행하는 호출자를 확인한 다음, 호출자가 호출행위 이후에 행하는 제스처에 따라 호출자의 의도를 파악하기 위한 제스처 인식 시스템을 깨우고, 상기 시스템에 호출자의 손의 초기 위치에 관한 정보를 전달한다.
이상에서 설명한 본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러가지 치환, 변형 및 변경이 가능하다는 것이 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 당업자에게 있어 명백할 것이다.
본 발명에 의하면 영상 입력장치를 통하여 입력되는 영상 정보로부터 호출자의 어깨 윤곽선 정보를 컴퓨터 상에서 적은 계산량으로 추출할 수 있는 단순한 알고리즘을 제공하고, 또한 상기 알고리즘에 기초하여 호출자의 호출 행위를 파악하 도록 함으로써 호출자의 자세가 고정되어있지 않다 하더라도 어깨 윤곽선, 머리 혹은 그 위쪽에서 일어나는 호출행위를 먼 거리 또는 가까운 거리에서도 인식할 수 있게 된다.

Claims (25)

  1. 주변의 사람들을 촬상한 영상을 입력받는 단계;
    상기 입력된 영상으로부터 몸 내부 공간 영역을 특정하는 단계;
    상기 몸 내부 공간 영역과 동일한 길이와 폭을 갖는 영역을 몸 외부 공간 영역으로 특정하는 단계;
    상기 몸 내부 공간 영역과 상기 몸 외부 공간 영역간의 경계 영역을 에지 영역을 설정한 후, 상기 에지 영역을 중심 영역으로 하는 탐색 영역을 설정하는 단계; 및
    상기 에지 영역을 기준으로 상기 탐색 영역을 회전시키면서 상기 몸 내부 공간 영역 및 몸 외부 공간 영역의 에너지 값을 계산하고, 최대 에너지 값이 계산되는 상기 탐색 영역의 중심 영역을 어깨 윤곽선으로 획득하는 단계를 포함하여 구성되는 어깨 윤곽선 추출 방법.
  2. 제 1항에 있어서,
    상기 몸 내부 공간 영역을 특정하는 단계는,
    상기 입력된 영상으로부터 촬상된 사람의 피부색 정보를 검출하여 얼굴 영역을 추출하는 단계; 및,
    상기 영상으로부터 상기 얼굴 영역이 추출된 사람의 옷 색상 정보를 모델링하여 옷 영역을 추출하는 단계를 포함하여 구성되는 것을 특징으로 하는 어깨 윤곽선 추출 방법.
  3. 제 2항에 있어서,
    상기 얼굴 영역을 추출하는 단계는 OpenCV에서 제공하는 얼굴 추출 알고리즘을 이용하는 것을 특징으로 하는 어깨 윤곽선 추출 방법.
  4. 제 2항에 있어서,
    상기 얼굴 영역을 추출하는 단계는 상기 입력된 영상으로부터 피부색에 해당하는 색상 정보를 포함하는 영역을 추출하여 얼굴 영역으로 설정하는 것을 특징으로 하는 어깨 윤곽선 추출 방법.
  5. 제 4항에 있어서,
    피어스 컬러 모델(Peer's color model)을 이용하여 상기 피부색에 해당하는 색상 정보를 추출하는 것을 특징으로 하는 어깨 윤곽선 추출 방법.
  6. 제 2항에 있어서,
    상기 옷 영역을 추출하는 단계는 상기 입력된 영상으로부터 옷 색상 영역 정보를 검출한 다음, 상기에서 검출된 얼굴 영역에 기초하여 상기 영상에 컬러 히스토그램 백프로젝션(color histogram backprojection) 방법을 사용하여 옷 영역을 검출하는 것을 특징으로 하는 어깨 윤곽선 추출 방법.
  7. 제 2항에 있어서,
    상기 옷 영역을 추출하는 단계는 먼저 추출된 사람들의 얼굴 정보와 함께 상반신의 옷 색상 정보를 모델링하여 이를 추적한 다음 상기 영상의 상반신 영역에서 HSV의 히스토그램을 얻어, 상기 영상의 상반신 영역을 [색상,채도,명도]×[평균, 변화량, 왜도(Skewness)]의 9차원 배열값으로 표현하는 것을 특징으로 하는 어깨 윤곽선 추출 방법.
  8. 삭제
  9. 삭제
  10. 삭제
  11. 제 1항에 있어서,
    상기 어깨 윤곽선에 대한 정보를 얻는 단계는, 어깨 윤곽선 추출을 위한 에너지 함수는 다음 수학식1과 같이 정의될때,
    [수학식 1]
    Figure 112008030336838-pat00035
    ,
    (여기에서, R1은 일정한 길이(l)와 폭(r)을 갖는 몸의 내부 공간 영역, R2는 R1과 동일한 길이(l)와 폭(r)을 갖는 몸 외부 공간 영역, L은 R1 및 R2의 사이에 몸의 내부 및 외부 경계를 짓는 에지 영역, a는 상기 탐색 영역의 중심 영역과 상기 에지 영역이 이루는 각을 의미한다.)
    상기 a를 변화시키면서 최대 에너지 값(S)이 계산되는 각도값(Θmax)을 파악하고, 상기 각도값(Θmax)을 가지는 상기 탐색 영역의 중심 영역을 어깨 윤곽선으로 획득하는 것을 특징으로 하는 어깨 윤곽선 추출 방법.
    [수학식 2]
    Figure 112008030336838-pat00044
    (여기에서, Is(x,y)는 위치 (x, y)에서 해당 픽셀 강도의 공간기울기값이고, icosθ 및 isinθ는 i의 길이를 가지는 탐색 영역의 중심 영역이 임의의 위치(θ)에 위치할 때의 위치값을 의미한다.)
  12. 주변 사람들을 촬상한 영상을 입력받아, 피부색 정보, 옷 색상 정보 및 에지 정보를 추출하여 에너지 함수를 작성한 다음, 상기 에너지 함수로부터 몸의 내부 공간 영역과 몸의 외부 공간 영역의 비율을 최대로 하는 각을 구하여 어깨 윤곽선에 대한 정보를 추출하는 어깨 윤곽선 추출 단계;
    상기 촬상한 영상으로부터 사람들의 호출정보를 추적하는 단계;
    호출행위가 시작되면 동일한 어깨 윤곽선 정보 가지는 사람에 의해 상기 호출행위가 반복적으로 행하여지고 있는지 여부를 확인하는 단계; 및,
    상기 호출행위가 상기 동일한 어깨 윤곽선 정보 가지는 사람에 의해 반복적으로 행해지면 호출자로 인식하는 단계를 포함하여 구성되는 로봇 깨움 방법.
  13. 제 12항에 있어서,
    상기 어깨 윤곽선 추출 단계는,
    주변의 사람들을 촬상한 영상을 입력받는 단계;
    상기 입력된 영상으로부터 몸 내부 공간 영역을 특정하는 단계;
    상기 몸 내부 공간 영역과 동일한 길이와 폭을 갖는 영역을 몸 외부 공간 영역으로 특정하는 단계;
    상기 몸 내부 공간 영역과 상기 몸 외부 공간 영역간의 경계 영역을 에지 영역을 설정한 후, 상기 에지 영역을 중심 영역으로 하는 탐색 영역을 설정하는 단계; 및
    상기 에지 영역을 기준으로 상기 탐색 영역을 회전시키면서 상기 몸 내부 공간 영역 및 몸 외부 공간 영역의 에너지 값을 계산하고, 최대 에너지 값이 계산되는 상기 탐색 영역의 중심 영역을 어깨 윤곽선으로 획득하는 단계를 포함하여 구성되는 것을 특징으로 하는 로봇 깨움 방법
  14. 제 13항에 있어서,
    상기 몸 내부 공간 영역을 특정하는 단계는,
    상기 입력된 영상으로부터 촬상된 사람의 피부색 정보를 검출하여 얼굴 영역을 추출하는 단계; 및,
    상기 영상으로부터 상기 얼굴 영역이 추출된 사람의 옷 색상 정보를 모델링하여 옷 영역을 추출하는 단계를 포함하여 구성되는 것을 특징으로 하는 로봇 깨움 방법.
  15. 제 12항에 있어서,
    상기 촬상한 영상으로부터 사람들의 호출정보를 추적하는 단계는,
    손의 움직임을 확인하는 단계; 및,
    호출 행위를 하는 손이 누구의 손인지 확인하는 과정을 포함하는 것을 특징으로 하는 로봇 깨움 방법.
  16. 제 15항에 있어서,
    상기 손의 움직임을 확인하는 단계는
    Figure 112007083704306-pat00031
    는 하기 수학식 3으로 표현될 때 민쉬프트 벡터인
    Figure 112007083704306-pat00032
    를 0으로 만드는 Yc를 찾는 OpenCV의 민쉬프트(Mean Shift) 알고리즘을 사용하는 것을 특징으로 하는 로봇 깨움 방법.
    [수학식 3]
    Figure 112007083704306-pat00040
    ,
    (여기에서, g는 가우시안 커널(Gaussian kernel)이다.)
  17. 제 12항에 있어서,
    상기 호출자로 확인하는 단계에서 호출행위가 동일인에 의하여 임계값 이상으로 반복되면 확실한 호출자로 확인한 다음, 제스처 인식 시스템을 깨우고, 이 시스템에 손의 초기 위치를 알려주는 단계를 더 포함하는 것을 특징으로 하는 로봇 깨움 방법.
  18. 삭제
  19. 삭제
  20. 외부 비전 센서로부터 주변 사람들이 촬상된 영상을 입력받는 영상 입력 모듈;
    상기 영상 입력 모듈로부터 제공받은 영상 정보로부터 몸의 내부 공간에 해당하는 영역을 추출하는 몸 내부 공간 영역 특정 모듈;
    상기 몸 내부 공간 영역과 동일한 길이와 폭을 갖는 영역을 몸 외부 공간 영역으로 특정하는 몸 외부 공간 영역 특정 모듈;
    상기 몸 내부 공간 영역과 상기 몸 외부 공간 영역간의 경계 영역을 에지 영역을 설정한 후, 상기 에지 영역을 중심 영역으로 하는 탐색 영역을 설정하는 에지 영역 특정 모듈; 및,
    상기 에지 영역을 기준으로 상기 탐색 영역을 회전시키면서 상기 몸 내부 공간 영역 및 몸 외부 공간 영역의 에너지 값을 계산하고, 최대 에너지 값이 계산되는 상기 탐색 영역의 중심 영역을 어깨 윤곽선으로 획득하는 어깨 윤곽선 추출 모듈을 포함하여 구성되는 어깨 윤곽선 추출장치.
  21. 제 20항에 있어서,
    상기 몸 내부 공간 영역 특정 모듈은 상기 영상 입력 모듈을 통하여 입력된 영상 정보로부터 촬상된 사람의 얼굴 영역 및 옷 영역을 추출한 후, 상기 얼굴 영역 및 옷 영역을 포함하도록 상기 몸 내부 공간 영역을 특정하는 것을 특징으로 하는 어깨 윤곽선 추출 장치.
  22. 제 20항에 있어서,
    상기 에지 영역 특정 모듈은 상기 몸 내부 공간 영역 및 몸 외부 공간 영역간의 경계 영역을 상기 에지 영역으로 설정하는 것을 특징으로 하는 어깨 윤곽선 추출 장치.
  23. 제 20항에 있어서,
    상기 어깨 윤곽선 추출 모듈은, 어깨 윤곽선 추출을 위한 에너지 함수는 다음 수학식1과 같이 정의될때,
    [수학식 1]
    Figure 112008030336838-pat00037
    ,
    (여기에서, R1은 일정한 길이(l)와 폭(r)을 갖는 몸의 내부 공간 영역, R2는 R1과 동일한 길이(l)와 폭(r)을 갖는 몸 외부 공간 영역, L은 R1 및 R2의 사이에 몸의 내부 및 외부 경계를 짓는 에지 영역, a는 상기 탐색 영역의 중심 영역과 상기 에지 영역이 이루는 각을 의미한다.)
    상기 a를 변화시키면서 최대 에너지 값(S)이 계산되는 각도값(Θmax)을 파악하고, 상기 각도값(Θmax)을 가지는 상기 탐색 영역의 중심 영역을 어깨 윤곽선으로 획득하는 것을 특징으로 하는 어깨 윤곽선 추출 장치.
    [수학식 2]
    Figure 112008030336838-pat00045
    (여기에서, Is(x,y)는 위치 (x, y)에서 해당 픽셀 강도의 공간기울기값이고, icosθ 및 isinθ는 i의 길이를 가지는 탐색 영역의 중심 영역이 임의의 위치(θ)에 위치할 때의 위치값을 의미한다.)
  24. 외부 비전 센서로부터 주변 사람들이 촬상된 영상을 입력받는 영상 입력부;
    상기 영상 입력 모듈로부터 제공받은 영상 정보로부터 몸의 내부 공간에 해당하는 영역을 추출하는 몸 내부 공간 영역 특정 모듈과, 상기 몸 내부 공간 영역과 동일한 길이와 폭을 갖는 영역을 몸 외부 공간 영역으로 특정하는 몸 외부 공간 영역 특정 모듈과, 상기 몸 내부 공간 영역과 상기 몸 외부 공간 영역간의 경계 영역을 에지 영역을 설정한 후, 상기 에지 영역을 중심 영역으로 하는 탐색 영역을 설정하는 에지 영역 특정 모듈과, 상기 에지 영역을 기준으로 상기 탐색 영역을 회전시키면서 상기 몸 내부 공간 영역 및 몸 외부 공간 영역의 에너지 값을 계산하고, 최대 에너지 값이 계산되는 상기 탐색 영역의 중심 영역을 어깨 윤곽선으로 획득하는 어깨 윤곽선 추출 모듈을 포함하여 구성되는 어깨선 추출 모듈;
    상기 영상 입력부로부터 제공받은 영상 정보와, 상기 어깨선 추출부로부터 제공받은 어깨 윤곽선 정보를 분석하여, 동일한 어깨 윤곽선 정보 가지는 사람이 호출행위를 반복수행하면 정상적인 호출자에 의한 호출행위가 발생하였다고 판단하는 호출행위 판단부; 및,
    호출 행위가 있었던 것으로 판단되면, 호출자를 확인한 다음 제스처 인식 시스템을 깨우고, 상기 시스템에 호출자의 손의 초기 위치에 관한 정보를 전달하는 제스처 인식 시스템 호출부를 포함하여 구성되는 로봇 깨움 장치.
  25. 제 24항에 있어서,
    상기 호출행위 판단부는, 반복되는 호출자의 행위가 손의 움직임에 해당하는 것인지 여부를 확인하기 위한 손 추출 모듈; 및,
    호출 행위를 하는 손이 누구의 손인지 여부와 상기 호출 행위가 임계값 이상으로 반복하여 실시되고 있는지 여부를 확인하는 호출행위 검출 모듈을 포함하여 구성되는 것을 특징으로 하는 로봇 깨움 장치.
KR1020060076870A 2006-08-14 2006-08-14 어깨 윤곽선 추출 방법, 이를 이용한 로봇 깨움 방법 및이를 위한 장치 KR100847136B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020060076870A KR100847136B1 (ko) 2006-08-14 2006-08-14 어깨 윤곽선 추출 방법, 이를 이용한 로봇 깨움 방법 및이를 위한 장치
US11/673,696 US8204311B2 (en) 2006-08-14 2007-02-12 Method and apparatus for shoulder-line detection and gesture spotting detection

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060076870A KR100847136B1 (ko) 2006-08-14 2006-08-14 어깨 윤곽선 추출 방법, 이를 이용한 로봇 깨움 방법 및이를 위한 장치

Publications (2)

Publication Number Publication Date
KR20080015320A KR20080015320A (ko) 2008-02-19
KR100847136B1 true KR100847136B1 (ko) 2008-07-18

Family

ID=39050867

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060076870A KR100847136B1 (ko) 2006-08-14 2006-08-14 어깨 윤곽선 추출 방법, 이를 이용한 로봇 깨움 방법 및이를 위한 장치

Country Status (2)

Country Link
US (1) US8204311B2 (ko)
KR (1) KR100847136B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101130063B1 (ko) 2010-04-30 2012-03-28 동명대학교산학협력단 차세대 통합 디스플레이 장치용 손동작 인식 기반의 콘텐츠 제어 방법

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8888596B2 (en) * 2009-11-16 2014-11-18 Bally Gaming, Inc. Superstitious gesture influenced gameplay
KR101027157B1 (ko) * 2008-10-21 2011-04-05 서울벤처정보대학원대학교 산학협력단 최대마진분류기를 이용한 의상 분류 방법
TWI395145B (zh) * 2009-02-02 2013-05-01 Ind Tech Res Inst 手勢辨識系統及其方法
US9417700B2 (en) 2009-05-21 2016-08-16 Edge3 Technologies Gesture recognition systems and related methods
KR20110003146A (ko) * 2009-07-03 2011-01-11 한국전자통신연구원 제스쳐 인식 장치, 이를 구비한 로봇 시스템 및 이를 이용한 제스쳐 인식 방법
US8850556B2 (en) * 2009-07-21 2014-09-30 International Business Machines Corporation Interactive video captcha
KR20110076458A (ko) * 2009-12-29 2011-07-06 엘지전자 주식회사 디스플레이 장치 및 그 제어방법
CN102113897B (zh) * 2009-12-31 2014-10-15 深圳迈瑞生物医疗电子股份有限公司 一种在图像中提取及测量感兴趣目标的方法及其装置
TWI400940B (zh) * 2010-03-24 2013-07-01 Hon Hai Prec Ind Co Ltd 遠端控制軌道式攝影裝置的手持式裝置及方法
US8396252B2 (en) 2010-05-20 2013-03-12 Edge 3 Technologies Systems and related methods for three dimensional gesture recognition in vehicles
CN102646189B (zh) * 2010-08-11 2013-09-18 无锡中星微电子有限公司 一种司机驾驶姿势检测的***和方法
US8582866B2 (en) 2011-02-10 2013-11-12 Edge 3 Technologies, Inc. Method and apparatus for disparity computation in stereo images
US8467599B2 (en) 2010-09-02 2013-06-18 Edge 3 Technologies, Inc. Method and apparatus for confusion learning
US8655093B2 (en) 2010-09-02 2014-02-18 Edge 3 Technologies, Inc. Method and apparatus for performing segmentation of an image
US8666144B2 (en) 2010-09-02 2014-03-04 Edge 3 Technologies, Inc. Method and apparatus for determining disparity of texture
JP2012068713A (ja) * 2010-09-21 2012-04-05 Sony Corp 情報処理装置、および情報処理方法
US9171264B2 (en) 2010-12-15 2015-10-27 Microsoft Technology Licensing, Llc Parallel processing machine learning decision tree training
US8970589B2 (en) 2011-02-10 2015-03-03 Edge 3 Technologies, Inc. Near-touch interaction with a stereo camera grid structured tessellations
US10671841B2 (en) * 2011-05-02 2020-06-02 Microsoft Technology Licensing, Llc Attribute state classification
US8805099B2 (en) * 2011-06-22 2014-08-12 Panasonic Intellectual Property Corporation Of America Image decoding method and image coding method
US9672609B1 (en) 2011-11-11 2017-06-06 Edge 3 Technologies, Inc. Method and apparatus for improved depth-map estimation
US9264660B1 (en) * 2012-03-30 2016-02-16 Google Inc. Presenter control during a video conference
TWI483141B (zh) * 2013-01-03 2015-05-01 Chunghwa Picture Tubes Ltd 手勢辨識系統及手勢辨識方法
US10721448B2 (en) 2013-03-15 2020-07-21 Edge 3 Technologies, Inc. Method and apparatus for adaptive exposure bracketing, segmentation and scene organization
IN2013MU04097A (ko) 2013-12-27 2015-08-07 Tata Consultancy Services Ltd
KR101807513B1 (ko) * 2015-05-13 2017-12-12 한국전자통신연구원 3차원 공간에서 영상정보를 이용한 사용자 의도 분석장치 및 분석방법
US10373244B2 (en) * 2015-07-15 2019-08-06 Futurewei Technologies, Inc. System and method for virtual clothes fitting based on video augmented reality in mobile phone
KR20180066722A (ko) 2016-12-09 2018-06-19 한국전자통신연구원 모바일 기반 개인 콘텐츠 보호장치 및 그 방법
CN109359625A (zh) * 2018-11-16 2019-02-19 南京甄视智能科技有限公司 基于头肩检测和人脸识别技术判断顾客身份的方法和***
CN110334570B (zh) * 2019-03-30 2022-09-16 深圳市晓舟科技有限公司 人脸识别自动建库方法、装置、设备及存储介质
CN111813103B (zh) * 2020-06-08 2021-07-16 珊口（深圳）智能科技有限公司 移动机器人的控制方法、控制***及存储介质
KR102423934B1 (ko) * 2020-06-24 2022-07-21 (주)가시 안면인식 및 유사한 옷 색상의 다수 객체 추적기술을 통한 스마트 휴먼검색 통합 솔루션

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030050617A (ko) * 2001-12-19 2003-06-25 한국전자통신연구원 에지/컬러정보를 이용한 얼굴 피부색 영역 추출시스템 및그 방법
KR20060031834A (ko) * 2006-03-22 2006-04-13 뷰웨이 주식회사 실시간 상황인지를 위한 얼굴특징 검출

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5550928A (en) * 1992-12-15 1996-08-27 A.C. Nielsen Company Audience measurement system and method
US5802361A (en) * 1994-09-30 1998-09-01 Apple Computer, Inc. Method and system for searching graphic images and videos
DE69535098T2 (de) * 1994-11-15 2007-04-19 Canon K.K. Verfahren und -vorrichtung zur Suche von Bildern in einer Datenbank
US5774591A (en) * 1995-12-15 1998-06-30 Xerox Corporation Apparatus and method for recognizing facial expressions and facial gestures in a sequence of images
JP3679512B2 (ja) * 1996-07-05 2005-08-03 キヤノン株式会社 画像抽出装置および方法
US6681031B2 (en) * 1998-08-10 2004-01-20 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US6546117B1 (en) * 1999-06-10 2003-04-08 University Of Washington Video object segmentation using active contour modelling with global relaxation
JP2001188555A (ja) 1999-12-28 2001-07-10 Sony Corp 情報処理装置および方法、並びに記録媒体
US6490534B1 (en) * 2000-04-25 2002-12-03 Henry Pfister Camera measurement system
JP2002175538A (ja) * 2000-12-08 2002-06-21 Mitsubishi Electric Corp 似顔絵生成装置及び似顔絵生成方法及び似顔絵生成プログラムを記録した記録媒体及び通信用端末及び通信用端末による通信方法
KR100413341B1 (ko) * 2001-03-20 2003-12-31 주식회사 코난테크놀로지 Ｈｓｖ 칼라 히스토그램 추출 방법
KR100515798B1 (ko) 2003-02-10 2005-09-21 한국과학기술원 입 벌림 정도와 얼굴방향 인식방법 및 얼굴 제스처를이용한 로봇 구동방법
DE602004006190T8 (de) * 2003-03-31 2008-04-10 Honda Motor Co., Ltd. Vorrichtung, Verfahren und Programm zur Gestenerkennung
JP3879732B2 (ja) * 2003-11-27 2007-02-14 コニカミノルタホールディングス株式会社 物体検出装置、物体検知方法、およびコンピュータプログラム
JP4494837B2 (ja) * 2003-12-26 2010-06-30 Ｓｒｉスポーツ株式会社 ゴルフスウィング診断システム
KR100645379B1 (ko) 2004-10-29 2006-11-15 삼성광주전자 주식회사 로봇 제어 시스템 및 로봇 제어방법
US7706610B2 (en) * 2005-11-29 2010-04-27 Microsoft Corporation Segmentation of objects by minimizing global-local variational energy

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030050617A (ko) * 2001-12-19 2003-06-25 한국전자통신연구원 에지/컬러정보를 이용한 얼굴 피부색 영역 추출시스템 및그 방법
KR20060031834A (ko) * 2006-03-22 2006-04-13 뷰웨이 주식회사 실시간 상황인지를 위한 얼굴특징 검출

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101130063B1 (ko) 2010-04-30 2012-03-28 동명대학교산학협력단 차세대 통합 디스플레이 장치용 손동작 인식 기반의 콘텐츠 제어 방법

Also Published As

Publication number Publication date
KR20080015320A (ko) 2008-02-19
US20080037875A1 (en) 2008-02-14
US8204311B2 (en) 2012-06-19

Similar Documents

Publication Publication Date Title
KR100847136B1 (ko) 어깨 윤곽선 추출 방법, 이를 이용한 로봇 깨움 방법 및이를 위한 장치
JP4307496B2 (ja) 顔部位検出装置及びプログラム
JP5008269B2 (ja) 情報処理装置、情報処理方法
CN107491755B (zh) 用于手势识别的方法及装置
JP3768735B2 (ja) 顔画像処理装置
US7734062B2 (en) Action recognition apparatus and apparatus for recognizing attitude of object
US20080226139A1 (en) Eyelid detection apparatus, eyelid detection method and program therefor
KR101853006B1 (ko) 깊이영상에서 코 검출을 이용한 얼굴 인식
US20210319585A1 (en) Method and system for gaze estimation
WO2019196558A1 (zh) 亮屏方法、装置、移动终端及存储介质
JP6932742B2 (ja) 深層学習モデルを利用して、眼球状態を検出する眼球状態検出システム及びその眼球状態検出システムを動作させる方法
KR101937323B1 (ko) 위장 얼굴 판별 장치 및 방법
CN109076159A (zh) 电子设备及其操作方法
CN112487964B (zh) 姿态检测识别方法、设备及计算机可读存储介质
CN110765924A (zh) 一种活体检测方法、装置以及计算机可读存储介质
CN110555393A (zh) 一种从视频数据中分析行人着装特征的方法和装置
CN110929570B (zh) 虹膜快速定位装置及其定位方法
CN111563245A (zh) 用户身份识别方法、装置、设备及介质
CN110222647B (zh) 一种基于卷积神经网络的人脸活体检测方法
Chua et al. Vision-based hand grasping posture recognition in drinking activity
JP2011022927A (ja) 手画像認識装置
CN111738062B (zh) 一种基于嵌入式平台的自动再识别***
CN205485915U (zh) 一种腕式设备
WO2017113793A1 (zh) 一种在图像中确定手指所处区域的方法、装置及腕式设备
JP7384157B2 (ja) 情報処理装置、ウエアラブル機器、情報処理方法及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130624

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20140630

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20150629

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20170627

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20180627

Year of fee payment: 11