KR101305694B1 - 목표물을 검출하기 위한 영상 처리 방법, 장치, 사용자 인터페이스를 위한 방법 및 장치 - Google Patents

목표물을 검출하기 위한 영상 처리 방법, 장치, 사용자 인터페이스를 위한 방법 및 장치 Download PDF

Info

Publication number
KR101305694B1
KR101305694B1 KR1020110107468A KR20110107468A KR101305694B1 KR 101305694 B1 KR101305694 B1 KR 101305694B1 KR 1020110107468 A KR1020110107468 A KR 1020110107468A KR 20110107468 A KR20110107468 A KR 20110107468A KR 101305694 B1 KR101305694 B1 KR 101305694B1
Authority
KR
South Korea
Prior art keywords
image
target
region
depth information
extracted
Prior art date
Application number
KR1020110107468A
Other languages
English (en)
Other versions
KR20130043394A (ko
Inventor
지호진
박정아
Original Assignee
엘지이노텍 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지이노텍 주식회사 filed Critical 엘지이노텍 주식회사
Priority to KR1020110107468A priority Critical patent/KR101305694B1/ko
Priority to EP12186776.6A priority patent/EP2584495A3/en
Priority to JP2012227918A priority patent/JP6144474B2/ja
Priority to US13/655,948 priority patent/US8934673B2/en
Publication of KR20130043394A publication Critical patent/KR20130043394A/ko
Application granted granted Critical
Publication of KR101305694B1 publication Critical patent/KR101305694B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Geophysics And Detection Of Objects (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

본 발명은, 영상의 깊이 정보를 획득하는 영상 획득부; 영상의 깊이 정보에 대한 히스토그램을 생성하는 히스토그램 생성부; 영상에서 검출하고자 하는 검출 대상의 영역을 검출하기 위하여 깊이 정보의 임계값을 설정하는 임계값 설정부; 상기 설정된 깊이 정보의 임계값을 이용하여 검출 대상의 영역을 추출하는 이미지 처리부; 상기 추출된 검출 대상의 영역이 목표물에 대응하는 지를 검증하는 데이터 검증부; 및 상기 추출된 검출 대상의 영역을 저장하는 저장부를 포함하고, 영상의 깊이 정보를 이용하여 목표물을 검출할 수 있도록 한다.

Description

목표물을 검출하기 위한 영상 처리 방법, 장치, 사용자 인터페이스를 위한 방법 및 장치{METHOD OF IMAGE PROCESSING FOR DETECTING OBJECT, DEVICE, METHOD FOR USER INTERFACE AND USER INTERFACE THEREOF }
본 발명은 목표물을 검출하기 위한 영상 처리 방법, 장치, 사용자 인터페이스를 위한 방법 및 장치에 관한 것으로서, 특히, 영상의 깊이 정보만을 이용하여 손 영역과 같은 목표물을 빠르고 간편하게 추출하고, 추출된 손 영역을 이용한 사용자 인터페이스를 제공하기 위한 목표물을 검출하기 위한 영상 처리 방법, 장치, 사용자 인터페이스를 위한 방법 및 장치에 관한 것이다
근래 디스플레이 장치의 활용 범위 및 기술 수준이 높아짐에 따라, 유저의 입력을 실시간으로 감지하여 이를 반영할 수 있는 게임 플레이어, 컴퓨팅 장치와 같은 대화식(interactive) 디바이스의 개발이 활발해지고 있다. 사용자의 입력은, 버튼, 키보드, 마우스 장치 및 터치 스크린 뿐만 아니라, 사용자가 디바이스에 물리적인 컨택을 하지 않아도 사용자의 움직임을 인식할 수 있는 동작 인식 사용자 인터페이스 장치도 개발되고 있다.
이 중, 사용자의 움직임을 인식할 수 있는 동작 인식 사용자 인터페이스 장치는, 3D 센싱 카메라에 의해 취득된 깊이 정보를 이용하여 사용자의 최초 영역 및 동작을 인식한 후, 최초 영역으로부터 사용자를 추적함으로써 사용자 동작을 입력으로 인식하여 디스플레이 화면의 기능을 조작할 수 있는 기술이다.
이 기술에서는 3D 센싱 정보를 이용하여 사용자 신체의 일부 (팔꿈치, 손목, 전완 부위)를 감지하고 해당 부위의 움직임 영역을 동작 인식에 활용할 수 있다. 그러나, 보다 정교한 사용자 인터페이스 구현을 위하여 손의 정확한 움직임과 형태를 인식할 수 있는 기술이 요구되어 상기의 방식과 같이 신체의 일부만을 감지하는 방식은 손 동작/모양 인식을 위해 선행되어야 할 손 영역 추출에 매우 제한적이다.
기존의 손 영역을 추출하는 대부분의 방식들은, 3D 영상 및 RGB 컬러(RGB color) 영상을 입력 정보로서 이용한다. 그러나, 두 정보를 모두 활용할 경우 처리해야 할 정보의 양이 방대하고 알고리즘이 복잡해지게 되어 연산량 증대 및 연산 속도 저하를 야기한다. 또한, RGB 컬러 정보만으로는 사용자의 바디 부분과 손 영역, 예컨대, 관심 영역(ROI, Region Of Interest)을 정확하게 분리해낼 수 없기 때문에 정확도 향상을 위하여 깊이 정보의 활용이 필수적이다. (참조 논문: H. An, and D. Kim, "Hand Gesture Recognition using 3D depth Data").
손 영역을 추출하는 종래의 기술들 중 스테레오 카메라(stereo camera)의 깊이 정보만을 이용한 방식에 대해서는 구체적으로 언급된 바가 없다.
본 발명은, 스테레오 카메라 등으로부터 획득한 영상의 깊이 정보만을 이용하여 목표물 영역인 손 영역을 추출함으로써 연산량을 줄이도록 한다.
본 발명은, 영상의 깊이 정보의 분포도로부터 임계값을 설정하고, 설정된 임계값을 이용하여 목표물 영역을 분리함으로써, 영역 추출의 정확도를 높이고 연산량을 감소시키도록 한다.
본 발명의 일 실시예에 따른 목표물을 검출하기 위한 영상 처리 방법은, 영상의 깊이 정보를 획득하는 단계; 영상의 깊이 정보에 대한 히스토그램을 생성하는 단계; 영상에서 검출하고자 하는 검출 대상의 영역을 검출하기 위하여 깊이 정보의 임계값을 설정하는 단계; 상기 설정된 깊이 정보의 임계값을 이용하여 검출 대상의 영역을 추출하는 단계; 상기 추출된 검출 대상의 영역이 목표물에 대응하는 지를 검증하는 단계; 및 상기 추출된 검출 대상의 영역을 저장하는 단계를 포함한다.
본 발명의 일 실시예에 따른 영상으로부터 목표물을 검출하기 위한 영상 처리 장치는, 영상의 깊이 정보를 획득하는 영상 획득부; 영상의 깊이 정보에 대한 히스토그램을 생성하는 히스토그램 생성부; 영상에서 검출하고자 하는 검출 대상의 영역을 검출하기 위하여 깊이 정보의 임계값을 설정하는 임계값 설정부; 상기 설정된 깊이 정보의 임계값을 이용하여 검출 대상의 영역을 추출하는 이미지 처리부; 상기 추출된 검출 대상의 영역이 목표물에 대응하는 지를 검증하는 데이터 검증부; 및 상기 추출된 검출 대상의 영역을 저장하는 저장부를 포함한다.
본 발명에 따르면 간단하고 신속하게 손 영역과 같은 목표물 영역을 추출하여 이를 기반으로 사용자 입력을 감지할 수 있는 사용자 인터페이스를 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 영상 처리 방법을 위한 순서도를 나타낸다.
도 2는 본 발명의 일 실시예에 따른 영상의 깊이 정보에 대한 히스토그램의 일례를 나타낸다.
도 3은 본 발명의 일 실시예에 따른 영상 처리 방법에 있어서, 검출 대상의 영역을 추출하기 위한 영상 처리의 일례를 나타낸다.
도 4는 본 발명의 일 실시예에 따른 영상 처리 방법에 있어서, 검출 대상의 영역을 추출하기 위한 영상 처리의 다른 예를 나타낸다.
도 5는 본 발명의 일 실시예에 따른 영상 처리 방법을 위한 영상 처리의 일례를 순서에 따라 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따른 영상 처리 장치의 블록도를 나타낸다.
이하 도면을 참조하여 본 발명의 실시예들을 보다 상세히 설명한다. 한편, 본 명세서에서 설명되는 검출 대상은 손 영역일 수 있으나 본 발명은 다른 목표물인, 예컨대, 발, 사람 눈, 손가락일 수 있다.
도 1은 본 발명의 일 실시예에 따른 영상 처리 방법을 위한 순서도를 나타낸다.
단계(S11)에서, 영상의 깊이 정보를 획득한다. 영상의 깊이 정보를 획득하기 이전에, 스테레오 카메라로부터 촬영된 영상 정보를 획득하고, 이로부터 영상의 깊이 정보를 획득하는 동작이 선행될 수 있다. 영상의 깊이 정보는 영상을 구성하는 복수의 픽셀 각각에 대한 깊이값으로서, 그 값은, 예컨대, 최소 0 내지 최대 255의 범위 내 값을 가질 수 있다. 획득한 영상 깊이 정보는 상기 0 내지 255 내에서 전체적으로 분포하지 않고, 10 내지 200 과 같이 일부 범위 내의 값들만을 포함될 수 있다.
단계(S12)에서, 영상의 깊이 정보에 대한 히스토그램을 생성한다. 히스토그램은, 획득한 영상의 깊이 정보에 대한 픽셀의 분포도로 나타낼 수 있다. 예컨대, 깊이 정보 10을 가지는 픽셀수20, 깊이 정보 15를 가지는 픽셀수가 30,... 등과 같이 깊이 정보에 대한 픽셀 수로 표현되는 히스토그램으로 나타낼 수 있다. 다른 예로, 깊이 정보 10을 가지는 픽셀의 비율이 5%, 깊이 정보 15를 가지는 픽셀의 비율이 10% 와 같이 깊이 정보에 대한 픽셀 비율로 표현되는 히스토그램일 수 있다.,.
단계(S13)에서, 영상에서 검출하고자 하는 검출 대상의 영역을 검출하기 위하여 깊이 정보의 임계값을 설정한다. 검출 대상의 영역은 예컨대, 손 영역일 수 있다. 임계값은, 영상의 깊이 정보값들이 예컨대, 10 내지 200의 범위에 포함되는 경우 최대값인 200의 0.9 배 범위인 예컨대, 180으로 설정될 수 있다. 즉, 임계값은 획득한 영상의 깊이 정보의 최대값을 기초로 설정될 수 있다.
다른 예로, 임계값은 영상의 깊이 정보의 분포 범위 중 소정 범위를 경계짓는 경계값으로서 규정될 수 있다. 예컨대, 영상의 깊이 정보값들이 예컨대, 10 내지 200의 범위에 포함되는 경우 깊이 정보의 최대값으로부터 상위 10%의 픽셀수가 분포하는 경계값이 175인 경우 이러한 경계값을 임계값으로서 규정될 수 있다.
단계(S14)에서, 설정된 깊이 정보의 임계값을 이용하여 검출 대상의 영역을 추출한다. 검출 대상의 추출에 있어서, 먼저, 설정된 임계값을 기준으로 영상을 분리할 수 있다. 예컨대, 설정된 임계값이 180인 경우에는 임계값 이상의 깊이 정보를 가지는 픽셀 영역만을 분리할 수 있다. 다음에, 분리된 영상에 대해 모폴로지 변환(morphological transformation)과 같은 처리를 하여 잡음을 제거할 수 있다. 여기서, 분리되어 잡음이 제거된 영역은 후보 영역으로서 적어도 하나일 수 있다.
적어도 하나의 후보 영역은 모두 손 영역이 될 가능성이 있는 영역으로서 이들중 최종으로 손 영역으로 판단될 가능성이 높은 영역을 검출할 필요가 있다. 이를 위해 적어도 하나의 후보 영역에 대하여 라벨링(Labeling)을 수행할 수 있다. 라벨링 처리에 있어서, 적어도 하나의 후보 영역 각각은 라벨(label)로 규정될 수 있고, 각 라벨 중 크기가 가장 큰 영역을 기준으로 무게 중심을 규정하고, 무게 중심으로부터 거리가 먼 후보 영역을 제거하거나, 무게 중심으로부터 가까운 후보 영역을 무게 중심이 포함되는 큰 영역에 영입시킬 수 있다. 이 때, 후보 영역을 제거하는데 가깝다, 멀다와 같은 거리의 장단(長短)은 기 설정된 기준값에 의해 구별될 수 있고, 이 기준값은 이미 설정되거나 실험예에 따라 변경되어 설정될 수도 있다.
다음에, 라벨링된 상기 적어도 하나의 후보 영역으로부터 최종 후보 영역을 검출한다. 라벨링 처리 후 제거되고 남은 영역에 대해서 소정 노이즈 처리를 한 후 손 영역으로 판단될 가능성이 높은 최종 후보 영역을 검출한다
단계(S15)에서, 최종 후보 영역이 목표물에 대응하는 지를 검증한다. 즉, 임계값을 이용한 영역의 분리, 노이즈 및 라벨링 처리후 추출된 최종 후보 영역이 손 영역 인지를 검증하기 위한 처리이다.
검증 처리에 있어서, 기 설정된 영역 크기를 최종 후보 영역의 크기와 비교함으로써, 상기 추출된 검출 대상 영역의 일부가 목표물에 대응하는 지를 판단할 수 있다. 예컨대, 목표물이 손인 경우, 사람의 손바닥은 소정 크기를 가진다고 할 수 있고, 이 크기를 미리 설정함으로써 검출된 최종 후보 영역이 손이라고 최종적으로 판단될 수 있다. 최종 후보 영역이 기 설정된 영역 크기 이하인 경우에, 예컨대, 너무 적은 영역인 경우에는 임계값을 좀더 완화해서 설정할 필요가 있기 때문이다.
또한, 최종 후보 영역의 검증에 있어서, 기 설정된 목표물의 비율, 예컨대, 1:1.5 과 최종 후보 영역이 비교될 수 있다. 목표물이 손인 경우, 사람의 손바다락은 가로:세로 가 일정한 비율의 범위를 가질 수 있기 때문이다 .최종 후보 영역이 납작하거나 세로가 가로보다 조금 긴 비율을 가지지 아니한 경우 목표물로 판단하지 않고 임계값을 재설정할 수 있다.
여기서 추출된 검출 대상 영역의 일부라 하는 것은 단계(S14)에서 추출된 검출 대상 영역이 노이즈 및 라벨링 처리후 단계(S15)에서 달라질 수 있기 때문이다.
단계(S16)에서, 최종 후보 영역이 목표물에 대응하는 것으로 판단된 경우에는, 최종 후보 영역을 검출 대상 영역으로서 저장한다.
한편, 단계(S15)에서 검출 대상 영역이 목표물에 대응하지 아니한 것으로 판단된 경우에는, 단계(S17)에서 임계값을 조절한다. 예컨대, 첫번째 임계값을 깊이 정보의 최대값의 0.9배로 설정한 경우에는, 두번째 임계값을 깊이 정보의 최대값의 0.8으로서 조절할 수 있다. 이 경우, 단계(S15)에서 검출되는 검출 대상 영역은 이전보다 더 커질 수 있다.
한편, 단계(S17)에서 수행되는 임계값의 조절은 무한 루프를 돌지 않기 위해 소정 횟수만 행해질 수 있다.
도 2는 본 발명의 일 실시예에 따른 영상의 깊이 정보에 대한 히스토그램의 일례를 나타낸다. 도 2를 참조하면, 영상의 깊이 정보가 최소값(Min) 으로부터 최대값(Max)의 범위를 가지고 해당 깊이 정보에 대응하는 픽셀수로서 히스토그램이 표현되고 있다. 영상의 깊이 정보는 그 크기가 커질수록 피사체가 가까움을 나타내고 크기가 멀수록 피사체가 멀다는 것을 나타낼 수 있다. 도 2에서 나타내는 바와 같이, 히스토그램은, 획득한 영상의 깊이 정보에 대한 픽셀의 분포도로 나타낼 수 있다. 예컨대, 깊이 정보 10을 가지는 픽셀수가 20, 깊이 정보 15를 가지는 픽셀수가 30,... 등과 같이 깊이 정보에 대한 픽셀 수로 표현되는 히스토그램으로 나타낼 수 있다. 다른 예로, 깊이 정보 10을 가지는 픽셀의 비율이 5%, 깊이 정보 15를 가지는 픽셀의 비율이 10% 와 같이 깊이 정보에 대한 픽셀 비율로 표현되는 히스토그램일 수 있다.
또한, 본 발명에서는, 생성된 히스토그램을 이용하여, 영상에서 검출하고자 하는 검출 대상의 영역을 검출하기 위하여 깊이 정보의 임계값을 도 2에서와 같이, 1st, 2nd와 같이 설정할 수 있다.
임계값은 상술한 바와 같이, 획득한 영상의 깊이 정보의 최대값을 기초로 설정되거나, 또한, 영상의 깊이 정보의 분포 범위 중 소정 범위를 경계짓는 경계값으로서 규정될 수 있다.
여기서, 1st으로 설정된 제1 임계값을 이용하여 검출 대상 영역 a 영역을 검출하고, 검출된 영역이 목표물에 대응하지 아니한 것으로 판단된 경우에는 1st보다 넓은 범위로 2nd 로 설정된 값을 제2 임계값으로 조절하여 검출 대상 영역을 (a + b)영역으로 확장할 수 있다.
도 3은 본 발명의 일 실시예에 따른 영상 처리 방법에 있어서, 검출 대상의 영역을 추출하기 위한 영상 처리의 일례를 나타낸다.
도 3의 (a)는 깊이 정보로 표현되는 영상을 나타낸다. 밝은 영역일수록 가까운 피세체 영역을 나타내고 어두운 영역일 수록 멀리 있는 피사체를 나타낼 수 있다. 도 3의 (a)를 참조하면, R1 영역이 목표물인 손 영역일 수 있고, 본 발명에서는 R1 영역을 검출 대상 영역으로서 검출, 저장할 필요가 있다.
도 3의 (b)에서는 설정된 임계값을 이용하여 영역을 분리하고, 검출 대상 영역을 검출하는 과정에서, 적어도 하나의 후보 영역(R1, R2, R3)dl 검출되는 일례 나타낸다. 구체적으로, 임계값을 이용한 영역의 분리, 노이즈 제거가 수행된 이후에 남겨진 영역은 적어도 하나의 후보 영역으로 검출되고, 다른 영역은 깊이 정보가 '0'으로 처리되어 도 3의 (b)에서 나타내는 바와 같이 일률적인 어두운 부분으로 처리될 수 있다.
도 3의 (c)는 적어도 하나의 후보 영역에 대하여 라벨링 처리를 수행한 후 최종 후보 영역(R11, R21)이 검출되는 일례를 나타낸다. 최종 후보 영역(R11, R21)은 도 3의 (c)에서 나타내는 바와 같이 2개 이상일 수 있고 1개일 수 있다. 검출된 최종 후보 영역에 대해서는 목표물에 대응하는 지에 대해 영역 크기를 기준으로 검증하는 처리가 필요하다. 예컨대, 영역(R11) 및 영역(R21)이 소정 크기 이상을 만족하는 지를 판단하여 소정 크기 이상의 면적을 가지는 영역(R11)을 최종 후보 영역으로서 검출할 수 있다.
도 3의 (d)는 검출 대상 영역으로서 검증된 영역을 나타낸다. 즉, 임계값이 설정된 후, 영역의 분리, 노이즈 제거, 라벨링 수행 및 검증 처리를 거친 후 판단되는 검출 대상 영역이 검출되고 있다.
도 4는 본 발명의 일 실시예에 따른 영상 처리 방법에 있어서, 검출 대상의 영역을 추출하기 위한 영상 처리의 다른 예를 나타낸다. 도 4에서는 도 3과 상이하게 사람이 옆에서 손을 내미는 영상에 대해 처리하는 일례를 나타낸다. 도 4의 (a)는 깊이 정보로서 표현되는 영상을 나타내고 여기서 영역(R1)이 검출 대상 영역을 나타낸다. 도 4의 (b)는 검출 대상 영역(R1)만이 목표물로서 남겨지고 나머지 영역에 대하여 모두 일률적으로 처리한 영상을 나타낸다.
도 5는 본 발명의 일 실시예에 따른 영상 처리 방법을 위한 영상 처리의 일례를 순서에 따라 나타낸 도면이다.
도 5의 (a)에서 영상의 깊이 정보를 획득하고, 도 5의 (b)는 영상에 대하여 크라핑(Cropping) 처리를 함으로써 목표물이 존재하지 아니할 것으로 예상되는 주변 영역이 제거되고 있다. 이후, 임계값을 이용하여 (c)에서 영상을 분리하고, (d)에서 노이즈 제거 및 라벨링 처리를 수행하여 (e)에서 검출 대상 영역을 추출한다. 검출 대상을 관심 영역(ROI, Region Of Interest)로 설정하여 인터페이스에 활용될 수 있다.
한편, 최초에 설정된 임계값1로 영상을 분리하여도 (f)에서 나타내는 바와 같이 목표물이라고 검증할 수 없는 영상으로 분리될 수 있다. 예컨대, 임계값1을 이용하여 분리된 영상의 크기가 너무 작거나, 손 영역으로 볼 수 없는 비율 또는 형상인 경우에는, 데이터 검증 단계에서 검출 대상으로 지정되지 않을 수 있다. 이 경우에는 상술한 바와 같이 임계값을 다시 임계값2로 조절하고, 조절된 임계값을 이용하여 (c)이후의 처리를 수행함으로써 목적하는 검출 대상 영역을 추출, 저장하도록 할 수 있다.
도 6은 본 발명의 일 실시예에 따른 영상 처리 장치의 블록도를 나타낸다. 도 6을 참조하면, 본 발명에 따른 영상 처리 장치(10)는 영상의 깊이 정보를 획득하는 영상 획득부(11), 영상의 깊이 정보에 대한 히스토그램을 생성하는 히스토그램 생성부(12), 영상에서 검출하고자 하는 검출 대상의 영역을 검출하기 위하여 깊이 정보의 임계값을 설정하는 임계값 설정부(13),상기 설정된 깊이 정보의 임계값을 이용하여 검출 대상의 영역을 추출하는 이미지 처리부(14), 상기 추출된 검출 대상의 영역이 목표물에 대응하는 지를 검증하는 데이터 검증부(15) 및 상기 추출된 검출 대상의 영역을 저장하는 저장부(16)를 포함할 수 있다.
영상 획득부(11)는 스테레오 카메라로부터 촬상된 3D 영상으로부터 깊이 정보를 획득할 수 있다. 영상 획득부(11)는 스테레오 카메라(미도시) 및/또는 입력 영상 및 깊이 정보를 저장하는 메모리(미도시)를 포함할 수 있다.
이미지 처리부(14)는 설정된 임계값을 기준으로 영상을 분리하고, 상기 분리된 영상에 대해 잡음을 제거하여 적어도 하나의 후보 영역을 검출하고, 상기 적어도 하나의 후보 영역에 대하여 라벨링을 수행하며, 라벨링된 상기 적어도 하나의 후보 영역으로부터 최종 후보 영역을 검출하는 일련의 동작을 수행할 수 있다.
데이터 검증부(15)는, 추출된 검출 대상의 영역이 목표물에 대응하지 아니한 것으로 판단되는 경우 임계값을 조절할 수 있다. 이 경우, 이미지 처리부(14)는 데이터 검증부(15)에서 조절된 임계값을 이용하여 상기 검출 대상 영역을 다시 추출하고, 추출된 검출 대상 영역에 대해서 데이터 검증부(15)는 추출된 검출 대상의 영역이 목표물에 대응하는 지를 다시 검증하며, 검증되는 경우, 저장부(16)는 추출된 검출 대상의 영역을 저장할 수 있다.
검출 대상이 저장되면 이 정보를 이용하여 UI 컨트롤러(17)상에서 사용자 인터페이스를 위한 검출 대상 영역의 추적 및 이를 인터페이스 방법을 제공할 수 있다.
한편, 도 6에서 예시하는 것과 달리, 히스토그램 생성부(12), 임계값 설정부(13), 이미지 처리부(14), 데이터 검증부(15) 및 저장부(16)는 본 발명의 일 실시예에 따른 영상 처리 장치를 구성하고, 영상 획득부(11) 및 UI 컨트롤러(17)는 독립의 디바이스로 구성될 수 있다.
이상, 본 발명의 일 실시예에 따른 영상 처리 방법 등에 대해 설명하였다. 본 발명의 영상 처리 방법은, 저장된 검출 대상 영역의 움직임을 추종하고, 해당 움직임 정보를 입력으로 하는 사용자 인터페이스를 위한 방법에 적용될 수 있고, 컴퓨터에 의해 판독가능한 기록 매체에 전자적 기록 코드로 저장되어 제공될 수 있다.
또한, 본 발명에 따른 영상 처리 장치는 컴퓨터, 네트워크 TV, 게임 플레이어, 스마트 TV, 노트북 등과 같이 사용자 인터페이스 장치로 구현되거나 이에 탑재되어 제공될 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (17)

  1. 영상의 깊이 정보를 획득하는 단계;
    영상의 깊이 정보에 대한 히스토그램을 생성하는 단계;
    영상에서 검출하고자 하는 검출 대상의 영역을 검출하기 위해, 상기 생성된 히스토그램을 이용하여 깊이 정보의 임계값을 설정하는 단계;
    상기 설정된 깊이 정보의 임계값을 이용하여 검출 대상의 영역을 추출하는 단계;
    상기 추출된 검출 대상의 영역이 목표물에 대응하는 지를 검증하는 단계;
    상기 추출된 검출 대상의 영역이 목표물에 대응하면, 상기 추출된 검출 대상의 영역을 저장하는 단계; 및
    상기 추출된 검출 대상의 영역이 목표물에 대응하지 않으면, 상기 설정된 임계 값을 조절하는 단계를 포함하는 목표물을 검출하기 위한 영상 처리 방법.
  2. 삭제
  3. 제1항에 있어서,
    상기 임계값이 조절되면, 상기 조절된 임계값을 이용하여 상기 추출하는 단계, 상기 검증하는 단계 및 상기 저장하는 단계를 재수행하는 것을 포함하는 목표물을 검출하기 위한 영상 처리 방법.
  4. 제1항에 있어서,
    상기 히스토그램은 상기 획득한 영상의 깊이 정보에 대한 픽셀의 분포도를 포함하는 목표물을 검출하기 위한 영상 처리 방법.
  5. 제1항에 있어서,
    상기 임계값은 상기 영상의 깊이 정보의 분포 범위 중 소정 범위를 경계짓는 경계값을 포함하는 목표물을 검출하기 위한 영상 처리 방법.
  6. 제1항에 있어서,
    상기 임계값은 상기 획득한 영상의 깊이 정보의 최대값을 기초로 설정되는 목표물을 검출하기 위한 영상 처리 방법.
  7. 제1항에 있어서,
    상기 검출 대상의 영역을 추출하는 단계는,
    상기 설정된 임계값을 기준으로 영상을 분리하는 단계;
    상기 분리된 영상에 대해 잡음을 제거하여 적어도 하나의 후보 영역을 검출하는 단계;
    상기 적어도 하나의 후보 영역에 대하여 라벨링을 수행하는 단계; 및
    라벨링된 상기 적어도 하나의 후보 영역으로부터 최종 후보 영역을 검출하는 단계를 포함하는 목표물을 검출하기 위한 영상 처리 방법.
  8. 제1항에 있어서,
    상기 검증하는 단계는 기 설정된 영역 크기를 기반으로 상기 추출된 검출 대상 영역의 일부가 목표물에 대응하는 지를 판단하는 것을 포함하는 목표물을 검출하기 위한 영상 처리 방법.
  9. 영상의 깊이 정보를 획득하는 영상 획득부;
    영상의 깊이 정보에 대한 히스토그램을 생성하는 히스토그램 생성부;
    영상에서 검출하고자 하는 검출 대상의 영역을 검출하기 위해, 상기 생성된 히스토그램을 이용하여 깊이 정보의 임계값을 설정하는 임계값 설정부;
    상기 설정된 깊이 정보의 임계값을 이용하여 검출 대상의 영역을 추출하는 이미지 처리부;
    상기 추출된 검출 대상의 영역이 목표물에 대응하는 지를 검증하는 데이터 검증부; 및
    상기 추출된 검출 대상의 영역이 목표물에 대응되면, 상기 추출된 검출 대상의 영역을 저장하는 저장부를 포함하며,
    상기 임계값 설정부는,
    상기 추출된 검출 대상의 영역이 목표물에 대응하지 않으면, 상기 설정된 임계값을 조절하는 영상으로부터 목표물을 검출하기 위한 영상 처리 장치.
  10. 제9항에 있어서,
    상기 이미지 처리부는
    상기 임계값이 조절되면, 상기 조절된 임계값을 이용하여 상기 검출 대상의 영역을 다시 추출하고, 상기 데이터 검증부는 상기 다시 추출된 검출 대상의 영역이 목표물에 대응하는 지를 다시 검증하며, 상기 저장부는 다시 검증된 검출 대상의 영역이 목표물에 대응하면, 상기 다시 추출된 검출 대상의 영역을 저장하는 목표물을 검출하기 위한 영상 처리 장치.
  11. 제9항에 있어서,
    상기 히스토그램은 상기 획득한 영상의 깊이 정보에 대한 픽셀의 분포도를 포함하는 목표물을 검출하기 위한 영상 처리 장치.
  12. 제9항에 있어서,
    상기 임계값은 상기 영상의 깊이 정보의 분포 범위 중 소정 범위를 경계짓는 경계값을 포함하는 목표물을 검출하기 위한 영상 처리 장치.
  13. 제9항에 있어서,
    상기 임계값은 상기 획득한 영상의 깊이 정보의 최대값을 기초로 설정되는 목표물을 검출하기 위한 영상 처리 장치.
  14. 제9항에 있어서,
    상기 이미지 처리부는, 상기 설정된 임계값을 기준으로 영상을 분리하고, 상기 분리된 영상에 대해 잡음을 제거하여 적어도 하나의 후보 영역을 검출하고, 상기 적어도 하나의 후보 영역에 대하여 라벨링을 수행하며, 라벨링된 상기 적어도 하나의 후보 영역으로부터 최종 후보 영역을 검출하여, 상기 검출 대상의 영역을 추출하는 목표물을 검출하기 위한 영상 처리 장치.
  15. 제9항에 있어서,
    상기 데이터 검증부는, 기 설정된 영역 크기를 기반으로 상기 추출된 검출 대상 영역의 일부가 목표물에 대응하는 지를 판단하는 목표물을 검출하기 위한 영상 처리 장치.
  16. 제1항, 제3항 내지 제8항 중 어느 한 항의 영상 처리 방법을 이용하여,
    상기 저장된 검출 대상 영역의 움직임을 추종하고, 해당 움직임 정보를 입력으로 하는 사용자 인터페이스를 위한 방법.
  17. 제9항 내지 제15항 중 어느 한 항의 영상 처리 장치를 이용하여,
    상기 저장된 검출 대상 영역의 움직임을 추종하고, 해당 움직임 정보를 입력으로 하는 사용자 인터페이스 장치.
KR1020110107468A 2011-10-20 2011-10-20 목표물을 검출하기 위한 영상 처리 방법, 장치, 사용자 인터페이스를 위한 방법 및 장치 KR101305694B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020110107468A KR101305694B1 (ko) 2011-10-20 2011-10-20 목표물을 검출하기 위한 영상 처리 방법, 장치, 사용자 인터페이스를 위한 방법 및 장치
EP12186776.6A EP2584495A3 (en) 2011-10-20 2012-10-01 Image processing method and apparatus for detecting target
JP2012227918A JP6144474B2 (ja) 2011-10-20 2012-10-15 目標物を検出するための映像処理方法及び装置
US13/655,948 US8934673B2 (en) 2011-10-20 2012-10-19 Image processing method and apparatus for detecting target

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110107468A KR101305694B1 (ko) 2011-10-20 2011-10-20 목표물을 검출하기 위한 영상 처리 방법, 장치, 사용자 인터페이스를 위한 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20130043394A KR20130043394A (ko) 2013-04-30
KR101305694B1 true KR101305694B1 (ko) 2013-09-09

Family

ID=47325799

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110107468A KR101305694B1 (ko) 2011-10-20 2011-10-20 목표물을 검출하기 위한 영상 처리 방법, 장치, 사용자 인터페이스를 위한 방법 및 장치

Country Status (4)

Country Link
US (1) US8934673B2 (ko)
EP (1) EP2584495A3 (ko)
JP (1) JP6144474B2 (ko)
KR (1) KR101305694B1 (ko)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201415291A (zh) * 2012-10-08 2014-04-16 Pixart Imaging Inc 基於物件追蹤的手勢辨識方法及系統
KR101476799B1 (ko) 2013-07-10 2014-12-26 숭실대학교산학협력단 깊이 정보를 이용한 객체 검출 시스템 및 방법
KR101913319B1 (ko) 2013-07-16 2019-01-14 삼성전자주식회사 깊이 영상에서 인터페이싱 영역을 검출하는 방법 및 장치
CN104346805B (zh) * 2013-08-08 2018-01-19 联想(北京)有限公司 一种位置标定方法及电子设备
CN104639926B (zh) * 2013-11-11 2018-05-11 聚晶半导体股份有限公司 根据深度信息处理图像的方法及装置
KR101527876B1 (ko) * 2013-11-21 2015-06-11 한국해양과학기술원 소나 영상의 실시간 영상처리를 이용한 수중물체의 인식 및 추적방법
JP6194777B2 (ja) * 2013-11-29 2017-09-13 富士通株式会社 動作判定方法、動作判定装置および動作判定プログラム
CN104363378B (zh) * 2014-11-28 2018-01-16 广东欧珀移动通信有限公司 相机对焦方法、装置及终端
CN104506768A (zh) * 2014-11-28 2015-04-08 广东欧珀移动通信有限公司 图像选择方法、装置及终端
CN104333748A (zh) * 2014-11-28 2015-02-04 广东欧珀移动通信有限公司 获取图像主体对象的方法、装置及终端
CN104333710A (zh) * 2014-11-28 2015-02-04 广东欧珀移动通信有限公司 相机曝光方法、装置及设备
CN106612393B (zh) * 2015-10-22 2019-10-15 努比亚技术有限公司 一种图像处理方法和装置、以及移动终端
KR102535617B1 (ko) 2016-01-04 2023-05-24 한국전자통신연구원 깊이 영상에서의 객체 검출 시스템 및 방법
CN106570889A (zh) * 2016-11-10 2017-04-19 河海大学 一种检测红外视频中弱小目标的方法
CN106791809B (zh) * 2016-12-14 2018-11-30 维沃移动通信有限公司 一种测光方法及移动终端
CN109460077B (zh) * 2018-11-19 2022-05-17 深圳博为教育科技有限公司 一种自动跟踪方法、自动跟踪设备及自动跟踪***
CN111383238B (zh) * 2018-12-28 2023-07-14 Tcl科技集团股份有限公司 目标检测方法、目标检测装置及智能终端
CN110456380B (zh) * 2019-07-31 2021-12-28 炬佑智能科技(苏州)有限公司 飞行时间传感相机及其深度检测方法
US11688199B2 (en) 2019-11-13 2023-06-27 Samsung Electronics Co., Ltd. Method and apparatus for face detection using adaptive threshold
KR102430120B1 (ko) * 2019-12-24 2022-08-05 동의대학교 산학협력단 스테레오 기반의 roi 검출 알고리즘의 성능을 향상시키는 방법 및 장치
CN112115913B (zh) * 2020-09-28 2023-08-25 杭州海康威视数字技术股份有限公司 图像处理方法、装置及设备、存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100808543B1 (ko) * 2006-09-15 2008-02-29 한국과학기술연구원 스테레오 비전 센서를 이용한 사람 동작 정보의 획득 장치및 방법
KR20110064197A (ko) * 2009-12-07 2011-06-15 삼성전자주식회사 물체 인식 시스템 및 그 물체 인식 방법

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003316510A (ja) * 2002-04-23 2003-11-07 Nippon Hoso Kyokai <Nhk> 表示画面上に指示されたポイントを表示する表示装置、及び表示プログラム。
KR100568237B1 (ko) * 2004-06-10 2006-04-07 삼성전자주식회사 비디오 영상으로부터 이동 물체를 추출하는 장치 및 방법
KR100724932B1 (ko) * 2005-08-02 2007-06-04 삼성전자주식회사 얼굴 검출 장치 및 방법
JP4148281B2 (ja) * 2006-06-19 2008-09-10 ソニー株式会社 モーションキャプチャ装置及びモーションキャプチャ方法、並びにモーションキャプチャプログラム
JP5464799B2 (ja) * 2007-11-16 2014-04-09 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
US8325978B2 (en) * 2008-10-30 2012-12-04 Nokia Corporation Method, apparatus and computer program product for providing adaptive gesture analysis
US8267781B2 (en) * 2009-01-30 2012-09-18 Microsoft Corporation Visual target tracking
US8787663B2 (en) * 2010-03-01 2014-07-22 Primesense Ltd. Tracking body parts by combined color image and depth processing
US20110219340A1 (en) * 2010-03-03 2011-09-08 Pathangay Vinod System and method for point, select and transfer hand gesture based user interface
US8768006B2 (en) * 2010-10-19 2014-07-01 Hewlett-Packard Development Company, L.P. Hand gesture recognition

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100808543B1 (ko) * 2006-09-15 2008-02-29 한국과학기술연구원 스테레오 비전 센서를 이용한 사람 동작 정보의 획득 장치및 방법
KR20110064197A (ko) * 2009-12-07 2011-06-15 삼성전자주식회사 물체 인식 시스템 및 그 물체 인식 방법

Also Published As

Publication number Publication date
JP2013089247A (ja) 2013-05-13
US20130101169A1 (en) 2013-04-25
EP2584495A3 (en) 2014-09-10
JP6144474B2 (ja) 2017-06-07
EP2584495A2 (en) 2013-04-24
KR20130043394A (ko) 2013-04-30
US8934673B2 (en) 2015-01-13

Similar Documents

Publication Publication Date Title
KR101305694B1 (ko) 목표물을 검출하기 위한 영상 처리 방법, 장치, 사용자 인터페이스를 위한 방법 및 장치
US9916012B2 (en) Image processing apparatus, image processing method, and program
US9600717B1 (en) Real-time single-view action recognition based on key pose analysis for sports videos
JP5777582B2 (ja) 画像中の物体の検出及び追跡
KR101514169B1 (ko) 정보 처리 장치, 정보 처리 방법 및 기록 매체
US9557836B2 (en) Depth image compression
KR101364571B1 (ko) 영상 기반의 손 검출 장치 및 그 방법
US20130279756A1 (en) Computer vision based hand identification
WO2016040207A1 (en) Video processing for motor task analysis
WO2016085667A1 (en) Fast object tracking framework for sports video recognition
KR100826878B1 (ko) 손 모양을 인식하는 방법 및 이를 위한 장치
KR101551576B1 (ko) 로봇 청소기, 제스쳐 인식 장치 및 방법
WO2010076622A1 (en) Method, apparatus and computer program product for providing hand segmentation for gesture analysis
KR102415504B1 (ko) 사용자 인증을 위한 등록 데이터베이스의 갱신 방법 및 장치
KR101745651B1 (ko) 손 제스처 인식 시스템 및 방법
US9501719B1 (en) System and method for verification of three-dimensional (3D) object
KR101350387B1 (ko) 깊이 정보를 이용한 손 검출 방법 및 그 장치
CN105229700B (zh) 用于从多个连续拍摄图像提取峰图像的设备和方法
CN106406507B (zh) 图像处理方法以及电子设备
CN108255298B (zh) 一种投影交互***中的红外手势识别方法及设备
JP2019135618A5 (ko)
KR101483741B1 (ko) 슬라이스 패턴 영상을 이용한 터치 인식 방법 및 그 시스템
Dehankar et al. Detecting centroid for hand gesture recognition using morphological computations
Bravenec et al. Multiplatform system for hand gesture recognition
JP6361332B2 (ja) ジェスチャ認識装置およびジェスチャ認識プログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160805

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170804

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180809

Year of fee payment: 6