KR20200095873A - 인물 영역 추출 방법, 이를 이용하는 영상 처리 장치 및 인물 영역 추출 시스템 - Google Patents

인물 영역 추출 방법, 이를 이용하는 영상 처리 장치 및 인물 영역 추출 시스템 Download PDF

Info

Publication number
KR20200095873A
KR20200095873A KR1020190013781A KR20190013781A KR20200095873A KR 20200095873 A KR20200095873 A KR 20200095873A KR 1020190013781 A KR1020190013781 A KR 1020190013781A KR 20190013781 A KR20190013781 A KR 20190013781A KR 20200095873 A KR20200095873 A KR 20200095873A
Authority
KR
South Korea
Prior art keywords
image
person region
outline
search range
extracting
Prior art date
Application number
KR1020190013781A
Other languages
English (en)
Inventor
채원석
김현진
박수명
오아름
최하림
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020190013781A priority Critical patent/KR20200095873A/ko
Priority to US16/656,829 priority patent/US10991103B2/en
Publication of KR20200095873A publication Critical patent/KR20200095873A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G06T5/007—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/155—Segmentation; Edge detection involving morphological operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/142—Image acquisition using hand-held instruments; Constructional details of the instruments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N5/225—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20152—Watershed segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

실시간으로 입력되는 원 영상 데이터로부터 얼굴을 검출하는 단계; 검출된 얼굴을 기준으로 탐색범위를 설정하는 단계; 상기 탐색범위 내 영상 데이터에 대해 전처리를 수행하여 인물 영역의 외곽선을 추출하는 단계; 상기 추출한 외곽선을 기반으로 상기 탐색범위 내 영상의 배경 및 전경에 대해 워터쉐드(watershed) 마커를 설정하는 단계; 상기 설정된 마커를 기준으로 워터쉐드 변환을 수행하는 단계; 및 상기 워터쉐드 변환의 결과를 이용해 원 영상으로부터 인물 영역을 분리하는 단계를 포함하는 인물 영역 추출 방법이 개시된다.

Description

인물 영역 추출 방법, 이를 이용하는 영상 처리 장치 및 인물 영역 추출 시스템{APPARATUS AND METHOD FOR EXTRACTING REGIOIN OF PERSION IN IMAGE AND SYSTEM USING THE METHOD}
본 발명은 인물 영역 추출 방법, 이를 이용하는 영상 처리 장치 및 인물 영역 추출 시스템에 관한 것으로, 더욱 상세하게는 워터쉐드 기반 인물 영역 추출 방법, 이를 이용하는 영상 처리 장치 및 인물 영역 추출 시스템에 관한 것이다.
화상회의 및 영상통화 시장에서는 사용자의 배경을 없애거나 다른 회의 자료 및 영상 자료를 동시에 전송하고자 하는 수요가 늘고 있다. 특정 이미지에서 배경을 없애고 전송하는 기능은 사용자가 위치하는 공간을 노출시키지 않을 것이 요구되는 연구시설 또는 국방시설에 종사하는 수요자들에게는 그 필요성이 더욱 증가한다.
이렇듯 주어진 이미지에서 배경을 삭제하고 대상이 되는 객체만을 추출하기 위해서는, 세그멘테이션, 트래킹, 깊이 정보 추출 등의 기술적 요소가 필요하다. 그런데, 사용자의 모바일 기기를 이용해 간편하게 실시간으로 화상회의를 진행하고자 하는 경우, 뎁스 카메라가 기본적으로 모바일 기기의 후면부에만 장착된다는 문제로 인해 기술적 난관에 부딪힐 수 있다.
즉, 깊이 정보를 쉽게 획득할 수 없는 전면부의 일반 카메라로 입력되는 비디오 영상을 컴퓨팅 성능이 상대적으로 열악한 모바일 장치에서 실시간으로 처리하여 배경을 제거하고 인물 영역만을 추출하는 것은 매우 도전적인 문제이다.
한편, 최근에 발전된 딥러닝 기술을 이용해 이러한 문제를 해결하는 방안을 생각해 볼 수 있다. 실제로, 인공지능을 학습시키고 모바일 장치에서도 동작할 수 있도록 개량하여 비디오 세그먼테이션 분야에 활용하고 있다. 하지만, 이러한 해법에는 대규모의 사전 훈련이 필요하므로 이를 위해 학습시킬 데이터를 준비하는 과정에 투입되어야 하는 자원과 노력이 매우 크다. 또한, 인공지능의 내부 동작을 이해하기 어려운 점이 있어 결과의 개선을 위해 향후 고려해야 하는 문제를 해결하는 것이 쉽지 않다는 어려움이 발생한다.
상기와 같은 문제점을 해결하기 위한 본 발명의 목적은, 마커 기반 워터쉐드 변환 방식을 이용한 인물 영역 추출 방법을 제공하는 데 있다.
상기와 같은 문제점을 해결하기 위한 본 발명의 다른 목적은, 상기 인물 영역 추출 방법을 이용하는 영상 처리 장치를 제공하는 데 있다.
상기와 같은 문제점을 해결하기 위한 본 발명의 또 다른 목적은 상기 인물 영역 추출 방법을 이용하는 인물 영역 추출 시스템을 제공하는 데 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 인물 영역 추출 방법은, 실시간으로 입력되는 원 영상 데이터로부터 얼굴을 검출하는 단계; 검출된 얼굴을 기준으로 탐색범위를 설정하는 단계; 상기 탐색범위 내 영상 데이터에 대해 전처리를 수행하여 인물 영역의 외곽선을 추출하는 단계; 상기 추출한 외곽선을 기반으로 상기 탐색범위 내 영상의 배경 및 전경에 대해 워터쉐드(watershed) 마커를 설정하는 단계; 상기 설정된 마커를 기준으로 워터쉐드 변환을 수행하는 단계; 및 상기 워터쉐드 변환의 결과를 이용해 원 영상으로부터 인물 영역을 분리하는 단계를 포함할 수 있다.
상기 워터쉐드 변환의 결과를 이용해 원 영상으로부터 인물 영역을 분리하는 단계는, 워터쉐드 변환의 결과 값을 마스크로 사용하여 상기 탐색범위 내 영상 데이터로부터 인물 영역을 분리 추출하는 단계를 포함할 수 있다.
상기 원 영상 데이터는 상기 영상 획득 장치로부터 입력되고, 상기 영상 획득 장치는 휴대 단말의 전면에 배치된 카메라일 수 있다.
상기 인물 영역 추출 방법은 분리된 인물 영역을 디스플레이하는 단계를 더 포함할 수 있다.
상기 탐색범위 내 영상 데이터에 대해 전처리를 수행하여 인물 영역의 외곽선을 추출하는 단계는, 상기 탐색범위 내 영상을 흑백 영상으로 변환하는 단계; 변환된 흑백 영상에 대해 이진화 변환을 수행하는 단계; 이진화 변환된 영상에 대해 거리변환 행렬을 계산하는 단계; 및 상기 거리변환 행렬을 이용해 인물 영역의 외곽선을 추출하는 단계를 포함할 수 있다.
상기 탐색범위 내 영상 데이터에 대해 전처리를 수행하여 인물 영역의 외곽선을 추출하는 단계는, 거리 변환 행렬의 계산 결과를 기초로 영상 팽창 필터를 적용하는 단계; 및 추출된 적어도 하나의 외곽선 중 기 설정된 크기 미만의 객체에 대한 외곽선을 제거하는 단계를 더 포함할 수 있다.
상기 다른 목적을 달성하기 위한 본 발명의 일 실시예에 따른 영상 처리 장치는 입력되는 영상으로부터 인물 영역을 추출하는 영상 처리 장치로서, 프로세서; 및 상기 프로세서를 통해 실행되는 적어도 하나의 명령을 저장하는 메모리를 포함하고, 상기 적어도 하나의 명령은, 실시간으로 입력되는 원 영상 데이터로부터 얼굴을 검출하도록 하는 명령; 검출된 얼굴을 기준으로 탐색범위를 설정하도록 하는 명령; 상기 탐색범위 내 영상 데이터에 대해 전처리를 수행하여 인물 영역의 외곽선을 추출하도록 하는 명령; 상기 추출한 외곽선을 기반으로 상기 탐색범위 내 영상의 배경 및 전경에 대해 워터쉐드(watershed) 마커를 설정하도록 하는 명령; 상기 설정된 마커를 기준으로 워터쉐드 변환을 수행하도록 하는 명령; 및 상기 워터쉐드 변환의 결과를 이용해 원 영상으로부터 인물 영역을 분리하도록 하는 명령을 포함할 수 있다.
상기 워터쉐드 변환의 결과를 이용해 원 영상으로부터 인물 영역을 분리하도록 하는 명령은, 워터쉐드 변환의 결과 값을 마스크로 사용하여 상기 탐색범위 내 영상 데이터로부터 인물 영역을 분리 추출하도록 하는 명령을 포함할 수 있다.
상기 원 영상 데이터는 상기 영상 획득 장치로부터 입력되고, 상기 영상 획득 장치는 휴대 단말의 전면에 배치된 카메라일 수 있다.
상기 적어도 하나의 명령은, 상기 분리된 인물 영역을 디스플레이하도록 하는 명령을 더 포함할 수 있다.
상기 탐색범위 내 영상 데이터에 대해 전처리를 수행하여 인물 영역의 외곽선을 추출하도록 하는 명령은, 상기 탐색범위 내 영상을 흑백 영상으로 변환하도록 하는 명령; 변환된 흑백 영상에 대해 이진화 변환을 수행하도록 하는 명령; 이진화 변환된 영상에 대해 거리변환 행렬을 계산하도록 하는 명령; 및 상기 거리변환 행렬을 이용해 인물 영역의 외곽선을 추출하도록 하는 명령을 포함할 수 있다.
상기 탐색범위 내 영상 데이터에 대해 전처리를 수행하여 인물 영역의 외곽선을 추출하도록 하는 명령은, 거리 변환 행렬의 계산 결과를 기초로 영상 팽창 필터를 적용하도록 하는 명령; 및 추출된 적어도 하나의 외곽선 중 기 설정된 크기 미만의 객체에 대한 외곽선을 제거하도록 하는 명령을 더 포함할 수 있다.
상기 또 다른 목적을 달성하기 위한 본 발명의 일 실시예에 따른 인물 영역 추출 시스템은, 대상 인물 및 배경을 포함하는 원 영상을 실시간으로 획득하는 영상획득 장치; 상기 영상획득 장치로부터 실시간으로 입력되는 원 영상 데이터로부터 얼굴을 검출하고 검출된 얼굴을 기준으로 탐색범위를 설정하며 상기 탐색범위 내 영상 데이터에 대해 전처리를 수행하여 인물 영역의 외곽선을 추출하여, 상기 추출한 외곽선을 기반으로 상기 탐색범위 내 영상의 배경 및 전경에 대해 워터쉐드(watershed) 마커를 설정하고 상기 설정된 마커를 기준으로 워터쉐드 변환을 수행하며, 상기 워터쉐드 변환의 결과를 이용해 원 영상으로부터 인물 영역을 분리하는 영상 처리 장치; 및 상기 영상 처리에 의해 분리된 인물 영역을 디스플레이하는 영상 출력 장치를 포함할 수 있다.
상기 영상 처리 장치는, 워터쉐드 변환의 결과 값을 마스크로 사용하여 상기 탐색범위 내 영상 데이터로부터 인물 영역을 분리 추출할 수 있다.
상기 영상 획득 장치는 휴대 단말의 전면에 배치된 카메라일 수 있다.
상기 영상 처리 장치는, 상기 탐색범위 내 영상을 흑백 영상으로 변환하여 변환된 흑백 영상에 대해 이진화 변환을 수행하고, 이진화 변환된 영상에 대해 계산한 상기 거리변환 행렬을 이용해 인물 영역의 외곽선을 추출하며, 거리 변환 행렬의 계산 결과를 기초로 영상 팽창 필터를 적용하여 추출된 적어도 하나의 외곽선 중 기 설정된 크기 미만의 객체에 대한 외곽선을 제거할 수 있다.
상기 영상 출력 장치는, 상기 분리된 인물 영역 및 상기 원 영상의 배경이 아닌 다른 배경 영역을 디스플레이할 수 있다.
상기와 같은 본 발명의 실시예들에 따르면 추가적인 하드웨어 없이 통상적인 휴대 단말의 전면 모노 카메라를 통해 입력되는 비디오 영상을 실시간으로 처리하여 전경 영역을 추출할 수 있다.
본 발명은 또한, 사용자가 단말을 손에 들고 움직이는 상태에서도 효과적으로 전경을 추출할 수 있다.
도 1은 본 발명의 일 실시예에 따른 인물 영역 추출 방법의 개념도이다.
도 2는 본 발명의 일 실시예에 따른 인물영역 추출 시스템의 블록 구성도이다.
도 3은 본 발명의 일 실시예에 따른 영상 처리 장치의 블록 구성도이다.
도 4는 본 발명의 일 실시예에 따른 인물영역 추출 방법의 동작 순서도이다.
도 5는 본 발명의 다른 실시예에 따른 영상 처리 장치의 블록 구성도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는 데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. "및/또는"이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
용어 '영상' 또는 '이미지'는 본 명세서에서 동일 또는 유사한 의미로 사용되었으며, 영상 또는 이미지는 스틸 이미지, 동영상을 포함하는 개념이다. 또한, 영상 또는 이미지는 전체 픽쳐(picture), 전체 프레임(frame), 또는 이들의 일부를 지칭하는 용어로 사용될 수 있다.
본 발명에서는 스마트 기기의 전면카메라로부터 획득되는 비디오 영상으로부터 배경을 제거하고 사용자의 인물 영역인 전경을 추출하는 방법 및 장치를 제공하고자 한다.
본 발명에서는, 카메라의 위치와 방향을 고정하고 피사체가 없는 상태에서 배경을 미리 분석한 후 이 정보를 향후에 이용하는 방식을 사용하지 않으며, 사용자가 단말을 손에 들고 움직일 수 있는 상태에서 전경을 추출할 수 있다.
또한, 본 발명은 여러 개의 카메라 또는 3차원 깊이 정보를 인식할 수 있는 센서 등 추가적인 하드웨어를 이용하지 않고 영상통화나 셀프모드 촬영을 위한 일반적인 전면 모노 카메라에서 획득되는 비디오 영상을 스마트 기기에서 실시간으로 처리하여 전경 영역을 추출할 수 있다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 인물 영역 추출 방법의 개념도이다.
도 1을 참조하면, 본 발명은 스마트 기기의 전면 카메라로부터 획득되는 대상 인물의 비디오(10)로부터 사용자의 어떠한 개입도 없이 영상의 배경을 자동으로 제거하고 인물 영역인 전경(11)만 추출하여 스마트 기기의 화면에 제공할 수 있다.
여기서, 인물 영역은, 예를 들어, 단순히 대상 인물의 얼굴만을 포함하는 것이 아니라, 인물의 다른 신체 영역도 포함하는 영역으로 얼굴, 모발, 상반신 등의 영역을 포함할 수 있다.
입력되는 영상으로부터 배경을 제거하기 위해서는 통상적으로 세그먼테이션 기술을 필요로 한다. 이미지 세그먼테이션 기술은 입력으로 주어진 디지털 이미지를 여러 개의 세그먼트, 즉, 픽셀들의 집합으로 분할하는 기술로 컴퓨터 비전 분야에서 오랫동안 지속적으로 연구되고 있다. 세그먼테이션을 사용하는 이유는 입력 이미지를 의미 있는 영역으로 쪼개어 향후 다양한 목적으로 활용하기 위해서이다. 특히, 인물 사진으로부터 전경에 해당하는 인물 영역과 배경 영역을 분리하는 기술은 사진의 배경을 다른 영상으로 바꾸는 작업에 널리 사용되고 있다.
비디오 즉, 일련의 연속된 이미지가 입력으로 들어올 때 인물 영역과 배경 영역을 분리하는 것은 주어지는 데이터의 양이 훨씬 많다는 점에서 처리 성능이 빠른 기술이 요구되므로 이전 프레임의 영상에서 구한 정보를 향후 다시 활용하는 방식이 통상적으로 사용되고 있다. 따라서, 이러한 비디오 세그멘테이션 분야에서는 보통 매 프레임마다 사람 얼굴의 위치와 같은 특정 정보를 연속해서 산출하여 활용하는 트래킹 기술이 함께 사용된다.
물론 이미 촬영해 놓은 배경정보를 활용하여 인물 영역을 배경과 분리하는 목적을 가진 기술도 있지만, 이를 위해서는 카메라를 고정시키고 피사체가 없는 배경만을 사전에 분석한 후 이를 활용하여 전경 추출을 수행해야 한다. 따라서, 이러한 방법은 우선 카메라를 움직일 수 없는 제약이 있고, 기능을 바로 사용하지 못하고 사전 작업이 필요하다는 점에서 활용이 불편하다. 촬영과 동시에 비디오 영상을 처리하여 인물 영역을 추출할 수 있다면 영상통화나 화상회의와 같은 모바일 서비스에서 배경을 다른 것으로 변경하는 기능을 제공할 수 있다.
최근에는 스마트 기기에 두개 이상의 카메라 또는 적외선을 이용해 피사체의 깊이 정보를 알아낼 수 있는 장치인 뎁스 카메라(depth camera) 등이 기본으로 장착되어 인물 사진에 깊이감을 더하거나 사물의 3차원 정보(3D model data)를 쉽게 얻을 수 있게 되었다. 이 기능은 입력 영상으로부터 배경을 제거하고 인물 영역만 추출하는 데 바로 이용될 수 있다. 따라서, 깊이 정보를 활용하기 위해 이러한 뎁스 카메라와 같은 주변 장치를 별도로 구매하여 사용중인 노트북에 추가하여 사용하는 방법도 있다. 그러나, 보통 전면부가 아닌 후면부에만 이러한 전용 하드웨어가 적용된 스마트 기기가 출시되므로 스마트폰 등 휴대용 단말을 사용하는 사용자를 위해 획득한 영상에서 배경을 제거하는 서비스에 뎁스 카메라를 활용하기는 어렵다. 또한, 추가적인 하드웨어는 기기의 가격을 높이게 되거나 추가 구매의 부담을 준다.
컴퓨팅 성능이 상대적으로 떨어지는 모바일 장치에서 깊이 정보를 쉽게 획득할 수 없는 전면부의 일반 카메라로 입력되는 비디오 영상을 실시간으로 처리하여 배경을 제거하고 인물 영역만을 추출하는 것은 기술적으로 쉬운 일이 아니다. 이를 위해, 대체적으로 입력으로 주어지는 영상의 해상도를 낮추거나 흑백 영상으로 우선 변환하여 1차적인 저해상도의 결과를 얻고 연속해서 주어지는 프레임에 대해 개선된 결과값을 제공하는 방식을 사용할 수 있다. 따라서, 기본 방법은 저해상도 전경 추출, 특징적인 요소 트래킹, 품질 개선 등의 세부 단계들을 포함하여 구성될 수 있다.
하지만, 실시간 성능을 얻기 위한 대부분의 종래 기술들의 결과는 추출된 전경 영역의 외곽선이 매끄럽지 못하거나 복잡한 배경을 대상으로 하면 잘못된 결과 값을 제공하는 등 품질이 좋지 않는 단점이 있다. 또한, 조명 변화에 취약하거나 카메라의 움직임으로 인해 그에 따라 이동하는 배경을 제대로 제거하지 못하는 기술적 문제점을 가지고 있다.
이에 반해 본 발명은, 카메라의 위치와 방향을 고정하고 피사체가 없는 상태에서 배경을 미리 분석한 후 이 정보를 향후에 이용하는 방식을 사용하지 않으며, 사용자가 단말을 손에 들고 움직이는 상태에서도 효과적으로 전경을 추출하여 제공할 수 있다.
또한, 본 발명은 여러 개의 카메라 또는 3차원 깊이 정보를 인식할 수 있는 센서 등 추가적인 하드웨어를 이용하지 않고 영상통화나 셀프모드 촬영을 위한 일반적인 전면 모노 카메라에서 획득되는 비디오 영상을 실시간으로 처리하여 전경 영역을 추출할 수 있다.
도 2는 본 발명의 일 실시예에 따른 인물영역 추출 시스템의 블록 구성도이다.
본 발명의 일 실시예에 따른 인물영역 추출 시스템은, 대상 인물 및 배경을 포함하는 원 영상을 실시간으로 획득하는 영상획득 장치(200); 상기 영상획득 장치로부터 실시간으로 입력되는 원 영상 데이터로부터 얼굴을 검출하고 검출된 얼굴을 기준으로 탐색범위를 설정하며 상기 탐색범위 내 영상 데이터에 대해 전처리를 수행하여 인물 영역의 외곽선을 추출하여, 상기 추출한 외곽선을 기반으로 상기 탐색범위 내 영상의 배경 및 전경에 대해 워터쉐드(watershed) 마커를 설정하고 상기 설정된 마커를 기준으로 워터쉐드 변환을 수행하며, 상기 워터쉐드 변환의 결과를 이용해 원 영상으로부터 인물 영역을 분리하는 영상 처리 장치(300); 및 상기 영상 처리에 의해 분리된 인물 영역을 디스플레이하는 영상출력 장치(400)를 포함할 수 있다.
구체적으로, 영상획득 장치(200)는 본 발명에 따른 인물영역 추출 방법에서 고려하는 대상 인물 및 배경을 포함하는 일반적인 영상을 획득한다. 영상획득 장치(200)는 영상 출력 장치가 출력하는 방향과 같은 방향을 촬영할 수 있는 구조인 것이 바람직하며, 예를 들어, 일반적인 디지털 카메라나 캠코더, 또는 휴대 단말에 탑재되는 일반 모노 카메라일 수 있다. 영상획득 장치(200)는 사용자와 배경을 촬영하여 획득한 영상을 영상 처리 장치로 제공한다.
영상처리 장치(300)는 영상획득 장치(200)로부터 원(raw) 영상(이미지 또는 비디오)을 수신하여 가공하고 배경을 삭제하여 사용자의 인물 영역에 대한 영상 정보를 추출한다. 영상처리 장치(300)는 사용자가 소지하는 휴대용 단말에 탑재되는 하드웨어 또는 소프트웨어 모듈로 구현될 수 있다.
영상처리 장치(300)가 추출한 인물 영역에 대한 영상 정보는 영상출력 장치(400)로 제공된다. 한편, 영상처리 장치(300)는 인물 영역에 대한 영상 정보뿐 아니라 영상획득 장치가 획득한 원래의 영상에 대해 기본적인 처리(예를 들어, 노이즈 제거 등)만 수행하고 기본 처리된 영상을 그대로 영상출력 장치(400)로 전달할 수도 있다.
영상출력 장치(400)는 영상처리 장치(300)로부터 수신한 인물영역에 대한 영상 또는 기본 처리된 영상을 출력할 수 있다. 영상출력 장치(400)는 영상 처리 장치(300)로부터 수신한 인물영역에 대한 영상 외에도 제3의 영상을 배경으로 추가하여 추출된 인물 영역에 대한 영상 정보와 동시에 출력할 수도 있다.
앞서 살펴본 도 1에서는 영상 획득 장치, 영상 처리 장치, 영상 출력 장치가 하나의 스마트 기기 상에 구현되는 경우를 나타내고 있다. 본 발명은 이와 같이 영상 획득 장치, 영상 처리 장치, 영상 출력 장치가 하나의 기기 상에 구현되는 경우 및 각각 별도의 기기 상에 구현되는 경우를 포함하며, 두 개의 장치가 하나의 하드웨어 기기 상에 구현되는 경우도 물론 포함할 수 있다.
예를 들어, 영상획득 장치 및 영상처리 장치는 하나의 하드웨어 상에 구현되고, 영상 출력 장치만 별도의 하드웨어로 구현될 수 있으며, 영상 처리 장치와 영상 출력 장치가 통신망을 통해 통신하여, 영상 처리 장치에 의해 처리된, 즉, 전경 추출된 이미지에 대한 데이터를 영상 출력 장치가 수신하여 디스플레이하도록 구성될 수 있다.
영상출력 장치가 영상 획득 장치 및 영상 처리 장치와 동일한 하드웨어 내에 탑재되지 않는 경우, 영상처리 장치에 의해 비트스트림으로 부호화된 영상은 실시간 또는 비실시간으로 인터넷, 근거리 무선 통신망, 무선랜망, 와이브로망, 이동통신망 등의 유무선 통신망 등을 통하거나 케이블, 범용 직렬 버스(USB: Universal Serial Bus) 등과 같은 다양한 통신 인터페이스를 통해 영상 출력 장치로 전송될 수 있다. 영상출력 장치는 부호화된 영상을 복호화하여 복원하고, 복원된 영상을 재생할 수 있다.
본 발명에 따른 영상획득 장치, 영상처리 장치, 또는 영상출력 장치는, 개인용 컴퓨터(PC: Personal Computer), 노트북 컴퓨터, 개인 휴대 단말기(PDA: Personal Digital Assistant), 휴대형 멀티미디어 플레이어(PMP: Portable Multimedia Player), 플레이스테이션 포터블(PSP: PlayStation Portable), 무선 통신 단말기(Wireless Communication Terminal), 스마트폰(Smart Phone)과 같은 사용자 단말에 탑재될 수 있으며, 이들 사용자 단말은 유무선 통신망과 통신을 수행하기 위한 통신 모뎀 등의 통신 장치, 각종 프로그램과 데이터를 저장하기 위한 메모리, 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비할 수 있다.
도 3은 본 발명의 일 실시예에 따른 영상 처리 장치의 블록 구성도이다.
본 발명의 일 실시예에 따른 영상 처리 장치는 얼굴추적 모듈(301), 영상 전처리 모듈(302), 인물영역 분리 모듈(303)을 포함할 수 있다.
얼굴추적 모듈(301)은 입력으로 주어진 영상 정보에서 사람의 얼굴이 존재하는지 여부를 판단하고, 해당 영상에 얼굴이 존재하는 경우 얼굴의 위치와 크기를 계산한다. 본 발명에서는 카메라로 획득되는 실시간 입력 영상 정보를 다루기 때문에 연속적으로 입력되는 일련의 이미지 시퀀스에서 사람 얼굴의 위치와 크기는 매 이미지 프레임마다 갱신된다.
본 발명에서는, 사람의 얼굴을 찾는 과정에서 사용자의 화면 터치 입력과 같은 어떠한 사용자 개입도 필요하지 않으며, 자동으로 얼굴의 위치를 찾는다. 또한, 본 발명에서는 카메라로 촬영한 영상에 대해서 사람의 얼굴의 위치와 크기를 검출하는 방법에 대해서는 특정 방법으로 국한하지 않는다.
얼굴추적 모듈(301)은 연속적으로 제공되는 영상 정보에서 매 프레임마다 사람 얼굴의 존재여부를 판별하고, 얼굴이 존재한다면 그 위치와 크기 정보를 영상 전처리 모듈(302)에 제공할 수 있다.
영상 전처리 모듈(302)은 인물영역 분리 모듈(303)의 속도와 품질 성능을 향상시키기 위한 전처리로서의 이미지 프로세싱 기능을 담당한다. 예를 들면, 영상 전처리 모듈(302)은 영상 획득 장치를 통해 획득된 고해상도의 이미지를 저해상도의 이미지로 변환하거나, 컬러 이미지로 획득된 영상을 흑백 이미지로 변환할 수 있다.
영상 전처리 모듈(302)을 통해 전처리된 영상을 수신한 인물영역 분리 모듈(303)은 워터쉐드 기반의 알고리즘을 활용해 전체 영상에서 인물 영역을 분리한다. 워터쉐드(watershed) 알고리즘은 영상 내에서 각 픽셀 값을 높이로 인식히고 픽셀들의 집합을 2차원 지형으로 간주하고 높낮이를 분석하는 방법으로, 물을 채웠을 때 하나의 윤곽선으로 둘러싸인 웅덩이를 분할된 영역으로 인식하는 알고리즘이다. 워터쉐드는 가장 낮은 높이에서부터 수면의 높이를 점차로 증가시켜 유역을 넓히는 방법으로, 서로 다른 유역이 접하게 될 경우 가상의 댐을 쌓아서 유역을 구분하거나 새 유역을 형성할 수 있다. 따라서, 워터쉐드 알고리즘은 영상의 각 픽셀 간 명암도의 유사성에 기반하여 잡음이 많은 환경에서 물체를 분리할 때 사용될 수 있다.
워터쉐드 변환의 입력 영상은 원본인 컬러 영상을 그대로 사용하지 않고, 아래 수학식 1에 정의된 바와 같이 그레디언트 크기값으로 계산된 행렬을 사용한다.
Figure pat00001
수학식 1, (x, y)는 해당 픽셀의 좌표 또는 위치 값이다.
워터쉐드 변환에서는 수학식 1에 따라 산출된 각 이미지 픽셀의 그레이디언트 크기값을 지형학적인 고도 정보로서 사용한다. 모든 고도들의 극소점들에서 물이 차오르기 시작하면서 서로 다른 극소점에서 시작된 물이 만나게 되는 곳에서 ‘워터쉐드 라인’을 계산해 내는 것이 워터쉐드 변환의 핵심 개념이다. 이러한 방식으로 계산된 워터쉐드 라인은 영상 내에 포함되어 있는 객체들의 외곽선을 구하는 데 활용될 수 있다. 이 방법을 사용하면 성능이 비교적 좋지 않은 모바일 기기에서도 실시간 영상 처리가 가능하다.
본 발명에서는, 다양한 워터쉐드 변환 알고리즘들 중에서 노이즈에도 강하며, 이미 산출해 놓은 얼굴의 위치와 크기 정보를 활용하여 고품질의 전경 영역을 빠르게 계산할 수 있도록 사전에 획득한 정보를 활용할 수 있는 마커 기반의 워터쉐드 변환 방식을 활용한다.
보다 구체적으로, 본 발명에서는 마커를 생성할 때 거리 변환 행렬(Distance Transform)을 이용한다. 거리 변환 행렬 기반 워터쉐드는 둥근 형태의 객체를 분리하는 데 도움을 준다. 워터쉐드 변환은 객체들의 중심점으로부터 가능한한 먼 곳에 연속적인 경계를 생성하는 특성이 있다. 거리 변환 행렬은 이 장점을 최대한 이끌어 낼 수 있도록 도움을 준다. 이는 각 객체의 중심부로부터 연속적으로 변화하는 특징을 전경과 배경의 워터쉐드 마커를 생성하는 데 유용하다.
도 4는 본 발명의 일 실시예에 따른 인물영역 추출 방법의 동작 순서도이다.
도 4에 도시된 인물영역 추출 방법 중 전체 또는 일부는 앞서 설명한 실시예들에서 언급된 인물영역 추출 시스템, 영상 처리 장치에 의해 수행될 수 있으나, 동작 주체가 이들에 국한되는 것은 아니다. 이하에서는 설명의 편의상 그 동작 주체를 영상 처리 장치로 가정하여 설명한다.
도 4를 참조하면, 영상 처리 장치는 영상 획득장치로부터 원 영상 데이터를 수신하고(S400), 수신한 원 영상 데이터를 기반으로 사람의 얼굴을 검출한다(S401). 이때, 검출되는 정보는 얼굴의 위치와 크기이다. 영상 처리 장치는 이렇게 검출한 얼굴의 위치와 크기를 고려하여 사용자의 상반신이 위치할 범위, 즉 탐색범위를 설정한다(S402). 예를 들어, 얼굴 대비 헤어 스타일과 상반신의 위치를 고려하여 얼굴로 판별된 사각형 영역의 두배 내지 세배로 확장한 영역과 그 아래에 위치한 영역 전체를 탐색범위를 설정할 수 있다. 이러한 방식으로 탐색 범위를 한정하여 속도 향상을 꾀할 수 있다.
영상 처리 장치는 설정된 탐색 범위에 한정하여 영상에 포함된 노이즈를 제거한다(S403). 노이즈 제거에는 예를 들어, 가우시안 블러 방식을 사용할 수 있다. 가우시안 블러 방식은 기본적인 영상 처리 방법의 하나로 통상적으로 이미지 노이즈 또는 디테일을 감소시키는 효과를 제공한다.
이후 영상 처리 장치는 향후 프로세스에서 속도 향상 및 워터쉐드 알고리즘의 적용을 위해 노이즈 제거된 탐색 범위의 영상을 흑백 영상으로 변환한다(S404). 또한, 도 4에 도시하지는 않았으나, 연산 시간을 더 절약할 수 있도록 원 영상보다 저해상도의 영상으로 변환하는 과정을 추가로 수행할 수 있다.
한편, 인물 영역 추출은 사용하는 환경에 따라 조명의 영향을 크게 받을 수 있다. 따라서, 본 발명에 따른 영상 처리 장치는 인물 영역에 대한 추출을 시작한 첫 프레임에 대해(S405) 또는 이후 필요한 시점에 평균 밝기값을 계산하고(S406), 이를 향후 이진 영상 생성에 활용한다(S407). 예를 들어, 탐색 범위 내 영상의 평균 밝기 값을 산출하고 평균 값을 기준으로 영상에 대한 이진화를 수행할 수도 있고, 평균 밝기 값에 가까운 임의의 값을 기준으로 영상에 대한 이진화를 수행할 수도 있다.
여기서, 첫 프레임 또는 이후 필요한 시점에서의 프레임에 대해서만 평균 밝기 값을 계산하는 이유는 매 프레임마다 평균 밝기값을 계산하는 구성이 속도 저하를 야기할 수도 있고, 조명 변화에 민감하게 반응하여 연속성을 갖는 결과물을 생성할 수 없게 될 수도 있기 때문이다. 또한, 도 4에서는 평균 밝기 값 계산이 첫 프레임에 대해서만 수행되는 실시예를 도시하였으나, 앞서 언급한 바와 같이, 필요한 경우 또는 주기적으로 해당 프레임에 대한 평균 밝기 값을 계산할 있다.
이후 영상 처리 장치는 이진화 변환된 영상에 대해 거리변환 행렬을 계산한다(S408). 워터쉐드 변환에 사용되는 마커를 생성할 때 거리 변환(Distance Transform) 행렬을 이용하기 위함이다. 거리 변환 행렬 기반 워터쉐드는 둥근 형태의 객체를 분리하는 데 도움을 준다. 워터쉐드 변환이 객체들의 중심점으로부터 가능한한 먼 곳에 연속적인 경계를 생성하는 특성이 있고, 거리 변환 행렬은 이 장점을 최대한 이끌어 낼 수 있도록 한다는 것을 이미 언급한 바 있다.
영상 처리 장치는 또한, 추출되는 최종 결과물의 품질 향상을 위해, 거리 변환 행렬 계산 결과를 이용하여 1차적으로 외곽선 정보를 추출하기 위해 이진화 영상 변환을 다시 수행하고, 영상 팽창(dilation) 필터를 적용한다(S409). 또한, 영상 획득 장치에서 획득된 인물 영역은 일반적으로 특정 크기 이상의 영역을 차지할 것으로 추정되므로, 외곽선 추출 단계(S410)에서 여러 개의 외곽선 중에 미리 설정된 크기 이상의 외곽선만을 남기고 노이즈나 작은 객체는 미리 제거할 수 있다.
앞서 설명한 흑백 영상으로의 변환(S404), 이진화 변환(S407), 영상 팽창 필터 적용(S409), 및 외곽선 추출(S410) 단계들은 영상 처리 장치 중 전처리 모듈에 의해 수행될 수 있다.
영상 처리 장치는 상술한 단계들을 통해 전처리된 영상에 대해 워터쉐드 변환의 마커로 사용될 정보를 설정하고 최적화한다(S411). 이때, 마커는 전경과 배경 각각에 대해 설정될 수 있다. 고품질의 워터쉐드 변환 결과물을 얻기 위해서는 전경과 배경에 대한 마커 정보를 미리 생성해야 하는데, 상술한 영상 전처리를 통해 계산된 외곽선 정보를 기반으로 영상 팽창, 이진화 과정을 수행하여 워터쉐드 변환에 전경 정보로 사용될 마커와 배경 정보로 사용될 마커를 계산 및 최적화할 수 있다.
영상 처리 장치는 설정된 마커를 이용해 워터쉐드 변환을 수행하여(S412), 워터쉐드 변환의 결과 값을 최초 획득된 영상 데이터로부터 인물 영역을 추출할 마스크로 사용한다. 이때, 영상 처리 장치는 흑백 영상으로 변환된 영상을 다시 컬러 영상으로 복원한(S413) 후, 복원된 컬러 영상에 대해 전경 영역을 계산 및 추출한다(S414). 추출된 전경은 영상 출력 장치로 전송되어 디스플레이될 수 있다.
아래 표 1은 본 발명의 일 실시예에 따른 인물 영역 추출 방법의 실험 결과를 도시한다.
항목 결과 평가방법
실시간 처리 성능 15 fps 모바일 기기의 디스플레이에서 단위시간당 보여주는 화면의 수를 측정
응답 지연시간 71 ms 실제 움직임에 대해 인물 영역 추출을 하지 않을 경우 대비 인물 영역 추출을 하는 경우 화면에 표시되는 지연 시간을 측정
표 1에서, 실시간 처리 성능은, 안드로이드 환경에서 처리 성능이 실시간 서비스에 적용 가능한지 확인기 위한 항목으로, 내부적으로 프레임당 처리 속도를 계산하여 출력된 수치를 확인하였다. 실험 결과 15fps(frames per sec) 이상의 성능을 보이는 것으로 확인되었다.
응답 지연시간 항목은, 촬영 시작 후 응답 지연 시간이 기준치 이하인지 확인하기 위한 항목이다. 해당 항목에서는 카메라로부터 촬영된 영상을 획득하여 첫번째 프레임을 처리하여 화면에 출력하는 시간이 기준치 이하인지 확인하였다. 응답 지연시간에 대한 실험 결과, 즉 첫번째 프레임 처리 시간은 71ms로 확인되었다.
도 5는 본 발명의 다른 실시예에 따른 영상 처리 장치의 블록 구성도이다.
도 5를 참조하면, 본 발명의 다른 실시예에 따른 영상 처리 장치는, 프로세서(310), 메모리(320), 통신 모듈(330), 및 입출력 인터페이스(340)를 포함할 수 있다.
프로세서(310)는 메모리(320), 통신 모듈(330), 입출력 인터페이스(340) 중 적어도 하나의 구성요소에 대한 제어 및/또는 통신에 관한 연산이나 데이터 처리를 실행할 수 있다.
메모리(320)는 휘발성 및/또는 비휘발성 메모리를 포함할 수 있으며, 예를 들어 프로세서를 통해 실행되는 적어도 하나의 명령 및 명령 수행의 결과를 저장할 수 있다.
여기서, 적어도 하나의 명령은, 상기 프로세서로 하여금, 실시간으로 입력되는 원 영상 데이터로부터 얼굴을 검출하도록 하는 명령; 검출된 얼굴을 기준으로 탐색범위를 설정하도록 하는 명령; 상기 탐색범위 내 영상 데이터에 대해 전처리를 수행하여 인물 영역의 외곽선을 추출하도록 하는 명령; 상기 추출한 외곽선을 기반으로 상기 탐색범위 내 영상의 배경 및 전경에 대해 워터쉐드(watershed) 마커를 설정하도록 하는 명령; 상기 설정된 마커를 기준으로 워터쉐드 변환을 수행하도록 하는 명령; 및 상기 워터쉐드 변환의 결과를 이용해 원 영상으로부터 인물 영역을 분리하도록 하는 명령을 포함할 수 있다.
통신 모듈(330)은 영상 처리 장치와 외부 장치 간의 통신을 설정할 수 있다. 예를 들어, 통신 모듈은 무선 통신 또는 유선 통신을 통해 네트워크에 연결되어 외부 장치 또는 서버와 통신할 수 있다.
입출력 인터페이스(340)는 예를 들어, 사용자 또는 다른 외부 기기로부터 입력된 명령 또는 데이터를 영상 처리 장치의 다른 구성요소에 전달하거나 영상 처리 장치 내 다른 구성요소들로부터 수신된 명령 또는 데이터를 사용자 또는 다른 외부 기기로 출력할 수 있다.
본 발명의 실시예에 따른 방법의 동작은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 프로그램 또는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산 방식으로 컴퓨터로 읽을 수 있는 프로그램 또는 코드가 저장되고 실행될 수 있다.
또한, 컴퓨터가 읽을 수 있는 기록매체는 롬(rom), 램(ram), 플래시 메모리(flash memory) 등과 같이 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함할 수 있다. 프로그램 명령은 컴파일러(compiler)에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터(interpreter) 등을 사용해서 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함할 수 있다.
본 발명의 일부 측면들은 장치의 문맥에서 설명되었으나, 그것은 상응하는 방법에 따른 설명 또한 나타낼 수 있고, 여기서 블록 또는 장치는 방법 단계 또는 방법 단계의 특징에 상응한다. 유사하게, 방법의 문맥에서 설명된 측면들은 또한 상응하는 블록 또는 아이템 또는 상응하는 장치의 특징으로 나타낼 수 있다. 방법 단계들의 몇몇 또는 전부는 예를 들어, 마이크로프로세서, 프로그램 가능한 컴퓨터 또는 전자 회로와 같은 하드웨어 장치에 의해(또는 이용하여) 수행될 수 있다. 몇몇의 실시예에서, 가장 중요한 방법 단계들의 하나 이상은 이와 같은 장치에 의해 수행될 수 있다.
이상 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
200: 영상 획득 장치 300: 영상 처리 장치
400: 영상 출력 장치 301: 얼굴추적 모듈
302: 영상전처리 모듈 303: 인물영역 분리 모듈
310: 프로세서 320: 메모리
330: 통신 모듈 340: 입출력 인터페이스

Claims (17)

  1. 휴대 단말에 의해 수행되는 인물 영역 추출 방법으로서,
    실시간으로 입력되는 원 영상 데이터로부터 얼굴을 검출하는 단계;
    검출된 얼굴을 기준으로 탐색범위를 설정하는 단계;
    상기 탐색범위 내 영상 데이터에 대해 전처리를 수행하여 인물 영역의 외곽선을 추출하는 단계;
    상기 추출한 외곽선을 기반으로 상기 탐색범위 내 영상의 배경 및 전경에 대해 워터쉐드(watershed) 마커를 설정하는 단계;
    상기 설정된 마커를 기준으로 워터쉐드 변환을 수행하는 단계; 및
    상기 워터쉐드 변환의 결과를 이용해 원 영상으로부터 인물 영역을 분리하는 단계를 포함하는, 인물 영역 추출 방법.
  2. 청구항 1에 있어서,
    상기 워터쉐드 변환의 결과를 이용해 원 영상으로부터 인물 영역을 분리하는 단계는,
    워터쉐드 변환의 결과 값을 마스크로 사용하여 상기 탐색범위 내 영상 데이터로부터 인물 영역을 분리 추출하는 단계를 포함하는, 인물 영역 추출 방법.
  3. 청구항 1에 있어서,
    상기 원 영상 데이터는 상기 영상 획득 장치로부터 입력되고, 상기 영상 획득 장치는 휴대 단말의 전면에 배치되는 모노 카메라인, 인물 영역 추출 방법.
  4. 청구항 1에 있어서,
    상기 분리된 인물 영역을 디스플레이하는 단계를 더 포함하는, 인물 영역 추출 방법.
  5. 청구항 1에 있어서,
    상기 탐색범위 내 영상 데이터에 대해 전처리를 수행하여 인물 영역의 외곽선을 추출하는 단계는,
    상기 탐색범위 내 영상을 흑백 영상으로 변환하는 단계;
    변환된 흑백 영상에 대해 이진화 변환을 수행하는 단계;
    이진화 변환된 영상에 대해 거리변환 행렬을 계산하는 단계; 및
    상기 거리변환 행렬을 이용해 인물 영역의 외곽선을 추출하는 단계를 포함하는, 인물 영역 추출 방법.
  6. 청구항 5에 있어서,
    상기 탐색범위 내 영상 데이터에 대해 전처리를 수행하여 인물 영역의 외곽선을 추출하는 단계는,
    거리 변환 행렬의 계산 결과를 기초로 영상 팽창 필터를 적용하는 단계; 및
    추출된 적어도 하나의 외곽선 중 기 설정된 크기 미만의 객체에 대한 외곽선을 제거하는 단계를 더 포함하는 인물 영역 추출 방법.
  7. 입력되는 영상으로부터 인물 영역을 추출하는 영상 처리 장치로서,
    프로세서; 및
    상기 프로세서를 통해 실행되는 적어도 하나의 명령을 저장하는 메모리를 포함하고,
    상기 적어도 하나의 명령은,
    실시간으로 입력되는 원 영상 데이터로부터 얼굴을 검출하도록 하는 명령;
    검출된 얼굴을 기준으로 탐색범위를 설정하도록 하는 명령;
    상기 탐색범위 내 영상 데이터에 대해 전처리를 수행하여 인물 영역의 외곽선을 추출하도록 하는 명령;
    상기 추출한 외곽선을 기반으로 상기 탐색범위 내 영상의 배경 및 전경에 대해 워터쉐드(watershed) 마커를 설정하도록 하는 명령;
    상기 설정된 마커를 기준으로 워터쉐드 변환을 수행하도록 하는 명령; 및
    상기 워터쉐드 변환의 결과를 이용해 원 영상으로부터 인물 영역을 분리하도록 하는 명령을 포함하는, 영상 처리 장치.
  8. 청구항 7에 있어서,
    상기 워터쉐드 변환의 결과를 이용해 원 영상으로부터 인물 영역을 분리하도록 하는 명령은,
    워터쉐드 변환의 결과 값을 마스크로 사용하여 상기 탐색범위 내 영상 데이터로부터 인물 영역을 분리 추출하도록 하는 명령을 포함하는, 영상 처리 장치.
  9. 청구항 7에 있어서,
    상기 원 영상 데이터는 상기 영상 획득 장치로부터 입력되고, 상기 영상 획득 장치는 휴대 단말의 전면에 배치되는 모노 카메라인, 영상 처리 장치.
  10. 청구항 7에 있어서,
    상기 적어도 하나의 명령은,
    상기 분리된 인물 영역을 디스플레이하도록 하는 명령을 더 포함하는, 영상 처리 장치.
  11. 청구항 7에 있어서,
    상기 탐색범위 내 영상 데이터에 대해 전처리를 수행하여 인물 영역의 외곽선을 추출하도록 하는 명령은,
    상기 탐색범위 내 영상을 흑백 영상으로 변환하도록 하는 명령;
    변환된 흑백 영상에 대해 이진화 변환을 수행하도록 하는 명령;
    이진화 변환된 영상에 대해 거리변환 행렬을 계산하도록 하는 명령; 및
    상기 거리변환 행렬을 이용해 인물 영역의 외곽선을 추출하도록 하는 명령을 포함하는, 영상 처리 장치.
  12. 청구항 11에 있어서,
    상기 탐색범위 내 영상 데이터에 대해 전처리를 수행하여 인물 영역의 외곽선을 추출하도록 하는 명령은,
    거리 변환 행렬의 계산 결과를 기초로 영상 팽창 필터를 적용하도록 하는 명령; 및
    추출된 적어도 하나의 외곽선 중 기 설정된 크기 미만의 객체에 대한 외곽선을 제거하도록 하는 명령을 더 포함하는, 영상 처리 장치.
  13. 대상 인물 및 배경을 포함하는 원 영상을 실시간으로 획득하는 영상획득 장치;
    상기 영상획득 장치로부터 실시간으로 입력되는 원 영상 데이터로부터 얼굴을 검출하고 검출된 얼굴을 기준으로 탐색범위를 설정하며 상기 탐색범위 내 영상 데이터에 대해 전처리를 수행하여 인물 영역의 외곽선을 추출하여, 상기 추출한 외곽선을 기반으로 상기 탐색범위 내 영상의 배경 및 전경에 대해 워터쉐드(watershed) 마커를 설정하고 상기 설정된 마커를 기준으로 워터쉐드 변환을 수행하며, 상기 워터쉐드 변환의 결과를 이용해 원 영상으로부터 인물 영역을 분리하는 영상 처리 장치; 및
    상기 영상 처리에 의해 분리된 인물 영역을 디스플레이하는 영상 출력 장치를 포함하는, 인물 영역 추출 시스템.
  14. 청구항 13에 있어서,
    상기 영상 처리 장치는,
    워터쉐드 변환의 결과 값을 마스크로 사용하여 상기 탐색범위 내 영상 데이터로부터 인물 영역을 분리 추출하는, 인물 영역 추출 시스템.
  15. 청구항 13에 있어서,
    상기 영상 획득 장치는 휴대 단말의 전면에 배치되는 모노 카메라인, 인물 영역 추출 시스템.
  16. 청구항 13에 있어서,
    상기 영상 처리 장치는,
    상기 탐색범위 내 영상을 흑백 영상으로 변환하여 변환된 흑백 영상에 대해 이진화 변환을 수행하고, 이진화 변환된 영상에 대해 계산한 상기 거리변환 행렬을 이용해 인물 영역의 외곽선을 추출하며, 거리 변환 행렬의 계산 결과를 기초로 영상 팽창 필터를 적용하여 추출된 적어도 하나의 외곽선 중 기 설정된 크기 미만의 객체에 대한 외곽선을 제거하는, 인물 영역 추출 시스템.
  17. 청구항 13에 있어서,
    상기 영상 출력 장치는,
    상기 분리된 인물 영역 및 상기 원 영상의 배경이 아닌 다른 배경 영역을 디스플레이하는, 인물 영역 추출 시스템.
KR1020190013781A 2019-02-01 2019-02-01 인물 영역 추출 방법, 이를 이용하는 영상 처리 장치 및 인물 영역 추출 시스템 KR20200095873A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190013781A KR20200095873A (ko) 2019-02-01 2019-02-01 인물 영역 추출 방법, 이를 이용하는 영상 처리 장치 및 인물 영역 추출 시스템
US16/656,829 US10991103B2 (en) 2019-02-01 2019-10-18 Method for extracting person region in image and apparatus using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190013781A KR20200095873A (ko) 2019-02-01 2019-02-01 인물 영역 추출 방법, 이를 이용하는 영상 처리 장치 및 인물 영역 추출 시스템

Publications (1)

Publication Number Publication Date
KR20200095873A true KR20200095873A (ko) 2020-08-11

Family

ID=71836483

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190013781A KR20200095873A (ko) 2019-02-01 2019-02-01 인물 영역 추출 방법, 이를 이용하는 영상 처리 장치 및 인물 영역 추출 시스템

Country Status (2)

Country Link
US (1) US10991103B2 (ko)
KR (1) KR20200095873A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230073551A (ko) 2021-11-19 2023-05-26 주식회사 스파크엑스 (SPARKX Co.,Ltd.) 인물 예측 방법을 이용한 영상속에서 인물 배경 분리방법
WO2023238726A1 (ja) * 2022-06-06 2023-12-14 株式会社レゾナック 画像処理装置、画像処理方法及び画像処理プログラム

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200095873A (ko) * 2019-02-01 2020-08-11 한국전자통신연구원 인물 영역 추출 방법, 이를 이용하는 영상 처리 장치 및 인물 영역 추출 시스템
CN112530059B (zh) * 2020-11-24 2022-07-05 厦门熵基科技有限公司 一种通道闸内拉杆箱判断方法、装置、设备和存储介质
CN112561881B (zh) * 2020-12-16 2023-09-05 南京莱斯电子设备有限公司 基于评价模型的红外图像自适应数据增强方法
CN113592753B (zh) * 2021-07-23 2024-05-07 深圳思谋信息科技有限公司 基于工业相机拍摄的图像的处理方法、装置和计算机设备
CN113688811B (zh) * 2021-10-26 2022-04-08 北京美摄网络科技有限公司 图像处理方法、装置、电子设备及存储介质
CN115482308B (zh) * 2022-11-04 2023-04-28 平安银行股份有限公司 图像处理方法、计算机设备及存储介质

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100819027B1 (ko) 2006-04-26 2008-04-02 한국전자통신연구원 얼굴 영상을 이용한 사용자 인증 방법 및 장치
US20090290791A1 (en) * 2008-05-20 2009-11-26 Holub Alex David Automatic tracking of people and bodies in video
US8437570B2 (en) 2008-05-23 2013-05-07 Microsoft Corporation Geodesic image and video processing
US8385609B2 (en) 2008-10-21 2013-02-26 Flashfoto, Inc. Image segmentation
KR101015671B1 (ko) 2009-10-23 2011-02-22 홍익대학교 산학협력단 측지거리변환 기반 영상 분리 방법 및 이를 이용한 얼굴 인증 시스템에서의 영상 제거 방법
WO2012030899A1 (en) * 2010-08-31 2012-03-08 University Of Massachusetts Methods and systems for determining fish catches
US20130009989A1 (en) 2011-07-07 2013-01-10 Li-Hui Chen Methods and systems for image segmentation and related applications
US20130308856A1 (en) * 2012-01-12 2013-11-21 Google Inc. Background Detection As An Optimization For Gesture Recognition
KR20130102895A (ko) 2012-03-08 2013-09-23 한국전자통신연구원 동영상에서의 전경 레이어 추출 장치 및 방법
US9691163B2 (en) * 2013-01-07 2017-06-27 Wexenergy Innovations Llc System and method of measuring distances related to an object utilizing ancillary objects
JP6439214B2 (ja) * 2013-02-18 2018-12-19 株式会社Ｐ２Ｐ Ｂａｎｋ 画像処理装置、画像処理方法、画像処理用コンピュータプログラムおよび画像処理用コンピュータプログラムを格納した情報記録媒体
JP6094779B2 (ja) * 2013-12-06 2017-03-15 株式会社豊田中央研究所 金属樹脂複合材料及びその製造方法、並びに酸化アルミニウム被膜を有するアルミニウム基材
CA2969038C (en) * 2014-12-03 2023-07-04 Ventana Medical Systems, Inc. Methods, systems, and apparatuses for quantitative analysis of heterogeneous biomarker distribution
US9438769B1 (en) 2015-07-23 2016-09-06 Hewlett-Packard Development Company, L.P. Preserving smooth-boundaried objects of an image
KR101799680B1 (ko) 2016-06-10 2017-11-22 조선대학교산학협력단 기대값 최대화 알고리즘 및 워터쉐드 변환을 이용하여 뇌이미지를 구획화 하는 방법
US10085064B2 (en) * 2016-12-28 2018-09-25 Facebook, Inc. Aggregation of media effects
KR20180099026A (ko) 2017-02-28 2018-09-05 삼성전자주식회사 외부 전자 장치를 이용한 촬영 방법 및 이를 지원하는 전자 장치
KR101837026B1 (ko) 2017-09-25 2018-03-09 건국대학교 산학협력단 열화상 영상 기반 객체 추적 장치 및 방법
KR20200095873A (ko) * 2019-02-01 2020-08-11 한국전자통신연구원 인물 영역 추출 방법, 이를 이용하는 영상 처리 장치 및 인물 영역 추출 시스템

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230073551A (ko) 2021-11-19 2023-05-26 주식회사 스파크엑스 (SPARKX Co.,Ltd.) 인물 예측 방법을 이용한 영상속에서 인물 배경 분리방법
WO2023238726A1 (ja) * 2022-06-06 2023-12-14 株式会社レゾナック 画像処理装置、画像処理方法及び画像処理プログラム

Also Published As

Publication number Publication date
US20200250830A1 (en) 2020-08-06
US10991103B2 (en) 2021-04-27

Similar Documents

Publication Publication Date Title
KR20200095873A (ko) 인물 영역 추출 방법, 이를 이용하는 영상 처리 장치 및 인물 영역 추출 시스템
CN110503703B (zh) 用于生成图像的方法和装置
CN108921782B (zh) 一种图像处理方法、装置及存储介质
CN109076159B (zh) 电子设备及其操作方法
EP3644599B1 (en) Video processing method and apparatus, electronic device, and storage medium
CN107771391B (zh) 用于确定图像帧的曝光时间的方法和装置
CN114863037B (zh) 基于单手机的人体三维建模数据采集与重建方法及***
KR20200092858A (ko) 영상 변형 방법 및 장치
KR20100072772A (ko) 스테레오 비전을 이용한 실시간 얼굴 검출 시스템 및 그 방법
KR20130094862A (ko) 대상물 추적 장치, 대상물 추적 방법 및 제어 프로그램
KR101624801B1 (ko) 전경 물체 추출을 위한 매팅 방법 및 이를 수행하는 장치
CN112802033B (zh) 图像处理方法及装置、计算机可读存储介质和电子设备
CN110493512B (zh) 摄影构图方法、装置、摄影设备、电子装置及存储介质
CN112001285B (zh) 一种美颜图像的处理方法、装置、终端和介质
CN115035581A (zh) 面部表情识别方法、终端设备及存储介质
CN113538315B (zh) 图像处理方法及装置
CN108647605B (zh) 一种结合全局颜色与局部结构特征的人眼凝视点提取方法
CN113902789A (zh) 图像特征处理、深度图像生成方法及装置、介质和设备
KR101726692B1 (ko) 객체 추출 장치 및 방법
CN113283319A (zh) 人脸模糊度的评价方法及装置、介质和电子设备
CN116310105B (zh) 基于多视图的物体三维重建方法、装置、设备及存储介质
CN113065506A (zh) 一种人体姿态识别方法及***
EP3699865B1 (en) Three-dimensional face shape derivation device, three-dimensional face shape deriving method, and non-transitory computer readable medium
CN112580395A (zh) 基于深度信息的3d人脸活体识别方法、***、设备及介质
KR20230086998A (ko) 얼굴 세그먼트 영역에 노이즈를 부가하여 가상 인물 콘텐츠를 생성하는 컴퓨터 프로그램

Legal Events

Date Code Title Description
A201 Request for examination