KR100695174B1 - 가상 입체음향을 위한 청취자 머리위치 추적방법 및 장치 - Google Patents

가상 입체음향을 위한 청취자 머리위치 추적방법 및 장치 Download PDF

Info

Publication number
KR100695174B1
KR100695174B1 KR1020060028027A KR20060028027A KR100695174B1 KR 100695174 B1 KR100695174 B1 KR 100695174B1 KR 1020060028027 A KR1020060028027 A KR 1020060028027A KR 20060028027 A KR20060028027 A KR 20060028027A KR 100695174 B1 KR100695174 B1 KR 100695174B1
Authority
KR
South Korea
Prior art keywords
listener
image
distance
skin
head
Prior art date
Application number
KR1020060028027A
Other languages
English (en)
Inventor
김영태
팔 매너하임
필립 아서 넬슨
Original Assignee
삼성전자주식회사
어댑티브 오디오 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사, 어댑티브 오디오 리미티드 filed Critical 삼성전자주식회사
Priority to KR1020060028027A priority Critical patent/KR100695174B1/ko
Priority to US11/646,472 priority patent/US8331614B2/en
Application granted granted Critical
Publication of KR100695174B1 publication Critical patent/KR100695174B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

가상 입체음향을 위한 청취자 머리위치 추적방법 및 장치가 개시된다. 그 청취자 머리위치 추적 방법은 두 개의 촬상수단을 이용하여 청취자의 얼굴 영상을 획득하는 단계; 영상의 피부색을 추적하여 상기 청취자 위치의 2차원 좌표값을 획득하는 단계; 및 삼각분할을 이용하여 촬상수단과 청취자의 거리를 획득하는 단계를 포함함을 특징으로 한다.
본 발명에 의하면, 비용이 많이 소요되는 마그네틱(magnetic), 적외선 또는 레이저를 이용하지 않고 통상의 카메라를 사용하고서도 청취자의 3차원 위치이동 경로가 추적가능하여 가상입체음향 시스템의 청취자의 위치 변동에 따른 최적 청취 영역(sweet spot) 보상을 가능케한다.

Description

가상 입체음향을 위한 청취자 머리위치 추적방법 및 장치{Method and apparatus for tracking listener's head position for virtual acoustics}
도 1은 본 발명에 의한 가상 입체음향을 위한 머리위치 추적 장치의 구성을 블록도로 도시한 것이다.
도 2는 도 1의 2차원 좌표값 생성부(140)의 보다 상세한 구성을 블록도로 도시한 것이다.
도 3은 도 1의 거리계산부(160)의 보다 세부적인 구성을 블록도로 도시한 것이다.
도 4는 본 발명에 의한 가상 입체음향을 위한 머리위치 추적 방법을 흐름도로 도시한 것이다.
도 5는 컬러추적방법을 사용하여 도 4의 2차원 좌표값을 계산하는 과정을 보다 상세하게 흐름도로 도시한 것이다.
도 6은 도 4의 카메라와 청취자 간의 거리를 계산하는 과정을 보다 상세하게 흐름도로 도시한 것이다.
도 7은 다중독립변수(multivariate) 가우시안 분류기를 이용하여 얻은 피부계층 L 1N 과 배경계층 L 1N 를 도시한 것이다.
도 8은 피부계층 L 1N의 분할을 도시한 것이다.
도 9는 ROI 에서의 청취자의 머리위치 추적 방법의 적용을 도시한 것이다.
도 10은 스테레오 비젼 시스템의 기하구조를 도시한 것이다.
본 발명은 가상입체음향에서 사용되는 영상처리에 관한 것으로서, 특히 가상 입체음향을 위한 청취자 머리위치 추적 방법 및 장치에 관한 것이다.
가상 입체음향에 있어서 청취자(Listener)는 혼선상쇄(crosstalk cancellation) 처리에 의해 미리 정의된 작은 최적 청취 영역(listening sweet spot)에 위치할 경우 최상의 입체음향 효과를 즐길수 있다. 그런데 청취자가 최적청취영역을 벗어날 경우에는 입체음향 효과가 떨어진다. 즉 청취자와 최적청취 영역 간의 상대적 위치에 따라 입체음향 시스템의 성능이 민감하다. 이와 같이 청취자의 최적 청취 영역을 넓히는 것이 필요하다. 하지만 최적의 청취영역은 기존의 알려진 필터링 기술을 이용하여 넓히는 것은 한계가 있다. 따라서 청취자의 3차원 움직임에 따라 최적의 청취영역을 완벽하게 재설정 해 주기 위해서는 청취자의 움직이는 3차원 경로를 추적하는 것이 필수적이다. 이를 위해 종래에는 마그네틱(magnetic), 적외선 또는 레이저를 이용하였으나 이는 비용이 많이 들고, 사용자가 센서를 착용해야 하는 불편함이 있다.
비쥬얼 추적(visual tracking)은 컴퓨터 비젼 분야에서는 중요한 관심분야이다. 비쥬얼 추적에 대한 점증하는 관심은 컴퓨팅 능력, 비디오 카메라 및 메모리의 비용을 떨어뜨리는 요인이 되고 있다. 비디오 rate 부근에서 잡힌 이미지 시퀀스는 한 프레임에서 다른 프레임으로 급속하게 변하지 않으며, 다중 이미지들에 대한 정보의 이러한 redundancy는 개별 물체들을 추적하기 위한 입력을 분석하는데 매우 도움이 될 수 있다. 이러한 애플리케이션을 위한 이상적인 알고리즘은 배경 노이즈에 강인하고 머리위치를 추적하고 계산적으로 효율성이 있어야 한다.
본 발명이 이루고자 하는 기술적 과제는 비디오 카메라를 이용하여 입체음향 시스템에서 청취자의 최적 청취영역을 넓게 할 수 있는 데 사용되는, 가상 입체음향을 위한 청취자 머리위치 추적방법 및 장치를 제공하는 것이다.
상기 기술적 과제를 이루기 위한 본 발명에 의한 가상 입체음향을 위한 청취자 머리위치 추적방법은, (a) 두 개의 촬상수단을 이용하여 청취자의 얼굴 영상을 획득하는 단계; (b) 상기 영상의 피부색을 추적하여 상기 청취자 위치의 2차원 좌표값을 획득하는 단계; 및 (c) 삼각분할을 이용하여 촬상수단과 청취자의 거리를 획득하는 단계를 포함함을 특징으로 한다.
상기 (b)단계는 가우시안 피부 분류기(Gaussian skin classifier)를 사용하여 피부영역을 검출하는 단계; 상기 영상의 피부영역 에지를 검출하여 피부영역의 이진영상을 생성하는 단계; 라인구조 엘리먼트를 이용하여 상기 피부 이진영상을 확장하는 단계; 형태적 영상처리를 수행하여 머리에 해당하는 피부영역을 검출하는 단계; 및 상기 머리의 중심을 구하는 단계를 포함함이 바람직하다.
상기 가우시안 피부 분류기는 컴퓨팅 자원의 효율적 사용을 위하여 관심영역(ROI)에 대해 수행됨이 바람직하다. 그리고 상기 가상 입체음향을 위한 머리위치 추적방법은 프레임 단위로 수행됨이 바람직하다.
상기 (c)단계는 청취자의 3차원 위치좌표를 P(Xo, Yo, Zo), 촬상수단의 초점거리를 f, 촬상수단 간의 거리를 d라 할 때, 서로 다른 관점에서 2 개의 촬상수단을 사용하여 두 개의 청취자 영상을 획득하는 단계; 상기 두 영상 간의 거리(xr - xl)를 구하는 단계; 및 상기 두 영상간의 거리를 이용하여 수학식 7에 의해 촬상수단과 청취자간의 거리(Zo)를 구하는 단계를 포함함이 바람직하다.
[수학식 7]
Zo = fd /(xr - xl)
상기 기술적 과제를 이루기 위한 본 발명에 의한 가상 입체음향을 위한 머리위치 추적장치는, 청취자의 얼굴을 촬영하는 제1촬상수단; 상기 제1촬상수단과는 다른 관점에서 상기 청취자의 얼굴을 촬영하는 제2촬상수단; 상기 영상의 피부색을 추적하여 상기 청취자 위치의 2차원 좌표값을 생성하는 2차원 좌표값 생성부; 및 스테레오 영역 상관을 이용하여 상기 촬상수단과 청취자의 거리를 계산하는 거리계산부를 포함함을 특징으로 한다.
상기 2차원 좌표값 생성부는 가우시안 피부 분류기(Gaussian skin classifier)를 사용하여 피부영역을 검출하는 피부영역검출부; 상기 영상의 피부영역 에지를 검출하여 피부영역의 이진영상을 생성하는 이진영상생성부; 라인구조 엘리먼트를 이용하여 상기 피부 이진영상을 확장하는 이진영상확장부; 형태적 영상처리를 수행하여 머리에 해당하는 피부영역을 검출하는 머리검출부; 및 상기 머리의 중심을 구하는 머리좌표생성부를 포함함을 특징으로 한다.
상기 가우시안 피부 분류기는 컴퓨팅 자원의 효율적 사용을 위하여 관심영역(ROI)에 대해 수행됨이 바람직하다. 그리고 상기 가상 입체음향을 위한 머리위치 추적은 프레임 단위로 수행됨이 바람직하다.
상기 거리계산부는 청취자의 3차원 위치좌표를 P(Xo, Yo, Zo), 촬상수단의 초점거리를 f, 카메라간의 거리를 d라 할 때, 서로 다른 관점에서 2대의 촬상수간을 사용하여 두 개의 청취자 영상을 획득하는 영상획득부; 상기 두 영상 간의 거리(xr - xl)를 구하는 영상간거리획득부; 및 상기 두 영상간의 거리를 이용하여 수학식 7에 의해 촬상수단과 청취자간의 거리(Zo)를 구하는 청취자위치계산부를 포함함이 바람직하다.
[수학식 7]
Zo = fd /(xr - xl)
그리고 상기 기재된 발명을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.
이하, 첨부된 도면들을 참조하여 본 발명에 따른 가상 입체음향을 위한 청취 자 머리위치 추적방법 및 장치에 대해 상세히 설명한다. 본 발명은 가상 음향 영상 시스템에서 청취자 머리위치 추적에 적합한 영상 처리에 관한 것이다. 가상 음향 이미지 시스템의 sweet spot은 상대적으로 작지만 이를 크게 하는 것이 바람직하다. 하지만, sweet spot을 크게하는 것은 제한이 있어 청취자의 위치변동을 추적하여 sweet spot을 재설정하는 것이 필요하다. 따라서 이러한 가상입체 음향 오디오 시스템을 위해 비디오 카메라를 이용하여 머리 움직임을 추적한다. 청취자 머리추적 방법을 위해 컬러추적 및 스테레오 지역 상관을 나누어서 설명한다.
컬러추적 방법은 움직이는 청취자의 위치추적을 위한 신뢰할 만한 특징으로 컬러를 이용한다. 상기 칼라 추적 방법은 RGB 영역에서 통계적인 컬러분포에 기초하고 있다. 청취자의 속성 중 하나가 피부색(skin colour)인데, 이는 성공적으로 추적될 수 있다. 컬러 추적을 하면 상대적으로 복잡한 환경에서 단일 평면상의 청취자 2차원 위치(Xo, Yo) 추적이 가능하다. 또한 컬러 추적 방법은 범용 마이크로프로세서 상에서 실행될 수 있는 효율적인 알고리즘이다.
하지만 청취자의 위치를 추적하기 위해선 스테레오 지역 상관을 사용하면 영상에서의 물체에 대한 거리를 위한 신뢰할 만한 거리(Zo) 측정을 할 수 있다. 상기 스테레오 영역 상관 방법은 두 개가 카메라가 필요하다. 상기 스테레오 영역 상관 방법은 카메라 필드에서 물체의 범위와 청취자까지의 거리를 계산한다. 상기 칼러추적과 스테레오 영역 상관을 사용함으로써 청취자의 머리추적을 3차원으로 가능하다.
도 1은 본 발명에 의한 가상 입체음향을 위한 머리위치 추적 장치의 구성을 블록도로 도시한 것으로서, 제1카메라(100), 제2카메라(120), 2차원 좌표값 생성부(140) 및 거리 계산부(160)를 포함하여 이루어진다.
상기 제1카메라(100)는 가상 입체음향을 청취하는 청취자 얼굴을 촬영하는 촬상수단이다. 상기 제2카메라(120)는 상기 제1카메라(100)과는 다른 관점에서 상기 청취자의 얼굴을 촬영하는 촬상수단이다.
상기 2차원좌표값생성부(140)는 상기 영상의 피부색을 추적하여 상기 청취자 위치의 2차원 좌표값을 생성한다. 상기 거리계산부(160)는 스테레오 영역 상관을 이용하여 상기 카메라들과 청취자의 거리를 계산한다.
도 2는 상기 2차원 좌표값 생성부(140)의 보다 상세한 구성을 블록도로 도시한 것으로서, 피부영역검출부(200), 이진영상생성부(220), 이진영상확장부(240, 머리검출부(260) 및 머리좌표생성부(280)를 포함하여 이루어진다.
상기 피부영역검출부(200)는 가우시안 피부 분류기(Gaussian skin classifier)를 사용하여 피부영역을 검출한다. 상기 가우시안 피부 분류기는 계산량을 줄이기 위해 관심영역(Region of Interest : ROI)에 대해 수행됨이 바람직하다.
상기 이진영상생성부(220)는 상기 영상의 피부영역 에지를 검출하여 피부영역의 이진영상을 생성한다. 상기 이진영상확장부(240)는 라인구조 엘리먼트(line structuring element)를 이용하여 상기 피부 이진영상을 확장한다. 상기 머리검출부(260)는 형태적 영상처리(morphological image processing)를 수행하여 머리에 해당하는 피부영역을 검출한다. 상기 머리좌표생성부(280)는 상기 머리의 중심을 구한다. 상기 가상 입체음향을 위한 머리위치 추적은 프레임 단위로 수행됨이 바람직하다.
도 3은 상기 거리계산부(160)의 보다 세부적인 구성을 블록도로 도시한 것으로서, 영상획득부(300), 영상간거리계산부(320) 및 청취자 위치 계산부(340)를 포함하여 이루어진다. 상기 영상획득부(300)는 서로 다른 관점에서 상기 두 대의 카메라를 사용하여 두 개의 청취자 영상을 획득한다.
상기 영상간 거리 획득부(320)는 청취자의 3차원 위치좌표를 P(Xo, Yo, Zo), 촬상수단의 초점거리를 f, 카메라간의 거리를 d라 할 때, 상기 두 영상 간의 거리(xr - xl)를 구한다.
상기 청취자 위치 계산부(340)는 상기 두 영상간의 거리를 이용하여 수학식 7에 의해 촬상수단과 청취자간의 거리(Zo)를 구한다.
[수학식 7]
Zo = fd /(xr - xl)
한편, 도 4 내지 도 6은 본 발명에 의한 가상 입체음향을 위한 머리위치 추적 방법을 흐름도로 도시한 것으로서, 도 1 내지 도 6을 참조하여 본 발명에 의한 가상 입체음향을 위한 머리위치 추적 방법 및 그 장치의 동작을 설명하기로 한다.
본 발명에 의한 가상 입체음향을 위한 머리위치 추적 방법은 두 개의 촬상수단, 예를 들어 두 대의 카메라(100, 120)를 이용하여 청취자의 얼굴 영상을 획득한다.(400단계) 그리고 나서 2차원 좌표값 생성부(140)는 상기 영상의 피부색을 추 적하여 상기 청취자 위치의 2차원 좌표값을 획득한다.(420단계) 또한 거리계산부(160)는 삼각분할을 이용하여 카메라들과 청취자의 거리를 획득한다.(440단계)
도 5는 컬러추적방법을 사용하여 상기 2차원 좌표값을 계산하는 과정을 보다 상세하게 흐름도로 도시한 것이다. 도 5를 참조하여 컬러추적 방법을 상세히 설명하기로 한다.
컬라 추적방법의 유용성은 영상 내의 전면과 배경 물체의 구별할만한 차이를 제공한다. 사람의 피부는 상대적으로 작은 영역의 칼라 공간으로 클러스터링되어 있으며, 따라서 다중독립변수(multivariate) 가우시안 분류기(Gaussian classifier)들을 사용하여 강력한 기학학적 모델(geometric model)을 세우는 것이 가능하다. 피부색 분포는 정규화된 컬러 공간에서의 multivaritate 정규분포에 의해 특징될 수 있다. 이러한 칼라 라벨링(labelling)은 영상 프레임 내의 머리 위치를 추정하고, 머리위치 추적시스템을 초기화하기 위해 컬러특징을 제공하는 데 사용될 수 있다.
비디오 시퀀스(video sequence)에서의 얼굴색표현은 광원에 상대적으로 움직이는 물체와 주변광과 같은 많은 요소들에 의해 영향을 받는다. 또한 사람 피부색은 비록 상대적으로 작은 공간에 여전히 밀집되어 있지만 사람에 따라서는 RGB 공간에서 다르다. 사람의 피부색은 일정한 주변광이 있는 비디오 시퀀스에서의 피부색을 추적하는 강인한 특징으로 사용될 수 있다. 물체의 머리의 피부색은 이미지 내의 피부 픽셀의 훈련 셋(training set)을 선택함으로써 추출될 수 있다. training set의 픽셀 지수는 multivariate 가우시안 확률분포의 파라미터들을 추정 하는데 사용될 수 있다. 주어진 피부에서의 RGB 확률은 수학식 1과 같이 나타낼 수 있다.
Figure 112006021882179-pat00001
여기서, ∑는 3x3 피부 분산 매트릭스이며,μ는 1x3 피부 평균값이고 x는 Nx3 매트릭스(전체 이미지 데이터) 및 d=3이며, RGB의 3차원을 나타낸다.
수학식 1은 Nx1 확률값 벡터이다. 비정규화된 L 1 는 조건확률밀도 p(RGB|x) 로 해석될 수 있다. 배경계층(background layer)가 주어진 배경의 RGB의 확률을 얻기 위해 상기와 동일하게 수행될 수 있다. 마지막으로, 일정한 확률 예를 들어 전체 영상의 크기의 매트릭스를 갖는 아웃라이어 계층(outlier layer)이 정의된다.
상기 방법의 최종 출력은 정규화된 계층이어야 하며, 그것은 각 계층의 값의 합이 1이 되도록 정규화함으로써 얻을 수 있다. L 1(x,y) + L 2(x,y) + L 3(x,y) = 1 상기 L 1은 피부계층, L 2는 배경(background)계층, L 3는 아웃라이어 계층이다.
S = L 1 + L 2 + L 3
L 1N = L 1/S
L 2N = L 2/S
L 3N = L 3/S
상기 S는 상기 세 개의 계층과 각각의 정규화된 계층들 L 1N, L 2N, L 3N 의 합이다. 상기 정규화된 계층들은 "posterior probabilities" p(RGB|x) 즉 L 1N 계층은 RGB로 주어진 피부의 확률이며, L 2N 는 RGB로 주어진 배경의 확률이다. 주어진 영상에서 피부의 확률은 수학식 1,2,3을 사용하여 계산될 수 있으며 그 결과는 도 7에 도시되어 있다. 도 7은 다중독립변수(multivariate) 가우시안 분류기를 이용하여 얻은 피부계층 L 1N 과 배경계층 L 1N 를 도시한 것이다.
도 8은 피부계층 L 1N의 분할을 도시한 것이다. multivariate 가우시안 컬러 분할(segmentation)이 상대적으로 복잡한 배경을 갖는 이미지에 수행된다.
상기 가우시안 피부 분류기(Gaussian skin classfier)는 관심영역(Region Of Interest:ROI)에 대해 동작되도록 제한될 수 있다. 그리고 프레임 단위로 컬러 추적 방법이 수행되며, 헤드의 중심은 ROI 내에서 평균 백색 픽셀(mean white pixel)을 계산함으로써 얻어진다. 도 9는 ROI 에서의 청취자의 머리위치 추적 방법의 적용을 도시한 것이다.
피부영역검출부(200)는 이미지에 있는 물체를 발견하기 위해 Sobel 연산자를 이용한 에지를 검출한다.(500단계) 그리고 이진영상생성부(220)에서 피부영역의 이진영상이 생성된다.(510단계) 그 다음에 이진영상 확장부(240)를 통해 라인 구조 엘리멘트(line-structuring element)로 이미지 확장이 수행된다.(520단계) 그 다음에, 이미지에 있는 구멍들이 채워져서 solid 객체를 생성한 후, 머리검출부(260)는 형태적인 오프닝(morphological opening)을 사용하여 이미지에 있는 큰 모양과 크기의 객체들을 유지하면서 작은 객체들을 제거한다.(530단계) 만일 이미지에서 검출된 몇 개의 피부 객체들이 있으면, blob들의 크기가 추정될 수 있고, 가장 큰 blob가 머리(head)로 추정할 수 있다. 머리가 검출되면, 머리좌표생성부(280)는 상기 검출된 머리의 중심을 구해 2차원 좌표를 생성한다.(540단계)
한편, 스테레오 영역 상관(stereo area correlation)을 설명하기로 한다. 스테레오 비젼 방법은 삼각형분할법(triangulation)을 이용하여 거리정보를 계산한다.
두 대의 카메라가 사용되어 다른 관점으로부터 두 개의 영상을 포착(caputre)한다. 그리고 이 카메라들은 다른 위치에서 물체를 촬영한다. 그리고 그 상기 두 영상의 차를 불일치(disparity)라 부른다. 상기 불일치 측정은 서로 다른 관점에서 동일한 장면(scene)을 촬영하여 얻어진 두 개의 영상을 이용한다. 두 영상에 나타난 특징의 상대적인 위치 추정은 특징의 범위(range)를 계산할 수 있게 하고, 여기서 range는 이미징 기기(imaging devices)의 기준선(baseline)과 특징 간의 거리이다.
도 10은 스테레오 비젼 시스템의 기하구조를 도시한 것이다. 원리는 서로 다른 관점에서 동일한 물체의 두 개의 영상을 얻는 것이다. 점 A, B로 표기된 두 개의 관점은 두 개의 카메라 렌즈의 위치이다. 관점 간의 거리는 카메라 간 거리 로서, d 로 표시된다. P(X,Y,Z)는 좌측 카메라(점 A)에서의 원점이 O 인 좌표계를 갖는 real world에서의 청취자의 위치를 나타낸다. X 방향은 두 렌즈간의 선에 해당하는 방향이며, Y 방향은 X 축에 대해 오른쪽 각에 있으며 이미지 평면에 평행하다. 렌즈의 초점 거리는 f로 표기된다. 영상 중심부터 물체까지의 거리는 각각의 영상(Oi와 Or)에 대해 로컬 자표계에 관해 xl와 xr로 표기된다.
불일치 측정은 다음과 같이 계산된다. 먼저, 두 개의 청취자 영상을 획득한다.(600단계) XZ 평면과 XY 평면에서 유사한 삼각형들을 사용하는 것은 좌측 카메라 렌즈의 중심을 통해 P로부터 라인이 Z = -f 이미지 평면을 가로지르고 있음을 보여주고 있다. 유사하게 우측 카메라에서도 다음과 같다.
Xl = - Xo f / Zo
Yl = - Yo f / Zo
Xr = - (Xo + d)f / Zo
Yr = - Yo f / Zo
두 번째로, 각 이미지 평면에서 2차원 좌표계를 설정하고, 주 좌표계로부터 180도 회전한다.
xl = - Xl
yl = - Yl
xr = - Xr
yr = - Yr
먼저 두 영상 간의 거리를 구하고(620단계), 카메라와 청취자 간의 거리(Zo)를 구한다.(640단계) 범위 Zo에 대해 이것을 풀면 수학식 7과 같은 방정식이 만들어진다.
Zo = fd /(xr - xl)
이것은 두 이미지 간의 픽셀 이동량에 대한 Zo 요소와 관련된다. Zo는 xr 과 xl 간의 차의 함수이며, Zo는 양수이어야 하므로 xr ≥ xl 이다. 끝으로, 불일치 측정은 다음 수학식 8에 의해 주어진다.
△x = xr - xl = fd / Zo
불일치 측정은 점 P의 범위에 역비례하며, 초점거리 f와 카메라 거리 d에 직접적으로 비례한다.
본 발명은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터(정보 처리 기능을 갖는 장치를 모두 포함한다)가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨 터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 장치의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등이 있다.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.
본 발명에 의한 가상 입체음향을 위한 청취자 머리위치 추적방법 및 장치에 의하면, 비용이 많이 소요되는 마그네틱(magnetic), 적외선 또는 레이저를 이용하지 않고 통상의 카메라를 사용하고서도 청취자의 움직임에 따른 최적 청취 영역(sweet spot)을 재설정하기 위한 청취자의 3차원 이동 경로를 추적할 수 있다.

Claims (11)

  1. (a) 두 개의 촬상수단을 이용하여 청취자의 얼굴 영상을 획득하는 단계;
    (b) 상기 영상의 피부색을 추적하여 상기 청취자 위치의 2차원 좌표값을 획득하는 단계; 및
    (c) 삼각분할을 이용하여 촬상수단과 청취자의 거리를 획득하는 단계를 포함함을 특징으로 하는 가상 입체음향을 위한 청취자 머리위치 추적방법.
  2. 제1항에 있어서, 상기 (b)단계는
    가우시안 피부 분류기(Gaussian skin classifier)를 사용하여 피부영역을 검출하는 단계;
    상기 영상의 피부영역 에지를 검출하여 피부영역의 이진영상을 생성하는 단계;
    라인구조 엘리먼트를 이용하여 상기 피부 이진영상을 확장하는 단계;
    형태적 영상처리를 수행하여 머리에 해당하는 피부영역을 검출하는 단계; 및
    상기 머리의 중심을 구하는 단계를 포함함을 특징으로 하는 가상 입체음향을 위한 청취자 머리위치 추적방법.
  3. 제2항에 있어서, 상기 가우시안 피부 분류기는
    관심영역(ROI)에 대해 수행됨을 특징으로 하는 가상 입체음향을 위한 청취자 머리위치 추적방법.
  4. 제2항 또는 제3항에 있어서, 상기 가상 입체음향을 위한 머리위치 추적방법은
    프레임 단위로 수행됨을 특징으로 하는 가상 입체음향을 위한 청취자 머리위치 추적방법.
  5. 제1항에 있어서, 상기 (c)단계는
    청취자의 3차원 위치좌표를 P(Xo, Yo, Zo), 촬상수단의 초점거리를 f, 촬상수단 간의 거리를 d라 할 때,
    서로 다른 관점에서 2 개의 촬상수단을 사용하여 두 개의 청취자 영상을 획득하는 단계;
    상기 두 영상 간의 거리(xr - xl)를 구하는 단계; 및
    상기 두 영상간의 거리를 이용하여 수학식 7에 의해
    [수학식 7]
    Zo = fd /(xr - xl)
    촬상수단과 청취자간의 거리(Zo)를 구하는 단계를 포함함을 특징으로 하는 가상 입체음향을 위한 청취자 머리위치 추적방법.
  6. 청취자의 얼굴을 촬영하는 제1촬상수단;
    상기 제1촬상수단과는 다른 관점에서 상기 청취자의 얼굴을 촬영하는 제2촬상수단;
    상기 영상의 피부색을 추적하여 상기 청취자 위치의 2차원 좌표값을 생성하는 2차원 좌표값 생성부; 및
    스테레오 영역 상관을 이용하여 상기 촬상수단과 청취자의 거리를 계산하는 거리계산부를 포함함을 특징으로 하는 가상 입체음향을 위한 청취자 머리위치 추적 장치.
  7. 제6항에 있어서, 상기 2차원 좌표값 생성부는
    가우시안 피부 분류기(Gaussian skin classifier)를 사용하여 피부영역을 검출하는 피부영역검출부;
    상기 영상의 피부영역 에지를 검출하여 피부영역의 이진영상을 생성하는 이진영상생성부;
    라인구조 엘리먼트를 이용하여 상기 피부 이진영상을 확장하는 이진영상확장부;
    형태적 영상처리를 수행하여 머리에 해당하는 피부영역을 검출하는 머리검출부; 및
    상기 머리의 중심을 구하는 머리좌표생성부를 포함함을 특징으로 하는 가상 입체음향을 위한 청취자 머리위치 추적장치.
  8. 제7항에 있어서, 상기 가우시안 피부 분류기는
    관심영역(ROI)에 대해 수행됨을 특징으로 하는 가상 입체음향을 위한 청취자 머리위치 추적장치.
  9. 제7항 또는 제8항에 있어서, 상기 가상 입체음향을 위한 머리위치 추적은
    프레임 단위로 수행됨을 특징으로 하는 가상 입체음향을 위한 청취자 머리위치 추적장치.
  10. 제6항에 있어서, 상기 거리계산부는
    청취자의 3차원 위치좌표를 P(Xo, Yo, Zo), 촬상수단의 초점거리를 f, 카메라간의 거리를 d라 할 때,
    서로 다른 관점에서 2대의 촬상수간을 사용하여 두 개의 청취자 영상을 획득하는 영상획득부;
    상기 두 영상 간의 거리(xr - xl)를 구하는 영상간거리획득부; 및
    상기 두 영상간의 거리를 이용하여 수학식 7에 의해
    [수학식 7]
    Zo = fd /(xr - xl)
    촬상수단과 청취자간의 거리(Zo)를 구하는 청취자위치계산부를 포함함을 특 징으로 하는 가상 입체음향을 위한 청취자 머리위치 추적장치.
  11. 제1항 내지 제5항 중 어느 한 항에 기재된 발명을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020060028027A 2006-03-28 2006-03-28 가상 입체음향을 위한 청취자 머리위치 추적방법 및 장치 KR100695174B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020060028027A KR100695174B1 (ko) 2006-03-28 2006-03-28 가상 입체음향을 위한 청취자 머리위치 추적방법 및 장치
US11/646,472 US8331614B2 (en) 2006-03-28 2006-12-28 Method and apparatus for tracking listener's head position for virtual stereo acoustics

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060028027A KR100695174B1 (ko) 2006-03-28 2006-03-28 가상 입체음향을 위한 청취자 머리위치 추적방법 및 장치

Publications (1)

Publication Number Publication Date
KR100695174B1 true KR100695174B1 (ko) 2007-03-14

Family

ID=38103654

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060028027A KR100695174B1 (ko) 2006-03-28 2006-03-28 가상 입체음향을 위한 청취자 머리위치 추적방법 및 장치

Country Status (2)

Country Link
US (1) US8331614B2 (ko)
KR (1) KR100695174B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2031905A3 (en) * 2007-08-31 2010-02-17 Samsung Electronics Co., Ltd. Sound processing apparatus and sound processing method thereof
WO2017161561A1 (en) * 2016-03-25 2017-09-28 Intel Corporation Gpu optimized and online single gaussian based skin likelihood estimation
KR20200072346A (ko) * 2018-12-12 2020-06-22 서울과학기술대학교 산학협력단 객체 좌표를 도출하는 장치 및 방법

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101234973B1 (ko) * 2008-04-09 2013-02-20 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 필터 특징을 발생시키는 장치 및 방법
US8315443B2 (en) 2010-04-22 2012-11-20 Qualcomm Incorporated Viewpoint detector based on skin color area and face area
WO2011161307A1 (en) * 2010-06-23 2011-12-29 Nokia Corporation Method, apparatus and computer program product for tracking face portion
US8983121B2 (en) * 2010-10-27 2015-03-17 Samsung Techwin Co., Ltd. Image processing apparatus and method thereof
JP2012129768A (ja) * 2010-12-15 2012-07-05 Seiko Epson Corp 書画カメラ、書画カメラの制御方法、プログラムおよび表示処理システム
EP2691014A1 (en) * 2011-03-30 2014-02-05 The Gillette Company Method of viewing a surface
US9351073B1 (en) * 2012-06-20 2016-05-24 Amazon Technologies, Inc. Enhanced stereo playback
US9277343B1 (en) 2012-06-20 2016-03-01 Amazon Technologies, Inc. Enhanced stereo playback with listener position tracking
US9955136B2 (en) * 2012-10-22 2018-04-24 Yamaha Hatsudoki Kabushiki Kaisha Distance measuring device and vehicle provided therewith
US10827292B2 (en) * 2013-03-15 2020-11-03 Jawb Acquisition Llc Spatial audio aggregation for multiple sources of spatial audio
US9652860B1 (en) * 2013-03-15 2017-05-16 Puretech Systems, Inc. System and method for autonomous PTZ tracking of aerial targets
US9565503B2 (en) 2013-07-12 2017-02-07 Digimarc Corporation Audio and location arrangements
US9769387B1 (en) 2013-11-05 2017-09-19 Trace Live Network Inc. Action camera system for unmanned aerial vehicle
US10558849B2 (en) * 2017-12-11 2020-02-11 Adobe Inc. Depicted skin selection
GB2588773A (en) 2019-11-05 2021-05-12 Pss Belgium Nv Head tracking system
WO2021218117A1 (zh) * 2020-04-28 2021-11-04 佛山市顺德区美的电热电器制造有限公司 一种距离检测方法、装置设备及存储介质
US11373511B2 (en) 2020-09-14 2022-06-28 PureTech Systems Inc. Alarm processing and classification system and method
WO2022119752A1 (en) 2020-12-02 2022-06-09 HearUnow, Inc. Dynamic voice accentuation and reinforcement

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5912980A (en) * 1995-07-13 1999-06-15 Hunke; H. Martin Target acquisition and tracking
KR19990068477A (ko) * 1999-05-25 1999-09-06 김휘진 입체음향시스템및그운용방법
JP2001054200A (ja) * 1999-08-04 2001-02-23 Mitsubishi Electric Inf Technol Center America Inc スピーカーへの音配給調整システム及びその方法
JP2003230199A (ja) * 2002-02-04 2003-08-15 Yamaha Corp バーチャルスピーカアンプ
KR20050006865A (ko) * 2003-07-10 2005-01-17 현대자동차주식회사 머리위치추적을 통한 차량 스피커위치 제어시스템
KR100572768B1 (ko) * 2004-06-02 2006-04-24 김상훈 디지탈 영상 보안을 위한 사람 얼굴 객체 자동검출 방법

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5815199A (en) * 1991-01-31 1998-09-29 Matsushita Electric Works, Ltd. Interphone with television
US6188777B1 (en) * 1997-08-01 2001-02-13 Interval Research Corporation Method and apparatus for personnel detection and tracking
US6263113B1 (en) * 1998-12-11 2001-07-17 Philips Electronics North America Corp. Method for detecting a face in a digital image
AU2003280516A1 (en) * 2002-07-01 2004-01-19 The Regents Of The University Of California Digital processing of video images
US8947347B2 (en) * 2003-08-27 2015-02-03 Sony Computer Entertainment Inc. Controlling actions in a video game unit
GB2395780A (en) * 2002-11-29 2004-06-02 Sony Uk Ltd Face detection
US20050196015A1 (en) * 2004-03-02 2005-09-08 Trw Automotive U.S. Llc Method and apparatus for tracking head candidate locations in an actuatable occupant restraining system
KR100612031B1 (ko) 2004-11-04 2006-08-11 학교법인 서강대학교 근력증강을 위한 보행보조기기 및 그 제어방법
US8031891B2 (en) * 2005-06-30 2011-10-04 Microsoft Corporation Dynamic media rendering

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5912980A (en) * 1995-07-13 1999-06-15 Hunke; H. Martin Target acquisition and tracking
KR19990068477A (ko) * 1999-05-25 1999-09-06 김휘진 입체음향시스템및그운용방법
JP2001054200A (ja) * 1999-08-04 2001-02-23 Mitsubishi Electric Inf Technol Center America Inc スピーカーへの音配給調整システム及びその方法
JP2003230199A (ja) * 2002-02-04 2003-08-15 Yamaha Corp バーチャルスピーカアンプ
KR20050006865A (ko) * 2003-07-10 2005-01-17 현대자동차주식회사 머리위치추적을 통한 차량 스피커위치 제어시스템
KR100572768B1 (ko) * 2004-06-02 2006-04-24 김상훈 디지탈 영상 보안을 위한 사람 얼굴 객체 자동검출 방법

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2031905A3 (en) * 2007-08-31 2010-02-17 Samsung Electronics Co., Ltd. Sound processing apparatus and sound processing method thereof
WO2017161561A1 (en) * 2016-03-25 2017-09-28 Intel Corporation Gpu optimized and online single gaussian based skin likelihood estimation
US10846560B2 (en) 2016-03-25 2020-11-24 Intel Corporation GPU optimized and online single gaussian based skin likelihood estimation
KR20200072346A (ko) * 2018-12-12 2020-06-22 서울과학기술대학교 산학협력단 객체 좌표를 도출하는 장치 및 방법
KR102151250B1 (ko) 2018-12-12 2020-09-02 서울과학기술대학교 산학협력단 객체 좌표를 도출하는 장치 및 방법

Also Published As

Publication number Publication date
US8331614B2 (en) 2012-12-11
US20070230743A1 (en) 2007-10-04

Similar Documents

Publication Publication Date Title
KR100695174B1 (ko) 가상 입체음향을 위한 청취자 머리위치 추적방법 및 장치
AU2018292610B2 (en) Method and system for performing simultaneous localization and mapping using convolutional image transformation
US10977818B2 (en) Machine learning based model localization system
US20200279121A1 (en) Method and system for determining at least one property related to at least part of a real environment
Mustafa et al. Temporally coherent 4d reconstruction of complex dynamic scenes
US8433157B2 (en) System and method for three-dimensional object reconstruction from two-dimensional images
Shen et al. Virtual mirror rendering with stationary rgb-d cameras and stored 3-d background
CA2650557C (en) System and method for three-dimensional object reconstruction from two-dimensional images
Bleiweiss et al. Fusing time-of-flight depth and color for real-time segmentation and tracking
US20110148868A1 (en) Apparatus and method for reconstructing three-dimensional face avatar through stereo vision and face detection
KR20010113661A (ko) 비디오 회의 및 다른 응용들에서 움직이는 대상물들을검출하기 위한 방법 및 장치
Taneja et al. Modeling dynamic scenes recorded with freely moving cameras
Muddamsetty et al. A performance evaluation of fusion techniques for spatio-temporal saliency detection in dynamic scenes
Bodor et al. Image-based reconstruction for view-independent human motion recognition
Dittrich et al. Saliency detection for stereoscopic video
Lee et al. Estimating scene-oriented pseudo depth with pictorial depth cues
Weissenfeld et al. Robust rigid head motion estimation based on differential evolution
Mahotra et al. Real-time computation of disparity for hand-pair gesture recognition using a stereo webcam
Yu et al. Immersive stereoscopic 3D system with hand tracking in depth sensor
Iatsun et al. Visual attention modeling for 3D video using neural networks
Ji et al. Mixed reality depth contour occlusion using binocular similarity matching and three-dimensional contour optimisation
Iatsun et al. Spatio-temporal modeling of visual attention for stereoscopic 3D video
Bhavsar et al. Depth Estimation with a Practical Camera.
Leclercq et al. Which stereo matching algorithm for accurate 3D face creation?
van Riel et al. Improved 3D Scene Modeling for Image Registration in Change Detection

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130221

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20140227

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20150226

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20160226

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20170224

Year of fee payment: 11

LAPS Lapse due to unpaid annual fee