KR101945097B1 - 사용자 시점 대응 원격지의 3차원 영상 획득 및 제공 방법 - Google Patents

사용자 시점 대응 원격지의 3차원 영상 획득 및 제공 방법 Download PDF

Info

Publication number
KR101945097B1
KR101945097B1 KR1020170021871A KR20170021871A KR101945097B1 KR 101945097 B1 KR101945097 B1 KR 101945097B1 KR 1020170021871 A KR1020170021871 A KR 1020170021871A KR 20170021871 A KR20170021871 A KR 20170021871A KR 101945097 B1 KR101945097 B1 KR 101945097B1
Authority
KR
South Korea
Prior art keywords
user
motor
stage
rotation
image
Prior art date
Application number
KR1020170021871A
Other languages
English (en)
Other versions
KR20180095407A (ko
Inventor
정도운
김남우
이승재
김동진
Original Assignee
동서대학교 산학협력단
(주) 에핀
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 동서대학교 산학협력단, (주) 에핀 filed Critical 동서대학교 산학협력단
Priority to KR1020170021871A priority Critical patent/KR101945097B1/ko
Publication of KR20180095407A publication Critical patent/KR20180095407A/ko
Application granted granted Critical
Publication of KR101945097B1 publication Critical patent/KR101945097B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/285—Analysis of motion using a sequence of stereo image pairs
    • G06K9/00221—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)

Abstract

본 발명 사용자 시점 대응 원격지의 3차원 영상 획득 및 제공방법은 3차원 영상 정보 획득 시, 사용자가 바라보는 사용자 시점을 감지하고, 사용자 시점과 동일하게 스테레오 카메라(81)를 이용하여 획득함으로써 정확한 3차원 영상을 제공하는 것으로,
본 발명은 사용자가 바라보는 사용자 시점을 감지한 후, 사용자 시점과 동일하게 원격지에 위치한 스테레오 카메라로 관찰 대상 물체의 영상을 획득함으로써, 사용자에게 정확한 원격지의 3차원 영상으로 제공하는 현저한 효과가 있다.

Description

사용자 시점 대응 원격지의 3차원 영상 획득 및 제공 방법{3D image acquisition and delivery method of user viewpoint correspondence remote point}
본 발명은 사용자 시점 대응 원격지의 3차원 영상 획득 및 제공 방법에 관한 것으로, 더욱 자세하게는 사용자가 바라보는 사용자 시점을 감지한 후, 사용자 시점과 동일하게 원격지에 위치한 스테레오 카메라로 관찰 대상 물체의 영상을 획득함으로써, 사용자에게 정확한 원격지의 3차원 영상으로 제공하는 사용자 시점 대응 원격지의 3차원 영상 획득 및 제공 방법에 관한 것이다.
3차원 영상 획득 및 제공방법에 대한 종래기술로서 등록특허공보 등록번호 10-0897542호의 임의 시점 영상 합성 시 영상 보정 방법 및 장치에는, 서로 다른 카메라로부터 획득한 적어도 두 개의 영상에 대한 기본 행렬을 연산하는 단계(a); 상기 서로 다른 카메라로부터 획득한 적어도 두개의 영상에 대한 에피폴을 연산하는 단계(b); 적어도 두 개의 영상 중 하나를 기준 영상으로 설정하고, 상기 연산된 에피폴 및 기본 행렬 정보에 기초하여 다른 영상과 상기 기준 영상의 에피폴라 선을 평행하게 변환하는 다수의 투영 변환 호모그래피를 산출하는 단계(c); 상기 다수의 투영 변환 호모그래피 중 영상의 왜곡을 최소화하기 위한 투영 변환 호모그래피를 선택하는 단계(d); 및 상기 선택된 투영 변환 호모그래피에 기초하여 기준 영상 이외의 영상을 보정하는 단계(e)를 포함하되, 상기 단계(a)에서 카메라로부터 서로 다른 시점에서의 두 개의 영상이 획득될 경우, 제1 영상에 대한 에피폴(e) 및 제2 영상에 대한 에피폴(e')은 다음의 수학식에 연산되는 것을 특징으로 하는 임의 시점 영상 합성 시 영상 보정 방법이 공개되어 있다.
다른 종래기술로서 등록특허공보 등록번호 제10-0677219호의 얼굴영상 추출장치에는, 입력되는 영상들을 이용하여 변위지도, 에지 결과값 및 피부색을 추출하는 제1검출부와, 상기 제1검출부에서 추출된 피부색의 픽셀들에서 중심후보 좌표(Xi, Yi) 및 얼굴크기 값을 추출하는 제2검출부와, 상기 제1검출부에서 추출된 에지 결과값에 상기 제2검출부에서 추출된 중심후보 좌표(Xi, Yi) 및 얼굴크기 값을 적용하여 얼굴모양 정도값을 추출하는 제3검출부와, 상기 제3검출부에서 추출된 얼굴모양 및 그 중심 좌표값을 저장하여 얼굴을 추출하는 얼굴영역 추출부로 구성된 것을 특징으로 하는 얼굴영상 추출장치가 공개되어 있다.
또한, 본 발명인이 출원한 공개특허 10-2015-0101088호의 3차원 영상 획득 및 제공방법에는 리니어 스테이지를 이용하여 사용자 시선의 좌,우 이동 및 기울임 정보만을 반영하도록 구성되어 있으며, 목에 의한 좌,우 회전이나 전,후 회전의 정보 또한 반영할 수 있도록 개선이 필요하다.
그러나 상기 종래기술들은 3차원 영상 정보 획득 시, 사용자가 바라보는 시점과 동일하게 스테레오 카메라를 이용하여 획득하지 않음으로써 정확한 3차원 영상 획득이 곤란하다는 단점이 있었다.
따라서 본 발명은 상기와 같은 문제점을 해결하고자 안출된 것으로서, 사용자가 바라보는 사용자 시점을 감지한 후, 사용자 시점과 동일하게 원격지에 위치한 스테레오 카메라로 관찰 대상 물체의 영상을 획득함으로써, 사용자에게 정확한 원격지의 3차원 영상으로 제공하는 3차원 영상 획득 및 제공 방법을 제공하고자 하는 것이다.
본 발명은 사용자 시점 대응 원격지의 3차원 영상 획득 및 제공방법에 관한 것으로, 3차원 영상 정보 획득 시, 사용자가 바라보는 사용자 시점을 감지하고, 사용자 시점과 동일하게 스테레오 카메라를 이용하여 획득함으로써 정확한 3차원 영상을 제공하는 것을 특징으로 한다.
따라서 본 발명은 사용자가 바라보는 사용자 시점을 감지한 후, 사용자 시점과 동일하게 원격지에 위치한 스테레오 카메라로 관찰 대상 물체의 영상을 획득함으로써, 사용자에게 정확한 원격지의 3차원 영상으로 제공하는 현저한 효과가 있다.
도 1은 본 발명의 개념도
도 2는 본 발명의 시스템 구성 사진
도 3은 본 발명의 영상 획득 시스템 구성 사진
도 4는 본 발명의 시스템 동작도
도 5 (a)는 본 발명의 페이스 모델링 사진
도 5 (b)는 본 발명의 페이스 모델링 정합확인 사진
도 6은 본 발명의 페이스 트래킹(face tracking) 사진
본 발명은 사용자 시점 대응 원격지의 3차원 영상 획득 및 제공방법에 관한 것으로, 3차원 영상 정보 획득 시, 사용자가 바라보는 사용자 시점을 감지하고, 사용자 시점과 동일하게 스테레오 카메라(81)를 이용하여 획득함으로써 정확한 3차원 영상을 제공하는 것을 특징으로 한다.
또한, 상기 사용자 시점 대응 원격지의 3차원 영상 획득 및 제공방법은 키넥트(20)를 이용하여 사용자의 얼굴을 인식하는 단계; 전송받은 좌표로 회전 스테이지(83)를 이용하여 스테레오 카메라(81)의 이동 및 회전하는 단계; 스테레오 카메라(81)를 이용하여 3차원 영상을 획득하는 단계; 통신을 이용하여 획득된 3차원 영상데이터를 전송하는 단계; 전송받은 3차원 영상데이터를 이용하여 3D 모니터(10)에 재현하는 단계; 재현된 3차원 영상을 사용자가 확인하는 단계; 를 포함하는 것을 특징으로 한다.
또한, 상기 사용자의 얼굴을 인식하는 단계는 얼굴의 이동, 좌우 및 상하 회전 정보를 분석하여 얼굴을 인식하는 것을 특징으로 한다.
본 발명을 첨부 도면에 의해 상세히 설명하면 다음과 같다.
도 1은 본 발명의 개념도, 도 2는 본 발명의 시스템 사진, 도 3은 본 발명의 영상획득 시스템 구성 사진, 도 4는 본 발명의 시스템 동작도, 도 5(a)는 본 발명의 페이스 모델링 사진, 도 5(b)는 본 발명의 페이스 모델링 정합 확인 사진, 도 6은 본 발명의 페이스 트랙킹(face tracking)사진이다.
본 발명은 먼저 키넥트(20)를 통해 촬영한 후 사용자측 컴퓨터(30)로 신호를 전달하면, 상기 사용자측 컴퓨터(30)가 공간상의 얼굴의 이동 및 회전 정보를 획득하여 분석한 후, 사용자의 얼굴 및 시선을 인식하여 사용자 시선인식 위치 송신 데이터(50)를 획득하고, 획득한 사용자 시선인식 위치 송신 데이터(50)를 통신을 이용하여 원격지 컴퓨터(70)로 전송한다. 이때, 상기 회전 정보는 좌우 회전과 상하 회전을 포함한다.
상기 사용자측 컴퓨터(30)에서 원격지 컴퓨터(70)로 시선인식 위치 송신 데이터(50)를 전송하기 위해, 상기 사용자측 컴퓨터(30)에는 사용자측 송,수신기(40)가 연결되며, 상기 원격지 컴퓨터(70)에는 원격지 송,수신기(60)가 연결되는 것으로, 상기 사용자측 송,수신기(40)와 원격지 송,수신기(60)를 통해 서로 통신을 하는 것이다.
상기 원격지 컴퓨터(70)는 전송받은 시선인식 위치 송신 데이터(50)를 시리얼 통신을 통해 팬틸트 장치(82)의 모터와 회전 스테이지용 모터를 제어하게 된다. 상기 팬틸트 장치(82)의 모터와 회전 스테이지용 모터는 서보모터로서 정역회전이 가능한 스텝모터를 사용한다.
상기 회전 스테이지(83)의 하부에 몸체가 더 구비되며, 상기 몸체에는 회전 스테이지용 모터가 내장되어 고정되고 상면에 관통홀이 형성되되, 상기 회전 스테이지용 모터의 샤프트가 관통홀을 통해 상부로 돌출된다. 이때, 상기 회전 스테이지용 모터는 상부의 회전 스테이지(83)의 하면 중심에 결합되는 것으로, 상기 회전 스테이지용 모터가 작동하여 모터의 샤프트가 회전되면 회전 스테이지(83)가 회전되는 것이다.
그리고 상기 회전 스테이지(83)는 원형의 판으로 이루어지되, 상기 회전 스테이지(83)의 상면 가장자리에는 팬틸트 장치(82)가 결합되며, 상기 팬틸트 장치(82)의 상단에는 스테레오 카메라(81)가 결합되어 있어, 회전 스테이지용 모터를 통해 회전 스테이지(83)를 좌우로 회전시키면, 회전 스테이지(83)의 중심 축을 기준으로 팬틸트 장치(82)와 스테레오 카메라(81)가 이동 및 회전된다.
이때, 상기 스테레오 카메라(81)는 회전 스테이지(83)의 회전에 의해 회전 스테이지(83)의 호를 따라 이동하게 되며, 호를 따라 이동함에 따라 중심에 있는 관찰하고자 하는 물체를 모든 각도에서 촬영할 수 있는 것이다.
한편, 상기 팬틸트 장치(82)는 회전 스테이지(83)와 스테레오 카메라(81)의 사이에 결합되는 것으로, 상기 팬틸트 장치(82)의 모터의 작동에 따라 스테레오 카메라(81)를 좌우 또는 상하로 회전된다.
그러므로 상기 스테레오 카메라(81)는 팬틸트 장치(82)의 모터와 회전 스테이지용 모터가 작동됨에 따라 얼굴과 동일하게 이동, 좌우 회전, 및 상하 회전하면서, 3차원 영상 데이터를 획득하여 사용자측 컴퓨터(30)로 전송한 후, 상기 사용자측 컴퓨터(30)는 통신을 이용하여 스테레오 카메라(81)를 통해 획득된 3차원 영상의 데이터. 즉 스테레오 영상 수신 데이터(90)를 사용자측 컴퓨터(30)로 전송한다.
상기 원격지 컴퓨터(70)에서 사용자측 컴퓨터(30)로 스테레오 영상 수신 데이터(90)를 전송하기 위해, 원격지 컴퓨터(70)에 연결된 원격지 송,수신기(60)와 사용자측 컴퓨터(30)에 연결된 사용자측 송,수신기(40)를 통해 스테레오 영상 수신 데이터(90)를 전송할 수 있는 것이다.
상기 원격지 컴퓨터(70)는 스테레오 영상 수신 데이터(90)의 3차원 영상의 데이터를 이용하여 3D 모니터(10)로 전송하며, 상기 3D 모니터(10)는 3차원 영상을 재현한다. 그러므로 상기 3D 모니터(10)에서 재현된 3차원 영상을 사용자가 확인할 수 있다.
한편, 상기 사용자측 컴퓨터(30)에는 사전에 미리 페이스 모델링이 저장된 것으로, 상기 사용자측 컴퓨터(30)는 연결된 키넥트(20)를 이용하여 영상을 획득하고 획득된 영상으로부터 페이스 트래킹 알고리즘을 적용함으로써 페이스 영역을 추출하게 되고, 추출된 페이스 영역에 사전에 구성된 모델링 데이터를 표시함으로써 페이스와의 정합을 확인할 수 있다.
실험에서는 3차원 공간좌표가 필요하지 않으므로, 상기 키넥트(20)를 대신하여 키넥트(20)에 장착된 카메라만을 이용할 수 있으며, 일반적인 PC 카메라 1대만을 이용할 수 있다.
상기 페이스 트래킹 알고리즘에 의해 추출된 페이스의 중심좌표를 이용하여 회전 스테이지(83)의 회전축 좌표 이동 값을 확인하여 동작하고, 또한 페이스의 기울어진 각도를 연산함으로써 틸트(Tilt)의 로테이션 값을 적용하여 동작시킬 수 있다.
이동 값에 대한 수식은
Figure 112018032382652-pat00019
로 표현 가능하며, 이때,
Figure 112018032382652-pat00020
는 현재 카메라 프레임에서의 얼굴 중심좌표이며,
Figure 112018032382652-pat00021
은 이전 카메라 프레임에서의 얼굴 중심좌표로 정의한다.
회전 값에 대한 수식을 설명하면 다음과 같다.
2차원 상의 점
Figure 112017016840416-pat00003
,
Figure 112017016840416-pat00004
는 각각
Figure 112017016840416-pat00005
,
Figure 112017016840416-pat00006
로 표현될 수 있고, 이는
Figure 112017016840416-pat00007
,
Figure 112017016840416-pat00008
로 재 표현될 수 있다.
두 점 사이의 기울어진 각도는 삼각함수
Figure 112017016840416-pat00009
의 정의에 의해 연산되어 진다. 이때,
Figure 112017016840416-pat00010
,
Figure 112017016840416-pat00011
이므로,
Figure 112017016840416-pat00012
로 연산할 수 있다.
상기와 같이 확인된 이동 및 회전 정보를 이용하여, 팬틸트 장치(82)의 모터와 회전 스테이지용 모터를 시리얼 통신을 통해 제어함으로써 정확한 위치 및 각도 제어가 가능하다.
따라서 본 발명은 사용자가 바라보는 사용자 시점을 감지한 후, 사용자 시점과 동일하게 원격지에 위치한 스테레오 카메라로 관찰 대상 물체의 영상을 획득함으로써, 사용자에게 정확한 원격지의 3차원 영상으로 제공하는 현저한 효과가 있다.
10 : 3D 모니터
20 : 키넥트
30 : 사용자측 컴퓨터
40 : 사용자측 송,수신기
50 : 시선인식 위치 송신 데이터
60 : 원격지 송,수신기
70 : 원격지 컴퓨터
80 : 스테레오 영상 획득 시스템
81 : 스테레오 카메라
82 : 팬틸트 장치
83 : 회전 스테이지
90 : 스테레오 영상 수신 데이터

Claims (3)

  1. 키넥트(20)를 통해 사용자가 바라보는 사용자 시점을 감지하고, 감지된 사용자 시점과 일치되는 3차원 영상을 스테레오 카메라(81)를 이용하여 획득하고, 획득한 3차원 영상을 3D 모니터(10)로 제공하는 사용자 시점 대응 원격지의 3차원 영상 획득 및 제공방법으로써,
    키넥트(20)를 이용하여 사용자의 시점을 인식하는 단계; 전송받은 좌표로 회전 스테이지(83)를 이용하여 스테레오 카메라(81)의 이동 및 회전하는 단계; 스테레오 카메라(81)를 이용하여 3차원 영상을 획득하는 단계; 통신을 이용하여 획득된 3차원 영상데이터를 전송하는 단계; 전송받은 3차원 영상데이터를 이용하여 3D 모니터(10)에 제공하는 단계; 재현된 3차원 영상을 확인하는 단계; 로 이루어지는 사용자 시점 대응 원격지의 3차원 영상 획득 및 제공방법에 있어서,
    상기 키넥트(20)를 통해 촬영한 후 사용자측 컴퓨터(30)로 신호를 전달하면, 상기 사용자측 컴퓨터(30)는 공간상의 얼굴의 이동 및 회전 정보를 획득하여 분석한 후, 사용자의 얼굴 및 시선을 인식하여 사용자 시선인식 위치 송신 데이터(50)를 획득하고, 획득한 사용자 시선인식 위치 송신 데이터(50)를 통신을 이용하여 원격지 컴퓨터(70)로 전송하되, 상기 회전 정보는 좌우 회전과 상하 회전을 포함하는 것이며,
    상기 사용자측 컴퓨터(30)에서 원격지 컴퓨터(70)로 시선인식 위치 송신 데이터(50)를 전송하기 위해, 상기 사용자측 컴퓨터(30)에는 사용자측 송,수신기(40)가 연결되며, 상기 원격지 컴퓨터(70)에는 원격지 송,수신기(60)가 연결되는 것으로, 상기 사용자측 송,수신기(40)와 원격지 송,수신기(60)를 통해 서로 통신을 하는 것이며,
    상기 원격지 컴퓨터(70)는 전송받은 시선인식 위치 송신 데이터(50)를 시리얼 통신을 통해 팬틸트 장치(82)의 모터와 회전 스테이지용 모터를 제어하게 되되, 상기 팬틸트 장치(82)의 모터와 회전 스테이지용 모터는 서보모터로서 정역회전이 가능한 스텝모터를 사용하는 것이며,
    상기 회전 스테이지(83)의 하부에 몸체가 더 구비되고, 상기 몸체에는 회전 스테이지용 모터가 내장되어 고정되고 상면에 관통홀이 형성되되, 상기 회전 스테이지용 모터의 샤프트가 관통홀을 통해 상부로 돌출되면, 상기 회전 스테이지용 모터는 상부의 회전 스테이지(83)의 하면 중심에 결합되는 것으로, 상기 회전 스테이지용 모터가 작동하여 모터의 샤프트가 회전되면 회전 스테이지(83)가 회전되는 것이며,
    상기 회전 스테이지(83)는 원형의 판으로 이루어지되, 상기 회전 스테이지(83)의 상면 가장자리에는 팬틸트 장치(82)가 결합되며, 상기 팬틸트 장치(82)의 상단에는 스테레오 카메라(81)가 결합되어 있어, 회전 스테이지용 모터를 통해 회전 스테이지(83)를 좌우로 회전시키면, 회전 스테이지(83)의 중심 축을 기준으로 팬틸트 장치(82)와 스테레오 카메라(81)가 이동 및 회전되되,
    상기 스테레오 카메라(81)는 회전 스테이지(83)의 회전에 의해 회전 스테이지(83)의 호를 따라 이동하게 되며, 호를 따라 이동함에 따라 중심에 있는 관찰하고자 하는 물체를 모든 각도에서 촬영할 수 있는 것이며,
    상기 팬틸트 장치(82)는 회전 스테이지(83)와 스테레오 카메라(81)의 사이에 결합되는 것으로, 상기 팬틸트 장치(82)의 모터의 작동에 따라 스테레오 카메라(81)가 좌우 또는 상하로 회전되는 것으로,
    상기 스테레오 카메라(81)는 팬틸트 장치(82)의 모터와 회전 스테이지용 모터가 작동됨에 따라 얼굴과 동일하게 이동, 좌우 회전, 및 상하 회전하면서, 3차원 영상 데이터를 획득하여 사용자측 컴퓨터(30)로 전송한 후, 상기 사용자측 컴퓨터(30)는 통신을 이용하여 스테레오 카메라(81)를 통해 획득된 3차원 영상의 데이터인 스테레오 영상 수신 데이터(90)를 사용자측 컴퓨터(30)로 전송하는 것이며,
    상기 원격지 컴퓨터(70)는 스테레오 영상 수신 데이터(90)의 3차원 영상의 데이터를 이용하여 3D 모니터(10)로 전송하며, 상기 3D 모니터(10)는 3차원 영상을 사용자가 확인할 수 있도록 제공하는 것이며,
    상기 사용자측 컴퓨터(30)에는 사전에 미리 페이스 모델링이 저장된 것으로, 상기 사용자측 컴퓨터(30)는 연결된 키넥트(20)를 이용하여 영상을 획득하고, 획득된 영상으로부터 페이스 트래킹 알고리즘을 적용함으로써 페이스 영역을 추출하게 되고, 추출된 페이스 영역에 사전에 구성된 모델링 데이터를 표시함으로써 페이스와의 정합을 확인하고, 상기 페이스 트래킹 알고리즘에 의해 추출된 페이스의 중심좌표를 이용하여 회전 스테이지(83)의 회전축 좌표 이동 값을 확인하여 동작하고, 페이스의 기울어진 각도인 회전 값를 연산함으로써 틸트(Tilt)의 로테이션 값을 적용하여 동작시키는 것이며,
    상기 이동 값 및 회전 값을 이용하여, 팬틸트 장치(82)의 모터와 회전 스테이지용 모터를 시리얼 통신을 통해 제어함으로써 정확한 위치 및 각도 제어가 가능한 것을 특징으로 하는 사용자 시점 대응 원격지의 3차원 영상 획득 및 제공방법
  2. 삭제
  3. 삭제
KR1020170021871A 2017-02-17 2017-02-17 사용자 시점 대응 원격지의 3차원 영상 획득 및 제공 방법 KR101945097B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170021871A KR101945097B1 (ko) 2017-02-17 2017-02-17 사용자 시점 대응 원격지의 3차원 영상 획득 및 제공 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170021871A KR101945097B1 (ko) 2017-02-17 2017-02-17 사용자 시점 대응 원격지의 3차원 영상 획득 및 제공 방법

Publications (2)

Publication Number Publication Date
KR20180095407A KR20180095407A (ko) 2018-08-27
KR101945097B1 true KR101945097B1 (ko) 2019-02-07

Family

ID=63455333

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170021871A KR101945097B1 (ko) 2017-02-17 2017-02-17 사용자 시점 대응 원격지의 3차원 영상 획득 및 제공 방법

Country Status (1)

Country Link
KR (1) KR101945097B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109753151B (zh) * 2018-12-19 2022-05-24 武汉西山艺创文化有限公司 基于kincet和面部摄像头的动作捕捉方法和***
KR102613415B1 (ko) * 2022-12-22 2023-12-13 주식회사 하스퍼 시야 동기화 장치 및 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009151394A (ja) * 2007-12-18 2009-07-09 Canon Inc 画像処理装置及び画像処理方法及びプログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009151394A (ja) * 2007-12-18 2009-07-09 Canon Inc 画像処理装置及び画像処理方法及びプログラム

Also Published As

Publication number Publication date
KR20180095407A (ko) 2018-08-27

Similar Documents

Publication Publication Date Title
US10157477B2 (en) Robust head pose estimation with a depth camera
US10659768B2 (en) System and method for virtually-augmented visual simultaneous localization and mapping
US10755438B2 (en) Robust head pose estimation with a depth camera
US7825948B2 (en) 3D video conferencing
TWI718150B (zh) 用於判定一攝像機之空間特徵的方法及系統
KR102105189B1 (ko) 관심 객체 추적을 위한 다중 카메라 동적 선택 장치 및 방법
KR100812506B1 (ko) 원격 조작 로봇 및 로봇 자기 위치 추정 방법
US20170316582A1 (en) Robust Head Pose Estimation with a Depth Camera
KR20160003233A (ko) 컴퓨터 비전 애플리케이션 초기화를 용이하게 하는 방법들
CN110035218B (zh) 一种图像处理方法、图像处理装置及拍照设备
TW201142745A (en) Information processing apparatus, information processing system, and information processing method
US11991477B2 (en) Output control apparatus, display terminal, remote control system, control method, and non-transitory computer-readable medium
WO2013121215A1 (en) Video tracking apparatus and method
US11710273B2 (en) Image processing
KR101945097B1 (ko) 사용자 시점 대응 원격지의 3차원 영상 획득 및 제공 방법
KR20190027079A (ko) 전자 장치, 그 제어 방법 및 컴퓨터 판독가능 기록 매체
KR101611427B1 (ko) 영상 처리 방법 및 이를 수행하는 영상 처리 장치
JPH1021401A (ja) 三次元情報処理装置
KR20210017788A (ko) 손동작 추적 장치 및 그 방법
KR101473234B1 (ko) 신체 트래킹에 기반한 영상 디스플레이 방법 및 시스템
CN112581630A (zh) 一种用户交互方法和***
KR20150101088A (ko) 3차원 영상 획득 및 제공방법
KR101779423B1 (ko) 영상처리방법 및 영상처리장치
WO2023188519A1 (ja) 画像生成装置、画像生成方法およびプログラム
WO2021166751A1 (ja) 情報処理装置、情報処理方法及びコンピュータプログラム

Legal Events

Date Code Title Description
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant