KR20120048293A - 3차원 영상통신장치 및 3차원 영상통신장치의 영상처리방법 - Google Patents

3차원 영상통신장치 및 3차원 영상통신장치의 영상처리방법 Download PDF

Info

Publication number
KR20120048293A
KR20120048293A KR1020100109849A KR20100109849A KR20120048293A KR 20120048293 A KR20120048293 A KR 20120048293A KR 1020100109849 A KR1020100109849 A KR 1020100109849A KR 20100109849 A KR20100109849 A KR 20100109849A KR 20120048293 A KR20120048293 A KR 20120048293A
Authority
KR
South Korea
Prior art keywords
dimensional
image
talker
camera
video communication
Prior art date
Application number
KR1020100109849A
Other languages
English (en)
Other versions
KR101732135B1 (ko
Inventor
김상윤
류희섭
김연배
박승권
장종혁
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020100109849A priority Critical patent/KR101732135B1/ko
Priority to EP11187860A priority patent/EP2451176A3/en
Priority to US13/290,194 priority patent/US9270934B2/en
Publication of KR20120048293A publication Critical patent/KR20120048293A/ko
Application granted granted Critical
Publication of KR101732135B1 publication Critical patent/KR101732135B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/183—On-screen display [OSD] information, e.g. subtitles or menus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/148—Interfacing a video terminal to a particular transmission medium, e.g. ISDN

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephone Function (AREA)

Abstract

3차원 영상통신장치 및 3차원 영상통신장치의 영상제어방법이 제공된다. 보다 상세하게는 신규깊이감을 가지는 오브젝트를 포함하는 송화자3차원영상을 제어하는 3차원 영상통신장치 및 3차원 영상통신장치의 영상제어방법이 개시된다. 개시되는 실시예 중 일부는 송화자부터 3차원카메라 사이에 위치하는 오브젝트에 대하여 깊이감조정을 하여 생성한 송화자3차원영상을 수화자의 3차원 영상통신장치로 전송하여 수화자에게 차별되는 3차원영상효과를 제공하는 3차원 영상통신장치 및 3차원 영상통신장치의 영상제어방법을 제공한다.

Description

3차원 영상통신장치 및 3차원 영상통신장치의 영상처리방법{3DIMENSION VIDEO COMMUNICATION APPARATUS AND METHOD FOR VIDEO PROCESSING OF 3DIMENSION VIDEO COMMUNICATION APPARATUS}
아래 실시예들은 3차원 영상통신장치 및 상기 3차원 영상통신장치의 영상처리방법에 관한 것이다.
영상통신장치는 카메라, 마이크, 스피커를 이용하여 송화자(talker)와 수화자(listener) 사이에 영상통화를 가능하게 해준다.
영상통신장치는 하나의 카메라를 이용하는 경우, 송화자와 수화자에게 2차원 영상통화를 제공할 수 있다. 복수의 카메라를 이용하는 경우, 복수의 영상- 예를 들면, 좌측영상과 우측영상-을 이용하여 3차원 영상통화가 가능하다
영상통신장치는 캡쳐된 좌측영상 및 우측영상을 이용하여 입체감을 발생시킴으로써, 3차원영상을 표시할 수 있다. 3차원영상의 구현방식은 크게 안경방식과 무안경방식으로 나누어진다.
안경방식은 패시브방식, 액티브방식 및 애너글리프(anaglyph)방식이 있다. 무안경방식은 렌티큘러(lenticular)방식 및 패러랙스 배리어(parallax barrier )방식이 있다.
예시적 실시예에 따른 3차원 영상통신장치의 3차원카메라와 연결가능한 3차원 영상통신장치의 영상통신방법에 있어서, 상기 3차원카메라를 이용하여 송화자(talker)에 대응되는 복수의 2차원영상을 취득하는 단계, 상기 송화자의 기설정된 특징점(feature point)을 이용하여 상기 복수의 2차원영상의 수렴점(point of convergence)을 조정하는 단계, 상기 취득된 복수의 2차원영상을 이용하여 상기 송화자부터 상기 3차원카메라 사이에 위치하는 오브젝트를 검출하는 단계, 상기 검출된 오브젝트의 원깊이감(original sense of depth)을 신규깊이감(new sense of depth)으로 조정(scaling)하는 단계, 및 상기 신규깊이감을 가지는 상기 오브젝트를 포함하는 송화자3차원영상을 생성하여 수화자(listener)의 3차원 영상통신장치로 전송하는 단계를 포함한다.
예시적 실시예의 다른 일측에 따르면, 상기 송화자의 특징점을 설정하는 단계를 더 포함하고, 상기 특징점은 상기 송화자의 눈, 코, 입, 귀, 및 눈썹 중 적어도 하나를 포함할 수 있다.
예시적 실시예의 다른 일측에 따르면, 상기 수화자의 상기 3차원 영상통신장치로부터 수화자3차원영상을 수신하는 단계를 더 포함하고, 표시부에 상기 수화자3차원영상 또는 상기 송화자3차원영상을 표시할 수 있다.
예시적 실시예의 다른 일측에 따르면, 상기 3차원카메라는 스테레오스코픽카메라(stereoscopic camera), 또는 깊이카메라유닛일 수 있다.
예시적 실시예의 다른 일측에 따르면, 상기 3차원카메라부터 상기 송화자까지의 거리를 산출하는 단계를 더 포함하고, 상기 거리는 상기 복수의 2차원영상의 시차(disparity) 또는 깊이정보를 이용하여 산출될 수 있다.
예시적 실시예의 다른 일측에 따르면, 상기 송화자3차원영상은 상기 수화자의 상기 3차원 영상통신장치의 표시부의 기준면에 표시되고, 상기 신규깊이감을 가지는 오브젝트는 상기 기준면을 기준으로 앞쪽- +z축방향 -에서 상기 송화자3차원영상과 구별되게 표시될 수 있다.
예시적 실시예의 다른 일측에 따르면, 상기 신규깊이감을 가지는 오브젝트는 상기 수화자의 상기 3차원 영상통신장치의 상기 표시부의 기준면에 표시되고, 상기 송화자3차원영상은 상기 기준면을 기준으로 뒤쪽- -z축 방향-에서 상기 깊이감조정된 오브젝트와 구별되게 표시될 수 있다.
예시적 실시예의 다른 일측에 따르면, 상기 수렴점을 조정하는 단계는, 상기 기설정된 특징점을 이용하여 상기 스테레오스코픽카메라 또는 깊이카메라유닛에서 취득된 좌측영상 및 우측영상을 시프트(shift), 또는 상기 스테레오스코픽카메라의 좌측카메라의 광축 및 우측카메라의 광축 중 적어도 하나를 회전시켜 조정할 수 있다.
예시적 실시예의 다른 일측에 따르면, 상기 검출된 오브젝트의 원깊이감을 신규깊이감으로 조정하는 단계는, 상기 스테레오스코픽카메라 또는 상기 깊이카메라유닛에서 취득된 좌측영상의 상기 검출된 오브젝트 및 우측영상의 상기 검출된 오브젝트를 확대하거나 시프트, 또는 상기 스테레오스코픽카메라의 좌측카메라의 광축 또는 상기 우측카메라의 광축 중 적어도 하나의 간격(interocular distance)을 조정할 수 있다.
예시적 실시예의 다른 일측에 따르면, 상기 검출된 오브젝트의 원깊이감을 신규깊이감으로 조정하는 단계는, 상기 스테레오스코픽카메라 또는 깊이카메라유닛에서 취득된 좌측영상의 상기 검출된 오브젝트의 크기 및 우측영상의 상기 검출된 오브젝트의 크기에 대응되는 기결정된 비율을 추가하여 확대, 또는 상기 좌측영상의 상기 검출된 오브젝트 및 상기 우측영상의 상기 검출된 오브젝트를 기결정된 크기로 확대할 수 있다.
예시적 실시예의 다른 일측에 따르면, 상기 3차원카메라는 상기 3차원 영상통신장치와 일체형일 수 있다.
다른 예시적 실시예에 따른 3차원 영상통신장치의 영상처리방법은 3차원카메라와 연결가능한 3차원 영상통신장치의 영상통신방법에 있어서, 상기 3차원카메라를 이용하여 송화자에 대응되는 복수의 2차원영상을 취득하는 단계, 상기 송화자의 기설정된 특징점을 이용하여 상기 취득된 복수의 2차원영상의 수렴점을 조정하여 제1 송화자3차원영상을 생성하는 단계, 상기 송화자부터 상기 3차원카메라까지의 거리 내에 위치하는 오브젝트를 검출하는 단계, 상기 검출된 오브젝트의 원깊이감을 신규깊이감으로 조정하는 단계, 상기 신규깊이감을 가지는 상기 오브젝트를 포함하는 제2 송화자3차원영상을 수화자의 3차원 영상통신장치로 전송하는 단계, 및 상기 수화자의 상기 3차원 영상통신장치로부터 수화자3차원영상을 수신하고, 상기 표시부에 상기 원깊이감을 가지는 오브젝트를 포함하는 제1 송화자3차원영상 또는 상기 수화자3차원영상을 표시하는 단계를 포함한다.
예시적 실시예의 다른 일측에 따르면, 상기 3차원카메라부터 상기 송화자까지의 거리를 산출하는 단계를 더 포함할 수 있다.
다른 예시적 실시예에 따른 3차원 영상통신장치의 영상처리방법은 3차원카메라와 연결가능한 3차원 영상통신장치의 영상통신방법에 있어서, 상기 3차원카메라를 이용하여 송화자에 대응되는 복수의 2차원영상을 취득하는 단계, 상기 송화자의 기설정된 특징점을 이용하여 상기 복수의 2차원영상의 수렴점을 조정하는 단계, 상기 송화자에 대응되는 제1영역 및 상기 송화자부터 상기 3차원카메라 사이의 제2영역을 구분하는 단계, 상기 송화자부터 상기 3차원카메라 사이에 위치하는 오브젝트를 검출하는 단계, 상기 검출된 오브젝트의 원깊이감을 신규깊이감으로 조정하는 단계, 및 상기 신규깊이감을 가지는 상기 오브젝트를 포함하는 송화자3차원영상을 생성하는 단계를 포함한다.
예시적 실시예의 다른 일측에 따르면, 상기 송화자부터 상기 3차원카메라 사이에 위치하는 오브젝트를 검출하는 단계는, 상기 검출된 오브젝트를 별개의 레이어(layer)로 구분할 수 있다.
예시적 실시예의 다른 일측에 따르면, 상기 송화자3차원영상을 수화자의 3차원 영상통신장치로 전송하는 단계, 및 상기 수화자의 상기 3차원 영상통신장치로부터 수화자3차원영상을 수신하는 단계를 더 포함하고, 상기 표시부에 상기 수신된 수화자3차원영상 또는 상기 송화자3차원영상을 표시할 수 있다.
예시적 실시예의 다른 일측에 따르면, 상기 송화자3차원영상은 상기 수화자의 상기 3차원 영상통신장치의 표시부의 기준면에 표시되고, 상기 신규깊이감을 가지는 오브젝트는 상기 기준면을 기준으로 앞쪽- +z축방향-에서 상기 송화자3차원영상과 구별되게 표시되거나 또는, 상기 신규깊이감을 가지는 오브젝트는 상기 표시부의 기준면에 표시되고, 상기 송화자3차원영상은 상기 기준면을 기준으로 뒤쪽- -z축 방향-에서 상기 신규깊이감을 가지는 오브젝트와 구별되게 표시될 수 있다.
예시적 실시예의 다른 일측에 따르면, 상기 3차원카메라부터 상기 송화자까지의 거리를 산출하는 단계를 더 포함할 수 있다.
예시적 실시예의 다른 일측에 따르면, 상기 3차원카메라는 스테레오스코픽카메라, 또는 깊이카메라유닛일 수 있다.
다른 예시적 실시예에 따른 3차원 영상통신장치는 3차원영상을 표시하는 표시부를 가지는 3차원 영상통신장치에 있어서, 송화자에 대응되는 복수의 2차원영상을 취득하는 3차원카메라, 저장부, 및 상기 3차원카메라 및 상기 저장부를 제어하는 제어부를 포함하고, 상기 제어부는, 상기 송화자의 기설정된 특징점을 이용하여 상기 복수의 2차원영상의 수렴점을 조정하고, 상기 송화자부터 상기 3차원카메라 사이에 위치하는 오브젝트를 검출하고, 상기 검출된 오브젝트의 원깊이감을 신규깊이감으로 조정하고 상기 신규깊이감을 가지는 오브젝트를 포함하는 복수의 2차원영상으로부터 송화자 3차원영상을 생성할 수 있다.
예시적 실시예의 다른 일측에 따르면, 상기 송화자와 영상통화하는 수화자의 3차원 영상통신장치로 상기 송화자3차원영상을 전송하고, 상기 수화자의 상기 3차원 영상통신장치로부터 수화자3차원영상을 수신하는 송/수신부를 더 포함하고, 상기 표시부는 상기 송화자3차원영상 또는 상기 수신된 수화자3차원영상을 표시할 수 있다.
예시적 실시예의 다른 일측에 따르면, 상기 표시부는 상기 송화자의 특징점을 설정하기 위한 유저인터페이스화면을 표시하고, 상기 유저인터페이스화면을 이용하여 상기 특징점이 입력될 수 있다.
예시적 실시예의 다른 일측에 따르면, 상기 제어부는 상기 복수의 2차원영상을 이용하여 상기 3차원카메라부터 송화자까지의 거리를 산출하고, 상기 산출된 거리를 이용하여 상기 오브젝트를 검출할 수 있다.
다른 예시적 실시예에 따른 3차원 영상통신장치는 3차원영상을 표시하는 표시부를 가지는 3차원 영상통신장치에 있어서, 송화자에 대응되는 복수의 2차원영상을 취득하는 3차원카메라, 저장부, 및 상기 3차원카메라 및 상기 저장부를 제어하는 제어부를 포함하고, 상기 제어부는, 상기 송화자의 기설정된 특징점을 이용하여 상기 복수의 2차원영상의 수렴점을 조정하고, 상기 송화자에 대응되는 제1영역 및 상기 송화자부터 상기3차원카메라 사이의 제2영역을 구분하고, 상기 제2영역에서 상기 오브젝트를 검출하고, 상기 검출된 오브젝트의 원깊이감을 신규깊이감으로 조정하고 상기 신규깊이감을 가지는 오브젝트를 포함하는 복수의 2차원영상으로부터 송화자 3차원영상을 생성할 수 있다. .
예시적 실시예의 다른 일측에 따르면, 상기 송화자와 영상통화하는 수화자의 3차원 영상통신장치로 상기 송화자3차원영상을 전송하고, 상기 수화자의 상기 3차원 영상통신장치로부터 수화자3차원영상을 수신하는 송/수신부를 더 포함하고, 상기 표시부는 상기 송화자3차원영상 또는 상기 수화자3차원영상을 표시할 수 있다.
예시적 실시예의 다른 일측에 따르면, 상기 제어부는 상기 복수의 2차원영상을 이용하여 상기 3차원카메라부터 송화자까지의 거리를 산출하고, 상기 산출된 거리를 이용하여 상기 오브젝트를 검출할 수 있다.
예시적 실시예의 다른 일측에 따르면, 상기 송화자3차원영상은 상기 수화자의 상기 3차원 영상통신장치의 표시부의 기준면에 표시되고, 상기 신규깊이감을 가지는 오브젝트는 상기 기준면을 기준으로 앞쪽- +z축방향-에서 상기 송화자3차원영상과 구별되게 표시되거나 또는, 상기 신규깊이감을 가지는 오브젝트는 상기 표시부의 기준면에 표시되고, 상기 송화자3차원영상은 상기 기준면을 기준으로 뒤쪽- -z축 방향-에서 상기 신규깊이감을 가지는 오브젝트와 구별되게 표시될 수 있다.
송화자부터 3차원카메라 사이에 위치하고, 신규깊이감을 가지는 오브젝트를 포함하는 송화자 3차원영상을 생성하고 전송하여 수화자의 3차원 영상통신장치 앞에 있는 수화자에게 차별되는 3차원영상효과를 제공하는 3차원 영상통신장치 및 3차원 영상통신장치의 영상제어방법이 제공될 수 있다.
송화자의 3차원 영상통신장치에서 생성된 제1 내지 제3 송화자3차원영상을 선택적으로 송화자의 3차원 영상통신장치의 표시부에 표시할 수 있는 3차원 영상통신장치 및 3차원 영상통신장치의 영상제어방법이 제공될 수 있다.
송화자의 3차원 영상통신장치에서 생성된 제2 및 제3 송화자3차원영상을 선택적으로 전송하여 수화자의 3차원 영상통신장치의 표시부에 표시할 수 있는 3차원 영상통신장치 및 3차원 영상통신장치의 영상제어방법이 제공될 수 있다.
도 1은 예시적 실시예에 따른 3차원 영상통신장치를 도시한 블록도이다.
도 2는 예시적 실시예에 따른 3차원 영상통신장치의 영상제어방법을 설명하기 위한 플로우차트이다.
도 3은 예시적 실시예의 일측에 따른 도 2의 S230에서 수행되는 과정을 보다 상세히 나타낸 플로우차트이다.
도 4a 및 도 4b는 예시적 실시예의 일측에 따른 3차원 영상통신장치의 초기 유저인터페이스화면의 예를 도시한 도면이다.
도 5는 예시적 실시예의 일측에 따른 스테레오스코픽카메라의 3차원 영상통신장치의 영상처리방법을 나타낸 도면이다.
도 6은 예시적 실시예의 일측에 따른 스테레오스코픽카메라의 3차원 영상통신장치의 영상처리방법을 나타낸 도면이다.
도 7은 예시적 실시예의 일측에 따른 깊이카메라유닛의 3차원 영상통신장치의 영상처리방법을 나타낸 도면이다.
도 8a 내지 도 8d는 예시적 실시예의 일측에 따른 3차원카메라를 나타내는 도면이다.
도 9는 송화자 3차원 영상통신장치의 영상처리결과를 수화자 3차원 영상통신장치에 표시하는 예를 나타내는 도면이다.
이하, 첨부된 도면들에 기재된 내용들을 참조하여 본 발명에 따른 예시적 실시예를 상세하게 설명한다. 다만, 본 발명이 예시적 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조부호는 실질적으로 동일한 기능을 수행하는 부재를 나타낸다.
도 1은 예시적 실시예에 따른 3차원 영상통신장치를 도시한 블록도이다.
도 1을 참조하면, 예시적 실시예에 따른 3차원 영상통신장치(100, 200)는 유선(wired) 또는 무선네트워크(wireless network)에 접속될 수 있으며, 송화자 3차원 영상통신장치(100)는 유/무선네트워크를 통해서 수화자 3차원 영상통신장치(200)와 연결될 수 있다.
이하에서는 "3차원 영상통신장치"라는 용어는 송화자 3차원 영상통신장치(100) 또는 수화자 3차원 영상통신장치(200)를 포함한다.
3차원 영상통신장치(100)는 유/무선네트워크를 통해서 서버를 포함하는 적어도 하나의 컴퓨터(도시되지 아니함), 적어도 하나의 화상형성장치(도시되지 아니함) 또는 적어도 하나의 휴대용장치(도시되지 아니함)와 연결될 수도 있다.
화상형성장치(도시되지 아니함)는 화상데이터를 출력하는 복사기, 프린터, 팩시밀리, 스캐너 및 복합기(MFP) 등과 같이 다양한 장치들을 포함할 수 있다. 여기서, 복합기는 복사, 인쇄, 스캔, 팩스전송, 이메일전송, 또는 파일전송 중 복수의 기능을 수행할 수 있다.
휴대용장치(도시되지 아니함)는 휴대폰, 스마트폰, 디지털카메라, 이북리더(e-book reader), 태블릿PC(tablet PC), 또는 휴대용 저장매체(예들 들면, USB메모리, 또는 메모리카드 등)를 포함하는 휴대가 가능한 장치를 의미하며, 상술된 장치들로 한정되지 않는다.
이하에서는 외부장치라는 용어는 서버를 포함하는 컴퓨터(도시되지 아니함), 화상형성장치(도시되지 아니함), 또는 휴대용장치(도시되지 아니함)를 포함한다.
서버는 웹 서비스를 지원하는 웹서버 또는 데이터를 저장하는 데이터서버를 포함할 수 있다.
3차원 영상통신장치(100)는 제어부(110), 3차원카메라(180), 거리산출부(130), 오브젝트검출부(135), 전송영상생성부(140), 송/수신부(150), 출력영상생성부(160), 표시부(170), 저장부(180), 마이크(190) 및 스피커(195)를 포함할 수 있다.
제어부(110)는 CPU(도시되지 아니함), 제어프로그램이 저장된 롬(도시되지 아니함) 및 입력데이터를 기억하거나 작업관련 기억영역으로 사용되는 램(도시되지 아니함)을 포함할 수 있다. CPU(도시되지 아니함), 롬(도시되지 아니함) 및 램(도시되지 아니함)은 내부 버스(BUS)를 통해 상호 연결될 수 있다.
제어부(110)는 저장부(180), 3차원카메라(180), 거리산출부(130), 오브젝트검출부(135), 표시부(140), 출력영상생성부(150), 전송영상생성부(160), 송/수신부(170), 마이크(190) 및 스피커(195)를 제어할 수 있다.
3차원카메라(120)는 3차원 영상통화를 위하여 송화자(talker, 10)에 대응되는 복수의 2차원영상- 좌측영상(500, 600, 700) 및 우측영상(505, 605, 705)-을 캡쳐할 수 있다.
이하에서는, 캡쳐된 복수의 2차원영상(500, 5005, 600, 605, 700, 705)이라는 용어는 제1 의 2차원영상을 의미할 수 있다.
이하에서는, 송화자(10)는 3차원카메라(120)에 대향되게 위치하는 송화자(10) 또는 배경(surrounding) 중 적어도 하나를 포함할 수 있다. 3차원카메라(120)에 대향되는 위치에는 송화자(10) 단독, 또는 송화자(10)없이 배경 단독, 또는 송화자(10) 및 배경이 함께 있을 수 있다.
이하에서는, 3차원카메라(120)의 "캡쳐" 또는 "취득"이라는 용어는 동일한 의미로 사용될 수 있다.
3차원카메라(120)에 의해 캡쳐된 제1의 2차원영상은 제어부(10)의 제어에 따라 저장부(180)에 저장될 수 있다.
3차원카메라(120)는 송화자(10) 및 수화자(20)간의 3차원 영상통화에 대응하여 연속적으로 복수의 2차원영상(도시되지 아니함)을 캡쳐할 수 있으며, 연속적으로 캡쳐된 복수의 2차원영상(도시되지 아니함)은 저장부(180)에 저장될 수 있다.
예시적 실시예에 따른 3차원카메라(120)는 표시부(170)의 상부에 위치하나, 3차원카메라(120)의 위치는 변경될 수 있다.
예시적 실시예의 일측에 따른 3차원카메라(120)에 대해서는 도 8a 내지 도8d에서 설명하겠다.
도 8a 내지 도 8d는 예시적 실시예의 일측에 따른 3차원카메라를 나타내는 도면이다.
도 8a 내지 도 8d를 참조하면, 3차원카메라는 송화자(10)의 좌측영상(500, 600)을 캡쳐하는 좌측카메라(121a) 및 우측영상(505,605)을 캡쳐하는 우측카메라(121b)를 포함하는 스테레오스코픽카메라(stereoscopic camera, 121)일 수 있다.
또한, 3차원카메라는 적외선을 방출하는 IR센서(Infrared sensor, 122a), IR센서(122a)에서 방출된 적외선이 송화자(10)에 닿고 반사되어 수신되는 시간을 이용하여 깊이정보를 취득하는 깊이카메라(depth camera, 122b) 및 송화자(10)의 2차원영상(700)을 캡쳐하는 카메라(122c)를 포함하는 깊이카메라유닛(122)을 포함할 수 있다.
깊이카메라유닛(122)은 수신되는 반사광을 이용하여 송화자(10)의 형태를 감지할 수 있다. 깊이카메라유닛(122)은 IR센서(122a)에서 적외선이 방출되고 깊이카메라(122b)에서 수신되는 반사광의 비행시간(Time Of Flight, TOF)을 이용하여 깊이카메라유닛(122)으로부터 송화자(10)까지의 거리를 산출할 수 있다.
수신된 반사광은 필터(도시되지 아니함) 또는 빔스플리터(beam splitter)(도시되지 아니함)를 통과하여 송화자(10)까지의 거리에 대응되는 그레이스케일(grayscale) 데이터로 깊이카메라(122b)에서 센싱될 수 있다.
센싱된 그레이스케일 데이터는 깊이정보(depth information)로 변환되어 2차원영상(705)으로 저장부(180)에 저장될 수 있다.
깊이정보에 대응되는 2차원영상(705)은 깊이카메라(122b)에 가까울수록 더 밝게, 멀수록 더 어둡게 표시된다.
송화자(10)부터 깊이카메라(122b)사이에 위치하는 오브젝트- 예를 들면, 송화자(10)의 손, 선물박스 등-의 경우, 송화자(10)보다 밝게 표시된다.
송화자(10)의 손위에 있는 선물박스가 송화자(10)의 뒤쪽- 예를 들면, 송화자(10)와 배경 사이- 에 있는 경우, 송화자(10)보다 어둡게 표시될 수 있다.
3차원카메라(120)는 송화자(10)에 대응되는 제1의 2차원영상을 캡쳐할 수 있는 카메라를 의미하며, 스테레오스코픽카메라(121) 또는 깊이카메라유닛(122)뿐만 아니라 송화자(10)에 대응되는 복수의 2차원 영상(도시되지 아니함)을 캡쳐할 수 있는 카메라이면 한정되지 않는다.
3차원카메라(120)는 3차원 영상통신장치(100)에 분리되어 유/무선네트워크로 연결되거나 또는 일체형(all-in-one)으로 구성될 수 있다.
거리산출부(130)는 3차원카메라(120)를 통해 캡쳐된 제1의 2차원영상을 이용하여 3차원카메라(120)부터 송화자(10)까지의 거리를 산출한다.
거리산출부(130)는 스테레오스코픽카메라(121)의 경우, 좌측카메라(121a)에서 캡쳐한 좌측영상(500, 600) 및 우측카메라(121b)에서 캡쳐한 우측영상(505, 605)의 시차(disparity)를 이용하여 스테레오스코픽카메라(121)부터 송화자(10)까지의 거리를 산출할 수 있다.
공개된 다양한 알고리즘을 이용하여 좌측영상(500, 600) 및 우측영상(505, 605)의 시차를 이용한 거리를 산출할 수 있다.
거리산출부(130)는 깊이카메라유닛(122)의 경우, IR센서(122a)에서 적외선이 방출되고 깊이카메라(122b)에서 수신되는 반사광의 비행시간을 이용하여 깊이카메라(122b)부터 송화자(10)까지의 거리를 산출할 수 있다.
거리산출부(130)는 스테레오스코픽카메라(121) 및 깊이카메라유닛(122) 뿐만 아니라 송화자(10)에 대응되는 제1의 2차원영상((도시되지 아니함)을 캡쳐할 수 있는 3차원카메라에 대해서도 3차원카메라부터 송화자(10)까지의 거리를 산출할 수 있다.
오브젝트검출부(135)는 제1의 2차원영상을 이용하여 송화자(10)에 대응되는 제1영역 및 송화자(10)부터 3차원카메라(180)사이의 기결정된 거리를 포함하는 제2영역(531, 536, 631, 636, 731, 736)을 구분하고 제2영역(531, 536, 631, 636, 731, 736)내에 위치하는 오브젝트(541, 546, 641, 646, 741, 746)를 검출할 수 있다.
기결정된 거리는 예를 들면, 1m를 의미할 수 있다. 또한, 기결정된 거리는 3차원 영상통신장치의 설정에 따라 변경될 수 있다.
기결정된 거리를 포함하는 제2영역은 복수의 2차원영상(530, 535, 630, 635, 730, 735)에 대응하는 3차원영역(x축, y축, z축에 대응되는)을 의미할 수 있다.
구분된 제2영역은 복수일 수 있으며, 적어도 하나의 제2영역은 3차원 영상통신장치의 설정에 따라 변경될 수 있다.
예시적 실시예에 따른, 오브젝트검출부(135)는 송화자(10)부터 3차원카메라(180)방향으로 1m 이격된 제2영역 내에 위치하는 오브젝트(541, 546)를 검출할 수 있다.
스테레오스코픽카메라(121)의 경우, 오브젝트검출부(135)는 좌측영상(530, 630) 및 우측영상(535, 635)에서 1m 이격된 제2영역(531, 536, 631, 636)에 위치하는 오브젝트(541, 546, 641, 646)를 검출할 수 있다.
다른 예시적 실시예에 따라, 구분된 영역에서 검출된 오브젝트에 대하여 레이어(layer)를 분리할 수 있다.
도 6을 참조하면, 3차원 영상통신장치(100)는 수렴점조정된 복수의 2차원영상(640, 645)-레이어1-에서 제2영역(631,636)내에 위치하는 오브젝트(641,646)를 검출할 수 있다. 또한, 3차원 영상통신장치(100)는 검출된 오브젝트(641, 646)에 대응되는 레이어2(642, 647)를 생성할 수 있다.
레이어2에 대응되는 오브젝트(642, 647)의 깊이감을 조정을 하는 경우, 다른 예시적 실시예에 따른 복수의 2차원영상(540, 545)의 오브젝트(541, 542)에 대한 깊이감조정보다 영상처리효율이 좋을 수도 있다. 이와 같이, 별개의 레이어를 생성하는 실시예는 복잡한 오브젝트의 경우에 적합할 수 있다.
깊이카메라유닛(122)의 경우, 오브젝트검출부(135)는 복수의 2차원영상(730, 735)에서 송화자(10)부터 깊이카메라유닛(122)까지의 거리에서 1m 이격된 제2영역(731, 736)에 위치하는 오브젝트(741, 746)를 검출할 수 있다.
오브젝트검출부(135)에서 검출되는 오브젝트(541, 546, 641, 646, 741, 746)는 3차원 영상통신장치(100)의 설정을 통하여 오브젝트의 종류, 크기에 대한 변경도 가능하다.
3차원카메라(180)에서 복수의 오브젝트(도시되지 아니함)가 검출되는 경우, 3차원 영상통신장치(100)의 설정을 통하여 검출대상의 오브젝트를 지정할 수 있다.
전송영상생성부(140)는 제1의 2차원영상에 대하여 수렴점조정을 수행하여 제2의 2차원영상(520, 525, 620, 625, 720, 725)을 생성하거나 또는 수렴점을 조정하고, 깊이감조정을 수행하여 제3의 2차원영상(560, 565, 660, 665, 760, 765, 10a)을 생성할 수 있다.
제2의 2차원영상이란 용어는 제1 송화자3차원영상과 동일한 의미로 사용될 수 있다. 또한, 제3의 2차원영상이란 용어는 제2 송화자3차원영상과 동일한 의미로 사용될 수 있다.
생성된 제3 송화자 3차원영상은 송화자 3차원 영상통신장치(100)의 송/수신부(150)을 통해 수화자(20)의 3차원 영상통신장치(200)로 전송될 수 있다.
수렴점조정에 대응되는 소프트웨어방식의 경우, 제1의 2차원영상에서 기설정된 특징점(511, 516, 611, 616, 711, 716)을 검출하고, 검출된 특징점(511, 516, 611, 616, 711, 716)을 이용하여 복수의 2차원영상(510, 515, 610, 615, 710, 715)을 시프트(shift)하여 수렴점(point of convergence)을 조정할 수 있다.
도 5의 520,525, 도 6의 620, 625 및 도 7의 720, 725는 제2의 2차원영상일 수 있다.
제2의 2차원영상에서 빈영역(522, 527, 622, 627, 722, 727)은 검은색으로 표시될 수 있다.
수렴점 조정에 대한 하드웨어 방식의 경우, 도 8b를 이용하여 설명하겠다.
도 8b를 참조하면, 스테레오스코픽카메라(121)의 좌측카메라와(121a)의 광축(121c) 및 우측카메라(121b)의 광축(121d)을 이용하여 좌측영상(500, 600) 및 우측영상(505, 605)을 캡쳐할 수 있다.
제1의 2차원영상에서 기설정된 특징점(511, 516, 611, 616)을 검출하고 검출된 특징점(511, 516, 611, 616)을 이용하여 수렴점조정을 할 수 있다.
하드웨어방식은 좌측카메라(121a) 및 우측카메라(121b)에 대응되는 광축의 회전을 위한 모터(도시되지 아니함) 및 기어열(도시되지 아니함)을 포함하는 구동유닛(driving unit, 도시되지 아니함)를 포함할 수 있다.
제어부(110)는 구동유닛을 제어하여 좌측카메라(121a)의 광축(121c) 및 우측카메라(121b)의 광축(121d)중 적어도 하나의 광축을 신규광축(121e, 121f)만큼 회전시켜 수렴점을 조정할 수 있다. 예를 들면, 좌측카메라(121a)의 광축(121c)만이 회전할 수 있다. 또한, 좌측카메라(121a)의 광축(121c) 및 우측카메라(121b)의 광축(121d)이 모두 회전할 수도 있다.
다시 도 1을 참조하면, 제2의 2차원영상은 제어부(110)의 제어에 따라 저장부(180)에 저장될 수 있다.
다른 예시적 실시예에 따르면, 전송영상생성부(140)는 제2의 2차원영상을 생성하고, 생성된 제2의 2차원영상은 3차원 영상통신장치(100)의 표시부(170)에 표시되는 제1 송화자3차원영상일 수 있다.
제1 송화자3차원영상은 제2의 2차원영상에 대응되는 출력영상을 의미한다.
전송영상생성부(140)는 오브젝트검출부(135)에서 검출된 오브젝트(541, 546, 641, 646, 741, 746)의 원깊이감(original sense of depth)을 신규깊이감(new sense of depth)으로 조정할 수 있다.
깊이감조정에 대한 소프트웨어 방식의 경우, 전송영상생성부(140)는 검출된 오브젝트(541, 546, 641, 646, 741, 746)의 크기를 신규크기로 확대 또는 시프트되는 것을 포함할 수 있다.
복수의 2차원영상(540, 545, 640, 645, 740, 745)에 각각 포함되어 있는 오브젝트(541, 546, 641, 646, 741, 746)의 경우, 적어도 하나의 방향(오브젝트의 중심을 기준으로 예를 들면, +x축, -x축, +y축, -y축)으로 확대, 또는 적어도 하나의 방향으로 시프트될 수도 있다.
다른 예시적 실시예에 따라, 전송영상생성부(140)는 레이어가 구분 되는 경우, 레이어1에 대응되는 복수의 2차원영상(640, 645)에 대해서는 원깊이감을 유지하고, 레이어2에 대응되는 오브젝트(642, 647)에 대해서는 신규깊이감으로 조정할 수 있다. 검출된 오브젝트(641, 646)의 크기가 신규크기로 확대 또는 시프트되는 것을 포함할 수 있다.
깊이감조정에 대한 하드웨어 방식의 경우, 도 8b 및 8c를 이용하여 설명하겠다.
도 8c를 참조하면, 스테레오스코픽카메라(121)의 경우, 제어부(110)의 제어에 따라 좌측카메라와(121a) 및 우측카메라(121b)사이의 간격(interocular distance, ID)을 조정할 수 있다. 좌측카메라와(121a)의 좌측영상(도시되지 아니함) 및 우측카메라(121b)의 우측영상(도시되지 아니함)은 좌측카메라와(121a) 및 우측카메라(121b)의 이동가능한 조정한계(121c)내에서 깊이감이 조정될 수 있다.
하드웨어방식은 좌측카메라(121a) 및 우측카메라(121b)에 간격을 조정하기 위한 모터(도시되지 아니함) 및 기어열(도시되지 아니함) 또는 벨트(도시되지 아니함)를 포함하는 구동유닛(도시되지 아니함)을 포함할 수 있다. .
좌측카메라와(121a) 및 우측카메라(121b)의 간격이 증가되는 경우, 증가되는 간격에 대응하여 시차가 증가된다. 또한 좌측카메라와(121a) 및 우측카메라(121b)의 간격이 감소되는 경우, 감소되는 간격에 대응하여 시차가 감소된다.
깊이카메라유닛(132)의 경우, 전송영상생성부(140)는 복수의 2차원영상(700, 707)을 이용해서, 스테레오스코픽카메라(131)의 경우와 유사하게 수렴점조정과 깊이감조정(760, 765)을 할 수 있다.
제3의 2차원영상은 제어부(110)의 제어에 따라 저장부(180)에 저장할 수 있다.
저장된 제3의 2차원영상은 송/수신부(150)를 통해 3차원 영상통신장치(200)로 전송될 수 있다.
수화자(20)의 3차원 영상통신장치(200)는 수신된 제2 송화자3차원영상 및 3차원카메라(220)에서 캡쳐하여 생성되는 수화자3차원영상(도시되지 아니함)을 출력영상생성부(260)에서 출력영상(10a, 20a)으로 생성하여 표시부(270)에 표시할 수 있다.
전송영상생성부(140)는 제2 송화자3차원영상을 이용하여 제3 송화자3차원영상을 생성할 수 있으며, 송/수신부(150)를 통해 3차원 영상통신장치(200)의 송/수신부(250)로 전송할 수 있다. 또한, 생성된 제3 송화자3차원영상(10a)은 제어부(110)의 제어에 따라 저장부(180)에 저장될 수 있다.
제3 송화자3차원영상은 유/무선네트워크를 이용하여 수화자 3차원 영상통신장치(200)가 지원하는 스펙(specification)-예를 들면, 표시부(270)의 크기, 해상도, 명암비 등-을 확인할 수 있다.
확인된 수화자 3차원 영상통신장치(200)의 스펙에 대응하여 제3 송화자3차원영상을 생성될 수 있다.
수화자 3차원 영상통신장치(200)의 출력영상생성부(260)는 수신된 제3 송화자3차원영상에 대하여 현재방식-예를 들면, 복수의 2차원영상출력영상으로 출력영상을 생성-과 다르게, 바로 표시부(270)에 표시할 수 있다.
출력영상생성부(260)은 전송되는 제2 송화자3차원영상은 현재방식을 이용하여 출력영상을 생성하고, 제3 송화자3차원영상은 출력영상(10a)으로 바로 표시부(170, 270)에 표시될 수 있다.
출력영상생성부(160)에서 생성된 제2 및 제3 송화자3차원영상은 3차원 영상통신장치의 표시부(270)의 기준면에 표시되고, 신규깊이감을 가지는 오브젝트(920)는 상기 기준면을 기준으로 앞쪽-표시부(270)의 기준면에서 수화자(10)방향, +z축방향 -에서 상기 송화자3차원영상과 구별되게 표시될 수 있다.
출력영상생성부(160)에서 신규깊이감을 가지는 오브젝트(920)는 수화자 3차원 영상통신장치(200)의 표시부(270)의 기준면에 표시되고, 송화자3차원영상은 기준면을 기준으로 뒤쪽-표시부(270)의 기준면에서 수화자(10)의 반대방향, -z축방향 -에서 송화자3차원영상과 구별되게 표시될 수 있다.
송/수신부(150)는 3차원 영상통신장치의 설정에 따라, 저장된 제2 또는 제3 송화자3차원영상 또는 송화자(10)의 음성을 유/무선네트워크를 이용하여 수화자 3차원 영상통신장치(200)의 송/수신부(250)로 선택적으로 전송할 수 있다.
송/수신부(150)는 제2 또는 제3 송화자3차원영상 또는 음성을 유/무선네트워크에 대응되는 전송포맷으로 변환(encoding)하여 전송할 수 있다.
송/수신부(150)는 3차원 영상통신장치의 설정에 따라, 복수의 수화자 3차원 영상통신장치의 송수신부로 저장된 제2 또는 제3 송화자3차원영상 또는 송화자(10)의 음성을 선택적으로 전송할 수 있다. 따라서, 한 명의 송화자는 복수의 수화자와 3차원영상통신을 할 수 있다.
송/수신부(150)은 수화자 3차원 영상통신장치(200)의 송/수신부(250)로부터 3차원 영상통신장치의 설정에 따라, 제2 및 제3 송화자3차원영상에 대응되는 제2 및 제3 수화자3차원영상 및 수화자(20)의 음성을 수신할 수 있다. 송/수신부(150)는 유/무선네트워크에 대응되는 전송포맷으로 변환된 제2 또는 제3 송화자3차원영상 또는 음성을 각각, 제2 또는 제3 수화자3차원영상 또는 음성으로 복원(decoding)할 수 있다.
복원된 제2 또는 제3 송화자3차원영상 또는 음성은 저장부(180)에 저장될 수 있다.
송/수신부(150)는 제어부(110)의 제어에 따라 저장부(180)에 저장된 제1의 2차원영상 또는 생성된 제1 내지 제3 송화자3차원영상을 유/무선네트워크를 이용해서 외부장치로 전송할 수 있다. 물론 수신된 제2 및 제3 수화자3차원영상도 외부장치로 전송할 수 있다.
제1의 2차원영상 또는 생성된 제1 내지 제3 송화자3차원영상이 서버를 포함하는 컴퓨터 또는 휴대용장치로 전송하는 경우, 컴퓨터 또는 휴대용장치의 저장부)에 저장될 수 있고 표시부에 표시될 수도 있다.
제1의 2차원영상 또는 생성된 제1 내지 제3 송화자3차원영상은 서버를 포함하는 컴퓨터 또는 휴대용장치의 2차원 또는 3차원 편집프로그램을 이용하여 편집될 수 있다.
또한, 제1의 2차원영상 또는 생성된 제1 내지 제2 송화자3차원영상 또는 수신된 제1 및 제2 수화자3차원영상이 화상형성장치로 전송하는 경우, 화상형성장치가 지원하는 기록매체(recording medium)에 출력(printout)될 수 있다.
출력영상생성부(160)는 표시부(170)에 표시되는 출력영상(10a, 20a)을 생성할 수 있다. 출력영상(10a, 20a)은 전송영상생성부(140)에서 생성된 제1 내지 제3 송화자3원영상 또는 송/수신부(150)에서 수신된 제2 또는 제3 수화자3차원영상을 포함할 수 있다.
출력영상생성부(160)는 표시부(170)의 크기, 표시부(170)의 송화자표시영역(170a)의 크기(가로x세로) 및 표시위치 또는 수화자표시영역(170b)의 크기(가로x세로) 및 표시위치에 대응되게 제2 또는 제3 송화자3차원영상 및 수신된 제2 또는 제3 수화자3차원영상을 이용하여 출력영상(10a, 20a)으로 표시부(170)에 표시할 수 있다.
출력영상생성부(160)는 3차원 영상통신장치의 설정에 따라, 저장부(180)에 저장되는 제2 송화자3차원영상 또는 제2 수화자3차원영상을 이용하여, 표시부(170)의 크기 및 표시위치, 또는 송화자표시영역(170a)의 크기 및 표시위치에 대응하여 출력영상(10a) 또는 출력영상(20a)을 신규로 생성할 수 있다.
출력영상생성부(160)는 저장부(180)에 저장된 제3 송화자3차원영상 및 제3 수화자3차원영상을 출력영상으로 표시부(170)에 표시되게 할 수 있다. 이때, 출력영상은 표시부(170)의 크기 및 송화자표시영역(170a) 또는 수화자표시영역(170b)의 크기 및 표시되는 위치에 대응되게 변환될 수 있다.
다른 예시적 실시예에 따른, 출력영상생성부(160)는 제2의 2차원영상-제1 송화자3차원영상-을 이용하여 출력영상(10b)을 생성하고 표시부(170)의 송화자표시영역(170a)에 표시할 수 있다.
이때, 수화자표시영역(170b)에는 제2 및 제3 수화자3차원영상에 대응되는 출력영상(20b)이 표시될 수 있다.
출력영상생성부(160)는 3차원 영상통신장치(100)가 지원하는 안경방식 또는 무안경방식에 대응되는 3차원영상(10a, 20a)를 생성할 수 있다.
예시적 실시예에 따른 전송영상생성부(140) 및 출력영상생성부(160)는 하나의 영상생성부(도시되지 아니함)로 구현될 수 있다. 영상생성부(도시되지 아니함)는 제1 내지 제3 송화자3차원영상을 생성할 수 있다. 생성된 제1 내지 제3 송화자3차원영상 또는 수신된 제2 및 제3 수화자3차원영상을 표시부(170)에 표시할 출력영상(10a, 10b) 또는 출력영상(20a)으로 생성할 수 있다.
표시부(170)는 송화자표시영역(170a) 또는 수화자표시영역(170b) 중 적어도 하나를 표시할 수 있다. 예를 들면, 표시부(170)는 송화자표시영역(170a)만 표시, 수화자표시영역(170b)만 표시, 또는 송화자표시영역(170a) 및 수화자표시영역(170b)을 둘 다 표시할 수 있다.
표시부(170)에 표시되는 송화자표시영역(170a) 또는 수화자표시영역(170b)은 3차원 영상통신장치(100)의 메뉴(410)의 3차원 영상통화(420)항목을 이용하여 크기(예를 들면, 표시부(170)의 크기대비 비율(%)) 및 위치(예를 들면, 상, 하, 좌, 우)를 설정할 수 있다.
표시부(170)는 3차원 영상통신장치(100)가 지원하는 안경방식 또는 무안경방식에 대응되는 3차원영상(10a, 10b, 20a)을 표시할 수 있다.
설정은 리모트콘트롤러(도시되지 아니함)를 이용하거나 또는 표시부(170)가 터치스크린인 경우, 터치입력으로도 가능하다.
저장부(180)는 제어부(110)의 제어에 따라, 제1 내지 제3의 2차원영상을 저장할 수 있다. 또한, 저장부(180)는 전송영상생성부(140)에서 생성되는 제1 내지 제3 송화자3차원영상을 저장할 수 있다.
저장부(180)는 3차원 영상통신장치(100)의 표시부(170)에 표시되는 출력영상(10a, 10b, 20a)을 저장할 수 있다.
저장부(180)는 3차원 영상통신장치(100)와 일체형이거나 또는 분리될 수 있다. 또한, 저장부(180)은 비휘발성(nonvolatile)메모리, 휘발성(volatile)메모리, 하드디스크드라이브(HDD) 또는, 솔리드스테이트드라이브(Solid State Driver, SSD)를 포함할 수 있다.
이하에서는, "저장부 또는 저장부(180)"라는 용어는 저장부(180) 또는 제어부(110) 내 롬(도시되지 아니함), 램(도시되지 아니함)을 포함한다.
마이크(190)은 송화자(10)의 음성 또는 주위의 음성을 수신한다.
3차원 영상통신장치(100)는 적어도 하나의 마이크(190)를 포함하며, 움직이는 송화자(10)의 위치에 대응하여 마이크(190)의 방향도 변동될 수 있다.
스피커(195)는 표시부(270)에 표시되는 출력영상(10a, 20a, 20b)에 동기되는 송화자(10)의 음성 또는 수화자(20)의 음성을 출력할 수 있다. 3차원 영상통신장치(100)는 적어도 하나의 스피커(195)를 포함하며 스피커(195)의 개수 또는 위치에 따라 다양한 입체음향을 송화자(10)에게 제공할 수 있다.
수화자 3차원 영상통신장치(200)에서 출력영상(10a)의 깊이감조정된 오브젝트(920)가 표시되는 경우, 스피커(295)에서는 이에 대응되는 효과음- 예를 들면, 악기소리, 천둥소리, 자동차경적 등-과 같은 송화자(10)의 음성과는 차별화된 효과음향을 제공할 수도 있다.
3차원카메라(180) 또는 표시부(170) 중 적어도 하나는 3차원 영상통신장치(100)에서 분리될 수 있으며, 분리되는 경우에는 3차원 영상통신장치(100)에 유/무선네트워크로 연결될 수 있다.
3차원카메라(180) 또는 표시부(170) 중 적어도 하나가 분리되는 경우, 3차원 영상통신장치(180)은 제어부(110), 저장부(180), 거리산출부(130), 오브젝트검출부(135), 전송영상생성부(140), 송/수신부(150), 출력영상생성부(160), 마이크(290) 및 스피커(295)를 포함할 수 있다.
3차원 영상통신장치(200)는 제어부(210), 3차원카메라(280), 거리산출부(230), 오브젝트검출부(235), 전송영상생성부(240), 송/수신부(250), 출력영상생성부(260), 표시부(270), 저장부(280), 마이크(290) 및 스피커(295)를 포함할 수 있다.
3차원 영상통신장치(200)의 구성요소들(210 내지 295)의 기능과 구조는 송화자 3차원 영상통신장치(100)의 구성요소들(110 내지 195)의 기능과 구조와 유사하게 동작할 수 있다.
3차원 영상통신장치(200)의 3차원카메라(220)는 수화자(20)에 대응되는 복수의 2차원영상(도시되지 아니함)을 캡쳐할 수 있다. 캡쳐된 복수의 2차원영상에 대하여 거리산출부(230)에서 3차원카메라(220)부터 수화자(20)까지의 거리를 산출할 수 있다.
또한, 차원 영상통신장치(200)는 오브젝트검출부(235)에서 산출된 거리를 이용하여 수화자(20)부터 3차원카메라(220)사이에 위치하는 오브젝트를 검출할 수 있다.
차원 영상통신장치(200)는 출력영상생성부(260)에서 검출된 오브젝트에 대하여 수렴점을 조정하고, 깊이감을 조정하여. 제1 내지 제3 수화자3차원영상을 생성할 수 있다.
또한, 차원 영상통신장치(200)는 마이크(290)를 통해 수화자(20)의 음성 또는 주위의 음성을 수신할 수 있다.
송/수신부(250)는 생성된 제2 또는 제3 수화자3차원영상 또는 수화자의 음성을 송화자 3차원 영상통신장치(100)으로 전송할 수 있다. 또한, 송/수신부(250)는 송화자 3차원 영상통신장치(100)로부터 제2 또는 제3 송화자3차원영상 또는 송화자(10)의 음성을 수신할 수 있다.
수신된 송화자 3차원 영상통신장치(100)로부터 제2 또는 제3 송화자3차원영상 또는 송화자(10)의 음성은 저장부(280)에 저장될 수 있다.
출력영상생성부(270)는 수신된 제2 송화자3차원영상을 출력영상으로 생성하여 표시부(270)에 표시할 수 있다. 또한 제2 송화자3차원영상의 경우, 표시부(270)에 바로 표시될 수 있다.
출력영상생성부(270)는 제1 내지 제3 수화자3차원영상을 출력영상으로 생성하여 표시부(270)에 표시할 수 있다.
깊이감조정된 오브젝트를 포함하는 제2 또는 제3 송화자3차원영상은 표시부(280)에 표시되는 경우, 수화자(20)에게 차별되는 3차원영상효과를 제공할 수 있다.
스피커(295)는 표시부(270)에 표시되는 출력영상(10a, 20a, 20b)에 동기되는 송화자(10) 또는 수화자(20)의 음성을 출력할 수 있다.
도 2는 예시적 실시예에 따른 3차원 영상통신장치의 영상제어방법을 설명하기 위한 플로우차트이다.
도 2의 단계(S210)에서 3차원 영상통신장치는 송화자(10)의 의도에 따라 3차원 영상통화 서비스에 로그인한다.
송화자(10)는 3차원 영상통신장치(100)의 표시부(170)에 표시되는 로그인화면(도시되지 아니함)에서, 송화자(10)의 ID와 패스워드를 입력하고 영상통화 서비스에 로그인할 수 있다.
3차원 영상통신장치는 표시부(170)를 통해 영상통화서비스에 대응되는 유저인터페이스 화면(도시되지 않음)을 송화자(10)에게 제공할 수 있다.
영상통화서비스에 로그인한 송화자(10)는 표시부(170)에 표시되는 영상통화서비스에 대응되는 유저인터페이스 화면(도시되지 아니함)을 이용하여 3차원 영상통화를 위한 설정을 할 수 있다.
도 2의 단계(S220)에서 3차원 영상통신장치는 송화자의 특징점을 설정한다.
도 4a 및 도 4b는 예시적 실시예의 일측에 따른 3차원 영상통신장치의 설정을 위한 유저인터페이스화면의 예를 도시한 도면이다.
도 4a를 참조하면, 3차원 영상통신장치(100)의 표시부(170)에 설정을 위한 메뉴(410)가 표시될 수 있다.
메뉴(410)의 항목에는 영상, 음향, 3D영상통화, 부가기능을 포함할 수 있으며, 방향키(410a)를 선택하는 경우, 메뉴(410)의 추가항목이 표시될 수 있다.
메뉴(410)의 항목은 3차원 영상통신장치(100)가 지원하는 기능(function)에 따라 변경될 수 있다.
메뉴(410)에서 3차원 영상통화(420)가 선택되는 경우, 3차원 영상통화(420)의 측면에 Surprise기능(430)이 표시되고, 특징점설정(440)이 표시된다. 방향키(430a)가 선택되는 경우, 2차원 영상통화(420)의 추가항목이 표시될 수 있다.
표시된 특징점설정(440)항목에서 특징점 선택대상인 눈, 코, 입, 귀, 및 눈썹 중 적어도 하나가 선택될 수 있다. 예를 들면, 눈만 선택할 수 있고, 눈 및 코를 선택할 수도 있고, 눈, 코, 입, 귀, 눈썹을 모두 선택할 수 있다.
특징점은 눈, 코, 입, 귀, 또는 눈썹뿐만 아니라, 3차원 영상통신장치에서 설정할 수 있는 특징점이면 종류 및 개수에 한정되지 않는다.
선택된 특징점은 측면의 미리보기영역(450)의 미리보기(450a)에 표시되어 송화자(10)가 확인할 수 있다.
특징점설정(440)을 이용하여 3차원카메라(120)에서 캡쳐되는 제1의 2차원영상에 대한 수렴점조정이 가능하다.
표시된 특징점설정(440)에서 방향키(440a)가 선택되는 경우, 깊이감설정(460)을 위한 화면이 표시될 수 있다.
깊이감설정(460)의 대상은 송화자(10)부터 3차원카메라(180)사이에 위치하는 적어도 하나의 오브젝트(910)이다.
예시적 실시예에 따른, 표시부(170, 270)에 표시되는 신규깊이감을 가지는 오브젝트(920)에 의해 송화자(10) 또는 수화자(20)는 차별되는 3차원영상효과를 제공할 수 있다.
선택가능한 깊이감설정(460)은 오토(Auto), 강(80%), 중(50%), 약(30%) 또는 최대(Max)를 포함한다.
오토(Auto)는 오브젝트(910)부터 3차원카메라(120)사이의 거리 또는 오브젝트(910)의 크기 중 적어도 하나를 이용하여 깊이감을 설정할 수 있다.
강(80%), 중(50%), 약(30%)의 값(80%, 50%, 30%)은 최대(Max)-예를 들면, 3차원 영상통신장치(100)가 지원하는 최대깊이감-를 기준으로 설정되는 항목들이며 설정에 따라 변경할 수 있다.
최대(Max)는 3차원 영상통신장치(100)가 지원하는 최대깊이감으로 설정할 수 있으며, 설정에 따라 변경할 수 있다.
선택된 깊이감은 측면의 미리보기영역(450)에 깊이감조정전의 오브젝트(910)의 원깊이감(450b) 및 깊이감조정후의 오브젝트(920)의 신규깊이감(450c)이 표시될 수 있다.
송화자(10)는 표시되는 미리보기영역(450)을 확인할 수 있으며, 필요한 경우 수정을 할 수 있다.
도 2의 단계(S230)에서, 송화자(10)는 3차원 영상통신장치(100)를 이용하여 영상통화의 대상인 수화자(20)와 3차원영상통화를 연결한다.
표시부(170)에 표시되는 전화번호부(phonebook, 도시되지 아니함)에서 적어도 하나의 수화자(20)를 선택할 수 있다.
또한, 표시부(170)에 표시되는 전화번호키(ten key)를 이용하여 직접 전화번호를 입력-예를 들면, 리모트콘트롤러(도시되지 아니함) 또는 표시부(170)가 터치스크린인 경우 터치입력-하여 수화자(20)와 3차원영상통화를 시도할 수 있다.
송화자(10)는 복수의 수화자와 3차원영상통화를 할 수 있다.
송화자910)는 표시부(170)에서 복수의 수화자를 선택-전화번호부 또는 직접인력-하여 3차원영상통화를 연결할 수 있다.
송화자(10)는 한 명의 수화자와 3차원영상통화를 하는 중, 표시부(170)에서 다른 한 명의 수화자를 선택-전화번호부 또는 직접입력-하여 3차원영상통화를 시도하여 연결할 수 있다.
복수의 수화자가 연결되는 경우, 표시부(170)에 송화자(10) 또는 복수의 수화자에 대응되는 출력영상이 표시될 수 있다.
송화자(10) 및 수화자(20)간의 영상통화가 연결되는 경우, 3차원 영상통화가 시작된다.
도2의 단계(S240)에서, 전송영상생성부(140)는 3차원카메라(180)에서, 캡쳐된 제1의 2차원영상에 대하여 수렴점조정을 할 수 있다.
전송영상생성부(140)는 오브젝트검출부(135)에서 검출된 오브젝트에 대하여 신규깊이감 조정을 한다.
도 2의 단계(S240)에서, 수행되는 과정은 도 3의 플로우차트에서 상세히 설명하겠다.
도 3은 예시적 실시예의 일측에 따른 도 2의 단계(S240)에서 수행되는 과정을 보다 구체적으로 나타낸 플로우차트이다.
도 3의 단계(S241 내지 S246)는 도 5 내지 도 7의 도면을 이용하여 설명하겠다.
도 5 내지 도 7은 예시적 실시예의 일측에 따른 스테레오스코픽카메라, 깊이카메라유닛의 3차원 영상통신장치의 영상처리방법을 나타낸 도면이다.
도 5를 참조하면, 스테레오스코픽카메라(121)의 좌측영상(500 내지 560) 및 우측영상(505 내지 565)은 동일한 각각의 영상(500, 505)이며, 도 5에서 수행되는 과정을 설명하기 위해 좌측영상 및 우측영상으로 각각 구분하였다.
도 6을 참고하면, 각각의 영상(600, 605) 및 도 7을 참고하면, 각각의 영상(700, 707)의 경우에도 동일하게 적용할 수 있다.
도 3의 단계(S241)에서, 3차원 영상통신장치는 3차원카메라(120)를 이용하여 제1의 2차원영상을 캡쳐한다.
스테레오스코픽카메라(121)의 경우, 도 5 및 도 6을 참조하면, 캡쳐된 제1의 2차원영상은 송화자(10)에 대응되는 좌측카메라(121a)의 좌측영상(500, 600) 및 우측카메라(122b)의 우측영상(505, 605)을 포함할 수 있다.
깊이카메라유닛(122)의 경우, 도 7을 참조하면 제1의 2차원영상은 송화자(10)를 캡쳐하는 카메라(122c)에 대응되는 좌측영상(700) 및 좌측영상(700) 및 깊이카메라(122b)에서 취득된 깊이정보를 이용하여 생성되는 가상의 2차원영상(707)에 대응되는 우측영상(707)을 포함할 수 있다.
3차원카메라(120)는 3차원영상통화를 위하여 연속적으로 복수의 2차원영상을 캡쳐할 수 있다.
도 3의 단계(S242)에서, 3차원영상통신장치를 이용하여 3차원카메라(120)부터 송화자(10)까지의 거리를 산출한다.
거리산출부(130)는, 스테레오스코픽카메라(121)의 경우, 송화자(10)의 기설정된 특징점(511, 516, 611, 616)을 이용하여 좌측영상(500, 600) 및 우측영상(505, 605)의 시차(disparity)를 이용하여 스테레오스코픽카메라(121)부터 송화자(10)까지의 거리를 산출한다.
좌측영상 및 우측영상의 시차를 이용한 거리산출방법은 공개된 다양한 알고리즘을 이용할 수 있다.
거리산출부(130)는 깊이카메라유닛(122)의 경우, IR센서(122a)에서 적외선이 방출되고 깊이카메라(122b)에서 수신되는 반사광의 비행시간을 이용하여 깊이카메라(122b)부터 송화자(10)까지의 거리를 산출할 수 있다.
깊이카메라(122b)부터 송화자(10)까지의 산출된 거리는 별도의 룩업테이블(look-up table)로 저장부(180)에 저장될 수 있다. 예들 들면, 깊이카메라유닛(122)로부터 송화자는 2m 이격된 위치, 오브젝트는 1.5m 이격된 위치로 저장될 수 있다.
도 3의 단계(S243)에서, 3차원 영상통신장치는 송화자(10)에 대응되는 제1의 2차원영상을 이용하여 수렴점조정을 한다.
수렴점조정에 대응되는 스테레오스코픽카메라(121)의 소프트웨어방식의 경우, 좌측영상(510, 610) 및 우측영상(515, 615)에서 기설정된 특징점(511, 516)을 검출하고, 검출된 특징점(511, 516)을 이용하여 좌측영상(510, 610) 및 우측영상(515, 615) 중 적어도 하나를 시프트(shift)하여 수렴점(521, 526)조정을 할 수 있다. 시프트되는 방향은 상, 하, 좌, 우 중 적어도 하나의 방향이다.
좌측영상(510, 610) 및 우측영상(515, 615)이 시프트되는 경우, 빈영역(522, 527)은 검은색으로 표시될 수 있다.
수렴점조정에 대응되는 깊이카메라유닛(122)의 소프트웨어방식의 경우, 스테레오스코픽카메라(121)와 유사하게 좌측영상(710)과 우측영상(715)에서 기설정된 특징점(711, 716)을 검출하고, 검출된 특징점(711, 716)을 이용하여 좌측영상(710) 및 우측영상(716) 중 적어도 하나를 시프트하여 수렴점(721, 726)조정을 할 수 있다.
좌측영상(710) 및 우측영상(716)이 시프트되는 경우, 빈영역(722, 727)은 검은색으로 표시될 수 있다.
수렴점 조정에 대응되는 하드웨어 방식의 경우, 도 8b를 이용하여 설명하겠다.
도 8b를 참조하면, 스테레오스코픽카메라(121)의 좌측카메라와(121a)의 광축(121c) 및 우측카메라(121b)의 광축(121d)을 이용하여 좌측영상(500) 및 우측영상(505)을 캡쳐할 수 있다.
좌측영상(510,610)의 특징점(511, 611) 및 우측영상(515, 615)의 특징점(516, 616)을 검출하고 검출된 특징점(511, 516, 611, 616)을 이용하여 하드웨어방식으로 수렴점조정을 할 수 있다.
하드웨어방식은 좌측카메라(121a) 및 우측카메라(121b)에 대응되는 광축의 변경을 위한 모터(도시되지 아니함) 및 기어열(도시되지 아니함)을 포함하는 구동유닛(driving unit, 도시되지 아니함)을 포함할 수 있다.
수렴점조정을 위해 제어부(110)는 모터구동부를 제어하여 수렴점 조정을 위하여 결정된 각도만큼 광축(121c, 121d)을 신규광축(121e, 121f)으로 조정할 수 있다.
도 3의 단계(S244)에서, 3차원 영상통신장치는 송화자(10)부터 3차원카메라(120)까지의 거리에서 기결정된 거리의 영역을 구분한다.
산출된 송화자(10)부터 3차원카메라(180)까지의 거리를 이용하여 오브젝트검출부(135)는 송화자(10)에 대응되는 제1 영역 및 송화자(10)부터 3차원카메라(180)방향으로 기결정된 거리를 포함하는 제2영역(531, 536, 631, 636, 731, 736)을 구분할 수 있다.
기결정된 거리는 예를 들면, 1m를 의미할 수 있다. 또한, 기결정된 거리는 3차원 영상통신장치의 설정에 따라 변경될 수 있다.
기결정된 거리를 포함하는 제2영역은 복수의 2차원영상(530, 535, 630, 635, 730, 735)에 대응하는 3차원영역(x축, y축, z축에 대응되는)을 의미할 수 있다.
구분된 제2영역은 복수일 수 있으며, 3차원 영상통신장치(100)의 설정에 따라 변경할 수 있다.
스테레오스코픽카메라(121) 및 깊이카메라유닛(122)의 영역을 구분하는 단계(S244)는 실질적으로 유사할 수 있다.
도 3의 단계(S245)에서, 3차원 영상통신장치는 송화자(10)부터 3차원카메라(120)사이의 거리에 위치하는 오브젝트를 검출한다.
오브젝트검출부(135)를 이용하여 구분된 제2영역(531, 536, 631, 636, 731, 736)에 포함되는 오브젝트(541, 546, 641, 646, 741,746)를 검출할 수 있다.
오브젝트검출부(135)를 이용하여 검출가능한 오브젝트는 종류, 크기 또는 개수에 한정되지 않는다.
구분된 제2영역(531, 536, 631, 636, 731, 736)에서 복수의 오브젝트가 검출될 수 있으며, 3차원 영상통신장치의 설정을 통하여 검출대상의 오브젝트를 지정할 수 있다.
스테레오스코픽카메라(121) 및 깊이카메라유닛(122)의 오브젝트를 검출하는 단계(S235)는 실질적으로 유사할 수 있다.
다른 예시적 실시예에 따라, 3차원 영상통신장치는 구분된 영역 내에서 검출된 오브젝트에 대하여 레이어를 분리할 수 있다.
도 6을 참조하면, 3차원 영상통신장치(100)는 제2영역(631,636)내에 위치하는 오브젝트(641,646)를 검출할 수 있다. 3차원 영상통신장치(100)는 검출된 오브젝트(641, 646)에 대응되는 레이어2(642, 647)를 생성할 수 있다.
레이어2에 대응되는 오브젝트(642, 647)의 깊이감을 조정을 하는 경우, 다른 예시적 실시예에 따른 복수의 2차원영상(540, 545)의 오브젝트(541, 542)에 대한 깊이감조정보다 영상처리효율이 좋을 수도 있다. 이와 같이, 별개의 레이어를 생성하는 실시예는 복잡한 오브젝트의 경우에 적합할 수 있다.
도 3의 단계(S246)에서, 3차원 영상통신장치는 오브젝트(541, 546, 641, 646, 741, 746)의 원깊이감을 신규깊이감으로 조정한다.
깊이감조정에 대응되는 소프트웨어방식의 경우, 전송영상생성부(140)는 검출된 오브젝트(541, 546, 641, 646, 741, 746)의 크기를 신규 크기로 확대 또는 시프트를 포함할 수 있다.
좌측영상(550, 650, 750) 및 우측영상(555, 655, 755)에 포함되는 오브젝트(541, 546, 641, 646, 741, 746)의 경우, 적어도 하나의 방향(오브젝트의 중심을 기준으로 예를 들면, +x축, -x축, +y축, -y축)으로 확대, 또는 적어도 하나의 방향으로 시프트할 수 있다.
깊이감조정이 완료되는 경우, 제3의 2차원영상이 생성될 수 있다.
깊이감조정된 좌측영상(560, 660, 750) 및 우측영상(565, 665, 765)은 3차원카메라(180)에서 캡쳐된 좌측영상(500, 600, 700) 및 우측영상(505, 605, 705)에 깊이감조정의 결과를 '오버라이트(overwrite)'하거나 또는 '다른이름으로 저장(save as)'하여 생성될 수 있다.
제3의 2차원영상의 오브젝트와 제2의 2차원영상의 오브젝트를 비교하는 경우, 깊이감조정의 차이를 확인할 수 있다.
깊이감조정의 차이가 수화자 3차원 영상통신장치(200)를 이용하여 영상통화를 하는 수화자(20)에게 차별화된 3차원영상효과를 제공할 수 있다.
하드웨어방식은 도 8b 및 도 8c를 참조하여 설명하겠다.
도 8b 및 8c를 참조하면, 스테레오스코픽카메라(121)의 경우, 제어부(110)의 제어에 따라 좌측카메라와(121a) 및 우측카메라(121b)사이의 간격(interocular distance, ID)을 조정할 수 있다.
좌측카메라와(121a)의 좌측영상(도시되지 아니함) 및 우측카메라(121b)의 우측영상(도시되지 아니함)은 좌측카메라와(121a) 및 우측카메라(121b)의 이동가능한 조정한계(121c)내에서 깊이감이 조정될 수 있다.
하드웨어방식은 좌측카메라(121a) 및 우측카메라(121b)에 간격을 조정하기 위한 모터(도시되지 아니함) 및 기어열(도시되지 아니함) 또는 벨트(도시되지 아니함)를 포함하는 구동유닛(도시되지 아니함)을 포함할 수 있다. .
좌측카메라와(121a) 및 우측카메라(121b)의 간격이 증가되는 경우, 증가되는 간격에 대응하여 시차가 증가된다. 또한, 좌측카메라와(121a) 및 우측카메라(121b)의 간격이 감소되는 경우, 감소되는 간격에 대응하여 시차가 감소된다.
다른 예시적 실시예에 따라, 전송영상생성부(140)는 레이어1의 경우 원깊이감을 유지하고, 레이어2에 대응되는 오브젝트(642, 647)에 대해서는 신규깊이감으로 조정할 수 있다.
깊이감조정은 검출된 오브젝트(641, 646)의 크기가 확대 또는 시프트되는 것을 포함할 수 있다.
깊이감조정하는 단계(S236)가 완료되는 경우, 도 2의 단계(S250)로 진행하게 된다.
다시 도 2의 단계(S250)에서, 3차원 영상통신장치는 3차원전송영상을 생성한다.
제2 또는 제3 송화자3차원영상은 송/수신부(150)를 통해 수화자의 3차원 영상통신장치(200)로 전송될 수 있다.
제3 송화자3차원영상(10a)은 수화자 3차원 영상통신장치(200)에서 바로 표시부(270)에 표시할 수 있다.
도 2의 단계(S260)에서, 3차원 영상통신장치는 송화자 3차원 전송영상을 송신하고 수화자3차원영상을 수신한다.
3차원 영상통신장치의 설정에 따라, 저장된 제2 또는 제 3 송화자3차원영상 및 송화자(10)의 음성을 유/무선네트워크에 대응되는 전송포맷으로 변환하여 수화자 3차원 영상통신장치(200)의 송/수신부(250)로 선택적으로 전송할 수 있다.
송/수신부(150)는 수화자 3차원 영상통신장치(200)의 송/수신부(250)로부터 3차원 영상통신장치의 설정에 따라, 제2 송화자3차원영상에 대응되는 제2 수화자3차원영상(도시되지 아니함) 또는 제3 송화자3차원영상에 대응되는 제3 수화자3차원영상(20a) 및 수화자(20)의 음성을 수신할 수 있다.
송/수신부(150)는 유/무선네트워크에 대응되는 전송포맷으로 변환된 제2 또는 제3 송화자3차원영상 또는 음성을 각각, 제2 또는 제3 수화자3차원영상 또는 음성으로 복원(decoding)할 수 있다.
복원된 제2 또는 제3 송화자3차원영상 또는 음성은 저장부(180)에 저장될 수 있다.
송/수신부(150)는 저장부(180)에 저장된 제1의 2차원영상 또는 생성된 제1 내지 제3 송화자3차원영상을 유/무선네트워크를 이용해서 외부장치(도시되지 아니함)로 전송할 수 있다.
수신된 제2 수화자3차원영상(도시되지 아니함) 또는 제3 수화자3차원영상(20a) 및 수화자(20)의 음성은 제어부(110)의 제어에 의해 저장부(180)에 저장될 수 있다.
도 2의 단계(S270)에서, 3차원 영상통신장치는 출력영상을 생성하여 표시부(170)에 표시한다.
출력영상생성부(160)는 표시부(170)에 표시되는 출력영상(10a, 10b, 20a)을 생성할 수 있다.
출력영상(10a, 10b, 20a)은 전송영상생성부(140)에서 생성된 제1 및 제3 송화자3원영상 또는 송/수신부(150)에서 수신된 제2 및 제3 수화자3차원영상을 포함할 수 있다.
출력영상생성부(160)는 3차원 영상통신장치의 설정에 따라, 표시부(170)의 크기, 표시부(170)의 송화자표시영역(170a)의 크기(가로x세로) 및 위치, 수화자표시영역(170b)이 크기(가로x세로) 및 위치에 대응되게 제1 내지 제2 송화자3차원영상 및 수신된 제1 및 제2 수화자3차원영상을 이용하여 출력영상(10a, 20a)으로 표시할 수 있다.
제2 송화자3차원영상 또는 제2 수화자3차원영상은 이미 출력영상으로 생성되었으므로 표시부(170)의 크기, 송화자표시영역(170a)의 크기(가로x세로) 및 위치, 수화자표시영역(170b)의 크기(가로x세로) 및 위치에 대응되게 표시부(170)에서 표시될 수 있다.
다른 예시적 실시예에 따른, 출력영상생성부(160)는 제2의 2차원영상-제1 송화자3차원영상-을 이용하여 출력영상(10b)를 생성하고 송화자표시영역(170a)에 표시할 수도 있다.
도 2의 단계(S270)에서, 3차원 영상통신장치는 영상통화의 종료여부를 판단한다.
3차원 영상통화장치(100, 200)의 영상통화의 종료여부는 송화자(10) 또는 수화자(20)의 영상통화 종료에 대응되는 입력을 수신받아 판단할 수 있다. 또는 송화자 3차원 영상통신장치(100) 및 수화자 3차원영상통신장치(200) 사이의 유/무선네트워크의 끊김(disconnection)으로도 판단할 수 있다.
3차원 영상통신장치(100, 200)는 송화자(10) 또는 수화자(20)로부터 영상통화 종료에 대응되는 입력을 수신받는 경우, 상대방 영상통화장치(100, 200)에게 통보할 수 있다.
영상통화 종료가 아닌 경우, 단계(240)로 진행하여 영상통화를 계속하고, 영상통화 종료인 경우는 단계(S290)로 진행한다.
도 2의 단계(S290)에서, 3차원 영상통신장치는 영상통화 서비스에서 로그아웃한다.
송화자(10)의 영상통화 서비스에 대한 로그아웃 입력을 수신받고 3차원 영상통신장치(100)에서 로그아웃하고 종료한다.
도 9는 송화자 3차원 영상통신장치의 영상처리결과를 수화자 3차원 영상통신장치에 표시하는 예를 나타내는 도면이다.
도 9를 참조하면, 3차원 영상통신이 가능한 송화자 3차원 영상통신장치(100)는 3차원카메라(120)을 이용하여 송화자(10)의 제1의 2차원영상을 캡쳐할 수 있다.
송화자 3차원 영상통신장치(100)는 캡쳐된 제1의 2차원영상을 이용하여 송화자(10)부터 3차원카메라(100)까지의 거리(d1)사이에 위치(d2)하는 오브젝트(910)에 대하여 수렴점조정 또는 깊이감조정을 포함하는 영상처리를 할 수 있다.
표시부(170)에는 수화자표시영역(170b)이 송화자표시영역(170a)보다 크게 표시되고 있으나, 송화자표시영역(170a) 또는 수화자표시영역(170b)의 크기 또는 표시위치는 설정을 통해서 변경이 가능하다.
송화자 3차원 영상통신장치(100)의 송/수신부(150)는 유/무선네트워크를 이용하여 제2 또는 제3 송화자3차원영상을 수화자 3차원 영상통신장치(200)의 송/수신부(250)로 전송하고, 수화자 3차원 영상통신장치(200)는 수신된 제2 및 제3 송화자3차원영상을 저장부(280)에 저장될 수 있다.
수화자 3차원 영상통신장치(200)의 표시부(270)에는 제2 송화자3차원영상을 이용하여 생성된 출력영상(10a) 또는 제3 송화자3차원영상(10a)을 표시될 수 있다.
표시부(180)에 표시되는 출력영상(10a)에서, 깊이감조정된 오브젝트(920)는 수화자(20)부터 3차원카메라(220)까지의 거리(d3) 사이의 위치(d4)에 있는 것처럼 느껴질 수 있다.
수화자 3차원 영상통신장치(200)에서, 3차원카메라(220)부터 오브젝트(920)까지의 거리(d4)는 송화자 3차원 영상통화장치(200)의 깊이감조정에 의해 발생하게 된다.
깊이감조정에 의해 오브젝트(920)부터 수화자(20)사이의 간격(d3-d4)이 오브젝트(910)부터 송화자(10)사이의 간격(d1-d2)보다 좁혀져 수화자(20)에게 더 근접되게 느껴질 수 있다.
수화자(20)는 수화자 3차원 영상통신장치(200)의 표시부(270)에 표시되는 신규깊이감(d4)을 가지는 오브젝트(920)에 의해 차별화된 강한 3차원영상의 효과를 느낄 수 있다.
수화자 3차원 영상통신장치(200)는 수화자(10)부터 3차원카메라(220)사이의 거리(d3)를 산출할 수 있다. 산출된 거리(d3)를 참조하면, 수화자(10)부터 3차원카메라(220)사이의 거리(d3)가 깊이감조정된 오브젝트(920)부터 3차원카메라(220)사이의 거리(d4)와 실질적으로 동일하거나 작을 수도 있다.
이럴 경우, 수화자 3차원 영상통신장치(200)는 수화자(10)에게 수화자(10)부터 3차원카메라(220)사이의 거리(d3)을 증가토록 표시부(270) 또는 스피커(295)를 통해 통보할 수도 있다.
또한, 출력영상(10a)은 수화자 3차원 영상통신장치(200)의 표시부(270)의 기준면에 표시될 수 있고, 신규깊이감을 가지는 오브젝트(920)는 상기 기준면을 기준으로 앞쪽-표시부(270)의 기준면에서 수화자(10)방향, +z축방향 -에서 상기 송화자3차원영상과 구별되게 표시될 수 있다.
또한, 신규깊이감으로 조정된 오브젝트(920)는 수화자 3차원 영상통신장치(200)의 표시부(270)의 기준면에 표시될 수 있고, 출력영상(10a)은 기준면을 기준으로 뒤쪽-표시부(270)의 기준면에서 수화자(10)의 반대방향, -z축방향 -에서 송화자3차원영상(10a)과 구별되게 표시될 수 있다.
본 발명의 예시적 실시예에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
이상과 같이 본 발명은 비록 한정된 예시적 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 예시적 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 예시적 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
10 : 송화자 20: 수화자
100: 송화자 3차원 영상통신장치 110: 제어부
180: 저장부 180: 3차원카메라
130: 거리산출부 135: 오브젝트검출부
140: 전송영상생성부 150: 송/수신부
160: 출력영상생성부 170: 표시부
200: 수화자 3차원 영상통신장치

Claims (29)

  1. 3차원카메라와 연결가능한 3차원 영상통신장치의 영상통신방법에 있어서,
    상기 3차원카메라를 이용하여 송화자(talker)에 대응되는 복수의 2차원영상을 취득하는 단계;
    상기 송화자의 기설정된 특징점(feature point)을 이용하여 상기 복수의 2차원영상의 수렴점(point of convergence)을 조정하는 단계;
    상기 취득된 복수의 2차원영상을 이용하여 상기 송화자부터 상기 3차원카메라 사이에 위치하는 오브젝트를 검출하는 단계;
    상기 검출된 오브젝트의 원깊이감(original sense of depth)을 신규깊이감(new sense of depth)으로 조정(scaling)하는 단계; 및
    상기 신규깊이감을 가지는 상기 오브젝트를 포함하는 송화자3차원영상을 생성하여 수화자(listener)의 3차원 영상통신장치로 전송하는 단계
    를 포함하는 3차원 영상통신장치의 영상처리방법.
  2. 제1항에 있어서,
    상기 송화자의 특징점을 설정하는 단계;
    를 더 포함하고,
    상기 특징점은 상기 송화자의 눈, 코, 입, 귀, 및 눈썹 중 적어도 하나를 포함하는 3차원 영상통신장치의 영상처리 방법.
  3. 제1항에 있어서,
    상기 수화자의 상기 3차원 영상통신장치로부터 수화자3차원영상을 수신하는 단계
    를 더 포함하고,
    표시부에 상기 수화자3차원영상 또는 상기 송화자3차원영상을 표시하는 3차원 영상통신장치의 영상처리 방법.
  4. 제1항에 있어서,
    상기 3차원카메라는 스테레오스코픽카메라(stereoscopic camera), 또는 깊이카메라유닛인 3차원 영상통신장치의 영상처리 방법.
  5. 제1항에 있어서,
    상기 3차원카메라부터 상기 송화자까지의 거리를 산출하는 단계
    를 더 포함하고,
    상기 거리는 상기 복수의 2차원영상의 시차(disparity) 또는 깊이정보를 이용하여 산출되는 3차원 영상통신장치의 영상처리 방법.
  6. 제1항에 있어서,
    상기 송화자3차원영상은 상기 수화자의 상기 3차원 영상통신장치의 표시부의 기준면에 표시되고,
    상기 신규깊이감을 가지는 오브젝트는 상기 기준면을 기준으로 앞쪽- +z축방향 -에서 상기 송화자3차원영상과 구별되게 표시되는 3차원 영상통신장치의 영상처리 방법.
  7. 제1항에 있어서,
    상기 신규깊이감을 가지는 오브젝트는 상기 수화자의 상기 3차원 영상통신장치의 상기 표시부의 기준면에 표시되고,
    상기 송화자3차원영상은 상기 기준면을 기준으로 뒤쪽- -z축 방향-에서 상기 깊이감조정된 오브젝트와 구별되게 표시되는 3차원 영상통신장치의 영상처리 방법.
  8. 제4항에 있어서,
    상기 수렴점을 조정하는 단계는,
    상기 기설정된 특징점을 이용하여 상기 스테레오스코픽카메라 또는 깊이카메라유닛에서 취득된 좌측영상 및 우측영상을 시프트(shift), 또는 상기 스테레오스코픽카메라의 좌측카메라의 광축 및 우측카메라의 광축 중 적어도 하나를 회전시켜 조정하는 3차원 영상통신장치의 영상처리 방법.
  9. 제4항에 있어서,
    상기 검출된 오브젝트의 원깊이감을 신규깊이감으로 조정하는 단계는,
    상기 스테레오스코픽카메라 또는 상기 깊이카메라유닛에서 취득된 좌측영상의 상기 검출된 오브젝트 및 우측영상의 상기 검출된 오브젝트를 확대하거나 시프트, 또는 상기 스테레오스코픽카메라의 좌측카메라의 광축 및 우측카메라의 광축 중 적어도 하나의 간격을 조정하는 3차원 영상통신장치의 영상처리 방법.
  10. 제4항에 있어서,
    상기 검출된 오브젝트의 원깊이감을 신규깊이감으로 조정하는 단계는,
    상기 스테레오스코픽카메라 또는 깊이카메라유닛에서 취득된 좌측영상의 상기 검출된 오브젝트의 크기 및 우측영상의 상기 검출된 오브젝트의 크기에 대응되는 기결정된 비율을 추가하여 확대, 또는 상기 좌측영상의 상기 검출된 오브젝트 및 상기 우측영상의 상기 검출된 오브젝트를 기결정된 크기로 확대하는 3차원 영상통신장치의 영상처리 방법.
  11. 제1항에 있어서,
    상기 3차원카메라는 상기 3차원 영상통신장치와 일체형인 3차원 영상통신장치의 영상처리 방법.
  12. 3차원카메라와 연결가능한 3차원 영상통신장치의 영상통신방법에 있어서,
    상기 3차원카메라를 이용하여 송화자에 대응되는 복수의 2차원영상을 취득하는 단계;
    상기 송화자의 기설정된 특징점을 이용하여 상기 취득된 복수의 2차원영상의 수렴점을 조정하여 제1 송화자3차원영상을 생성하는 단계;
    상기 송화자부터 상기 3차원카메라까지의 거리 내에 위치하는 오브젝트를 검출하는 단계;
    상기 검출된 오브젝트의 원깊이감을 신규깊이감으로 조정하는 단계;
    상기 신규깊이감을 가지는 상기 오브젝트를 포함하는 제2 송화자3차원영상을 수화자의 3차원 영상통신장치로 전송하는 단계; 및
    상기 수화자의 상기 3차원 영상통신장치로부터 수화자3차원영상을 수신하고, 상기 표시부에 상기 원깊이감을 가지는 오브젝트를 포함하는 제1 송화자3차원영상 또는 상기 수화자3차원영상을 표시하는 단계
    를 포함하는 3차원 영상통신장치의 영상처리방법.
  13. 제12항에 있어서,
    상기 3차원카메라부터 상기 송화자까지의 거리를 산출하는 단계
    를 더 포함하는 3차원 영상통신장치의 영상처리방법.
  14. 3차원카메라와 연결가능한 3차원 영상통신장치의 영상통신방법에 있어서,
    상기 3차원카메라를 이용하여 송화자에 대응되는 복수의 2차원영상을 취득하는 단계;
    상기 송화자의 기설정된 특징점을 이용하여 상기 복수의 2차원영상의 수렴점을 조정하는 단계;
    상기 송화자에 대응되는 제1영역 및 상기 송화자부터 상기 3차원카메라 사이의 제2영역을 구분하는 단계;
    상기 송화자부터 상기 3차원카메라 사이에 위치하는 오브젝트를 검출하는 단계;
    상기 검출된 오브젝트의 원깊이감을 신규깊이감으로 조정하는 단계; 및
    상기 신규깊이감을 가지는 상기 오브젝트를 포함하는 송화자3차원영상을 생성하는 단계
    를 포함하는 3차원 영상통신장치의 영상처리방법.
  15. 제14항에 있어서,
    상기 송화자부터 상기 3차원카메라 사이에 위치하는 오브젝트를 검출하는 단계는,
    상기 검출된 오브젝트를 별개의 레이어(layer)로 구분하는 3차원 영상통신장치의 영상처리 방법.
  16. 제14항에 있어서,
    상기 송화자3차원영상을 수화자의 3차원 영상통신장치로 전송하는 단계; 및
    상기 수화자의 상기 3차원 영상통신장치로부터 수화자3차원영상을 수신하는 단계;
    를 더 포함하고,
    상기 표시부에 상기 수신된 수화자3차원영상 또는 상기 송화자3차원영상을 표시하는 3차원 영상통신장치의 영상처리 방법.
  17. 제16항에 있어서,
    상기 송화자3차원영상은 상기 수화자의 상기 3차원 영상통신장치의 표시부의 기준면에 표시되고, 상기 신규깊이감을 가지는 오브젝트는 상기 기준면을 기준으로 앞쪽- +z축방향-에서 상기 송화자3차원영상과 구별되게 표시되거나 또는,
    상기 신규깊이감을 가지는 오브젝트는 상기 표시부의 기준면에 표시되고, 상기 송화자3차원영상은 상기 기준면을 기준으로 뒤쪽- -z축 방향-에서 상기 신규깊이감을 가지는 오브젝트와 구별되게 표시되는 3차원 영상통신장치의 영상처리 방법.
  18. 제14항에 있어서,
    상기 3차원카메라부터 상기 송화자까지의 거리를 산출하는 단계
    를 더 포함하는 3차원 영상통신장치의 영상처리방법.
  19. 제14항에 있어서,
    상기 3차원카메라는 스테레오스코픽카메라, 또는 깊이카메라유닛인 3차원 영상통신장치의 영상처리 방법.
  20. 3차원영상을 표시하는 표시부를 가지는 3차원 영상통신장치에 있어서,
    송화자에 대응되는 복수의 2차원영상을 취득하는 3차원카메라;
    저장부; 및
    상기 3차원카메라 및 상기 저장부를 제어하는 제어부를 포함하고,
    상기 제어부는,
    상기 송화자의 기설정된 특징점을 이용하여 상기 복수의 2차원영상의 수렴점을 조정하고, 상기 송화자부터 상기 3차원카메라 사이에 위치하는 오브젝트를 검출하고, 상기 검출된 오브젝트의 원깊이감을 신규깊이감으로 조정하고 상기 신규깊이감을 가지는 오브젝트를 포함하는 복수의 2차원영상으로부터 송화자 3차원영상을 생성하는 3차원 영상통신장치.
  21. 제20항에 있어서,
    상기 송화자와 영상통화하는 수화자의 3차원 영상통신장치로 상기 송화자 3차원영상을 전송하고, 상기 수화자의 상기 3차원 영상통신장치로부터 수화자3차원영상을 수신하는 송/수신부;
    를 더 포함하고,
    상기 표시부는 상기 송화자3차원영상 또는 상기 수신된 수화자3차원영상을 표시하는 3차원 영상통신장치.
  22. 제20항에 있어서,
    상기 표시부는 상기 송화자의 특징점을 설정하기 위한 유저인터페이스화면을 표시하고,
    상기 유저인터페이스화면을 이용하여 상기 특징점이 입력되는 3차원 영상통신장치.
  23. 제20항에 있어서,
    상기 제어부는 상기 복수의 2차원영상을 이용하여 상기 3차원카메라부터 송화자까지의 거리를 산출하고, 상기 산출된 거리를 이용하여 상기 오브젝트를 검출하는 3차원 영상통신장치.
  24. 3차원영상을 표시하는 표시부를 가지는 3차원 영상통신장치에 있어서,
    송화자에 대응되는 복수의 2차원영상을 취득하는 3차원카메라;
    저장부; 및
    상기 3차원카메라 및 상기 저장부를 제어하는 제어부를 포함하고,
    상기 제어부는,
    상기 송화자의 기설정된 특징점을 이용하여 상기 복수의 2차원영상의 수렴점을 조정하고, 상기 송화자에 대응되는 제1영역 및 상기 송화자부터 상기3차원카메라 사이의 제2영역을 구분하고, 상기 제2영역에서 상기 오브젝트를 검출하고, 상기 검출된 오브젝트의 원깊이감을 신규깊이감으로 조정하고 상기 신규깊이감을 가지는 오브젝트를 포함하는 복수의 2차원영상으로부터 송화자 3차원영상을 생성하는 3차원 영상통신장치.
  25. 제24항에 있어서,
    상기 송화자와 영상통화하는 수화자의 3차원 영상통신장치로 상기 송화자3차원영상을 전송하고, 상기 수화자의 상기 3차원 영상통신장치로부터 수화자3차원영상을 수신하는 송/수신부;
    를 더 포함하고,
    상기 표시부는 상기 송화자3차원영상 또는 상기 수화자3차원영상을 표시하는 3차원 영상통신장치.
  26. 제24항에 있어서,
    상기 제어부는 상기 복수의 2차원영상을 이용하여 상기 3차원카메라부터 송화자까지의 거리를 산출하고, 상기 산출된 거리를 이용하여 상기 오브젝트를 검출하는 3차원 영상통신장치.
  27. 3차원영상을 표시하는 표시부를 가지는 3차원 영상통신장치에 있어서,
    깊이감조정된 오브젝트를 포함하는 송화자3차원영상을 수신하는 송/수신부;
    상기 깊이감조정된 오브젝트를 포함하는 송화자3차원영상을 저장하는 저장부; 및
    상기 송/수신부 및 상기 저장부를 제어하는 제어부를 포함하고,
    상기 제어부는,
    저장된 상기 신규깊이감을 가지는 오브젝트를 포함하는 상기 송화자3차원영상을 이용하여 출력영상을 생성하고, 상기 표시부에 표시되도록 제어하는 3차원 영상통신장치.
  28. 제27항에 있어서,
    수화자에 대응되는 복수의 2차원영상을 취득하는 3차원카메라;
    를 더 포함하고,
    상기 제어부는 상기 수화자의 기설정된 특징점을 이용하여 상기 복수의 2차원영상의 수렴점을 조정하고, 상기 취득된 복수의 2차원영상을 이용하여 수화자부터 상기 3차원카메라 사이에 위치하는 오브젝트를 검출하고, 상기 검출된 오브젝트의 원깊이감을 신규깊이감으로 조정하고 상기 신규깊이감을 가지는 오브젝트를 포함하는 복수의 2차원영상으로부터 송화자 3차원영상을 생성하고 상기 송/수신부를 이용하여 송화자의 3차원 영상통신장치로 전송하는 3차원 영상통신장치.
  29. 제27항에 있어서,
    상기 송화자3차원영상은 상기 수화자의 상기 3차원 영상통신장치의 표시부의 기준면에 표시되고, 상기 신규깊이감을 가지는 오브젝트는 상기 기준면을 기준으로 앞쪽- +z축방향-에서 상기 송화자3차원영상과 구별되게 표시되거나 또는,
    상기 신규깊이감을 가지는 오브젝트는 상기 표시부의 기준면에 표시되고, 상기 송화자3차원영상은 상기 기준면을 기준으로 뒤쪽- -z축 방향-에서 상기 신규깊이감을 가지는 오브젝트와 구별되게 표시되는 3차원 영상통신장치.
KR1020100109849A 2010-11-05 2010-11-05 3차원 영상통신장치 및 3차원 영상통신장치의 영상처리방법 KR101732135B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020100109849A KR101732135B1 (ko) 2010-11-05 2010-11-05 3차원 영상통신장치 및 3차원 영상통신장치의 영상처리방법
EP11187860A EP2451176A3 (en) 2010-11-05 2011-11-04 3d video communication apparatus and method for video processing of 3d video communication apparatus
US13/290,194 US9270934B2 (en) 2010-11-05 2011-11-07 3D video communication apparatus and method for video processing of 3D video communication apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100109849A KR101732135B1 (ko) 2010-11-05 2010-11-05 3차원 영상통신장치 및 3차원 영상통신장치의 영상처리방법

Publications (2)

Publication Number Publication Date
KR20120048293A true KR20120048293A (ko) 2012-05-15
KR101732135B1 KR101732135B1 (ko) 2017-05-11

Family

ID=45092200

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100109849A KR101732135B1 (ko) 2010-11-05 2010-11-05 3차원 영상통신장치 및 3차원 영상통신장치의 영상처리방법

Country Status (3)

Country Link
US (1) US9270934B2 (ko)
EP (1) EP2451176A3 (ko)
KR (1) KR101732135B1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013183970A1 (en) * 2012-06-08 2013-12-12 Samsung Electronics Co., Ltd. Multiple channel communication using multiple cameras
KR20150070262A (ko) * 2012-10-11 2015-06-24 울트라-디 코퍼라티에프 유.에이. 3d 이미지에서 이미지 오버레이의 깊이 조절
US9325889B2 (en) 2012-06-08 2016-04-26 Samsung Electronics Co., Ltd. Continuous video capture during switch between video capture devices
KR20170127354A (ko) * 2016-05-11 2017-11-21 강미연 페이셜 모션 캡쳐를 이용한 얼굴 변환 화상 대화 장치 및 방법
KR20180065552A (ko) * 2016-12-08 2018-06-18 (주)케이아이오티 지능형 카메라 시스템 및 이의 운용 방법
KR20200072321A (ko) * 2018-12-12 2020-06-22 전자부품연구원 홀로포테이션 제공 시스템 및 방법

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120054746A (ko) * 2010-11-22 2012-05-31 삼성전자주식회사 휴대용 단말기에서 입체 이미지를 생성하기 위한 장치 및 방법
IN2015DN00797A (ko) 2012-08-08 2015-07-03 Ericsson Telefon Ab L M
US9838669B2 (en) 2012-08-23 2017-12-05 Stmicroelectronics (Canada), Inc. Apparatus and method for depth-based image scaling of 3D visual content
WO2014108799A2 (en) * 2013-01-13 2014-07-17 Quan Xiao Apparatus and methods of real time presenting 3d visual effects with stereopsis more realistically and substract reality with external display(s)
KR102263064B1 (ko) 2014-08-25 2021-06-10 삼성전자주식회사 피사체의 움직임을 인식하는 장치 및 그 동작 방법
US9699405B2 (en) * 2015-07-14 2017-07-04 Google Inc. Immersive teleconferencing with translucent video stream
WO2017163286A1 (ja) * 2016-03-25 2017-09-28 パナソニックＩｐマネジメント株式会社 収音装置
US20180077437A1 (en) 2016-09-09 2018-03-15 Barrie Hansen Parallel Video Streaming
CN108632597B (zh) 2018-05-06 2020-01-10 Oppo广东移动通信有限公司 三维视频通信方法及***、电子装置和可读存储介质
CN108769646B (zh) * 2018-05-06 2020-02-18 Oppo广东移动通信有限公司 三维视频通信方法及***、电子装置、服务器和可读存储介质

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4819064A (en) * 1987-11-25 1989-04-04 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Television monitor field shifter and an opto-electronic method for obtaining a stereo image of optimal depth resolution and reduced depth distortion on a single screen
US20050146521A1 (en) * 1998-05-27 2005-07-07 Kaye Michael C. Method for creating and presenting an accurate reproduction of three-dimensional images converted from two-dimensional images
DE60237834D1 (de) * 2001-08-15 2010-11-11 Koninkl Philips Electronics Nv 3d videokonferenzsystem
JP4228646B2 (ja) * 2002-10-02 2009-02-25 株式会社セガ 立体視画像生成方法および立体視画像生成装置
GB0329312D0 (en) * 2003-12-18 2004-01-21 Univ Durham Mapping perceived depth to regions of interest in stereoscopic images
US7057637B2 (en) * 2004-04-21 2006-06-06 White Peter Mcduffie Reflected backdrop for communications systems
JP2008521462A (ja) * 2004-11-27 2008-06-26 ブラッコ イメージング エス．ピー．エー． ２次元／３次元の統合されたコンターエディター
JP2008022150A (ja) * 2006-07-11 2008-01-31 Fujifilm Corp 撮像装置
US8400496B2 (en) * 2008-10-03 2013-03-19 Reald Inc. Optimal depth mapping
US9251621B2 (en) * 2008-08-14 2016-02-02 Reald Inc. Point reposition depth mapping
US8390718B2 (en) * 2009-01-28 2013-03-05 Hewlett-Packard Development Company, L.P. Methods and systems for performing visual collaboration between remotely situated participants

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013183970A1 (en) * 2012-06-08 2013-12-12 Samsung Electronics Co., Ltd. Multiple channel communication using multiple cameras
US9241131B2 (en) 2012-06-08 2016-01-19 Samsung Electronics Co., Ltd. Multiple channel communication using multiple cameras
US9325889B2 (en) 2012-06-08 2016-04-26 Samsung Electronics Co., Ltd. Continuous video capture during switch between video capture devices
US10015440B2 (en) 2012-06-08 2018-07-03 Samsung Electronics Co., Ltd. Multiple channel communication using multiple cameras
US10284760B2 (en) 2012-06-08 2019-05-07 Samsung Electronics Co., Ltd. Continuous video capture during switch between video capture devices
KR20150070262A (ko) * 2012-10-11 2015-06-24 울트라-디 코퍼라티에프 유.에이. 3d 이미지에서 이미지 오버레이의 깊이 조절
KR20170127354A (ko) * 2016-05-11 2017-11-21 강미연 페이셜 모션 캡쳐를 이용한 얼굴 변환 화상 대화 장치 및 방법
KR20180065552A (ko) * 2016-12-08 2018-06-18 (주)케이아이오티 지능형 카메라 시스템 및 이의 운용 방법
KR20200072321A (ko) * 2018-12-12 2020-06-22 전자부품연구원 홀로포테이션 제공 시스템 및 방법

Also Published As

Publication number Publication date
EP2451176A2 (en) 2012-05-09
KR101732135B1 (ko) 2017-05-11
EP2451176A3 (en) 2013-03-06
US9270934B2 (en) 2016-02-23
US20120113210A1 (en) 2012-05-10

Similar Documents

Publication Publication Date Title
KR101732135B1 (ko) 3차원 영상통신장치 및 3차원 영상통신장치의 영상처리방법
US9544578B2 (en) Portable electronic equipment and method of controlling an autostereoscopic display
EP2381691B1 (en) Method and apparatus for processing three-dimensional images
KR101727899B1 (ko) 휴대 단말기 및 그 동작 제어방법
US8373745B2 (en) Image processing apparatus, image display apparatus, image apparatus, and image processing method
KR101674956B1 (ko) 이동 단말기 및 3차원 영상 제어 방법
US10074343B2 (en) Three-dimensional image output apparatus and three-dimensional image output method
US20130169529A1 (en) Adjusting an optical guide of a three-dimensional display to reduce pseudo-stereoscopic effect
JP5993937B2 (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム
WO2021147921A1 (zh) 图像处理方法、电子设备及计算机可读存储介质
KR20130125777A (ko) 적응 시차를 갖는 3d 디스플레이를 위한 방법 및 시스템
EP2649804B1 (en) Three-dimensional display apparatus and 3d display method thereof
JP2012023488A (ja) 画像処理装置、画像処理方法、表示装置及びプログラム
US20130016094A1 (en) Vergence control method for stereo-scopic image control and portable device supporting the same
JP4230331B2 (ja) 立体視画像生成装置および画像配信サーバ
US9462257B2 (en) Method and apparatus for two-dimensional to three-dimensional image conversion
KR101690256B1 (ko) 영상 처리 방법 및 장치
JP5367747B2 (ja) 撮像装置および撮像方法、ならびに、撮像システム
JP2006211383A (ja) 立体画像処理装置、立体画像表示装置、及び立体画像生成方法
JP2011211717A (ja) ３次元画像出力装置及び方法
KR20090081190A (ko) 휴대용 단말기
JP2006074386A (ja) 立体音響再生方法、通信装置及びプログラム
KR102084632B1 (ko) 복수의 모바일 장치를 이용하여 3ｄ 이미지를 생성하는 방법 및 장치
KR101924406B1 (ko) 이동 단말기 및 이동 단말기의 제어 방법
KR20210043967A (ko) 가상 공간에서 영상을 처리하기 위한 전자 장치, 방법, 컴퓨터 판독 가능한 기록 매체 및 컴퓨터 프로그램

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant