KR101240261B1 - 이동통신 단말기의 영상 통화 장치 및 방법 - Google Patents

이동통신 단말기의 영상 통화 장치 및 방법 Download PDF

Info

Publication number
KR101240261B1
KR101240261B1 KR1020060011679A KR20060011679A KR101240261B1 KR 101240261 B1 KR101240261 B1 KR 101240261B1 KR 1020060011679 A KR1020060011679 A KR 1020060011679A KR 20060011679 A KR20060011679 A KR 20060011679A KR 101240261 B1 KR101240261 B1 KR 101240261B1
Authority
KR
South Korea
Prior art keywords
image
terminal
face
reference line
mouth
Prior art date
Application number
KR1020060011679A
Other languages
English (en)
Other versions
KR20070080401A (ko
Inventor
김태섭
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020060011679A priority Critical patent/KR101240261B1/ko
Priority to EP07002639A priority patent/EP1841226A3/en
Priority to JP2007028613A priority patent/JP4499117B2/ja
Priority to US11/672,381 priority patent/US8111280B2/en
Priority to CN2007100062756A priority patent/CN101018314B/zh
Publication of KR20070080401A publication Critical patent/KR20070080401A/ko
Application granted granted Critical
Publication of KR101240261B1 publication Critical patent/KR101240261B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/38—Transceivers, i.e. devices in which transmitter and receiver form a structural unit and in which at least one part is used for functions of transmitting and receiving
    • H04B1/40—Circuits
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4318—Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/441—Acquiring end-user identification, e.g. using personal code sent by the remote control or by inserting a card
    • H04N21/4415—Acquiring end-user identification, e.g. using personal code sent by the remote control or by inserting a card using biometric characteristics of the user, e.g. by voice recognition or fingerprint scanning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Telephone Function (AREA)
  • Image Processing (AREA)
  • Telephonic Communication Services (AREA)

Abstract

본 발명은 이동통신 단말기에 관한 것으로, 특히 영상에서 얼굴의 특징을 추출하고, 추출된 특징을 이용하여 기준선을 정하고, 정해진 기준선에 장식 이미지를 동기시켜 상대방에게 전송 및 상대방 단말기를 제어하는 이동통신 단말기의 영상 통화 장치 및 방법에 관한 것이다. 이를 위하여 본 발명은 촬영부와, 상기 촬영부에서 촬영되는 영상의 특징을 이용하여 상기 촬영된 영상과 장식하고자 하는 이미지를 합성하는 합성부와, 상기 이미지가 합성된 영상을 제어하는 제어부와, 제어된 영상을 입출력하는 송수신부를 포함하여 구성되는 것을 특징으로 하고, 또한 촬영되는 영상의 특징을 이용하여 상기 촬영된 영상과 장식하고자 하는 이미지를 합성하는 과정과, 상기 이미지가 합성된 영상을 제어하는 과정과, 상기 제어된 영상을 입출력하는 과정으로 이루어지는 것을 특징으로 하고, 또한 영상 통화 시 제1 단말기가 영상을 장식하고자 하는 이미지를 제2 단말기로 전송하는 과정과, 상기 이미지가 전송되면 상기 제2 단말기를 제어하여 상기 전송된 이미지와 상기 영상의 합성을 디스플레이 하는 과정으로 이루어짐으로써 영상 통화 중에 사용자의 얼굴에 이미지를 장식 할 수 있다.
이미지 장식, 영상 통화, 기준선, 이미지 합성

Description

이동통신 단말기의 영상 통화 장치 및 방법{THE APPARATUS AND METHOD FOR IMAGE COMMUNICATION OF MOBILE COMMUNICATION TERMINAL}
도 1은 일반적인 3G-324M의 구조를 나타낸 도면.
도 2는 종래 영상 촬영 예시도.
도 3은 일반적인 영상통화를 위한 블록도.
도 4는 일반적인 송신 및 수신 단말기에 디스플레이되는 화면을 나타낸 예시도.
도 5는 본 발명에 따른 이동통신 단말기의 영상 통화 장치를 나타낸 블록도.
도 6은 본 발명의 일 실시예에 따른 얼굴의 특징을 추출하는 예시도.
도 7은 본 발명의 일 실시예에 따른 얼굴의 특징을 추출하고 기준선을 추적하는 예시도.
도 8은 본 발명의 일 실시예에 따른 장식 이미지를 적용하기 위한 예시도.
도 9는 본 발명의 일 실시예에 따른 장식 이미지를 얼굴에 적용하기 위한 동기화 방법을 나타낸 예시도.
도 10은 본 발명의 일 실시예에 따른 장식 이미지와 얼굴을 합성하는 예시도.
도 11은 본 발명의 일 실시예에 따른 이미지를 장식하기 위한 데코레이션 프 로토콜을 나타낸 블록도
도 12는 본 발명의 일 실시예에 따른 영상 통화 프로토콜에서 장식 이미지를 적용하기 위한 예시도.
도 13은 본 발명에 따른 이동통신 단말기의 영상 통화 방법을 나타낸 순서도.
도 14는 본 발명의 일 실시예에 따른 상대방 단말기의 영상을 제어하는 방법을 나타낸 흐름도.
*******도면의 주요 부분에 대한 부호의 설명*******
10 : 마이크 12 : 오디오 인코더
14 : 촬영부 16 : 추적부
17 : 합성부 18 : 동기부
20 : 메모리 22 : 비디오 인코더
24 : 제어부 26 : RF 송신부
28 : RF 수신부 30 : 비디오 디코더
32 : 표시부 34 : 오디오 디코더
36 : 출력부
본 발명은 이동통신 단말기에 관한 것으로, 특히 영상에서 얼굴의 특징을 추 출하고, 추출된 특징을 이용하여 기준선을 정하고, 정해진 기준선에 장식 이미지를 동기시켜 상대방에게 전송 및 상대방 단말기를 제어하는 이동통신 단말기의 영상 통화 장치 및 방법에 관한 것이다.
일반적으로 3G-324M은 WCDMA(Wideband Code Division Multiple Access) 망에서 영상 통화를 위해 이용되고 있으며, 이동통신 단말기(이하 단말기라 칭함)를 이용하여 일반 전화망에서 음성, 영상, 데이터 등을 송/수신 할 경우에 이용되는 H.324를 기반으로 하여 이동통신 환경에 적합하도록 정의되어 있다.
도 1은 일반적인 3G-324M의 구조를 나타낸 도면이다.
도 1에 도시된 바와 같이, 일반적인 3G-324M의 구조는 영상 정보의 송수신을 담당하는 Video Codec과, 음성 정보의 송 수신을 담당하는 Audio Codec과, 영상 통화 프로토콜의 연결 및 컨트롤에 관련된 기능을 각각 담당하는 Call Control과, 영상 통화 중 데이터를 전송할 수 있는 기능을 제공하는 Data Protocol 등으로 구성된다. 또한, CCSRL(Control Channel Segmentation and Reassembly)은 ITU-T(International Telecommunications Union-Telecommunication Standardization Sector) 권고 H.324/별첨 C에서 규정하는 제어 프레임(control frame)의 SAR(Segmentation And Reassembly) 구현 방식으로서 안정적인 H.245 메시지 교환 역할을 제공한다. 그리고, CCSRL 세그먼트를 포장을 담당하는 NSRP 명령어의 최대 크기는 2048 Octets 이다.
도 2는 종래 영상 촬영 예시도이다.
도 2에 도시된 바와 같이, 종래 영상 촬영 방법은 장식하고자 하는 이미지를 선택한 후, 촬영하고자 하는 영상을 상기 선택된 이미지에 적절히 조합시켜서 촬영하는 방식으로서, 오버레이된 이미지는 카메라 영상과 함께 저장되며, 이와 같이, 프레임 모드로 촬영된 사진은 단말기의 내부 또는 외부 대기 화면 설정, 전송 및 다운로드가 가능하다.
도 3은 일반적인 영상통화를 위한 블록도이다.
도 3에 도시된 바와 같이, 일반적으로 3G-324M 프로토콜을 이용하여 영상 통화가 연결되면 지속적으로 영상 정보와 음성 정보가 전송되는데 마이크를 통해 획득되는 음성과, 카메라를 통해 획득되는 영상은 각각 오디오 인코더(41)와 비디오 인코더(42)를 통해 각각 인코딩 되며 인코딩된 정보들(예: 오디오 및 비디오 정보)은 상기 3G-324M 프로토콜 모듈(43, 44)을 통해 송/수신 된다. 송신 단말기로부터 전송된 정보들은 수신측 단말기에 구비된 오디오 인코더(45)와 비디오 인코더(46)에서 각각 디코딩 되며, 상기 오디오 디코더(45)를 통해 디코딩된 음성은 스피커(a)를 통해 출력이 되고, 상기 비디오 디코더(46)를 통해 디코딩된 영상 정보는 수신측 단말기의 표시부(b)에 디스플레이 된다.
도 4는 일반적인 송신 및 수신 단말기에 디스플레이되는 화면을 나타낸 예시도이다.
도 4에 도시된 바와 같이, 일반적으로 송신 및 수신 단말기는 도 3에 도시된과정을 통해서 영상과 음성을 송수신하며, 송수신된 영상은 도 4에 도시된 바와 같이 표시부에 상대측 영상인 수신 화면과 본인의 영상인 송신 화면이 동시에 디스플레이 된다.
그런데, 종래 영상 통화방법은 영상 통화시 단순히 대체 이미지를 이용하여 송신 측의 정보 은폐를 목적으로 하는 통화 방법이거나 사용자의 얼굴에 이미지를 장식하지 않는 일반적인 통화 방법으로서, 실시간으로 사용자의 얼굴에 이미지를 적용하여 통화하는 서비스는 사용자에게 제공되지 못했고, 또한, 종래에는 이미지를 적용한 이종 프로토콜 간에 영상 통화를 위한 약속된 프로토콜이 정의되지 않았다.
따라서, 본 발명의 목적은 영상 통화 중에 사용자의 움직임이 발생하더라도 실시간으로 사용자의 얼굴의 특징을 추출하고, 상기 추출된 특징을 이용하여 얼굴에 이미지를 장식하여 통화 할 수 있고, 또한 수신자의 단말기를 제어하여 이미지를 전송 및 장식을 제어 함으로써 통화중인 양측 모두 이미지가 적용된 영상통화를 할 수 있는 이동통신 단말기의 영상 통화 장치 및 방법을 제공하는데 있다.
상기의 목적을 달성하기 위하여 본 발명에 따른 이동통신 단말기는,
촬영부와,
상기 촬영부에서 촬영되는 영상의 특징을 이용하여 상기 촬영된 영상과 장식하고자 하는 이미지를 합성하는 합성부와,
상기 이미지가 합성된 영상을 제어하는 제어부와,
제어된 영상을 입출력하는 송수신부를 포함하여 구성되는 것을 특징으로 한다.
또한, 상기의 목적을 달성하기 위하여 본 발명에 따른 이동통신의 영상 합성 방법은,
촬영되는 영상의 특징을 이용하여 상기 촬영된 영상과 장식하고자 하는 이미지를 합성하는 과정과,
상기 이미지가 합성된 영상을 제어하는 과정과,
상기 제어된 영상을 입출력하는 과정으로 이루어지는 것을 특징으로 한다.
또한, 상기의 목적을 달성하기 위하여 본 발명에 따른 이동통신 단말기의 영상 제어 방법은,
영상 통화 시 제1 단말기가 영상을 장식하고자 하는 이미지를 제2 단말기로 전송하는 과정과,
상기 이미지가 전송되면 상기 제2 단말기를 제어하여 상기 전송된 이미지와 상기 영상의 합성을 디스플레이 하는 과정으로 이루어지는 것을 특징으로 한다.
바람직하게, 상기 제2 단말기는 상기 합성된 영상을 상기 제1 단말기로 전송하는 과정을 더 포함하는 것을 특징으로 한다.
바람직하게, 상기 영상은 동영상 또는 정지 영상을 포함하는 것을 특징으로 한다.
이하, 본 발명에 대한 바람직한 실시예를 첨부한 도면을 참고하여 설명한다.
우선 본 발명을 설명함에 있어서, 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단된 경우 그 상세한 설명은 생략한다.
또한, 하기의 설명에서 구체적인 처리흐름과 같은 많은 특정 상세들은 본 발명의 보다 전반적인 이해를 제공하기 위해 나타나 있으며, 이들 특정 상세들 없이 본 발명이 실시될 수 있다는 것은 이 기술 분야에서 통상의 지식을 가진 자에게는 자명할 것이다.
본 발명의 기본 개념은 영상 통화 중에 얼굴의 특징을 추출하고, 추출된 특징을 이용하여 기준선을 추적한 후, 장식 이미지의 기준선을 상기 추적된 기준선과 일치시켜 통화중인 얼굴에 장식 이미지를 합성하여 전송하고, 또한 수신자의 단말기를 제어하여 이미지를 전송 및 장식을 제어 함으로써 통화중인 양측 모두 이미지가 적용된 영상통화를 할 수 있는 이동통신 단말기의 영상 통화 장치 및 방법을 제공하는데 있다.
도 5는 본 발명에 따른 이동통신 단말기의 영상 통화 장치를 나타낸 블록도이다.
도 5에 도시된 바와 같이, 본 발명에 따른 단말기는 음성을 획득하는 마이크(10), 획득된 음성을 인코딩하는 오디오 인코더(12)와, 영상을 촬영하는 촬영부(14)와, 상기 촬영된 영상에서 특징을 추출하고, 추출된 특징을 이용하여 기준선을 추적하는 추적부(16) 및, 추적된 기준선과 메모리에 저장된 장식 이미지의 기준선을 동기화 하여 하나의 영상으로 통합하는 동기부(18)로 구성되는 합성부(17)와, 동기화된 영상을 인코딩하는 비디오 인코더(22)와, 상기 오디오 인코더(12)에서 출력되는 음성과 상기 비디오 인코더(22)에서 출력되는 영상을 동기화하고, 또한 본 발명을 구성하는 장치들의 일련의 동작들을 제어하는 제어부(24)와, 상기 인코딩되 어 동기화된 영상 파일과 음성 파일을 안테나(미도시)를 통해 송출하는 RF 송신부(26)와, 통신망(미도시)으로부터 영상 통화시 생성되는 동영상 파일을 수신하는 RF 수신부(28)와, 상기 RF 수신부(28)를 통해서 수신된 음성 파일을 제어부(24)의 제어 하에 디코딩하는 오디오 디코더(34)와, 디코딩된 음성을 출력하는 출력부(36)와, 또한, 상기 RF 수신부(28)를 통해서 수신된 영상을 제어부(24)의 제어 하에 디코딩하는 비디오 디코더(30)와, 디코딩된 영상을 디스플레이하는 표시부(32)를 포함하여 구성된다.
도 6은 본 발명의 일 실시예에 따른 얼굴의 특징을 추출하는 예시도이다.
도 6에 도시된 바와 같이, 본 발명의 일 실시예에 따른 얼굴의 특징을 추출 하고 추출된 특징을 이용하여 기준선을 정하는 방법은 영상 통화 중 카메라로부터 획득되는 영상에서 얼굴의 모양을 추출하고, 추출된 얼굴 모양의 영역 내에서 색상 정보 등을 이용하여 눈, 코, 입 등의 후보 영역을 결정하고, 결정된 후보 영역의 기하 정보를 이용하여 눈, 코, 입 등의 영역을 판별해 낸다. 그리고, 판별된 영역을 이용하여 좌, 우 눈을 잇는 선분과 그 중심점에서 입을 잇는 선분을 이용하여 영문자 'T' 모양의 기준선을 만든다.
만일, 눈, 코, 입 등의 후보 영역내에서 기준선을 정하기 위한 영역 검색이 실패할 경우 눈, 코, 입등의 후보 영역을 넓게 하여 검색 영역을 확대한다. 상기와 같은 얼굴의 특징 추출 및 기준선 추적 과정은 영상 통화에서 실시간으로 이루어지기 때문에 영상 통화 중에 사용자가 움직여도 얼굴의 특징을 추출하고, 추출된 특징을 이용해서 기준선을 추적할 수 있다.
이하, 도 5 및 6을 참조하여 본 발명에 따른 이동통신 단말기의 영상 통화 장치의 동작을 설명하면 다음과 같다.
사용자가 영상통화 기능이 구비된 단말기를 이용해 영상통화를 하면, 단말기에 구비된 마이크(10) 및 카메라 등의 촬영부(14)는 사용자가 말하는 음성 및 영상을 획득하게 된다. 상기 마이크(10)를 통해서 획득한 음성은 오디오 인코더(12)를 통해 인코딩 과정을 거쳐 제어부(24)의 제어 하에 RF 송신부(26)를 통해 상대측 단말기로 송신되며, 또한 상기 촬영부(14)를 통해서 획득한 영상은 추적부(16)로 전송되고, 상기 추적부(16)는 촬영부(14)로부터 수신된 영상에서 먼저 얼굴의 모양을 추출하고, 추출된 얼굴 모양의 영역 내에서 색상, 명암 등의 정보를 이용하여 눈, 코, 입 등의 후보 영역을 결정하게 된다. 이러한 후보 영역이 결정되면, 상기 추적부(16)는 결정된 후보 영역의 기하 구조나 정보를 이용하여 눈, 코, 입 등의 영역을 판별하고, 판별된 기하 구조나 정보를 통해서 양쪽 눈을 잇는 'ㅡ' 모양의 직선과 상기 'ㅡ'모양의 중앙 즉, 코 등부터 입 중앙까지를 잇는 'l' 모양의 직선을 연결하여 'T' 모양의 기준선을 추적하고, 추적된 기준선의 각도, 기울림, 이동, 회전 방향등의 정보를 산출하여 동기부(18)에 전송한다. 상기 동기부(18)는 상기 추적부(16)로부터 수신된 사용자 얼굴에 해당되는 기준선의 상기 산출된 정보를 이용하여 촬영부(14)에서 획득한 영상과 메모리(20)에 저장된 사용자의 얼굴을 장식할 수 있는 이미지가 맞게 동기를 일치시킨다.
위와 같이, 'T' 모양의 기준선 및 기준선의 각도, 기울림, 이동, 회전 방향등의 정보를 산출하는 과정은 통화중에 사용자가 움직임에 따라 실시간으로 추적 및 산출 과정을 지속적으로 수행한다.
동기부(18)는 사용자 얼굴의 기준선과 이미지의 기준선이 일치되어, 상기 추적부(16)로부터 전송되는 영상과 메모리에 저장된 이미지가 통합한 하나의 영상이 만들어지면, 비디오 인코더(22)에 전송한다. 상기 비디오 인코더(22)는 제어부(24)의 제어 하에 상기 통합된 영상을 인코딩하여 RF 송신부(26)에 전송하고, RF 송신부(26)는 상기 인코딩된 영상을 안테나(미도시)를 통해 상대 측 단말기에 전송한다.
이와 반대로, 영상통화시 상대측으로부터 상대방의 얼굴이 포함된 영상과 음성이 RF 수신부(28)를 통해 수신되면, 수신된 음성 및 영상은 제어부(24)의 제어 하에 각각 오디오 디코더(34)와 비디오 디코더(30)에 전송된다. 상기 오디오 디코더(34)는 수신된 음성을 디코딩하여 스피커 등의 출력부(36)를 통해 출력하고, 상기 비디오 디코더(30)는 수신된 영상을 디코딩 한 후, 표시부(32)를 통해 디스플레이 한다.
도 7은 본 발명의 일 실시예에 따른 얼굴의 특징을 추출하고 기준선을 추적하는 예시도이다.
도 7에 도시된 바와 같이, 사용자가 영상 통화 중에 움직임이 발생해도 도 6에 도시된 방법을 이용함으로써 움직이는 사용자의 얼굴에서 특징을 추출 및 추적할 수 있다.
도 8은 본 발명의 일 실시예에 따른 장식 이미지를 적용하기 위한 예시도이다.
도 8에 도시된 바와 같이, 통화 중에 사용자의 얼굴에 장식할 수 있는 이미지는 소형 가면, 귀걸이, 안경 등의 여러 가지가 있는데 도 6에서 추적한 'T' 모양의 기준선과 상기와 같은 장식물들에 각각 적용된 기준선을 일치시킴으로써 영상 통화시 얼굴에 장식 이미지를 적용할 수 있다.
도 9는 본 발명의 일 실시예에 따른 장식 이미지를 얼굴에 적용하기 위한 동기화 방법을 나타낸 예시도이다.
도 9에 도시된 바와 같이, 영상 통화 중에 사용자의 얼굴에서 도 6에 도시된 방법을 이용하여 기준선을 추적하고, 상기 추적된 기준선의 각도, 기울림, 이동, 회전 방향등의 정보를 산출한다. 상기 산출된 정보를 이용하여 장식 이미지에 적용된 기준선과 사용자의 얼굴에서 추적한 기준선을 비교하여 장식 이미지에 적용된 기준선을 얼굴에서 추적한 기준선에 맞게 동기화 시킨다.
도 10은 본 발명의 일 실시예에 따른 장식 이미지와 얼굴을 합성하는 예시도이다.
도 10에 도시된 바와 같이, 사용자의 얼굴에서 추적한 기준선의 각도, 기울림, 이동, 회전 방향등의 정보를 이용해서 장식 이미지의 기준선을 동기화 한 후, 합성을 하면 도 10에 도시된 바와 같이 동기화된 기준선에 따라 장식 이미지가 얼굴에 맞게 장식이 된다. 이와 같이, 영상 통화 중에 실시간으로 사용자의 얼굴에 해당되는 기준선을 추적하고, 추적된 기준선의 각도, 기울림, 이동, 회전 방향 등의 정보를 산출하고, 상기 산출된 정보를 장식 이미지에 적용하기 때문에 사용자가 움직이는 방향에 맞게 장식 이미지도 같이 움직일 수 있다.
도 11은 본 발명의 일 실시예에 따른 이미지를 장식하기 위한 데코레이션 프로토콜을 나타낸 블록도이다.
도 11에 도시된 바와 같이, 영상 및 음성등의 데이터를 입출력하는 video I/O unit과 audio I/O unit으로 구성된 I/O units set과, 상기 입출력되는 데이터를 처리하는 video Processing unit, audio Processing unit, data Processing unit으로 구성된 Processing units set, 상기 입출력되는 데이터의 전송 프로토콜과, 데코레이션 프로토콜의 인터페이스를 담당하는 Adaptation units set과, 송수신 단말기간의 상기 데코레이션 프로토콜을 관리하는 Protocol controller로 구성된다.
상기 I/O units set에서 video I/O set은 카메라로부터 획득된 영상 및 단말기에 저장된 이미지를 포함한 다양한 형태의 비디오 송신 정보를 상기 video Processing unit의 요구에 알맞은 형태로 변환하여 전달하는 역할을 수행하고, 또한 상기 video Processing unit에서 전달되는 비디오 수신 및/또는 가공 정보를 표시부에 출력하거나 저장하는 역할을 수행한다. 그리고, 상기 audio I/O unit은 마이크로부터 획득된 음성 및 단말기에 저장된 파일로부터 얻은 정보를 포함한 다양한 형태의 오디오 송신 정보를 상기 audio Processing unit의 요구에 알맞은 형태로 변환하여 전달하는 역할을 수행하고, 또한, 상기 audio Processing unit에서 전달되는 오디오 수신 및/또는 가공 정보를 스피커, 리시버, 이어폰 등의 출력부로 출력하거나 저장하는 역할을 수행한다.
또한, 상기 Processing units set에서 video processing unit은 비디오 정보 를 송신할 경우 디코더로부터 입력 받은 데이터를 가공하고, 수신할 경우 인코더로 전송할 데이터의 가공을 담당한다. 상기 video processing unit은 대체영상 전송, 송수신 영상 장식, 동영상 저장, 화면 캡춰, 얼굴 인식, 추적 등을 담당하는 모듈을 포함할 수 있으며, 또한 사용자의 video processing module을 추가 또는 확장할 수 있다. 그리고, 상기 audio processing unit은 오디오 정보를 송신할 경우 디코더로부터 입력 받은 데이터를 가공하고, 수신할 경우 인코더로 전송할 데이터의 가공을 담당한다. 상기 video processing unit은 대체음성 전송, 송수신 음성 편집(예: 변조, 합성, 인식), 통화 음성 저장등을 담당하는 모듈을 포함할 수 있으며, 또한 사용자의 audio processing module을 추가 또는 확장할 수 있다. 또한, data processing unit은 영상 통화 중에 전달되는 데이터 정보를 관리하며, 상기 video processing unit 및 audio processing unit 에서 사용할 리소스를 마련하는 역할을 담당하고, 별도로 영상 통화 중 사진, 동영상, 음악 파일등의 데이터 전송을 위한 프로토콜로 사용될 수 있으며, 각종 데이터를 메모리에 저장하여 읽고 쓰는 인터페이스를 제공한다.
또한, 상기 Protocol controller는 영상 통화 시 사용자의 이미지 장식등의 조작에 대해 상대측 단말기의 Protocol controller와 정보를 주고 받으면서 데코레이션 레이어의 상태와 비디오, 오디오 및 Data Processing unit의 동작을 제어한다.도 12는 본 발명의 일 실시예에 따른 영상 통화 프로토콜에서 장식 이미지를 적용하기 위한 예시도이다.
도 12에 도시된 바와 같이, 얼굴에 장식이미지 합성은 송신 측 단말기의 카 메라가 획득한 영상을 영상 통화 프로토콜과 연동된 비디오 인코더에 전달하기 직전에 적용된다. 즉, 장식 이미지가 적용된 영상을 보기 위해서 수신 측 단말기에서는 일련의 추가적인 작업이 필요하지 않다.
도 13은 본 발명에 따른 이동통신 단말기의 영상 통화 방법을 나타낸 순서도이다.
이하, 도 13을 참조하여 본 발명에 따른 영상 통화 방법을 상세히 설명하면 다음과 같다.
사용자가 영상 통화 모드를 선택 하여 영상통화를 하는 중에 소형 가면, 귀걸이, 안경등의 이미지를 이용해서 사용자의 얼굴을 장식하고자 하면, 사용자는 장식하고자 하는 이미지를 선택한다(S100, S102, S104). 그리고, 단말기는 카메라등의 영상 촬영 수단을 이용해서 영상 통화중인 사용자 얼굴의 모양을 추출하고, 추출된 얼굴 모양의 영역 내에서 색상 정보 등을 이용하여 눈, 코, 입 등의 특징을 나타내는 정보를 실시간으로 추출한다(S106).
상기 눈, 코, 입 등의 특징을 나타내는 정보가 추출이 되면, 추출된 정보를 이용하여 양쪽 눈을 잇는 'ㅡ' 모양의 직선과 상기 'ㅡ' 모양의 중앙 즉, 코 등부터 입 중앙까지를 잇는 'l' 모양의 직선을 연결하여 'T' 모양의 기준선을 추적하고, 추적된 기준선의 각도, 기울림, 이동, 회전 방향등의 정보를 산출한다(S108). 위와 같이, 'T' 모양의 기준선 및 기준선의 각도, 기울림, 이동, 회전 방향등의 정보를 산출하는 과정은 통화중에 사용자가 움직임에 따라 실시간으로 추적 및 산출 과정을 지속적으로 수행한다.
추적된 기준선의 정보들이 산출되면, 상기 과정(S104)에서 사용자가 선택한 이미지를 상기 산출된 정보들을 이용하여 각도, 기울림, 이동, 회전 방향 등을 일치시키고, 상기와 같이 변환된 이미지와 얼굴이 일치되면 일치된 영상을 수신측에 전송 한다(S112, S114).
만일 변환된 이미지를 적용하며 영상통화를 하는 중에, 사용자 얼굴이 움직일 때마다 단말기는 상기 과정(S106)으로 궤환하여 사용자의 얼굴의 특징을 나타내는 정보를 실시간으로 추출한다(S116, S106).
상기 과정(S116)에서 영상통화 중인 상태에서 다른 이미지를 장식으로 적용하고자 하면, 사용자는 장식하고자 하는 이미지를 선택하는 과정(S104)으로 궤환하여 해당 이미지를 선택한다(S116, S118, S104).
이와 같이, 영상 통화 중에 사용자의 얼굴이 움직이거나 및/또는 다른 이미지를 장식하고자 할 경우 상기 과정들(S104-S118)을 반복적으로 수행하며, 사용자가 영상통화를 마치면 단말기는 영상통화 모드를 종료한다.
도 14는 본 발명의 일 실시예에 따른 상대방 단말기의 영상을 제어하는 방법을 나타낸 흐름도이다.
이하, 도 14를 참조하여 본 발명의 일 실시예에 따른 송신 단말기(이하 단말기 A라 칭함)가 수신 단말기(이하 단말기 B라 칭함)의 장식을 제어하는 방법을 상세히 설명하면 다음과 같다.
만일, 단말기 B에 장식하고자 하는 이미지가 없는 경우나 단말기 B의 사용자가 이미지 장식 모드를 설정하지 않은 상태에서 단말기 A의 사용자가 상기 단말기 B를 제어하여 이미지 장식을 제어하거나 영상 장식을 조작할 수 있는데, 이와 같이 단말기 B의 장식을 제어하기 위해서는 단말기 A는 단말기 B에 장식 이미지를 조작할 수 있는 권한을 요청한다(S200). 단말기 B가 단말기 A의 장식 이미지 조작 권한을 승인하면, 단말기 A는 단말기 B가 단말기 A의 사용자가 장식하고자 하는 이미지가 있는지 없는지를 체크하기 위해 해당 이미지의 ID를 단말기 B에 전송한다(S202, S204). 상기 이미지의 ID를 수신한 단말기 B는 수신된 ID를 이용하여 해당 이미지가 저장되어 있는지 체크를 하고, 만일 해당 이미지가 없으면 단말기 A에게 이미지 전송을 요청한다(S206).
상기 단말기 B로부터 이미지 전송 요청을 수신한 단말기 A는 단말기 B에게 이미지를 전송하고, 또한, 단말기 A는 수신 단말기 B와의 동기를 일치시킨다(S208, S210, S212). 상기 단말기 A, B간의 동기가 이루어지면, 단말기 B는 단말기 A로부터 수신한 이미지의 ID를 확인하고 그 결과를 단말기 A에 전송한다(S214). 상기 단말기 B로부터 상기 결과가 수신되면, 단말기 A는 단말기 B에 전송한 이미지를 이용하여 단말기 B의 장식을 시작한다(S216). 상기와 같이 이미지를 이용하여 장식을 하는 중에 단말기 A의 사용자가 다른 이미지를 이용하여 장식을 하고자 할 경우, 상기 다른 이미지에 해당되는 ID로 변경 요청 명령을 단말기 B에 전송하고, 상기 단말기 B는 단말기 A로부터 수신한 다른 이미지의 ID를 체크하여 상기 ID에 해당되는 이미지가 없으면 이미지 전송을 요청한다(S218, S220). 상기 단말기 B로부터 이미지 전송요청을 수신한 단말기 A는 해당 이미지를 단말기 B에 전송하고, 송신 단말기는 수신 단말기와의 동기를 일치시킨다(S222, S224, S226). 상기 단말기 A와 단말기 B간의 동기가 일치되면, 단말기 B는 상기 단말기 A가 전송한 이미지로 변경되었음을 알리는 이미지 ID 변경 확인 메시지를 단말기 A에 전송하고, 단말기 A는 이미지 ID 변경 확인 메시지를 수신하면, 계속해서 이미지 장식을 한 후, 종료한다(S228, S230).
상기와 같이, 다른 단말기를 제어하여 장식하고자 하는 이미지를 전송하고, 동기화를 제어하기 위해 사용되는 프로토콜은 도 11에 도시된 프로토콜을 이용한다.
또한, 상기와 같이 송신 및 수신 단말기간의 일련의 동작은 하나의 실시예이며 각각의 단말기들은 위와 같이 송신 및 수신 단말기에서 하는 일련의 동작을 수행할 수 있고, 또한, 본 발명은 영상통화시 촬영되는 동영상 뿐만 아니라 사진과 같은 이미지에도 적용될 수 있다.
그리고, 본 발명은 도면에 도시된 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.
상술한 바와 같이, 본 발명은 영상 통화 중에 사용자의 얼굴에서 눈, 코, 입등의 특징 정보를 추출하고, 추출된 정보를 토대로 'T'모양의 기준선을 추적하고, 장식 이미지를 추적된 'T'모양의 기준선에 동기시킴으로써 사용자의 움직임이 발생 하더라도 실시간으로 사용자의 얼굴에 이미지를 장식할 수 있다.
또한, 수신 단말기에 이미지를 영상 통화에 장식할 수 있는 기능이 구비되어 있으나 장식하고자 하는 이미지가 없거나, 또는 수신 단말기의 사용자가 이미지 장식 및 제어를 허용한 상태인 경우, 송신자가 수신 단말기에 이미지를 전송 및 제어 함으로써 이미지를 장식할 수 있는 효과가 있다.

Claims (29)

  1. 촬영부와;
    상기 촬영부에서 촬영되는 영상의 특징을 이용하여 상기 촬영된 영상과 장식하고자 하는 이미지를 합성하는 합성부와;
    상기 이미지가 합성된 영상을 제어하는 제어부와;
    상기 제어된 영상을 입출력하는 송수신부를 포함하고,
    상기 합성부는,
    상기 촬영된 영상의 색상 정보 및 명암 정보 중 적어도 하나를 이용하여 눈, 코, 입의 후보 영역을 결정하고, 상기 후보 영역의 기하 정보를 이용하여 상기 눈, 코, 입의 영역을 판별하며, 상기 판별된 영역을 이용하여 좌, 우 눈을 잇는 선분과 그 중심점에서 입을 잇는 선분을 이용하여 T 모양의 기준선을 만들고, 상기 기준선을 이용하여 상기 촬영된 영상에 상기 이미지를 합성하는 것을 특징으로 하는 이동통신 단말기.
  2. 제1항에 있어서, 상기 합성부는
    상기 촬영된 영상에서 얼굴의 특징을 추출하고, 상기 추출된 특징을 이용하여 상기 얼굴의 기하 구조를 나타내는 상기 기준선을 추적하는 추적부와;
    상기 추적된 기준선을 이용하여 상기 얼굴과 상기 얼굴을 장식하고자 하는 이미지를 동기시키는 동기부로 구성되는 것을 특징으로 하는 이동통신 단말기.
  3. 제1항에 있어서, 상기 이미지를 저장하는 메모리를 포함하는 것을 특징으로 하는 이동통신 단말기.
  4. 제2항에 있어서, 상기 추출된 특징은
    상기 얼굴의 명암, 색상, 위치 등을 통해 추출되는 것을 특징으로 하는 이동 통신 단말기.
  5. 제2항에 있어서, 상기 동기부는
    상기 추적부를 통해서 추적된 상기 기준선의 각도, 기울림, 이동, 회전 방향 중 적어도 하나의 정보를 이용하여 상기 추적된 기준선과 상기 이미지의 기준선의 동기를 일치시켜 하나의 영상으로 합성하는 것을 특징으로 하는 이동통신 단말기.
  6. 제2항에 있어서, 상기 기하 구조는
    상기 눈, 코, 입의 구조를 나타내는 것을 특징으로 하는 이동통신 단말기.
  7. 제2항에 있어서, 상기 기준선은
    상기 눈, 코, 입을 잇는 상기 T 모양의 기준선인 것을 특징으로 하는 이동통신 단말기.
  8. 제2항에 있어서, 상기 이미지는
    상기 눈, 코, 입을 잇는 상기 T 모양의 기준선이 적용된 것을 특징으로 하는 이동통신 단말기.
  9. 촬영되는 영상의 특징을 이용하여 상기 촬영된 영상과 장식하고자 하는 이미지를 합성하는 과정과;
    상기 이미지가 합성된 영상을 제어하는 과정과;
    상기 제어된 영상을 입출력하는 과정을 포함하고,
    상기 촬영된 영상과 장식하고자 하는 이미지를 합성하는 과정은,
    상기 촬영된 영상의 색상 정보 및 명암 정보 중 적어도 하나를 이용하여 눈, 코, 입의 후보 영역을 결정하는 과정과,
    상기 후보 영역의 기하 정보를 이용하여 상기 눈, 코, 입의 영역을 판별하는 과정과,
    상기 판별된 영역을 이용하여 좌, 우 눈을 잇는 선분과 그 중심점에서 입을 잇는 선분을 이용하여 T 모양의 기준선을 만드는 과정과,
    상기 기준선을 이용하여 상기 촬영된 영상에 상기 이미지를 합성하는 과정을 포함하는 것을 특징으로 하는 이동통신 단말기의 영상 통화 방법.
  10. 제9항에 있어서, 상기 합성 과정은
    상기 촬영된 영상에서 얼굴의 특징을 추출하고, 상기 추출된 특징을 이용하여 상기 얼굴의 기하 구조를 나타내는 상기 기준선을 추적하는 과정과;
    상기 추적된 기준선을 이용하여 상기 얼굴과 상기 얼굴을 장식하고자 하는 이미지를 동기시키는 과정으로 이루어지는 것을 특징으로 하는 이동통신 단말기의 영상 통화 방법.
  11. 제10항에 있어서, 상기 추출된 특징은
    상기 얼굴의 명암, 색상, 위치 등을 통해 추출되는 것을 특징으로 하는 이동통신 단말기의 영상 통화 방법.
  12. 제10항에 있어서, 상기 추적 과정은
    사용자가 움직여도 실시간으로 얼굴의 특징을 추출하는 것을 특징으로 하는 이동통신 단말기의 영상 통화 방법.
  13. 제10항에 있어서, 상기 동기 과정은
    상기 추적 과정을 통해서 추적된 상기 기준선의 각도, 기울림, 이동, 회전 방향등의 정보를 이용해서 상기 추적된 기준선과 상기 이미지의 기준선을 동기시키는 것을 특징으로 하는 이동통신 단말기의 영상 통화 방법.
  14. 제10항에 있어서, 상기 기하 구조는
    상기 눈, 코, 입의 구조를 나타내는 것을 특징으로 하는 이동통신 단말기의 영상 통화 방법.
  15. 제10항에 있어서, 상기 기준선은
    상기 눈, 코, 입을 잇는 상기 T 모양의 기준선인 것을 특징으로 하는 이동통신 단말기의 영상 통화 방법.
  16. 영상 통화 시 제1 단말기가 영상을 장식하고자 하는 이미지를 제2 단말기로 전송하는 과정과;
    상기 이미지가 전송되면 상기 제 1 단말기가 상기 제2 단말기를 제어하여 상기 전송된 이미지와 상기 영상을 합성하는 과정을 포함하고,
    상기 전송된 이미지와 상기 영상을 합성하는 과정은,
    상기 영상의 색상 정보 및 명암 정보 중 적어도 하나를 이용하여 눈, 코, 입의 후보 영역을 결정하는 과정과,
    상기 후보 영역의 기하 정보를 이용하여 상기 눈, 코, 입의 영역을 판별하는 과정과,
    상기 판별된 영역을 이용하여 좌, 우 눈을 잇는 선분과 그 중심점에서 입을 잇는 선분을 이용하여 T 모양의 기준선을 만드는 과정과,
    상기 기준선을 이용하여 상기 영상에 상기 전송된 이미지를 합성하는 과정을 포함하는 것을 특징으로 하는 영상 통화 방법.
  17. 제16항에 있어서,
    상기 제2 단말기는 상기 합성된 영상을 상기 제1 단말기로 전송하는 과정을 더 포함하는 것을 특징으로 하는 영상 통화 방법.
  18. 제16항에 있어서, 상기 합성하는 과정은
    영상 통화 시 얼굴의 특징을 추출하고, 상기 추출된 특징을 이용하여 상기 얼굴의 기하 구조를 나타내는 상기 기준선을 추적하는 과정과;
    상기 추적된 기준선을 이용하여 상기 얼굴과 상기 전송된 이미지의 동기를 일치시켜 합성시키는 과정으로 이루어지는 것을 특징으로 하는 영상 통화 방법.
  19. 삭제
  20. 제18항에 있어서, 상기 추출된 특징은
    상기 얼굴의 명암, 색상, 위치 등을 통해 추출되는 것을 특징으로 하는 영상 통화 방법.
  21. 제18항에 있어서, 상기 추출된 특징은
    사용자가 움직여도 실시간으로 상기 얼굴의 특징이 추출되는 것을 특징으로 하는 영상 통화 방법.
  22. 제18항에 있어서, 상기 추적된 기준선을 이용하여 상기 얼굴과 상기 전송된 이미지의 동기를 일치시켜 합성시키는 과정은,
    상기 추적된 기준선의 각도, 기울림, 이동 회전 방향 의 중 적어도 하나의 정보를 이용하여 상기 추적된 기준선과 상기 전송된 이미지에 적용된 기준선을 일치시키는 것을 특징으로 하는 영상 통화 방법.
  23. 제18항에 있어서, 상기 기하 구조는
    상기 눈, 코, 입의 구조를 나타내는 것을 특징으로 하는 영상 통화 방법.
  24. 제18항에 있어서, 상기 기준선은
    상기 눈, 코, 입을 잇는 상기 T 모양의 기준선인 것을 특징으로 하는 영상 통화 방법.
  25. 제16항에 있어서, 상기 전송된 이미지는
    상기 눈, 코, 입을 잇는 상기 T 모양의 기준선이 적용된 것을 특징으로 하는 영상 통화 방법.
  26. 제16항에 있어서,
    상기 제1 단말기가 조작 권한을 상기 제2 단말기에 요청하는 과정과;
    상기 요청이 승인되면 상기 제1 단말기가 상기 제2 단말기에 상기 장식하고자 하는 이미지를 전송하고, 상기 제1 단말기가 상기 전송된 이미지를 이용하여 상기 제2 단말기를 제어하는 과정을 더 포함하는 것을 특징으로 하는 영상 통화 방법.
  27. 제26항에 있어서, 상기 제어 과정은
    상기 제1 단말기가 상기 장식하고자 하는 이미지의 ID를 상기 제2 단말기에 전송하고, 상기 제2 단말기가 상기 제1 단말기에 상기 이미지 전송을 요청하면, 상기 제1 단말기가 상기 이미지를 상기 제2 단말기에 전송하여 상기 전송된 이미지를 이용하여 영상 통화 시 통화자 얼굴에 적용하는 과정을 포함하여 이루어지는 것을 특징으로 하는 영상 통화 방법.
  28. 제27항에 있어서, 상기 전송 과정은
    상기 제2 단말기가 상기 이미지를 수신하면, 상기 제1 단말기는 상기 제2 단말기를 제어하여 전송된 이미지의 ID를 동기화하는 과정을 포함하여 이루어지는 것을 특징으로 하는 영상 통화 방법.
  29. 삭제
KR1020060011679A 2006-02-07 2006-02-07 이동통신 단말기의 영상 통화 장치 및 방법 KR101240261B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020060011679A KR101240261B1 (ko) 2006-02-07 2006-02-07 이동통신 단말기의 영상 통화 장치 및 방법
EP07002639A EP1841226A3 (en) 2006-02-07 2007-02-07 Video conference system and method in a communication network
JP2007028613A JP4499117B2 (ja) 2006-02-07 2007-02-07 移動通信端末機、移動通信端末機の制御方法及び移動通信端末機を用いたテレビ電話方法
US11/672,381 US8111280B2 (en) 2006-02-07 2007-02-07 Video conference system and method in a communication network
CN2007100062756A CN101018314B (zh) 2006-02-07 2007-02-07 移动通信中的视频通话

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060011679A KR101240261B1 (ko) 2006-02-07 2006-02-07 이동통신 단말기의 영상 통화 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20070080401A KR20070080401A (ko) 2007-08-10
KR101240261B1 true KR101240261B1 (ko) 2013-03-07

Family

ID=38371061

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060011679A KR101240261B1 (ko) 2006-02-07 2006-02-07 이동통신 단말기의 영상 통화 장치 및 방법

Country Status (5)

Country Link
US (1) US8111280B2 (ko)
EP (1) EP1841226A3 (ko)
JP (1) JP4499117B2 (ko)
KR (1) KR101240261B1 (ko)
CN (1) CN101018314B (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11189067B2 (en) 2019-02-28 2021-11-30 Samsung Electronics Co., Ltd. Electronic device and content generation method

Families Citing this family (69)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8243119B2 (en) 2007-09-30 2012-08-14 Optical Fusion Inc. Recording and videomail for video conferencing call systems
KR101487434B1 (ko) 2007-11-14 2015-01-29 삼성전자 주식회사 디스플레이장치 및 그 제어방법
US8184141B2 (en) * 2008-02-04 2012-05-22 Siemens Enterprise Communications, Inc. Method and apparatus for face recognition enhanced video mixing
US9813671B2 (en) * 2008-02-04 2017-11-07 Unify Gmbh & Co. Kg Method and apparatus for enhanced video mixing
US20090210491A1 (en) * 2008-02-20 2009-08-20 Microsoft Corporation Techniques to automatically identify participants for a multimedia conference event
JP2009267556A (ja) * 2008-04-23 2009-11-12 Seiko Epson Corp 画像処理装置、画像処理方法、およびプログラム
US8099462B2 (en) * 2008-04-28 2012-01-17 Cyberlink Corp. Method of displaying interactive effects in web camera communication
US8643691B2 (en) * 2008-05-12 2014-02-04 Microsoft Corporation Gaze accurate video conferencing
JP2009278325A (ja) * 2008-05-14 2009-11-26 Seiko Epson Corp 画像処理装置、画像処理方法、およびプログラム
US9445045B2 (en) * 2008-06-23 2016-09-13 Alcatel Lucent Video conferencing device for a communications device and method of manufacturing and using the same
CN101354789A (zh) * 2008-08-22 2009-01-28 北京中星微电子有限公司 一种图像面具特效的实现方法和设备
US20100077289A1 (en) * 2008-09-08 2010-03-25 Eastman Kodak Company Method and Interface for Indexing Related Media From Multiple Sources
KR20100089287A (ko) * 2009-02-03 2010-08-12 삼성전자주식회사 텔레비전 시스템 및 그 제어방법
JP5574607B2 (ja) * 2009-02-05 2014-08-20 株式会社タイトー リアルタイム動画対応ゲーム機システム
US8413218B1 (en) * 2009-07-02 2013-04-02 United Services Automobile Association (Usaa) Systems and methods for videophone identity cloaking
US8179417B2 (en) * 2009-07-22 2012-05-15 Hewlett-Packard Development Company, L.P. Video collaboration
CN102104766A (zh) * 2009-12-18 2011-06-22 深圳富泰宏精密工业有限公司 视频通话中的隐私保护***及方法
JP5447647B2 (ja) * 2010-03-08 2014-03-19 富士通株式会社 生体認証装置、生体認証プログラム及び方法
CN102075727A (zh) * 2010-12-30 2011-05-25 中兴通讯股份有限公司 一种可视电话中图像处理方法和装置
KR101764372B1 (ko) 2011-04-19 2017-08-03 삼성전자주식회사 휴대용 단말기에서 영상 합성 방법 및 장치
US8767034B2 (en) * 2011-12-01 2014-07-01 Tangome, Inc. Augmenting a video conference
US8941707B2 (en) * 2011-12-01 2015-01-27 Tangome, Inc. Video messaging
US9088426B2 (en) * 2011-12-13 2015-07-21 Google Inc. Processing media streams during a multi-user video conference
US9088697B2 (en) * 2011-12-13 2015-07-21 Google Inc. Processing media streams during a multi-user video conference
KR20130076947A (ko) 2011-12-29 2013-07-09 삼성전자주식회사 영상장치 및 그 제어방법
CN102740040B (zh) * 2012-02-06 2015-04-15 福州瑞芯微电子有限公司 一种基于Android***的3G视频电话的***及实现方法
BR112014020562B1 (pt) 2012-02-23 2022-06-14 Dolby International Ab Método, sistema e meio não-transitório legível por computador para determinar um primeiro valor de tonalidade agrupada
WO2013138531A1 (en) 2012-03-14 2013-09-19 Google, Inc. Modifying an appearance of a participant during a video conference
JP5962098B2 (ja) * 2012-03-19 2016-08-03 株式会社リコー 伝送端末、伝送システム、表示制御方法、及びプログラム
US9813666B2 (en) * 2012-05-29 2017-11-07 Qualcomm Incorporated Video transmission and reconstruction
US8947491B2 (en) * 2012-06-28 2015-02-03 Microsoft Corporation Communication system
CN102946514B (zh) * 2012-11-08 2014-12-17 广东欧珀移动通信有限公司 移动终端的自拍方法和装置
CN103024167A (zh) * 2012-12-07 2013-04-03 广东欧珀移动通信有限公司 一种移动终端拍照方法及***
US10122896B2 (en) 2012-12-14 2018-11-06 Avaya Inc. System and method of managing transmission of data between two devices
US8970651B2 (en) * 2012-12-14 2015-03-03 Avaya Inc. Integrating audio and video conferencing capabilities
US10708545B2 (en) * 2018-01-17 2020-07-07 Duelight Llc System, method, and computer program for transmitting face models based on face data points
CN104219197A (zh) * 2013-05-30 2014-12-17 腾讯科技（深圳）有限公司 一种视频会话方法、终端和***
JP6304999B2 (ja) * 2013-10-09 2018-04-04 アイシン精機株式会社 顔検出装置、方法およびプログラム
US9519950B2 (en) * 2013-12-20 2016-12-13 Furyu Corporation Image generating apparatus and image generating method
JP6375755B2 (ja) * 2014-07-10 2018-08-22 フリュー株式会社 写真シール作成装置および表示方法
US10866720B2 (en) * 2014-02-27 2020-12-15 Keyless Systems Ltd. Data entry systems
JP6492460B2 (ja) * 2014-08-29 2019-04-03 株式会社リコー 伝送端末、伝送方法、及びプログラム
CN104244022B (zh) * 2014-08-29 2018-03-09 形山科技（深圳）有限公司 一种图像处理方法及***
JP6496172B2 (ja) * 2015-03-31 2019-04-03 大和ハウス工業株式会社 映像表示システム及び映像表示方法
KR101751620B1 (ko) * 2015-12-15 2017-07-11 라인 가부시키가이샤 시각적 또는 청각적 효과의 양방향 전달을 이용한 영상 통화 방법 및 시스템
CN105635807A (zh) * 2015-12-30 2016-06-01 北京奇艺世纪科技有限公司 一种视频编辑方法和装置
CN105678686B (zh) * 2015-12-30 2019-06-14 北京金山安全软件有限公司 一种图片处理方法及装置
CN107105332A (zh) * 2016-02-19 2017-08-29 宇龙计算机通信科技(深圳)有限公司 一种装饰图像的方法、装置及智能终端
CN105791675A (zh) * 2016-02-26 2016-07-20 广东欧珀移动通信有限公司 终端、成像及交互控制方法及装置、其终端及***
CN105872447A (zh) * 2016-05-26 2016-08-17 努比亚技术有限公司 一种视频图像处理装置和方法
CN105979194A (zh) * 2016-05-26 2016-09-28 努比亚技术有限公司 一种视频图像处理装置和方法
CN106028136A (zh) * 2016-05-30 2016-10-12 北京奇艺世纪科技有限公司 一种图像处理方法及装置
US10609324B2 (en) * 2016-07-18 2020-03-31 Snap Inc. Real time painting of a video stream
US10600220B2 (en) * 2016-08-01 2020-03-24 Facebook, Inc. Systems and methods for content interaction
CN106341720B (zh) * 2016-08-18 2019-07-26 北京奇虎科技有限公司 一种在视频直播中添加脸部特效的方法及装置
CN106454199B (zh) * 2016-10-31 2019-02-15 维沃移动通信有限公司 一种视频通信方法及移动终端
US10158828B2 (en) 2017-04-05 2018-12-18 Facebook, Inc. Customized graphics for video conversations
CN108966031B (zh) * 2017-05-18 2021-06-04 腾讯科技（深圳）有限公司 视频会话中实现播放内容控制的方法及装置、电子设备
CN107194907B (zh) * 2017-05-24 2019-06-07 维沃移动通信有限公司 一种截图合成方法及移动终端
CN107733874B (zh) * 2017-09-20 2021-03-30 平安科技（深圳）有限公司 信息处理方法、装置、计算机设备和存储介质
CN108271058B (zh) * 2018-02-02 2021-10-12 阿里巴巴（中国）有限公司 视频互动方法、用户客户端、服务器及存储介质
US10681310B2 (en) * 2018-05-07 2020-06-09 Apple Inc. Modifying video streams with supplemental content for video conferencing
US11012389B2 (en) 2018-05-07 2021-05-18 Apple Inc. Modifying images with supplemental content for messaging
CN109145878B (zh) * 2018-09-30 2022-02-15 北京小米移动软件有限公司 图像提取方法及装置
CN110213667B (zh) * 2019-04-16 2022-04-05 佛山市丰智胜教育咨询服务有限公司 在线视频交互的网络保障方法、***、设备及存储介质
CN112788275B (zh) * 2020-12-31 2023-02-24 北京字跳网络技术有限公司 视频通话方法、装置、电子设备和存储介质
US20240185530A1 (en) * 2021-03-30 2024-06-06 Beijing Boe Technology Development Co., Ltd. Information interaction method, computer-readable storage medium and communication terminal
US11606513B2 (en) * 2021-06-29 2023-03-14 Lenovo (Singapore) Pte. Ltd. Apparatus, method, and program product for enhancing privacy via facial feature obfuscation
US20230239429A1 (en) * 2022-01-25 2023-07-27 Mediatek Inc. Communication system and method

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004171543A (ja) * 2002-11-07 2004-06-17 Matsushita Electric Ind Co Ltd 画像処理方法及びその装置
KR20050026131A (ko) * 2003-09-09 2005-03-15 (주)잉카엔트웍스 개인 휴대 단말기의 데이터 동기화 방법 및 그 시스템
JP2005130356A (ja) * 2003-10-27 2005-05-19 Matsushita Electric Ind Co Ltd テレビ電話システム及びその通信方法、並びに通信端末

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2603445B2 (ja) 1994-11-10 1997-04-23 インターナショナル・ビジネス・マシーンズ・コーポレイション 髪画像適合方法及びコンピュータ・システム
US6400374B2 (en) * 1996-09-18 2002-06-04 Eyematic Interfaces, Inc. Video superposition system and method
US6661906B1 (en) * 1996-12-19 2003-12-09 Omron Corporation Image creating apparatus
AU4307499A (en) * 1998-05-03 1999-11-23 John Karl Myers Videophone with enhanced user defined imaging system
CN1222911C (zh) * 1998-05-19 2005-10-12 索尼电脑娱乐公司 图像处理装置和方法
KR100831375B1 (ko) * 2001-11-28 2008-05-21 노키아 코포레이션 이동 단말기에서의 그래픽 표현을 생성하는 방법
JP2003244425A (ja) * 2001-12-04 2003-08-29 Fuji Photo Film Co Ltd 伝送画像の修飾パターンの登録方法および装置ならびに再生方法および装置
JP2003219047A (ja) 2002-01-18 2003-07-31 Matsushita Electric Ind Co Ltd 通信装置
EP1434170A3 (en) * 2002-11-07 2006-04-05 Matsushita Electric Industrial Co., Ltd. Method and apparatus for adding ornaments to an image of a person
JP2004178163A (ja) 2002-11-26 2004-06-24 Matsushita Electric Ind Co Ltd 画像処理方法及びその装置
JP4183536B2 (ja) 2003-03-26 2008-11-19 富士フイルム株式会社 人物画像処理方法及び装置並びにシステム
US7391888B2 (en) * 2003-05-30 2008-06-24 Microsoft Corporation Head pose assessment methods and systems
TWI255141B (en) * 2004-06-02 2006-05-11 Imagetech Co Ltd Method and system for real-time interactive video
JP2005242566A (ja) 2004-02-25 2005-09-08 Canon Inc 画像合成装置及び方法
US7660482B2 (en) * 2004-06-23 2010-02-09 Seiko Epson Corporation Method and apparatus for converting a photo to a caricature image
US7612794B2 (en) * 2005-05-25 2009-11-03 Microsoft Corp. System and method for applying digital make-up in video conferencing
US7728866B2 (en) * 2005-11-03 2010-06-01 Broadcom Corp. Video telephony image processing

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004171543A (ja) * 2002-11-07 2004-06-17 Matsushita Electric Ind Co Ltd 画像処理方法及びその装置
KR20050026131A (ko) * 2003-09-09 2005-03-15 (주)잉카엔트웍스 개인 휴대 단말기의 데이터 동기화 방법 및 그 시스템
JP2005130356A (ja) * 2003-10-27 2005-05-19 Matsushita Electric Ind Co Ltd テレビ電話システム及びその通信方法、並びに通信端末

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11189067B2 (en) 2019-02-28 2021-11-30 Samsung Electronics Co., Ltd. Electronic device and content generation method

Also Published As

Publication number Publication date
JP4499117B2 (ja) 2010-07-07
CN101018314A (zh) 2007-08-15
JP2007215189A (ja) 2007-08-23
EP1841226A3 (en) 2008-01-23
US20070200925A1 (en) 2007-08-30
KR20070080401A (ko) 2007-08-10
CN101018314B (zh) 2011-11-16
US8111280B2 (en) 2012-02-07
EP1841226A2 (en) 2007-10-03

Similar Documents

Publication Publication Date Title
KR101240261B1 (ko) 이동통신 단말기의 영상 통화 장치 및 방법
KR101167432B1 (ko) 통신 방법 및 통신 시스템
KR100881526B1 (ko) 데이터 전송 방법 및 그 장치, 및 데이터 전송 시스템
US8004555B2 (en) Methods and devices for simultaneous dual camera video telephony
KR0180543B1 (ko) 화상통신장치
WO2007036838A1 (en) Face annotation in streaming video
JP2006262484A (ja) 画像通信中の画像合成方法及び装置
JP2006333301A (ja) テレビ通信装置
US7277115B2 (en) Communication terminal device capable of transmitting visage information
KR20070117284A (ko) 듀얼 카메라를 구비한 이동 통신 단말기에서 복수의 영상합성방법
KR100853122B1 (ko) 이동통신망을 이용한 실시간 대체 영상 서비스 방법 및시스템
JP2010157906A (ja) 映像表示装置
US20050192050A1 (en) Method and apparatus for processing incoming call of wireless telephone having camera
WO2013067898A1 (zh) 传输信息的方法和终端
JP2008160295A (ja) テレビ電話システム及びテレビ電話装置
JP2002051315A (ja) データ伝送方法およびその装置、並びにデータ伝送システム
JP2001111976A (ja) 映像撮影装置および通信端末装置
KR20090012657A (ko) 카메라가 구비되지 않은 통신 단말기를 이용하여 화상통화를 수행하는 방법 및 시스템
JP2000020683A (ja) 通信会議システム
JP2002262138A (ja) 撮像システム、テレビ会議システム、監視システムおよび撮像機能を有した情報端末機器
JPH10174091A (ja) カメラ制御システム
JP2002325238A (ja) 簡易動画送受信システム及び動画送受信方法
JP2001313917A (ja) ネットワーク会議画像処理装置
KR101149976B1 (ko) 화상 전화 시스템 및 방법
CN115834820A (zh) 视频会议***及其视频传输方法

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160122

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170124

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190214

Year of fee payment: 7