CN108965771B - 一种视频通话控制装置及方法、视频通话*** - Google Patents

一种视频通话控制装置及方法、视频通话*** Download PDF

Info

Publication number
CN108965771B
CN108965771B CN201811152329.4A CN201811152329A CN108965771B CN 108965771 B CN108965771 B CN 108965771B CN 201811152329 A CN201811152329 A CN 201811152329A CN 108965771 B CN108965771 B CN 108965771B
Authority
CN
China
Prior art keywords
video
display
acquisition
information
period
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811152329.4A
Other languages
English (en)
Other versions
CN108965771A (zh
Inventor
石炳川
杨宝印
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201811152329.4A priority Critical patent/CN108965771B/zh
Publication of CN108965771A publication Critical patent/CN108965771A/zh
Priority to US16/409,743 priority patent/US10708490B2/en
Application granted granted Critical
Publication of CN108965771B publication Critical patent/CN108965771B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H04N7/144Constructional details of the terminal equipment, e.g. arrangements of the camera and the display camera and display on the same optical axis, e.g. optically multiplexing the camera and display for eye to eye contact
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174Facial expression recognition
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明公开一种视频通话控制装置及方法、视频通话***,涉及视频通话技术领域,以使得视频通话过程所传送的视频信息准确展现用户面部表情,从而提高用户使用体验。该视频通话控制装置包括:信息收发单元,用于接收对方视频信息和发送己方视频信息;采集控制单元,用于至少在采集时段控制视频采集器采集己方视频信息,以及在采集时段控制视频采集器与己方面部对位;显示控制单元,用于在采集时段控制显示装置处在非显示状态,在显示时段根据对方视频信息控制显示装置显示对方视频。所述视频通话***包括上述视频通话控制装置。本发明提供的视频通话控制装置及方法、视频通话***用于视频通话中。

Description

一种视频通话控制装置及方法、视频通话***
技术领域
本发明涉及视频通话技术领域,尤其涉及一种视频通话控制装置及方法、视频通话***。
背景技术
视频通话是一种基于互联网技术的通信方式,可依靠通讯设备传送用户语音和画面的通信方式。
目前视频电话所使用的通信设备一般为手机、平板电脑等通讯设备,视频通话所需的摄像头设在通信设备的边缘,以避免摄像头遮挡通信设备所显示的画面。虽然这样并不会影响画面传输,但是在视频通话过程中,用户的眼睛一般正对通信设备的显示屏幕,这使得摄像头所采集的面部画面所展现表情有可能失真,并导致参与视频通话的对方用户无法准确判断己方面部表情所展现的含义,从而影响用户在视频通话过程中的使用体验。
发明内容
本发明的目的在于提供一种视频通话控制装置及方法、视频通话***,以使得视频通话过程所传送的视频信息准确展现用户面部表情,从而提高用户使用体验。
为了实现上述目的,本发明提供如下技术方案:
本发明提供了一种视频通话控制装置,该视频通话控制装置包括:
信息收发单元,用于接收对方视频信息和发送己方视频信息;
与所述信息收发单元连接的采集控制单元,用于至少在采集时段控制视频采集器采集己方视频信息,以及在采集时段控制视频采集器与己方面部对位;
与所述信息收发单元连接的显示控制单元,用于在采集时段控制显示装置处在非显示状态,在显示时段根据所述对方视频信息控制显示装置显示对方视频。
与现有技术相比,本发明提供的视频通话控制装置中,显示控制单元可在显示时段根据对方视频信息控制显示装置显示对方视频,在采集时段控制显示装置处在非显示状态,而采集控制单元可至少在采集时段控制视频采集器采集己方视频信息,以及在采集时段控制视频采集器与己方面部对位,这使得用户利用视频通话控制装置进行视频通话时,视频采集器可正对己方用户,从而使得己方视频信息所展现的面部表情比较真实,这样就保证对方用户通过己方视频信息准确理解己方用户的面部所表达的含义,以提高在视频通话过程中的用户体验。
本发明还提供了一种视频通话***,该视频通话装置包括:显示装置、视频采集器和上述技术方案所述的视频通话控制装置;所述视频采集器与采集控制单元连接,所述显示装置与所述显示控制单元连接。
与现有技术相比,本发明提供的视频通话***的有益效果与上述技术方案所述的视频通话控制装置的有益效果相同,在此不做赘述。
本发明还提供了一种视频通话控制方法,该视频通话控制方法包括多个通话周期,每个所述通话周期包括显示时段和采集时段;
接收对方视频信息;
在所述显示时段根据所述对方视频信息控制显示装置显示对方视频;
在采集时段控制显示装置处在非显示状态,至少在采集时段控制视频采集器采集己方视频信息,在采集时段控制视频采集器与己方面部对位;
发送己方视频信息。
与现有技术相比,本发明提供的视频通话控制方法的有益效果与上述技术方案所述的视频通话控制装置的有益效果相同,在此不做赘述。
本发明还提供了一种计算机存储介质,用于存储为上述视频通话控制装置所用的计算机指令。
与现有技术相比,本发明提供的计算机存储介质的有益效果与上述技术方案所述的视频通话控制装置的有益效果相同。
本发明还提供了一种视频通话控制终端,该视频通话控制终端包括处理器、存储器、收发器以及总线,所述处理器、所述存储器和所述收发器通过所述总线彼此通信。
与现有技术相比,本发明提供的视频通话控制终端的有益效果与上述技术方案所述的视频通话控制装置的有益效果相同,在此不做赘述。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本发明的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1为本发明实施例提供的视频通话控制装置的结构框图一;
图2为本发明实施例提供的视频通话控制装置的结构框图二;
图3为本发明实施例提供的视频通话***的控制原理图;
图4为本发明实施例提供的视频通话控制终端的结构图;
图5为本发明实施例提供的视频通话***的结构示意图;
图6为本发明实施例中散射幕的结构示意图;
图7为本发明实施例中视频通话周期的时序分布图;
图8为本发明实施例提供的视频通话控制方法的流程图;
图9为本发明实施例中显示时段的控制流程图一;
图10为本发明实施例中显示时段的控制流程图二;
图11为本发明实施例中采集时段的控制流程图。
附图标记:
100-视频通话控制装置, 110-信息收发单元;
120-采集控制单元, 121-信息采集模块;
122-视频分析模块, 123-对位控制模块;
130-显示控制单元, 131-显示状态控制模块;
132-显示数据控制模块, 140-时序控制单元;
150-电源单元, 200-显示装置;
210-投影单元, 211-二维光调制器;
212-照明模块, 213-投影镜头;
220-散射幕; 2200-聚合物分散液晶层;
2210-第一电极板, 2211-第一衬底基板;
2212-第一面电极, 2220-第二电极板;
2221-第二衬底基板, 2222-第二面电极;
300-视频采集器, 310-方向调节机构;
320-相机, 400-壳体;
500-视频通话控制终端, 510-处理器;
520-存储器, 530-收发器;
540-总线, Ts1-第一视频通话周期;
tp1-第一显示时段, tc1-第一采集时段;
Ts2-第二视频通话周期, tp2-第二显示时段;
tc2-第二采集时段。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
现有视频通话装置可以为手机、平板电脑、台式电脑等,其一般包括声音采集单元、摄像单元、显示单元、扬声单元和信息收发单元。视频通话过程中,己方视频通话装置所包括的摄像单元采集己方图像信息,声音采集单元采集己方音频信息,信息收发单元可将己方图像信息和己方音频信息传送至对方视频通话装置,同时己方视频通话装置所包括的信息收发单元接收对方图像信息和对方音频信息,显示单元显示对方图像信息,扬声单元播放对方音频信息,从而实现视频通话。目前,摄像单元一般设在在显示单元的边框部分,以避免摄像单元妨碍己方用户观看显示单元所显示的对方图像信息。但这也使得己方视频通话设备所采集的己方用户的面部画面所展现的表情有可能失真,导致对方用户无法准确判断己方面部表情所展现的含义,从而影响用户在视频通话过程中的使用体验。例如:手机的摄像头位于手机的边框,而己方用户在视频通话过程中眼镜正对手机屏幕,这使得在视频通话过程中手机的相机只能斜向采集己方眼部画面,导致摄像头所采集的眼部画面无法准确的展现己方用户的眼部表情,使得对方用户无法准确理解己方用户所传达的含义。
针对上述问题,如图1、图3、图5和图8所示,本发明实施例提供了一种视频通话控制装置100,该视频通话控制装置100包括:
信息收发单元110,用于接收对方视频信息和发送己方视频信息。
与信息收发单元110连接的采集控制单元120,用于至少在采集时段控制视频采集器300采集己方视频信息,以及控制视频采集器300与己方面部对位,此处控制视频采集器300与己方面部对位是指控制视频采集器300与己方面部的几何中心对位。
与信息收发单元110连接的显示控制单元130,用于在采集时段控制显示装置200处在非显示状态,在显示时段根据对方视频信息控制显示装置200显示对方视频。
其中,上述信息收发单元110的功能可通过信号收发器等硬件实现,采集控制单元120和显示控制单元130的功能可通过处理器等硬件实现。该处理器可以是中央处理器(Central Processing Unit,简称CPU),也可以是特定集成电路(Application SpecificIntegrated Circuit,简称ASIC),或者是被配置成实施本发明实施例的一个或多个集成电路,例如:一个或多个微处理器(digital signal processor,简称DSP),或,一个或者多个现场可编程门阵列(Field Programmable Gate Array,简称FPGA)。同时,可将实现信息收发单元110、控制单元和显示控制单元130的功能的硬件结构集成在芯片上。
基于本发明实施例提供的视频通话控制装置100的结构可知,显示控制单元130可在显示时段根据对方视频信息控制显示装置200显示对方视频,在采集时段控制显示装置200处在非显示状态,而采集控制单元120可至少在采集时段控制视频采集器300采集己方视频信息,以及在采集时段控制视频采集器300与己方面部对位,这使得用户利用视频通话控制装置100进行视频通话时,视频采集器300可正对己方用户,从而使得己方视频信息所展现的面部表情比较真实,这样就保证对方用户通过己方视频信息准确理解己方用户的面部所表达的含义,以提高在视频通话过程中的用户体验。
可以理解的是,如图1所示,上述视频通话控制装置100还包括与采集控制单元120和显示控制单元130连接的时序控制单元140,用于控制视频通话时序,使得视频通话交替处在显示时段和采集时段。也就是说,时序控制单元140可控制视频通话的时序,使得在一个视频通话周期内,包括显示时段和采集时段。
上述每个视频通话周期的时间可按照实际情况设定,显示时段和采集时段所需要的时间可以相等,也可以不等,但为了便于控制,可设定显示时段所需时间和采集时段所需时间相等。为了保证视频通话过程中所采集的己方视频信息和显示的对方视频连贯,每个显示时段和采集时段的时间不宜过长,一般以毫秒计算。
需要说明的是,如图1所示,上述视频通话控制装置100还包括电源单元150,电源单元150分别与信息收发单元110、显示控制单元130和采集控制单元120连接,以向信息收发单元110、显示控制单元130和采集控制单元120供电。
在一些实施例中,如图2、图3、图5和图9所示,上述显示控制单元130包括:
与上述时序控制单元140连接的显示状态控制模块131,用于在显示时段控制显示装置200处在显示状态,在采集时段控制显示装置200处在透明状态即非显示状态。此处的显示装置200是可实现透明和非透明转换的显示装置200。
与上述时序控制单元140和信息收发单元110连接的显示数据控制模块132,用于控制显示时间,使得显示装置200相邻两次视频显示的时间间隔等于一个采集时段所用时间,根据显示装置200的视频显示时间控制显示装置200显示对方视频;其中,显示装置200每次视频显示的时间应当满足显示至少一帧图像的要求。
由上述显示控制单元130的具体结构可知,显示状态控制模块131与时序控制单元140,使得显示状态控制模块131根据时序控制单元140所控制的视频通话时序,在显示时段控制显示装置200处在显示状态,在采集时段控制显示装置200处在透明状态;当采集时段控制显示装置200处在透明状态时,如果己方用户位于显示装置200的显示侧,视频采集器300位于显示装置200远离显示侧的一侧,那么视频采集器300在采集时段可通过透明状态的显示装置200采集己方用户的面部画面。而显示数据控制模块132分别与时序控制单元140和信息收发单元110连接,使得显示数据控制模块132在控制显示装置200的图像采集时间的同时,可在时序控制单元140的控制下,保证显示装置200相邻两次视频显示的时间间隔等于一个采集时段所用时间,这样就能够使得在采集时段显示装置200停止显示对方视频,从而保证在采集时段视频采集器300在不受对方视频干扰的情况下采集己方用户图像。
在一些实施例中,如图2、图3、图5和图11所示,上述采集控制单元120包括:
与信息收发单元110和时序控制单元140连接的视频分析模块122,用于在显示时段分析对方视频信息,获得对方双眼中点位置信息,在采集时段分析己方图像信息,获得己方面部位置信息。对方双眼中点位置信息是指对方双眼中点的坐标信息,己方面部位置信息是指己方面部的几何中心坐标信息。
与视频分析模块122和时序控制单元140连接的对位控制模块123,用于根据对方双眼中点位置信息控制视频采集器300与显示装置200的相对位置,使得视频采集器300与显示装置200所显示的对方双眼中点位置对位;根据己方面部位置信息控制视频采集器300的采集角度,使得视频采集器300的镜头与己方面部进行对位;
如果一个视频通话周期内显示时段和采集时段所需的时间只有毫秒级别,这使得肉眼难以分辨采集时段的存在,此时在视频通话过程中,虽然采集时段和显示时段是独立的两个时段,但是己方用户所看到的对方视频连续。而且在一个视频通话周期内显示时段和采集时段所需的时间只有毫秒级别,在极短的时间内显示装置200所显示的对方面部位置不会发生太大的变化,且己方用户的面部相对显示装置200的位置也不会有过大的变化;因此,在一个视频通话周期内,视频采集器300与显示装置200所显示的对方双眼中点对位时,只需要将视频采集器300移动至显示装置200所显示的对方中点位置即可,当需要根据己方面部位置信息控制视频采集器300的采集角度时,视频采集器300只需转动视频采集器300的镜头,使得视频采集器300的镜头与己方面部对位即可。此时,利用视频采集器300所采集的己方视频信息传送到对方用户所持有的视频通话设备时,对方用户的面部正对对方用户所持有的视频通话设备所显示的己方用户的面部;因此,本发明实施例提供的视频通话控制装置100可使得己方用户和对方用户准确的判断对方面部表情,以实现远程面对面沟通的效果,从而进一步提高用户的使用体验。
与时序控制单元140、信息收发单元110和视频分析模块122连接的信息采集模块121,用于控制视频采集器300的图像采集时间,使得视频采集器300相邻两次采集的时间间隔小于等于一个显示时段所用时间,在采集时段根据视频采集器300的图像采集时间控制视频采集器300采集时段采集己方图像信息。
当视频采集器300相邻两次采集的时间间隔等于一个显示时段所用时间,则在显示时段视频采集器300处在关闭状态,那么在一个视频通话周期内。此时,视频采集器300所采集的己方图像信息可以全部或部分转换为己方视频信息;
当视频采集器300相邻两次采集的时间间隔小于一个显示时段所用时间,则在显示时段的部分时间或全部时间内视频采集器300处在打开状态。此时,在一个视频通话周期内,视频采集器300所采集的己方图像信息需要先去除显示时段所采集的己方图像信息,然后再将采集时段所采集的己方图像信息全部或部分转换为己方视频信息,从而避免显示时段所采集的己方图像信息对己方视频信息所产生的干扰,虽然这样处理己方图像信息所生成的己方视频信息不会受到显示时段所采集的己方图像信息的干扰,但是这样增大了信息处理的复杂度。
考虑到每个视频通话周期内,不仅包括显示时段,而且包括采集时段,虽然在显示时段和采集时段的时间比较短的情况下,肉眼难以分辨采集时段的存在,但是相邻两个显示时段所显示的对方视频之间的时间间隔与对方视频的相邻两个视频帧之间的时间间隔不一致,会使得利用视频采集器300所采集的己方视频信息所显示的己方视频连贯性稍差,基于此,上述信息采集模块121还用于从己方图像信息获得至少一个采集时段所采集的图像帧信息,将至少一个采集时段所采集的图像帧信息转换为己方视频信息,使得视频通话时的己方视频帧率保持恒定。
如图3和图5所示,本发明实施例还提供了一种视频通话***,该视频通话***包括:显示装置200、视频采集器300和上述技术方案所述的视频通话控制装置100;该视频采集器300与采集控制单元120连接,显示装置200与显示控制单元130连接。
与现有技术相比,本发明实施例提供的视频通话***的有益效果与上述实施例提供的视频通话控制装置100的有益效果相同,在此不做赘述。
可以理解的是,上述视频通话控制装置100所包括的电源单元150还可以向显示装置200和视频采集器300供电。当然也可以单独为显示装置200和视频采集器300配置供电装置。
在一些实施例中,如图5所示,上述显示装置200包括:
散射幕220,该散射幕220在显示时段处在散射状态,在采集时段处在透明状态;散射幕220的显影面背离散射幕220的投影面,视频采集器300位于散射幕220的投影面所在方向。
投影单元210,用于在显示时段将对方视频信息转换成对方视频,并将所显示的画面投影至散射幕220的投影面。
如图2和图3所示,当上述显示控制单元130包括显示状态控制模块131和显示数据控制模块132时,上述显示状态控制模块131与散射幕220连接,以控制散射幕220处在散射状态或透明状态,当散射幕220处在散射状态时,投影单元210可在此时将己方视频投影至散射幕220的投影面。而由于散射幕220的显影面背离散射幕220的投影面,视频采集器300位于散射幕220的投影面所在方向,这使得用户在观看显示装置200所显示的画面时,位于散射幕220的投影面。当散射幕220在采集时段处在透明状态,视频采集器300可通过透明的散射幕220采集位于散射幕220显影面的用户。
如果在上述投影单元210仍然向散射幕220的投影侧投影对方视频,会对己方图像的采集有一定影响。为此,需要对上述投影单元210的投影时间进行限定。例如:限定投影单元210相邻两次投影的时间间隔等于一个采集时段所用时间,以保证投影单元210仅在显示时段进行投影。至于视频采集器300相邻两次图像采集的时间间隔可参考前文,即视频采集器300相邻两次图像采集的时间间隔小于等于一个显示时段所用时间。当视频采集器300相邻两次图像采集的时间间隔小于一个显示时段所用时间,会增加己方图像信息的处理难度加大。当视频采集器300相邻两次图像采集的时间间隔等于一个显示时段所用时间时,视频采集器300所采集的己方图像信息的处理难度比较低。
需要说明的是,上述投影单元210的一次投影时间应当满足至少一帧对方视频显示所需时间,上述视频采集器300的一次图像采集时间应当满足至少一帧己方图像采集所需时间。至于上述散射幕220的散射状态保持时间,应当满足投影单元210投影至少一帧对方视频所需时间。上述散射幕220的透明状态保持时间,应当满足视频采集器300采集至少一帧己方图像所需时间。
如图2和图3所示,当上述显示状态控制模块131与散射幕220连接,显示状态控制模块131与时序控制单元140连接时,散射幕220所处的状态在散射状态和透明状态之间反复交替。
在一些实施例中,如图3和图6所示,上述散射幕220包括第一电极板2210、第二电极板2220以及位于所述第一电极板2210和第二电极板2220之间的聚合物分散液晶层2200,上述显示状态控制模块131分别与第一电极板2210和第二电极板2220连接。当上述显示状态控制模块131没有向第一电极板2210和第二电极板2220提供电压时,聚合物分散液晶层2200处在混乱状态,可对投影至散射幕220的散射面的对方视频光线进行散射,此时用户在散射幕220的显影面可清楚的看到对方视频,也就是说,聚合物分散液晶层2200处在混乱状态,可使得所形成的散射幕220具有投影幕布的作用。当上述显示状态控制模块131向第一电极板2210和第二电极板2220提供电压时,聚合物分散液晶层2200处在第一电极板2210和第二电极板2220所形成的电场中,使得聚合物分散液晶层2200呈清亮状态,此时散射幕220处在透明状态。该散射幕220可实现毫秒级响应,这样有利于保证每个视频通话周期的显示时段所使用的时间以视频帧所用时间计算。
在一些实施例中,如图6所示,上述第一电极板2210包括第一衬底基板2211以及形成在第一衬底基板2211表面的第一面电极2212,上述第二电极板2220包括第二衬底基板2221以及形成在第二衬底基板2221表面的第二面电极2222。当第一电极板2210和第二电极板2220相对时,第一面电极2212和第二面电极2222相对,且聚合物分散液晶层2200位于第一面电极2212和第二面电极2222之间。
在一些实施例中,如图5所示,本发明实施例提供的视频通话***还包括具有开口的壳体400,上述视频通话控制装置100、投影单元210和视频采集器300设在壳体400内,上述散射幕220设在开口处。而由于散射幕220在散射状态具有散射光线的功能,如果壳体400内表面、以及壳体400内的视频通话控制装置100、投影单元210和视频采集器300的外表面的反光效果比较好时,容易干扰己方用户观看散射幕220所呈现的己方视频。因此,壳体400的内表面、投影单元210的外表面和视频采集器300应当设置消光膜,或者进行系哦啊光处理,使得己方用户在观看视频过程中不容易通过散射幕220看到壳体400内部的结构。
在一些实施例中,上述投影单元210为如超短焦投影***等现有投影设备,也可以为下述结构的投影单元210。如图5所示,该投影单元210包括:
与所述显示数据控制模块132连接的二维光调制器211,用于将对方视频信息转换成对方视频,二维光调制器211的刷新频率投影单元210的投影刷新率。该二维光调制器211可以为微型液晶显示器、硅基液晶显示器、数字微镜背投影显示器等微显示器件。
照明模块212,用于对对方视频进行光线增强;例如:当显示器为液晶显示面板时,照明模块212一般由高亮度发光二极管、光束收集镜片和匀光镜片构成,高亮度发光二极管提供高亮度光线,光束收集镜片将高亮度光线进行收集,并通过匀光镜片形成面光源提供给显示器,使得显示器显示对方视频。
投影镜头213,用于将对方视频投影至散射幕220的投影面;该投影镜头213为超短焦投影镜头213,当然还可以是其他投影镜头213。例如:该投影镜头213包括球面/非球面透镜组和自由曲面反射镜,其可以在极短的距离内将微显示器件的图像投影到散射幕220的散射面。
在一些实施例中,如图5所示,上述视频采集器300为可移动的视频采集器,其具体包括:
相机320,用于在采集阶段采集图像信息。相机320的种类比较多,只要具备视频采集功能即可。
方向调节机构310,用于调节相机320与显示装置200的相对位置,以及调节所述相机320的镜头光轴与所述显示装置200的显示装置200的显示面所形成的夹角,以调节视频采集器300的采集角度。
如图2和图3所示,当上述采集控制单元120包括:视频分析模块122、对位控制模块123和信息采集模块121,对位控制模块123与方向调节机构310连接,以利用对位控制模块123控制方向调节机构310,从而达到调节相机320位置和角度的目的。而信息采集模块121与相机320连接,可使得信息采集模块121接收相机320所采集的己方图像信息,同时还可以利用信息采集模块121控制相机320的采集时间,使得相机320相邻两次采集的时间间隔小于等于一个显示时段。
在一些实施例中,如图3和图5所示,上述方向调节机构310为四轴运动平台,该四轴运动平台用于控制相机320沿着XY方向运动以及控制相机320沿着XY方向所在直线转动;XY方向所在直线形成的平面与散射幕220的投影面平行。X方向所在直线与Y方向所在直线垂直。
例如:当控制视频采集器300与显示装置200的相对位置时,按照对方双眼中点位置信息所表征的对方双眼中点信息,利用四轴运动平台控制相机320沿着XY方向运动,直到移动至散射状态的散射幕220显示的对方视频所展现的对方双眼中心位置。当控制视频采集器300的采集角度时,只需根据己方面部位置信息,利用四轴转动平台控制相机320沿着X方向所在直线和Y方向所在直线转动,直到视频采集器300的镜头与己方面部对位。
下面结合图2、图3、图5~图7对本发明实施例提供的视频通话***的工作过程,以下仅对第一个视频通话周期的工作过程进行描述,其他视频通话周期按照第一视频通话周期Ts1的工作执行即可。
第一视频通话周期Ts1包括第一显示时段tp1和第一采集时段tc1。
在第一显示时段tp1,显示状态控制模块131不向第一电极板2210和第二电极板2220提供电压,使得聚合物分散液晶层2200处在混乱状态,作为照明模块212的高亮度发光二级管向作为二维光调制器211的微型液晶显示器提供高亮度光线,显示数据控制模块132控制微型液晶显示器对高亮度光线进行调制,获得高亮度的对方视频光线。高亮度的对方视频光线通过投影镜头213将至少一帧对方视频投影至处在混乱状态的散射幕220的投影面,己方用户此时可在散射幕220的显影侧观看对方视频。同时,在第一显示时段tp1,视频分析模块122还对对方视频信息进行分析,获得对方双眼中心位置信息,对方双眼中心位置信息为对方双眼中心位置坐标数据,对位控制模块123根据该对方双眼中心位置坐标数据控制四轴运动平台,使得四轴运动平台按照对方双眼中心位置坐标数据控制相机320的坐标位置,使得相机320相对散射幕220的投影面移动,达到跟踪对方双眼中心位置的目的。另外,在第一显示时段tp1,相机320可以保持打开状态,也可以保持关闭状态,具体图像处理方式参见前文描述。
第一采集时段tc1,显示状态控制模块131向第一电极板2210和第二电极板2220提供电压,使得聚合物分散液晶层2200处在透明状态,高亮度发光二极管停止向微型液晶显示器提供高亮度光线,使得投影镜头213不会将对方视频投影至透明状态的散射屏的投影面。此时信息采集模块121通过透明状态的散射幕220采集至少一帧己方图像信息,同时视频分析模块122分析该己方图像信息,获得己方面部位置信息,对位控制模块123根据己方面部位置信息控制四轴运动平台,使得四轴运动平台控制相机320绕X轴或Y轴转动,达到调节相机320的镜头角度,完成相机320的采集角度调节,使得相机320的镜头与己方面部的几何中心对位。
第二视频通话周期Ts2包括第二显示时段tp2和第二采集时段tc2。当第一视频通话周期Ts1结束后,在第二视频通话周期Ts2,重复第一视频通话周期Ts1的第一显示时段tp1和第二采集时段tc2的过程。由于在第一采集时段tc1时,已经使得相机320的镜头与己方面部的几何中心对位,而由于每个视频通话周期所包括显示时段和采集时段的时间是以毫秒为单位计算,这使得每个视频通话周期完成后,在新的视频通话周期开始后己方用户的面部位置几乎没有发生变化,这样就保证了后续视频通话过程中,相机320所采集的己方图像信息所表达的己方面部信息的准确性。
可以理解的是,在视频通话过程中,四轴运动平台控制相机320的过程是一个动态调整过程,始终与视频分析模块122所分析的己方面部位置信息和对方双眼中心位置信息相适配。
如图3、图5和图8所示,本发明实施例还提供了一种视频通话控制方法,该视频通话控制方法包括多个通话周期,每个通话周期包括显示时段和采集时段;每个通话周期内,该视频通话控制方法包括:
步骤S100:在显示时段接收对方视频信息;
步骤S200:在显示时段根据对方视频信息控制显示装置200显示对方视频;
步骤S400:在采集时段控制显示装置200处在非显示状态,至少在采集时段控制视频采集器300采集己方视频信息,在采集时段控制视频采集器300与己方面部对位;
步骤S500:发送己方视频信息。
与现有技术相比,本发明实施例提供的视频通话控制方法的有益效果与上述视频通话控制装置100的有益效果相同,在此不做赘述。
其中,如图3、图5和图9所示,在显示时段根据对方视频信息控制显示装置200显示对方视频包括:
步骤S210:在显示时段控制显示装置200处在显示状态;
步骤S220:控制显示装置200的视频显示时间,使得显示装置200相邻两次视频显示的时间间隔等于一个采集时段所用时间;
步骤S230:在显示时段根据显示装置200的视频显示时间控制显示装置200显示对方视频;
在一些实施例中,如图2和图11所示,上述在采集时段控制显示装置200处在非显示状态包括:
步骤S410:在采集时段控制显示装置200处在透明状态,此时显示装置200无法显示对方视频。当显示装置200包括投影单元210和散射幕220时,可通过控制散射幕220处在透明状态,使得显示装置200处在非显示状态。
上述至少在采集时段控制视频采集器300采集己方视频信息包括:
步骤S420:控制视频采集器300的图像采集时间,使得所述视频采集器300相邻两次采集的时间间隔小于等于一个显示时段所用时间;
步骤S430:在采集时段根据视频采集器300的图像采集时间控制视频采集器300采集己方图像信息;
步骤S440:从所述己方图像信息获得至少一个采集时段所采集的图像帧信息,将至少一个采集时段所采集的图像帧信息转换为己方视频信息,使得视频通话时的己方视频帧率保持恒定。
如图5、图8和图11所示,上述在采集时段控制视频采集器300与己方面部对位包括:
步骤S450:在采集时段分析己方图像信息,获得己方面部位置信息;
步骤S460:根据己方面部位置信息控制视频采集器300的采集角度,使得视频采集器300的镜头与己方面部进行对位。
可以理解的是,上述步骤S440和步骤S450可同时执行,也可先后执行。
在一些实施例中,如图5、图8和图10所示,在显示时段控制显示装置200根据所述显示装置200的视频刷新频率显示对方视频时,上述视频通话控制方法还包括:
步骤S300:控制视频采集器300与显示装置200所显示的对方双眼中点位置对位,其具体方法如下:
步骤S310:在显示时段分析对方视频信息,获得对方双眼中点位置信息;
步骤S320:根据对方双眼中点位置信息控制视频采集器300与所述显示装置200的相对位置,使得视频采集器300与所述显示装置200所显示的对方中点位置对位。
如图5所示,本发明实施例还提供了一种计算机存储介质,用于存储为上述视频通话控制装置100所用的计算机指令,其包含用于执行上述方法实施例所设计的程序。这些计算机存储介质包括但不限于磁盘存储器、CD-ROM、光学存储器等。
如图4所示,本发明实施例还提供了一种视频通话控制终端500,该视频通话控制终端500包括处理器510、存储器520、收发器530以及总线540,所述处理器510、所述存储器520和所述收发器530通过所述总线540彼此通信。
其中,上述存储器520用于存储多个指令,所述处理器510执行上述多个指令以实现本发明实施例提供的视频通话控制方法。
本发明实施例所述的处理器510可以是一个处理器,也可以是多个处理元件的统称。例如,该处理器510可以是中央处理器(Central Processing Unit,简称CPU),也可以是特定集成电路(Application Specific Integrated Circuit,简称ASIC),或者是被配置成实施本发明实施例的一个或多个集成电路,例如:一个或多个微处理器(digital signalprocessor,简称DSP),或,一个或者多个现场可编程门阵列(Field Programmable GateArray,简称FPGA)。
存储器520可以是一个存储装置,也可以是多个存储元件的统称,且用于存储可执行程序代码等。且存储器520可以包括随机存储器(RAM),也可以包括非易失性存储器(non-volatile memory),例如磁盘存储器,闪存(Flash)等。
总线540可以是工业标准体系结构(Industry Standard Architecture,ISA)总线、外部设备互连(Peripheral Component,PCI)总线或扩展工业标准体系结构(ExtendedIndustry Standard Architecture,EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示,图4中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
在上述实施方式的描述中,具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。

Claims (8)

1.一种视频通话控制装置,其特征在于,包括:
信息收发单元,用于在显示时段接收对方视频信息和发送己方视频信息;
与所述信息收发单元连接的采集控制单元,用于至少在采集时段控制视频采集器采集己方视频信息;
与所述信息收发单元连接的显示控制单元,用于在采集时段控制显示装置处在非显示状态,在显示时段根据所述对方视频信息控制显示装置显示对方视频;
所述视频通话控制装置还包括与所述采集控制单元和所述显示控制单元连接的时序控制单元,用于控制视频通话时序,使得视频通话交替处在显示时段和采集时段;
所述采集控制单元包括:
与所述信息收发单元和所述时序控制单元连接的视频分析模块,用于在显示时段分析所述对方视频信息,获得对方双眼中点位置信息,在采集时段分析己方图像信息,获得己方面部位置信息;其中,己方面部位置信息是指己方面部的几何中心坐标信息;
与视频分析模块和时序控制单元连接的对位控制模块,用于在显示时段根据对方双眼中点位置信息控制视频采集器与显示装置的相对位置,使得视频采集器与显示装置所显示的对方双眼中点位置对位;在采集时段根据己方面部位置信息控制视频采集器的采集角度,使得视频采集器的镜头与己方面部的几何中心进行对位。
2.根据权利要求1所述的视频通话控制装置,其特征在于,
所述显示控制单元包括:
与所述时序控制单元连接的显示状态控制模块,用于在显示时段控制显示装置处在显示状态,在采集时段控制显示装置处在透明状态;
与所述时序控制单元和所述信息收发单元连接的显示数据控制模块,用于控制显示装置的视频显示时间,使得显示装置相邻两次视频显示的时间间隔等于一个采集时段所用时间,根据所述显示装置的视频显示时间控制显示装置显示对方视频;
和/或,
所述采集控制单元还包括:
与所述时序控制单元、所述信息收发单元和所述视频分析模块连接的信息采集模块,用于控制视频采集器的图像采集时间,使得所述视频采集器相邻两次采集的时间间隔小于等于一个显示时段所用时间,根据所述视频采集器的图像采集时间控制视频采集器采集己方图像信息,从所述己方图像信息获得至少一个采集时段所采集的图像帧信息,将至少一个采集时段所采集的图像帧信息转换为己方视频信息,使得视频通话时的己方视频帧率保持恒定。
3.一种视频通话***,其特征在于,包括:显示装置、视频采集器和权利要求1或2所述的视频通话控制装置;所述视频采集器与所述视频通话控制装置的采集控制单元连接,所述显示装置与所述视频通话控制装置的显示控制单元连接。
4.根据权利要求3所述的视频通话***,其特征在于,所述显示装置包括:
散射幕,所述散射幕在显示时段处在散射状态,在采集时段处在透明状态;所述散射幕的显影面背离所述散射幕的投影面,所述视频采集器位于所述散射幕的投影面所在方向;
投影单元,用于在显示时段将对方视频信息转换成对方视频,并将所述对方视频投影至散射幕的投影面;
所述投影单元相邻两次投影的时间间隔等于一个采集时段所用时间,所述视频采集器相邻两次图像采集的时间间隔小于等于一个显示时段所用时间;
当所述显示控制单元包括显示状态控制模块和显示数据控制模块时,所述显示状态控制模块与所述散射幕连接,所述显示数据控制模块与所述投影单元连接。
5.根据权利要求4所述的视频通话***,其特征在于,
所述投影单元包括:
与所述显示数据控制模块连接的二维光调制器,用于将对方视频信息转换成对方视频,所述二维光调制器的刷新频率等于所述投影单元的投影刷新率;
照明模块,用于对所述对方视频进行光线增强;
投影镜头,用于将所述对方视频投影至所述散射幕的投影面;
和/或,
所述散射幕包括第一电极板、第二电极板以及位于所述第一电极板和第二电极板之间的聚合物分散液晶层,所述显示状态控制模块分别与所述第一电极板和所述第二电极板连接。
6.根据权利要求3所述的视频通话***,其特征在于,所述视频采集器包括:
相机,用于在采集时段采集图像信息;
方向调节机构,用于调节所述相机与所述显示装置的相对位置,以及调节所述视频采集器的采集角度;
所述采集控制单元包括:视频分析模块、对位控制模块和信息采集模块,所述对位控制模块与所述方向调节机构连接,所述信息采集模块与所述相机连接。
7.一种视频通话控制方法,其特征在于,包括多个通话周期,每个所述通话周期包括显示时段和采集时段;每个所述通话周期内,所述视频通话控制方法包括:
接收对方视频信息;
在显示时段根据所述对方视频信息控制显示装置显示对方视频;
在采集时段控制显示装置处在非显示状态,至少在采集时段控制视频采集器采集己方视频信息,在采集时段控制视频采集器的采集角度,使视频采集器与己方面部的几何中心进行对位;
发送己方视频信息;
所述在显示时段根据所述对方视频信息控制显示装置显示对方视频时,所述视频通话控制方法还包括:
在显示时段分析所述对方视频信息,获得对方双眼中点位置信息;
根据所述对方双眼中点位置信息控制所述视频采集器与所述显示装置的相对位置,使得所述视频采集器与所述显示装置所显示的对方双眼中点位置对位。
8.根据权利要求7所述的视频通话控制方法,其特征在于,
所述在显示时段根据所述对方视频信息控制显示装置显示对方视频包括:
在显示时段控制显示装置处在显示状态;
控制显示装置的视频显示时间,使得显示装置相邻两次视频显示的时间间隔等于一个采集时段所用时间;
在显示时段根据所述显示装置的视频显示时间控制显示装置显示对方视频;
和/或,
所述在采集时段控制显示装置处在非显示状态包括:
在采集时段控制显示装置处在透明状态;
所述至少在采集时段控制视频采集器采集己方视频信息包括:
控制视频采集器的图像采集时间,使得所述视频采集器相邻两次采集的时间间隔小于等于一个显示时段所用时间;
在采集时段根据所述视频采集器的图像采集时间控制视频采集器采集己方图像信息;
从所述己方图像信息获得至少一个采集时段所采集的图像帧信息,将至少一个采集时段所采集的图像帧信息转换为己方视频信息,使得视频通话时的己方视频帧率保持恒定。
CN201811152329.4A 2018-09-29 2018-09-29 一种视频通话控制装置及方法、视频通话*** Active CN108965771B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201811152329.4A CN108965771B (zh) 2018-09-29 2018-09-29 一种视频通话控制装置及方法、视频通话***
US16/409,743 US10708490B2 (en) 2018-09-29 2019-05-10 Apparatus and method for controlling video call, and video calling system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811152329.4A CN108965771B (zh) 2018-09-29 2018-09-29 一种视频通话控制装置及方法、视频通话***

Publications (2)

Publication Number Publication Date
CN108965771A CN108965771A (zh) 2018-12-07
CN108965771B true CN108965771B (zh) 2021-01-26

Family

ID=64471284

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811152329.4A Active CN108965771B (zh) 2018-09-29 2018-09-29 一种视频通话控制装置及方法、视频通话***

Country Status (2)

Country Link
US (1) US10708490B2 (zh)
CN (1) CN108965771B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114567767B (zh) * 2022-02-23 2024-06-18 京东方科技集团股份有限公司 显示装置、光场采集方法、图像数据传输方法及相关设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103458219A (zh) * 2013-09-02 2013-12-18 小米科技有限责任公司 一种视频通话面部调整方法、装置及终端设备
CN105898136A (zh) * 2015-11-17 2016-08-24 乐视致新电子科技(天津)有限公司 摄像视角调节方法、***及电视
CN106921818A (zh) * 2015-12-24 2017-07-04 深圳市维海德技术股份有限公司 一种视频通讯终端、方法及***
CN108463787A (zh) * 2016-01-05 2018-08-28 瑞尔D斯帕克有限责任公司 多视角图像的注视校正

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8643691B2 (en) * 2008-05-12 2014-02-04 Microsoft Corporation Gaze accurate video conferencing
US20120257004A1 (en) * 2011-04-05 2012-10-11 Polycom, Inc. Direct Eye-Contact Enhancing Videoconferencing Unit
JP2013235562A (ja) * 2012-05-04 2013-11-21 Commonwealth Scientific & Industrial Research Organization ビデオにおける眼位のためのシステムおよび方法
ITMI20131065A1 (it) * 2013-06-26 2014-12-27 Unicredit S P A Sistema e metodo per realizzare una teleconferenza con simulazione realistica di una interlocuzione diretta
US9325939B2 (en) * 2014-08-14 2016-04-26 Verizon Patent And Licensing Inc. Method and system for providing gaze-directed correction during a video conferencing session

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103458219A (zh) * 2013-09-02 2013-12-18 小米科技有限责任公司 一种视频通话面部调整方法、装置及终端设备
CN105898136A (zh) * 2015-11-17 2016-08-24 乐视致新电子科技(天津)有限公司 摄像视角调节方法、***及电视
CN106921818A (zh) * 2015-12-24 2017-07-04 深圳市维海德技术股份有限公司 一种视频通讯终端、方法及***
CN108463787A (zh) * 2016-01-05 2018-08-28 瑞尔D斯帕克有限责任公司 多视角图像的注视校正

Also Published As

Publication number Publication date
CN108965771A (zh) 2018-12-07
US10708490B2 (en) 2020-07-07
US20200106954A1 (en) 2020-04-02

Similar Documents

Publication Publication Date Title
US8384760B2 (en) Systems for establishing eye contact through a display
US8624954B2 (en) Methods and systems for sharing content via a collaboration screen
US7118228B2 (en) Image display system
US20130093838A1 (en) Methods and systems for establishing eye contact and accurate gaze in remote collaboration
WO2016086600A1 (zh) 光波介质、眼镜及其成像方法
CN110471249B (zh) 现场全息显示***
CN103945117A (zh) 拍摄设备、协作拍摄方法以及记录了程序的记录介质
US20190098267A1 (en) Hololens light engine with linear array imagers and mems
CN103493480A (zh) 视频会议显示装置
KR20140125183A (ko) 프로젝터 장착 안경 및 그 제어 방법
CN106020480B (zh) 一种虚拟现实设备和虚拟现实图像处理方法
KR20240056592A (ko) 컴팩트 반사 굴절 프로젝터
CN108965771B (zh) 一种视频通话控制装置及方法、视频通话***
CN105144704A (zh) 显示设备、显示方法和显示程序
WO2018228414A1 (en) Video conference system utilizing transparent screen
CN114567767B (zh) 显示装置、光场采集方法、图像数据传输方法及相关设备
CN108628088B (zh) 一种全息投影装置
US8964018B2 (en) Video display systems
JPH04150683A (ja) 表示/撮像装置
CN108227210A (zh) 虚拟现实显示方法以及虚拟现实眼镜
CN103837989A (zh) 头戴式影像设备及头戴式智能终端
CN113452813B (zh) 图像采集装置、终端设备、方法、处理装置及介质
CN108494896B (zh) 投影终端、投影***及投影方法
CN203745730U (zh) 头戴式影像设备及头戴式智能终端
JPH06233290A (ja) 撮像・表示装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant