CN114697602B - 会议装置和会议*** - Google Patents

会议装置和会议*** Download PDF

Info

Publication number
CN114697602B
CN114697602B CN202011641425.2A CN202011641425A CN114697602B CN 114697602 B CN114697602 B CN 114697602B CN 202011641425 A CN202011641425 A CN 202011641425A CN 114697602 B CN114697602 B CN 114697602B
Authority
CN
China
Prior art keywords
user
image
information
eye position
position information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011641425.2A
Other languages
English (en)
Other versions
CN114697602A (zh
Inventor
陈纾悦
宋碧薇
杨师华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202011641425.2A priority Critical patent/CN114697602B/zh
Priority to PCT/CN2021/140968 priority patent/WO2022143426A1/zh
Publication of CN114697602A publication Critical patent/CN114697602A/zh
Application granted granted Critical
Publication of CN114697602B publication Critical patent/CN114697602B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请涉及一种会议装置，对应于第一用户，用于与第二用户对应的第二会议装置通信，包括显示屏、多目摄像头、视线估计模块和图像处理模块，其中，所述多目摄像头，用于获取第一拍摄图像；所述视线估计模块，用于根据所述第一拍摄图像获取第一用户人眼位置信息和视线信息；所述图像处理模块，用于根据所述第一用户人眼位置信息和视线信息和接收到的第二拍摄图像确定所述第一用户的观测图像；所述显示屏，用于显示所述第一用户的观测图像。

Description

会议装置和会议***
技术领域
本申请涉及图像显示领域，尤其涉及一种会议装置和会议***。
背景技术
现有的视频会议***多是设立服务器和客户端，客户端显示器往往需要空分显示多个视角使得用户可以观看到多个视角图像。该会议***融合计算量大且像素高。
发明内容
鉴于此，本申请实施例提供了一种会议装置和会议***以及会议通讯方法。
第一方面，本申请实施例公开了一种第一会议装置，对应于第一用户，用于与第二用户对应的第二会议装置通信，包括显示屏、多目摄像头、视线估计模块和图像处理模块，其中，
所述多目摄像头，用于获取第一拍摄图像，所述第一拍摄图像对应于第一用户；
所述视线估计模块，用于根据所述第一图像获取第一用户人眼位置信息和视线信息；
所述图像处理模块，用于根据所述第一用户人眼位置信息和视线信息和接收到的第二拍摄图像确定所述第一用户的观测图像，所述第二拍摄图像对应于第二用户；
所述显示屏，用于显示所述第一用户的观测图像。
一种可能的实现方式中，所述多目摄像头还用于将所述第一拍摄图像发送给所述第二会议装置。
一种可能的实现方式中，所述视线估计模块将所述第一用户人眼位置信息和视线信息发送到所述第二会议装置。
一种可能的实现方式中，所述第一会议装置还用于接收所述第二会议装置发送的所述第二用户的人眼位置信息和视线信息。
一种可能的实现方式中，所述多目摄像头基于所述第二用户的人眼位置信息和视线信息调整位置和/或拍摄角度。
一种可能的实现方式中，所述多目摄像头安装在可移动模块上。
一种可能的实现方式中，所述显示屏为裸眼3D显示屏。
一种可能的实现方式中，所述多目摄像头为双目摄像头。
第二方面，本申请实施例公开了又一种第一会议装置，对应于第一用户，用于与第二用户对应的第二会议装置通信，包括显示屏、多目摄像头、视线估计模块和图像处理模块，其中，
所述视线估计模块，用于接收所述第二用户的人眼位置信息和视线信息；
所述多目摄像头，用于根据所述第二用户的人眼位置信息和视线信息获取第一拍摄图像，所述第一拍摄图像对应于所述第一用户；
所述图像处理模块，用于根据所述第二用户的人眼位置信息和视线信息和所述第一拍摄图像确定第二用户的观测图像，并将所述第二用户的观测图像发送到所述第二会议装置；
所述显示屏，用于接收所述第一用户的观测图像并显示。
一种可能的实现方式中，所述视线估计模块还用于根据所述第一拍摄图像获取第一用户人眼位置信息和视线信息，并将所述第一用户人眼位置信息和视线信息发送到所述第二会议装置。
一种可能的实现方式中，所述多目摄像头根据所述第二用户的人眼位置信息和视线信息获取所述第一拍摄图像，包括：
所述多目摄像头根据所述第二用户人眼位置信息和视线信息调整位置和/或拍摄角度；
所述多目摄像头拍摄得到所述第一拍摄图像。
第三方面，本申请实施例公开了一种会议***，所述会议***包括对应于第一用户的第一会议装置和对应于第二用户的第二会议装置，所述第一会议***包括第一显示屏、第一多目摄像头、第一视线估计模块和第一图像处理模块，所述第二会议***包括第二多目摄像头；
所述第一多目摄像头，用于获取第一拍摄图像，所述第一拍摄图像对应于所述第一用户；
所述第一视线估计模块，用于根据所述第一拍摄图像获取所述第一用户人眼位置信息和视线信息，并将所述第一用户人眼位置信息和视线信息发送到所述第二多目摄像头；
所述第二多目摄像头，用于根据所述第一用户人眼位置信息和视线信息获取第二拍摄图像，并将所述第二拍摄图像发送给所述第一图像处理模块，所述第二拍摄图像对应于所述第二用户；
所述第一图像处理模块，用于根据所述第一用户人眼位置信息和视线信息和接收到的所述第二拍摄图像确定所述第一用户的观测图像；
所述第一显示屏，用于显示所述第一用户的观测图像。
一种可能的实现方式中，所述第二会议***还包括第二显示屏、第二视线估计模块和第二图像处理模块，
所述第二视线估计模块，用于根据所述第二拍摄图像获取第二用户人眼位置信息和视线信息，并将所述第二用户人眼位置信息和视线信息发送到所述第一多目摄像头；
所述第一多目摄像头，用于根据所述第二用户人眼位置信息和视线信息获取第三拍摄图像，并将所述第三拍摄图像发送给所述第二图像处理模块，所述第三拍摄图像对应于所述第一用户；
所述第二图像处理模块，用于根据所述第二用户人眼位置信息和视线信息和所述第三拍摄图像确定所述第二用户的观测图像；
所述第二显示屏，用于显示所述第二用户的观测图像。
一种可能的实现方式中，所述第二多目摄像头根据所述第一用户人眼位置信息和视线信息获取所述第二拍摄图像，包括：
所述第二多目摄像头根据所述第一用户人眼位置信息和视线信息调整位置和/或拍摄角度；所述第二多目摄像头拍摄得到所述第二拍摄图像。
第四方面，本申请实施例公开了另一种会议***，所述会议***包括对应于第一用户的第一会议装置和对应于第二用户的第二会议装置，所述第一会议***包括第一多目摄像头、第一视线估计模块和第一图像处理模块，所述第二会议***包括第二多目摄像头、第二视线估计模块和第二显示屏；
所述第二多目摄像头，用于获取所述第二拍摄图像，所述第二拍摄图像对应于所述第二用户；
所述第二视线估计模块，用于根据所述第二拍摄图像获取所述第二用户的人眼位置信息和视线信息；
所述第一多目摄像头，用于根据所述第二用户的人眼位置信息和视线信息获取第一拍摄图像，所述第一拍摄图像对应于所述第一用户；
所述第一图像处理模块，用于根据所述第二用户的人眼位置信息和视线信息和所述第一拍摄图像确定所述第二用户的观测图像，并将所述第二用户的观测图像发送到所述第二显示屏；
所述第二显示屏，用于接收所述第二用户的观测图像并显示。
一种可能的实现方式中，所述第一会议***还包括第一显示屏，所述第二会议***还包括第二图像处理模块，
所述第一视线估计模块，用于根据所述第一拍摄图像获取所述第一用户的人眼位置信息和视线信息；
所述第二多目摄像头，用于根据所述第一用户的人眼位置信息和视线信息获取第三拍摄图像，所述第三拍摄图像对应于所述第二用户；
所述第一图像处理模块，用于根据所述第一用户的人眼位置信息和视线信息和所述第三拍摄图像确定所述第一用户的观测图像，并将所述第一用户的观测图像发送到所述第一显示屏；
所述第一显示屏，用于接收所述第一用户的观测图像并显示。
第五方面，本申请实施例公开了一种会议通讯方法，包括：
获取第一拍摄图像，所述第一拍摄图像对应于第一用户；
根据所述第一拍摄图像获取所述第一用户的人眼位置信息和视线信息；
根据所述第一用户的人眼位置信息和视线信息和接收到的所述第二拍摄图像确定所述第一用户的观测图像，所述第二拍摄图像对应于第二用户；
显示所述第一用户的观测图像。
本申请公开的会议***，实时计算并控制对端摄像头根据本端用户视角拍摄对端用户画面，3D显示屏只需要显示本端用户当前视角下图像而不需要同时显示多个视角的图像，同时也不需要同时传输或者融合多个视角的图像，实时便捷，***计算量小。
附图说明
图1为本申请实施例公开的一种会议***的结构示意图；
图2为本申请实施例公开的一种会议通讯方法的示意图。
具体实施方式
图1为本申请公开的一种会议***的结构示意图。如图1所示，该会议***包括会议装置100和会议装置200。会议装置100和会议装置200之间通过数据传输链路通信，数据传输链路可通过无线传输、有线以太网Ethernet接口或PCIe接口等方式实现。会议装置100对应于用户A，会议装置200对应于用户B。该会议***用于实现用户A和用户B之间的实时会议。
会议装置100包括多目摄像头101、视线估计模块102、图像处理模块103和显示屏104。会议装置200包括多目摄像头201、视线估计模块202、图像处理模块203和显示屏204。
在该会议***架构下，本申请提供了两种可以具体实现的方案。
方案1
多目摄像头101先通过拍摄获取用户A的拍摄图像。视线估计模块102根据用户A的拍摄图像获取用户A的人眼位置信息和视线信息，并将用户A人眼位置信息和视线信息发送到多目摄像头201。多目摄像头201根据用户A人眼位置信息和视线信息获取用户B的拍摄图像，并将用户B的拍摄图像发送给图像处理模块103。图像处理模块103根据用户A人眼位置信息和视线信息和接收到的用户B的拍摄图像确定用户A的观测图像。第一显示屏104显示用户A的观测图像。用户A的观测图像即根据用户A的人眼位置和视线方向确定的用户A期望观测到的图像。
上面即实现了用户A观察到用户B的画面的流程。
视线估计模块102通过对用户A的拍摄图像进行人眼定位和视线追踪，获取用户A的人眼位置信息和视线信息。具体地，视线估计模块102借由深度学习，可以通过人脸和人眼图像计算出图像坐标系下的用户A的人眼位置信息和视线方向，辅以多目摄像头101的测距功能则可以获得摄像头坐标系下的用户A的人眼位置信息和人眼视线方向。在获取用户A的人眼位置和人眼视线信息后通过数据传输链路传送至多目摄像头201。
多目摄像头201先根据用户A人眼位置信息和视线信息调整自身的位置和/或拍摄角度，再进行获取用户B的拍摄图像。
显示屏104和204可以裸眼3D显示屏。图像处理模块103接收到用户B的拍摄图像后，根据用户A的人眼位置信息和视线信息，计算用户A的左右眼接收的像素划分，进行3D显示。
多目摄像头101和201可以双目摄像头、三目摄像头等，也可以是由至少两个单目摄像头拼接而成。
对于用户B想要观察用户A的画面的流程也是类似。
视线估计模块202根据多目摄像头201已经拍摄到的用户B的拍摄图像获取用户B的人眼位置信息和视线信息，并将用户B的人眼位置信息和视线信息发送到多目摄像头101。多目摄像头101根据用户B的人眼位置信息和视线信息获取用户A新的实时拍摄图像，并将用户A的新的实时拍摄图像发送给图像处理模块203。图像处理模块203根据用户B的人眼位置信息和视线信息以及用户A的新的实时拍摄图像确定用户B的观测图像。显示屏204显示用户B的观测图像。用户B的观测图像即根据用户B的人眼位置和视线方向确定的用户B期望观测到的图像。
多目摄像头101根据用户B人眼位置信息和视线信息调整位置和/或拍摄角度，再进行拍摄得到用户A的新的实时拍摄图像。
在进行用户A和用户B的会议通信过程中，多目摄像头101和多目摄像头201之间是相互配合，不断交替进行的过程。本申请仅以一次交替的流程为例进行说明。
多目摄像头101和多目摄像头201可以安装在可移动模块上，进而可以不断调整拍摄位置。多目摄像头拍摄的图像既作为3D显示的像源，也作为人眼视线追踪定位的输入源。
在方案1中，用户A需要观测的图像的处理是在用户A侧的图像处理模块103中进行，用户B需要观测的图像的处理是在用户B侧的图像处理模块203中进行。
下面介绍方案2。
先进行说明用户B想要观察用户A的画面的流程。
多目摄像头201获取用户B的拍摄图像。视线估计模块202根据用户B的拍摄图像获取用户B的人眼位置信息和视线信息。视线估计模块202通过数据传输链路将用户B的人眼位置信息和视线信息发送到多目摄像头101。多目摄像头101根据用户B的人眼位置信息和视线信息获取用户A的拍摄图像。图像处理模块103根据用户B的人眼位置信息和视线信息以及用户A的拍摄图像确定用户B的观测图像，并将用户B的观测图像发送到显示屏204。显示屏204接收用户B的观测图像并显示。
多目摄像头101先根据用户B人眼位置信息和视线信息调整自身的位置和/或拍摄角度，再进行拍摄获取用户A的拍摄图像。
显示屏104和204可以裸眼3D显示屏。图像处理模块103接收到用户B的拍摄图像后，根据用户A的人眼位置信息和视线信息，计算用户A的左右眼接收的像素划分，进行3D显示。
多目摄像头101和201可以双目摄像头、三目摄像头等，也可以是由至少两个单目摄像头拼接而成。
用户A想要观察到用户B的画面的流程也类似。
视线估计模块102根据已经拍摄得到的用户A的拍摄图像获取用户A的人眼位置信息和视线信息。多目摄像头201根据用户A的人眼位置信息和视线信息获取用户B的新的实时拍摄图像。图像处理模块203根据用户A的人眼位置信息和视线信息和用户B的新的实时拍摄图像确定用户A的观测图像，并将用户A的观测图像发送到显示屏104。显示屏104接收用户A的观测图像并显示。
在方案2中，用户A需要观测的图像的处理是在用户B侧的图像处理模块203中进行，用户B需要观测的图像的处理是在用户A侧的图像处理模块103中进行。
本申请公开的会议***，实时计算并控制对端摄像头根据本端用户视角拍摄对端用户画面，3D显示屏只需要显示本端用户当前视角下图像而不需要同时显示多个视角的图像，同时也不需要同时传输或者融合多个视角的图像，实时便捷，***计算量小。
本申请的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序，应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以本申请未描述的顺序实施。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系。例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。方法实施例中的具体操作方法也可以应用于装置实施例中。
还需要说明的是，除非特殊说明，一个实施例中针对一些技术特征的具体描述也可以应用于解释其他实施例提及对应的技术特征。
本申请还公开了一种会议通讯方法，如图2所示，该方法包括：
S301、用于获取第一拍摄图像，所述第一拍摄图像对应于第一用户；
S301、根据第一拍摄图像获取第一用户人眼位置信息和视线信息；
S301、根据第一用户人眼位置信息和视线信息和接收到的第二拍摄图像确定第一用户的观测图像，所述第二拍摄图像对应于第二用户；
S301、显示第一用户的观测图像。
最后应说明的是：以上所述仅为本申请的具体实施方式，本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。

Claims (14)

1.一种第一会议装置，对应于第一用户，用于与第二用户对应的第二会议装置通信，其特征在于，包括显示屏、多目摄像头、视线估计模块和图像处理模块，其中，所述第一会议装置部署在第一用户侧，所述第二会议装置部署在第二用户侧，
所述多目摄像头，用于获取第一拍摄图像，所述第一拍摄图像对应于所述第一用户，其中，所述多目摄像头基于所述第二用户的人眼位置信息和视线信息调整位置和/或拍摄角度；
所述视线估计模块，用于根据所述第一拍摄图像获取第一用户人眼位置信息和视线信息，所述第一用户人眼位置信息和视线信息包括图像坐标系下的所述第一用户的第一人眼位置信息和第一视线方向信息和摄像头坐标系下的所述第一用户的第二人眼位置信息和第二视线方向信息；
所述图像处理模块，用于根据所述第一用户人眼位置信息和视线信息和接收到的第二拍摄图像确定所述第一用户的观测图像，所述第二拍摄图像对应于所述第二用户；
所述显示屏，用于显示所述第一用户的观测图像。
2.如权利要求1所述的第一会议装置，其特征在于，所述多目摄像头还用于将所述第一拍摄图像发送给所述第二会议装置。
3.如权利要求1所述的第一会议装置，其特征在于，所述视线估计模块将所述第一用户人眼位置信息和视线信息发送到所述第二会议装置。
4.如权利要求1至3任一所述的第一会议装置，其特征在于，所述第一会议装置还用于接收所述第二会议装置发送的所述第二用户的人眼位置信息和视线信息。
5.如权利要求1所述的第一会议装置，其特征在于，所述多目摄像头安装在可移动模块上。
6.如权利要求1至3任一所述的第一会议装置，其特征在于，所述显示屏为裸眼3D显示屏。
7.如权利要求1至3任一所述的第一会议装置，其特征在于，所述多目摄像头为双目摄像头。
8.一种第一会议装置，对应于第一用户，用于与第二用户对应的第二会议装置通信，其特征在于，包括显示屏、多目摄像头、视线估计模块和图像处理模块，其中，所述第一会议装置部署在第一用户侧，所述第二会议装置部署在第二用户侧，
所述视线估计模块，用于接收所述第二用户的人眼位置信息和视线信息，所述第二用户人眼位置信息和视线信息包括图像坐标系下的所述第二用户的第一人眼位置信息和第一视线方向信息和摄像头坐标系下的所述第二用户的第二人眼位置信息和第二视线方向信息；
所述多目摄像头，用于根据所述第二用户的人眼位置信息和视线信息调整位置和/或拍摄角度，获取第一拍摄图像，所述第一拍摄图像对应于所述第一用户；
所述图像处理模块，用于根据所述第二用户的人眼位置信息和视线信息和所述第一拍摄图像确定第二用户的观测图像，并将所述第二用户的观测图像发送到所述第二会议装置；
所述显示屏，用于接收所述第一用户的观测图像并显示。
9.如权利要求8所述的第一会议装置，其特征在于，所述视线估计模块还用于根据所述第一拍摄图像获取第一用户人眼位置信息和视线信息，并将所述第一用户人眼位置信息和视线信息发送到所述第二会议装置。
10.一种会议***，所述会议***包括对应于第一用户的第一会议装置和对应于第二用户的第二会议装置，其特征在于，
所述第一会议装置包括第一显示屏、第一多目摄像头、第一视线估计模块和第一图像处理模块，所述第二会议装置包括第二多目摄像头，所述第一会议装置部署在第一用户侧，所述第二会议装置部署在第二用户侧；
所述第一多目摄像头，用于获取第一拍摄图像，所述第一拍摄图像对应于所述第一用户；
所述第一视线估计模块，用于根据所述第一拍摄图像获取所述第一用户人眼位置信息和视线信息，并将所述第一用户人眼位置信息和视线信息发送到所述第二多目摄像头，所述第一用户人眼位置信息和视线信息包括图像坐标系下的所述第一用户的第一人眼位置信息和第一视线方向信息和摄像头坐标系下的所述第一用户的第二人眼位置信息和第二视线方向信息；
所述第二多目摄像头，用于根据所述第一用户人眼位置信息和视线信息调整位置和/或拍摄角度，获取第二拍摄图像，并将所述第二拍摄图像发送给所述第一图像处理模块，所述第二拍摄图像对应于所述第二用户；
所述第一图像处理模块，用于根据所述第一用户人眼位置信息和视线信息和接收到的所述第二拍摄图像确定所述第一用户的观测图像；
所述第一显示屏，用于显示所述第一用户的观测图像。
11.如权利要求10所述的会议***，其特征在于，所述第二会议装置还包括第二显示屏、第二视线估计模块和第二图像处理模块，
所述第二视线估计模块，用于根据所述第二拍摄图像获取第二用户人眼位置信息和视线信息，并将所述第二用户人眼位置信息和视线信息发送到所述第一多目摄像头；
所述第一多目摄像头，用于根据所述第二用户人眼位置信息和视线信息获取第三拍摄图像，并将所述第三拍摄图像发送给所述第二图像处理模块，所述第三拍摄图像对应于所述第一用户；
所述第二图像处理模块，用于根据所述第二用户人眼位置信息和视线信息和所述第三拍摄图像确定所述第二用户的观测图像；
所述第二显示屏，用于显示所述第二用户的观测图像。
12.一种会议***，所述会议***包括对应于第一用户的第一会议装置和对应于第二用户的第二会议装置，其特征在于，
所述第一会议装置包括第一多目摄像头、第一视线估计模块和第一图像处理模块，所述第二会议装置包括第二多目摄像头、第二视线估计模块和第二显示屏，所述第一会议装置部署在第一用户侧，所述第二会议装置部署在第二用户侧；
所述第二多目摄像头，用于获取第二拍摄图像，所述第二拍摄图像对应于所述第二用户；
所述第二视线估计模块，用于根据所述第二拍摄图像获取所述第二用户的人眼位置信息和视线信息，所述第二用户人眼位置信息和视线信息包括图像坐标系下的所述第二用户的第一人眼位置信息和第一视线方向信息和摄像头坐标系下的所述第二用户的第二人眼位置信息和第二视线方向信息；
所述第一多目摄像头，用于根据所述第二用户的人眼位置信息和视线信息调整位置和/或拍摄角度，获取第一拍摄图像，所述第一拍摄图像对应于所述第一用户；
所述第一图像处理模块，用于根据所述第二用户的人眼位置信息和视线信息和所述第一拍摄图像确定所述第二用户的观测图像，并将所述第二用户的观测图像发送到所述第二显示屏；
所述第二显示屏，用于接收所述第二用户的观测图像并显示。
13.如权利要求12所述的会议***，其特征在于，所述第一会议装置还包括第一显示屏，所述第二会议装置还包括第二图像处理模块，
所述第一视线估计模块，用于根据所述第一拍摄图像获取所述第一用户的人眼位置信息和视线信息；
所述第二多目摄像头，用于根据所述第一用户的人眼位置信息和视线信息获取第三拍摄图像，所述第三拍摄图像对应于所述第二用户；
所述第一图像处理模块，用于根据所述第一用户的人眼位置信息和视线信息和所述第三拍摄图像确定所述第一用户的观测图像，并将所述第一用户的观测图像发送到所述第一显示屏；
所述第一显示屏，用于接收所述第一用户的观测图像并显示。
14.一种会议通讯方法，其特征在于，包括：
通过多目摄像头获取第一拍摄图像，所述第一拍摄图像对应于第一用户，其中，所述多目摄像头基于第二用户的人眼位置信息和视线信息调整位置和/或拍摄角度；
根据所述第一拍摄图像获取所述第一用户的人眼位置信息和视线信息，所述第一用户的人眼位置信息和视线信息包括图像坐标系下的所述第一用户的第一人眼位置信息和第一视线方向信息和摄像头坐标系下的所述第一用户的第二人眼位置信息和第二视线方向信息；
根据所述第一用户的人眼位置信息和视线信息和接收到的第二拍摄图像确定所述第一用户的观测图像，所述第二拍摄图像对应于所述第二用户；
显示所述第一用户的观测图像。
CN202011641425.2A 2020-12-31 2020-12-31 会议装置和会议*** Active CN114697602B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011641425.2A CN114697602B (zh) 2020-12-31 2020-12-31 会议装置和会议***
PCT/CN2021/140968 WO2022143426A1 (zh) 2020-12-31 2021-12-23 会议装置和会议***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011641425.2A CN114697602B (zh) 2020-12-31 2020-12-31 会议装置和会议***

Publications (2)

Publication Number Publication Date
CN114697602A CN114697602A (zh) 2022-07-01
CN114697602B true CN114697602B (zh) 2023-12-29

Family

ID=82135930

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011641425.2A Active CN114697602B (zh) 2020-12-31 2020-12-31 会议装置和会议***

Country Status (2)

Country Link
CN (1) CN114697602B (zh)
WO (1) WO2022143426A1 (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11355804A (ja) * 1998-06-04 1999-12-24 Nec Corp ネットワーク会議画像処理装置
JP2001313917A (ja) * 2001-03-08 2001-11-09 Nec Corp ネットワーク会議画像処理装置
CN103209313A (zh) * 2012-01-16 2013-07-17 华为技术有限公司 图像处理方法、会议终端、会场电子***和视频会议***
CN103795926A (zh) * 2014-02-11 2014-05-14 惠州Tcl移动通信有限公司 利用眼球跟踪技术控制拍照对焦的方法、***及拍照设备
JP2015065514A (ja) * 2013-09-24 2015-04-09 株式会社日立国際電気 映像監視システム
CN110263657A (zh) * 2019-05-24 2019-09-20 亿信科技发展有限公司 一种人眼追踪方法、装置、***、设备和存储介质
JP2020181162A (ja) * 2019-04-26 2020-11-05 キヤノン株式会社 撮像システム及びその制御方法並びにプログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101866215B (zh) * 2010-04-20 2013-10-16 复旦大学 在视频监控中采用视线跟踪的人机交互装置和方法
CN107895347A (zh) * 2017-07-20 2018-04-10 吉林大学 一种视觉自适应调节显示装置及方法
CN107885325B (zh) * 2017-10-23 2020-12-08 张家港康得新光电材料有限公司 一种基于人眼跟踪的裸眼3d显示方法及控制***
CN108093201B (zh) * 2018-01-24 2020-07-31 周永业 一种视频会议终端及***
CN108965767A (zh) * 2018-07-26 2018-12-07 吴铁 一种改善人与人视频交互体验的视频处理方法及***

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11355804A (ja) * 1998-06-04 1999-12-24 Nec Corp ネットワーク会議画像処理装置
JP2001313917A (ja) * 2001-03-08 2001-11-09 Nec Corp ネットワーク会議画像処理装置
CN103209313A (zh) * 2012-01-16 2013-07-17 华为技术有限公司 图像处理方法、会议终端、会场电子***和视频会议***
JP2015065514A (ja) * 2013-09-24 2015-04-09 株式会社日立国際電気 映像監視システム
CN103795926A (zh) * 2014-02-11 2014-05-14 惠州Tcl移动通信有限公司 利用眼球跟踪技术控制拍照对焦的方法、***及拍照设备
JP2020181162A (ja) * 2019-04-26 2020-11-05 キヤノン株式会社 撮像システム及びその制御方法並びにプログラム
CN110263657A (zh) * 2019-05-24 2019-09-20 亿信科技发展有限公司 一种人眼追踪方法、装置、***、设备和存储介质

Also Published As

Publication number Publication date
CN114697602A (zh) 2022-07-01
WO2022143426A1 (zh) 2022-07-07

Similar Documents

Publication Publication Date Title
US10523919B2 (en) Apparatus and method for adjusting stereoscopic image parallax and stereo camera
CN102342100B (zh) 用于在网络环境中提供三维成像的***和方法
CN101636747B (zh) 二维/三维数字信息获取和显示设备
US10951804B2 (en) Photographing synchronization method and apparatus
EP2302941A2 (en) System and method for creating 3D video
EP0921694A3 (en) Stereoscopic image pick-up apparatus
JP4432462B2 (ja) 撮像装置及び方法、撮像システム
CN211128024U (zh) 3d显示设备
WO2012060564A1 (en) 3d camera
TWI788739B (zh) 3d顯示設備、3d圖像顯示方法
US20140168375A1 (en) Image conversion device, camera, video system, image conversion method and recording medium recording a program
US10645340B2 (en) Video communication device and method for video communication
US10972699B2 (en) Video communication device and method for video communication
JP2006054830A (ja) 画像圧縮通信方法及び装置
CN114697602B (zh) 会议装置和会议***
WO2011011917A1 (zh) 视频通信方法、装置和***
JP5223096B2 (ja) ３ｄ映像撮影制御システム、３ｄ映像撮影制御方法、およびプログラム
JP2014135714A (ja) 立体映像信号処理装置及び立体映像撮像装置
JP2005149127A (ja) 撮像表示装置及び方法、画像送受信システム
CN107454326B (zh) 利用鱼眼镜头进行全景摄像的方法、摄像机以及全景摄像***
WO2018094045A2 (en) Multi-camera scene representation including stereo video for vr display
JPH02291787A (ja) 広視野表示装置
JPH08116556A (ja) 画像処理方法および装置
CN113141501A (zh) 实现3d显示的方法、装置及3d显示***
JP2752993B2 (ja) 立体テレビ装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant