CN107409239B - 基于眼睛追踪的图像传输方法、图像传输设备及图像传输*** - Google Patents

基于眼睛追踪的图像传输方法、图像传输设备及图像传输*** Download PDF

Info

Publication number
CN107409239B
CN107409239B CN201680017410.4A CN201680017410A CN107409239B CN 107409239 B CN107409239 B CN 107409239B CN 201680017410 A CN201680017410 A CN 201680017410A CN 107409239 B CN107409239 B CN 107409239B
Authority
CN
China
Prior art keywords
image
cameras
images
user
image transmission
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680017410.4A
Other languages
English (en)
Other versions
CN107409239A (zh
Inventor
李在硕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cafe24 Corp
Original Assignee
Cafe24 Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cafe24 Corp filed Critical Cafe24 Corp
Priority claimed from PCT/KR2016/004212 external-priority patent/WO2017094979A1/ko
Publication of CN107409239A publication Critical patent/CN107409239A/zh
Application granted granted Critical
Publication of CN107409239B publication Critical patent/CN107409239B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1601—Constructional details related to the housing of computer displays, e.g. of CRT monitors, of flat displays
    • G06F1/1605—Multimedia displays, e.g. with integrated or attached speakers, cameras, microphones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明公开了一种基于眼睛追踪的图像传输方法、图像传输装置及图像传输***。基于眼睛追踪的图像传输方法能够：接收从多个摄像机获取的多个图像；基于多个图像生成合成图像；在屏幕上显示合成图像；实时检测用户的目光；从合成图像中选择与用户注视的区域相对应的图像；发送所选择的图像。因此，可以通过广播提供根据用户的注视而动态地变化的图像。

Description

基于眼睛追踪的图像传输方法、图像传输设备及图像传输 ***
技术领域
本发明涉及一种基于眼睛追踪的图像传输方法、图像传输装置及图像传输***，更具体地，涉及一种基于眼睛追踪的图像传输方法、图像传输装置及图像传输***，其中，基于多个图像生成广域的合成图像，并响应于用户的眼睛的移动选择传输区域并传输该传输区域。
背景技术
近来，随着实时流媒体(live streaming)技术的发展，基于互联网的个人广播用户基数迅速增长。此外，由于互联网个人广播近来提供了各种专业的内容，因此它已经发展成公共广播娱乐节目的一种格式。
由个人管理的个人广播可以在很多方面与公共电视广播进行比较。这很多方面之一就是摄像机数量管理。也就是说，该情况下，摄像机数量管理是指为了拍摄广播节目而管理多少台摄像机。
通常，在由个人管理的个人广播中，一个领头广播的人执行广播，并且因为不存在单独的摄影师，因此必须使用主要固定于监视器的仅一个摄像机或少量的摄像机。因此，由于由网络摄像机拍摄的区域也是固定的，因此，事实上，对于用户想要展示的场景或情形的动态传送存在有限制。
发明内容
技术问题
本发明是为了解决这个问题而提出的，本发明的目的是提供一种基于眼睛追踪的图像传输方法、图像传输装置及图像传输***，它们能够基于多个图像生成广域的合成图像，响应于用户的眼睛的移动选择传输区域，并发送所选择的传输区域。
技术方案
为了实现该目的，一方面，本发明提供了一种基于眼睛追踪的图像传输方法。基于眼睛追踪的图像传输方法是由图像传输装置执行的图像传输方法，包括以下步骤：接收由多个摄像机获得的多个图像；基于所述多个图像生成合成图像；在屏幕上显示所述合成图像；实时检测用户的眼睛；选择属于所述合成图像并与用户所观看的区域相对应的图像；以及发送选择的所述图像。
生成所述合成图像的步骤可包括除了由所述多个摄像机获得的所述多个图像以外，生成包括所述多个图像的单个图像的步骤。
选择所述图像的步骤可以包括以下步骤：将所述合成图像分割成多个区域；确定检测的所述眼睛在查看所述多个区域的哪个区域；以及基于确定步骤，选择与用户所观看的区域相对应的图像。所述多个区域可以与由所述多个摄像机获得的所述多个图像相对应。
选择所述图像的步骤可以包括以下步骤：如果检测到用户在查看除了屏幕以外的区域，则选择与之前确定的区域相对应的图像。
选择的所述图像可以具有与由单个摄像机获得的图像相同的大小和分辨率。所述多个摄像机可以包括主摄像机和至少一个子摄像机。
同时，为了实现本发明的目的，另一方面，本发明提供一种基于眼睛追踪的图像传输装置。基于眼睛追踪的图像传输装置可以包括：图像接收单元，接收由多个摄像机获得的多个图像；合成图像生成单元，基于所述多个图像生成合成图像；显示单元，在屏幕上显示所述合成图像；眼睛追踪单元，实时检测用户的眼睛；图像选择单元，选择属于所述合成图像并与用户所观看的区域相对应的图像；以及图像传输单元，发送选择的所述图像。
除了由所述多个摄像机获得的所述多个图像以外，所述合成图像生成单元可以生成包括所述多个图像的单个图像。
所述图像选择单元可以将所述合成图像分割为多个区域，可以确定所检测的眼睛在查看所述多个区域的哪个区域，并且可以基于所述确定来选择与用户所观看的区域相对应的图像。
所述多个区域可以对应于由所述多个摄像机获得的所述多个图像。如果检测到用户在查看除了屏幕以外的区域，则所述图像选择单元可以选择与之前确定的区域相对应的图像。
选择的所述图像可以具有与由单个摄像机获得的图像相同的大小和分辨率。所述多个摄像机可以包括主摄像机和至少一个子摄像机。
同时，为了实现本发明的目的，又一方面，本发明提供一种基于眼睛追踪的图像传输***。基于眼睛追踪的图像传输***可以包括：多个摄像机；以及图像传输装置，接收由多个摄像机获得的多个图像，基于所述多个图像生成合成图像，在屏幕上显示所述合成图像，实时检测用户的眼睛，选择属于所述合成图像并且与用户所观看的区域相对应的图像，并发送所选择的图像。
除了由所述多个摄像机获得的所述多个图像以外，所述图像传输装置可以生成包括所述多个图像的单个图像。
所述图像传输装置可以将所述合成图像分割成多个区域，可以确定所检测的眼睛在查看所述多个区域的哪个区域，并且可以基于所述确定来选择与用户所观看的区域相对应的图像。
所述多个区域可以对应于由所述多个摄像机获得的所述多个图像。如果检测到用户在查看除了屏幕以外的区域，则所述图像传输装置可以选择与之前确定的区域相对应的图像。
选择的所述图像可以具有与由单个摄像机获得的图像相同的大小和分辨率。所述多个摄像机可以包括主摄像机和至少一个子摄像机。
同时，为了实现本发明的目的，又一方面，本发明提供一种图像传输***。所述图像传输***可以包括：多个摄像机；以及图像传输装置，接收由多个摄像机获得的多个图像，基于所述多个图像生成合成图像，在屏幕上显示所述合成图像，并通过实时追踪用户的眼睛来响应于用户所观看的区域的变化改变所述合成图像中将要传输的区域。
同时，为了实现本发明的目的，又一方面，本发明提供一种图像传输装置。所述图像传输装置可以包括：接收单元，接收由多个摄像机获得的多个图像；合成图像生成单元，基于所述多个图像生成合成图像；显示单元，在屏幕上显示所述合成图像；眼睛追踪单元，实时追踪用户的眼睛；以及图像选择单元，基于所述眼睛追踪单元的追踪，响应于用户所观看的区域的变化来改变所述合成图像中将要传输的区域。
同时，为了实现本发明的目的，又一方面，本发明提供一种图像传输方法。所述图像传输方法由图像传输装置执行，并且可以包括以下步骤：接收由多个摄像机获得的多个图像；基于所述多个图像生成合成图像；在屏幕上显示所述合成图像；实时追踪用户的眼睛；以及基于追踪步骤响应，于用户所观看的区域的变化来改变所述合成图像中将要传输的区域。
有益效果
如上所述，根据本发明，通过获得基于多个摄像机的多个图像来生成并显示合成图像，并且可响应于执行广播的用户的眼睛，实时地自动切换传输图像。因此，在难以包含昂贵的摄像机设备或传输***的个人广播中可以进行更动态的广播。
附图说明
图1是表示用于实现根据本发明的优选实施例的基于眼睛追踪的图像传输方法的***的结构的框图。
图2是表示根据本发明的优选实施例设置多个摄像机的位置的示例图。
图3是表示图1所示的图像传输装置的结构的框图。
图4是用于说明图3所示的图像传输装置的运行的流程的流程图，并且图4表示根据本发明的优选实施例的图像传输方法的流程。
图5是示意性表示由多个摄像机获得的多个图像的示例图。
图6是示意性表示基于图5所示的多个图像而生成的合成图像的示例图。
图7是示意性表示合成图像中包括的多个区域的示例图。
图8和图9是用于说明响应于用户的眼睛而实时移动的广播内容的示例图。
具体实施方式
在下文中，将参照附图更详细地描述本发明的优选实施例。在描述本发明的过程中，为了便于整体理解，在所有附图中使用相同的附图标记来表示相同的部件，并省略对相同部件的冗余描述。
图1是表示用于实现根据本发明的优选实施例的基于眼睛追踪的图像传输方法的***的结构的框图。
如图1所示，图1是表示用于实现根据本发明的优选实施例的基于眼睛追踪的图像传输方法的***的结构的框图。
如图1所示，***1的图像传输装置10可以与多个摄像机C1至Cn以有线或无线方式协同运行。图像传输装置10可以与诸如互联网的通信网络协同运行，并基于由多个摄像机C1至Cn获得的图像向观看装置2提供广播服务。广播服务的服务器可被包含在图像传输装置10与观看装置20之间。
图像传输装置10可以与n个(n是大于2的整数)摄像机C1至Cn协同运行。例如，在本发明的优选实施例中，图像传输装置10可以与9个摄像机协同运行。也就是说，在本实施例的描述中，将对n设定为9的情况进行描述。该情况下，9个摄像机可以包括1个主摄像机和8个子摄像机。然而，不限于这样的实施例，可以以各种方式改变和实现摄像机的数量和作用。每个摄像机可以获得图像，并可以通过有线或无线方式将获得的图像发送到图像传输装置10。
图2是表示根据本发明的优选实施例设置多个摄像机的位置的示例图。
如图2所示，在本实施方式的描述中，设定包含9个摄像机并对其进行描述。例如，图像传输装置10可以与1个主摄像机CM和8个子摄像机CS1至CS8协同运行。
主摄像机CM可以设置在监视器15的一侧，例如，设置在监视器的顶部的中央(即，上部中央)。子摄像机CS1至CS8设置在监视器或工作室的指定位置。例如，子摄像机1 CS1可以设置在工作室前部的左上端。子摄像机2 CS2可以设置在工作室前部的上部中央。子摄像机3 CS3可以设置在工作室前部的右上端。子摄像机4 CS4可以设置在工作室前部的右侧中央部。子摄像机5 CS5可以设置在工作室前部的右下部。子摄像机6 CS6可以设置在工作室的前部的下部中央或监视器的下部中央。子摄像机7 CS7可以设置在工作室前部的左下部。子摄像机8 CS8可以设置在工作室的左侧中央部。
由于8个子摄像机CS1至CS8如上所述设置在工作室的多个位置，因此，与仅包括1个主摄像机CM的情况相比，图像传输装置10可以获得更广域的图像。
可以以各种方式改变多个摄像机的位置。例如，如同在应用于车辆的环视视图中一样，可以在监视器的工作台周围设置多个摄像机以获得环视视图图像的多个图像，或者可以在工作室的墙壁的表面上设置用于获得360度全景图像的多个摄像机。
图3是表示图1所示的图像传输装置10的结构的框图。图4是用于说明图3所示的图像传输装置10的运行的流程的流程图，并且图4表示根据本发明的优选实施例的图像传输方法的流程。
如图5所示，图像传输装置10可包括图像接收单元101、合成图像生成单元102、眼睛追踪单元103、图像选择单元104、图像传输单元105、显示单元106、监视器15等。
图像传输装置10可以与多个摄像机CM和CS1至CS8(例如主摄像机CM和8个子摄像机CS1至CS8)协同运行。另一方面，图像传输装置10可以在通信网络上使用由多个摄像机CM和CS1至CS8(例如主摄像机CM和8个子摄像机CS1至CS8)捕获的图像，来提供广播服务。
参照图3和图4，图像传输装置10的图像接收单元101可以使用多个摄像机CM和CS1至CS8获得多个图像(步骤：S1)。例如，图像接收单元101可以分别从主摄像机CM、子摄像机1CS1、子摄像机2 CS2、子摄像机3 CS3、子摄像机4 CS4、子摄像机5 CS5、子摄像机6 CS6、子摄像机7 CS7以及子摄像机8 CS8获得主图像、子图像1、子图像2、子图像3、子图像4、子图像5、子图像6、子图像7以及子图像8。
合成图像生成单元102可以基于由多个摄像机CM和CS1至CS8获得的多个图像来生成合成图像(步骤：S2)。该情况下，合成图像是多个图像相加的图像，并且可以是包括每个图像的至少一部分的单个图像。
图5是示意性表示由多个摄像机CM和CS1至CS8获得的多个图像的示例图。
如图5所示，主摄像机CM可以获得执行广播的用户的正面图像来作为主图像PM。其余的子摄像机CS1至CS8可以获得属于工作室并且不能由主摄像机CM获得的部分的图像。
因此，图像传输装置10可以通过分别从主摄像机CM、子摄像机1 CS1、子摄像机2CS2、子摄像机3 CS3、子摄像机4 CS4、子摄像机5 CS5、子摄像机6 CS6、子摄像机7 CS7以及子摄像机8 CS8接收主图像PM、子图像1 PS1、子图像2 PS2、子图像3 PS3、子图像4 PS4、子图像5 PS5、子图像6 PS6、子图像7 PS7以及子图像8 PS8，来获得直至工作室的所有角落的许多图像。
图6是示意性表示基于图5所示的多个图像PM和PS1至PS8而生成的合成图像的示例图。
如图6所示，如果合成获得的图5所示的9个图像PM和PS1至PS8，则可以获得能够覆盖整个工作室的非常广域的图像，即合成图像。
同时，能够通过合成获得的图像根据多个摄像机的布置是不同的。例如，如果在监视器的工作台周围设置多个摄像机，则可以生成诸如车辆环视视图的图像的合成图像。或者，如果以为了获得360度全景图像的布置来将摄像机设置在工作室的墙壁的表面上，则可以通过合成获得诸如360度全景图像的形式的图像。
合成图像生成单元102可以将合成多个图像时获得的至少一个图像的一部分与另一个图像重叠，或者可以切割所获得的至少一个图像的一部分。例如，有可能主图像PM的上部和子图像2 PS2的下部可被获得为相同图像。该情况下，在合成图像时，合成图像生成部102可以切割主图像PM的上部和子图像2 PS2的下部中的至少任一个，或者可以重叠主图像PM的上部和子图像2 PS2的下部。
当生成合成图像时，显示单元106可以在监视器15的屏幕的至少一部分上显示生成的合成图像(步骤：S3)。例如，显示单元106可以在整个屏幕上显示诸如图6所示的合成图像。同时，根据实施环境，显示单元106可以在屏幕的一部分上生成预先确定大小的子屏幕，并使用该生成的子屏幕来显示合成图像。
接下来，眼睛追踪单元103可以在显示器15的屏幕上已显示合成图像的状态下实时检测用户的眼睛(步骤：S4)。也就是说，用户正在观看的区域连续被检测。例如，眼睛追踪单元103可以包括设置在监视器15的一侧的眼睛追踪传感器(未示出)。可以根据实施环境以各种方式设置眼睛追踪传感器。例如，眼睛追踪单元103可以配备有专用检测传感器，并且主摄像机CM或者子摄像机CS1至CS8中的至少任意一个也可以起到眼睛追踪传感器的作用。
接下来，图像选择单元104可以基于眼睛追踪单元103的眼睛的检测，来选择与用户正在观看的区域相对应的图像(步骤：S5)。
合成图像可以分割成多个区域。当生成合成图像时，图像选择单元104可以将合成图像分割成多个逻辑区域。由于当显示合成图像时在屏幕上不显示区域，因此区域的分割不会被用户感知。例如，多个区域可以对应于由多个摄像机CM和CS1至CS8获得的多个图像PM和PS1至PS8。然而，不限于此，可以根据实施环境任意设置多个区域。
图7是示意性表示合成图像中包括的多个区域的示例图。
如图7所示，合成图像可分割成9个区域AM和AS1至AS8，例如，主区域AM、子区域1AS1、子区域2 AS2、子区域3 AS3、子区域4 AS4、子区域5 AS5、子区域6 AS6、子区域7 AS7和子区域8 AS8。
该情况下，主区域AM可以对应于由主摄像机CM获得的主图像PM，子区域AS1可以对应于子图像1 PS1，子区域2 AS2可以对应于子图像2 PS2，子区域3 AS3可以对应于子图像3PS3，子区域4 AS4可以对应于子图像4 PS4，子区域5 AS5可以对应于子区域5 PS5，子区域6AS6可以对应于子图像6 PS6，子区域7 AS7可以对应于子图像7 PS7，子区域8 AS8可以对应于子图像8 PS8。
该情况下，图像选择单元104可以确定用户在查看合成图像中划分的多个区域AM和AS1至AS8中的哪个区域，并且可以基于该确定选择属于多个图像PM和PS1至PS8并且与用户所观看的区域相对应的图像。
所选择的图像可以具有与由单个摄像机捕获的图像相同的大小和分辨率。例如，当用户查看合成图像中的主区域AM时，可以选择主图像PM。当用户查看合成图像中的子区域1 AS1时，可以选择子图像PS1。
然而，如上所述，根据实施环境，合成图像的分割可能不对应于摄像机的图像。例如，合成区域的分割区域可能小于或大于摄像机的图像。该情况下，图像选择单元可通过从合成图像中分割与用户观看的区域相对应的图像来选择图像。
同时，如果眼睛追踪单元103检测到用户在查看合成图像以外的区域，例如监视器15的外部、背面等，或者眼睛的检测不能进行，则图像选择单元104可以选择属于多个图像并且之前已经确定的图像。
例如，如果主图像PM已经被定义为默认图像，并且当用户查看监视器15以外的地方或查看侧方或后面时，图像选择单元104可选择主图像PM。图像选择单元104可以显示默认图像可被预先设置的用户界面，并且图像选择单元104可以响应于通过用户界面选择的信号来选择默认图像。
传输单元105可以在通信网络上广播由眼睛追踪单元103选择的图像。因此，由于接收由图像传输装置10服务的图像并再现所接收的图像的观看装置再现属于合成图像并且对应于用户现在观看的区域的图像，因此可以在广域中实时改变图像。因此，观察者能够观看在宽范围内动态移动的图像，而不是由单个摄像机获得的窄且单调的图像。
图8和图9是用于说明响应于用户的眼睛而实时移动的广播内容的示例图。
如图8所示，在执行广播的用户的监视器15的屏幕上显示合成图像，并且用户的眼睛查看合成图像中的主区域AM。此时，图像传输装置10可以发送与主区域AM相对应的主图像PM，即，由主摄像机CM获得的图像。因此，观察者现在观看主图像PM。
接下来，如图9所示，如果用户眼睛的注视已在合成图像中从主区域AM移动到子区域1 AS1，则图像传输装置10可以停止主图像PM的传输，可以选择与子区域1 AS1相对应的子图像1 PM1，并且可以发送所选择的子图像1 PM1。因此，观察者实时观看从主图像PM移动到子图像1 PS1的图像。
如上所述，根据本发明，通过基于多个摄像机获得多个图像来生成合成图像并显示该合成图像，并且可以响应于执行广播的用户眼睛实时自动切换传输图像。因此，在难以包含昂贵的摄像机设备或传输***的个人广播中可以进行更动态的广播。
虽然上文已经描述了本发明的优选实施例，但是本领域技术人员将理解，在不脱离所附权利要求书中记载的本发明的技术内容和范围的情况下，本发明可以以各种方式变更和修改。因此，本发明的进一步的实施例的修改不会偏离本发明的技术。

Claims (15)

1.一种基于眼睛追踪的图像传输方法，所述方法由图像传输装置执行，并包括以下步骤：
接收由多个摄像机获得的多个图像，其中，所述多个摄像机包括：主摄像机，所述主摄像机获得执行广播的用户的正面图像作为主图像；其余的子摄像机，所述子摄像机获得属于工作室并且不能由所述主摄像机获得的部分的图像；
基于所述多个图像生成合成图像；
在屏幕上显示所述合成图像；
实时检测用户的眼睛；
选择属于所述合成图像并与所述用户观看的区域相对应的图像；以及
发送选择的所述图像，
其中，生成所述合成图像的步骤包括除了由所述多个摄像机获得的所述多个图像以外，生成包括所述多个图像的单个图像的步骤。
2.根据权利要求1所述的图像传输方法，其中，选择所述图像的步骤包括以下步骤：
将所述合成图像分割成多个区域；
确定检测的所述眼睛在查看所述多个区域的哪个区域；以及
基于确定步骤，选择与用户所观看的区域相对应的图像。
3.根据权利要求2所述的图像传输方法，其中，所述多个区域与由所述多个摄像机获得的所述多个图像相对应。
4.根据权利要求1所述的图像传输方法，其中，选择所述图像的步骤包括以下步骤：如果检测到用户在查看除了屏幕以外的区域，则选择与之前确定的区域相对应的图像。
5.根据权利要求1所述的图像传输方法，其中，选择的所述图像的大小和分辨率与由单个摄像机获得的图像的大小和分辨率相同。
6.一种基于眼睛追踪的图像传输装置，包括：
图像接收单元，接收由多个摄像机获得的多个图像，其中，所述多个摄像机包括：主摄像机，所述主摄像机获得执行广播的用户的正面图像作为主图像；其余的子摄像机，所述子摄像机获得属于工作室并且不能由所述主摄像机获得的部分的图像；
合成图像生成单元，基于所述多个图像生成合成图像；
显示单元，在屏幕上显示所述合成图像；
眼睛追踪单元，实时检测用户的眼睛；
图像选择单元，选择属于所述合成图像并与用户观看的区域相对应的图像；以及
图像传输单元，发送选择的所述图像，
其中，除了由所述多个摄像机获得的所述多个图像以外，所述合成图像生成单元生成包括所述多个图像的单个图像。
7.根据权利要求6所述的图像传输装置，其中，所述图像选择单元将所述合成图像分割为多个区域，确定检测的所述眼睛在查看所述多个区域的哪个区域，并基于该确定选择与用户所观看的区域相对应的图像。
8.根据权利要求7所述的图像传输装置，其中，所述多个区域对应于由所述多个摄像机获得的所述多个图像。
9.根据权利要求6所述的图像传输装置，其中，如果检测到用户在查看除了屏幕以外的区域，则所述图像选择单元选择与之前确定的区域相对应的图像。
10.根据权利要求6所述的图像传输装置，其中，选择的所述图像的大小和分辨率与由单个摄像机获得的图像的大小和分辨率相同。
11.一种基于眼睛追踪的图像传输***，包括：
多个摄像机，其中，所述多个摄像机包括：主摄像机，所述主摄像机获得执行广播的用户的正面图像作为主图像；其余的子摄像机，所述子摄像机获得属于工作室并且不能由所述主摄像机获得的部分的图像；以及
图像传输装置，接收由多个摄像机获得的多个图像，基于所述多个图像生成合成图像，在屏幕上显示所述合成图像，实时检测用户的眼睛，选择属于所述合成图像并与用户所观看的区域相对应的图像，并且发送所选择的图像，
其中，除了由所述多个摄像机获得的所述多个图像以外，所述图像传输装置生成包括所述多个图像的单个图像。
12.根据权利要求11所述的图像传输***，其中，所述图像传输装置将所述合成图像分割成多个区域，确定检测的所述眼睛在查看所述多个区域的哪个区域，并且基于该确定来选择与用户所观看的区域相对应的图像。
13.一种图像传输***，包括：
多个摄像机，其中，所述多个摄像机包括：主摄像机，所述主摄像机获得执行广播的用户的正面图像作为主图像；其余的子摄像机，所述子摄像机获得属于工作室并且不能由所述主摄像机获得的部分的图像；以及
图像传输装置，接收由多个摄像机获得的多个图像，基于所述多个图像生成合成图像，在屏幕上显示所述合成图像，并通过实时追踪用户的眼睛来响应于用户所观看的区域的变化改变所述合成图像中将要传输的区域，
其中，除了由所述多个摄像机获得的所述多个图像以外，所述图像传输装置生成包括所述多个图像的单个图像。
14.一种图像传输装置，包括：
接收单元，接收由多个摄像机获得的多个图像，其中，所述多个摄像机包括：主摄像机，所述主摄像机获得执行广播的用户的正面图像作为主图像；其余的子摄像机，所述子摄像机获得属于工作室并且不能由所述主摄像机获得的部分的图像；
合成图像生成单元，基于所述多个图像生成合成图像；
显示单元，在屏幕上显示所述合成图像；
眼睛追踪单元，实时追踪用户的眼睛；以及
图像选择单元，基于所述眼睛追踪单元的追踪，响应于用户所观看的区域的变化来改变所述合成图像中将要传输的区域，
其中，除了由所述多个摄像机获得的所述多个图像以外，所述合成图像生成单元生成包括所述多个图像的单个图像。
15.一种图像传输方法，由图像传输装置执行并包括以下步骤：
接收由多个摄像机获得的多个图像，其中，所述多个摄像机包括：主摄像机，所述主摄像机获得执行广播的用户的正面图像作为主图像；其余的子摄像机，所述子摄像机获得属于工作室并且不能由所述主摄像机获得的部分的图像；
基于所述多个图像生成合成图像；
在屏幕上显示所述合成图像；
实时追踪用户的眼睛；以及
基于追踪步骤，响应于用户所观看的区域的变化来改变所述合成图像中将要传输的区域，
其中，生成所述合成图像的步骤包括除了由所述多个摄像机获得的所述多个图像以外，生成包括所述多个图像的单个图像的步骤。
CN201680017410.4A 2015-12-04 2016-04-22 基于眼睛追踪的图像传输方法、图像传输设备及图像传输*** Active CN107409239B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
KR20150172168 2015-12-04
KR10-2015-0172168 2015-12-04
KR10-2016-0004485 2016-01-14
KR1020160004485A KR101782582B1 (ko) 2015-12-04 2016-01-14 아이 트랙킹을 기반으로 하는 영상 전송 방법, 장치 및 시스템
PCT/KR2016/004212 WO2017094979A1 (ko) 2015-12-04 2016-04-22 아이 트랙킹을 기반으로 하는 영상 전송 방법, 장치 및 시스템

Publications (2)

Publication Number Publication Date
CN107409239A CN107409239A (zh) 2017-11-28
CN107409239B true CN107409239B (zh) 2020-08-07

Family

ID=59218257

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680017410.4A Active CN107409239B (zh) 2015-12-04 2016-04-22 基于眼睛追踪的图像传输方法、图像传输设备及图像传输***

Country Status (3)

Country Link
US (1) US20180338093A1 (zh)
KR (1) KR101782582B1 (zh)
CN (1) CN107409239B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109311002B (zh) 2017-05-29 2021-12-10 Lg化学株式会社 用于加氢甲酰化反应的催化剂组合物和使用其制备醛的方法
JP6953247B2 (ja) * 2017-09-08 2021-10-27 ラピスセミコンダクタ株式会社 ゴーグル型表示装置、視線検出方法及び視線検出システム
CN108419090A (zh) * 2017-12-27 2018-08-17 广东鸿威国际会展集团有限公司 三维直播流展示***和方法
US10582181B2 (en) * 2018-03-27 2020-03-03 Honeywell International Inc. Panoramic vision system with parallax mitigation
CN110324648B (zh) * 2019-07-17 2021-08-06 咪咕文化科技有限公司 直播展现方法和***
WO2022032589A1 (zh) * 2020-08-13 2022-02-17 深圳市大疆创新科技有限公司 全景回放的方法、装置和***、拍摄设备、可移动平台

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040039080A (ko) * 2002-10-31 2004-05-10 전자부품연구원 영상 처리를 이용한 다채널 자동 트랙킹 및 자동 줌 방법
JP2005027166A (ja) * 2003-07-04 2005-01-27 Japan Science & Technology Agency リモート観測装置、そのプログラムおよび記録媒体
CN102905136A (zh) * 2012-10-29 2013-01-30 安科智慧城市技术（中国）有限公司 一种视频编解码方法、***
CN103930817A (zh) * 2011-06-20 2014-07-16 谷歌公司 用于数据的自适应传送的***和方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6259470B1 (en) * 1997-12-18 2001-07-10 Intel Corporation Image capture system having virtual camera
JP2004048644A (ja) * 2002-05-21 2004-02-12 Sony Corp 情報処理装置、情報処理システム、及び対話者表示方法
US7570803B2 (en) * 2003-10-08 2009-08-04 Microsoft Corporation Virtual camera translation
US9467647B2 (en) * 2007-07-17 2016-10-11 Carnegie Mellon University Multiple resolution video network with context based control
US8531394B2 (en) * 2010-07-23 2013-09-10 Gregory A. Maltz Unitized, vision-controlled, wireless eyeglasses transceiver
US8736660B2 (en) * 2011-03-14 2014-05-27 Polycom, Inc. Methods and system for simulated 3D videoconferencing
US8994780B2 (en) * 2012-10-04 2015-03-31 Mcci Corporation Video conferencing enhanced with 3-D perspective control
KR101954192B1 (ko) * 2012-11-15 2019-03-05 엘지전자 주식회사 어레이 카메라, 휴대 단말기 및 그 동작 방법
CN103049175B (zh) * 2013-01-22 2016-08-10 华为终端有限公司 预览画面呈现方法、装置及终端
KR20140139840A (ko) * 2013-05-28 2014-12-08 삼성전자주식회사 디스플레이 장치 및 그 제어방법
KR102129798B1 (ko) * 2014-05-08 2020-07-03 엘지전자 주식회사 비히클 및 그 제어 방법
US10001837B2 (en) * 2014-12-23 2018-06-19 Intel Corporation Technologies for interacting with computing devices using haptic manipulation

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040039080A (ko) * 2002-10-31 2004-05-10 전자부품연구원 영상 처리를 이용한 다채널 자동 트랙킹 및 자동 줌 방법
JP2005027166A (ja) * 2003-07-04 2005-01-27 Japan Science & Technology Agency リモート観測装置、そのプログラムおよび記録媒体
CN103930817A (zh) * 2011-06-20 2014-07-16 谷歌公司 用于数据的自适应传送的***和方法
CN102905136A (zh) * 2012-10-29 2013-01-30 安科智慧城市技术（中国）有限公司 一种视频编解码方法、***

Also Published As

Publication number Publication date
CN107409239A (zh) 2017-11-28
US20180338093A1 (en) 2018-11-22
KR101782582B1 (ko) 2017-09-28
KR20170066187A (ko) 2017-06-14

Similar Documents

Publication Publication Date Title
CN107409239B (zh) 基于眼睛追踪的图像传输方法、图像传输设备及图像传输***
KR102611448B1 (ko) 콘텐트를 전달 및/또는 콘텐트를 재생하기 위한 방법들 및 장치
US9965026B2 (en) Interactive video display method, device, and system
KR102069930B1 (ko) 이머전 통신 클라이언트, 서버 및 컨텐츠 뷰를 획득하는 방법
US9706264B2 (en) Multiple field-of-view video streaming
CA2949005A1 (en) Method and system for low cost television production
US10742964B2 (en) Methods and apparatus for displaying images
CN109511004B (zh) 一种视频处理方法及装置
US20070022455A1 (en) Image display device, image display method and image display system
KR20180001551A (ko) 가상 카메라를 이용한 개인화된 쇼핑몰 시스템
KR101408719B1 (ko) 3차원 영상의 스케일 변환 장치 및 그 방법
CN105519126A (zh) 用于显示视频的方法和用于显示视频的装置
KR101598055B1 (ko) 다면 상영관의 컨텐츠 사이즈 노멀라이징 방법, 장치 및 컴퓨터로 판독 가능한 기록 매체
US20100039561A1 (en) System, method, computer-readable medium, and user interface for displaying light radiation
KR20150131668A (ko) 영상 매트릭스 인터페이스를 이용한 다시점 영상 생성 방법 및 다시점 영상 생성 시스템
KR101754700B1 (ko) Vr 영상과 2차원 영상간 고품질 영상 전환을 지원하는 인터넷 기반 영상 제공 시스템 및 방법
CN107431846B (zh) 基于多个摄像机的图像传输方法、设备和***
CN111630849A (zh) 图像处理装置、图像处理方法、程序和投影***
JP5509986B2 (ja) 画像処理装置、画像処理システム、及び画像処理プログラム
CN112911191B (zh) 一种视频通话质量调整方法、装置、电子设备和存储介质
CN106997234B (zh) 虚拟现实模式处理方法、设备和***
CN109241304B (zh) 图片处理方法、装置及设备
JP6930880B2 (ja) 映像表示装置および映像制作支援方法
WO2023171120A1 (ja) 情報処理装置、情報処理方法、およびプログラム
US11558599B2 (en) Electronic apparatus, control method for electronic apparatus, and non-transitory computer-readable storage medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant