CN111147934A - 电子装置及输出画面决定方法 - Google Patents

电子装置及输出画面决定方法 Download PDF

Info

Publication number
CN111147934A
CN111147934A CN201911050093.8A CN201911050093A CN111147934A CN 111147934 A CN111147934 A CN 111147934A CN 201911050093 A CN201911050093 A CN 201911050093A CN 111147934 A CN111147934 A CN 111147934A
Authority
CN
China
Prior art keywords
coordinates
frame
coordinate
sight line
coordinate system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911050093.8A
Other languages
English (en)
Other versions
CN111147934B (zh
Inventor
余祥瑞
张立人
欧葳
戴佳琪
陈佳志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aten International Co Ltd
Original Assignee
Aten International Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aten International Co Ltd filed Critical Aten International Co Ltd
Publication of CN111147934A publication Critical patent/CN111147934A/zh
Application granted granted Critical
Publication of CN111147934B publication Critical patent/CN111147934B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Studio Devices (AREA)

Abstract

一种电子装置及输出画面决定方法，该输出画面决定方法包括：通过摄影装置，取得一或多摄影画面；取得该一或多摄影画面在***坐标系中的多个画面坐标；根据该一或多摄影画面的该些画面坐标，决定该一或多摄影画面在该***坐标系中的一或多画面边界；通过眼球追踪器，取得在该***坐标系中的视线坐标；以及相应于该视线坐标位于该一或多画面边界之内，在该一或多摄影画面中决定相应于该视线坐标的局部输出画面。由此，直播者不须手动操作，而通过直播者的视线即可变化观看者能看到的直播画面。

Description

电子装置及输出画面决定方法
技术领域
本公开内容涉及一种电子装置及一种方法。具体而言，本公开内容涉及一种电子装置及输出画面决定方法。
背景技术
随着电子技术的发展，摄影装置(如直播装置)已广泛应用于人们生活当中。
典型的直播方式是通过直播者的移动电话或电脑上的摄影镜头拍摄画面，并传送画面至观看者的显示装置中。由此能让观看者和直播者之间经由画面而互动。
然而，受限于直播者的移动电话或电脑经常需固定摆放，直播画面也会固定而无法弹性改变，造成不便。因此，一种解决方法当被提出。
发明内容
本公开内容的一实施方式涉及一种电子装置。
根据本公开内容一实施例，电子装置包括一或多处理元件、一存储器、以及一或多程序。所述的一或多程序存储于所述的存储器中，并用以被所述的一或多处理元件所执行，以令所述的一或多处理元件进行以下操作：取得一或多摄影画面；取得所述的一或多摄影画面在一***坐标系中的多个画面坐标；根据所述的一或多摄影画面的所述的些画面坐标，决定所述的一或多摄影画面在所述的***坐标系中的一或多画面边界；取得在所述的***坐标系中的视线坐标；以及相应于所述的视线坐标位于所述的一或多画面边界之内，在所述的一或多摄影画面中决定相应于所述的视线坐标的局部输出画面。
于一实施例中，执行所述的一或多程序还包括以下操作：取得多个参考点在所述的***坐标系中的多个参考坐标；取得分别对应所述的些参考点的多笔参考眼球追踪数据；根据所述的些参考坐标及所述的些参考眼球追踪数据，建立第一对应关系；以及根据所述的第一对应关系，将一眼球追踪数据转换为所述的视线坐标。
于一实施例中，执行所述的一或多程序还包括以下操作：取得多个参考点在所述的***坐标系中的多个参考坐标；取得所述的些参考点在所述的一或多摄影画面中的位置；根据所述的些参考坐标及所述的些参考点在所述的一或多摄影画面中的位置，建立一或多第二对应关系；以及根据所述的一或多第二对应关系，产生所述的些画面坐标。
于一实施例中，执行所述的一或多程序还包括以下操作：根据所述的一或多第二对应关系及所述的视线坐标，取得所述的一或多摄影画面中相应于所述的视线坐标的一或多视线位置；以及根据所述的一或多视线位置决定所述的局部输出画面。
于一实施例中，在所述的视线坐标仅位于所述的一或多画面边界中的一者之内的情况下，所述的局部输出画面为所述的视线坐标所位于的画面边界所对应的摄影画面的一部份。
本公开内容的另一实施方式涉及一种输出画面决定方法。根据本公开内容一实施例，输出画面决定方法包括：通过一或多摄影装置，取得一或多摄影画面；取得所述的一或多摄影画面在一***坐标系中的多个画面坐标；根据所述的一或多摄影画面的所述的多个画面坐标，决定所述的一或多摄影画面在所述的***坐标系中的一或多画面边界；通过一眼球追踪器，取得在所述的***坐标系中的一视线坐标；以及相应于所述的视线坐标位于所述的一或多画面边界之内，在所述的一或多摄影画面中决定相应于所述的视线坐标的一局部输出画面。
于一实施例中，取得在所述的***坐标系中的所述的视线坐标的操作包括：取得多个参考点在所述的***坐标系中的多个参考坐标；取得分别对应所述的些参考点的多笔参考眼球追踪数据；根据所述的些参考坐标及所述的些参考眼球追踪数据，建立一第一对应关系；以及根据所述的第一对应关系，将一眼球追踪数据转换为所述的视线坐标。
于一实施例中，取得所述的一或多摄影画面在所述的***坐标系中的所述的多个画面坐标的操作包括：取得多个参考点在所述的***坐标系中的多个参考坐标；取得所述的多个参考点在所述的一或多摄影画面中的位置；根据所述的多个参考坐标及所述的些参考点在所述的一或多摄影画面中的位置，建立一或多第二对应关系；以及根据所述的一或多第二对应关系，产生所述的多个画面坐标。
于一实施例中，在所述的一或多摄影画面中决定相应于所述的视线坐标的所述的局部输出画面的操作包括：根据所述的一或多第二对应关系及所述的视线坐标，取得所述的一或多摄影画面中相应于所述的视线坐标的一或多视线位置；以及根据所述的一或多视线位置决定所述的局部输出画面。
于一实施例中，在所述的视线坐标仅位于所述的一或多画面边界中的一者之内的情况下，所述的局部输出画面为所述的视线坐标所位于的画面边界所对应的摄影画面的一部份。
通过应用上述实施例中的一者，即可在一或多摄影画面中决定相应于视线坐标的一局部输出画面。由此，直播者不须手动操作，并通过直播者的视线即可变化观看者能看到的直播画面，进而能增加直播者与观看者之间的互动，也能提升直播者使用上的便利性。
附图说明
图1为根据本发明一实施例所绘示的电子装置的示意图；
图2为根据本发明一实施例的输出画面决定方法的流程图；
图3为根据本发明一操作例的输出画面决定方法的示意图；
图4为根据本发明一操作例的输出画面决定方法的示意图；
图5为根据本发明一操作例的输出画面决定方法的示意图；以及
图6为根据本发明一操作例的输出画面决定方法的示意图；
图7为根据本发明一实施例的输出画面决定方法的子操作流程图；
图8为根据本发明一实施例的输出画面决定方法的子操作流程图；以及
图9为根据本发明一实施例的输出画面决定方法的子操作流程图。
主要元件符号说明：
20：眼球追踪器
30：摄影装置
100：电子装置
110：处理元件
120：存储器
200：方法
S1-S5：操作
CMI：摄影画面
OBJ：目标
NA：参考点
NB：参考点
NC：参考点
SYC：***坐标系
CNT：画面边界
USI：使用者信号
ORI：局部输出画面
600：输出对象装置
具体实施方式
以下将以附图及详细叙述清楚说明本公开内容的精神，任何本领域技术人员在了解本公开内容的实施例后，当可由本公开内容所教示的技术，加以改变及修饰，其并不脱离本公开内容的精神与范围。
关于本文中所使用的“耦接”，可指二或多个元件相互直接作实体或电性接触，或是相互间接作实体或电性接触，而“耦接”还可指二或多个元件相互操作或动作。
关于本文中所使用的“第一”、“第二”、…等，并非特别指称次序或顺位的意思，亦非用以限定本发明，其仅为了区别以相同技术用语描述的元件或操作。
关于本文中所使用的“包含”、“包括”、“具有”、“含有”等等，均为开放性的用语，即意指包含但不限于。
关于本文中所使用的“及/或”，包括所述事物的任一或全部组合。
关于本文中所使用的术语(terms)，除有特别注明外，通常具有每个术语使用在此领域中、在此公开的内容中与特殊内容中的平常意义。某些用以描述本公开的术语将于下或在此说明书的别处讨论，以提供本领域技术人员在有关本公开的描述上额外的引导。
关于本文中所使用的用语“大致”、“约”等，一般用以指涉与所述数值或范围相近的任何数值或范围，此数值或范围会根据涉及的不同技艺而有所变化，且其解释范围符合本领域技术人员对其所为的最广解释范围，以涵盖所有的变形或相似结构。一些实施例中，此类用语所修饰的些微变化或误差的范围为20％，在部份较佳实施例中为10％，在部份更佳实施例中为5％。另外，本文中所述及的数值皆意指近似数值，在未作另外说明的情况下，其隐涵“大致”、“约”的词意。
本公开内容的一示例涉及一种电子装置。为使说明清楚，在以下段落中，将以直播盒为例描述电子装置的细节。然而其它的电子装置，如平板电脑、智能型手机、桌上型电脑等，亦在本公开内容范围之中。
图1为根据本公开内容一实施例所示的电子装置100的示意图。在本实施例中，电子装置100电性连接眼球追踪器20及一或多摄影装置30。在本实施例中，电子装置100用以接收来自眼球追踪器20的眼球追踪数据。在本实施例中，电子装置100用以接收来自一或多摄影装置30的一或多摄影画面。
在本实施例中，电子装置100包括一或多处理元件110、存储器120。在本实施例中，此一或多处理元件110电性连接存储器120。其中，在图1及以下说明中仅是以一个处理元件110作为例子说明，本公开内容并非以此为限制。
在一实施例中，处理元件110例如可用中央处理器及/或微处理器等处理器实现，但不以此为限。在一实施例中，存储器120可包括一或多个存储器装置，其中每一存储器装置或多个存储器装置的集合包括电脑可读取记录媒体。存储器120可包括只读存储器、快闪存储器、软碟、硬碟、光碟、随身碟、磁带、可由网路存取的数据库、或熟悉此技艺者可轻易思及具有相同功能的电脑可读取记录媒体。
在一实施例中，处理元件110可运行或执行储存于存储器120中的各种软件程序及/或指令集，以执行电子装置100的各种功能。
应注意到，上述电子装置100中元件的实现方式不以上述实施例所公开的为限，且连接关系也不以上述实施例为限，凡足以令电子装置100实现下述技术内容的连接方式与实现方式皆可运用于本发明。
在一实施例中，处理元件110可通过一或多摄影装置30取得一或多摄影画面。处理元件110可将摄影画面对应至一***坐标系，并取得摄影画面在***坐标系中的画面边界。
另外，处理元件110可根据来自眼球追踪器20的眼球追踪数据，取得在***坐标系中的一视线坐标，其中此一视线坐标对应于使用者注视的位置。于一实施例中，处理元件110能分析计算眼球追踪数据而得出视线坐标。
在此一视线坐标位于一或多摄影画面在***坐标系中的画面边界内的情况下，处理元件110可在一或多摄影画面中，决定相应于此使用者注视位置的局部输出画面。在一实施例中，处理元件110可将此局部输出画面输出至输出对象装置(如图6中输出对象装置600)，如直播服务器、影像撷取盒、个人电脑，但不以此为限。
通过如此操作，直播者即可利用视线以变化观看者能看到的直播画面，进而能增加直播者与观看者间的互动。
其中，***坐标系可以为桌面坐标系或其他类似坐标系。其中，***坐标系例如是以图3中目标OBJ及参考点NA、NB、NC所在的桌面为基础的坐标系。例如，该桌面的第一方向桌缘可与***座标系的x轴对齐，且该桌面的第二方向桌缘可与***坐标系的y轴对齐。应注意到，上述实施例仅为示例，本公开内容并不以此为限。
以下将搭配图2中的输出画面决定方法以提供本公开内容更具体细节，然本公开内容不以下述实施例为限。
应注意到，此一输出画面决定方法可应用于相同或相似于图1中所示结构的电子装置。而为使叙述简单，以下将根据本发明一实施例，以图1中的电子装置100为例进行对输出画面决定方法的叙述，然本发明不以此应用为限。
此外，此一输出画面决定方法亦可实作为一电脑程序，并储存于一非暂态电脑可读取记录媒体中，而使电脑或电子装置读取此记录媒体后执行虚拟实境方法。非暂态电脑可读取记录媒体可为只读存储器、快闪存储器、软碟、硬碟、光碟、随身碟、磁带、可由网路存取的数据库或熟悉此技艺者可轻易思及具有相同功能的非暂态电脑可读取记录媒体。
另外，应了解到，在本实施方式中所提及的输出画面决定方法的操作，除特别叙明其顺序者外，均可依实际需要调整其前后顺序，甚至可同时或部分同时执行。
再者，在不同实施例中，此些操作也可适应性地增加、置换、及/或省略。
参照图1、2，输出画面决定方法200包括以下操作。
在操作S1中，处理元件110取得一或多摄影画面。在一实施例中，一或多摄影画面是来自于一或多摄影装置30，但本公开内容不以此为限。
在操作S2中，处理元件110取得前述一或多摄影画面在一***坐标系中的多个画面坐标。在一实施例中，***坐标系的原点及坐标轴可为预设的原点及坐标轴，但不以此为限。在一实施例中，此些画面坐标可相应于此一或多摄影画面的顶点、边界、中心、及/或其它参考位置，但不以此为限。在一实施例中，处理元件110是利用多个参考点，以取得前述画面坐标。
举例而言，参照图3及图4，在本例中，摄影画面CMI中存在参考点NA、NB、NC。如图4所示，参考点NA、NB、NC在***坐标系SYC中，分别具有其坐标(以下称为参考坐标)。在一些实施例中，参考坐标可为预设值。在一些实施例中，参考坐标可预存于电子装置100中，且使用者可在环境初始化时依预设指示设置参考点NA、NB、NC。应注意到，上述说明仅为例示，本公开内容不以上述实施例为限。
进一步来说，假设参考点NA、NB、NC在摄影画面CMI中的坐标为(1，3)、(2，4)、(3，6)，参考点NA、NB、NC在***坐标系SYC中的坐标可为(-1，-3)、(10，20)、(30，40)。又假设摄影画面CMI的顶点在摄影画面CMI中的坐标为(0，0)、(50，0)、(0，50)、(50，50)，此些顶点在***坐标系SYC中的坐标可为(-15，-15)、(-15，100)、(100，-15)、(100，100)。
在本实施例中，处理元件110取得参考点NA、NB、NC在***坐标系SYC中的参考坐标(图7操作S21)。另一方面，处理元件110取得参考点NA、NB、NC在摄影画面CMI中各别的位置(参照图3)(图7操作S22)。而后，处理元件110根据参考点NA、NB、NC在***坐标系SYC中的参考坐标及参考点NA、NB、NC在摄影画面CMI中的位置，建立摄影画面CMI与***坐标系SYC间的对应关系(以下称为第二对应关系)(图7操作S23)。根据此第二对应关系，处理元件110可产生摄影画面CMI的顶点、边界、中心、及/或其它参考点在***坐标系SYC中的画面坐标(图7操作S24)。在一实施例中，前述第二对应关系例如可用转换矩阵、查照表、数学函式、或其它任何可行方式实现，本公开内容不以此为限。
上述仅为例示，并非意在限制本公开内容之范围，例如，在其它实施例中，除了摄影画面CMI之外还可以有其它摄影画面(也就是说，存在多个摄影画面)，处理元件110可建立每一个摄影画面与***坐标系SYC间的对应关系(皆称为第二对应关系)，并根据此些第二对应关系产生每个摄影画面的顶点、边界、中心、及/或其它参考点在***坐标系SYC中的画面坐标。
通过上述方式，处理元件110也可取得其它摄影画面(若有)在***坐标系SYC中的画面坐标。
在操作S3中，处理元件110根据前述一或多摄影画面的画面坐标，以决定前述一或多摄影画面在***坐标系SYC中的一或多画面边界CNT。
例如，参照图4，处理元件110可根据前述画面坐标，以决定前述摄影画面CMI在***坐标系SYC中的画面边界CNT(在本实施例中，***坐标系例如可为对应图4中桌面的坐标系)。于此以数个实施例做说明，但本公开内容并不以此为限制。在一实施例中，处理元件110可根据相应于摄影画面CMI的至少部分顶点(例如两对角顶点、中心点与至少一顶点)的画面坐标，以决定***坐标系SYC中的画面边界CNT。在另一实施例中，处理元件110可根据相应于摄影画面CMI的边界的画面坐标，决定***坐标系SYC中的画面边界CNT。在又一实施例中，处理元件110可根据摄影画面CMI与***坐标系SYC间的第二对应关系，估算摄影画面CMI在***坐标系SYC中的大小，而后再根据相应于摄影画面CMI的中心的画面坐标，决定***坐标系SYC中的画面边界CNT。
应注意到，虽然在图4中，画面边界CNT以圆形虚线表示，然而画面边界CNT可为其它形状、如扇形、平行四边形、或不规则形状，故本公开内容的画面边界CNT的形状不以图4中所绘为限。
在操作S4中，处理元件110通过眼球追踪器20，取得在***坐标系中的一视线坐标。在一实施例中，此一视线坐标相应于在摄影画面CMI中的一特定位置，且此一特定位置为在摄影画面CMI中使用者注视的位置。应注意到，操作S4与操作S1、S2、S3可同时进行，或次序对换。
在一实施例中，处理元件110可根据***坐标系与来自眼球追踪器20的眼球追踪数据之间的对应关系(以下称为第一对应关系)，取得前述在***坐标系中的视线坐标。在一实施例中，处理元件110是利用多个参考点，以取得***坐标系与眼球追踪数据之间的第一对应关系。
举例而言，参照图4、图5，首先，处理元件110取得参考点NA、NB、NC在***坐标系SYC中的参考坐标(图8操作S41)。使用者可在注视参考点NA时，利用控制器或其它使用者输入界面传送使用者信号USI至电子装置100。在一实施例中，使用者信号USI为一触发信号。在一实施例中，使用者例如可按压一控制器，以产生使用者信号USI。处理元件110可相应于使用者信号USI撷取来自眼球追踪器20的眼球追踪数据，作为相应于参考点NA的参考眼球追踪数据(图8操作S42)。通过类似方法，处理元件110可取得相应于参考点NB、NC的参考眼球追踪数据。而后，处理元件110可根据参考点NA、NB、NC在***坐标系SYC中的参考坐标及相应于参考点NA、NB、NC的参考眼球追踪数据，取得***坐标系SYC与眼球追踪数据之间的第一对应关系(图8操作S43)。应注意到，在不同实施例中，处理元件110也可利用不同于参考点NA、NB、NC的其它参考点，建立***坐标系SYC与眼球追踪数据之间的第一对应关系。
而后，通过***坐标系SYC与眼球追踪数据之间的第一对应关系，处理元件110即可根据来自眼球追踪器20的眼球追踪数据，取得使用者注视的位置在***坐标系SYC中的视线坐标(图8操作S44)。
在操作S5中，相应于前述视线坐标位于相应于前述一或多摄影画面的画面边界之内(例如，当使用者注视的目标在任一摄影画面所涵盖的范围内时)，处理元件110在前述一或多摄影画面中决定相应于前述视线坐标的一局部输出画面。
例如，参照图3、图4、图6，当使用者注视目标OBJ时，处理元件110可取得***坐标系SYC中对应于目标OBJ的视线坐标。在一实施例中，目标OBJ可包括物品、文字、图框等，但不以此为限。处理元件110可判断此一视线坐标是否位于画面边界CNT中。在此一视线坐标位于画面边界CNT中的情况下，处理元件110可根据摄影画面CMI与***坐标系SYC间的第二对应关系，取得摄影画面CMI中相应于此一视线坐标的视线位置(如图3中目标OBJ在摄影画面CMI中的位置)(图9操作S51)。而后，处理元件110可根据摄影画面CMI中相应于视线坐标的视线位置，决定局部输出画面ORI(参照图6)(图9操作S52)。
上述仅为例示，并非意在限制本公开内容之范围，例如，在其它实施例中，除了摄影画面CMI与画面边界CNT之外，还可以有其它摄影画面与画面边界(也就是说，存在多个摄影画面以及所述的多个摄影画面在***坐标系SYC中的多个画面边界)，处理元件110可根据视线坐标所位于的画面边界以及相应的第二对应关係取得摄影画面中相应于此一视线坐标的视线位置，而后根据摄影画面中相应于视线坐标的视线位置，决定输出局部输出画面。
相对地，在一实施例中，在视线坐标位于所有的摄影画面在***坐标系的画面边界之外的情况下，处理元件110可决定输出画面为前述一或多摄影画面中的一者(如输出画面为图3中的摄影画面CMI)。也就是说，当存在摄影画面A、B、C，而使用者的视线坐标在摄影画面A、B、C所涵盖的范围外时，处理元件110可决定输出画面为摄影画面A、B、C中的预设一者(例如是对准主要拍摄目标的摄影画面)。如此一来，当使用者的视线暂时移开，输出画面即可回到预设的主要摄影画面，而可避免输出无意义的摄影画面。
在一实施例中，在视线坐标仅位于前述一或多画面边界中的一者(如图3中的摄影画面CMI)之内的情况下，局部输出画面为对应于一或多画面边界中的该者的摄影画面(如图3中的摄影画面CMI)的一部份(如图3中的摄影画面CMI中对应于目标OBJ的部份)。例如，当存在摄影画面A、B、C(也就是说，存在多个摄影画面)，而使用者注视的目标仅在摄影画面A所涵盖的范围内时，局部输出画面仅呈现摄影画面A的一部份，不会呈现摄影画面B、C的任何部份。
在其它实施例中，例如仅存在摄影画面B(也就是说，只存在一个摄影画面)且视线坐标仅位于摄影画面B所对应的画面边界中，局部输出画面为对应于仅有的摄影画面的一部份(在本例中，局部输出画面为对应于摄影画面B的一部份)。在一实施例中，在视线坐标位于前述一或多画面边界中的多者之内的情况下，处理元件110可根据实际需求或预设的优先次序，决定局部输出画面为对应于一或多画面边界中的此些多者中的一者的摄影画面的一部份，也就是说，当存在摄影画面A、B、C，而使用者注视的目标在摄影画面A、B、C所涵盖的范围内时，处理元件110可根据实际需求或预设的优先次序决定局部输出画面要呈现摄影画面A、摄影画面B、或摄影画面C中的哪一个的一部份。
应注意到，虽然本公开内容以直播为例进行说明，然而本公开内容的应用领域不限于直播，其它可在摄影画面中决定相应于视线坐标的局部输出画面的应用也在本公开内容范围之中。
通过应用上述实施例中的一者，即可在摄影画面CMI中决定相应于视线坐标的局部输出画面。由此，直播者不须手动操作，仍可变化观看者能看到的直播画面，进而能增加直播者与观看者之间的互动，也能提升直播者使用上的便利性。
虽然本发明已以实施例公开如上，然其并非用以限定本发明，任何熟习此技艺者，在不脱离本发明的精神和范围内，当可作各种的更动与润饰，因此本发明的保护范围当视后附的申请专利范围所界定者为准。

Claims (10)

1.一种电子装置，其特征在于，包括：
处理元件；以及
存储器，电性连接所述的处理元件；
其中所述的存储器存储程序，且所述的处理元件执行所述的程序，以进行以下操作：
取得一或多摄影画面；
取得所述的一或多摄影画面在***坐标系中的多个画面坐标；
根据所述的一或多摄影画面的所述的多个画面坐标，决定所述的一或多摄影画面在所述的***坐标系中的一或多画面边界；
取得在所述的***坐标系中的视线坐标；以及
相应于所述的视线坐标位于所述的一或多画面边界之内，在所述的一或多摄影画面中决定相应于所述的视线坐标的局部输出画面。
2.根据权利要求1所述的电子装置，其特征在于，执行所述的程序还包括以下操作：
取得多个参考点在所述的***坐标系中的多个参考坐标；
取得分别对应所述的多个参考点的多笔参考眼球追踪数据；
根据所述的多个参考坐标及所述的多笔参考眼球追踪数据，建立第一对应关系；以及
根据所述的第一对应关系，将眼球追踪数据转换为所述的视线坐标。
3.根据权利要求1所述的电子装置，其特征在于，执行所述的程序还包括以下操作：
取得多个参考点在所述的***坐标系中的多个参考坐标；
取得所述的多个参考点在所述的摄影画面中的位置；
根据所述的多个参考坐标及所述的多个参考点在所述的一或多摄影画面中的位置，建立一或多第二对应关系；以及
根据所述的一或多第二对应关系，产生所述的画面坐标。
4.根据权利要求3所述的电子装置，其特征在于，执行所述的程序还包括以下操作：
根据所述的一或多第二对应关系及所述的视线坐标，取得所述的一或多摄影画面中相应于所述的视线坐标的一或多视线位置；以及
根据所述的一或多视线位置决定所述的局部输出画面。
5.根据权利要求1至4中任一项所述的电子装置，其特征在于，在所述的视线坐标仅位于所述的一或多画面边界中的一者之内的情况下，所述的局部输出画面为所述的视线坐标所位于的画面边界所对应的摄影画面的一部份。
6.一种输出画面决定方法，其特征在于，包括：
通过摄影装置，取得一或多摄影画面；
取得所述的一或多摄影画面在***坐标系中的多个画面坐标；
根据所述的一或多摄影画面的所述的多个画面坐标，决定所述的一或多摄影画面在所述的***坐标系中的一或多画面边界；
通过眼球追踪器，取得在所述的***坐标系中的视线坐标；以及
相应于所述的视线坐标位于所述的一或多画面边界之内，在所述的一或多摄影画面中决定相应于所述的视线坐标的局部输出画面。
7.根据权利要求6所述的输出画面决定方法，其特征在于，取得在所述的***坐标系中的所述的视线坐标的操作包括：
取得多个参考点在所述的***坐标系中的多个参考坐标；
取得分别对应所述的些参考点的多笔参考眼球追踪数据；
根据所述的些参考坐标及所述的些参考眼球追踪数据，建立一第一对应关系；以及
根据所述的第一对应关系，将眼球追踪数据转换为所述的视线坐标。
8.根据权利要求6所述的输出画面决定方法，其特征在于，取得所述的一或多摄影画面在所述的***坐标系中的所述的多个画面坐标的操作包括：
取得多个参考点在所述的***坐标系中的多个参考坐标；
取得所述的多个参考点在所述的一或多摄影画面中的位置；
根据所述的多个参考坐标及所述的多个参考点在所述的一或多摄影画面中的位置，建立一或多第二对应关系；以及
根据所述的一或多第二对应关系，产生所述的多个画面坐标。
9.根据权利要求8所述的输出画面决定方法，其特征在于，在所述的一或多摄影画面中决定相应于所述的视线坐标的所述的局部输出画面的操作包括：
根据所述的一或多第二对应关系及所述的视线坐标，取得所述的一或多摄影画面中相应于所述的视线坐标的一或多视线位置；以及
根据所述的一或多视线位置决定所述的局部输出画面。
10.根据权利要求6至9中任一项所述的输出画面决定方法，其特征在于，在所述的视线坐标仅位于所述的一或多画面边界中的一者之内的情况下，所述的局部输出画面为所述的视线坐标所位于的画面边界所对应的摄影画面的一部份。
CN201911050093.8A 2018-11-02 2019-10-31 电子装置及输出画面决定方法 Active CN111147934B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW107139053A TWI725351B (zh) 2018-11-02 2018-11-02 電子裝置及輸出畫面決定方法
TW107139053 2018-11-02

Publications (2)

Publication Number Publication Date
CN111147934A true CN111147934A (zh) 2020-05-12
CN111147934B CN111147934B (zh) 2022-02-25

Family

ID=70516964

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911050093.8A Active CN111147934B (zh) 2018-11-02 2019-10-31 电子装置及输出画面决定方法

Country Status (2)

Country Link
CN (1) CN111147934B (zh)
TW (1) TWI725351B (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101499253A (zh) * 2008-01-28 2009-08-05 宏达国际电子股份有限公司 输出画面的调整方法与装置
CN102456137A (zh) * 2010-10-20 2012-05-16 上海青研信息技术有限公司 基于近红外反射点特性的视线跟踪预处理方法
CN104915013A (zh) * 2015-07-03 2015-09-16 孙建德 一种基于使用历史的视线跟踪定标方法
US20160018645A1 (en) * 2014-01-24 2016-01-21 Osterhout Group, Inc. See-through computer display systems
US20160116979A1 (en) * 2014-01-21 2016-04-28 Osterhout Group, Inc. Eye glint imaging in see-through computer display systems
CN106445104A (zh) * 2016-08-25 2017-02-22 蔚来汽车有限公司 车用hud显示***及方法
CN107003737A (zh) * 2014-12-03 2017-08-01 微软技术许可有限责任公司 用于自然用户输入的指示器投影
US20180067317A1 (en) * 2016-09-06 2018-03-08 Allomind, Inc. Head mounted display with reduced thickness using a single axis optical system
CN107884947A (zh) * 2017-11-21 2018-04-06 中国人民解放军海军总医院 裸眼立体视觉混合现实作业模拟***
CN107991775A (zh) * 2016-10-26 2018-05-04 中国科学院深圳先进技术研究院 能够进行人眼追踪的头戴式可视设备及人眼追踪方法
CN108417171A (zh) * 2017-02-10 2018-08-17 宏碁股份有限公司 显示装置及其显示参数调整方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ITTO20030662A1 (it) * 2003-08-29 2005-02-28 Fiat Ricerche Disposizione di visualizzazione virtuale per un quadro
CN102842301B (zh) * 2012-08-21 2015-05-20 京东方科技集团股份有限公司 显示画面调节装置、显示装置及显示方法
TW201438940A (zh) * 2013-04-11 2014-10-16 Compal Electronics Inc 影像顯示方法及系統
TW201539251A (zh) * 2014-04-09 2015-10-16 Utechzone Co Ltd 電子裝置及其操作方法
CN106799994A (zh) * 2017-01-13 2017-06-06 曾令鹏 一种消除机动车辆驾驶员视觉盲区的方法及设备

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101499253A (zh) * 2008-01-28 2009-08-05 宏达国际电子股份有限公司 输出画面的调整方法与装置
CN102456137A (zh) * 2010-10-20 2012-05-16 上海青研信息技术有限公司 基于近红外反射点特性的视线跟踪预处理方法
US20160116979A1 (en) * 2014-01-21 2016-04-28 Osterhout Group, Inc. Eye glint imaging in see-through computer display systems
US20160018645A1 (en) * 2014-01-24 2016-01-21 Osterhout Group, Inc. See-through computer display systems
CN107003737A (zh) * 2014-12-03 2017-08-01 微软技术许可有限责任公司 用于自然用户输入的指示器投影
CN104915013A (zh) * 2015-07-03 2015-09-16 孙建德 一种基于使用历史的视线跟踪定标方法
CN106445104A (zh) * 2016-08-25 2017-02-22 蔚来汽车有限公司 车用hud显示***及方法
US20180067317A1 (en) * 2016-09-06 2018-03-08 Allomind, Inc. Head mounted display with reduced thickness using a single axis optical system
CN107991775A (zh) * 2016-10-26 2018-05-04 中国科学院深圳先进技术研究院 能够进行人眼追踪的头戴式可视设备及人眼追踪方法
CN108417171A (zh) * 2017-02-10 2018-08-17 宏碁股份有限公司 显示装置及其显示参数调整方法
CN107884947A (zh) * 2017-11-21 2018-04-06 中国人民解放军海军总医院 裸眼立体视觉混合现实作业模拟***

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
GUANG-DAH CHEN: "《The study on motion message of rotational motion with eye tracking》", 《2018 IEEE INTERNATIONAL CONFERENCE ON APPLIED SYSTEM INVENTION》 *
杨晓晖: "《立体电视中多视点视频增强和实现跟踪方法研究》", 《中国优秀博士学位论文全文数据库》 *

Also Published As

Publication number Publication date
TW202018463A (zh) 2020-05-16
CN111147934B (zh) 2022-02-25
TWI725351B (zh) 2021-04-21

Similar Documents

Publication Publication Date Title
KR102666977B1 (ko) 전자 장치 및 전자 장치의 영상 촬영 방법
EP3326360B1 (en) Image capturing apparatus and method of operating the same
US10284817B2 (en) Device for and method of corneal imaging
US20180131869A1 (en) Method for processing image and electronic device supporting the same
US10970821B2 (en) Image blurring methods and apparatuses, storage media, and electronic devices
US10863077B2 (en) Image photographing method, apparatus, and terminal
JP2016533686A (ja) 全焦点画像を生成するための方法および装置
US10506221B2 (en) Field of view rendering control of digital content
US11004179B2 (en) Image blurring methods and apparatuses, storage media, and electronic devices
CN108462818B (zh) 电子设备及用于在该电子设备中显示360度图像的方法
CN106454086B (zh) 一种图像处理方法和移动终端
CN110636218B (zh) 对焦方法、装置、存储介质及电子设备
KR20190032818A (ko) 롤링 셔터 방식을 이용한 복수의 카메라를 포함하는 전자 장치
CN110706283B (zh) 用于视线追踪的标定方法、装置、移动终端及存储介质
KR102337209B1 (ko) 주변 상황 정보를 통지하기 위한 방법, 전자 장치 및 저장 매체
CN109981989B (zh) 渲染图像的方法、装置、电子设备和计算机可读存储介质
JP6283329B2 (ja) 拡張現実対象認識装置
US10009545B2 (en) Image processing apparatus and method of operating the same
CN111147934B (zh) 电子装置及输出画面决定方法
CN116363725A (zh) 显示设备的人像追踪方法、***、显示设备及存储介质
CN114241127A (zh) 全景图像生成方法、装置、电子设备和介质
KR20180018213A (ko) 전자 장치 및 그 제어 방법
US20200166997A1 (en) Method for transmission of eye tracking information, head mounted display and computer device
KR20130003313A (ko) 영상표시부 테두리의 촬영영상을 이용한 터치스크린장치 및 그 방법
KR102471073B1 (ko) 전자 장치 및 그 동작방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant