CN107852521B - 用于显示图像流的***和方法 - Google Patents

用于显示图像流的***和方法 Download PDF

Info

Publication number
CN107852521B
CN107852521B CN201680043398.4A CN201680043398A CN107852521B CN 107852521 B CN107852521 B CN 107852521B CN 201680043398 A CN201680043398 A CN 201680043398A CN 107852521 B CN107852521 B CN 107852521B
Authority
CN
China
Prior art keywords
por
point
interest
por1
por2
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680043398.4A
Other languages
English (en)
Other versions
CN107852521A (zh
Inventor
E·施密特
T·辛格劳德
C·菲尔沃克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Priority to CN202310331471.XA priority Critical patent/CN116366906A/zh
Publication of CN107852521A publication Critical patent/CN107852521A/zh
Application granted granted Critical
Publication of CN107852521B publication Critical patent/CN107852521B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4318—Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47202—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting content on demand, e.g. video on demand
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47205—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)

Abstract

本发明公开了用于随后在显示设备(32)的显示区域(46)中显示图像流(44,I0,I)(44,I0,I)的方法，其中观看显示区域(46)的用户(40)的关注点(POR；POR1,POR2,PORn)被确定，并且显示区域(46)内围绕关注点(POR；POR1,POR2,PORn)的第一区域(48；A1,A2,A3,A4)被确定。图像流(44,I0,I)中的第一图像(44,I)显示在显示区域(46)中，使得第一图像(44,I)的显示在第一区域(48；A1,A2,A3,A4)中的第一部分(50)根据至少一个参数的第一参数值而显示，该至少一个参数与第一图像(44,I)的图像特征相关，并且第一图像(44,I)的显示在第一区域(48；A1,A2,A3,A4)之外的至少一个第二区域中的第二部分(52)根据至少一个参数的第二参数值而显示。此外，确定关注点(POR；POR1,POR2,PORn)被执行为依赖于至少一个图像相关分析的至少一个结果(42,68,54)，预测显示第一图像(44,I)的某个未来时间点(T)的关注点(POR；POR1,POR2,PORn)。

Description

用于显示图像流的***和方法
本发明涉及用于随后在显示设备的显示区域中显示图像流的***和方法，其中观看显示区域的用户的关注点被确定，并且显示区域内围绕所确定的关注点的第一区域被确定。此外，图像流中的第一图像显示在显示区域中，使得第一图像的显示在第一区域中的第一部分根据至少一个参数的第一参数值而显示，该至少一个参数与第一图像的图像特征相关，并且第一图像的显示在第一区域之外的至少一个第二区域中的第二部分根据至少一个参数的第二参数值而显示。
在计算机生成图形的领域，已知的是通过渲染以场景数据形式提供的场景来创建图像。场景可包括虚拟2D或3D模型，其以对象、几何形状、视点、纹理、照明和着色信息作为虚拟场景的描述。渲染的场景随后可呈现为图像。从现有技术中还已知的是进行所谓的中央凹渲染，其中用户的关注点或感兴趣区域被确定，并且围绕该关注点以高分辨率渲染场景并且在其他地方以较低分辨率渲染场景。此处，分辨率将为以上提到的至少一个参数的示例，该至少一个参数的值确定图像特征。随后使用显示器的下一更新来显示由此渲染的场景。
由于延迟时间，如计算关注点所需的时间，尤其是渲染场景所用的时间，因此可能发生的是到显示器更新时，用户正观看其他地方并且该区域或其一部分未被正确渲染，例如未用足够的细节渲染，因为凝视已移离初始计算的关注点。
因此，本发明的目的是提供用于显示图像流的***和方法，其可对具有依赖于关注点的不同图像特征的区域的显示提供改进。
该目的通过具有根据独立权利要求的特征的***和方法而解决。在从属权利要求中给出了本发明的有利实施方案。
根据本发明的第一方面，用于随后在显示设备的显示区域中显示图像流的方法包括：
a)确定观看显示区域的用户的关注点；
b)确定显示区域内围绕所确定的关注点的第一区域；
c)在显示区域中显示图像流中的第一图像，使得第一图像的显示在第一区域中的第一部分根据至少一个参数的第一参数值而显示，该至少一个参数与第一图像的图像特征相关，并且第一图像的显示在第一区域之外的至少一个第二区域中的第二部分根据至少一个参数的第二参数值而显示。
此外，在a)中，确定关注点被执行为，依赖于至少一个图像相关分析的至少一个结果来预测显示第一图像的某个未来时间点的关注点。
有利地，通过预测关注点，可预报在显示第一图像的某个时间点的关注点的位置。这样便可以实现：依赖于所预测的关注点而确定的具有较高概率的第一区域符合在显示第一图像时围绕实际关注点的区域。
关注点的这种预测不仅可针对渲染的计算机图形来使用，而且可针对非计算机生成图像如视频记录来使用。然而，尤其对于计算机生成图形而言可实现这些优点，计算机生成图形需要很多时间来渲染场景。当眼睛移动到不同位置时，可用于更新屏幕的时间的估计值小于4ms，此时用户应该无法识别。因此，凝视预测或关注点预测有利地提前预见以获得更多时间来渲染待凝视的目标的屏幕更新。
与第一图像的图像特征相关的至少一个参数可涉及分辨率。例如，在第一区域中，可用较高分辨率显示该图像，并且在至少一个第二区域中，可用较低分辨率显示该图像。除此之外或另选地，至少一个参数还可涉及亮度、颜色饱和度、或尤其是相对于计算机生成图形而言的细节水平。因此例如同心围绕所预测的关注点(或也称为中央凹点)的区域可使用从关注点向外的方向上递减的分辨率渲染。另外，至少一个第一图像的周边区域如至少一个第二区域在附加维度上可减小，这意指除分辨率之外的维度，如颜色、运动，例如抗混叠、着色器的应用、复杂性、光的计算、纹理、多边形数等等。还可以考虑重新使用先前渲染的图像或仅渲染一半背景、镜射背景及镜射渲染的背景。另外，可重新使用来自周边中的先前帧的信息，如根据新位置和取向使来自先前帧的图像变形，并且仅渲染或刷新中央凹区域，即围绕所预测的关注点的第一区域，或仅执行部分变形。
因此通过所有这些参数，可提供第一区域内和第一区域之外的不同图像特征，尤其是使得图像以高得多的质量、细节水平等等在第一区域中呈现，并且可节省很多计算时间，也可节省功率，因为第一区域之外的图像的部分以较低质量、较少细节、较小分辨率显示或完全不显示。
此外，当预测关注点时，不仅可预测单一关注点，而且可预测至少一个关注点，例如若干关注点也可被预测为最终关注点的可能候选项，例如，具有相应概率在某个未来时间点最终匹配真实关注点。这可尤其在考虑一个或多个图像流的图像内容、尤其是还有未来图像内容如待显示的第一图像的图像内容时进行，该图像内容随后将更详细解释。因此，还可确定若干第一区域，例如，每个所预测的关注点的一个第一区域，或最终关注点的每个可能候选项的一个第一区域。这些若干第一区域可重叠或者也可在空间上分开，例如，每一者在相应第一区域的中心具有一个所预测的关注点。此外，除了执行对某个未来时间点的关注点的预测之外，也可例如基于当前捕获的凝视数据来计算当前关注点，并且显示区域内围绕所确定的当前关注点的第二区域被确定。该第二区域随后可与第一区域类似地显示，即，根据至少一个参数的第一参数值，也就是以较高分辨率、细节水平等等显示。根据情况，第二区域和第一区域可重叠，在空间上分开或也为相同的，具体取决于所确定的当前关注点与某个未来时间点的所预测的关注点的位置差异。因此，也可以有利地利用确切知道的数据或至少具有高精度的数据，也就是当前关注点。如果在某些情形下只可以极为不准确地确定某个未来时间点的所预测的关注点，则基于当前关注点的第二区域提供良好回退位置。
对于预测关注点而言，存在若干可能性，这些可能性也可以任何任意方式组合。根据本发明的最优选的实施方案，这些可能性包括一方面通过眼睛跟踪数据分析而对关注点的预测，该眼睛跟踪数据分析基于用户的至少一只眼睛所捕获的眼睛图像，并且另一方面基于所显示的图像或待显示的图像的图像内容，如基于场景中或图像中的显著点和/或基于场景或图像中的语义内容，并且这些将在下文更详细解释。
因此，根据本发明的有利实施方案，至少一个图像相关分析涉及对基于用户的至少一只眼睛的眼睛图像而捕获的凝视数据的分析，和/或对图像流中的至少一个图像的图像内容的分析。凝视模式以及图像内容有利地提供有关用户可能打算观看何处或至少在什么区域中观看的信息。优选地，关注点的预测与显示第一图像的某个未来时间点之间的时间是实时的，或至少在帧渲染开始时是可用的。优选地，凝视终点的精细化预测在整个渲染过程中也是可用的。基于凝视数据和/或图像内容，至少在此处考虑的时间标度下可以非常可靠地预报关注点，这些时间标度在毫秒范围内，如在某个时间点前1至100ms进行预报。通常图像速率为约90Hz，因此渲染新图像所用的时间(如果未在前一图像显示之前开始新图像的渲染)为约11ms。因此，至多11ms的预测甚至足以确定某个未来时间点处的关注点。
根据本发明的有利实施方案，预测关注点包括：
d)捕获用户的至少一只眼睛的凝视数据；
e)由所捕获的凝视数据来确定至少一只眼睛的眼睛参数；
f)随后在某个未来时间点之前执行d)和e)若干次；以及
g)依赖于作为至少一个结果的若干次确定的眼睛参数来预测某个未来时间点的关注点。
眼睛参数可为例如凝视方向或凝视点，如当前关注点。因此有利地，可分析凝视模式，尤其是作为至少一个图像相关分析，并且基于该分析，可针对某个未来时间点预测关注点。尤其是，眼睛跟踪数据或一般眼睛数据如凝视数据的相关信息可分组成扫视，尤其是扫视开始、注视和平滑跟随数据。该组中的每一者允许关注点的不同预测方式。
因此，本发明的有利实施方案是，基于若干所确定的眼睛参数，确定至少一只眼睛的特征眼睛移动，其中特征眼睛移动被分类为以下之一：静态注视、连续移动注视(也称为平滑跟随)或扫视或扫视开始，其中依赖于所确定的特征眼睛移动来确定某个未来时间点的关注点。因此为了区分这些特征眼睛移动，可使用在线事件分类，尤其是可使用各种方法实现这一点。由此，可使用每种特征眼睛移动的以下特征和生理特性。
注视的特征在于在一段时间(通常100至500ms)内关注点在小直径内。这些参数可用于在线分类注视、眼动***数据流。例如，可以得出结论，当已检测到注视且未达到最小注视时间段时，关注点将保持不变，至少直到达到最小注视时间。因此，当基于所确定的眼睛参数而检测到注视时，当前确定的关注点可以被视作所预测的关注点。还可使用稳定注视来确定周边观察区域，以控制周边移动和/或抑制。
连续移动注视或平滑跟随与注视类似，但针对的是移动目标。因此，关注点的直径限制不再适用。
然而，关注点的移动较缓慢(通常超过特定阈值)且平滑。基于这些参数，可对平滑跟随进行分类。尤其是，可预测作为所预测的关注点的方向和最终位置。
扫视是介于注视和平滑跟随之间的快速眼睛移动。扫视是眼睛的颤搐移动，其特征在于速度和加速度分布、方向及角幅度。具体地讲，颤搐移动的特征在于扫视眼睛移动的初始加速，其限定幅度和方向，从而允许预测随该初始参数而变化的关注落点，该初始参数是扫视开始的参数。该落点随后可用作所预测的关注点。
因此，尤其是在图像相关分析的过程中，此类特征眼睛移动的检测非常有利于预测某个未来时间点的关注点。
因此一般而言，某个未来时间点的关注点可依赖于所确定的特征眼睛移动来确定，使得依赖于所确定的特征来计算关注点的特征未来运动路径，并且基于特征未来运动路径来确定某个未来时间点的关注点的位置。
根据本发明的另一个有利实施方案，依赖于图像内容和/或作为至少一个结果的图像流中的至少一个图像的图像内容的上下文来执行关注点的预测。
这基于这样的发现：特定图像内容如明亮区域或彩色区域吸引眼睛，因此这种内容也可有利地从与图像流中的一个或多个图像的内容相关且用于预测关注点的图像相关分析得出。由此，尤其可使用第一图像的内容和/或在第一图像之前的先前或当前显示的图像的内容。
用于预测关注点的每种方法可单独使用，或与任何其他方法组合。此外，每一种上述预测方法可预测优选地与终点确定性相关联的一个或多个凝视终点，该终点确定性将在随后更详细解释。
另外可使用用户动作的预测来预测关注点，例如基于凝视和用户行为，还基于历史数据、其他用户的统计值等来预测，例如以开始渲染由用户可能采取的动作所显示出的隐藏实体。另外可预测该动作的可能性，因此确定(预)渲染的细节。
一般而言，可对任何种类的图像执行凝视预测，使得可在准确性方面显著改善第一区域的正确位置。然而，根据本发明的有利实施方案，图像流的每个图像是通过渲染至少一个场景而生成的计算机生成图形。尤其是对于计算机生成图形而言，会出现长延迟时间，以便用于渲染待在相应图像中示出的相应场景。因此由于对凝视点(也就是关注点)的预测，可实现极大的优点。
根据本发明的另一个有利实施方案，为了依赖于图像内容来预测关注点，尤其是在图像相关分析的过程中，针对所限定的显著点的存在分析了至少一个图像中呈现或待呈现的场景，这些所限定的显著点尤其是包括场景中的对象的拐角和/或边缘或其至少一部分、和/或至少一种预定义警示颜色、和/或后续图像之间的颜色变化、和/或突发、和/或运动的点，尤其是场景中的对象移动，即改变其相对于至少两个后续图像的位置，特别是其相对于场景中的至少另一个对象的位置。
此外，如果至少一个显著点被找到并且在显示时在用于呈现场景的至少一个图像中可见，则依赖于至少一个找到的显著点来预测某个未来时间点的关注点。使用显著点进行的这种关注点预测利用了场景的关键注意力捕获特性：这基于人眼的注视需要所观看的场景中的边缘这一发现。类似地，颜色变化、突发、运动、某些警示颜色(如红色或亮白色)吸引人眼。尤其是，可使用图像的预处理来限定显著图或确定在最可能的眼睛运动方向上的边缘或其他显著点，从而找到即将到来的场景中的感兴趣区域，这些区域可能会吸引最近的关注点。因此例如可在显示图像之前分析图像在由第一图像呈现的场景中是否有任何显著点。任选地，另外可使用凝视数据来预测关注点。如果随后在第一图像中找到显著点，这些显著点位于所预测的关注点附近或甚至也在当前关注点附近，则可假定在显示第一图像时实际关注点将位于这个显著点上。可使用进一步的扫视移动或扫视开始，通过考虑位于扫视的方向和/或所及范围内的显著点来选择可能的终点。可使用另外的统计数据和历史数据以及例如使用机器学习训练的分类器来选择或评定可能的凝视终点。因此，有利地，可使用此类显著点或一般的图像内容来更准确地预测最终关注点。然而，不仅可考虑第一图像的内容，而且可考虑先前或未来图像的内容，例如以便能够确定可能吸引眼睛或将被眼睛跟随的变化，如颜色变化或移动。
根据本发明的另一个有利实施方案，为了依赖于图像内容的上下文来预测关注点，得出场景的至少一个语义信息，尤其是其中语义信息包括有关对象的含义和/或对象致使用户的至少一只眼睛受到吸引的行为的信息。例如，如果尤其是在第一图像之前显示图像，其中示出了一个人用他的手指指向某个方向，则有可能用户不观看指向手指，而是在手指指向的方向上观看或观看到手指指向的对象上。因此，作为对关注点的预测，可假定用户将在显示下一图像如第一图像时观看该对象。这同样适用于例如图像中所示的人，该人在某个方向上观看，于是有可能用户不会持续观看该人，而是在此人观看的方向上观看，例如观看到位于该方向的对象上。因此，此人的目光有较高机会吸引用户的视觉注意力，即使对应目标还不在场景中。另外如果在用户的周边视野中出现移动对象，则该对象比其他对象有更高机会吸引视觉注意力，尺寸、颜色和环境对比度等参数进一步提高了视觉注意力。因此基于语义内容的关注点预测可被视为人为创建的场景或已在语义上编码的场景中显著吸引与语义内容的知识的组合。
此外，场景的语义信息针对第一图像和/或针对在第一图像显示之前显示的图像而得出。
根据本发明的另一个有利实施方案，为了依赖于图像内容的分析和凝视数据的分析的至少一个结果来预测关注点，基于图像内容来限定最终预测的关注点的一个或多个可能候选项，其中为一个或多个候选项中的每一者分配了用户在某个未来时间点的实际关注点匹配相应候选项的概率，从而构成概率图，其中依赖于凝视数据和/或图像内容的分析，将概率图的概率修改至少一次。因此为了预测关注点，有利地可使用图像内容以及凝视数据这两者，以促进在高精度下的预测。例如，如果第一图像将包括十个显著点，如上文所解释的拐角或边缘，则可以从为这些显著点中的每一者分配相同概率开始，因此对于这些显著点(随后表示候选项)每一者而言，用户将观看它们之一的概率是百分之十。当使用附加凝视数据时，可以有利地相应地修改概率。如果例如检测到扫视的开始，其具有指向右方的方向，则最终关注点将位于当前关注点的右手侧。因此位于当前关注点左手侧的所有候选项的概率可修改为零，而右手侧的其他候选项的概率可评定得更高。因此有利地可依赖于在此对其进行分析的图像内容来执行关注点的预测，并且基于此创建可能的凝视终点(它们是以上提到的候选项)的概率图。然后可使用眼睛特征来排除可能的终点候选项，并且还赞成其他候选项。
根据本发明的另一个有利实施方案，基于凝视数据来确定某个未来时间点的所预测的关注点，并且依赖于所预测的关注点的位置和相应候选项的位置之间的差异来修改概率图。例如，更靠近基于所捕获的凝视数据计算的所预测的关注点的候选项，可使用比离所预测的关注点更远的候选项更高的概率来评定。此外，可将概率图修改多于一次，例如每当在达到某个未来时间点之前捕获到新凝视数据，可使用这些新凝视数据来细化所计算的所预测的关注点并且相应地修改概率图。第一所预测的关注点可被视为待预测的关注点的第一评估，并且可基于凝视数据来预测，如上文针对依赖于凝视数据对某个未来时间点的关注点的预测所解释。然而，在这种情况下，所预测的关注点不等同于待预测的关注点，但用于细化概率图，基于该概率图，最终确定某个未来时间点的关注点，例如如下文所述。
根据本发明的另一个有利实施方案，具有经修改的概率图(如果该图修改了多于一次，则尤其是最新修改的概率图)的最高概率的候选项被确定为某个未来时间点的所预测的关注点，并且/或者第一区域被确定为使得概率高于预定义阈值的所有候选项在第一区域内。另外，如上所述，每个候选项可被视为所预测的关注点，因此通过具有若干可能候选项，可确定某个未来时间点的若干关注点，此外对于每个候选项而言，可确定相应第一区域。图像质量(也就是分辨率、细节等)在每个第一区域中可相同或变化，例如具体取决于相应候选项的概率，其中涉及具有所分配的高概率的候选项的区域可使用比涉及具有所分配的更低概率的候选项的区域更高的质量来在第一图像中渲染或显示。第一区域可重叠或在空间上分开。因此有利地可确保在某个未来时间点的实际关注点将有非常高的概率在第一区域内。因此非常有利的是使用多个凝视终点并使用概率来进行对应的渲染。
根据本发明的另一个有利实施方案，依赖于至少一个第二用户的凝视数据的分析的结果来构成和/或修改概率图，该至少一个第二用户之前已观看图像流中的至少一个图像，尤其是包括第一图像。因此有利地，尤其是除此之外或还另选地，可使用其他用户的统计值来修改概率图。如果例如一个或多个附加第二用户之前已观看图像流，并且他们中的大多数已观看以上提到的候选项中的一个特定候选项，则该特定候选项可使用比其他候选项更高的概率来评估。因此另外可使用用户统计值来赞成和否决可能的凝视终点。
根据本发明的另一个有利实施方案，图像内容至少涉及第一图像。尤其是对于计算机生成图形而言，涉及特定场景的图像内容是***已知的，并且有利地因此可使用未来图像内容进行预测，尤其是限制和/或收敛概率图。然而，另选地或除此之外，另外可使用当前显示的图像的图像内容，或者还可使用先前显示的图像的图像内容，因为另外基于已经或当前显示的图像，可确定未来的可能候选项，如例如上文针对上下文或语义信息所解释。
根据本发明的另一个有利实施方案，在b)中，依赖于影响用户对第一图像的感知的至少一个第一调节参数来动态地确定第一区域的尺寸和形状。影响用户对第一图像的感知的调节参数应当理解为使得这种参数影响感知的质量，尤其是使得当将第一区域调整为此调节参数的特定值时，第一区域将与用户眼睛的中央凹区域更好地匹配。这具有极大的优点：该区域的尺寸或形状可适于许多不同情形，如不同用户、不同***性能、不同延迟时间等等。一方面，使第一区域尽可能小有利于节省功率或计算时间，因为仅须示出或渲染图像的一小部分，尤其是以高细节进行示出或渲染。另一方面，第一区域越大，则当在更新周期显示渲染帧时，用户使其关注点落在以最高细节渲染的区域中的概率越高。有利地，通过动态地调整或调节第一区域的尺寸或形状，可以最佳方式调整尺寸和/或形状，并使这两种要求达到最佳排列。尤其是调节参数对第一图像的感知的影响可至少部分地由调节参数的对应变化或调节来补偿。例如，如果***性能较差、延迟时间较长或所预测的关注点的不确定性较高会引起以低质量感知第一图像，例如由于***性能较差、延迟时间较长或关注点的不确定性较高造成极度偏离第一区域的中心，则这可通过扩大第一区域来补偿，例如使得即使在***性能较差或关注点预测模糊的情况下，仍然确保在显示第一图像时实际关注点位于第一区域内。
第一调节参数可为例如表示眼动***的眼动***性能以便确定关注点或捕获眼睛数据的参数、用户参数、描述根据本发明或其实施方案执行用于显示图像流的方法的***的***性能的参数、或场景参数。与眼动***性能相关的参数可为例如准确性、凝视样本不确定性、延迟、刷新率等等。例如，第一区域的所需圆形的半径可根据以下参数计算：眼动***速度、眼动***延迟、计算能力、***负载、可用的***资源、眼睛跟踪延迟、显示刷新、显示延迟、眼动***准确性、扫视速度、用户眼睛的中央凹半径、自上一个眼动***样本起的时间。用户参数可为例如已知的眼睛缺陷、外貌、眼镜、隐形眼镜等等。此外，执行该方法的***的每个部件具有性能规格。为了补偿或适应这些方面，可能非常有利的是渲染“完美”***此时要求的较大区域。此类***性能参数可为例如CPU能力或GPU能力。因此，可调节不同渲染区的尺寸，优选地在一个实施方案中高分辨率区域的尺寸，尤其是可增大第一区域，使得当在更新周期显示渲染帧时，可使其确保用户将始终落在以最高细节渲染的区域中。此外，还可使用场景参数如场景细节或复杂性来调整第一区域的尺寸和形状。
根据本发明的另一个有利实施方案，在显示第一图像之前，通过执行若干后续渲染步骤来渲染第一图像的场景，其中在每个渲染步骤中依赖于至少一个第二调节参数来调整第一区域的尺寸和/或位置，其中仅针对当前调整的第一区域来执行每个所执行的渲染步骤。
因此例如当开始第一图像的场景的渲染时，第一区域可被选择得较大，然后在该较大第一区域中执行第一渲染步骤。在该渲染过程期间，可捕获附加信息，该附加信息可例如改善所预测的关注点。这例如改善了所预测的关注点的确定性，进而可再次用于使第一区域变得更小，使得下一渲染步骤仅须在较小第一区域中执行。因此当渲染场景时，可在每个渲染步骤中使第一区域例如变得更小，并且还使第一区域移动到其位置中直到达到某个未来时间点。每个渲染步骤增强细节水平或分辨率，或一般而言增强图像质量。因此可渲染第一区域，使之随时间推移且在预测更新期间，尤其是在细节方面递归地匹配或适应当前预测的关注点，该过程使用例如来自所预测的凝视终点的不确定性在考虑视敏度的情况下为每个递归步骤确定区域，例如下降的不确定性会提高分辨率或呈现复杂性，如通过向中央凹点(其为关注点)靠拢来计算照明。例如在每个渲染步骤中，当接近中央凹区域时，多边形的数量增加。这同样适用于阴影或半透明区域，这些区域通常需要至少局部渲染。
根据本发明的另一个有利实施方案，当预测某个未来时间点的关注点时，确定了不确定性值，该不确定性值表示所预测的关注点的位置与某个未来时间点的实际关注点的位置的匹配的不确定性，其中在某个未来时间点之前确定该不确定性值若干次，其中依赖于作为至少一个第二调节参数的最新确定的不确定性值来调整第一区域，尤其是第一区域的尺寸。
有利地，可在渲染第一图像的场景的渲染过程期间确定这些不确定性值，并且可使用最新确定的不确定性值相应地为下一渲染步骤调整第一区域的尺寸。因此可从较大第一区域开始，其中当所预测的关注点仍然非常不确定时渲染第一图像的场景，然后对于每个渲染步骤而言可使第一区域变得越来越小，从而在每个渲染步骤中增加细节水平，此时所预测的关注点的不确定性随每次凝视数据更新而降低。这促进了区域中的场景的非常快速而精确的渲染，该区域最终将匹配预期区域，实际关注点最终定位于该预期区域中。
另选地或除此之外，还可依赖于作为至少一个第二调节参数的概率图来调整第一区域。因此可使用多个可能凝视终点或候选项，并且第一区域被确定为包括所有候选项。当修改概率图，例如基于当前捕获的凝视数据的分析来排除一些候选项时，则可修改第一区域。因此在渲染场景期间且在某个未来时间点之前，可对应于概率图的一个或多个修改来修改渲染区域，也就是第一区域，使得仅这些候选项在第一区域内，它们具有最高概率，尤其是大于阈值。因此另外可使用一个或多个凝视终点候选项(尤其是基于图像内容确定)也部分地渲染一个或多个未来图像。
根据本发明的另一个有利实施方案，当预测关注点时，进行某个未来时间点的关注点的第一预测，其中随后例如基于新捕获的凝视数据或图像内容，在某个未来时间点之前将关注点的第一预测更新至少一次，其中依赖于作为至少一个第二调节参数的关注点的最新更新的预测来调整第一区域，尤其是第一区域的位置。因此在接近某个未来时间点时不仅所预测的关注点的不确定性可改变，而且所预测的关注点的位置可改变。这样可有利地在每个渲染步骤中对应地考虑该位置变化，尤其是将第一区域放置成越来越准确地围绕某个未来时间点的最终关注点的中心。
所有这些所述的实施方案不仅对于2D图像是有利的，而且在向用户显示3D图像例如光场或立体图像时尤其有利，因为在这种情况下，渲染场景所用的工作量甚至更高，并且通过凝视预测可减少渲染次数并提高正确确定中央凹渲染区域的准确性。
因此当所显示的区域是三维显示区域时，其是本发明的有利实施方案，并且在a)中，确定了关注点的3D位置，并且在b)中，第一区域在深度方向上延伸，该深度方向沿着用户的凝视方向，并且在d)中，显示了第一图像，使得其可被感知为3D图像。因此，有利地，也可在三维中执行中央凹渲染。为了确定3D位置，可使用所显示的图像的关注点深度信息和/或用户眼睛的聚散度信息。因此例如可确定用户左眼和右眼的凝视方向，并且可计算交点，从而构成关注点的3D位置。另外，可计算至少一只眼睛的凝视方向或平均凝视方向，并且该凝视方向与三维显示区域相交，首先确定哪个对象与凝视方向相交，然后可使用已知的3D位置(尤其是有关该对象的深度信息)确定关注点的3D位置。该关注点的预测可如之前已解释的那样进行。例如可使用当前显示的帧的z缓冲器，通过使用扫视方向和有关场景的信息来预测终点深度，也就是在某个未来时间点的关注点的深度。因此同样根据所捕获的凝视数据，可确定至少一只眼睛的眼睛参数若干后续次数(如关注点的若干3D位置)，并且根据这些参数(如凝视模式或关注点图案)，可确定特征眼睛移动(如注视或扫视)，并且基于此，可在3D中预测某个未来时间点的最终关注点。该预测同样也可基于图像内容或上下文进行。
根据本发明的另一个有利实施方案，第一区域和至少一个第二区域是三维的，其中至少一个第二区域沿着和/或逆着深度方向跟随(尤其是直接跟随)第一区域。因此例如第一区域可为围绕所预测的关注点的球体。优选地，第一区域或呈现于第一区域中的图像的一部分使用最高细节和最高分辨率进行渲染。在该第一区域之前或之后呈现的第一图像的一部分可在细节减少、分辨率较低等等情况下呈现。这同样具有这样的优点：可通过减少计算工作量来缩短渲染所用的延迟时间，可节省功率而不会负面影响用户的感知，因为用户无法看到位于其聚焦点(即关注点)之前或之后的第一图像的一部分，很明显是由于该部分无论如何都是散焦的。
根据本发明的另一个有利实施方案，显示区域包括第三三维区域，该第三三维区域沿着和/或逆着垂直于深度方向的方向跟随(尤其是直接跟随)第一区域，其中第一图像的在第一区域中显示的第一部分根据也与图像特征相关的至少一个第二参数的第一参数值而显示，其中至少一个第二参数不同于第一参数，其中第一图像的第三部分根据至少一个第二参数的第二参数值在至少一个第三区域中显示。或换句话讲，用于沿着深度方向或垂直于深度方向渲染场景的渲染标准可不同。这基于这样的发现：沿着深度方向和垂直于深度方向的眼睛的视觉感知的特征是不同的。例如，在远周边区域和中间周边区域中没有颜色感知。这与近周边区域和中央凹区域截然不同。此外，运动灵敏度在周边区域中高于中央凹区域中。因此例如垂直于凝视方向的遥远图像部分不必着色，因为无论如何都无法感知到颜色。相反在深度方向上，不管用户聚焦于哪个点，仍然可感知到颜色。与此截然不同，关注点的3D位置周围的区域是聚焦的，因此可清晰地感知到，而该聚焦点之前和之后的区域仅可不清晰地感知到。
根据第一方面，本发明还涉及用于随后在***的显示设备的显示区域中显示图像流的***，该***包括：
a)用于确定观看显示区域的用户的关注点的眼睛跟踪设备；
b)用于确定显示区域内围绕所确定的关注点的第一区域的处理单元；
c)显示设备，该显示设备用于在显示区域中显示图像流中的第一图像，使得第一图像的显示在第一区域中的第一部分根据至少一个参数的第一参数值而显示，该至少一个参数与第一图像的图像特征相关，并且第一图像的显示在第一区域之外的至少一个第二区域中的第二部分根据至少一个参数的第二参数值而显示。
此外，处理单元被配置为依赖于至少一个图像相关分析的至少一个结果来确定关注点作为对在显示第一图像的某个未来时间点的关注点的预测。
针对根据本发明的第一方面及其实施方案的方法所述的优点相应地适用于根据本发明的第一方面的***。此外，针对根据本发明的第一方面所述的特征和优选实施方案构成根据本发明的第一方面的***的进一步优选的实施方案。
根据本发明的第二方面，用于随后在显示设备的显示区域中显示图像流的方法包括：
a)确定观看显示区域的用户的关注点；
b)确定显示区域内围绕所确定的关注点的第一区域；
c)在显示区域中显示图像流中的第一图像，使得第一图像的显示在第一区域中的第一部分根据至少一个参数的第一参数值而显示，该至少一个参数与第一图像的图像特征相关，并且第一图像的显示在第一区域之外的至少一个第二区域中的第二部分根据至少一个参数的第二参数值而显示。
此外，显示区域是三维显示区域，并且在a)中，确定了关注点的3D位置，并且在b)中，第一区域在深度方向上延伸，该深度方向沿着用户的凝视方向，并且在c)中，显示了第一图像，使得其可感知为3D图像。
根据第二方面，本发明还涉及用于随后在***的显示设备的显示区域中显示图像流的***，该***包括：
a)用于确定观看显示区域的用户的关注点的眼睛跟踪设备；
b)用于确定显示区域内围绕所确定的关注点的第一区域的处理单元；
c)显示设备，该显示设备用于在显示区域中显示图像流中的第一图像，使得第一图像的显示在第一区域中的第一部分根据至少一个参数的第一参数值而显示，该至少一个参数与第一图像的图像特征相关，并且第一图像的显示在第一区域之外的至少一个第二区域中的第二部分根据至少一个参数的第二参数值而显示。
此外，显示设备被配置为将显示区域作为三维显示区域提供，并且眼睛跟踪设备被配置为确定关注点的3D位置，其中第一区域在深度方向上延伸，该深度方向沿着用户的凝视方向，并且显示设备被配置为显示第一图像，使得其可被感知为3D图像。
针对涉及3D中央凹显示和渲染的本发明的第一方面的优选实施方案所述的优点也相应地适用于本发明的第二方面。此外，根据第一方面的本发明及其实施方案也可与本发明的该第二方面组合，并且构成根据本发明的第二方面的方法和***的进一步实施方案。
根据本发明的第三方面，用于随后在显示设备的显示区域中显示图像流的方法包括：
a)确定观看显示区域的用户的关注点；
b)确定显示区域内围绕所确定的关注点的第一区域；
c)在显示区域中显示图像流中的第一图像，使得第一图像的显示在第一区域中的第一部分根据至少一个参数的第一参数值而显示，该至少一个参数与第一图像的图像特征相关，并且显示在第一图像之外的至少一个第二区域中的第一图像的第二部分根据至少一个参数的第二参数值而显示。
此外，在b)中，依赖于影响用户对第一图像的感知的至少一个调节参数来动态地确定第一区域的尺寸和/或形状。
根据第三方面，本发明还涉及用于随后在***的显示设备的显示区域中显示图像流的***，该***包括：
a)用于确定观看显示区域的用户的关注点的眼睛跟踪设备；
b)用于确定显示区域内围绕所确定的关注点的第一区域的处理单元；
c)显示设备，该显示设备用于在显示区域中显示图像流中的第一图像，使得第一图像的显示在第一区域中的第一部分根据至少一个参数的第一参数值而显示，该至少一个参数与第一图像的图像特征相关，并且第一图像的显示在第一区域之外的至少一个第二区域中的第二部分根据至少一个参数的第二参数值而显示。
处理单元被配置为依赖于影响用户对第一图像的感知的至少一个调节参数来动态地确定第一区域的尺寸和/或形状。
针对本发明的第一方面的优选实施方案所述、尤其是涉及依赖于第一调节参数和/或第二调节参数对第一区域进行调整的优点对应地适用于本发明的第三方面。此外，根据第一方面的本发明及其实施方案也可与本发明的该第二方面组合，并且构成根据本发明的第二方面的方法和***的进一步实施方案。
此外，根据本发明的第一方面的方法和***的优选实施方案和特征也可与根据本发明的第三方面及其实施方案的方法和***以及其特征组合。
因此，本发明的所有三个方面设法增大了在显示第一图像时用户的最终关注点将位于高质量第一区域内的概率。有利地，第一方面通过进行关注点的预测而设法做到了这点，与仅计算当前关注点时相比，该关注点可能更好地匹配最终关注点。第二方面通过以下方式实现这点：通过使用也在深度方向上的中央凹渲染，缩短3D图像的所需渲染时间。由此，基于此计算关注点的凝视数据的捕获之间的时间(优选地为渲染过程开始的时间)以及第一图像的显示之间的时间可缩短，使得另外在未预报关注点的情况下最终关注点将有高得多的概率位于高质量第一区域内，原因在于该缩短的延迟时间。第三方面通过动态地调整第一区域、尤其是其尺寸来实现这点，因此即使关注点具有高不确定性或即使延迟时间将较高，所有这些影响因素都可通过第一区域的对应调整来补偿，使得在显示第一图像时最终关注点有高得多的概率将位于高质量第一区域内。
本发明的另外特征及其优点从权利要求、附图和附图说明中得出。此前在说明书中提及的所有特征和特征组合以及在附图说明中进一步提及和/或仅仅在附图中示出的特征和特征组合不仅可以以每个地方中指示的组合使用，而且可以以不同组合或单独使用。现在将参考各个优选实施方案和附图更详细地解释本发明。
这些优选实施方案示于以下附图：
图1用于示出视觉感知的不同区域的眼睛的示意图；
图2根据本发明的实施方案用于显示图像流的***的示意图；
图3根据本发明的实施方案用于示出显示流图像的方法的流程图；
图4根据本发明的另一个实施方案用于示出显示图像的方法的流程图；
图5根据本发明的另一个实施方案用于示出显示图像的方法的流程图；
图6根据本发明的另一个实施方案直到显示最终渲染图像为止的单个渲染步骤的示意图；
图7根据本发明的另一个实施方案利用能够显示速度的眼动***进行同步渲染的示意图；
图8根据本发明的另一个有利实施方案的显示图像的方法的流程图；并且
图9根据本发明的另一个实施方案的3D关注点的预测的示意图；
图1示出了用于示出视觉感知的不同区域的眼睛10的示意图。中央凹区域12沿着眼睛10的视线定位，并且是相对于视线成约3至5度的具有一定直径的同心区域。中央凹区域是眼睛10可接收最多细节且具有最佳颜色感知的区域。中央凹区域12之后是近周边区域14，其同心地围绕中央凹区域12定位并且以偏离视线约30度延伸。在近周边区域14中，颜色感知仍然是可能的，但是颜色感知在中间周边区域16的方向上下降，在中间周边区域中眼睛10不可再感知到颜色。该中间周边区域16以30至60度同心地围绕视线定位。中间周边区域16之后是远周边区域18，其在约60至110度的范围内。另外在该远周边区域中，颜色感知是不可能的。图1的左侧视野上的标度示出了视敏度VA，其随着沿视线离眼睛10的距离增加而增加。此外，眼睛10之外所示的标度22示出了运动灵敏度MS，其随着垂直于视线的距离增加而增加。
有关眼睛10的这些不同感知区域的知识此时使得可以非常有利的方式提供中央凹渲染。
图2示出了根据本发明的实施方案用于显示图像流的***30的示意图。该***包括显示设备32(如监视器或屏幕)、处理单元34以及眼动***36，该眼动***包括相机38，该相机用于捕获用户40的图像，尤其是用户眼睛10的图像。眼动***36还可包括处理单元，该处理单元用于处理所捕获的用户40的眼睛10的图像并且由此确定凝视方向42(尤其是作为所捕获的眼睛图像的图像相关分析的结果)以及关注点POR。处理单元34渲染场景，该场景随后在显示设备32上的显示区域46中显示为图像44。由眼动***36确定的关注点POR用于处理单元34以确定第一区域48，该第一区域包围关注点POR并且优选地在该区域48的中心具有关注点POR。此外，处理单元34渲染场景，使得所得图像44的第一部分50具有较高细节水平、较高分辨率、较高亮度水平和/或较高颜色饱和度水平等等。随后是在第一区域48之外显示的图像44的第二部分52。
只要用户40正在观看该第一区域48的中心，其眼睛10就会将图像44感知为正常图像，而不会注意到颜色或分辨率的降低，这是由于图像52的第二部分位于其眼睛10的周边区域中这一事实，如之前针对图1所解释。如果关注点的计算与显示器通过显示新后续图像进行的刷新之间的时间过长，则可能发生：基于此渲染该新图像的场景的关注点POR在显示最终图像时已经移动到完全不同的位置。在这种情况下，用户10的眼睛10可感知所示图像的部分的较低细节水平和较差分辨率。
为避免这种情况，眼动***36确定关注点POR，作为对应显示图像44的未来某个时间的预测。为了进行该凝视预测或关注点POR预测，可使用凝视模式，基于该凝视模式可对特征眼睛移动进行分类，如注视、平滑跟随或扫视。基于当前捕获的眼睛数据，眼动***36可对该未来某个时间的关注点POR进行预报，其中处理单元34此时使用该预测的关注点POR来渲染图像44的场景，并且在关注点POR被预测的时间显示所得的图像44。
图3示出了根据本发明的实施方案用于示出显示流图像的方法的流程图。该方法从S10开始，在S10中，在第一时间t1捕获眼睛数据。在SI 2中，再次在第二时间t2捕获眼睛数据。在SI4中，在随后任何时间tn捕获眼睛数据。基于该后续捕获的眼睛数据，可分析眼睛运动模式，并且在SI 6中可确定特征眼睛移动，如注视或扫视。根据所确定的特征眼睛移动，可在SI 8中确定关注点POR的对应运动路径的预报。基于运动路径的该预报，可确定在未来某个时间T的关注点，其是所预测的关注点POR。现在在S22中，可依赖于所预测的关注点POR来渲染场景，并且在S24中，在关注点POR被预测的某个时间T显示呈现该渲染场景的所得图像。
另外可不仅通过考虑基于此预测关注点POR的眼睛数据或凝视数据，而且考虑当前呈现的图像或待呈现的图像的场景的内容(尤其是作为图像相关分析的结果)来增强该过程。例如，可使用待呈现的图像的场景中的显著点。图像内容的此类显著点也在图2中示出并由54表示。显著点是吸引用户40的眼睛10的注意力的点。此类显著点可为例如如图2中所示的对象的边缘，但甚至可为吸引眼睛注意力的其他点或区域，如颜色变化、突发、运动、某些警示颜色等等。如果例如作为基于所捕获的凝视数据的预测将关注点计算为如图2中所示的第一位置P1的第一近似值，则处理单元34可另外使用图像内容，尤其是有关显著点54的位置的知识，并且在这些显著点之一在所假定的第一位置P1附近的情况下，则关注点可被预测为位于最近的显著点，而不是位于第一位置P1。此外，还可以基于将显著吸引与有关场景中的语义内容的知识相结合的语义内容来进行该预测或关注点的预测。使用呈现、已经呈现或仍将要示出的一个或多个图像的这种场景或图像内容，可以极大地提高关注点POR的预测的准确性。
图4示出了另一个流程图，其用于图示根据本发明另一实施方案的用于显示图像的方法，尤其是借助于该方法可以进一步增强该中央凹渲染过程。该方法始于S30，其中关注点得到预测，这可如已解释的那样进行。此外，在S32中，确定所预测的关注点POR的不确定性。这种不确定性表示所预测的关注点POR位置与某个未来时间点的实际关注点POR位置的匹配情况的不确定性。这种不确定性可以例如被定义为2D或者甚至3D区域，该区域围绕所预测的关注点，并且具有一定延伸或尺寸，使得对于某个未来时间点的实际关注点位于该不确定性区域内。现在依赖于所确定的不确定性，在S34中，确定第一区域48(对照图2)的位置和尺寸。特别地，第一区域48的位置被确定为使得所预测的关注点POR位于第一区域48的中心。确定第一区域48的尺寸，使得在S32中确定的整个不确定性区域被覆盖。之后，在S36中，针对要呈现的图像渲染场景(参考图2所述)，即在所确定的第一区域中具有更高分辨率或更高细节水平，而在该区域之外具有更低细节水平或更低分辨率。之后，在S38中，显示所得图像。现在可以针对下一个要显示的图像再次重复相同的过程。然而，当针对新的后续图像预测新关注点时，在S38中显示图像之后，不一定必须进行该预测，新关注点的预测也可以在S30和S38之间的任何时间更早地开始。通过使用关注点POR的不确定性来调整第一区域48的尺寸，可以有利地防止在显示图像时用户所观看的实际关注点(即最终关注点)未处于第一区域48内的情况出现。作为不确定性的另外一种选择或除了不确定性之外，还可以提供更多的调整参数，用于调整或改变第一区域的尺寸或位置。此类参数可以是例如延迟时间、眼动***的刷新率、个人用户参数(如已知的眼睛缺陷)、隐形眼镜、***性能的参数(如处理单元34的CPU功率或处理单元的GPU功率34)，还有场景参数(如场景细节或复杂度)等等。
图5示出了根据本发明的另一有利实施方案的用于示出显示图像的方法的流程图。该方法始于S40，其中在第一时间步骤中，预测第一关注点POR1。然后在S42中，该第一关注点POR1被用于确定第一区域。第一区域可被确定为使得第一关注点POR1位于该区域的中心。此外，如已经描述的那样，还可以针对该第一关注点POR1计算不确定性值，并且该不确定性值还可以用于确定S42中的第一区域的尺寸，例如，不确定性越高，则第一区域越大。之后，在S44中执行第一渲染步骤。场景的渲染以及该第一渲染步骤可以被限制在所确定的第一区域。另选地，整个场景可以被渲染，但是第一区域内的场景以更高细节度得到渲染。此外，在S46中，在晚于第一关注点POR1的预测的第二时间，预测第二关注点POR2。再次，在S48中，依赖于所预测的第二关注点POR2位置并且依赖于所预测的第二关注点POR2的计算出的不确定性，来确定第一区域。之后，基于在第一渲染步骤S44中渲染的已渲染场景，在S50中执行第二渲染步骤。然而，为了执行第二渲染步骤，根据S48中新确定的第一区域来替换原第一区域。在第二渲染步骤中执行的渲染提高了相对于第一渲染步骤而言的细节水平，并且被限制为新确定的第一区域。
当在S46中确定第二关注点时，可以使用已在S40中用于确定关注点POR1的第一预测的相同凝视数据，然而，可以使用在S40和S46之间捕获的额外凝视数据，来更准确地提供相对于POR1的第一确定而言的第二关注点POR2的预测。所以在通常情况下，由于可以使用更多的凝视数据，所以第二关注点POR2的不确定性可能会小于第一关注点POR1的不确定性。相应地，在S48中确定的第一区域可能会小于在S42中确定的第一区域。因此，S50中的第二渲染步骤的执行可能位于执行第一渲染步骤的区域内，并且略小于后者，并且取决于所确定的第二关注点POR2位置是否相对于第一关注点POR1位置发生了移动，第一区域的位置也可能略有移动。
现可将过程重复多次，尤其是只要还未到达某个未来时间点T便会如此。因此，在S52中，另一关注点PORn及其对应不确定性被确定，由此在S54中确定对应的第一区域，并且基于所确定的第一区域在S56中执行终止渲染步骤。所以，从S40的时间步骤到S52的时间步骤，可使用越来越多的凝视数据来细化对关注点的预测，这可能会提高准确性，从而降低不确定性。相应地，从一个步骤到另一个步骤，特别是从S42到S54，第一区域将变得更小，并且当执行从S44到S56的渲染步骤时，渲染将被限制于越来越小的区域，并且逐步地改善细节，使得最后，特别是在某个未来时间点T，实际关注点周围的中央凹区域会以最高细节度渲染，并且该区域的中心与用户的真实关注点非常准确地匹配。最后，在S58中，在特定时间T显示对应的所得图像。该过程在图6中再次以可视化方式展现。
图6示出了直到显示最终渲染图像为止的单个渲染步骤的示意图。显示器以特定的显示速率更新或刷新。所以优选的是，在常规时间步骤中显示新渲染的图像。图6中在时间T0处所示的第一图像I0是前一渲染周期中所渲染并显示的图像。在显示该图像I0之后，开始新的渲染周期55。因此，当新的渲染周期55在第一时间步骤t1处开始时，在第一渲染步骤中渲染出最后在某个未来时间点T要显示的图像I的场景。如已经为此描述的那样，第一区域一方面依赖于所预测的第一关注点POR1而被确定，同时针对该所预测的第一关注点POR1计算出不确定性，并且不确定性被用于确定该第一区域的尺寸。在对应场景图像S1上方示出了在该第一时间步骤t1中针对场景图像S1所渲染的对应第一区域A1。由于关注点是在某个未来时间点T之前相对较长时间所预测的，所以这个预测的关注点的不确定性很高，因此该第一区域A1相对较高。然后，在该第一时间步骤t1中执行的第一渲染步骤被限制于该确定的第一区域A1。然后在第二时间步骤t2中重复该过程。然而，由于现在凝视数据已经可以用于预测新计算的关注点，所以该预测的不确定性变得更小，并且相应地与第二时间步骤t2对应的第一区域A2的尺寸也变得更小。现在，在第二时间步骤t2中执行第二渲染步骤，其再次被限制于所确定的第一区域A2，并且相对于先前渲染的场景图像S1增强了该第一区域中的细节水平。这又在第三时间步骤t3再进行一次，其中所预测的关注点再次被新捕获的凝视数据更新，因此该预测的不确定性再次降低，第一区域A3的对应计算尺寸再次变小，然后相应地根据第三渲染步骤在第三时间步骤t3中渲染第三场景图像S3，第三渲染步骤再次被限制于新计算的第一区域A3，因此提高了该区域内的细节的质量和水平。如所描述的那样，然后在最后的时间步骤t4中再次针对新计算的第一区域A4重复该过程，该区域其再次小于先前计算的第一区域A1、A2、A3。并且再次执行对应的第四渲染步骤，该步骤会得到最终图像I，该最终图像而后会在特定的时间T得到呈现或显示。场景图像S1、S2、S3在图6中仅出于图示目的而示出，但这些图像在显示设备上不显示，只有渲染周期55最后的最终图像I会显示。
因此，例如，优选地使用来自扫视开始的事件检测与测量的信息来预测凝视终点。在开始时，所预测的凝视终点的不确定性区域较大，对使用较大面积的场景(也可能是整个视场)执行第一次迭代。在对场景进行细化的过程中，凝视终点预测的不确定性减小，因此要细化的区域比以前的步骤要小。理想情况下，随着对于每个递归渲染步骤或照明计算等而言终点的确定性增加，渲染区域越来越小。当显示器准备好显示新的帧时，用户所凝视的区域具有最高的质量。
此外，还可以使用图像内容来预测关注点(或者也称为凝视终点)的预测结果，该图像内容是已经呈现给用户的图像的图像内容，或者是当前呈现给用户的图像的图像内容，或者是待呈现给用户的图像的图像内容。相对于通过执行在线事件检测(即，检测如扫视一类的特征眼球运动)所做的这种竞争意识的预测和渲染，***优选地获知或确定扫视方向，将其例如与来自场景的显着性信息组合，并给出可能的凝视终点某些候选项。一组可能的候选项也可通过分析其他(或同一)用户的凝视模式来获得。凝视终点候选项可以已经用于渲染过程，例如与上述的递归渲染过程结合使用。随着时间的推移，可能的终点集合能够随着可获得更精确凝视的情况而减小。
此外，眼动***36(对照图2)和例如由处理单元34(对照图2)所执行的渲染，能够以在新渲染周期55开始处具有新的眼睛跟踪帧的方式被同步，并且现将参照图7更详细地对其进行说明。
图7示出了利用能够显示速度的眼动***进行同步呈现的示意图。所示点56示出了相对于所示时间线t的显示器更新的时间。为了简明起见，在该示例中，假定新渲染周期55从显示器得到更新的点56(即帧的显示时间)开始。此处，箭头58示出了由眼动***对实际关注点所做的确定。从当前关注点来看，并且优选地还考虑先前确定的关注点或其他凝视数据，眼动***针对某个未来时间点计算出关注点的预测结果，其中在该时间点处会显示使用所预测的关注点而渲染的图像。某个时间点此处再次用T表示。箭头60示出了眼动***延迟时间。之后，将所预测的关注点传递给处理单元，如箭头62所示，处理单元然后使用该预测的关注点来开始渲染周期55。在渲染周期55完成之后，所渲染的图像得到显示，这由箭头64示出。该过程周期性地重复，如箭头58'，60'，62'，55'，64’58’,60’,62’,55’,64’所示，其中对应的动作如关于箭头58,60,62,55,64所描述的那样执行。
渲染周期55,55’也可以是重叠的，并且可以部分并行地执行。渲染***与处理单元一样也可以同时触发凝视样本的更新或预测。在一个实施方案中，模拟触发模式是优选的：在高帧率眼动***的情况下，帧可以仅仅得到缓冲，并且一旦显示器几乎准备好要求下一个预测的关注点，帧就开始受到处理。
图8示出了根据本发明另一有利实施方案的显示图像的方法的流程图。在S60中，确定关注点的3D位置，在S62中，依据关注点的3D位置来确定第一区域，特别是将第一区域确定为围绕关注点且以关注点为球体中心的球体。之后在S64中，对场景进行渲染，使得第一区域内的那部分场景以高分辨率或高细节水平得到渲染，而第一区域之外的场景以低分辨率或低细节水平得到渲染或者完全不得到渲染。最后在S66中，显示所得图像，特别是作为3D图像来显示所得图像，或者使得其至少可被感知为3D图像的方式来显示所得图像。
根据该有利实施方案，可以不仅提供二维中央凹渲染，也可以提供三维中央凹渲染。这里还可以考虑关于图1所解释的眼睛10的特殊外貌，以有利地减少计算时间和渲染时间、节省电力并减少延迟时间。此外，关于凝视预测、第一区域调整等的所有前述实施方案可类似地应用于此三维使用案例。
图9示出了预测3D关注点POR的示意图。特别是，图9示出了用户眼睛10观看具有3D对象(其表面由66表示)的3D图像或3D场景65情形的俯视图。基于初始捕获的凝视数据(如初始确定的凝视方向68)，尤其是也考虑到先前的凝视数据，并且在检测到眼睛的扫视的情况下，可以确定扫视方向。该扫视方向由箭头70示出。由此可以确定，最终的终点是位于该方向70上的最终凝视点或关注点POR。此外，为了预测该最终关注点POR，可以使用关于3D场景65的知识。因此例如沿着扫视方向70的关注点的所计算运动路径，可以与场景对象的表面66相交。这个交点随后可以构成所预测的关注点。可以使用描述场景65中对象的深度坐标的z缓冲器(如由图9中的对应z轴所示)来确定该关注点的3D位置。从而可以确定3D关注点POR。另选地，也可能通过将用户的视觉辅具纳入考虑来使用眼睛数据，诸如测量至少一只眼睛的调节。通过使用当前显示帧的z缓冲器，可以通过使用扫视方向和关于场景65的信息来预测终点深度。
根据本发明另外的有利实施方案，在获知用户接下来将要观看的深度的情况下，优选地通过以下方式，在更多维度而不仅仅是在分辨率上减少用户的周界，可简化渲染，减少色彩：
○跳过(或缩短)部分渲染过程，从中央凹向外下降，例如，停用或跳过某些着色器的应用程序以降低复杂度，优选地影响下述项中的一个：顶点着色器、镶嵌着色器、几何着色器、像素(片段)着色器、z检验；
○通过使用例如顶点着色器改变对象的形状，并且使用几何着色器(添加/删除对象)，而应用额外的阴影来主动简化(优选地平整)周界场景；
○例如，为了简化照明计算，需防止在水上产生波浪；
○减少类似物理动画的效果，如展示逼真的水、河流以及阴影的细节；也可以重新使用前一帧的信息；
○不渲染/考虑部分遮挡或“透视”对象，例如使用印模缓冲来阻挡渲染于其他对象后方的对象。
○如果用户看向近处或远处，则改变沿着z轴的渲染方向以匹配；
○如果用户看向“远”处、中等距离处，即比预定义距离更远之处，则(仅)使用w缓冲，由于远处和近处之间的细节分布相同，这会导致远处物体伪像较少。
○根据或依赖于用户凝视深度来移动剪辑平面；
○覆盖较少体积；
○例如，如果用户看向“近”处，即比预定义距离更近之处，则在靠近相机的剪辑平面上移动，以增加前方的细节并减少后方的细节；
○防止周界中的z冲突，以抑制不必要的闪烁。
此外，降低图像中的周界复杂度是非常有利的。在一个人的周界视线中的移动可以根据场景的语义(可以是自发的或非自发的)而引起注意力转移；可以通过用户凝视点的有关知识(即关注点)来控制/增强这两种效果。非自发移动是由渲染伪像(诸如混叠或z冲突)引起的。此外，周界视野中的视觉摄取与中央凹区域中的视觉摄取不同，这一事实可以通过不仅在分辨率上而且在其他“维度”上减少场景来利用，其他维度为诸如纹理、颜色(颜色感知止于大约30度)、亮度等。
也可以依赖于用户动作，特别是所预测的用户动作来渲染场景中当前对用户隐藏的实体。用户行为可以通过以下方式预测：注意力转移到一个或多个场景元素的视觉吸引性变化，如外观、闪烁、形状移动、运动等。如果用户视野中的对象开始闪烁，则***可以预测用户可能将其注意力转移到该对象上，并在此基础上执行凝视预测。因此，***能够已以高分辨率渲染该对象，而优选地仍然以高分辨率渲染用户在不同区域上的当前凝视。其他用户操作也可以显示出隐藏的实体：当用户观看通入下一个房间的门时，可以在低优先级的并行线程中开始该房间的渲染。如果用户继续观看，则该渲染会以更多细节继续进行和/或具有更高优先级。对于该步骤，还可以考虑至少一个优选的其他用户的统计数据和历史数据。例如，当90％的用户看到一扇门后进入该房间，这很可能会再次发生。
还可以考虑前庭动眼反射(VOR)的检测以简化渲染过程。如果检测到VOR，则由于中央凹(高细节区域)没有改变，所以场景的重新布置可能不是(完全)必要的。因此，该场景可以被扭曲以补偿头部移动，或者也仅用于补偿方向改变，并且通过以下方式简单地填充所产生的间隙和/或对所产生的间隙(如果在周边的话)进行镜像：
○重复和/或镜像；
○例如以低分辨率重新布置周界；
○颜色/纹理填充；
○等等。
这种VOR可以通过例如检测头部移动(例如借助头部***)并且同时检测眼睛的固定或平滑寻踪移动来检测。如果检测到眼睛是固定不动的，则可以假定该固定持续了典型用于固定不动的特定时间。如果在这种固定过程中检测到头部运动，则只需要进行视角变化的校正或围绕视线的旋转，这可以凭借上述特征以简单的方式完成。
因此，本发明及其实施方案提供了许多有利的可能性来增强图像的中央凹显示，特别是也增强和简化了渲染过程并缩短了等待时间。
参考标号列表：
10 眼睛
12 中央凹区域
14 近周边区域
16 中间周边区域
18 远周边区域
20 标度
22 标度
30 ***
32 显示设备
34 处理单元
36 眼动***
38 相机
40 用户
42 凝视方向
44 图像
46 显示区域
48 第一区域
50 图像的第一部分
52 图像的第二部分
54 显著点
55,55’ 渲染周期
56 显示器刷新
58,58’ 凝视数据捕获
60,60’ 延迟时间
62,62’ 传递给处理单元
64,64’ 显示图像
65 3D场景
66 表面
68 初始确定的凝视方向
70 扫视方向
VA 视敏度
MS 运动灵敏度
POR,POR1,POR2,PORn 关注点
t,t1,t2,t4,tn 时间
T 某个未来时间点
I0,I 所显示的图像
S1,S2,S3 所渲染的场景图像
A1,A2,A3,A4 第一区域

Claims (25)

1.一种用于随后在显示设备(32)的显示区域(46)中显示图像流(44,I0,I)(44,I0,I)的方法，包括：
a)确定观看所述显示区域(46)的用户(40)的关注点(POR；POR1,POR2,PORn)；
b)确定所述显示区域(46)内围绕所确定的关注点(POR；POR1,POR2,PORn)的第一区域(48；A1,A2,A3,A4)；
c)在所述显示区域(46)中显示所述图像流(44,I0,I)中的第一图像(44,I)，使得所述第一图像(44,I)的显示在所述第一区域(48；A1,A2,A3,A4)中的第一部分(50)根据至少一个参数的第一参数值而显示，所述至少一个参数与所述第一图像(44,I)的图像特征相关，并且所述第一图像(44,I)的显示在所述第一区域(48；A1,A2,A3,A4)之外的至少一个第二区域中的第二部分(52)根据所述至少一个参数的第二参数值而显示；
其特征在于，在a)中，所述确定所述关注点(POR；POR1,POR2,PORn)被执行为依赖于至少一个图像相关分析的至少一个结果(42,68,54)，预测显示所述第一图像(44,I)的某个未来时间点(T)的所述关注点(POR；POR1,POR2,PORn)，其中所述至少一个图像相关分析涉及对基于所述用户(40)的至少一只眼睛(10)的眼睛图像而捕获的凝视数据的分析，
其中，所述预测所述关注点(POR；POR1,POR2,PORn)包括：
d)捕获所述用户(40)的至少一只眼睛(10)的凝视数据；
e)由所捕获的凝视数据来确定所述至少一只眼睛(10)的眼睛参数(42,68)；
f)随后在所述某个未来时间点(T)之前执行d)和e)若干次；
g)依赖于作为所述至少一个结果(42,68,54)的若干确定的眼睛参数(42,68)来预测所述某个未来时间点(T)的所述关注点(POR；POR1,POR2,PORn)，
其中，基于所述若干确定的眼睛参数(42,68)确定所述至少一只眼睛的特征眼睛移动，其中所述特征眼睛移动被分类为以下各项中的一者：
-静态注视，具有达至少最小注视时间段的固定关注点；
-连续移动注视，具有以小于速度阈值的速度移动的关注点；或
-扫视，在扫视开始期间具有带有速度和加速度的移动关注点；
其中，基于分别与多个眼睛移动类型相关联的多个不同的预测方式中的特定预测方式来确定所述某个未来时间点(T)的所述关注点(POR；POR1,POR2,PORn)，其中所述特定预测方式依赖于所确定的特征眼睛移动的分类被选择，
其中，在所述特征眼睛移动被分类为静态注视的情况下，确定所述某个未来时间点(T)的所述用户(40)的关注点(POR；POR1,POR2,PORn)包括：
确定未达到最小注视时间段；
如果确定未达到最小注视时间段，则确定用户的当前关注点(POR；POR1,POR2,PORn)；以及
确定所述某个未来时间点的所述用户(40)的关注点(POR；POR1,POR2,PORn)为所述用户(40)的当前关注点(POR；POR1,POR2,PORn)，
其中，在所述特征眼睛移动被分类为连续移动注视的情况下，确定所述某个未来时间点的所述用户(40)的关注点(POR；POR1,POR2,PORn)包括：
确定用户的当前关注点(POR；POR1,POR2,PORn)；
基于用户的至少一只眼睛的凝视数据确定凝视运动的方向和速度；以及
基于用户(40)的当前关注点(POR；POR1,POR2,PORn)以及凝视运动的方向和速度，确定所述某个未来时间点的所述用户(40)的关注点(POR；POR1,POR2,PORn)，以及
其中，在所述特征眼睛移动被分类为扫视的情况下，确定所述某个未来时间点的所述用户(40)的关注点(POR；POR1,POR2,PORn)包括：
确定在扫视开始时用户(40)的关注点(POR；POR1,POR2,PORn)；
确定扫视开始期间凝视运动的方向和速度；以及
基于在扫视开始时用户(40)的该关注点(POR；POR1,POR2,PORn)以及所确定的扫视开始期间凝视运动的方向和速度，确定所述某个未来时间点的所述用户(40)的关注点(POR；POR1,POR2,PORn)。
2.根据权利要求1所述的方法，其特征在于，所述至少一个图像相关分析还涉及对所述图像流中的至少一个图像的图像内容(54)的分析。
3.根据权利要求1所述的方法，其特征在于，确定所述某个未来时间点(T)的所述关注点(POR；POR1,POR2,PORn)，使得依赖于所确定的特征计算所述关注点(POR；POR1,POR2,PORn)的特征未来运动路径(70)，并且基于所述特征未来运动路径(70)针对所述某个未来时间点(T)确定所述关注点(POR；POR1,POR2,PORn)的位置。
4.根据权利要求1所述的方法，其特征在于，依赖于作为所述至少一个结果(42,68,54)的图像内容(54)和/或所述图像流(44,I0,I)中的所述至少一个图像的所述图像内容(54)的上下文执行所述关注点(POR；
POR1,POR2,PORn)的预测。
5.根据权利要求1所述的方法，其特征在于，所述图像流(44,I0,I)中的每个图像是通过渲染至少一个场景(65)而生成的计算机生成的图形。
6.根据权利要求4或5所述的方法，其特征在于，为了依赖于图像内容(54)来预测所述关注点(POR；POR1,POR2,PORn)，针对限定的显著点(54)的存在来分析所述图像(44,I0,I)中的至少一个图像中呈现或待呈现的场景，所限定的显著点尤其是包括以下各项的点：
-所述场景中的对象的拐角和/或边缘；
-至少一种预定义警示颜色；
-后续图像(44,10,I)之间的颜色变化；
-突发；
-运动，尤其是所述场景中的对象移动，即改变，其相对于至少两个后续图像(44,10,I)的位置，特别是相对于所述场景中的至少另一个对象的位置；
其中如果所述显著点(54)中的至少一个显著点被找到，则依赖于所述至少一个找到的显著点(54)针对所述某个未来时间点(T)预测所述关注点(POR；POR1,POR2,PORn)，所述至少一个显著点在显示时在用于呈现所述场景的所述图像(44,10,I)中的所述至少一个图像中可见。
7.根据权利要求1所述的方法，其特征在于，为了依赖于所述图像内容(54)的所述分析和所述凝视数据的所述分析的所述至少一个结果(42,68,54)来预测所述关注点(POR；POR1,POR2,PORn)，基于所述图像内容(54)限定最终预测的所述关注点(POR；POR1,POR2,PORn)的一个或多个可能候选项，其中为所述一个或多个候选项中的每个候选项分配所述用户在所述某个未来时间点(T)的实际关注点匹配相应所述候选项的概率，从而构成概率图，其中依赖于所述凝视数据的所述分析修改所述概率图的所述概率至少一次。
8.根据权利要求7所述的方法，其特征在于，基于所述凝视数据确定所述某个未来时间点(T)的第一预测的关注点，并且依赖于所述第一预测的关注点的位置和相应候选项的位置之间的差异修改所述概率图。
9.根据权利要求7或8中的任一项所述的方法，其特征在于，具有经修改的概率图的最高概率的候选项被确定为所述某个未来时间点(T)的所述预测的关注点(POR；POR1,POR2,PORn)，并且/或者所述第一区域(48；A1,A2,A3,A4)被确定为使得概率高于预定义阈值的所有候选项在所述第一区域(48；A1,A2,A3,A4)内。
10.根据权利要求7所述的方法，其特征在于，依赖于分析至少一个第二用户的凝视数据的结果构成和/或修改所述概率图，所述至少一个第二用户之前已观看所述图像流中的至少一个图像，尤其是包括所述第一图像(44,I)。
11.根据权利要求1所述的方法，其特征在于，所述图像内容(54)至少涉及所述第一图像(44,I)。
12.根据权利要求4或5所述的方法，其特征在于，为了依赖于所述图像内容(54)的上下文来预测所述关注点(POR；POR1,POR2,PORn)，得出场景的至少一个语义信息，尤其是其中所述语义信息包括有关使得吸引所述用户(40)的至少一只眼睛(10)的对象的行为和/或对象的含义的信息。
13.根据权利要求1所述的方法，其特征在于，在b)中，所述第一区域(48；A1,A2,A3,A4)的尺寸和/或形状依赖于影响所述用户对所述第一图像(44,I)的感知的至少一个第一调节参数而动态地改变。
14.根据权利要求1所述的方法，其特征在于，在显示所述第一图像(44,I)之前，通过执行若干后续渲染步骤(S1,S2,S3)渲染所述第一图像(44,I)的场景，其中在每个渲染步骤(S1,S2,S3)中依赖于至少一个第二调节参数调整所述第一区域(48；A1,A2,A3,A4)的尺寸和/或位置，其中仅针对当前调整的第一区域(48；A1,A2,A3,A4)执行所述执行的渲染步骤(S1,S2,S3)中的每个步骤。
15.根据权利要求1所述的方法，其特征在于，当预测所述某个未来时间点(T)的所述关注点(POR；POR1,POR2,PORn)时，确定不确定性值，所述不确定性值表示所述预测的关注点(POR；POR1,POR2,PORn)的位置与在所述某个未来时间点(T)的实际关注点(POR；POR1,POR2,PORn)的位置匹配的不确定性，其中所述不确定性值在所述某个未来时间点(T)之前被确定若干次，其中依赖于作为所述至少一个第二调节参数的最新确定的不确定性值调整所述第一区域(48；A1,A2,A3,A4)，特别是所述第一区域(48；A1,A2,A3,A4)的尺寸。
16.根据权利要求14或15中的任一项所述的方法，其特征在于，依赖于作为所述至少一个第二调节参数的概率图调整所述第一区域(48；A1,A2,A3,A4)。
17.根据权利要求1所述的方法，其特征在于，当预测所述关注点(POR；POR1,POR2,PORn)时，进行对所述某个未来时间点(T)的所述关注点(POR；POR1,POR2,PORn)的第一预测，其中随后在所述某个未来时间点(T)之前更新所述关注点(POR；POR1,POR2,PORn)的所述第一预测至少一次，其中依赖于作为所述至少一个第二调节参数的所述关注点(POR；POR1,POR2,PORn)的最新更新的预测调整所述第一区域(48；
A1,A2,A3,A4)，尤其是所述第一区域(48；A1,A2,A3,A4)的位置。
18.根据权利要求1所述的方法，其特征在于，所述显示区域(46)是三维显示区域(46)，并且在a)中，确定所述关注点(POR；POR1,POR2,PORn)的3D位置，并且在b)中，所述第一区域(48；A1,A2,A3,A4)在深度方向上延伸，所述深度方向沿着所述用户(40)的凝视方向(42)，并且在d)中，所述第一图像(44,I)被显示成使得所述第一图像能够被感知为3D图像。
19.根据权利要求12所述的方法，其特征在于，所述第一区域(48；A1,A2,A3,A4)和所述至少一个第二区域是三维的，其中所述至少一个第二区域沿着和/或逆着深度方向跟随所述第一区域(48；A1,A2,A3,A4)。
20.根据权利要求12所述的方法，其特征在于，所述显示区域(46)包括第三三维区域，所述第三三维区域沿着和/或逆着垂直于深度方向的方向跟随所述第一区域(48；A1,A2,A3,A4)，其中所述第一图像(44,1)的显示在所述第一区域(48；A1,A2,A3,A4)中的所述第一部分根据也与所述图像特征相关的至少一个第二参数的第一参数值而显示，其中所述至少一个第二参数不同于第一参数，其中所述第一图像(44,1)的第三部分根据所述至少一个第二参数的第二参数值而显示在所述至少一个第三区域中。
21.一种用于随后在***的显示设备(32)的显示区域(46)中显示图像流(44,I0,I)的***，所述***包括：
a)眼睛跟踪设备(36)，所述眼睛跟踪设备用于确定观看所述显示区域(46)的用户(40)的关注点(POR；POR1,POR2,PORn)；
b)处理单元，所述处理单元用于确定所述显示区域(46)内围绕所确定的关注点(POR；POR1,POR2,PORn)的第一区域(48；A1,A2,A3,A4)；
c)显示设备(32)，所述显示设备用于在所述显示区域(46)中显示所述图像流(44,I0,I)中的第一图像(44,I)，使得所述第一图像(44,I)的显示在所述第一区域(48；A1,A2,A3,A4)中的第一部分根据至少一个参数的第一参数值而显示，所述至少一个参数与所述第一图像(44,I)的图像特征相关，并且所述第一图像(44,I)的显示在所述第一区域(48；A1,A2,A3,A4)之外的至少一个第二区域中的第二部分根据所述至少一个参数的第二参数值而显示；
其特征在于，所述处理单元被配置为
依赖于图像相关分析的至少一个结果(42,68,54)来确定所述关注点(POR；POR1,POR2,PORn)作为对显示所述第一图像(44,I)的某个未来时间点(T)的所述关注点(POR；POR1,POR2,PORn)的预测，其中所述至少一个图像相关分析涉及对基于所述用户(40)的至少一只眼睛(10)的眼睛图像而捕获的凝视数据的分析，
其中，所述关注点(POR；POR1,POR2,PORn)是通过包括如下操作的预测而被确定的：
d)捕获所述用户(40)的至少一只眼睛(10)的凝视数据；
e)由所捕获的凝视数据来确定所述至少一只眼睛(10)的眼睛参数(42,68)；
f)随后在所述某个未来时间点(T)之前执行d)和e)若干次；
g)依赖于作为所述至少一个结果(42,68,54)的若干确定的眼睛参数(42,68)来预测所述某个未来时间点(T)的所述关注点(POR；POR1,POR2,PORn)，
其中，基于所述若干确定的眼睛参数(42,68)确定所述至少一只眼睛的特征眼睛移动，其中所述特征眼睛移动被分类为以下各项中的一者：
-静态注视，具有达至少最小注视时间段的固定关注点；
-连续移动注视，具有以小于速度阈值的速度移动的关注点；或
-扫视，在扫视开始期间具有带有速度和加速度的移动关注点；
其中，基于分别与多个眼睛移动类型相关联的多个不同的预测方式中的特定预测方式来确定所述某个未来时间点(T)的所述关注点(POR；POR1,POR2,PORn)，其中所述特定预测方式依赖于所确定的特征眼睛移动的分类被选择，
其中，在所述特征眼睛移动被分类为静态注视的情况下，确定所述某个未来时间点(T)的所述用户(40)的关注点(POR；POR1,POR2,PORn)包括：
确定未达到最小注视时间段；
如果确定未达到最小注视时间段，则确定用户的当前关注点(POR；POR1,POR2,PORn)；以及
确定所述某个未来时间点的所述用户(40)的关注点(POR；POR1,POR2,PORn)为所述用户(40)的当前关注点(POR；POR1,POR2,PORn)，
其中，在所述特征眼睛移动被分类为连续移动注视的情况下，确定所述某个未来时间点的所述用户(40)的关注点(POR；POR1,POR2,PORn)包括：
确定用户的当前关注点(POR；POR1,POR2,PORn)；
基于用户的至少一只眼睛的凝视数据确定凝视运动的方向和速度；以及
基于用户(40)的当前关注点(POR；POR1,POR2,PORn)以及凝视运动的方向和速度，确定所述某个未来时间点的所述用户(40)的关注点(POR；POR1,POR2,PORn)，以及
其中，在所述特征眼睛移动被分类为扫视的情况下，确定所述某个未来时间点的所述用户(40)的关注点(POR；POR1,POR2,PORn)包括：
确定在扫视开始时用户(40)的关注点(POR；POR1,POR2,PORn)；
确定扫视开始期间凝视运动的方向和速度；以及
基于在扫视开始时用户(40)的该关注点(POR；POR1,POR2,PORn)以及所确定的扫视开始期间凝视运动的方向和速度，确定所述某个未来时间点的所述用户(40)的关注点(POR；POR1,POR2,PORn)。
22.一种用于随后在显示设备(32)的显示区域(46)中显示图像流(44,I0,I)的方法，包括：
a)确定观看所述显示区域(46)的用户(40)的关注点(POR；POR1,POR2,PORn)；
b)确定所述显示区域(46)内围绕所确定的关注点(POR；POR1,POR2,PORn)的第一区域(48；A1,A2,A3,A4)；
c)在所述显示区域(46)中显示所述图像流(44,I0,I)中的第一图像(44,I)，使得所述第一图像(44,I)的显示在所述第一区域(48；A1,A2,A3,A4)中的第一部分根据至少一个参数的第一参数值而显示，所述至少一个参数与所述第一图像(44,I)的图像特征相关，并且所述第一图像(44,I)的显示在所述第一区域(48；A1,A2,A3,A4)之外的至少一个第二区域中的第二部分根据所述至少一个参数的第二参数值而显示；
其特征在于，所述显示区域(46)是三维显示区域(46)，并且在a)中，确定所述关注点(POR；POR1,POR2,PORn)的3D位置，并且在b)中，所述第一区域(48；A1,A2,A3,A4)在深度方向上延伸，所述深度方向沿着所述用户(40)的凝视方向(42)，并且在d)中，所述第一图像(44,1)被显示成使得所述第一图像能够被感知为3D图像，
其中，所述关注点(POR；POR1,POR2,PORn)是通过包括如下操作的预测而被确定的：
d)捕获所述用户(40)的至少一只眼睛(10)的凝视数据；
e)由所捕获的凝视数据来确定所述至少一只眼睛(10)的眼睛参数(42,68)；
f)随后在某个未来时间点(T)之前执行d)和e)若干次；
g)依赖于作为所述至少一个结果(42,68,54)的若干确定的眼睛参数(42,68)来预测所述某个未来时间点(T)的所述关注点(POR；POR1,POR2,PORn)，
其中，基于所述若干确定的眼睛参数(42,68)确定所述至少一只眼睛的特征眼睛移动，其中所述特征眼睛移动被分类为以下各项中的一者：
-静态注视，具有达至少最小注视时间段的固定关注点；
-连续移动注视，具有以小于速度阈值的速度移动的关注点；或
-扫视，在扫视开始期间具有带有速度和加速度的移动关注点；
其中，基于分别与多个眼睛移动类型相关联的多个不同的预测方式中的特定预测方式来确定所述某个未来时间点(T)的所述关注点(POR；POR1,POR2,PORn)，其中所述特定预测方式依赖于所确定的特征眼睛移动的分类被选择，
其中，在所述特征眼睛移动被分类为静态注视的情况下，确定所述某个未来时间点(T)的所述用户(40)的关注点(POR；POR1,POR2,PORn)包括：
确定未达到最小注视时间段；
如果确定未达到最小注视时间段，则确定用户的当前关注点(POR；POR1,POR2,PORn)；以及
确定所述某个未来时间点的所述用户(40)的关注点(POR；POR1,POR2,PORn)为所述用户(40)的当前关注点(POR；POR1,POR2,PORn)，
其中，在所述特征眼睛移动被分类为连续移动注视的情况下，确定所述某个未来时间点的所述用户(40)的关注点(POR；POR1,POR2,PORn)包括：
确定用户的当前关注点(POR；POR1,POR2,PORn)；
基于用户的至少一只眼睛的凝视数据确定凝视运动的方向和速度；以及
基于用户(40)的当前关注点(POR；POR1,POR2,PORn)以及凝视运动的方向和速度，确定所述某个未来时间点的所述用户(40)的关注点(POR；POR1,POR2,PORn)，以及
其中，在所述特征眼睛移动被分类为扫视的情况下，确定所述某个未来时间点的所述用户(40)的关注点(POR；POR1,POR2,PORn)包括：
确定在扫视开始时用户(40)的关注点(POR；POR1,POR2,PORn)；
确定扫视开始期间凝视运动的方向和速度；以及
基于在扫视开始时用户(40)的该关注点(POR；POR1,POR2,PORn)以及所确定的扫视开始期间凝视运动的方向和速度，确定所述某个未来时间点的所述用户(40)的关注点(POR；POR1,POR2,PORn)。
23.一种用于随后在***的显示设备(32)的显示区域(46)中显示图像流(44,I0,I)的***，所述***包括：
a)眼睛跟踪设备(36)，所述眼睛跟踪设备用于确定观看所述显示区域(46)的用户(40)的关注点(POR；POR1,POR2,PORn)；
b)处理单元(34)，所述处理单元用于确定所述显示区域(46)内围绕所确定的关注点(POR；POR1,POR2,PORn)的第一区域(48；A1,A2,A3,A4)；
c)显示设备(32)，所述显示设备用于在所述显示区域(46)中显示所述图像流(44,I0,I)中的第一图像(44,I)，使得所述第一图像(44,I)的显示在所述第一区域(48；A1,A2,A3,A4)中的第一部分根据至少一个参数的第一参数值而显示，所述至少一个参数与所述第一图像(44,I)的图像特征相关，并且所述第一图像(44,I)的显示在所述第一区域(48；A1,A2,A3,A4)之外的至少一个第二区域中的第二部分根据所述至少一个参数的第二参数值而显示；
其特征在于，所述显示设备(32)被配置为将所述显示区域(46)提供为三维显示区域(46)，并且所述眼睛跟踪设备(36)被配置为确定所述关注点(POR；POR1,POR2,PORn)的3D位置，其中所述第一区域(48；A1,A2,A3,A4)在深度方向上延伸，所述深度方向沿着所述用户(40)的凝视方向，并且所述显示设备(32)被配置为显示所述第一图像(44,I)，使得所述第一图像能够被感知为3D图像，
其中，所述关注点(POR；POR1,POR2,PORn)是通过包括如下操作的预测而被确定的：
d)捕获所述用户(40)的至少一只眼睛(10)的凝视数据；
e)由所捕获的凝视数据来确定所述至少一只眼睛(10)的眼睛参数(42,68)；
f)随后在某个未来时间点(T)之前执行d)和e)若干次；
g)依赖于作为所述至少一个结果(42,68,54)的若干确定的眼睛参数(42,68)来预测所述某个未来时间点(T)的所述关注点(POR；POR1,POR2,PORn)，
其中，基于所述若干确定的眼睛参数(42,68)确定所述至少一只眼睛的特征眼睛移动，其中所述特征眼睛移动被分类为以下各项中的一者：
-静态注视，具有达至少最小注视时间段的固定关注点；
-连续移动注视，具有以小于速度阈值的速度移动的关注点；或
-扫视，在扫视开始期间具有带有速度和加速度的移动关注点；
其中，基于分别与多个眼睛移动类型相关联的多个不同的预测方式中的特定预测方式来确定所述某个未来时间点(T)的所述关注点(POR；POR1,POR2,PORn)，其中所述特定预测方式依赖于所确定的特征眼睛移动的分类被选择，
其中，在所述特征眼睛移动被分类为静态注视的情况下，确定所述某个未来时间点(T)的所述用户(40)的关注点(POR；POR1,POR2,PORn)包括：
确定未达到最小注视时间段；
如果确定未达到最小注视时间段，则确定用户的当前关注点(POR；POR1,POR2,PORn)；以及
确定所述某个未来时间点的所述用户(40)的关注点(POR；POR1,POR2,PORn)为所述用户(40)的当前关注点(POR；POR1,POR2,PORn)，
其中，在所述特征眼睛移动被分类为连续移动注视的情况下，确定所述某个未来时间点的所述用户(40)的关注点(POR；POR1,POR2,PORn)包括：
确定用户的当前关注点(POR；POR1,POR2,PORn)；
基于用户的至少一只眼睛的凝视数据确定凝视运动的方向和速度；以及
基于用户(40)的当前关注点(POR；POR1,POR2,PORn)以及凝视运动的方向和速度，确定所述某个未来时间点的所述用户(40)的关注点(POR；POR1,POR2,PORn)，以及
其中，在所述特征眼睛移动被分类为扫视的情况下，确定所述某个未来时间点的所述用户(40)的关注点(POR；POR1,POR2,PORn)包括：
确定在扫视开始时用户(40)的关注点(POR；POR1,POR2,PORn)；
确定扫视开始期间凝视运动的方向和速度；以及
基于在扫视开始时用户(40)的该关注点(POR；POR1,POR2,PORn)以及所确定的扫视开始期间凝视运动的方向和速度，确定所述某个未来时间点的所述用户(40)的关注点(POR；POR1,POR2,PORn)。
24.一种用于随后在显示设备(32)的显示区域(46)中显示图像流(44,I0,I)的方法，包括：
a)确定观看所述显示区域(46)的用户(40)的关注点(POR；POR1,POR2,PORn)；
b)确定所述显示区域(46)内围绕所确定的关注点(POR；POR1,POR2,PORn)的第一区域(48；A1,A2,A3,A4)；
c)在所述显示区域(46)中显示所述图像流(44,I0,I)中的第一图像(44,I)，使得所述第一图像(44,I)的显示在所述第一区域(48；A1,A2,A3,A4)中的第一部分根据至少一个参数的第一参数值而显示，所述至少一个参数与所述第一图像(44,I)的图像特征相关，并且所述第一图像(44,I)的显示在所述第一区域(48；A1,A2,A3,A4)之外的至少一个第二区域中的第二部分根据所述至少一个参数的第二参数值而显示；
其特征在于，在b)中，所述第一区域(48；A1,A2,A3,A4)的尺寸和/或形状依赖于影响所述用户对所述第一图像的感知的至少一个调节参数而动态地改变，
其中，所述关注点(POR；POR1,POR2,PORn)是通过包括如下操作的预测而被确定的：
d)捕获所述用户(40)的至少一只眼睛(10)的凝视数据；
e)由所捕获的凝视数据来确定所述至少一只眼睛(10)的眼睛参数(42,68)；
f)随后在某个未来时间点(T)之前执行d)和e)若干次；
g)依赖于作为所述至少一个结果(42,68,54)的若干确定的眼睛参数(42,68)来预测所述某个未来时间点(T)的所述关注点(POR；POR1,POR2,PORn)，
其中，基于所述若干确定的眼睛参数(42,68)确定所述至少一只眼睛的特征眼睛移动，其中所述特征眼睛移动被分类为以下各项中的一者：
-静态注视，具有达至少最小注视时间段的固定关注点；
-连续移动注视，具有以小于速度阈值的速度移动的关注点；或
-扫视，在扫视开始期间具有带有速度和加速度的移动关注点；
其中，基于分别与多个眼睛移动类型相关联的多个不同的预测方式中的特定预测方式来确定所述某个未来时间点(T)的所述关注点(POR；POR1,POR2,PORn)，其中所述特定预测方式依赖于所确定的特征眼睛移动的分类被选择，
其中，在所述特征眼睛移动被分类为静态注视的情况下，确定所述某个未来时间点(T)的所述用户(40)的关注点(POR；POR1,POR2,PORn)包括：
确定未达到最小注视时间段；
如果确定未达到最小注视时间段，则确定用户的当前关注点(POR；POR1,POR2,PORn)；以及
确定所述某个未来时间点的所述用户(40)的关注点(POR；POR1,POR2,PORn)为所述用户(40)的当前关注点(POR；POR1,POR2,PORn)，
其中，在所述特征眼睛移动被分类为连续移动注视的情况下，确定所述某个未来时间点的所述用户(40)的关注点(POR；POR1,POR2,PORn)包括：
确定用户的当前关注点(POR；POR1,POR2,PORn)；
基于用户的至少一只眼睛的凝视数据确定凝视运动的方向和速度；以及
基于用户(40)的当前关注点(POR；POR1,POR2,PORn)以及凝视运动的方向和速度，确定所述某个未来时间点的所述用户(40)的关注点(POR；POR1,POR2,PORn)，以及
其中，在所述特征眼睛移动被分类为扫视的情况下，确定所述某个未来时间点的所述用户(40)的关注点(POR；POR1,POR2,PORn)包括：
确定在扫视开始时用户(40)的关注点(POR；POR1,POR2,PORn)；
确定扫视开始期间凝视运动的方向和速度；以及
基于在扫视开始时用户(40)的该关注点(POR；POR1,POR2,PORn)以及所确定的扫视开始期间凝视运动的方向和速度，确定所述某个未来时间点的所述用户(40)的关注点(POR；POR1,POR2,PORn)。
25.一种用于随后在***的显示设备(32)的显示区域(46)中显示图像流(44,I0,I)的***，所述***包括：
a)眼睛跟踪设备(36)，所述眼睛跟踪设备用于确定观看所述显示区域(46)的用户(40)的关注点(POR；POR1,POR2,PORn)；
b)处理单元(34)，所述处理单元用于确定所述显示区域(46)内围绕所确定的关注点(POR；POR1,POR2,PORn)的第一区域(48；A1,A2,A3,A4)；
c)显示设备(32)，所述显示设备用于在所述显示区域(46)中显示所述图像流(44,I0,I)中的第一图像(44,I)，使得所述第一图像(44,I)的显示在所述第一区域(48；A1,A2,A3,A4)中的第一部分根据至少一个参数的第一参数值而显示，所述至少一个参数与所述第一图像(44,I)的图像特征相关，并且所述第一图像(44,I)的显示在所述第一区域(48；A1,A2,A3,A4)之外的至少一个第二区域中的第二部分根据所述至少一个参数的第二参数值而显示；
其特征在于，所述处理单元(34)被配置为依赖于影响所述用户对所述第一图像的感知的至少一个调节参数来动态地改变所述第一区域(48；A1,A2,A3,A4)的尺寸和/或形状，
其中，所述关注点(POR；POR1,POR2,PORn)是通过包括如下操作的预测而被确定的：
d)捕获所述用户(40)的至少一只眼睛(10)的凝视数据；
e)由所捕获的凝视数据来确定所述至少一只眼睛(10)的眼睛参数(42,68)；
f)随后在某个未来时间点(T)之前执行d)和e)若干次；
g)依赖于作为所述至少一个结果(42,68,54)的若干确定的眼睛参数(42,68)来预测所述某个未来时间点(T)的所述关注点(POR；POR1,POR2,PORn)，
其中，基于所述若干确定的眼睛参数(42,68)确定所述至少一只眼睛的特征眼睛移动，其中所述特征眼睛移动被分类为以下各项中的一者：
-静态注视，具有达至少最小注视时间段的固定关注点；
-连续移动注视，具有以小于速度阈值的速度移动的关注点；或
-扫视，在扫视开始期间具有带有速度和加速度的移动关注点；
其中，基于分别与多个眼睛移动类型相关联的多个不同的预测方式中的特定预测方式来确定所述某个未来时间点(T)的所述关注点(POR；POR1,POR2,PORn)，其中所述特定预测方式依赖于所确定的特征眼睛移动的分类被选择，
其中，在所述特征眼睛移动被分类为静态注视的情况下，确定所述某个未来时间点(T)的所述用户(40)的关注点(POR；POR1,POR2,PORn)包括：
确定未达到最小注视时间段；
如果确定未达到最小注视时间段，则确定用户的当前关注点(POR；POR1,POR2,PORn)；以及
确定所述某个未来时间点的所述用户(40)的关注点(POR；POR1,POR2,PORn)为所述用户(40)的当前关注点(POR；POR1,POR2,PORn)，
其中，在所述特征眼睛移动被分类为连续移动注视的情况下，确定所述某个未来时间点的所述用户(40)的关注点(POR；POR1,POR2,PORn)包括：
确定用户的当前关注点(POR；POR1,POR2,PORn)；
基于用户的至少一只眼睛的凝视数据确定凝视运动的方向和速度；以及
基于用户(40)的当前关注点(POR；POR1,POR2,PORn)以及凝视运动的方向和速度，确定所述某个未来时间点的所述用户(40)的关注点(POR；POR1,POR2,PORn)，以及
其中，在所述特征眼睛移动被分类为扫视的情况下，确定所述某个未来时间点的所述用户(40)的关注点(POR；POR1,POR2,PORn)包括：
确定在扫视开始时用户(40)的关注点(POR；POR1,POR2,PORn)；
确定扫视开始期间凝视运动的方向和速度；以及
基于在扫视开始时用户(40)的该关注点(POR；POR1,POR2,PORn)以及所确定的扫视开始期间凝视运动的方向和速度，确定所述某个未来时间点的所述用户(40)的关注点(POR；POR1,POR2,PORn)。
CN201680043398.4A 2015-08-07 2016-08-05 用于显示图像流的***和方法 Active CN107852521B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310331471.XA CN116366906A (zh) 2015-08-07 2016-08-05 用于显示图像流的***和方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP15180286.5 2015-08-07
EP15180286 2015-08-07
PCT/EP2016/068821 WO2017025487A1 (en) 2015-08-07 2016-08-05 System and method for displaying a stream of images

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202310331471.XA Division CN116366906A (zh) 2015-08-07 2016-08-05 用于显示图像流的***和方法

Publications (2)

Publication Number Publication Date
CN107852521A CN107852521A (zh) 2018-03-27
CN107852521B true CN107852521B (zh) 2023-04-11

Family

ID=53785572

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201680043398.4A Active CN107852521B (zh) 2015-08-07 2016-08-05 用于显示图像流的***和方法
CN202310331471.XA Pending CN116366906A (zh) 2015-08-07 2016-08-05 用于显示图像流的***和方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202310331471.XA Pending CN116366906A (zh) 2015-08-07 2016-08-05 用于显示图像流的***和方法

Country Status (5)

Country Link
US (3) US20180227630A1 (zh)
EP (2) EP3332554B1 (zh)
KR (1) KR102000888B1 (zh)
CN (2) CN107852521B (zh)
WO (1) WO2017025487A1 (zh)

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11284109B2 (en) * 2016-01-29 2022-03-22 Cable Television Laboratories, Inc. Visual coding for sensitivities to light, color and spatial resolution in human visual system
US20180061084A1 (en) * 2016-08-24 2018-03-01 Disney Enterprises, Inc. System and method of bandwidth-sensitive rendering of a focal area of an animation
US10255714B2 (en) 2016-08-24 2019-04-09 Disney Enterprises, Inc. System and method of gaze predictive rendering of a focal area of an animation
EP3367158A1 (en) * 2017-02-23 2018-08-29 Nokia Technologies Oy Rendering content
WO2018175625A1 (en) * 2017-03-22 2018-09-27 Magic Leap, Inc. Depth based foveated rendering for display systems
CA3057878A1 (en) 2017-03-27 2018-10-04 Avegant Corp. Steerable foveal display
US10152822B2 (en) * 2017-04-01 2018-12-11 Intel Corporation Motion biased foveated renderer
US10319064B2 (en) 2017-04-10 2019-06-11 Intel Corporation Graphics anti-aliasing resolve with stencil mask
EP3619704A4 (en) * 2017-05-01 2020-11-11 Pure Depth Inc. SACCADED SEQUENTIAL FIELD FRAGMENTATION REDUCTION BASED ON HEAD TRACKING
US11073904B2 (en) * 2017-07-26 2021-07-27 Microsoft Technology Licensing, Llc Intelligent user interface element selection using eye-gaze
GB2565302B (en) * 2017-08-08 2022-04-13 Sony Interactive Entertainment Inc Head-mountable apparatus and methods
EP3716220B1 (en) * 2017-11-20 2024-02-21 Rakuten Group, Inc. Information processing device, information processing method, and information processing program
EP3765943A4 (en) * 2018-03-16 2021-12-22 Magic Leap, Inc. DEPTH-BASED FOVEA REPRESENTATION FOR DISPLAY SYSTEMS
CN110324679B (zh) * 2018-03-29 2022-03-22 阿里巴巴（中国）有限公司 一种视频数据处理方法及装置
CN109447096B (zh) * 2018-04-13 2022-05-06 西安电子科技大学 一种基于机器学习的扫视路径预测方法和装置
US10890968B2 (en) 2018-05-07 2021-01-12 Apple Inc. Electronic device with foveated display and gaze prediction
US10942564B2 (en) * 2018-05-17 2021-03-09 Sony Interactive Entertainment Inc. Dynamic graphics rendering based on predicted saccade landing point
US11962819B2 (en) * 2018-07-17 2024-04-16 Dolby Laboratories Licensing Corporation Foviation and HDR
JP7443325B2 (ja) * 2018-07-17 2024-03-05 ドルビー ラボラトリーズ ライセンシング コーポレイション フォービエイションおよびｈｄｒ
WO2020016969A1 (ja) * 2018-07-18 2020-01-23 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理方法、及びプログラム
US11243609B2 (en) 2018-07-18 2022-02-08 Sony Interactive Entertainment Inc. Information processing apparatus, information processing method, and program
CN109613979B (zh) * 2018-11-29 2022-02-08 武汉中地地科传媒文化有限责任公司 一种字符输入方法、装置、ar设备和计算机存储介质
CN113196132A (zh) 2018-12-07 2021-07-30 阿维甘特公司 可操纵定位元件
KR20210111795A (ko) 2019-01-07 2021-09-13 아브간트 코포레이션 제어 시스템 및 렌더링 파이프라인
KR102215984B1 (ko) * 2019-01-29 2021-02-16 한국항공우주산업 주식회사 시뮬레이터의 연산량 개선을 위한 시스템, 장치 및 그 방법
SE543121C2 (en) * 2019-02-04 2020-10-13 Tobii Ab Method and system for determining a current gaze direction
CN217739617U (zh) 2019-03-29 2022-11-04 阿维甘特公司 使用波导提供可转向混合显示器的***
US11612316B2 (en) * 2019-06-20 2023-03-28 Awss Zidan Medical system and method operable to control sensor-based wearable devices for examining eyes
US10712817B1 (en) * 2019-06-27 2020-07-14 Tobii Ab Image re-projection for foveated rendering
US11445170B2 (en) * 2019-07-12 2022-09-13 Magic Leap, Inc. Eyeball camera system and methods for display system calibration
US11132056B2 (en) 2019-12-04 2021-09-28 Facebook Technologies, Llc Predictive eye tracking systems and methods for foveated rendering for electronic displays
US11308698B2 (en) 2019-12-05 2022-04-19 Facebook Technologies, Llc. Using deep learning to determine gaze
WO2021142486A1 (en) 2020-01-06 2021-07-15 Avegant Corp. A head mounted system with color specific modulation
US11567568B2 (en) * 2021-02-25 2023-01-31 Varjo Technologies Oy Display apparatuses and methods incorporating foveated rendering
US20220301099A1 (en) * 2021-03-16 2022-09-22 Argo AI, LLC Systems and methods for generating object detection labels using foveated image magnification for autonomous driving
CN113283355A (zh) * 2021-05-31 2021-08-20 平安国际智慧城市科技股份有限公司 一种表格图像的识别方法、装置、计算机设备及存储介质
CN113992885B (zh) * 2021-09-22 2023-03-21 联想(北京)有限公司 一种数据同步方法及装置
SE545378C2 (en) * 2021-12-30 2023-07-25 Tobii Ab Method and system for determining a current gaze direction

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101861118A (zh) * 2007-11-16 2010-10-13 视瑞尔技术公司 用于发现和跟踪双眼的方法和装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5644324A (en) 1993-03-03 1997-07-01 Maguire, Jr.; Francis J. Apparatus and method for presenting successive images
US5726916A (en) * 1996-06-27 1998-03-10 The United States Of America As Represented By The Secretary Of The Army Method and apparatus for determining ocular gaze point of regard and fixation duration
US6252989B1 (en) * 1997-01-07 2001-06-26 Board Of The Regents, The University Of Texas System Foveated image coding system and method for image bandwidth reduction
GB9912438D0 (en) * 1999-05-27 1999-07-28 United Bristol Healthcare Nhs Method and apparatus for displaying volumetric data
CN101466305B (zh) 2006-06-11 2012-05-30 沃尔沃技术公司 用于确定和分析视觉兴趣位置的方法
US20100054526A1 (en) 2008-09-03 2010-03-04 Dean Eckles Method, apparatus and computer program product for providing gaze information
US20100110069A1 (en) * 2008-10-31 2010-05-06 Sharp Laboratories Of America, Inc. System for rendering virtual see-through scenes
CN101943982B (zh) * 2009-07-10 2012-12-12 北京大学 基于被跟踪的眼睛运动的图像操作
CN101984464B (zh) * 2010-10-22 2012-05-30 北京工业大学 一种图像中不同区域视觉显著程度的检测方法
CN102006456A (zh) * 2010-10-28 2011-04-06 北京中星微电子有限公司 一种云台摄像机、云台监控***及进行方向定位的方法
US9897805B2 (en) * 2013-06-07 2018-02-20 Sony Interactive Entertainment Inc. Image rendering responsive to user actions in head mounted display
US9239956B2 (en) 2012-06-28 2016-01-19 Oliver Hein Method and apparatus for coding of eye and eye movement data
US20140176591A1 (en) * 2012-12-26 2014-06-26 Georg Klein Low-latency fusing of color image data

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101861118A (zh) * 2007-11-16 2010-10-13 视瑞尔技术公司 用于发现和跟踪双眼的方法和装置

Also Published As

Publication number Publication date
US20220035451A1 (en) 2022-02-03
EP3332554A1 (en) 2018-06-13
US20230388586A1 (en) 2023-11-30
EP3332554B1 (en) 2022-07-06
KR20180022969A (ko) 2018-03-06
US11729463B2 (en) 2023-08-15
US20180227630A1 (en) 2018-08-09
CN116366906A (zh) 2023-06-30
KR102000888B1 (ko) 2019-10-01
EP4090034A1 (en) 2022-11-16
CN107852521A (zh) 2018-03-27
WO2017025487A1 (en) 2017-02-16

Similar Documents

Publication Publication Date Title
CN107852521B (zh) 用于显示图像流的***和方法
US11836289B2 (en) Use of eye tracking to adjust region-of-interest (ROI) for compressing images for transmission
US10775886B2 (en) Reducing rendering computation and power consumption by detecting saccades and blinks
US10720128B2 (en) Real-time user adaptive foveated rendering
US10739849B2 (en) Selective peripheral vision filtering in a foveated rendering system
JP7391939B2 (ja) アプリケーションレンダリング性能に基づく予測およびスロットル調整
US9582075B2 (en) Gaze-tracking eye illumination from display
RU2541936C2 (ru) Система трехмерного отображения
KR20220002334A (ko) 일정한 밝기를 유지하기 위한 동적 광 출력 조정을 갖는 디스플레이 시스템
JP2022517991A (ja) 眼追跡に基づく動的レンダリング時間ターゲット化
EP3690611B1 (en) Method and system for determining a current gaze direction
CN111670001A (zh) 用于眼睛跟踪***的图像调整
CN113534949A (zh) 头戴式显示设备及其控制方法
US20230412792A1 (en) Rendering format selection based on virtual distance

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20190605

Address after: American California

Applicant after: APPLE Inc.

Address before: German Pavilion

Applicant before: SMI Innovative Sensor Technology Co.,Ltd.

GR01 Patent grant
GR01 Patent grant