CN111031250A - 一种基于眼球追踪的重对焦的方法和装置 - Google Patents
一种基于眼球追踪的重对焦的方法和装置 Download PDFInfo
- Publication number
- CN111031250A CN111031250A CN201911366802.3A CN201911366802A CN111031250A CN 111031250 A CN111031250 A CN 111031250A CN 201911366802 A CN201911366802 A CN 201911366802A CN 111031250 A CN111031250 A CN 111031250A
- Authority
- CN
- China
- Prior art keywords
- video stream
- refocusing
- eyeball
- user
- focus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
Abstract
本发明提供了一种基于眼球追踪的重对焦的方法和装置，所述方法包括以下步骤：S1:确定当前用户眼球聚焦位置；S2：根据当前用户眼球聚焦位置确定视频流焦点，并采用确定的视频流焦点对视频流文件进行对焦。上述方案通过对用户的眼球信息进行追踪，并根据追踪结果实时变更视频流文件焦点，使得用户在观看视频流文件时仿佛身临其境，有效提升了用户感官体验。
Description
技术领域
本发明涉及视频图像处理领域，特别涉及一种基于眼球追踪的重对焦的方法和装置。
背景技术
图像处理一般包括两个阶段：一是在图像拍摄的时候通过用户选定或者设定辅助摄像头跟踪人眼球来完成对焦；还有一种是在图像拍摄完成后通过用户选择或者自动完成图片的聚焦、模糊等效果的处理，保存处理后的图像，也就是重对焦。
目前的3D图像的合成技术和全景图的处理技术都比较成熟，但是在这些高清的影视内容或者游戏的应用中都未有实现实时的重对焦，所以整张图看上去就一个焦点，无法根据用户的意志快速响应来改变焦点，导致用户体验无法达到人眼真实看景一般的自然。
发明内容
为此，需要提供一种基于眼球追踪的重对焦的的技术方案，用以解决现有视频流文件无法根据用户意志实时重对焦，导致用户体验差的问题。
为实现上述目的，发明人提供了一种基于眼球追踪的重对焦的方法，所述方法包括以下步骤：
S1:确定当前用户眼球聚焦位置；
S2：根据当前用户眼球聚焦位置确定视频流焦点，并采用确定的视频流焦点对视频流文件进行对焦。
作为一种可选的实施例，所述方法包括以下步骤：
判断当前用户眼球聚焦位置是否发生变化，若是则根据变化后的用户眼球聚焦位置重新确定新焦点，并采用新焦点对视频流文件进行重对焦。
作为一种可选的实施例，所述方法包括以下步骤：
显示重对焦后的视频流文件。
作为一种可选的实施例，所述方法在步骤S1前还包括以下步骤：
接收模式选择指令，进入重对焦模式。
作为一种可选的实施例，所述视频流文件包括视频或图像。
作为一种可选的实施例，所述视频包括3D视频流或2D视频流。
作为一种可选的实施例，所述图像包括全景图像。
发明人还提供了一种基于眼球追踪的重对焦的装置，所述装置用于执行如前文所述的方法。
本发明提供了一种基于眼球追踪的重对焦的方法和装置，所述方法包括以下步骤：S1:确定当前用户眼球聚焦位置；S2：根据当前用户眼球聚焦位置确定视频流焦点，并采用确定的视频流焦点对视频流文件进行对焦。上述方案通过对用户的眼球信息进行追踪，并根据追踪结果实时变更视频流文件焦点，使得用户在观看视频流文件时仿佛身临其境，有效提升了用户感官体验。
附图说明
图1为本发明一实施例涉及的基于眼球追踪的重对焦的方法的流程图；
图2为本发明另一实施例涉及的基于眼球追踪的重对焦的方法的流程图；
图3为本发明一实施例涉及的基于眼球追踪的重对焦的方法的原理图。
具体实施方式
为详细说明技术方案的技术内容、构造特征、所实现目的及效果，以下结合具体实施例并配合附图详予说明。
如图1所示，为本发明一实施例涉及的基于眼球追踪的重对焦的方法的流程图。所述方法包括以下步骤：
首先进入步骤S1:确定当前用户眼球聚焦位置；
在本实施方式中，用户眼球聚焦位置可以通过摄像头来采集，具体为：摄像头先获取用户眼球的视频数据，再根据眼球的特性，通过眼球识别算法识别出当前眼球位置，并采用如光流法等眼球追踪算法对用户眼球的弧度运动追踪。优选的，所述摄像头为红外涉外头，这样可以使得在黑暗环境下，也可以对用户的眼球进行实时追踪。
而后进入步骤S2：根据当前用户眼球聚焦位置确定视频流焦点，并采用确定的视频流焦点对视频流文件进行对焦。由于视频流的焦点时根据用户眼球位置变化而变化，从而可以达到模拟人眼观看景物的效果，有效提升了用户体验。
优选的，所述方法包括以下步骤：判断当前用户眼球聚焦位置是否发生变化，若是则根据变化后的用户眼球聚焦位置重新确定新焦点，并采用新焦点对视频流文件进行重对焦。
如图3所示，t1、t2、t3是表示三个时间点摄像头拍到的视频观看者的眼球图像，(x1,y1,z1)、(x2,y2,z2)、(x3,y3,z3)这三个位置是根据t1,t2,t3计算出来的当前对焦的位置。例如当用户眼球图像从t1时刻位置移动至t2时刻位置时，视频流焦点位置对应从(x1,y1,z1)移动至(x2,y2,z2)；当用户眼球图像从t2时刻位置移动至t3时刻位置时，视频流焦点位置对应从(x2,y2,z2)移动至(x3,y3,z3)。
在某些实施例中，所述方法包括以下步骤：显示重对焦后的视频流文件。优选的，所述视频流文件包括视频或图像。所述视频包括3D视频流或2D视频流，所述图像包括全景图像，当然也可以是普通的高清图像等。
在某些实施例中，所述方法在步骤S1前还包括以下步骤：接收模式选择指令，进入重对焦模式。在实际应用过程中，用户可以通过触控、按键操作、生理特征识别等操作来触发所述模式选择指令。
如图2所示，为本发明另一实施例涉及的基于眼球追踪的重对焦的方法的流程图。
首先进入步骤S201播放可视频数据。所述可视源数据包括视频流或图像流数据。
而后进入步骤S202启动重对焦模式。所述重对焦模式可以通过模式选择指令触发。
而后进入步骤S203检测眼球聚焦位置。具体的，是通过摄像头实时捕捉用户眼球的视频数据，再从所述视频数据中定位出用户眼球位置，并采用光流法等眼球追踪算法完成用户眼球追踪操作。
而后进入步骤S204判断眼球聚焦位置是否发生变化，若是则进入步骤S205对即将输出显示的可视源数据，根据当前眼球聚焦位置进行重对焦处理。
在步骤S204判断为否或者步骤S205之后，可以进入步骤S206显示可视源数据。由于显示的可视源数据的焦点是根据用户当前的眼球位置实时调整的，有效提高了用户体验。
以及发明人还提供了一种基于眼球追踪的重对焦的装置，所述装置用于执行如前文所述的方法。所述装置可以包括处理器和存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如前文所述的步骤。当然，在进一步的实施例中，所述装置还包括摄像头，所述摄像头用于实时采集视频流数据，以便处理器从所述视频流数据中定位出当前用户眼球的聚焦位置。
本发明提供了一种基于眼球追踪的重对焦的方法和装置，所述方法包括以下步骤：S1:确定当前用户眼球聚焦位置；S2：根据当前用户眼球聚焦位置确定视频流焦点，并采用确定的视频流焦点对视频流文件进行对焦。上述方案通过对用户的眼球信息进行追踪，并根据追踪结果实时变更视频流文件焦点，使得用户在观看视频流文件时仿佛身临其境，有效提升了用户感官体验。
需要说明的是，尽管在本文中已经对上述各实施例进行了描述，但并非因此限制本发明的专利保护范围。因此，基于本发明的创新理念，对本文所述实施例进行的变更和修改，或利用本发明说明书及附图内容所作的等效结构或等效流程变换，直接或间接地将以上技术方案运用在其他相关的技术领域，均包括在本发明的专利保护范围之内。
Claims (8)
1.一种基于眼球追踪的重对焦的方法，其特征在于，所述方法包括以下步骤：
S1:确定当前用户眼球聚焦位置；
S2：根据当前用户眼球聚焦位置确定视频流焦点，并采用确定的视频流焦点对视频流文件进行对焦。
2.如权利要求1所述的基于眼球追踪的重对焦的方法，其特征在于，所述方法包括以下步骤：
判断当前用户眼球聚焦位置是否发生变化，若是则根据变化后的用户眼球聚焦位置重新确定新焦点，并采用新焦点对视频流文件进行重对焦。
3.如权利要求1所述的基于眼球追踪的重对焦的方法，其特征在于，所述方法包括以下步骤：
显示重对焦后的视频流文件。
4.如权利要求1所述的基于眼球追踪的重对焦的方法，其特征在于，所述方法在步骤S1前还包括以下步骤：
接收模式选择指令，进入重对焦模式。
5.如权利要求1所述的基于眼球追踪的重对焦的方法，其特征在于，所述视频流文件包括视频或图像。
6.如权利要求5所述的基于眼球追踪的重对焦的方法，其特征在于，所述视频包括3D视频流或2D视频流。
7.如权利要求5所述的基于眼球追踪的重对焦的方法，其特征在于，所述图像包括全景图像。
8.一种基于眼球追踪的重对焦的装置，其特征在于，所述装置用于执行如权利要求1至7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911366802.3A CN111031250A (zh) | 2019-12-26 | 2019-12-26 | 一种基于眼球追踪的重对焦的方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911366802.3A CN111031250A (zh) | 2019-12-26 | 2019-12-26 | 一种基于眼球追踪的重对焦的方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111031250A true CN111031250A (zh) | 2020-04-17 |
Family
ID=70214716
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911366802.3A Pending CN111031250A (zh) | 2019-12-26 | 2019-12-26 | 一种基于眼球追踪的重对焦的方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111031250A (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101587542A (zh) * | 2009-06-26 | 2009-11-25 | 上海大学 | 基于眼动轨迹跟踪的景深融合增强显示方法及*** |
| CN104065880A (zh) * | 2014-06-05 | 2014-09-24 | 惠州Tcl移动通信有限公司 | 一种基于眼球跟踪技术进行自动拍照的处理方法及*** |
| CN104798370A (zh) * | 2012-11-27 | 2015-07-22 | 高通股份有限公司 | 用于产生3-d全光视频图像的***和方法 |
| CN105721761A (zh) * | 2014-12-03 | 2016-06-29 | 联想(北京)有限公司 | 一种控制方法及电子设备 |
| CN107155102A (zh) * | 2016-03-04 | 2017-09-12 | 铜陵巨城科技有限责任公司 | 3d自动对焦显示方法及其*** |
| JP2018088647A (ja) * | 2016-11-29 | 2018-06-07 | 株式会社デンソー | 眼球追跡装置及び撮像システム |
-
2019
- 2019-12-26 CN CN201911366802.3A patent/CN111031250A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101587542A (zh) * | 2009-06-26 | 2009-11-25 | 上海大学 | 基于眼动轨迹跟踪的景深融合增强显示方法及*** |
| CN104798370A (zh) * | 2012-11-27 | 2015-07-22 | 高通股份有限公司 | 用于产生3-d全光视频图像的***和方法 |
| CN104065880A (zh) * | 2014-06-05 | 2014-09-24 | 惠州Tcl移动通信有限公司 | 一种基于眼球跟踪技术进行自动拍照的处理方法及*** |
| CN105721761A (zh) * | 2014-12-03 | 2016-06-29 | 联想(北京)有限公司 | 一种控制方法及电子设备 |
| CN107155102A (zh) * | 2016-03-04 | 2017-09-12 | 铜陵巨城科技有限责任公司 | 3d自动对焦显示方法及其*** |
| JP2018088647A (ja) * | 2016-11-29 | 2018-06-07 | 株式会社デンソー | 眼球追跡装置及び撮像システム |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3369038B1 (en) | Tracking object of interest in an omnidirectional video | |
| US9196093B2 (en) | Information presentation device, digital camera, head mount display, projector, information presentation method and non-transitory computer readable medium | |
| JP6747504B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
| JP6264665B2 (ja) | 画像処理方法および画像処理装置 | |
| KR102346437B1 (ko) | 증강 현실 장면을 재생할 때 자동 줌을 위한 방법들, 디바이스들, 및 시스템들 | |
| US20150036999A1 (en) | Viewer Attention Controlled Video Playback | |
| US20120200667A1 (en) | Systems and methods to facilitate interactions with virtual content | |
| TW202013149A (zh) | 擴增實境的影像展示方法、裝置及設備 | |
| US20170054972A1 (en) | Method and apparatus for presenting 3d scene | |
| WO2013185714A1 (zh) | 增强现实中识别对象的方法及***和计算机 | |
| CN113973190A (zh) | 视频虚拟背景图像处理方法、装置及计算机设备 | |
| CN109002248B (zh) | Vr场景截图方法、设备及存储介质 | |
| US12010288B2 (en) | Information processing device, information processing method, and program | |
| US20170278288A1 (en) | Image processing apparatus, image processing method, and computer-readable recording medium | |
| US20210037063A1 (en) | Information processing device, information processing method, and computer program | |
| WO2018014517A1 (zh) | 一种信息处理方法、装置及存储介质 | |
| US11749141B2 (en) | Information processing apparatus, information processing method, and recording medium | |
| EP3588448B1 (en) | Method and system for displaying a virtual object | |
| US11477433B2 (en) | Information processor, information processing method, and program | |
| JP2018063567A (ja) | 画像処理装置、画像処理方法およびプログラム | |
| CN111142660A (zh) | 一种显示装置、画面显示方法和存储介质 | |
| CN115985209A (zh) | 可穿戴显示设备、控制方法、装置、电子设备和存储介质 | |
| CN111031250A (zh) | 一种基于眼球追踪的重对焦的方法和装置 | |
| JP7065708B2 (ja) | 録画再生装置及びプログラム | |
| CN111736692A (zh) | 显示方法、显示装置、存储介质与头戴式设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200417 |