CN113395571B - 一种基于数字电视的内容智能展示方法和装置 - Google Patents
一种基于数字电视的内容智能展示方法和装置 Download PDFInfo
- Publication number
- CN113395571B CN113395571B CN202110940437.3A CN202110940437A CN113395571B CN 113395571 B CN113395571 B CN 113395571B CN 202110940437 A CN202110940437 A CN 202110940437A CN 113395571 B CN113395571 B CN 113395571B
- Authority
- CN
- China
- Prior art keywords
- program
- content
- physiological
- fps
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 72
- 230000035790 physiological processes and functions Effects 0.000 claims abstract description 80
- 238000012545 processing Methods 0.000 claims abstract description 66
- 239000013598 vector Substances 0.000 claims description 44
- 238000012795 verification Methods 0.000 claims description 26
- 238000012549 training Methods 0.000 claims description 23
- 230000008569 process Effects 0.000 claims description 19
- 238000004422 calculation algorithm Methods 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 14
- 230000015654 memory Effects 0.000 claims description 14
- 238000003062 neural network model Methods 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000002372 labelling Methods 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 abstract description 8
- 239000002699 waste material Substances 0.000 abstract description 8
- 238000005516 engineering process Methods 0.000 description 8
- 238000003780 insertion Methods 0.000 description 6
- 230000037431 insertion Effects 0.000 description 6
- 210000004556 brain Anatomy 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 230000006386 memory function Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000002688 persistence Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 206010033799 Paralysis Diseases 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000012966 insertion method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
- H04N21/4383—Accessing a communication channel
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
- H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
- H04N21/44213—Monitoring of end-user related data
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Social Psychology (AREA)
- Computer Networks & Wireless Communication (AREA)
- Databases & Information Systems (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本申请揭示一种基于数字电视的内容智能展示方法，获取确定的第一节目，获取与所述第一节目对应的第二节目；接收第一节目的完整内容数据和第二节目的简略内容数据；以第一FPS的帧率展示第一节目内容；进行第一次图像采集和第一次生理数据采集处理；输入生理状态预测模型中进行处理，以得到第一预测状态；若第一预测状态为稳定，则以第二FPS的帧率展示第一节目内容，同时以第三FPS的帧率展示第二节目的简略内容；得到第二图像序列和第二生理特征数据序列；计算距离数值；输入所述生理状态预测模型中进行处理，以得到第二预测状态；生成内容接收与展示指令，解决了两个节目之间的衔接问题，减少了可能的数据传输中的浪费。
Description
技术领域
本申请涉及到数字电视领域，特别是涉及到一种基于数字电视的内容智能展示方法和装置。
背景技术
对于早先的模拟电视时代，电视机均只能被动接收电视台发送的电视信号，因此对于观看者而言，其仅能顺序观看已经安排好的节目内容，最多只能手动切换频道，寻找其他节目。
然而随着电视技术的发展，数字电视技术的普及，观看者对于节目内容的选择具有了更多的选择性，具有更多的节目来源，例如可以从网络上获取更多的节目内容，从而出现了一个以往不存在的问题，即两个节目之间的衔接问题。具体地，当观看者选择了一个节目后，为了便于流畅播放，一般会在该节目后继续播放相类似的另一个节目，但这个方式无法确定另一个节目是否是观看者所喜欢的，因此现有的数字电视的内容展示方案，无法解决两个节目之间的衔接问题，进而产生第二个节目的传输数据浪费的问题。
发明内容
本申请提出一种基于数字电视的内容智能展示方法，应用于数字电视播放终端，包括：
S1、获取观看者通过数字电视控制器确定的第一节目，并根据预设的节目关联表，获取与所述第一节目对应的第二节目；其中，所述节目关联表中记载了不同节目之间的关联关系；
S2、接收来自于节目内容发送端的第一节目的完整内容数据和第二节目的简略内容数据；
S3、在第一时间窗口内，以第一FPS的帧率向观看者展示第一节目内容；
S4、在第二时间窗口内，采用预设的摄像头和生理数据传感器，对观看者对应进行第一次图像采集和第一次生理数据采集处理，以得到第一图像序列和第一生理特征数据序列；其中，所述第二时间窗口被所述第一时间窗口覆盖；
S5、将所述第一图像序列和第一生理特征数据序列，输入预设的生理状态预测模型中进行处理，以得到所述生理状态预测模型输出的第一预测状态，并判断所述第一预测状态是否为稳定；其中，所述第一预测状态为稳定或者不稳定，所述生理状态预测模型基于深度神经网络模型，并采用反向传播法通过有监督学习的方式训练而成；
S6、若所述第一预测状态为稳定，则以第二FPS的帧率向观看者继续展示第一节目内容，同时以第三FPS的帧率并采用插帧的方式向观看者展示第二节目的简略内容；其中，所述第三FPS的数值小于所述第二FPS的数值的1/10，所述第二FPS的数值与所述第三FPS的数值之和等于所述第一FPS的数值；
S7、在第三时间窗口内，采用预设的摄像头和生理数据传感器，对观看者对应进行第二次图像采集和第二次生理数据采集处理，以得到第二图像序列和第二生理特征数据序列；所述第三时间窗口的长度与所述第二时间窗口的长度相同；
S8、根据预设的距离算法，计算所述第二生理特征数据序列与所述第一生理特征数据序列之间的距离数值，并判断所述距离数值是否大于预设的距离阈值；
S9、若所述距离数值不大于预设的距离阈值，则将所述第二图像序列和第二生理特征数据序列，输入所述生理状态预测模型中进行处理，以得到所述生理状态预测模型输出的第二预测状态，并判断所述第二预测状态是否为稳定；
S10、若所述第二预测状态为稳定，则生成内容接收与展示指令，以指示在展示完所述第一节目内容后，接收第二节目的完整内容数据，并向观看者展示第二节目的完整内容。
进一步地，所述将所述第一图像序列和第一生理特征数据序列，输入预设的生理状态预测模型中进行处理，以得到所述生理状态预测模型输出的第一预测状态，并判断所述第一预测状态是否为稳定的步骤S5之前，包括：
S41、调取预先收集的多个样本图像序列和多个样本生理特征数据序列，并对所述多个样本图像序列和多个样本生理特征数据序列进行人工标注处理；其中，样本图像序列是在被观察者观看数字电视节目时采集得到的，并且样本生理特征数据序列也是在被观察者观看数字电视节目时采集得到的；
S42、根据预设比例，将所述多个样本图像序列划分为多个训练用图像序列和多个验证用图像序列，并且根据预设比例，将所述多个样本生理特征数据序列划分为多个训练用生理特征数据序列和多个验证用生理特征数据序列；
S43、采用所述多个训练用图像序列和所述多个训练用生理特征数据序列，对预设的深度神经网络模型进行训练，以得到中间预测模型；其中，在训练过程中，采用反向传播法更新深度神经网络模型的各层网络参数；
S44、采用所述多个验证用图像序列和所述多个验证用生理特征数据序列，对所述中间预测模型进行验证处理，以得到验证结果，并判断验证结果是否为验证通过；
S45、若验证结果为验证通过，则将所述中间预测模型记为最终的生理状态预测模型。
进一步地，所述若所述第一预测状态为稳定，则以第二FPS的帧率向观看者继续展示第一节目内容，同时以第三FPS的帧率并采用插帧的方式向观看者展示第二节目的简略内容的步骤S6，包括：
S601、获取预设的第三FPS的数值，并根据所述第三FPS的数值，生成插帧比例；其中，所述插帧比例等于所述第三FPS的数值加1；
S602、根据所述插帧比例，将每秒划分为m个时间段；其中，所述m个时间段的数量等于所述插帧比例；
S603、在除了第m个时间段之外的其他时间段的末端，分别***一幅第二节目的简略内容中的图像；
S604、根据公式：第二FPS的数值=第一FPS的数值－第三FPS的数值的差值，并将展示第一节目内容的帧率修改为所述第二FPS的数值。
进一步地，所述根据预设的距离算法，计算所述第二生理特征数据序列与所述第一生理特征数据序列之间的距离数值，并判断所述距离数值是否大于预设的距离阈值的步骤S8，包括：
S801、将所述第一生理特征数据序列转换为第一数值向量；其中，所述第一数值向量中的每个分向量均为所述第一生理特征数据序列的元素对应的数值；
S802、将所述第二生理特征数据序列转换为第二数值向量；其中，所述第二数值向量中的每个分向量均为所述第二生理特征数据序列的元素对应的数值；
S803、根据公式：
S804、将所述第一距离数值Y记为所述第二生理特征数据序列与所述第一生理特征数据序列之间的距离数值，并判断所述第一距离数值Y是否大于预设的距离阈值。
进一步地，所述若所述第二预测状态为稳定，则生成内容接收与展示指令，以指示在展示完所述第一节目内容后，接收第二节目的完整内容数据，并向观看者展示第二节目的完整内容的步骤S10之后，包括：
S101、根据预设的节目关联表，获取与所述第二节目对应的第三节目；
S102、接收来自于节目内容发送端的第三节目的简略内容数据；
S103、在第四时间窗口内，以第四FPS的帧率向观看者展示第二节目内容；
S104、在第五时间窗口内，采用预设的摄像头和生理数据传感器，对观看者对应进行第三次图像采集和第三次生理数据采集处理，以得到第三图像序列和第三生理特征数据序列；其中，所述第五时间窗口被所述第四时间窗口覆盖；
S105、将所述第三图像序列和第三生理特征数据序列，输入所述生理状态预测模型中进行处理，以得到所述生理状态预测模型输出的第三预测状态，并判断所述第三预测状态是否为稳定；
S106、若所述第三预测状态为稳定，则以第五FPS的帧率向观看者继续展示第二节目内容，同时以第六FPS的帧率并采用插帧的方式向观看者展示第三节目的简略内容；其中，所述第六FPS的数值小于所述第五FPS的数值的1/10，所述第五FPS的数值与所述第六FPS的数值之和等于所述第四FPS的数值；
S107、在第六时间窗口内，采用预设的摄像头和生理数据传感器，对观看者对应进行第四次图像采集和第四次生理数据采集处理，以得到第四图像序列和第四生理特征数据序列；
S108、根据预设的距离算法，计算所述第四生理特征数据序列与所述第三生理特征数据序列之间的第二距离数值，并判断所述第二距离数值是否大于预设的距离阈值；
S109、若所述第二距离数值不大于预设的距离阈值，则将所述第四图像序列和第四生理特征数据序列，输入所述生理状态预测模型中进行处理，以得到所述生理状态预测模型输出的第四预测状态，并判断所述第四预测状态是否为稳定；
S110、若所述第四预测状态为稳定，则生成内容接收与展示指令，以指示在展示完第二节目内容后，接收第三节目的完整内容数据，并向观看者展示第三节目的完整内容。
本申请提供一种基于数字电视的内容智能展示装置，包括：
第一节目获取单元，用于获取观看者通过数字电视控制器确定的第一节目，并根据预设的节目关联表，获取与所述第一节目对应的第二节目；其中，所述节目关联表中记载了不同节目之间的关联关系；
内容数据接收单元，用于接收来自于节目内容发送端的第一节目的完整内容数据和第二节目的简略内容数据；
第一节目内容展示单元，用于在第一时间窗口内，以第一FPS的帧率向观看者展示第一节目内容；
第一次图像采集单元，用于在第二时间窗口内，采用预设的摄像头和生理数据传感器，对观看者对应进行第一次图像采集和第一次生理数据采集处理，以得到第一图像序列和第一生理特征数据序列；其中，所述第二时间窗口被所述第一时间窗口覆盖；
第一预测状态判断单元，用于将所述第一图像序列和第一生理特征数据序列，输入预设的生理状态预测模型中进行处理，以得到所述生理状态预测模型输出的第一预测状态，并判断所述第一预测状态是否为稳定；其中，所述第一预测状态为稳定或者不稳定，所述生理状态预测模型基于深度神经网络模型，并采用反向传播法通过有监督学习的方式训练而成；
插帧展示单元，用于若所述第一预测状态为稳定，则以第二FPS的帧率向观看者继续展示第一节目内容，同时以第三FPS的帧率并采用插帧的方式向观看者展示第二节目的简略内容；其中，所述第三FPS的数值小于所述第二FPS的数值的1/10，所述第二FPS的数值与所述第三FPS的数值之和等于所述第一FPS的数值；
第二次图像采集单元，用于在第三时间窗口内，采用预设的摄像头和生理数据传感器，对观看者对应进行第二次图像采集和第二次生理数据采集处理，以得到第二图像序列和第二生理特征数据序列；所述第三时间窗口的长度与所述第二时间窗口的长度相同；
距离数值计算单元，用于根据预设的距离算法，计算所述第二生理特征数据序列与所述第一生理特征数据序列之间的距离数值，并判断所述距离数值是否大于预设的距离阈值；
第二预测状态判断单元，用于若所述距离数值不大于预设的距离阈值，则将所述第二图像序列和第二生理特征数据序列，输入所述生理状态预测模型中进行处理，以得到所述生理状态预测模型输出的第二预测状态，并判断所述第二预测状态是否为稳定；
内容接收与展示指令生成单元，用于若所述第二预测状态为稳定，则生成内容接收与展示指令，以指示在展示完所述第一节目内容后，接收第二节目的完整内容数据，并向观看者展示第二节目的完整内容。
本申请提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述方法的步骤。
本申请提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的方法的步骤。
本申请的基于数字电视的内容智能展示方法、装置、计算机设备和存储介质，获取确定的第一节目，获取与所述第一节目对应的第二节目；接收第一节目的完整内容数据和第二节目的简略内容数据；以第一FPS的帧率展示第一节目内容；进行第一次图像采集和第一次生理数据采集处理，以得到第一图像序列和第一生理特征数据序列；输入生理状态预测模型中进行处理，以得到第一预测状态；若第一预测状态为稳定，则以第二FPS的帧率展示第一节目内容，同时以第三FPS的帧率并采用插帧的方式展示第二节目的简略内容；得到第二图像序列和第二生理特征数据序列；计算距离数值；若距离数值不大于距离阈值，则输入所述生理状态预测模型中进行处理，以得到所述生理状态预测模型输出的第二预测状态；若所述第二预测状态为稳定，则生成内容接收与展示指令，解决了两个节目之间的衔接问题，减少了可能的数据传输中的浪费（原因在于，由于保证了第二节目能够被完整看完，因此不会出现第二节目被观看者直接放弃的状态），进而实现了整体的内容展示的效率提升。
附图说明
图1 为本申请一实施例的基于数字电视的内容智能展示方法的流程示意图；
图2 为本申请一实施例的基于数字电视的内容智能展示装置的结构示意框图；
图3 为本申请一实施例的计算机设备的结构示意框图。
本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
参照图1，本申请实施例提供一种基于数字电视的内容智能展示方法，应用于数字电视播放终端，包括：
S1、获取观看者通过数字电视控制器确定的第一节目，并根据预设的节目关联表，获取与所述第一节目对应的第二节目；其中，所述节目关联表中记载了不同节目之间的关联关系；
S2、接收来自于节目内容发送端的第一节目的完整内容数据和第二节目的简略内容数据；
S3、在第一时间窗口内，以第一FPS的帧率向观看者展示第一节目内容；
S4、在第二时间窗口内，采用预设的摄像头和生理数据传感器，对观看者对应进行第一次图像采集和第一次生理数据采集处理，以得到第一图像序列和第一生理特征数据序列；其中，所述第二时间窗口被所述第一时间窗口覆盖；
S5、将所述第一图像序列和第一生理特征数据序列，输入预设的生理状态预测模型中进行处理，以得到所述生理状态预测模型输出的第一预测状态，并判断所述第一预测状态是否为稳定；其中，所述第一预测状态为稳定或者不稳定，所述生理状态预测模型基于深度神经网络模型，并采用反向传播法通过有监督学习的方式训练而成；
S6、若所述第一预测状态为稳定，则以第二FPS的帧率向观看者继续展示第一节目内容，同时以第三FPS的帧率并采用插帧的方式向观看者展示第二节目的简略内容；其中，所述第三FPS的数值小于所述第二FPS的数值的1/10，所述第二FPS的数值与所述第三FPS的数值之和等于所述第一FPS的数值；
S7、在第三时间窗口内，采用预设的摄像头和生理数据传感器，对观看者对应进行第二次图像采集和第二次生理数据采集处理，以得到第二图像序列和第二生理特征数据序列；所述第三时间窗口的长度与所述第二时间窗口的长度相同；
S8、根据预设的距离算法，计算所述第二生理特征数据序列与所述第一生理特征数据序列之间的距离数值，并判断所述距离数值是否大于预设的距离阈值；
S9、若所述距离数值不大于预设的距离阈值，则将所述第二图像序列和第二生理特征数据序列，输入所述生理状态预测模型中进行处理，以得到所述生理状态预测模型输出的第二预测状态，并判断所述第二预测状态是否为稳定；
S10、若所述第二预测状态为稳定，则生成内容接收与展示指令，以指示在展示完所述第一节目内容后，接收第二节目的完整内容数据，并向观看者展示第二节目的完整内容。
本申请利用的原理为人眼人脑的暂时记忆功能，并且本申请利用的这种人眼人脑的暂时记忆功能，与传统的动画、视频等播放原理不同，具体地：
传统的动画、视频等播放原理（即视觉暂留原理），是指光对视网膜所产生的视觉在光停止作用后，仍保留一段时间的现象。
而本申请利用的人眼人脑的暂时记忆功能的自然规律，是指当人眼人脑感知到某个画面时（该画面不连续，因此不会对当前节目造成明显影响），会进行暂时存储的能力。利用这种功能，本申请实际上实现了两个效果：
第一，可以提前排除观看者明显厌恶的节目。当通过插帧技术展示的第二节目内容是观看者明显反感的节目时，会影响观看者的当前体验，这会在观看者的表情、行为或者生理数据中体现出来，但是由于只是插帧展示部分第二节目内容，因此观看者的当前体验并不会受到过大破坏，但能够以此为代价，实现对第二节目的筛选；
第二，可以增加观看者对于第二节目的接受程度。由于已通过插帧技术展示了部分第二节目内容的画面，因此在后续正式展示第二节目内容时，观看者会看到部分相同画面（虽然主观意识可能不会意识到），因此会增加对第二节目的亲和度，从而提高观看者对于第二节目的接受程度。
由于利用了上述自然规律，本申请在具体实施过程中，通过帧率的调整、插帧的技术、生理数据的采集、状态的预测等手段，实现了减少了可能的数据传输中的浪费（原因在于，由于保证了第二节目能够被完整看完，因此不会出现第二节目被观看者直接放弃的状态），进而实现了整体的内容展示的效率提升的目的。
如上述步骤S1-S4所述，获取观看者通过数字电视控制器确定的第一节目，并根据预设的节目关联表，获取与所述第一节目对应的第二节目；其中，所述节目关联表中记载了不同节目之间的关联关系；接收来自于节目内容发送端的第一节目的完整内容数据和第二节目的简略内容数据；在第一时间窗口内，以第一FPS的帧率向观看者展示第一节目内容；在第二时间窗口内，采用预设的摄像头和生理数据传感器，对观看者对应进行第一次图像采集和第一次生理数据采集处理，以得到第一图像序列和第一生理特征数据序列；其中，所述第二时间窗口被所述第一时间窗口覆盖。
其中，数字电视控制器为观看者与数字电视之间相互交互的一个工具。所述第一节目、第二节目均可为任意可行节目，例如可为电视台提供的电视节目，也可为互联网中各网站的视频内容等，并且优选为时间长度较短的视频内容。节目关联表，可采用任意可行方式生成，例如可采用现有的内容推荐算法，生成观看者可能的喜欢节目名单，再从节目名单中选出类型相同的节目，形成相互的关联关系，从而生成节目关联表。其中，节目之间的关联关系可为任意可行关系，例如为同类型的节目等关联关系。由于此部分内容不是本申请的重点，并且现有的技术，例如各种视频平台均采用类似的节目推荐技术，以实现连续播放的目的，因此本申请也可以直接采用这些现有的技术来预先生成节目关联表。当然，所述节目关联表也可以直接采用人工标记关联关系的方式生成。因此，借助节目关联表，能够得到与所述第一节目对应的第二节目。
接收来自于节目内容发送端的第一节目的完整内容数据和第二节目的简略内容数据。其中，由于本申请是提及接收来自于节目内容发送端的第一节目的完整内容数据，但这种接收的过程可以采用任意可行方式实现，例如，采用预先获取完全的数据，再继续播放的方式；或者，采用保持与节目内容发送端的实时信号连接，从而实时接收节目内容数据的，再实时播放的方式来实现。但重点在于，第一节目的数据为完整内容数据，而第二节目的数据为简略内容数据。所述简略内容数据可由第二节目的完整内容数据中抽取部分帧图像而形成的。
在第一时间窗口内，以第一FPS的帧率向观看者展示第一节目内容。所述第一FPS的帧率例如为16-60帧每秒，这与数字电视的屏幕直接相关。在第一FPS的帧率的状态下，观看者能够流畅地观看第一节目内容。
在第二时间窗口内，采用预设的摄像头和生理数据传感器，对观看者对应进行第一次图像采集和第一次生理数据采集处理，以得到第一图像序列和第一生理特征数据序列；其中，所述第二时间窗口被所述第一时间窗口覆盖。第二时间窗口与第一时间窗口的相互关联，是为了保证，摄像头与生理数据传感器的第一次采集过程，是在观看者观看第一节目时进行的。摄像头可为与数字电视播放终端一体。生理数据传感器可为任意可行方式存在，例如采用智能手环的方式，用于采集心率、血压等数据。生理数据传感器还可以包括温度传感器等。此时的第一图像序列和第一生理特征数据序列，反应的是观看者在观看第一节目的当前状态。
其中，数字电视播放终端，在实际场景中例如以电视机的方式呈现。
如上述步骤S5-S7所述，将所述第一图像序列和第一生理特征数据序列，输入预设的生理状态预测模型中进行处理，以得到所述生理状态预测模型输出的第一预测状态，并判断所述第一预测状态是否为稳定；其中，所述第一预测状态为稳定或者不稳定，所述生理状态预测模型基于深度神经网络模型，并采用反向传播法通过有监督学习的方式训练而成；若所述第一预测状态为稳定，则以第二FPS的帧率向观看者继续展示第一节目内容，同时以第三FPS的帧率并采用插帧的方式向观看者展示第二节目的简略内容；其中，所述第三FPS的数值小于所述第二FPS的数值的1/10，所述第二FPS的数值与所述第三FPS的数值之和等于所述第一FPS的数值；在第三时间窗口内，采用预设的摄像头和生理数据传感器，对观看者对应进行第二次图像采集和第二次生理数据采集处理，以得到第二图像序列和第二生理特征数据序列；所述第三时间窗口的长度与所述第二时间窗口的长度相同。
本申请的生理状态预测模型，用于确定观看者的生理状态是否稳定。一般而言，观看者在观看电视时，处于舒缓状态，是一种放松的稳定状态，这是最常见的观看电视节目时的状态，例如，观看者可以瘫在沙发上观看节目。当然，在其他可能的情形下，观看者也可能会处于另一种稳定状态，但本申请优选应用于观看舒缓节目的场景中。由于观看者的状态与观看者当时的图像（面部图像、肢体图像等）和生理特征数据直接相关，因此能够以所述第一图像序列和第一生理特征数据序列为依据，采用基于深度神经网络模型的生理状态预测模型进行预测得到。其中，所述深度神经网络模型可为任意可行模型，例如深度卷积神经网络模型、残差网络模型、长短期记忆网络模型等。并在训练的过程中，采用反向传播法通过有监督学习的方式训练而成。
若所述第一预测状态为稳定，则以第二FPS的帧率向观看者继续展示第一节目内容，同时以第三FPS的帧率并采用插帧的方式向观看者展示第二节目的简略内容；其中，所述第三FPS的数值小于所述第二FPS的数值的1/10，所述第二FPS的数值与所述第三FPS的数值之和等于所述第一FPS的数值。
其中，第二FPS的帧率与第一FPS的帧率相近，因此不会对观看者观看第一节目时有过多的负面影响。所述第三FPS的数值例如为1-5帧每秒，所述第二FPS的数值例如为19-55帧每秒，所述第一FPS的数值例如为20-60帧每秒。插帧的方式，指第二节目的简略内容不是连续的，而是分为多个单独的帧，插在第一节目内容中进行展示。在这种展示过程中，观看者由于无法连续看到第二节目的简略内容，因此不会因为视觉暂留原理形成关于第二节目的视频片段，从而不会影响对第一节目的观看。但是，观看者仍然看到了第二节目的多个单独的帧，因此在主观或者潜意识中，对其中的至少部分画面会存有印象。此时，若第二节目的多个单独的帧中存在让观看者非常反感的影像，则会影响观看者的状态，从而可知观看者对于第二节目是厌恶的，因此不应当继续展示第二节目。
而在另外一方面，若观看者对于第二节目是能够接受的，本申请的这种插帧方式，还存在另一种效果，即提高观看者对于第二节目的接受程度。正由于观看者仍然看到了第二节目的多个单独的帧，因此在主观或者潜意识中，对其中的至少部分画面会存有印象，因此在后续展示第二节目的完整内容时，观看者会有类似于即视感之类的感觉，有利于提高观看者对于第二节目的感兴趣程度。
之后，为了确定观看者对于插帧后的展示内容，是否出现排斥现象，本申请在第三时间窗口内，采用预设的摄像头和生理数据传感器，对观看者对应进行第二次图像采集和第二次生理数据采集处理，以得到第二图像序列和第二生理特征数据序列；所述第三时间窗口的长度与所述第二时间窗口的长度相同。此时的第二次图像采集和第二次生理数据采集处理，具体的操作过程与第一次图像采集和第一次生理数据采集处理相同，区别仅在于执行的时间不同。
进一步地，所述将所述第一图像序列和第一生理特征数据序列，输入预设的生理状态预测模型中进行处理，以得到所述生理状态预测模型输出的第一预测状态，并判断所述第一预测状态是否为稳定的步骤S5之前，包括：
S41、调取预先收集的多个样本图像序列和多个样本生理特征数据序列，并对所述多个样本图像序列和多个样本生理特征数据序列进行人工标注处理；其中，样本图像序列是在被观察者观看数字电视节目时采集得到的，并且样本生理特征数据序列也是在被观察者观看数字电视节目时采集得到的；
S42、根据预设比例，将所述多个样本图像序列划分为多个训练用图像序列和多个验证用图像序列，并且根据预设比例，将所述多个样本生理特征数据序列划分为多个训练用生理特征数据序列和多个验证用生理特征数据序列；
S43、采用所述多个训练用图像序列和所述多个训练用生理特征数据序列，对预设的深度神经网络模型进行训练，以得到中间预测模型；其中，在训练过程中，采用反向传播法更新深度神经网络模型的各层网络参数；
S44、采用所述多个验证用图像序列和所述多个验证用生理特征数据序列，对所述中间预测模型进行验证处理，以得到验证结果，并判断验证结果是否为验证通过；
S45、若验证结果为验证通过，则将所述中间预测模型记为最终的生理状态预测模型。
从而完成了对生理状态预测模型的训练，使得生理状态预测模型能够胜任对观看者的状态的预测任务。其中，反向传播法是适合于多层神经元网络的一种学习算法，它建立在梯度下降法的基础上，有利于具有多层隐层结构的神经网络的参数更新。其中，样本图像序列和样本生理特征数据序列，分别与前述的第一样本图像序列和第一样本生理特征数据序列一一对应，以减少最后训练得到的生理状态预测模型在实际应用时的误差。并且，训练数据与验证数据，是从同样的样本数据中划分出来的，而最终的生理状态预测模型经过了验证数据的验证，从而能够保证生理状态预测模型的可靠性。
进一步地，所述若所述第一预测状态为稳定，则以第二FPS的帧率向观看者继续展示第一节目内容，同时以第三FPS的帧率并采用插帧的方式向观看者展示第二节目的简略内容的步骤S6，包括：
S601、获取预设的第三FPS的数值，并根据所述第三FPS的数值，生成插帧比例；其中，所述插帧比例等于所述第三FPS的数值加1；
S602、根据所述插帧比例，将每秒划分为m个时间段；其中，所述m个时间段的数量等于所述插帧比例；
S603、在除了第m个时间段之外的其他时间段的末端，分别***一幅第二节目的简略内容中的图像；
S604、根据公式：第二FPS的数值=第一FPS的数值－第三FPS的数值的差值，并将展示第一节目内容的帧率修改为所述第二FPS的数值。
从而以具有预留时间段的方式，实现了以插帧方式展示第二节目的简略内容。由于插帧比例等于所述第三FPS的数值加1，并且除了第m个时间段之外的其他时间段的末端，分别***一幅第二节目的简略内容中的图像，从而保证了，任意两个第二节目的简略内容中的图像之间的时间差均不会太小，以保证不会出现影响观看第一节目的情况出现。
如上述步骤S8-S10所述，根据预设的距离算法，计算所述第二生理特征数据序列与所述第一生理特征数据序列之间的距离数值，并判断所述距离数值是否大于预设的距离阈值；若所述距离数值不大于预设的距离阈值，则将所述第二图像序列和第二生理特征数据序列，输入所述生理状态预测模型中进行处理，以得到所述生理状态预测模型输出的第二预测状态，并判断所述第二预测状态是否为稳定；若所述第二预测状态为稳定，则生成内容接收与展示指令，以指示在展示完所述第一节目内容后，接收第二节目的完整内容数据，并向观看者展示第二节目的完整内容。
采用距离算法的目的在于，确定生理特征数据是否有较大的变化。由于在观看电视的时候，人的身体部分以及表情，可能都处于变化较小的状况，因此若要进行初步判定观看者的状态是否仍保持稳定时，不应采用第二图像序列。而生理特征数据，由于是难以受主观意识控制的，因此适合作为初步判定的依据，据此，计算所述第二生理特征数据序列与所述第一生理特征数据序列之间的距离数值，并判断所述距离数值是否大于预设的距离阈值。其中，当距离数值越小，例如接近于0时，表明所述第二生理特征数据序列与所述第一生理特征数据序列几乎完全相同，因此可初步判定观看者的状态是较为稳定的。反之，若距离数值较大，则表明所述第二生理特征数据序列与所述第一生理特征数据序列区别较大，即观看者的状态发生了改变，则无需进一步采用生理状态预测模型，即可得知第二节目不适应继续展示。
若所述距离数值不大于预设的距离阈值，则将所述第二图像序列和第二生理特征数据序列，输入所述生理状态预测模型中进行处理，以得到所述生理状态预测模型输出的第二预测状态，并判断所述第二预测状态是否为稳定。此时进行的第二次状态预测的过程，与第一次状态预测的过程相同，在此不再赘述。
若所述第二预测状态为稳定，则生成内容接收与展示指令，以指示在展示完所述第一节目内容后，接收第二节目的完整内容数据，并向观看者展示第二节目的完整内容。由于第二预测状态为稳定，则表明观看者对于第二节目的接受度较高，因此可以继续展示第二节目的完整内容。
进一步地，所述根据预设的距离算法，计算所述第二生理特征数据序列与所述第一生理特征数据序列之间的距离数值，并判断所述距离数值是否大于预设的距离阈值的步骤S8，包括：
S801、将所述第一生理特征数据序列转换为第一数值向量；其中，所述第一数值向量中的每个分向量均为所述第一生理特征数据序列的元素对应的数值；
S802、将所述第二生理特征数据序列转换为第二数值向量；其中，所述第二数值向量中的每个分向量均为所述第二生理特征数据序列的元素对应的数值；
S803、根据公式：
S804、将所述第一距离数值Y记为所述第二生理特征数据序列与所述第一生理特征数据序列之间的距离数值，并判断所述第一距离数值Y是否大于预设的距离阈值。
从而提高距离数值计算的准确性。由于本申请采用的是特别的距离计算公式来计算第一距离 数值，即，
，而该公式不仅考虑到了向量之间的数值差异，还考虑到了向量之间的角度差异，因此其计算准确性得到了提高。其中，在转换为数值向量的过程中，无论生理特征数据序列是由模拟数值的方式呈现，还是以数字数值的方式呈现，由于生理特征数据序列的每个元素均是数值，因此将元素的数值提取出来并作为分向量，就能得到数值向量。
进一步地，所述若所述第二预测状态为稳定，则生成内容接收与展示指令，以指示在展示完所述第一节目内容后，接收第二节目的完整内容数据，并向观看者展示第二节目的完整内容的步骤S10之后，包括：
S101、根据预设的节目关联表，获取与所述第二节目对应的第三节目；
S102、接收来自于节目内容发送端的第三节目的简略内容数据；
S103、在第四时间窗口内，以第四FPS的帧率向观看者展示第二节目内容；
S104、在第五时间窗口内，采用预设的摄像头和生理数据传感器，对观看者对应进行第三次图像采集和第三次生理数据采集处理，以得到第三图像序列和第三生理特征数据序列；其中，所述第五时间窗口被所述第四时间窗口覆盖；
S105、将所述第三图像序列和第三生理特征数据序列，输入所述生理状态预测模型中进行处理，以得到所述生理状态预测模型输出的第三预测状态，并判断所述第三预测状态是否为稳定；
S106、若所述第三预测状态为稳定，则以第五FPS的帧率向观看者继续展示第二节目内容，同时以第六FPS的帧率并采用插帧的方式向观看者展示第三节目的简略内容；其中，所述第六FPS的数值小于所述第五FPS的数值的1/10，所述第五FPS的数值与所述第六FPS的数值之和等于所述第四FPS的数值；
S107、在第六时间窗口内，采用预设的摄像头和生理数据传感器，对观看者对应进行第四次图像采集和第四次生理数据采集处理，以得到第四图像序列和第四生理特征数据序列；
S108、根据预设的距离算法，计算所述第四生理特征数据序列与所述第三生理特征数据序列之间的第二距离数值，并判断所述第二距离数值是否大于预设的距离阈值；
S109、若所述第二距离数值不大于预设的距离阈值，则将所述第四图像序列和第四生理特征数据序列，输入所述生理状态预测模型中进行处理，以得到所述生理状态预测模型输出的第四预测状态，并判断所述第四预测状态是否为稳定；
S110、若所述第四预测状态为稳定，则生成内容接收与展示指令，以指示在展示完第二节目内容后，接收第三节目的完整内容数据，并向观看者展示第三节目的完整内容。
上述步骤S101-S110，描述的是展示第二节目和第三节目的状况，即本申请可应用于三个以上节目的连续展示。其中，上述步骤S101-S110的具体执行过程实际上与前述步骤S1-S10相同，在此不再赘述。
本申请的基于数字电视的内容智能展示方法，获取确定的第一节目，获取与所述第一节目对应的第二节目；接收第一节目的完整内容数据和第二节目的简略内容数据；以第一FPS的帧率展示第一节目内容；进行第一次图像采集和第一次生理数据采集处理，以得到第一图像序列和第一生理特征数据序列；输入生理状态预测模型中进行处理，以得到第一预测状态；若第一预测状态为稳定，则以第二FPS的帧率展示第一节目内容，同时以第三FPS的帧率并采用插帧的方式展示第二节目的简略内容；得到第二图像序列和第二生理特征数据序列；计算距离数值；若距离数值不大于距离阈值，则输入所述生理状态预测模型中进行处理，以得到所述生理状态预测模型输出的第二预测状态；若所述第二预测状态为稳定，则生成内容接收与展示指令，解决了两个节目之间的衔接问题，减少了可能的数据传输中的浪费（原因在于，由于保证了第二节目能够被完整看完，因此不会出现第二节目被观看者直接放弃的状态），进而实现了整体的内容展示的效率提升。
参照图2，本申请实施例提供一种基于数字电视的内容智能展示装置，包括：
第一节目获取单元10，用于获取观看者通过数字电视控制器确定的第一节目，并根据预设的节目关联表，获取与所述第一节目对应的第二节目；其中，所述节目关联表中记载了不同节目之间的关联关系；
内容数据接收单元20，用于接收来自于节目内容发送端的第一节目的完整内容数据和第二节目的简略内容数据；
第一节目内容展示单元30，用于在第一时间窗口内，以第一FPS的帧率向观看者展示第一节目内容；
第一次图像采集单元40，用于在第二时间窗口内，采用预设的摄像头和生理数据传感器，对观看者对应进行第一次图像采集和第一次生理数据采集处理，以得到第一图像序列和第一生理特征数据序列；其中，所述第二时间窗口被所述第一时间窗口覆盖；
第一预测状态判断单元50，用于将所述第一图像序列和第一生理特征数据序列，输入预设的生理状态预测模型中进行处理，以得到所述生理状态预测模型输出的第一预测状态，并判断所述第一预测状态是否为稳定；其中，所述第一预测状态为稳定或者不稳定，所述生理状态预测模型基于深度神经网络模型，并采用反向传播法通过有监督学习的方式训练而成；
插帧展示单元60，用于若所述第一预测状态为稳定，则以第二FPS的帧率向观看者继续展示第一节目内容，同时以第三FPS的帧率并采用插帧的方式向观看者展示第二节目的简略内容；其中，所述第三FPS的数值小于所述第二FPS的数值的1/10，所述第二FPS的数值与所述第三FPS的数值之和等于所述第一FPS的数值；
第二次图像采集单元70，用于在第三时间窗口内，采用预设的摄像头和生理数据传感器，对观看者对应进行第二次图像采集和第二次生理数据采集处理，以得到第二图像序列和第二生理特征数据序列；所述第三时间窗口的长度与所述第二时间窗口的长度相同；
距离数值计算单元80，用于根据预设的距离算法，计算所述第二生理特征数据序列与所述第一生理特征数据序列之间的距离数值，并判断所述距离数值是否大于预设的距离阈值；
第二预测状态判断单元90，用于若所述距离数值不大于预设的距离阈值，则将所述第二图像序列和第二生理特征数据序列，输入所述生理状态预测模型中进行处理，以得到所述生理状态预测模型输出的第二预测状态，并判断所述第二预测状态是否为稳定；
内容接收与展示指令生成单元100，用于若所述第二预测状态为稳定，则生成内容接收与展示指令，以指示在展示完所述第一节目内容后，接收第二节目的完整内容数据，并向观看者展示第二节目的完整内容。
其中上述单元分别用于执行的操作与前述实施方式的基于数字电视的内容智能展示方法的步骤一一对应，在此不再赘述。
本申请的基于数字电视的内容智能展示装置，获取确定的第一节目，获取与所述第一节目对应的第二节目；接收第一节目的完整内容数据和第二节目的简略内容数据；以第一FPS的帧率展示第一节目内容；进行第一次图像采集和第一次生理数据采集处理，以得到第一图像序列和第一生理特征数据序列；输入生理状态预测模型中进行处理，以得到第一预测状态；若第一预测状态为稳定，则以第二FPS的帧率展示第一节目内容，同时以第三FPS的帧率并采用插帧的方式展示第二节目的简略内容；得到第二图像序列和第二生理特征数据序列；计算距离数值；若距离数值不大于距离阈值，则输入所述生理状态预测模型中进行处理，以得到所述生理状态预测模型输出的第二预测状态；若所述第二预测状态为稳定，则生成内容接收与展示指令，解决了两个节目之间的衔接问题，减少了可能的数据传输中的浪费。
参照图3，本发明实施例中还提供一种计算机设备，该计算机设备可以是服务器，其内部结构可以如图所示。该计算机设备包括通过***总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设计的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***、计算机程序和数据库。该内存器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的数据库用于存储基于数字电视的内容智能展示方法所用数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于数字电视的内容智能展示方法。
上述处理器执行上述基于数字电视的内容智能展示方法，其中所述方法包括的步骤分别与执行前述实施方式的基于数字电视的内容智能展示方法的步骤一一对应，在此不再赘述。
本领域技术人员可以理解，图中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定。
本申请的计算机设备，获取确定的第一节目，获取与所述第一节目对应的第二节目；接收第一节目的完整内容数据和第二节目的简略内容数据；以第一FPS的帧率展示第一节目内容；进行第一次图像采集和第一次生理数据采集处理，以得到第一图像序列和第一生理特征数据序列；输入生理状态预测模型中进行处理，以得到第一预测状态；若第一预测状态为稳定，则以第二FPS的帧率展示第一节目内容，同时以第三FPS的帧率并采用插帧的方式展示第二节目的简略内容；得到第二图像序列和第二生理特征数据序列；计算距离数值；若距离数值不大于距离阈值，则输入所述生理状态预测模型中进行处理，以得到所述生理状态预测模型输出的第二预测状态；若所述第二预测状态为稳定，则生成内容接收与展示指令，解决了两个节目之间的衔接问题，减少了可能的数据传输中的浪费。
本申请一实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现基于数字电视的内容智能展示方法，其中所述方法包括的步骤分别与执行前述实施方式的基于数字电视的内容智能展示方法的步骤一一对应，在此不再赘述。
本申请的计算机可读存储介质，获取确定的第一节目，获取与所述第一节目对应的第二节目；接收第一节目的完整内容数据和第二节目的简略内容数据；以第一FPS的帧率展示第一节目内容；进行第一次图像采集和第一次生理数据采集处理，以得到第一图像序列和第一生理特征数据序列；输入生理状态预测模型中进行处理，以得到第一预测状态；若第一预测状态为稳定，则以第二FPS的帧率展示第一节目内容，同时以第三FPS的帧率并采用插帧的方式展示第二节目的简略内容；得到第二图像序列和第二生理特征数据序列；计算距离数值；若距离数值不大于距离阈值，则输入所述生理状态预测模型中进行处理，以得到所述生理状态预测模型输出的第二预测状态；若所述第二预测状态为稳定，则生成内容接收与展示指令，解决了两个节目之间的衔接问题，减少了可能的数据传输中的浪费。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序或指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的和实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可以包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双速据率SDRAM（SSRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink）DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
以上所述仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。
Claims (8)
1.一种基于数字电视的内容智能展示方法，其特征在于，应用于数字电视播放终端，包括：
S1、获取观看者通过数字电视控制器确定的第一节目，并根据预设的节目关联表，获取与所述第一节目对应的第二节目；其中，所述节目关联表中记载了不同节目之间的关联关系；
S2、接收来自于节目内容发送端的第一节目的完整内容数据和第二节目的简略内容数据；
S3、在第一时间窗口内，以第一FPS的帧率向观看者展示第一节目内容；
S4、在第二时间窗口内，采用预设的摄像头和生理数据传感器，对观看者对应进行第一次图像采集和第一次生理数据采集处理，以得到第一图像序列和第一生理特征数据序列；其中，所述第二时间窗口被所述第一时间窗口覆盖；
S5、将所述第一图像序列和第一生理特征数据序列，输入预设的生理状态预测模型中进行处理，以得到所述生理状态预测模型输出的第一预测状态，并判断所述第一预测状态是否为稳定；其中，所述第一预测状态为稳定或者不稳定，所述生理状态预测模型基于深度神经网络模型，并采用反向传播法通过有监督学习的方式训练而成；
S6、若所述第一预测状态为稳定，则以第二FPS的帧率向观看者继续展示第一节目内容，同时以第三FPS的帧率并采用插帧的方式向观看者展示第二节目的简略内容；其中，所述第三FPS的数值小于所述第二FPS的数值的1/10，所述第二FPS的数值与所述第三FPS的数值之和等于所述第一FPS的数值；
S7、在第三时间窗口内，采用预设的摄像头和生理数据传感器，对观看者对应进行第二次图像采集和第二次生理数据采集处理，以得到第二图像序列和第二生理特征数据序列；所述第三时间窗口的长度与所述第二时间窗口的长度相同；
S8、根据预设的距离算法，计算所述第二生理特征数据序列与所述第一生理特征数据序列之间的距离数值，并判断所述距离数值是否大于预设的距离阈值；
S9、若所述距离数值不大于预设的距离阈值，则将所述第二图像序列和第二生理特征数据序列，输入所述生理状态预测模型中进行处理，以得到所述生理状态预测模型输出的第二预测状态，并判断所述第二预测状态是否为稳定；
S10、若所述第二预测状态为稳定，则生成内容接收与展示指令，以指示在展示完所述第一节目内容后，接收第二节目的完整内容数据，并向观看者展示第二节目的完整内容。
2.根据权利要求1所述的基于数字电视的内容智能展示方法，其特征在于，所述将所述第一图像序列和第一生理特征数据序列，输入预设的生理状态预测模型中进行处理，以得到所述生理状态预测模型输出的第一预测状态，并判断所述第一预测状态是否为稳定的步骤S5之前，包括：
S41、调取预先收集的多个样本图像序列和多个样本生理特征数据序列，并对所述多个样本图像序列和多个样本生理特征数据序列进行人工标注处理；其中，样本图像序列是在被观察者观看数字电视节目时采集得到的，并且样本生理特征数据序列也是在被观察者观看数字电视节目时采集得到的；
S42、根据预设比例，将所述多个样本图像序列划分为多个训练用图像序列和多个验证用图像序列，并且根据预设比例，将所述多个样本生理特征数据序列划分为多个训练用生理特征数据序列和多个验证用生理特征数据序列；
S43、采用所述多个训练用图像序列和所述多个训练用生理特征数据序列，对预设的深度神经网络模型进行训练，以得到中间预测模型；其中，在训练过程中，采用反向传播法更新深度神经网络模型的各层网络参数；
S44、采用所述多个验证用图像序列和所述多个验证用生理特征数据序列，对所述中间预测模型进行验证处理，以得到验证结果，并判断验证结果是否为验证通过；
S45、若验证结果为验证通过，则将所述中间预测模型记为最终的生理状态预测模型。
3.根据权利要求1所述的基于数字电视的内容智能展示方法，其特征在于，所述若所述第一预测状态为稳定，则以第二FPS的帧率向观看者继续展示第一节目内容，同时以第三FPS的帧率并采用插帧的方式向观看者展示第二节目的简略内容的步骤S6，包括：
S601、获取预设的第三FPS的数值，并根据所述第三FPS的数值，生成插帧比例；其中，所述插帧比例等于所述第三FPS的数值加1；
S602、根据所述插帧比例，将每秒划分为m个时间段；其中，所述m个时间段的数量等于所述插帧比例；
S603、在除了第m个时间段之外的其他时间段的末端，分别***一幅第二节目的简略内容中的图像；
S604、根据公式：第二FPS的数值=第一FPS的数值－第三FPS的数值的差值，并将展示第一节目内容的帧率修改为所述第二FPS的数值。
4.根据权利要求1所述的基于数字电视的内容智能展示方法，其特征在于，所述根据预设的距离算法，计算所述第二生理特征数据序列与所述第一生理特征数据序列之间的距离数值，并判断所述距离数值是否大于预设的距离阈值的步骤S8，包括：
S801、将所述第一生理特征数据序列转换为第一数值向量；其中，所述第一数值向量中的每个分向量均为所述第一生理特征数据序列的元素对应的数值；
S802、将所述第二生理特征数据序列转换为第二数值向量；其中，所述第二数值向量中的每个分向量均为所述第二生理特征数据序列的元素对应的数值；
S803、根据公式：
S804、将所述第一距离数值Y记为所述第二生理特征数据序列与所述第一生理特征数据序列之间的距离数值，并判断所述第一距离数值Y是否大于预设的距离阈值。
5.根据权利要求1所述的基于数字电视的内容智能展示方法，其特征在于，所述若所述第二预测状态为稳定，则生成内容接收与展示指令，以指示在展示完所述第一节目内容后，接收第二节目的完整内容数据，并向观看者展示第二节目的完整内容的步骤S10之后，包括：
S101、根据预设的节目关联表，获取与所述第二节目对应的第三节目；
S102、接收来自于节目内容发送端的第三节目的简略内容数据；
S103、在第四时间窗口内，以第四FPS的帧率向观看者展示第二节目内容；
S104、在第五时间窗口内，采用预设的摄像头和生理数据传感器，对观看者对应进行第三次图像采集和第三次生理数据采集处理，以得到第三图像序列和第三生理特征数据序列；其中，所述第五时间窗口被所述第四时间窗口覆盖；
S105、将所述第三图像序列和第三生理特征数据序列，输入所述生理状态预测模型中进行处理，以得到所述生理状态预测模型输出的第三预测状态，并判断所述第三预测状态是否为稳定；
S106、若所述第三预测状态为稳定，则以第五FPS的帧率向观看者继续展示第二节目内容，同时以第六FPS的帧率并采用插帧的方式向观看者展示第三节目的简略内容；其中，所述第六FPS的数值小于所述第五FPS的数值的1/10，所述第五FPS的数值与所述第六FPS的数值之和等于所述第四FPS的数值；
S107、在第六时间窗口内，采用预设的摄像头和生理数据传感器，对观看者对应进行第四次图像采集和第四次生理数据采集处理，以得到第四图像序列和第四生理特征数据序列；
S108、根据预设的距离算法，计算所述第四生理特征数据序列与所述第三生理特征数据序列之间的第二距离数值，并判断所述第二距离数值是否大于预设的距离阈值；
S109、若所述第二距离数值不大于预设的距离阈值，则将所述第四图像序列和第四生理特征数据序列，输入所述生理状态预测模型中进行处理，以得到所述生理状态预测模型输出的第四预测状态，并判断所述第四预测状态是否为稳定；
S110、若所述第四预测状态为稳定，则生成内容接收与展示指令，以指示在展示完第二节目内容后，接收第三节目的完整内容数据，并向观看者展示第三节目的完整内容。
6.一种基于数字电视的内容智能展示装置，其特征在于，包括：
第一节目获取单元，用于获取观看者通过数字电视控制器确定的第一节目，并根据预设的节目关联表，获取与所述第一节目对应的第二节目；其中，所述节目关联表中记载了不同节目之间的关联关系；
内容数据接收单元，用于接收来自于节目内容发送端的第一节目的完整内容数据和第二节目的简略内容数据；
第一节目内容展示单元，用于在第一时间窗口内，以第一FPS的帧率向观看者展示第一节目内容；
第一次图像采集单元，用于在第二时间窗口内，采用预设的摄像头和生理数据传感器，对观看者对应进行第一次图像采集和第一次生理数据采集处理，以得到第一图像序列和第一生理特征数据序列；其中，所述第二时间窗口被所述第一时间窗口覆盖；
第一预测状态判断单元，用于将所述第一图像序列和第一生理特征数据序列，输入预设的生理状态预测模型中进行处理，以得到所述生理状态预测模型输出的第一预测状态，并判断所述第一预测状态是否为稳定；其中，所述第一预测状态为稳定或者不稳定，所述生理状态预测模型基于深度神经网络模型，并采用反向传播法通过有监督学习的方式训练而成；
插帧展示单元，用于若所述第一预测状态为稳定，则以第二FPS的帧率向观看者继续展示第一节目内容，同时以第三FPS的帧率并采用插帧的方式向观看者展示第二节目的简略内容；其中，所述第三FPS的数值小于所述第二FPS的数值的1/10，所述第二FPS的数值与所述第三FPS的数值之和等于所述第一FPS的数值；
第二次图像采集单元，用于在第三时间窗口内，采用预设的摄像头和生理数据传感器，对观看者对应进行第二次图像采集和第二次生理数据采集处理，以得到第二图像序列和第二生理特征数据序列；所述第三时间窗口的长度与所述第二时间窗口的长度相同；
距离数值计算单元，用于根据预设的距离算法，计算所述第二生理特征数据序列与所述第一生理特征数据序列之间的距离数值，并判断所述距离数值是否大于预设的距离阈值；
第二预测状态判断单元，用于若所述距离数值不大于预设的距离阈值，则将所述第二图像序列和第二生理特征数据序列，输入所述生理状态预测模型中进行处理，以得到所述生理状态预测模型输出的第二预测状态，并判断所述第二预测状态是否为稳定；
内容接收与展示指令生成单元，用于若所述第二预测状态为稳定，则生成内容接收与展示指令，以指示在展示完所述第一节目内容后，接收第二节目的完整内容数据，并向观看者展示第二节目的完整内容。
7.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述方法的步骤。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110940437.3A CN113395571B (zh) | 2021-08-17 | 2021-08-17 | 一种基于数字电视的内容智能展示方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110940437.3A CN113395571B (zh) | 2021-08-17 | 2021-08-17 | 一种基于数字电视的内容智能展示方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113395571A CN113395571A (zh) | 2021-09-14 |
| CN113395571B true CN113395571B (zh) | 2021-10-29 |
Family
ID=77622767
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110940437.3A Active CN113395571B (zh) | 2021-08-17 | 2021-08-17 | 一种基于数字电视的内容智能展示方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113395571B (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108491539A (zh) * | 2018-04-02 | 2018-09-04 | Oppo广东移动通信有限公司 | 终端控制方法、装置、存储介质和电子设备 |
| CN110489655A (zh) * | 2019-09-16 | 2019-11-22 | 浙江同花顺智能科技有限公司 | 热门内容确定、推荐方法、装置、设备及可读存储介质 |
| CN113138618A (zh) * | 2021-04-23 | 2021-07-20 | 中国建设银行股份有限公司 | 一种网点管理***和方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170257669A1 (en) * | 2016-03-02 | 2017-09-07 | At&T Intellectual Property I, L.P. | Enhanced Content Viewing Experience Based on User Engagement |
-
2021
- 2021-08-17 CN CN202110940437.3A patent/CN113395571B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108491539A (zh) * | 2018-04-02 | 2018-09-04 | Oppo广东移动通信有限公司 | 终端控制方法、装置、存储介质和电子设备 |
| CN110489655A (zh) * | 2019-09-16 | 2019-11-22 | 浙江同花顺智能科技有限公司 | 热门内容确定、推荐方法、装置、设备及可读存储介质 |
| CN113138618A (zh) * | 2021-04-23 | 2021-07-20 | 中国建设银行股份有限公司 | 一种网点管理***和方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113395571A (zh) | 2021-09-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109831638B (zh) | 视频图像传输方法、装置、交互智能平板和存储介质 | |
| CN110460899B (zh) | 弹幕内容的展示方法、终端设备及计算机可读存储介质 | |
| EP2599310B1 (en) | Method and apparatus for measuring video quality | |
| US20170127011A1 (en) | Semiconductor integrated circuit, display device provided with same, and control method | |
| CN111669653A (zh) | 一种播放控制方法、装置、存储介质及电视机 | |
| Lambooij et al. | The impact of video characteristics and subtitles on visual comfort of 3D TV | |
| WO2020103674A1 (zh) | 自然语言描述信息的生成方法及装置 | |
| US11803579B2 (en) | Apparatus, systems and methods for providing conversational assistance | |
| US20220101629A1 (en) | Video quality evaluation method and apparatus, device, and storage medium | |
| CN113395571B (zh) | 一种基于数字电视的内容智能展示方法和装置 | |
| CN111654752B (zh) | 多媒体信息播放方法、装置、电子设备及存储介质 | |
| CN111698261B (zh) | 基于流媒体的视频播放方法、装置、设备及存储介质 | |
| Li et al. | Quantifying the influence of devices on Quality of Experience for Video streaming | |
| CN109327736B (zh) | 一种基于节目观看表情与用户信息的节目推荐方法 | |
| CN113438530B (zh) | 一种被动式数字电视终端的人机交互方法和装置 | |
| CN112333552B (zh) | 视频播放的智能控制方法、终端设备及可读存储介质 | |
| CN113936323A (zh) | 检测方法及装置、终端和存储介质 | |
| CN111886565B (zh) | 处理装置、处理方法、数据处理装置、数据处理***、数据处理方法和程序 | |
| Hamberg et al. | Continuous assessment of time-varying image quality | |
| Caudek et al. | Priming effects under correct change detection and change blindness | |
| CN108563328B (zh) | 一种基于儿童需求选择卡通角色的方法及互动*** | |
| Knoche | Quality of experience in digital mobile multimedia services | |
| CN111179155A (zh) | 一种图像处理方法、装置、电子设备及存储介质 | |
| CN113132775B (zh) | 一种电子设备的控制方法、电子设备及存储介质 | |
| CN114727050B (zh) | 一种多人连麦直播会议的视频数据生成方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |