CN116132718A - 显示设备的控制方法及其控制装置、显示设备、电子设备 - Google Patents

显示设备的控制方法及其控制装置、显示设备、电子设备 Download PDF

Info

Publication number
CN116132718A
CN116132718A CN202310125075.1A CN202310125075A CN116132718A CN 116132718 A CN116132718 A CN 116132718A CN 202310125075 A CN202310125075 A CN 202310125075A CN 116132718 A CN116132718 A CN 116132718A
Authority
CN
China
Prior art keywords
display device
display equipment
user
wake
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310125075.1A
Other languages
English (en)
Inventor
潘维
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN202310125075.1A priority Critical patent/CN116132718A/zh
Publication of CN116132718A publication Critical patent/CN116132718A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/443OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
    • H04N21/4436Power management, e.g. shutting down unused components of the receiver

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Selective Calling Equipment (AREA)

Abstract

本公开提供了一种显示设备的控制方法及其控制装置、显示设备、电子设备。控制方法包括:在确定出用户观看显示设备的情况下,控制显示设备进入工作模式;在显示设备处于工作模式的情况下,若检测到语音控制指令,则根据语音控制指令控制显示设备中对应功能模块调节至与语音控制指令相匹配的状态。本公开的技术方案,克服了实际生活中采用遥控器对显示设备进行控制的不足,方便了各年龄段的用户对显示设备的控制。

Description

显示设备的控制方法及其控制装置、显示设备、电子设备
技术领域
本公开涉及显示技术领域,尤其涉及一种显示设备的控制方法及其控制装置、显示设备、电子设备。
背景技术
随着社会的进步,几乎家家户户都拥有一台显示设备例如电视机。目前,采用遥控器来实现电视机的开关、节目转换、音量调节等功能。但是,生活中,经常出现找不到遥控器的问题,并且随着人口老龄化的增加,很多老人不会操作遥控器。另外,用户经常忘记关闭电视机,造成功耗浪费。
发明内容
本公开提供了一种显示设备的控制方法及其控制装置、显示设备、电子设备。
根据本公开的第一方面,提供了一种显示设备的控制方法,包括:
在确定出用户观看显示设备的情况下,控制显示设备进入工作模式;
在显示设备处于工作模式的情况下,若检测到语音控制指令,则根据语音控制指令控制显示设备中对应功能模块调节至与语音控制指令相匹配的状态。
在一个实施例中,控制方法还包括:
在确定出用户未观看或无用户观看显示设备的情况下,控制显示设备进入睡眠模式。
在一个实施例中,控制方法还包括:
在显示设备进入工作模式时,控制播放计时模块进行播放时间的计时;
在播放时间内检测到语音控制指令和/或确定出用户观看显示设备的情况下,控制播放计时模块复位并重新进行播放时间的计时,否则,控制显示设备进入睡眠模式。
在一个实施例中,控制方法还包括:
根据采集到的图像或语音唤醒指令,确定用户是否观看显示设备。
在一个实施例中,根据采集到的图像,确定用户是否观看显示设备,包括:
对采集到的图像进行人形识别,在图像中包括预设人形图像的情况下,确定用户观看显示设备,否则,确定用户未观看或无用户观看显示设备。
在一个实施例中,预设人形图像至少包括用户的头部和肩部。
在一个实施例中,根据采集到的图像,确定用户是否观看显示设备,包括:
对采集到的图像进行凝视识别,在图像中包括预设凝视图像的情况下,确定用户观看显示设备,否则,确定用户未观看或无用户观看显示设备。
在一个实施例中,预设凝视图像至少包括用户眼睛的瞳孔。
在一个实施例中,语音唤醒指令包括唤醒词,根据采集到的语音唤醒指令,确定用户是否观看显示设备,包括:
在从语音唤醒指令中识别出唤醒词的情况下,控制显示设备进入唤醒模式,并控制唤醒计时模块进行唤醒时间的计时;
在唤醒时间内,根据采集到的图像确定用户是否观看显示设备。
在一个实施例中,根据采集到的语音唤醒指令,确定用户是否观看显示设备,还包括:
在唤醒时间内检测到语音控制指令的情况下,确定用户观看显示设备;
控制显示设备进入工作模式,并控制显示设备中对应功能模块调节至与语音控制指令相匹配的状态。
在一个实施例中,语音唤醒指令包括功能词,根据采集到的语音唤醒指令,确定用户是否观看显示设备,包括:
在从语音唤醒指令中识别出功能词的情况下,确定用户观看显示设备;
控制显示设备进入工作模式,并控制显示设备中对应功能模块调节至与功能词相匹配的状态。
根据本公开的第二方面,提供了一种显示设备的控制装置,包括:
模式控制单元,用于在确定出用户观看显示设备的情况下,控制显示设备进入工作模式;
功能控制单元,用于在显示设备处于工作模式的情况下,若检测到语音控制指令,则根据语音控制指令控制显示设备中对应功能模块调节至与语音控制指令相匹配的状态。
根据本公开的第三方面,提供了一种显示设备,包括显示装置和本公开任一实施例中显示设备的控制装置。
根据本公开的第四方面,提供了一种电子设备,包括:
至少一个处理器;以及
与至少一个处理器通信连接的存储器;其中,
存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行,以使至少一个处理器能够执行本公开任一项的方法。
本公开的技术方案,在确定出用户观看显示设备时,控制显示设备进入工作模式;在显示设备处于工作模式的情况下,可以通过语音控制指令将显示设备中对应功能模块调节至与语音控制指令相匹配的状态,实现了采用语音对显示设备的控制,克服了实际生活中采用遥控器对显示设备进行控制的不足,方便了各年龄段的用户对显示设备的控制。并且,在确定出用户观看显示设备时,控制显示设备进入工作模式,避免了显示设备在无用户观看情况下的继续工作,降低了显示设备的功耗。
应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案,不构成对本公开的限定。其中:
图1为本公开一实施例中显示设备的控制方法的示意图;
图2为本公开一实施例中显示设备的控制装置的结构框图;
图3为本公开一实施例中显示设备的硬件结构框图;
图4为本公开一实施例中存算模块的图像识别和语音识别的流程示意图;
图5为本公开另一实施例中存算模块的工作流程示意图;
图6为本公开一实施例中控制模块的工作流程示意图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明,其中包括本公开实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本公开的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
为了解决采用遥控器对显示设备进行控制带来的不便,本公开实施例提供了一种显示设备的控制方法。
图1为本公开一实施例中显示设备的控制方法的示意图。如图1所示,显示设备的控制方法可以包括步骤S110~步骤S120。
在步骤S110,在确定出用户观看显示设备的情况下,控制显示设备进入工作模式。
在步骤S120,在显示设备处于工作模式的情况下,若检测到语音控制指令,则根据语音控制指令控制显示设备中对应功能模块调节至与语音控制指令相匹配的状态。
显示设备可以包括电视机、投影装置、家庭影院、计算机等具有显示功能的设备。
显示设备可以具有工作模式。显示设备在在工作模式下,显示设备的屏幕被点亮、显示设备可以发出声音等。显示设备处于工作模式的情况下,可以进行显示节目的转换、音量调节、显示亮度调节等。
显示设备还可以具有睡眠模式,显示设备在睡眠模式下,显示设备的功耗小于工作模式的功耗。显示设备在睡眠模式下,显示设备的屏幕处于未被点亮状态,显示设备的功耗较低。
语音控制指令可以是与显示设备的功能对应的指令,例如,语音控制指令可以包括音量调节指令、节目转换指令、显示屏幕亮度调节指令等。对应的功能模块可以为音量调节模块、节目转换模块、亮度调节模块等。当检测到语音控制指令时,显示设备可以根据语音控制指令控制显示设备中对应功能模块调节至与语音控制指令相匹配的状态。例如,语音控制指令包括音量调节指令,那么,显示设备可以根据音量调节指令控制音量调节模块调节至与音量调节指令相匹配的音量大小。语音控制指令还可以包括开机指令和关机指令,对应地,功能模块可以包括电源模块,电源模块用于向显示屏幕提供电源。检测到开机指令或关机指令时,显示设备可以根据开机指令或关机指令控制电源模块向显示屏幕供电或停止向显示屏幕供电。
本公开实施例的显示设备的控制方法,在确定出用户观看显示设备时,控制显示设备进入工作模式;在显示设备处于工作模式的情况下,可以通过语音控制指令控制显示设备中对应功能模块调节至与语音控制指令相匹配的状态,实现了采用语音对显示设备的控制,克服了实际生活中采用遥控器对显示设备进行控制的不足,方便了各年龄段的用户对显示设备的控制。并且,在确定出用户观看显示设备时,控制显示设备进入工作模式,避免了显示设备在无用户观看情况下的继续工作,降低了显示设备的功耗。
在一个实施例中,显示设备的控制方法还可以包括:在确定出用户未观看或无用户观看显示设备的情况下,控制显示设备进入睡眠模式。
用户未观看,可以理解为,虽然显示设备的预设范围内存在用户,但该用户并没有观看显示设备。无用户观看,可以理解为显示设备的预设范围内不存在用户。在这两种情况下,可以控制显示设备进入睡眠模式。在睡眠模式下,显示设备的屏幕处于未被点亮状态,显示设备的功耗较低,且小于工作模式的功耗。从而,在确定出用户未观看或无用户观看显示设备的情况下,控制显示设备进入睡眠模式,可以降低显示设备的功耗。
在一个实施例中,显示设备的控制方法还可以包括:根据采集到的图像或者语音唤醒指令,确定用户是否观看显示设备。
示例性地,显示设备可以包括图像采集装置,例如摄像头。图像采集装置可以采集显示设备周围的图像。
显示设备可以包括语音采集装置,例如麦克风。语音采集装置可以进行语音采集。语音采集装置可以采集语音控制指令,也可以采集语音唤醒指令。例如,在显示设备处于工作模式的情况下,语音采集装置采集到的语音信号可以为语音控制指令;在显示设备处于睡眠模式的情况下,语音采集装置采集到的语音信号可以为语音唤醒指令。
在一个实施例中,根据采集到的图像,确定用户是否观看显示设备,可以包括:对采集到的图像进行人形识别,在图像中包括预设人形图像的情况下,确定用户观看显示设备,否则,确定用户未观看或无用户观看显示设备。
示例性地,图像采集装置采集到图像后,可以对采集到的图像进行目标检测、边界提取、人形目标匹配和人形目标识别等,以便从采集到的图像中识别出人形图像。
在从采集到的图像中识别出的人形图像与预设人形图像匹配的情况下,则可以确定采集到的图像中包括预设人形图像,那么,可以确定用户观看显示设备。需要说明的是,在识别出的人形图像包括预设人形图像时,可以认为识别出的人形图像与预设人形图像匹配。
在采集到的图像中不存在人形图像的情况下,或者,在从采集到的图像中识别出的人形图像与预设人形图像不匹配的情况下,可以确定图像中不包括预设人形图像,那么,可以确定用户未观看或者无用户观看显示设备。
在一个实施例中,预设人形图像至少包括用户的头部和肩部。可以理解的是,在用户想要观看显示设备时,至少用户的头部和肩部会进入图像采集装置的采集范围。因此,将预设人形图像设置为至少包括用户的头部和肩部,可以更加准确地判断出用户是否观看显示设备,避免出现误判。
示例性地,预设人形图像还可以包括用户的胳膊或者用户的上半身,以便可以进一步提高判断用户是否观看显示设备的准确性。预设人形图像可以根据需要设置,只要可以通过预设人形图像确定出用户观看显示屏幕均可。
在一个实施例中,根据采集到的图像,确定用户是否观看显示设备,包括:对采集到的图像进行凝视识别,在图像中包括预设凝视图像的情况下,确定用户观看显示设备,否则,确定用户未观看或无用户观看显示设备。
凝视识别可以理解为瞳孔识别。可以理解的是,在实际中,虽然从采集到的图像中识别出的人形图像与预设人形图像相匹配,但并不能表示该用户在观看显示设备,例如,从采集到的图像中识别出的人形图像包括用户的头部和肩部,但是用户的头部并没有朝向显示设备的。这种情况下,如果确定用户观看显示设备,会出现判断误差。
预设凝视图像可以至少包括用户眼睛的瞳孔。在采集到的图像中包括预设凝视图像时,表示用户注视着显示设备的显示屏幕。从而,当从采集到的图像中识别出预设凝视图像的情况下,确定用户观看显示设备;在采集到的图像中不包括预设凝视图像的情况下,可以确定用户未观看或无用户观看显示设备。这样的方式,可以进一步提高判断用户是否观看显示设备的准确性。
在一个实施例中,根据采集到的图像,确定用户是否观看显示设备,还可以包括:从采集到的图像中识别出预设人形图像,在预设人形图像与显示设备之间的距离在预设距离范围内的情况下,确定用户观看显示设备,否则,确定用户未观看或无用户观看显示设备。
预设距离可以为用户观看显示设备的适当距离,当用户与显示设备的距离在预设距离范围内时,可以获得较好的观看效果。
当用户距离显示设备太近或太远时,用户并不能很好地观看显示设备,从而,在预设人形图像与显示设备之间的距离不在预设距离范围内的情况下,可以判断用户未观看或无用户观看显示设备。从而,可以进一步提高判断用户是否观看显示设备的准确性。
示例性地,可以通过预设人形图像在采集到的图像中的比例确定用户与显示设备之间的距离。或者,可以通过距离检测装置,检测观看者与显示设备之间的距离。距离检测装置可以与图像采集装置同步检测。
示例性地,预设距离可以为1m~5m。预设距离的具体数值可以根据实际确定。对于小尺寸屏幕的显示设备,预设距离的数值可以更小,对于大尺寸屏幕的显示设备,预设距离的数值可以更大。
在一个实施例中,根据采集到的图像,确定用户是否观看显示设备,还可以包括:从采集到的图像中识别出预设人形图像在预设距离范围内的第一停留时间,在第一停留时间大于或等于预设停留时间的情况下,确定用户观看显示设备,否则,确定用户未观看或无用户观看显示设备。
可以理解的是,在实际生活中,用户可能从显示设备前经过,如果此时判断用户观看显示设备,会出现判断错误。如果用户观看显示设备,用户会在与显示设备预设距离范围内停留较长时间。在本实施例中,将预设人形图像在预设距离范围内的第一停留时间与预设停留时间进行比较,当第一停留时间大于或等于预设停留时间时,可以确定用户观看显示设备,否则,确定用户未观看或无用户观看显示设备,可以进一步判断用户是否观看显示设备的准确性。
示例性地,可以在预设采集时间内多次采集图像,从多次采集的图像中计算出人形图像在预设距离范围内的停留时间。或者,可以通过人体感应器检测人体进入预设距离范围内的时间以及人体离开预设距离范围内的时间,计算两个时间差来获得人形图像在预设距离范围内的停留时间。
在一个实施例中,在一个实施例中,根据采集到的图像,确定用户是否观看显示设备,还可以包括:从采集到的图像中识别出预设凝视图像的第二停留时间,在第二停留时间大于或等于预设停留时间的情况下,确定用户观看显示设备,否则,确定用户未观看或无用户观看显示设备。
可以理解的是,在实际生活中,如果用户观看显示设备的节目,人眼的瞳孔会注视显示设备的显示屏幕,而且持续注视显示屏幕的时间大于或等于预设时间。通过判断第二停留时间是否大于或等于预设停留时间来判断用户是否观看显示设备,可以更加准确地判断出用户是否观看显示设备,从而可以更精确地控制显示设备的状态。
示例性地,可以在预设采集时间内多次采集图像,从多次采集的图像中计算出预设凝视图像的停留时间。
在一个实施例中,语音唤醒指令可以包括唤醒词。根据采集到的语音唤醒指令,确定用户是否观看显示设备,可以包括:在从语音唤醒指令中识别出唤醒词的情况下,控制显示设备进入唤醒模式,并控制唤醒计时模块进行唤醒时间的计时;在唤醒时间内,根据采集到的图像确定用户是否观看显示设备。
示例性地,唤醒词可以为能够唤醒显示设备的预设词语或短语。例如,唤醒词可以包括显示设备的名称或者为显示设备预先定义的名字。当从语音唤醒指令中识别出唤醒词后,可以确定用户即将观看显示设备。此时,可以控制显示设备进入唤醒模式。显示设备在唤醒模式下,所有的设备均处于上电待工作状态。显示设备在唤醒模式下的功耗大于睡眠模式下的功耗,且小于工作模式下的功耗。
显示设备进入唤醒模式时,控制唤醒计时模块进行唤醒时间的计时。唤醒时间可以为显示设备处于唤醒模式的时间。唤醒时间可以根据需要设置,例如唤醒时间可以为1分钟。
在唤醒时间内,可以根据采集到的图像确定用户是否观看显示设备。如果在唤醒时间内,根据采集到的图像确定出用户观看显示设备,则控制显示设备进入工作模式,并将唤醒计时模块复位。如果在唤醒时间内,根据采集到的图像确定出用户未观看或无用户观看显示设备,控制显示设备进入睡眠模式。
在实际生活中,用户可能需要显示设备提前开启进行工作,此时,用户可能并没有进入图像采集装置的采集范围。示例性地,可以通过语音控制指令控制显示设备进入工作模式。
在一个实施例中,根据采集到的语音唤醒指令,确定用户是否观看显示设备,还可以包括:在唤醒时间内检测到语音控制指令的情况下,确定用户观看显示设备;控制显示设备进入工作模式,并控制显示设备中对应功能模块调节至与语音控制指令相匹配的状态。
显示设备处于唤醒模式的状态下,若在唤醒时间内检测到语音控制指令,表明用户即将观看显示设备,需要显示设备提前进入工作模式,此时,确定用户观看显示设备。那么,控制显示设备进入工作模式,并控制显示设备中对应功能模块调节至与语音控制指令相匹配的状态,可以更好地满足客户需求。
若在唤醒时间内,没有检测到语音控制指令,在唤醒时间结束时,可以控制显示设备进入睡眠模式。
示例性地,如果在唤醒时间内,根据采集到的图像确定出用户未观看或无用户观看显示设备,并且没有检测到语音控制指令,那么,在唤醒时间结束时,可以控制显示设备进入睡眠模式。
在一个实施例中,语音唤醒指令可以包括功能词,根据采集到的语音唤醒指令,确定用户是否观看显示设备,包括:在从语音唤醒指令中识别出功能词的情况下,确定用户观看显示设备;控制显示设备进入工作模式,并控制显示设备中对应功能模块调节至与功能词相匹配的状态。
功能词可以为预先设定的与显示设备的功能相关的词汇或短语。例如,功能词可以包括“音量”、“声音”、“亮度”、“频道”等与显示设备功能相关的词。当从语音唤醒指令中识别出功能词后,可以确定用户观看显示设备。此时,可以控制显示设备进入工作模式,并控制显示设备中对应功能模块调节至与功能词相匹配的状态。
在一个实施例中,在显示设备进入工作模式时,控制播放计时模块进行播放时间的计时;在播放时间内检测到语音控制指令和/或确定出用户观看显示设备的情况下,则控制播放计时模块复位并重新进行播放时间的计时,否则,控制显示设备进入睡眠模式。
显示设备进入工作模式时,播放计时模块开始进行播放时间的计时。例如,播放时间为显示设备播放节目的持续时间,播放时间可以为第一预设时间,例如15分钟。若在播放时间内检测到语音控制指令,则执行该语音控制指令,即根据语音控制指令将显示设备中对应功能模块调节至与语音控制指令相匹配的状态。并且,控制播放计时模块复位并重新进行播放时间的计时。如果在播放时间内没有检测到语音控制指令,可以认为用户不再观看显示设备,可以控制显示设备进入睡眠模式。
在实际生活中,显示设备进入工作模式后,显示设备当前播放节目可能正是用户希望观看的节目,那么,可能不会检测到语音控制指令。在一个实施例中,在播放时间内未检测到语音控制指令,但在播放时间内确定出用户观看显示设备,则控制播放计时模块复位并重新进行播放时间的计时。
在一个实施例中,若在播放时间内,确定出用户观看显示设备,则控制播放计时模块复位并重新进行播放时间的计时。若在播放时间内,确定出用户未观看或无用户观看显示设备,那么,当播放时间结束时,可以控制显示设备进入睡眠模式,降低显示设备的功耗。
若在播放时间内,未检测到语音控制指令,且确定出用户未观看或无用户观看显示设备,那么,当播放时间结束时,可以控制显示设备进入睡眠模式,降低显示设备的功耗。
通过设置播放时间,可以适时地在用户未观看或无用户观看显示设备的情况下,控制显示设备进入睡眠模式来节省功耗,避免显示设备在用户未观看或无用户观看显示设备的情况下长时间工作而造成功耗浪费。
本公开实施例的显示设备的控制方法,在确定出用户观看显示设备的情况下,控制显示设备进入工作模式;在确定出用户未观看或无用户观看显示设备的情况下,控制显示设备进入睡眠模式,避免了在用户未观看或无用户观看显示设备的情况下的功耗浪费,降低了显示设备的功耗。并且,在显示设备处于工作模式的情况下,可以通过语音控制指令控制显示设备中对应功能模块调节至与语音控制指令相匹配的状态,实现了对显示设备的语音控制,克服了实际生活中采用遥控器对显示设备进行控制的不足,方便了各年龄段的用户对显示设备的控制。
图2为本公开一实施例中显示设备的控制装置的结构框图。本公开一实施例还提供了一种显示设备的控制装置200,控制装置200包括模式控制单元201和功能控制单元202。模式控制单元201用于在确定出用户观看显示设备的情况下,控制显示设备进入工作模式。功能控制单元202用于在显示设备处于工作模式的情况下,若检测到语音控制指令,则根据语音控制指令控制显示设备中对应功能模块调节至与语音控制指令相匹配的状态。
在一个实施例中,模式控制单元201还用于在确定出用户未观看或无用户观看显示设备的情况下,控制显示设备进入睡眠模式。
在一个实施例中,功能控制单元还用于在显示设备进入工作模式时,控制播放计时模块进行播放时间的计时;功能控制单元还用于在播放时间内检测到语音控制指令和/或确定出用户观看显示设备的情况下,控制播放计时模块复位并重新进行播放时间的计时,否则,控制显示设备进入睡眠模式。
在一个实施例中,显示设备的控制装置还可以包括:确定单元,用于根据采集到的图像或语音唤醒指令,确定用户是否观看显示设备。
在一个实施例中,确定单元还用于对采集到的图像进行人形识别,在图像中包括预设人形图像的情况下,确定用户观看显示设备,否则,确定用户未观看或无用户观看显示设备。
在一个实施例中,预设人形图像至少包括用户的头部和肩部。
在一个实施例中,确定单元还用于对采集到的图像进行凝视识别,在图像中包括预设凝视图像的情况下,确定用户观看显示设备,否则,确定用户未观看或无用户观看显示设备。
在一个实施例中,预设凝视图像至少包括用户眼睛的瞳孔。
在一个实施例中,语音唤醒指令包括唤醒词,确定单元还用于在从语音唤醒指令中识别出唤醒词的情况下,控制显示设备进入唤醒模式,并控制唤醒计时模块进行唤醒时间的计时;在唤醒时间内,根据采集到的图像确定用户是否观看显示设备。
在一个实施例中,确定单元还用于在唤醒时间内检测到语音控制指令的情况下,确定用户观看显示设备;控制显示设备进入工作模式,并控制显示设备中对应功能模块调节至与语音控制指令相匹配的状态。
在一个实施例中,语音唤醒指令包括功能词,确定单元还用于在从语音唤醒指令中识别出功能词的情况下,确定用户观看显示设备;控制显示设备进入工作模式,并控制显示设备中对应功能模块调节至与功能词相匹配的状态。
本公开实施例还提供一种显示设备,显示设备包括显示装置和本公开任一实施例中的显示设备的控制装置。
图3为本公开一实施例中显示设备的硬件结构框图。示例性地,如图3所示,显示设备可以包括显示模块、图像采集装置、语音采集装置、存算模块、控制模块、电源模块和声音播放模块等。图像采集装置可以包括摄像头,语音采集装置可以包括麦克风,声音播放模块可以包括音响。
图像采集装置可以采集图像,采集到的图像可以用于图像识别,图像识别可以包括人形识别或凝视识别。语音采集装置可以用来采集语音信号,语音信号可以包括语音唤醒指令或语音控制指令。图像采集装置和语音采集装置均与存算模块连接。存算模块中可以存储有图像识别算法和语音识别算法,并输出算法结果。存算模块可以采用图像识别算法对采集到的图像进行图像识别,还可以对采用语音识别算法对采集到的语音信号进行语音识别,并输出图像识别结果和语音识别结果。图像识别可以包括人形识别和/或凝视识别,人形识别和/或凝视识别用于确定用户是否观看显示设备。语音识别用于识别语音信号,语音信号可以包括语音唤醒指令或语音控制指令。
控制模块与存算模块进行通信,控制模块能够执行本公开任一实施例中的显示设备的控制方法,根据图像识别结果和语音识别结果对显示模块和声音播放模块进行控制。
显示模块可以包括显示屏幕和显示控制器。电源模块可以实现交流/直流的变换,为显示设备供电。
示例性地,存算模块可以包括存算一体芯片,控制模块可以包括控制芯片。
存储墙:在经典的冯诺依曼架构下,数据的存储和计算是分开的,处理器与存储器之间通过数据总线进行数据交换。但由于处理器和存储器的内部结构、工艺和封装不同,二者的性能也存在很大的差别。从1980年开始,处理器和存储器的性能差距不断拉大,存储器的访问速度远远跟不上处理器的数据处理速度,这就在存储器和处理器之间形成了一道“存储墙”,严重制约了芯片的整体性能提升。
功耗墙:在经典的冯诺依曼架构下,处理器和存储器是分离的。在处理数据的过程中,首先需要将数据从存储器通过总线搬运到处理器,处理完成后,再将数据搬运回存储器进行存储。数据在搬运过程中的能耗是浮点运算的4~1000倍。随着半导体工艺的进步,虽然总体功耗下降,但是数据搬运所占的功耗比越来越大。
存算一体是指将传统冯诺依曼架构中以计算为中心的设计,转变为以数据存储为中心的设计,也就是利用存储器对数据进行运算,从而避免数据搬运产生的“存储墙”和“功耗墙”,极大提高数据的并行度和能量效率。这种架构特别适用于要求大算力、低功耗的终端设备,如可穿戴设备、移动设备、智能家居等。存算一体芯片在存储器颗粒上嵌入算法,使得存储单元具备计算功能。在这种方式下,数据不需要单独的运算部件来完成计算,而是在存储单元中完成存储和计算,消除了数据访存延迟和功耗,是一种真正意义上的存储计算融合。同时,由于计算完全耦合于存储,因此可以开发更细粒度的并行性,获得更高的性能和能效。
存算一体芯片的核心思想是在存储器内做数据处理,针对人工智能算法中访存密集型和计算规整性的特点,存算一体芯片可以发挥独特优势。存算模块利用存算一体芯片实现图像识别算法和语音识别算法,控制模块实现对显示模块和声音播放模块进行控制,克服了采用遥控器的不足,同时降低了显示设备的功耗。
图4为本公开一实施例中存算模块的图像识别和语音识别的流程示意图。如图4所示,显示设备上电后进行***初始化。图像采集装置采集图像,存算模块根据采集到的图像进行图像识别,图像识别可以包括人形识别和/或凝视识别。存算模块可以根据图像识别结果,确定是否有人,即确定是否有人观看显示设备。存算模块可以将图像识别结果传输给控制模块,控制模块根据图像识别结果,对显示设备进行控制。语音采集装置采集语音信号,存算模块根据采集到的语音信号进行语音识别,语音识别可以包括语音控制指令的识别和/或语音唤醒指令的识别。存算模块可以将语音识别结果传输给控制模块,控制模块根据语音识别结果,对显示设备进行控制。
图5为本公开另一实施例中存算模块的工作流程示意图。图5中示出的流程可以应用与显示设备的工作模式。如图5所示,显示设备上电后进行***初始化。图像采集装置采集图像,存算模块根据采集到的图像进行图像识别。图像识别结果为用户观看显示设备时,启动语音识别计时,并将图像识别结果传输给控制模块,以便控制模块根据图像识别结果对显示设备进行模式控制。
在语音识别计时时间内,语音采集装置采集语音信号,存算模块进行语音识别。在语音识别计时未超时的情况下,可以多次进行语音信号采集和语音识别。在语音识别计时时间内检测到语音控制指令时,将语音控制指令传输给控制模块,以便控制模块根据语音控制指令对显示设备进行功能控制。在语音识别计时时间内未检测到语音控制指令时,即语音识别计时超时时,图像采集装置重新采集图像。也就是说,在没有识别到语音控制指令的情况下,需要每隔一段时间检测用户是否观看显示设备。
图6为本公开一实施例中控制模块的工作流程示意图。图6所示的流程示意图可以应用于本公开实施例中的显示设备的控制方法。如图6所示,显示设备上电后进行***初始化。示例性地,初始化结束后,启动唤醒计时,也就是说,控制唤醒计时模块进行唤醒时间的计时。在唤醒时间内,控制模块接收到存算模块的图像识别结果,并根据图像识别结果确定是否有人(即用户是否观看显示设备)。示例性地,控制模块可以根据图像识别结果确定是否有人;或者,存算模块根据图像识别结果确定是否有人,并将是否有人的信息发送给控制模块。当控制模块确定有人时,则控制唤醒计时模块复位,并打开显示模块,显示模块播放默认的节目或画面。在打开显示模块时,启动播放计时,亦即控制播放计时模块进行播放时间的计时。在显示模块的播放时间内,控制模块接收到语音控制指令的情况下,则控制模块执行该语音控制指令,亦即根据语音控制指令控制显示设备中对应功能模块调节至与语音控制指令相匹配的状态,并重置播放计时,即控制播放计时模块复位并重新进行播放时间的计时。若在显示模块的播放时间内,控制模块未接收到语音控制指令,但确定有人(即用户观看显示设备),那么,控制模块控制播放计时模块复位并重新进行播放时间的计时。若在显示模块的播放时间内,控制模块未接收到语音控制指令,且确定无人(即用户未观看或无用户观看显示设备),那么,控制模块控制显示设备进入睡眠模式。
在唤醒时间内,确定无人(即用户未观看或无用户观看显示设备),如果唤醒时间未超时,则可以多次确定是否有人;如果确定无人且唤醒时间超时,控制模块控制显示设备进入睡眠模式。
在显示设备处于睡眠模式下,接收到来自存算模块的唤醒信号,控制模块控制显示设备进入唤醒模式,并控制唤醒计时模块进行唤醒计时。
存算模块与控制模块的通信方式可以是UART、RS485或者以太网等。示例性地,通信协议数据帧格式可以如表1所示。
表1通信协议数据帧格式
Figure BDA0004088072140000151
表2命令码与功能对应表
Figure BDA0004088072140000152
Figure BDA0004088072140000161
需要说明的是,表1只是示例性地示出了通讯协议数据帧格式,实际实施中,通讯协议数据帧格式可以根据需要设置。表2只是示例性地示出了命令码对应的功能,实际实施中,各个功能的命令码可以根据需要设置,并不限于表2中的形式。
在一个实施例中,可以采用人体传感器进行人形检测。
在一个实施例中,可以对用户进行人脸识别,以便在确定出目标用户观看显示设备的情况下,控制显示设备进入工作模式。
显示设备可以为:手机、平板电脑、电视机、显示器、笔记本电脑、数码相框、导航仪等任何具有显示功能的产品或部件。
根据本公开的实施例,本公开还提供了一种电子设备。电子设备,包括:至少一个处理器;以及与至少一个处理器通信连接的存储器。其中,存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行,以使至少一个处理器能够执行本公开任一实施例中的显示控制方法。
本公开实施例还提供一种可读存储介质,其存储有计算机程序,该程序被处理器执行时实现如本公开任一实施例中的显示控制方法。
本文中以上描述的***和技术的各种实施方式可以在数字电子电路***、集成电路***、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上***的***(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程***上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储***、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储***、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行***、装置或设备使用或与指令执行***、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体***、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在计算机上实施此处描述的***和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的***和技术实施在包括后台部件的计算***(例如,作为数据服务器)、或者包括中间件部件的计算***(例如,应用服务器)、或者包括前端部件的计算***(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的***和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将***的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。
计算机***可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,也可以为分布式***的服务器,或者是结合了区块链的服务器。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本公开公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本公开保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等,均应包含在本公开保护范围之内。

Claims (14)

1.一种显示设备的控制方法,其特征在于,包括:
在确定出用户观看所述显示设备的情况下,控制所述显示设备进入工作模式;
在所述显示设备处于工作模式的情况下,若检测到语音控制指令,则根据语音控制指令控制所述显示设备中对应功能模块调节至与所述语音控制指令相匹配的状态。
2.根据权利要求1所述的方法,其特征在于,还包括:
在确定出用户未观看或无用户观看所述显示设备的情况下,控制所述显示设备进入睡眠模式。
3.根据权利要求1所述的方法,其特征在于,还包括:
在所述显示设备进入工作模式时,控制播放计时模块进行播放时间的计时;
在播放时间内检测到语音控制指令和/或确定出用户观看所述显示设备的情况下,控制所述播放计时模块复位并重新进行播放时间的计时,否则,控制所述显示设备进入睡眠模式。
4.根据权利要求1所述的方法,其特征在于,还包括:
根据采集到的图像或语音唤醒指令,确定用户是否观看所述显示设备。
5.根据权利要求4所述的方法,其特征在于,根据采集到的图像,确定用户是否观看所述显示设备,包括:
对采集到的图像进行人形识别,在所述图像中包括预设人形图像的情况下,确定用户观看所述显示设备,否则,确定用户未观看或无用户观看所述显示设备。
6.根据权利要求5所述的方法,其特征在于,所述预设人形图像至少包括用户的头部和肩部。
7.根据权利要求4所述的方法,其特征在于,根据采集到的图像,确定用户是否观看所述显示设备,包括:
对采集到的图像进行凝视识别,在所述图像中包括预设凝视图像的情况下,确定用户观看所述显示设备,否则,确定用户未观看或无用户观看所述显示设备。
8.根据权利要求7所述的方法,其特征在于,所述预设凝视图像至少包括用户眼睛的瞳孔。
9.根据权利要求4所述的方法,其特征在于,所述语音唤醒指令包括唤醒词,根据采集到的语音唤醒指令,确定用户是否观看所述显示设备,包括:
在从所述语音唤醒指令中识别出唤醒词的情况下,控制所述显示设备进入唤醒模式,并控制唤醒计时模块进行唤醒时间的计时;
在唤醒时间内,根据采集到的图像确定用户是否观看所述显示设备。
10.根据权利要求9所述的方法,其特征在于,根据采集到的语音唤醒指令,确定用户是否观看所述显示设备,还包括:
在唤醒时间内检测到语音控制指令的情况下,确定用户观看所述显示设备;
控制所述显示设备进入工作模式,并控制所述显示设备中对应功能模块调节至与所述语音控制指令相匹配的状态。
11.根据权利要求4所述的方法,其特征在于,所述语音唤醒指令包括功能词,根据采集到的语音唤醒指令,确定用户是否观看所述显示设备,包括:
在从所述语音唤醒指令中识别出功能词的情况下,确定用户观看所述显示设备;
控制所述显示设备进入工作模式,并控制所述显示设备中对应功能模块调节至与所述功能词相匹配的状态。
12.一种显示设备的控制装置,其特征在于,包括:
模式控制单元,用于在确定出用户观看所述显示设备的情况下,控制所述显示设备进入工作模式;
功能控制单元,用于在所述显示设备处于工作模式的情况下,若检测到语音控制指令,则根据语音控制指令控制所述显示设备中对应功能模块调节至与所述语音控制指令相匹配的状态。
13.一种显示设备,其特征在于,包括显示装置和权利要求12所述的显示设备的控制装置。
14.一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-11中任一项所述的方法。
CN202310125075.1A 2023-02-07 2023-02-07 显示设备的控制方法及其控制装置、显示设备、电子设备 Pending CN116132718A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310125075.1A CN116132718A (zh) 2023-02-07 2023-02-07 显示设备的控制方法及其控制装置、显示设备、电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310125075.1A CN116132718A (zh) 2023-02-07 2023-02-07 显示设备的控制方法及其控制装置、显示设备、电子设备

Publications (1)

Publication Number Publication Date
CN116132718A true CN116132718A (zh) 2023-05-16

Family

ID=86299006

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310125075.1A Pending CN116132718A (zh) 2023-02-07 2023-02-07 显示设备的控制方法及其控制装置、显示设备、电子设备

Country Status (1)

Country Link
CN (1) CN116132718A (zh)

Similar Documents

Publication Publication Date Title
US20110103643A1 (en) Imaging system with integrated image preprocessing capabilities
KR101787293B1 (ko) Mcu칩을 웨이크업 시키기 위한 방법 및 디바이스
CN105912092B (zh) 人机交互中的语音唤醒方法及语音识别装置
WO2017129082A1 (zh) 一种终端控制方法及终端
CN109712621B (zh) 一种语音交互控制方法及终端
WO2020020063A1 (zh) 对象识别方法及移动终端
US20140050360A1 (en) Systems and methods for presence detection
CN103677267A (zh) 移动终端及其唤醒方法、装置
US20220044043A1 (en) Integrated circuit and sensor data processing method
WO2016095353A1 (zh) 终端功耗的控制方法及装置、终端
CN106814838B (zh) 终端自动休眠的方法和装置
WO2023083132A1 (zh) 拍摄方法、装置、电子设备和可读存储介质
CN112634895A (zh) 语音交互免唤醒方法和装置
CN110971948A (zh) 一种智能电视的控制方法、装置、智能电视及介质
EP4199488A1 (en) Voice interaction method and electronic device
US8643771B2 (en) Electronic device and control method for controlling powering-saving state of electronic device
CN111105792A (zh) 语音交互处理方法及装置
CN111405180A (zh) 拍照方法、装置、存储介质及移动终端
WO2019129101A1 (zh) 拍摄方法及移动电子终端
US11659285B2 (en) Monitoring device and image capturing method
CN116132718A (zh) 显示设备的控制方法及其控制装置、显示设备、电子设备
CN112416172A (zh) 电子设备控制方法、装置及电子设备
CN112333441A (zh) 摄像头检测方法、装置及电子设备
WO2020186506A1 (zh) 拍摄装置的控制方法和拍摄装置
US9667854B2 (en) Electornic device and information processing unit

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination