CN110704004A - 一种语音控制的分屏显示方法及电子设备 - Google Patents
一种语音控制的分屏显示方法及电子设备 Download PDFInfo
- Publication number
- CN110704004A CN110704004A CN201910792694.XA CN201910792694A CN110704004A CN 110704004 A CN110704004 A CN 110704004A CN 201910792694 A CN201910792694 A CN 201910792694A CN 110704004 A CN110704004 A CN 110704004A
- Authority
- CN
- China
- Prior art keywords
- task
- user
- interface corresponding
- electronic device
- display area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 102
- 230000004044 response Effects 0.000 claims description 34
- 238000004590 computer program Methods 0.000 claims description 10
- 230000001960 triggered effect Effects 0.000 description 30
- 238000012545 processing Methods 0.000 description 29
- 230000001815 facial effect Effects 0.000 description 27
- 230000006870 function Effects 0.000 description 26
- 238000013461 design Methods 0.000 description 21
- 230000008569 process Effects 0.000 description 17
- 238000004891 communication Methods 0.000 description 16
- 238000013480 data collection Methods 0.000 description 15
- 235000014510 cooky Nutrition 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 238000007726 management method Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 229920001621 AMOLED Polymers 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000001413 cellular effect Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000013529 biological neural network Methods 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 239000002096 quantum dot Substances 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000002618 waking effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
- G10L17/22—Interactive procedures; Man-machine interfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04842—Selection of displayed objects or displayed text elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/14—Display of multiple viewports
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
- G10L17/04—Training, enrolment or model building
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
- G10L17/06—Decision making techniques; Pattern matching strategies
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
- G10L17/06—Decision making techniques; Pattern matching strategies
- G10L17/14—Use of phonemic categorisation or speech recognition prior to speaker recognition or verification
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
- H04N21/44213—Monitoring of end-user related data
- H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/443—OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
- H04N21/4438—Window management, e.g. event handling following interaction with the user interface
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/048—Indexing scheme relating to G06F3/048
- G06F2203/04803—Split screen, i.e. subdividing the display area or the window area into separate subareas
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2354/00—Aspects of interface with display user
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/223—Execution procedure of a spoken command
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Acoustics & Sound (AREA)
- General Health & Medical Sciences (AREA)
- Signal Processing (AREA)
- Social Psychology (AREA)
- Game Theory and Decision Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Business, Economics & Management (AREA)
- Software Systems (AREA)
- Computer Networks & Wireless Communication (AREA)
- Databases & Information Systems (AREA)
- Computer Hardware Design (AREA)
- Computational Linguistics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本申请实施例提供一种语音控制的分屏显示方法及电子设备,涉及智能语音控制和分屏显示技术领域,可以丰富电子设备的显示内容,提升电子设备的显示屏的利用率。具体方案包括:电子设备响应于第一用户的第一操作,在显示屏显示第一任务对应的界面,并且该显示屏当前不显示其他任务对应的界面;在显示第一任务对应的界面时,采集第一语音数据;响应于第一语音数据包括电子设备的唤醒词,识别第一语音数据,第一语音数据用于触发电子设备执行第二任务;基于第一语音数据被识别出是第二用户的语音数据,在显示屏的第一显示区域显示第一任务对应的界面,在显示屏的第二显示区域显示第二任务对应的界面。
Description
技术领域
本申请实施例涉及智能语音控制和分屏显示技术领域,尤其涉及一种语音控制的分屏显示方法及电子设备。
背景技术
随着电子技术的发展,智能终端的功能越来越多,如智能终端可以具有语音控制功能,即智能终端可以接收用户输入的语音信息(如“看小猪佩奇”),对该语音信息进行语义理解,然后执行语义理解结果对应的事件(播放动画片《小猪佩奇》)。例如,上述具有语音控制功能的智能终端不仅可以为手机、平板电脑或者可穿戴设备等移动终端,还可以为电视机等大屏终端。
其中,随着屏幕技术的发展,智能终端的显示屏变得越来越大,可以为用户提供更丰富的信息,带给用户更好的使用体验。但是,显示屏较大的电子设备(如大屏电视机)响应于用户的语音命令显示对应的应用界面时,可能会存在电子设备显示内容较为单一,电子设备的显示屏没有被充分利用的问题。
发明内容
本申请实施例提供一种语音控制的分屏显示方法,可以丰富电子设备的显示内容,提升电子设备的显示屏的利用率。
第一方面,本申请实施例提供一种语音控制的分屏显示方法,该方法可以应用于包括显示屏和麦克风的电子设备。该方法可以包括:响应于第一用户的第一操作,电子设备在显示屏显示第一任务对应的界面,并且该显示屏当前不显示其他任务对应的界面;在显示第一任务对应的界面时,电子设备采集第一语音数据;响应于第一语音数据包括电子设备的唤醒词,电子设备识别第一语音数据,第一语音数据用于触发电子设备执行第二任务;基于第一语音数据被识别出是第二用户的语音数据,电子设备在显示屏的第一显示区域显示第一任务对应的界面,在显示屏的第二显示区域显示第二任务对应的界面。
本申请实施例中,电子设备响应于一个用户的操作,显示一个任务对应的界面的情况下,还可以响应于另一个用户的语音命令(即语音数据),在显示屏上采用分屏的方式显示两个任务对应的界面。也就是说,电子设备响应于多个用户的操作(如语音命令),可以在显示屏上采用分屏的方式显示多个任务对应的界面。这样,可以丰富电子设备的显示内容,提升电子设备的显示屏的利用率。
结合第一方面,在一种可能的设计方式中,上述第一显示区域靠近显示屏的第一侧,第二显示区域靠近显示屏的第二侧。第一侧和第二侧是显示屏的左右相对的两侧。电子设备还包括摄像头,或者电子设备外接摄像头。
电子设备还可以记录第一用户相对于显示屏的位置和第二用户相对于显示屏的位置。示例性的,电子设备在显示屏的第一显示区域显示第一任务对应的界面,在显示屏的第二显示区域显示第二任务对应的界面之前,可以通过摄像头和/或麦克风,确定第一用户靠近显示屏的第一侧,第二用户靠近显示屏的第二侧。如此,电子设备在显示屏上分屏显示第一任务对应的界面和第二任务对应的界面时,便可以根据第一用户和第二用于相对于显示屏的位置,将第一任务对应的界面显示在靠近第一用户的显示区域,将第二任务对应的界面显示在靠近第二用户的显示区域。
结合第一方面,在另一种可能的设计方式中,在电子设备在显示屏分屏显示第一任务对应的界面或第二任务对应的界面的过程中,第一用户和第二用户相对于显示屏的位置可能会发生变化。例如,第一用户可能会由显示屏的第一侧(如右侧)移动至第二侧(如左侧),而第二用户可能会由显示屏的第二侧移动至第一侧。
基于这种情况,在电子设备在第一显示区域显示第一任务对应的界面,在第二显示区域显示第二任务对应的界面之后,本申请实施例的方法还可以包括:电子设备通过摄像头和/或麦克风,确定第一用户靠近显示屏的第二侧,第二用户靠近显示屏的第一侧;电子设备在第二显示区域显示第一任务对应的界面,在第一显示区域显示第二任务对应的界面。
本申请实施例中,电子设备可以实时监控用户的位置移动,在显示屏上分屏显示第一任务对应的界面和第二任务对应的界面时,可以根据第一用户和第二用于相对于显示屏的实时位置,将第一任务对应的界面显示在靠近第一用户的显示区域,将第二任务对应的界面显示在靠近第二用户的显示区域。这样,可以方便用户观看该用户所触发的任务对应的界面,有利于提升用户的观看体验。
结合第一方面,在另一种可能的设计方式中,电子设备执行第二任务与电子设备执行第一任务可能会存在资源冲突。示例性的,如果第一任务和第二任务都是“播放音乐”、“播放动画片”或者“播放脱口秀”等需要使用电子设备的音箱或者扬声器的音视频类任务;那么,电子设备执行第二任务与电子设备执行第一任务会存在资源冲突。该资源冲突可以包括音频冲突。
为了避免上述资源冲突,电子设备在确定电子设备执行第二任务与电子设备执行第一任务不存在资源冲突时,才在显示屏分屏显示第一任务对应的界面和第二任务对应的界面。具体的,上述基于第一语音数据被识别出是第二用户的语音数据,电子设备在第一显示区域显示第一任务对应的界面,在第二显示区域显示第二任务对应的界面,包括:基于第一语音数据被识别出是第二用户的语音数据,电子设备确定电子设备执行第二任务与电子设备执行第一任务不存在资源冲突,则在第一显示区域显示第一任务对应的界面,在第二显示区域显示第二任务对应的界面。
本申请实施例中,电子设备在电子设备执行第二任务与电子设备执行第一任务不存在资源冲突时,才可以在显示屏分屏显示第一任务对应的界面或第二任务对应的界面。这样,可以保证电子设备执行第一任务或者第二任务的节目播放质量,减少对用户观看体验的影响。
结合第一方面,在另一种可能的设计方式中,基于第一语音数据被识别出是第二用户的语音数据,电子设备确定电子设备执行第二任务与电子设备执行第一任务存在资源冲突;电子设备可以显示第一界面。由用户在第一界面中选择显示第一任务对应的界面或者第二任务对应的界面。响应于用户在第一界面的第二操作,电子设备在显示屏显示第一任务对应的界面,不显示第二任务对应的界面。或者,响应于用户在第一界面的第三操作,电子设备在显示屏显示第二任务对应的界面,不显示第一任务对应的界面。
结合第一方面,在另一种可能的设计方式中,在电子设备分屏显示第一任务对应的界面和第二任务对应的界面的过程中,一个用户(如第一用户或第二用户)可能会离开而不再观看电子设备。在这种情况下,为了提升另一个用户的观看体验,电子设备可以不再显示离开的用户所触发的任务对应的界面。
具体的,上述电子设备还可以包括摄像头;或者,该电子设备外接摄像头。电子设备可以通过摄像头采集第一用户和第二用户的人脸图像;如果电子设备在第一预设时间内检测到第二用户的人脸图像,但未检测到第一用户的人脸图像,则可以在显示屏显示第二任务对应的界面,不显示第一任务对应的界面。其中,电子设备在显示屏不显示第一任务对应的界面,表示电子设备当前不执行第一任务或者暂停执行第一任务。
本申请实施例中,电子设备在检测到用户已经离开而不再观看电子设备时,可以停止显示该用户所触发的任务对应的界面,在整个显示屏显示仍在观看电子设备的用户所触发的任务对应的界面。这样,电子设备便可以以较大的显示区域显示仍在观看电子设备的用户所触发的任务对应的界面。如此,可以提升仍在观看电子设备的用户的观看体验。
可以理解,在电子设备不显示第一任务对应的界面之后,如果电子设备在第一预设时间之后的第二预设时间内,重新检测到第一用户的人脸图像和第二用户的人脸图像,则表示该第一用户又回来继续观看电子设备。此时,电子设备可以在第一显示区域显示第一任务对应的界面,在第二显示区域显示第二任务对应的界面;或者,在第二显示区域显示第一任务对应的界面,在第一显示区域显示第二任务对应的界面。具体的,电子设备可以根据第一用户和第二用户相对于显示屏的位置,将第一任务对应的界面显示在靠近第一用户的显示区域,将第二任务对应的界面显示在靠近第二用户的显示区域。
本申请实施例中,电子设备可以检测到一个用户离开不再观看电子设备时,停止在显示屏显示该用户所触发的任务对应的界面。而当检测到该用户在第二预设时间内回来继续观看电子设备时,则可以重新在显示屏的一个显示区域显示第一任务对应的界面。也就是说,如果用户在第二预设时间内回来继续观看电子设备,电子设备可以自动恢复显示该用户所触发的任务对应的界面。这样,可以使电子设备更加智能,可以提升电子设备与用户的交互性能,进而可以提升用户对电子设备的使用体验。
结合第一方面,在另一种可能的设计方式中,在电子设备不显示第一任务对应的界面之后,如果电子设备在第二预设时间内未检测到第一用户的人脸图像,但在第二预设时间后重新检测到第一用户的人脸图像,则在显示屏显示第二任务对应的界面,不显示第一任务对应的界面。
结合第一方面,在另一种可能的设计方式中,基于第一语音数据被识别出是第二用户的语音数据,如果电子设备当前正在执行的任务的总数小于预设任务阈值,电子设备可以在第一显示区域显示第一任务对应的界面,在第二显示区域显示第二任务对应的界面。其中,预设任务阈值与多个显示区域中显示区域的个数相同。如果电子设备当前正在执行的任务的总数等于预设任务阈值,电子设备则可以在显示屏显示第一任务对应的界面,不显示其他界面。
结合第一方面,在另一种可能的设计方式中,电子设备可以根据用户的用户级别,确定显示哪一个用户所触发的任务对应的界面。本申请实施例的方法还可以包括:响应于第一语音数据,如果电子设备当前正在执行的任务的总数等于预设任务阈值,电子设备判断第二用户的用户级别是否高于第一用户的用户级别。如果第二用户的用户级别高于第一用户的用户级别,电子设备在显示屏显示第二任务对应的界面,显示屏不显示其他界面。如果第二用户的用户级别低于第一用户的用户级别,电子设备在显示屏显示第一任务对应的界面,显示屏不显示其他界面。
结合第一方面,在另一种可能的设计方式中,在电子设备分屏显示第一任务对应的界面和第二任务对应的界面的过程中,电子设备还可能会接收到第一用户、第二用户或者其他用户(如第三用户)发出的语音数据(如第二语音数据)。该第二语音数据还用于触发电子设备执行第三任务。具体的,本申请实施例的方法还可以包括:电子设备采集第二语音数据;响应于第二语音数据包括唤醒词,电子设备判断第二语音数据是否为第一用户或第二用户或第三用户的语音数据;基于第二语音数据被识别出是第一用户的语音数据,电子设备在第一显示区域的显示第三任务对应的界面,在第二显示区域显示第二任务对应的界面。
结合第一方面,在另一种可能的设计方式中,上述第三任务与第一任务不同;或者,第三任务是第一任务的子任务。
结合第一方面,在另一种可能的设计方式中,上述第三任务与第一任务不同。电子设备在第一显示区域的显示第三任务对应的界面,在第二显示区域显示所述第二任务对应的界面之前,可以先确定电子设备执行第三任务与所述电子设备执行第二任务不存在资源冲突。
结合第一方面,在另一种可能的设计方式中,基于第二语音数据被识别出是第二用户的语音数据,电子设备可以在第二显示区域的显示第三任务对应的界面,在第一显示区域显示第一任务对应的界面。
结合第一方面,在另一种可能的设计方式中,上述电子设备中保存有多个用户的用户标识和多个用户中每个用户的用户级别。假设第二用户的用户级别高于第一用户的用户级别。本申请实施例的方法还可以包括:基于第二语音数据被识别出是第三用户的语音数据,电子设备判断第三用户的用户级别是否高于第一用户的用户级别;如果第三用户的用户级别高于第一用户的用户级别,电子设备判断电子设备执行第三任务与所述电子设备执行第二任务是否存在资源冲突;如果电子设备执行第三任务与电子设备执行所述第二任务不存在资源冲突,电子设备在第一显示区域显示第三任务对应的界面,在第二显示区域显示第二任务对应的界面。也就是说,电子设备可以优先执行用户级别较高的用户所触发的任务。如此,可以提升用户级别较高的用户的使用体验。
结合第一方面,在另一种可能的设计方式中,如果第三用户的用户级别低于第一用户的用户级别,电子设备在第一显示区域显示第一任务对应的界面,在第二显示区域显示第二任务对应的界面。
结合第一方面,在另一种可能的设计方式中,第三用户的用户级别可能会等于第一用户的用户级别。在这种情况下,电子设备可以在第一显示区域显示第一任务对应的界面,在第二显示区域显示第二任务对应的界面。或者,电子设备可以在第一显示区域显示第三任务对应的界面,在第二显示区域显示第二任务对应的界面。或者,电子设备可以显示第二界面;响应于用户在第二界面的第四操作,在第一显示区域显示第一任务对应的界面,在第二显示区域显示第二任务对应的界面;或者,响应于用户在第二界面的第五操作,在第一显示区域显示第三任务对应的界面,在第二显示区域显示第二任务对应的界面。
本申请实施例中,电子设备在分屏显示第一任务和第二任务对应的界面的过程中,还可能会接收到用于触发电子设备执行新任务(即第三任务),显示第三任务对应的界面的第二语音数据(即语音命令)。此时,电子设备可以通过识别发出该第二语音数据的用户,判断电子设备执行第三任务与电子设备执行第一任务或第二任务是否存在资源冲突,以及对比各个用户的用户级别,采用分屏方式显示多个任务的界面。通过本申请实施例的方法,不仅可以丰富电子设备的显示内容,提升电子设备的显示屏的利用率;还可以保证电子设备执行多任务的节目播放质量,提升用户的使用体验。
第二方面,本申请实施例提供一种电子设备,该电子设备包括:存储器、显示屏、麦克风和一个或多个处理器。存储器、显示屏、麦克风与处理器耦合。存储器用于存储计算机程序代码。计算机程序代码包括计算机指令。当计算机指令被一个或多个处理器执行时,使得电子设备执行如第一方面及其任一种可能的设计方式所述的方法。
第三方面,本申请实施例提供一种芯片***,该芯片***应用于包括上述显示屏和麦克风的电子设备。该芯片***包括一个或多个接口电路和一个或多个处理器。该接口电路和处理器通过线路互联。该接口电路用于从电子设备的存储器接收信号,并向处理器发送该信号,该信号包括存储器中存储的计算机指令。当处理器执行所述计算机指令时,电子设备执行如第一方面及其任一种可能的设计方式所述的方法。
第四方面,本申请实施例提供一种计算机存储介质,该计算机存储介质包括计算机指令,当所述计算机指令在电子设备上运行时,使得所述电子设备执行如第一方面及其任一种可能的设计方式所述的方法。
第五方面,本申请实施例提供一种计算机程序产品,当所述计算机程序产品在计算机上运行时,使得所述计算机执行如第一方面及其任一种可能的设计方式所述的方法。
可以理解地,上述提供的第二方面及其任一种可能的设计方式所述的电子设备,第三方面所述的芯片***,第四方面所述的计算机存储介质,第五方面所述的计算机程序产品所能达到的有益效果,可参考如第一方面及其任一种可能的设计方式中的有益效果,此处不再赘述。
附图说明
图1为本申请实施例提供的一种电视机的硬件结构示意图;
图2为本申请实施例提供的一种语音控制的分屏显示方法流程图;
图3为本申请实施例提供的一种电视机的显示界面实例示意图;
图4A为本申请实施例提供的一种显示区域的实例示意图;
图4B为本申请实施例提供的一种显示区域的实例示意图;
图5A为本申请实施例提供的另一种电视机的显示界面实例示意图;
图5B为本申请实施例提供的另一种电视机的显示界面实例示意图;
图6为本申请实施例提供的另一种语音控制的分屏显示方法流程图;
图7为本申请实施例提供的另一种电视机的显示界面实例示意图;
图8为本申请实施例提供的另一种语音控制的分屏显示方法流程图;
图9为本申请实施例提供的另一种电视机的显示界面实例示意图;
图10为本申请实施例提供的另一种语音控制的分屏显示方法流程图;
图11为本申请实施例提供的另一种电视机的显示界面实例示意图;
图12为本申请实施例提供的另一种电视机的显示界面实例示意图;
图13为本申请实施例提供的另一种电视机的显示界面实例示意图;
图14为本申请实施例提供的一种语音控制的分屏显示装置的组成示意图;
图15为本申请实施例提供的一种语音控制的分屏显示方法的原理流程图;
图16为本申请实施例提供的一种芯片***的结构组成示意图。
具体实施方式
以下,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本实施例的描述中,除非另有说明,“多个”的含义是两个或两个以上。
本申请实施例提供一种语音控制的分屏显示方法,该方法可以应用于包括显示屏和麦克风的电子设备。该方法中,电子设备可以响应于用户的语音命令(即语音数据),在显示屏显示多个应用的界面。这样,可以丰富电子设备的显示内容,提升电子设备的显示屏的利用率。
示例性的,本申请实施例中的电子设备可以是电视机、平板电脑、投影仪、手机、桌面型、膝上型、手持计算机、笔记本电脑、超级移动个人计算机(ultra-mobile personalcomputer,UMPC)、上网本,以及蜂窝电话、个人数字助理(personal digital assistant,PDA)、增强现实(augmented reality,AR)\虚拟现实(virtual reality,VR)设备、车载设备等包括显示屏和麦克风的设备,本申请实施例对该电子设备的具体形态不作特殊限制。
以下以电子设备是电视机为例,对电子设备的结构进行说明。请参考图1,为本申请实施例提供的一种电视机100的结构示意图。如图1所示,电视机100可以包括:处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,USB)接口130,电源管理模块140,天线,无线通信模块160,音频模块170,扬声器170A,麦克风170C,音箱接口170B,传感器模块180,按键190,指示器191,摄像头193,以及显示屏192等。
其中,上述传感器模块180可以包括距离传感器180F,接近光传感器180G,指纹传感器180H,温度传感器180J,触摸传感器180K,环境光传感器180L等传感器。
可以理解的是,本实施例示意的结构并不构成对电视机100的具体限定。在另一些实施例中,电视机100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,存储器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
控制器可以是电视机100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了***的效率。
在一些实施例中,处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,I2C)接口,集成电路内置音频(inter-integrated circuitsound,I2S)接口,脉冲编码调制(pulse code modulation,PCM)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processor interface,MIPI),通用输入输出(general-purposeinput/output,GPIO)接口,和/或USB接口等。
可以理解的是,本实施例示意的各模块间的接口连接关系,只是示意性说明,并不构成对电视机100的结构限定。在另一些实施例中,电视机100也可以采用上述实施例中不同的接口连接方式,或多种接口连接方式的组合。
电源管理模块140用于连接电源。充电管理模块140还可以与处理器110、内部存储器121、显示屏194、摄像头193和无线通信模块160等连接。电源管理模块141接收电源的输入,为处理器110、内部存储器121、显示屏194、摄像头193和无线通信模块160等供电。在一些实施例中,电源管理模块141也可以设置于处理器110中。
电视机100的无线通信功能可以通过天线和无线通信模块160等实现。其中,无线通信模块160可以提供应用在电视机100上的包括无线局域网(wireless local areanetworks,WLAN)(如无线保真(wireless fidelity,Wi-Fi)网络),蓝牙(bluetooth,BT),全球导航卫星***(global navigation satellite system,GNSS),调频(frequencymodulation,FM),近距离无线通信技术(near field communication,NFC),红外技术(infrared,IR)等无线通信的解决方案。
无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。在一些实施例中,电视机100的天线和无线通信模块160耦合,使得电视机100可以通过无线通信技术与网络以及其他设备通信。
电视机100通过GPU,显示屏192,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏192和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏192用于显示图像,视频等。该显示屏192包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD),有机发光二极管(organic light-emittingdiode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode,AMOLED),柔性发光二极管(flex light-emittingdiode,FLED),Miniled,MicroLed,Micro-oLed,量子点发光二极管(quantum dot lightemitting diodes,QLED)等。
电视机100可以通过ISP,摄像头193,视频编解码器,GPU,显示屏192以及应用处理器等实现拍摄功能。ISP用于处理摄像头193反馈的数据。在一些实施例中,ISP可以设置在摄像头193中。
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB,YUV等格式的图像信号。在一些实施例中,电视机100可以包括1个或N个摄像头193,N为大于1的正整数。例如,如图3中的(a)所示,摄像头193可以设置于电视机100的显示屏192的上侧边缘处。当然,本申请实施例对摄像头193在电视机100上的位置不作限定。
或者,电视机100可以不包括摄像头,即上述摄像头193并未设置于电视机100中。电视机100可以通过接口(如USB接口130)外接摄像头193。该外接的摄像头193可以通过外部固定件(如带夹子的摄像头支架)固定在电视机100上。例如,外接的摄像头193可以通过外部固定件,固定在电视机100的显示屏192的边缘处,如上侧边缘处。
数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当电视机100在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。视频编解码器用于对数字视频压缩或解压缩。电视机100可以支持一种或多种视频编解码器。这样,电视机100可以播放或录制多种编码格式的视频,例如:动态图像专家组(moving picture experts group,MPEG)1,MPEG2,MPEG3,MPEG4等。
NPU为神经网络(neural-network,NN)计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过NPU可以实现电视机100的智能认知等应用,例如:图像识别,人脸识别,语音识别,文本理解等。
外部存储器接口120可以用于连接外部存储卡,例如Micro SD卡,实现扩展电视机100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信,实现数据存储功能。例如将音乐,视频等文件保存在外部存储卡中。
内部存储器121可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令,从而执行电视机100的各种功能应用以及数据处理。例如,在本申请实施例中,处理器110可以通过执行存储在内部存储器121中的指令,内部存储器121可以包括存储程序区和存储数据区。
其中,存储程序区可存储操作***,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储电视机100使用过程中所创建的数据(比如音频数据,电话本等)等。此外,内部存储器121可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flashstorage,UFS)等。
电视机100可以通过音频模块170,扬声器170A,麦克风170C,音箱接口170B,以及应用处理器等实现音频功能。例如,音乐播放,录音等。
音频模块170用于将数字音频信息转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中,音频模块170可以设置于处理器110中,或将音频模块170的部分功能模块设置于处理器110中。扬声器170A,也称“喇叭”,用于将音频电信号转换为声音信号。麦克风170C,也称“话筒”,“传声器”,用于将声音信号转换为电信号。
音箱接口170B用于连接有线音箱。音箱接口170B可以是USB接口130,也可以是3.5mm的开放移动电子设备平台(open mobile terminal platform,OMTP)标准接口,美国蜂窝电信工业协会(cellular telecommunications industry association of the USA,CTIA)标准接口。
按键190包括开机键,音量键等。按键190可以是机械按键。也可以是触摸式按键。电视机100可以接收按键输入,产生与电视机100的用户设置以及功能控制有关的键信号输入。
指示器191可以是指示灯,可以用于指示电视机100处于开机状态、待机状态或者关机状态等。例如,指示灯灭灯,可指示电视机100处于关机状态;指示灯为绿色或者蓝色,可指示电视机100处于待机状态;指示灯为红色,可指示电视机100处于待机状态。
通常,电视机100会配有一遥控器。该遥控器用于控制电视机100。该遥控器可以包括:多个按键,如电源按键、音量按键、以及其他的多个选择按键。遥控器上的按键可以是机械按键,也可以是触摸式按键。遥控器可以接收按键输入,产生与电视机100的用户设置以及功能控制有关的键信号输入,并向电视机100发送相应的控制信号,以控制电视机100。例如,遥控器可以通过红外信号等向电视机100发送控制信号。该遥控器还可以包括电池收纳腔,用于安装电池,为遥控器供电。
可以理解的是,本申请实施例示意的结构并不构成对电视机100的具体限定。其可以具有比图1中所示出的更多的或者更少的部件,可以组合两个或更多的部件,或者可以具有不同的部件配置。例如,该电视机还可以包括音箱等部件。图1中所示出的各种部件可以在包括一个或多个信号处理或专用集成电路在内的硬件、软件、或硬件和软件的组合中实现。
以下实施例中的方法均可以在具有上述硬件结构的电视机100中实现。以下实施例中以上述电子设备是电视机100为例,对本申请实施例的方法进行说明。
本申请实施例提供一种语音控制的分屏显示方法,如图2所示,该语音控制的分屏显示方法可以包括S201-S205。
S201、响应于第一用户的第一操作,电视机100在显示屏显示第一任务对应的界面。
需要注意的是,电视机100在显示屏显示第一任务对应的界面,具体是指:在显示屏的整个显示区域显示第一任务对应的界面。电视机100的显示屏当前不显示其他任务对应的界面。例如,假设上述第一任务为“播放动画片小猪佩奇”。如图3中的(a)所示,电视机100在显示屏的整个显示区域显示“小猪佩奇”对应的界面301。
在一些实施例中,上述第一操作可以是用户对电视机100的遥控器的操作。该第一操作用于触发电视机100显示第一任务对应的界面。遥控器接收到该第一操作后,可以向电视机100发送相应的控制信号;电视机100响应于该控制信号,可以在显示屏显示第一任务对应的界面。
在另一些实施例中,上述第一操作还可以是电视机100通过麦克风采集的第一用户的语音数据(如语音数据a,即语音命令)。该语音数据用于控制电视机100执行第一任务,显示第一任务对应的界面。例如,语音数据a可以为“小艺小艺,看动画片”,“小艺小艺,下围棋”或者“小艺小艺,听广播”等。
示例性的,以上述第一操作用于触发电视机100播放动画片“小猪佩奇”,即上述第一任务是“播放动画片小猪佩奇”为例。电视机100响应于用户a该第一操作,如图3中的(a)所示,可以在显示屏显示第一任务对应的界面301。
本申请实施例这里以电视机100响应于语音数据a,在显示屏显示第一任务对应的界面为例,对本申请实施例中电视机100响应于语音数据,在显示屏显示对应界面的原理进行说明。
上述语音数据a中包括电视机100的唤醒词。例如,该唤醒词可以用于唤醒电视机100,以控制电视机执行语音控制事件。其中,在进行语音唤醒之前,用户需要在电视机100中注册用于唤醒语音助手的唤醒词。例如,电视机100可以接收用户输入的唤醒词的文本或者语音唤醒词。如,该唤醒词可以为“小艺小艺”或者“小艺”等。本申请实施例中,以唤醒词是“小艺小艺”为例,对本申请实施例的方法进行说明。
在第一种情况下,电视机100接收的唤醒词是用户输入的唤醒词的文本。在这种情况下,语音唤醒过程可以包括:电视机100通过低功耗的数字信号处理器(Digital SignalProcessing,DSP)监测语音数据。当DSP监测到语音数据与上述唤醒词的相似度满足一定条件时,DSP将监测到的语音数据交给应用处理器(Application Processor,AP)。由AP对上述语音数据进行文本校验,以判断该语音数据是否与用户注册的唤醒词匹配。当语音数据与唤醒词匹配时,电视机100则执行对应的语音控制事件。
在第二种情况下,电视机100接收到用户注册的唤醒词是语音唤醒词。在这种情况下,电视机100可以根据用户输入的语音唤醒词生成可以表征该唤醒词的声纹特征的声纹模型。上述语音唤醒过程可以包括:电视机100通过低功耗的数字信号处理器(DigitalSignal Processing,DSP)监测语音数据。当DSP监测到语音数据与上述唤醒词的相似度满足一定条件时,DSP将监测到的语音数据交给应用处理器(Application Processor,AP)。由AP对上述语音数据进行文本校验和声纹校验,以判断该语音数据是否与生成的声纹模型匹配。当语音数据与声纹模型匹配时,手机则可以执行对应的语音控制事件。
可以理解,电视机100可以接收一个或多个用户针对同一文本的语音唤醒词,并针对每一个用户生成一个用于表征对应语音唤醒词的声纹特征的声纹模型。如此,电视机100在接收到该一个或多个用户发出的包括上述唤醒词的语音数据时,便可以执行对应的语音控制事件。
需要注意的是,本申请实施例中的唤醒词包括但不限于“小艺小艺”。该唤醒词可以是预设配置在电视机中的固定文本的唤醒词。或者,该唤醒词还可以是由用户设置的任一唤醒词。本申请实施例中对唤醒词的具体内容不做限定。
S202、电视机100在显示屏显示第一任务对应的界面时,采集第一语音数据。
S203、响应于第一语音数据包括电视机100的唤醒词,电视机100识别第一语音数据。
本申请实施例中,以电视机100的唤醒词是“小艺小艺”为例,对本申请实施例的方法进行说明。例如,上述第一语音数据可以为“小艺小艺,下一集”,“小艺小艺,下围棋”,“小艺小艺,看脱口秀”或者“小艺小艺,放音乐”等。需要说明的是,用户在对电视机进行语音控制时,可以每一条语音都以唤醒词开头;即电视机对于每个语音数据都要识别是否包括唤醒词,如果包括唤醒词,电视机才会执行该语音数据相应的功能。或者,用户也可以在说了唤醒词唤醒电视机的语音控制功能之后,说出不带唤醒词的语音;即,当电视机的语音控制功能被唤醒之后,在一段时长内,电视机能够处理不带唤醒词的语音,并执行相应的功能。也就是说,S202中的第一语音数据中,可以携带唤醒词,也可以不携带唤醒词。当电视机的语音控制功能被开启之后,在某些实施中,不包括唤醒词的语音数据也能被电视机执行。为了防止电视机被语音误触发,一般情况下,语音数据中都包括唤醒词。
其中,该第一语音数据还用于触发电视机100执行第二任务。例如,以第一语音数据是“小艺小艺,下围棋”为例。该第一语音数据用于触发电视机100启动围棋应用,显示围棋应用的界面,即上述第二任务是下围棋。又例如,以第一语音数据是“小艺小艺,放音乐”为例。该第一语音数据用于触发电视机100启动音乐播放应用,显示播放音乐的界面,即上述第二任务是播放音乐。
可以理解,该第一语音数据可能是第一用户的语音数据,也可能是其他用户(如第二用户)的语音数据。其中,电视机100识别第一语音数据是否为第一用户的语音数据的方法,可以参见以下实施例中的相关描述,本实施例这里不予赘述。基于第一语音数据被识别出是第一用户的语音数据,电视机100则可以停止执行上述第一任务,并开始执行第二任务,即电视机100可以执行S204。基于第一语音数据被识别出是第二用户的语音数据,而不是第一用户的语音数据,电视机100则可以同时执行上述第一任务和第二任务,即电视机100可以执行S205。
S204、电视机100停止显示第一任务对应的界面,并在显示屏显示第二任务对应的界面。
示例性的,假设电视机10响应于图3中的(a)所示的用户a(即第一用户)的第一操作,显示第一任务对应的界面301。
例如,假设电视机100显示图3中的(a)所示的界面301的过程中,接收到用户a发出的语音数据“小艺小艺,下一集”。电视机100响应于语音数据“小艺小艺,下一集”中包括唤醒词“小艺小艺”,可以识别出该语音数据是用户a(即第一用户)的语音数据。电视机100则可以停止执行显示第一任务对应的界面,并开始执行该语音数据对应的第二任务,即播放下一集动画片。例如,电视机100可以显示如图3中的(b)所示的第二任务对应的界面302。
又例如,假设电视机100显示图3中的(a)所示的界面301的过程中,接收到用户a发出的语音数据“小艺小艺,学英语”。电视机100响应于语音数据“小艺小艺,学英语”中包括唤醒词“小艺小艺”,可以识别出该语音数据是用户a(即第一用户)的语音数据。电视机100则可以停止显示第一任务对应的界面,并在显示屏显示第二任务对应的界面,即显示学英语的界面(附图未示出)。
S205、电视机100在显示屏的第一显示区域显示第一任务对应的界面,在第二显示区域显示第二任务对应的界面。
可以理解,如果该第一语音数据是第二用户的语音数据,而不是第一用户的语音数据;则表示可能有两个用户想要同时电视机100执行不同的任务。在这种情况下,电视机可以同时执行上述第一任务和第二任务。本申请实施例中,电视机100可以在显示屏的不同显示区域,显示不同任务对应的界面。例如,电视机100可以在显示屏的第一显示区域显示第一任务对应的界面,在第二显示区域显示第二任务对应的界面。
在本申请实施例中,电视机100的显示屏可以划分为多个显示区域。该多个显示区域至少可以包括第一显示区域和第二显示区域。
示例性的,电视机100的显示屏可以划分为两个显示区域,也可划分为三个显示区域。例如,如图4A中的(a)、图4A中的(b)或图4A中的(c)所示,电视机100的显示屏可以划分为两个显示区域,包括第一显示区域和第二显示区域。又例如,如图4B所示,电视机100的显示屏可以划分为三个显示区域,包括第一显示区域、第二显示区域和第三显示区域。
本申请实施例中,以电视机100的显示屏可以划分为两个显示区域,即上述多个显示区域包括第一显示区域和第二显示区域为例,对本申请实施例的方法进行说明。
其中,第一显示区域和第二显示区域均为显示屏的显示区域的一部分。该第一显示区域和第二显示区域未重叠。第一显示区域和第二显示区域的尺寸(包括宽和高)可以预先配置在电视机100中。或者,上述第一显示区域和第二显示区域的宽和高可以由用户在电视机100中设置。在该实施例中,上述第一显示区域的尺寸和第二显示区域的尺寸可以相同,也可以不同。
例如,如图4A中的(a)所示,第一显示区域的尺寸和第二显示区域的尺寸相同。图4A中的(a)中,第一显示区域和第二显示区域以分界线A为界,第一显示区域的高和第二显示区域的高相同,且第一显示区域的宽和第二显示区域的宽均为长度L。
又例如,如图4A中的(b)或者图4A中的(c)所示,第一显示区域的尺寸和第二显示区域的尺寸不同。图4A中的(b)中,第一显示区域和第二显示区域以分界线B为界,第一显示区域的大于第二显示区域。图4A中的(c)中,第一显示区域和第二显示区域以分界线C为界,第一显示区域的小于第二显示区域。
其中,第一显示区域靠近显示屏的第一侧,第二显示区域靠近显示屏的第二侧。该第一侧和第二侧是显示屏的左右相对的两侧。例如,上述第一侧是显示屏的右侧,第二侧是显示屏的左侧。或者,第一侧是显示屏的左侧,第二侧是显示屏的右侧。本申请实施例中,以第一侧是显示屏的右侧,第二侧是显示屏的左侧为例,对本申请实施例的方法进行说明。例如,如图4A中的(a)所示,第一显示区域靠近显示屏的右侧,第二显示区域靠近显示屏的左侧。
需要注意的是,图4A中的(a)、图4A中的(b)和图4A中的(c)仅以示例方式给出第一显示区域和第二显示区域的三种可能实施例。在本申请实施例中,显示屏的第一显示区域和第二显示区域包括但不限于上述实例所述的显示区域。本申请实施例中,以第一显示区域的尺寸和第二显示区域的尺寸相同,即图4A中的(a)所示的第一显示区域和第二显示区域为例,对本申请实施例的方法进行说明。
示例性的,假设电视机10响应于图5A中的(a)所示的用户a(即第一用户)的第一操作,显示第一任务对应的界面301。
例如,假设电视机100显示图5A中的(a)所示的界面301的过程中,接收到用户b(即第二用户)发出的语音数据“小艺小艺,下围棋”。电视机100响应于语音数据“小艺小艺,下围棋”中包括唤醒词“小艺小艺”,可以识别出该语音数据是用户b的语音数据。如图5A中的(b)所示,电视机100则可以在第一显示区域510显示第一任务对应的界面501,在第二显示区域520显示第二任务对应的界面502。其中,图5A中的(a)所示的界面301和图5A中的(b)所示的界面501都是第一任务对应的界面。
本申请实施例中,电视机100响应于一个用户的操作,显示一个任务对应的界面的情况下,还可以响应于另一个用户的语音命令(即语音数据),在显示屏上采用分屏的方式显示两个任务对应的界面。也就是说,电视机100响应于多个用户的操作(如语音命令),可以在显示屏上采用分屏的方式显示多个任务对应的界面。这样,可以丰富电子设备的显示内容,提升电视机100的显示屏的利用率。
本申请实施例这里,对S203中,电视机100识别第一语音数据是否为第一用户的语音数据的方法进行说明。
其中,电视机100执行S201之后,可以确定第一用户的用户标识。电视机100可以通过摄像头采集的第一用户的人脸图像或唇语信息、麦克风采集的第一用户的声纹信息等至少一项,确定第一用户的用户标识,该用户标识可以唯一标识该第一用户。其中,电视机100可以根据每个用户的人脸图像、唇语信息、声纹信息等至少一项,为用户分配用户标识。电视机100中可以保存一个或多个用户的用户标识,以及每个用户标识所标识的用户的人脸图像、唇语信息或声纹信息等信息。
电视机201采集第一语音数据后,可以通过摄像头采集发出第一语音数据的用户的人脸图像或唇语信息、麦克风采集发出第一语音数据的用户的声纹信息等,结合第一用户的用户标识,判断发出该第一语音数据的用户是否为第一用户。例如,电视机100可以对比发出第一语音数据的用户的人脸图像与第一用户的人脸图像是否匹配,判断发出该第一语音数据的用户是否为第一用户。
相应的,如果第一语音数据是第二用户的语音数据,电视机100则可以通过摄像头采集第二用户的人脸图像或唇语信息、麦克风采集第二用户的声纹信息等,确定第二用户的用户标识。
可以理解,如果电视机100中未保存第二用户的用户标识;那么,电视机100则可以为第二用户分配一个用户标识。电视机100可以通过摄像头采集第二用户的人脸图像或唇语信息、通过麦克风采集第二用户的声纹信息等。电视机100可以保存第二用户分配的用户标识,以及该用户标识所标识的第二用户的人脸图像、唇语信息和声纹信息等。
在一些实施例中,电视机100还可以保存第一用户的用户标识与上述第一任务的对应关系,保存第二用户的用户标识与上述第二任务的对应关系。如此,电视机100便可以确定电视机100所执行的任务与各个用户的对应关系。
并且,电视机100还可以记录第一用户相对于显示屏的位置和第二用户相对于显示屏的位置。示例性的,电视机100可以通过麦克风和/或摄像头,确定第一用户或第二用户相对于显示屏的位置。例如,电视机100可以通过麦克风,采用声源定位技术,确定第一用户或第二用户相对于显示屏的位置。又例如,电视机100可以通过摄像头,采集人脸图像,确定第一用户或第二用户相对于显示屏的位置。
如此,电视机100在显示屏上分屏显示第一任务对应的界面和第二任务对应的界面时,便可以根据第一用户和第二用于相对于显示屏的位置,将第一任务对应的界面显示在靠近第一用户的显示区域,将第二任务对应的界面显示在靠近第二用户的显示区域。
结合上述描述,第一显示区域靠近显示屏的第一侧(如右侧),第二显示区域靠近显示屏的第二侧(如左侧)。在S205之前,本申请实施例的方法还可以包括:电视机100通过摄像头和/或麦克风,确定第一用户靠近显示屏的第一侧,第二用户靠近显示屏的第二侧。
可以理解,由于电视机100确定第一用户靠近显示屏的第一侧,第二用户靠近显示屏的第二侧;并且,第一显示区域靠近显示屏的第一侧,第二显示区域靠近显示屏的第二侧。因此,电视机100可以执行S205,在第一显示区域显示第一用户触发的第一任务对应的界面,在第二显示区域显示第二用户触发的第二任务对应的界面;而不是在第一显示区域显示第二用户触发的第二任务对应的界面,在第二显示区域显示第一用户触发的第一任务对应的界面。例如,如图5A中的(b)所示,电视机100可以在第一显示区域510显示第一任务对应的界面501,在第二显示区域520显示第二任务对应的界面502。
其中,电视机100在显示屏上分屏显示第一任务对应的界面和第二任务对应的界面时,可以根据第一用户和第二用于相对于显示屏的位置,将第一任务对应的界面显示在靠近第一用户的显示区域,将第二任务对应的界面显示在靠近第二用户的显示区域。这样,可以方便用户观看该用户所触发的任务对应的界面,有利于提升用户的观看体验。
在一些实施例中,在电视机100在显示屏分屏显示第一任务对应的界面或第二任务对应的界面的过程中,第一用户和第二用户相对于显示屏的位置可能会发生变化。例如,第一用户可能会由显示屏的第一侧(如右侧)移动至第二侧(如左侧),而第二用户可能会由显示屏的第二侧移动至第一侧。
基于这种情况,在图2所示的S205之后,本申请实施例的方法还可以包括:电视机100通过摄像头和/或麦克风,确定第一用户靠近显示屏的第二侧,第二用户靠近显示屏的第一侧;电视机100在第二显示区域显示第一任务对应的界面,在第一显示区域显示第二任务对应的界面。
其中,电视机100通过摄像头和/或麦克风,确定第一用户或第二用户相对于显示屏的位置的方法可以参考上述实施例中的相关描述,本申请实施例这里不予赘述。
由上述实施例可知,在第一用户靠近显示屏的第一侧,第二用户靠近显示屏的第二侧的情况下,电视机100在靠近显示屏第一侧的第一显示区域显示第一用户触发的第一任务对应的界面,在靠近显示屏第二侧的第二显示区域显示第二用户触发的第二任务对应的界面。当电视机100检测到第一用户由显示屏的第一侧移动至第二侧,而第二用户由显示屏的第二侧移动至第一侧时,则可以在靠近显示屏第一侧的第一显示区域显示第二用户触发的第二任务对应的界面,在靠近显示屏第二侧的第二显示区域显示第一用户触发的第一任务对应的界面。
例如,如图5A中的(b)所示,电视机100可检测到用户a(即第一用户)位于显示屏的右侧(即第一侧),用户b(即第二用户)位于显示屏的左侧(即第二侧);因此,电视机100可以在第一显示区域510显示第一任务对应的界面501,在第二显示区域520显示第二任务对应的界面502。电视机100可检测到用户a由图5A中的(b)所示的显示屏的右侧移动至图5B所示的显示屏的左侧,用户b由图5A中的(b)所示的显示屏的左侧移动至图5B所示的显示屏的右侧。此时,如图5B所示,电视机100可以在第一显示区域510显示第二任务对应的界面502,在第二显示区域520显示第一任务对应的界面501。
本申请实施例中,电视机100可以实时监控用户的位置移动,在显示屏上分屏显示第一任务对应的界面和第二任务对应的界面时,可以根据第一用户和第二用于相对于显示屏的实时位置,将第一任务对应的界面显示在靠近第一用户的显示区域,将第二任务对应的界面显示在靠近第二用户的显示区域。这样,可以方便用户观看该用户所触发的任务对应的界面,有利于提升用户的观看体验。
可以理解,电视机100执行第二任务与电视机100执行第一任务可能会存在资源冲突。示例性的,如果第一任务和第二任务都是“播放音乐”、“播放动画片”或者“播放脱口秀”等需要使用电视机100的音箱或者扬声器的音视频类任务;那么,电视机100执行第二任务与电视机100执行第一任务会存在资源冲突。例如,电视机100无法分屏播放动画片和脱口秀。
为了避免上述资源冲突,电视机100在确定电视机100执行第二任务与电视机100执行第一任务不存在资源冲突时,才可以执行S205。具体的,如图6所示,在图2所示的S205之前,基于第一语音数据被识别出是第二用户的语音数据,本申请实施例的方法还可以包括S601。
S601、电视机100判断电视机100执行第二任务与电视机100执行第一任务是否存在资源冲突。
示例性的,本申请实施例中所述的资源冲突可以包括:音频资源的冲突。可以理解,电视机100在显示屏分屏显示多个任务对应的界面时,是在显示屏的不同显示区域显示不同任务对应的界面。该多个任务对显示屏的占用不会存在资源冲突。但是,如果电视机100执行该多个任务都要使用该电视机100的音频资源(包括扬声器170A);那么,则可能会出现电视机100同时播放多个任务对应的音频数据,影响用户的使用体验。在这种情况下,该多个任务存在音频资源的冲突。
例如,如果电视机100执行第二任务和/或电视机100执行第一任务,只需要使用电视机100的显示屏,而不需要使用电视机100的音频资源,则表示电视机100执行第二任务与电视机100执行第一任务不存在资源冲突。如果电视机100执行第二任务和电视机100执行第一任务,都需要使用电视机100的音频资源,则表示电视机100执行第二任务与电视机100执行第一任务存在资源冲突。
一方面,如果电视机100执行第二任务与电视机100执行第一任务不存在资源冲突,电视机100则可以执行S205。例如,“下围棋”与“播放动画片”不存在资源冲突。因此,如图5A中的(b)所示,电视机100可以在第一显示区域510显示第一任务对应的界面501,在第二显示区域520显示第二任务对应的界面502。
另一方面,如果电视机100执行第二任务与电视机100执行第一任务存在资源冲突,电视机100则可以有以下五种显示方案:
显示方案(1):电视机100继续在显示屏显示第一任务对应的界面,而不显示第二任务对应的界面。
显示方案(2):电视机100执行S204,停止在显示屏显示第一任务对应的界面,并在显示屏显示第二任务对应的界面。
显示方案(3):电视机100对比第一用户和第二用户的用户级别。如果第一用户的用户级别高于或等于第二用户的用户级别,电视机100在显示屏显示第一任务对应的界面,而不显示第二任务对应的界面。如果第一用户的用户级别低于第二用户的用户级别,电视机100在显示屏显示第二任务对应的界面,而不显示第一任务对应的界面。
其中,电视机100中可以保存有多个用户的用户标识和多个用户中每个用户的用户级别。
在一种实现方式中,该用户级别可以是电视机100接收用户设置。例如,电视机100可以在注册唤醒词时,接收用户针对一个或多个用户设置的用户级别。其中,电视机100注册唤醒词,以及电视机100设置用户级别的具体方法,可以参考常规技术中的相关描述,本申请实施例这里不予赘述。例如,电视机100可以接收用户的设置,设置图5A中的(a)所示的用户b(即大人)的用户级别高于用户a(即小孩)的用户级别。
其中,电视机100中已注册过的用户(如用户a)的用户级别,高于未注册过的用户(如用户c)的用户级别。其中,如果电视机100中保存有一个用户的语音唤醒词,则表示该用户在电视机100中已注册。例如,假设用户b和用户a均在电视机100中注册过,用户b的用户级别高于用户a的用户级别。而用户c则未在电视机100中注册过。那么,用户b的用户级别高于用户a的用户级别,且用户a的用户级别高于用户c的用户级别。
在另一种实现方式中,由于不同年龄段的用户的声纹信息和人脸图像的特征不同;因此,电视机100可以根据用户的声纹信息和人脸图像确定该用户的年龄段。然后,电视机100可以根据该用户的年龄段,确定该用户的用户级别。例如,用户的年龄越高,该用户的用户级别越高。如,用户的年龄在50岁以上,其用户级别最高,如用户级别为“一级”;用户的年龄在20岁到50岁之间,其用户级别为“二级”;用户的年龄在20岁以下,其用户级别为“三级”。
可选的,在S601之后,如果电视机100执行第二任务与电视机100执行第一任务存在资源冲突,电视机100则可以发出提示信息。该提示信息用于提示电视机100当前无法分屏显示第一任务对应的界面或第二任务对应的界面。例如,该提示信息可以为文本提示信息,如“资源冲突,电视机无法分屏显示多个界面”。或者,该提示信息可以是语音提示信息。本申请实施例对此不作限制。
显示方案(4):电视机100在第一显示区域显示第一任务对应的界面,在第二显示区域显示第二任务对应的界面。但是,电视机100仅播放第一任务和第二任务中一个任务的音频数据。也就是说,电视机100的音频资源供第一任务和第二任务中的一个任务使用。
其中,电视机100可以随机选择播放第一任务或第二任务中任一个任务的音频数据。或者,电视机100可以显示第三界面(附图未示出)。该第三界面用于提示用户确认电视机100播放第一任务或第二任务中任一个任务的音频数据。
或者,电视机100可以对比第一用户和第二用户的用户级别。如果第一用户的用户级别高于或等于第二用户的用户级别,电视机100则播放第一任务的音频数据,而不播放第二任务的音频数据。如果第一用户的用户级别低于第二用户的用户级别,电视机100则播放第二任务的音频数据,而不播放第一任务的音频数据。
显示方案(5):电视机100显示第一界面,该第一界面用于提示用户确认电视机100执行第一任务或第二任务。电视机100响应于用户在第一界面的第二操作,在显示屏显示第一任务对应的界面,而不显示第二任务对应的界面。电视机100响应于用户在第一界面的第三操作,在显示屏显示第二任务对应的界面,而不显示第一任务对应的界面。该第二操作用于指示电视机100在显示屏显示第一任务对应的界面。该第三操作用于指示电视机100在显示屏显示第二任务对应的界面。
例如,如图7中的(a)所示,电视机100在显示屏显示第一任务对应的界面301,即电视机100播放动画片“小猪佩奇”。如图7中的(a)所示,电视机100接收到用户b(即第二用户)的第一语音数据(如“小艺小艺,听歌ABC”)。该第一语音数据“小艺小艺,听歌ABC”用于触发电视机100播放歌曲“ABC”(即第二任务)。其中,电视机100执行S601,可以确定电视机100播放歌曲“ABC”与电视机100播放动画片“小猪佩奇”存在资源冲突。因此,电视机100可以显示图7中的(b)所示的第一界面701。该第一界面701中包括提示信息:您要听的“ABC”与“小猪佩奇”存在资源冲突,请确认是否播放!该第一界面701还可以包括“是”按钮和“否”按钮。响应于用户对“否”按钮的点击操作(即上述第二操作),电视机100可以继续在显示屏播放动画片“小猪佩奇”,即显示第一任务对应的界面。响应于用户对“是”按钮的点击操作(即上述第三操作),电视机100可以在显示屏播放歌曲“ABC”,并显示对应的歌曲播放界面,即电视机100可以显示第二任务对应的界面。
可选的,上述第二操作还可以是电视机100接收到的用户发出的用于触发电视机100显示第一任务对应的界面的语音数据(即语音命令)。例如,该第二操作可以是电视机100接收到语音命令“否”、“不播放”或者“No”等。上述第三操作还可以是电视机100接收到的用户发出的用于触发电视机100显示第二任务对应的界面的语音数据(即语音命令)。例如,该第三操作可以是电视机100接收到语音命令“是”、“播放”或者“Yes”等。
本申请实施例中,电视机100在电视机100执行第二任务与电视机100执行第一任务不存在资源冲突时,才可以在显示屏分屏显示第一任务对应的界面或第二任务对应的界面。这样,可以保证电视机100执行第一任务或者第二任务的节目播放质量,减少对用户观看体验的影响。
其中,在电视机100执行S205的过程中,第一用户或第二用户可能会离开而不再观看电视机100。例如,电视机100可以通过摄像头采集人脸图像,如果电视机100在预设时间(如第一预设时间)内都没有检测到第一用户的人脸图像,则表示第一用户已经离开而不再观看电视机100。在这种情况下,为了提升另一个用户(如第二用户)的观看体验,电视机100可以不再显示上述第一任务对应的界面。
具体的,本申请实施例的方法还可以包括S801-S804。例如,如图8所示,本申请实施例的方法在S205之后还可以包括S801-S804。
S801、电视机100通过摄像头采集图像。
S802、电视机100从摄像头采集的图像中检测第一用户和第二用户的人脸图像。
具体的,如果电视机100在第一预设时间内检测到第二用户的人脸图像,但未检测到第一用户的人脸图像,则执行S803。如果电视机100在第一预设时间内检测到第一用户的人脸图像,但未检测到第二用户的人脸图像,则执行S804。其中,该第一预设时间是从电视机100执行S205开始的预设时长。例如,该第一预设时间的时间长度可以为5分钟,10分钟,15分钟或者8分钟等。该第一预设时间的时间长度可以预先配置在电视机100中。或者,该第一预设时间的时间长度可以由用户设置。
S803、电视机100在显示屏显示第二任务对应的界面,不显示第一任务对应的界面。
可以理解,如果电视机100在第一预设时间内检测到第二用户的人脸图像,但未检测到第一用户的人脸图像,则表示第二用户还在电视机100前观看电视机100的可能性较高,而第一用户则已经离开而不再观看电视机100的可能性较高。在这种情况下,为了提升还在观看电视机100的第二用户的观看体验,电视机100可以在显示屏显示第二任务对应的界面,不显示第一任务对应的界面。其中,电视机100在显示屏不显示第一任务对应的界面,表示电视机100当前不执行第一任务或者暂停执行第一任务。
例如,以电视机100执行S205显示图5A中的(b)所示的界面为例。假设从电视机100显示图5A中的(b)所示的界面开始,电视机100在第一预设时间内,检测到用户b的人脸图像,但未检测到用户a的人脸图像。那么,电视机100则可以在显示屏仅显示第二任务对应的界面,而不显示第一任务对应的界面。例如,电视机100可以显示图9所示的界面901,即显示下围棋的界面。
S804、电视机100在显示屏显示第一任务对应的界面,不显示第二任务对应的界面。
可以理解,如果电视机100在第一预设时间内检测到第一用户的人脸图像,但未检测到第二用户的人脸图像,则表示第一用户还在电视机100前观看电视机100的可能性较高,而第二用户则已经离开而不再观看电视机100的可能性较高。在这种情况下,为了提升还在观看电视机100的第一用户的观看体验,电视机100可以在显示屏显示第一任务对应的界面,不显示第二任务对应的界面。其中,电视机100可以在显示屏不显示第二任务对应的界面,表示电视机100当前不执行第二任务或者暂停执行第二任务。
例如,以电视机100执行S205显示图5A中的(b)所示的界面为例。假设从电视机100显示图5A中的(b)所示的界面开始,电视机100在第一预设时间内,检测到用户a的人脸图像,但未检测到用户b的人脸图像。那么,电视机100则可以在显示屏仅显示第一任务对应的界面,而不显示第二任务对应的界面。例如,如图5A中的(a)所示,电视机100可以播放动画片“小猪佩奇”。
其中,在S802之后,如果电视机100在第一预设时间内未检测到第一用户的人脸图像,且未检测到第二用户的人脸图像,则表示第一用户和第二用户都已经离开而不再观看电视机100的可能性较高。在这种情况下,为了降低电视机100的功耗,电视机100可以停止显示上述第一任务和第二任务对应的界面。可选的,电视机100停止显示上述第一任务和第二任务对应的界面后,可以显示电视机100中预先保存的图片或者视频等。
本申请实施例中,电视机100在检测到用户已经离开而不再观看电视机100时,可以停止显示该用户所触发的任务对应的界面,在整个显示屏显示仍在观看电视机100的用户所触发的任务对应的界面。这样,电视机100便可以以较大的显示区域显示仍在观看电视机100的用户所触发的任务对应的界面。如此,可以提升仍在观看电视机100的用户的观看体验。
其中,第一用户离开不再观看电视机100后,电视机可执行S803。在S803之后,第一用户可能会回来继续观看电视机100显示的第一任务对应的界面。例如,上述用户a可能会因为去卫生间或者其他的事情暂时离开而停止观看电视机100;但是,一段时间后用户a还会回来继续观看电视机100。基于这种情况,在S803之后,如果电视机100在第一预设时间之后的第二预设时间内,重新检测到第一用户的人脸图像和第二用户的人脸图像,表示该第一用户又回来继续观看电视机100。例如,该第二预设时间的时间长度可以为3分钟,4分钟,8分钟或者5分钟等。该第二预设时间的时间长度可以预先配置在电视机100中。或者,该第二预设时间的时间长度可以由用户设置。
在这种情况下,电视机100可以在第一显示区域显示第一任务对应的界面,在第二显示区域显示第二任务对应的界面;或者,该电视机100可以在第二显示区域显示第一任务对应的界面,在第一显示区域显示第二任务对应的界面。具体的,电视机100可以根据第一用户和第二用户相对于显示屏的位置,将第一任务对应的界面显示在靠近第一用户的显示区域,将第二任务对应的界面显示在靠近第二用户的显示区域。
其中,在S802之后,如果电视机100在第一预设时间内检测到第二用户的人脸图像,但未检测到第一用户的人脸图像,电视机100虽然执行S803,不在显示屏显示第一任务对应的界面。但是,电视机100可以保存该第一任务的任务进度。这样,当电视机100在上述第二预设时间内重新检测到第一用户的人脸图像时,便可以根据该第一任务的任务进度,重新在显示屏的一个显示区域显示第一任务对应的界面,并在另一个显示区域显示第二任务对应的界面。
例如,以电视机100执行S803,显示图9所示的界面901(即第二任务对应的界面)为例。第一任务是播放动画片“小猪佩奇”,该第一任务的任务进度是动画片“小猪佩奇”的播放进度。电视机100显示图9所示的界面901的过程中,如果在第二预设时间内检测到用户a的人脸图像,则可以重新以分屏方式显示图5B所示的界面或者图5A中的(b)所示的界面。
进一步的,如果电视机100在第二预设时间内,未检测到第一用户的人脸图像,电视机100则可以继续执行S803,在显示屏显示第二任务对应的界面,不显示第一任务对应的界面。
需要注意的是,如果电视机100在第二预设时间内,未检测到第一用户的人脸图像;那么,即使电视机100在第二预设时间后检测到第一用户的人脸图像,电视机100也不会自动显示显示第一任务对应的界面。其中,如果电视机100在第二预设时间内,未检测到第一用户的人脸图像,则可以释放第一任务,并删除第一任务的任务进度。
相应的,第二用户离开不再观看电视机100后,电视机可执行S804。在S804之后,第而用户可能会回来继续观看电视机100显示的第二任务对应的界面。具体的,在S804之后,如果电视机100在第一预设时间之后的第二预设时间内,检测到第二用户的人脸图像和第二用户的人脸图像,表示该第二用户又回来继续观看电视机100。在这种情况下,电视机100可以在第一显示区域显示第一任务对应的界面,在第二显示区域显示第二任务对应的界面;或者,该电视机100可以在第二显示区域显示第一任务对应的界面,在第一显示区域显示第二任务对应的界面。
本申请实施例中,电视机100可以检测到一个用户离开不再观看电视机100时,停止在显示屏显示该用户所触发的任务对应的界面。而当检测到该用户在第二预设时间内回来继续观看电视机100时,则可以重新在显示屏的一个显示区域显示第一任务对应的界面。也就是说,如果用户在第二预设时间内回来继续观看电视机100,电视机100可以自动恢复显示该用户所触发的任务对应的界面。这样,可以使电视机100更加智能,可以提升电视机100与用户的交互性能,进而可以提升用户对电视机100的使用体验。
由上述实施例可知:电视机100的显示屏可划分为多个显示区域。该多个显示区域中的每个显示区域可以显示一个任务对应的界面。假设电视机100的显示屏最多可划分为M个显示区域,M≥2,M为正整数;那么,该电视机100则可以采用分屏的方式,在显示屏显示M个任务对应的界面。预设任务阈值与所述多个显示区域中显示区域的个数相同。
本申请实施例中,电视机100在执行S203识别到上述第一语音数据是第二用户的语音数据之后,执行S205之前,电视机100可以判断电视机100当前正在执行的任务的总数是否等于预设任务阈值。该预设任务阈值与上述多个显示区域中显示区域的个数(即M)相同。
如果电视机100当前正在执行的任务的总数小于预设任务阈值,则表示该电视机100可以响应于上述第一语音数据,在显示屏的一个显示区域显示第二任务对应的界面。在这种情况下,电视机100可以执行S205,在第一显示区域显示第一任务对应的界面,在第二显示区域显示第二任务对应的界面。
如果电视机100当前正在执行的任务的总数等于预设任务阈值,则表示电视机100没有新的显示区域来显示第二任务对应的界面。在这种情况下,电视机100则可以采用上述显示方案(1)-显示方案(5)中的任一种显示方案显示对应的界面。
示例性的,假设M=2,即上述预设任务阈值为2。也就是说,电视机100的显示屏包括两个显示区域,即第一显示区域和第二显示区域。即电视机100可以采用分屏方式在显示屏的第一显示区域显示一个任务对应的界面,在第二显示区域显示第二任务对应的界面。
结合上述实例,电视机100显示图5A中的(a)所示的界面301时,接收到第一语音数据,如“小艺小艺,下围棋”。电视机100识别到第一语音数据是用户b的语音数据之后,执行S205之前,电视机100当前正在执行一个任务“播放动画片‘小猪佩奇’”。即电视机100当前正在执行的任务的总数为1,电视机100当前正在执行的任务的总数小于预设任务阈值(如2)。因此,如图5A中的(b)所示,在第一显示区域510显示第一任务对应的界面501,在第二显示区域520显示第二任务对应的界面502。
可选的,如果电视机100当前正在执行的任务的总数等于预设任务阈值,电视机100可以发出第一提示信息。该第一提示信息用于提示电视机100当前无法执行第二任务。例如,电视机100可以在显示屏显示该第一提示信息。又例如,该第一提示信息可以为语音提示信息,如“电视机100当前无法显示下围棋的界面”等。
在一些实施例中,在S205之后,电视机100还可能会接收到第一用户、第二用户或者其他用户(如第三用户)发出的语音数据(如第二语音数据)。该第二语音数据还用于触发电视机100执行第三任务。
结合上述实施例可知,电视机100保存了用户标识与任务的对应关系。因此,如果第二语音数据是第一用户发出的语音数据,电视机100则可以在显示第一任务对应的界面的显示区域(即上述第一显示区域)显示第三任务对应的界面;第二显示区域仍然显示第二任务对应的界面。如果该第二语音数据是第二用户发出的语音数据时,电视机100可以在显示第二任务对应的界面的显示区域(即上述第二显示区域)显示第三任务对应的界面;第一显示区域仍然显示第一任务对应的界面。
具体的,在上述S205之后,本申请实施例的方法还可以包括S1001-S1009。例如,如图10所示,在图6所示的S205之后,本申请实施例的方法还可以包括S1001-S1009。
S1001、电视机100采集第二语音数据。
其中,该第二语音数据可以是第一用户、第二用户或者其他用户(如第三用户)发出的语音数据。
S1002、响应于第二语音数据包括唤醒词,电视机100识别第二语音数据。
其中,电视机100可以识别该第二语音数据是第一用户、第二用户或者第三用户(即除第一用户和第二用户之外的其他用户)的语音数据。电视机100识别第二语音数据是哪一个用户的语音数据的方法,可以参考上述实施例中的相关方法,本申请实施例这里不予赘述。
其中,S205中,电视机100在第一显示区域显示第一用户触发的第一任务对应的界面,在第二显示区域显示第二用户触发的第二任务对应的界面。那么,如果第二语音数据被识别出是第一用户的语音数据,则表示第一用户可能想要控制电视机100停止执行上述第一任务,并控制电视机100执行第三任务。在这种情况下,电视机100则可以在原本显示第一任务对应的界面的第一显示区域显示第三任务对应的界面,第二显示区域仍然显示第二任务对应的界面。具体的,S1002之后,如果第二语音数据是第一用户的语音数据,电视机100可以执行S1003。
如果第二语音数据被识别出是第二用户的语音数据,则表示第二用户可能想要控制电视机100停止执行上述第二任务,并控制电视机100执行第三任务。在这种情况下,电视机100则可以在原本显示第二任务对应的界面的第二显示区域显示第三任务对应的界面,第一显示区域仍然显示第一任务对应的界面。具体的,S1002之后,如果第二语音数据是第二用户的语音数据,电视机100可以执行S1004。
如果第二语音数据被识别出是第三用户的语音数据,即第二语音数据既不是第一用户的语音数据,又不是第二用户的语音数据,则表示有一个新的用户想要控制电视机100执行第三任务。在这种情况下,电视机100可以执行S1005。
S1003、电视机100在第一显示区域显示第三任务对应的界面,在第二显示区域显示第二任务对应的界面。
示例性的,以第一用户是上述用户a,第二用户是用户b为例。如图5A中的(b)所示,电视机100执行S205,在第一显示区域510显示第一任务对应的界面501,在第二显示区域520显示第二任务对应的界面502。第一任务对应的界面501是播放动画片“小猪佩奇”的界面。第二任务对应的界面502是下围棋的界面。
在电视机100播放动画片“小猪佩奇”,并显示下围棋的界面的过程中,电视机100可能会接收到用户a(即第一用户)发出的第二语音数据,如“小艺小艺,下一集”。电视机100执行S1002可以确定该第二语音数据是用户a的语音数据。因此,响应于该第二语音数据“小艺小艺,下一集”,如图11所示,电视机100可以在第一显示区域510播放下一集“小猪佩奇”,即显示第三任务对应的界面1101。如图11所示,电视机100在第二显示区域520仍显示第二任务对应的界面502。
在实现方式(1)中,上述第三任务可以是第一任务的子任务。例如,第一任务是图5A中的(b)所示的播放动画片“小猪佩奇”,如果第二语音数据是“小艺小艺,下一集”;那么,该第二语音数据触发电视机100执行的第三任务则是播放下一集“小猪佩奇”,该第三任务是第一任务的子任务。又例如,第一任务是播放歌曲“ABC”,如果第二语音数据是“小艺小艺,下一首”;那么,该第二语音数据触发电视机100执行的第三任务则是播放下一首歌曲,该第三任务是第一任务的子任务。
可以理解,如果电视机100执行第一任务与电视机100执行第二任务不存在资源冲突;那么,电视机100执行第三任务(即第一任务的子任务)与电视机100执行第二任务也不会存在资源冲突。
在实现方式(2)中,上述第三任务与第一任务可以是不同的任务。例如,第一任务可以是图5A中的(b)所示的播放动画片“小猪佩奇”,第三任务可以是玩体感游戏,学习英语或者听儿歌等。
其中,由于第三任务与第一任务是不同的任务;因此,电视机100执行第一任务与电视机100执行第二任务不存在资源冲突,并不表示电视机100执行第三任务与电视机100执行第二任务不存在资源冲突。在实现方式(2)中,电视机100在执行S1003之前,可以判断电视机100执行第三任务与电视机100执行第二任务是否存在资源冲突。如果电视机100执行第三任务与电视机100执行第二任务不存在资源冲突,电视机100才可以执行S1003。如果电视机100执行第三任务与电视机100执行第二任务存在资源冲突,电视机100则不执行S1003,而是继续执行S205,在第一显示区域显示第一任务对应的界面,在第二显示区域显示第二任务对应的界面。
S1004、电视机100在第一显示区域显示第一任务对应的界面,在第二显示区域显示第三任务对应的界面。
结合上述实例,在电视机100播放动画片“小猪佩奇”,并显示下围棋的界面的过程中,电视机100可能会接收到用户b(即第二用户)发出的第二语音数据,如“小艺小艺,走天元”。电视机100执行S1002可以确定该第二语音数据是用户b的语音数据。因此,响应于该第二语音数据“小艺小艺,炮二进二”,如图12所示,电视机100可以在第二显示区域520显示围棋按照“炮二进二”走一步之后的界面,即显示第三任务对应的界面1201。如图12所示,电视机100在第一显示区域510仍显示第一任务对应的界面501。当然,电视机100在第一显示区域510播放完第一集的“小猪佩奇”后,可以自动播放完第二集的“小猪佩奇”。需要注意的是,电视机100播放第二集的“小猪佩奇”时,显示的界面也是第一任务对应的界面。
在实现方式(a)中,上述第三任务可以是第二任务的子任务。例如,第二任务是图5中的(b)所示的下围棋时,如果第二语音数据是“小艺小艺,炮二进二”;那么,该第二语音数据触发电视机100执行的第三任务则是围棋走“炮二进二”这一步,该第三任务是第二任务的子任务。
可以理解,如果电视机100执行第一任务与电视机100执行第二任务不存在资源冲突;那么,电视机100执行第三任务(即第二任务的子任务)与电视机100执行第一任务也不会存在资源冲突。
在实现方式(b)中,上述第三任务与第二任务可以是不同的任务。例如,第二任务可以是图5A中的(b)所示的下围棋,第三任务可以是玩体感游戏,学习英语或者听儿歌等。
其中,由于第三任务与第二任务是不同的任务;因此,电视机100执行第一任务与电视机100执行第二任务不存在资源冲突,并不表示电视机100执行第三任务与电视机100执行第一任务不存在资源冲突。在实现方式(b)中,电视机100在执行S1004之前,可以判断电视机100执行第三任务与电视机100执行第一任务是否存在资源冲突。如果电视机100执行第三任务与电视机100执行第一任务不存在资源冲突,电视机100才可以执行S1004。如果电视机100执行第三任务与电视机100执行第一任务存在资源冲突,电视机100则不执行S1004,而是继续执行S205,在第一显示区域显示第一任务对应的界面,在第二显示区域显示第二任务对应的界面。
S1005、电视机100判断电视机100当前正在执行的任务的总数是否等于预设任务阈值。
具体的,如果电视机100当前正在执行的任务的总数等于预设任务阈值,电视机100可以执行S1006。如果电视机100当前正在执行的任务的总数小于预设任务阈值,电视机100则可以将显示屏划分为三个显示区域,在这三个显示区域分别显示第一任务对应的界面、第二任务对应的界面和第三任务对应的界面。
S1006、电视机100判断第三用户的用户级别是否高于第一用户或第二用户的用户级别。
可以理解,如果电视机100当前正在执行的任务的总数等于预设任务阈值,则表示电视机100当前执行任务的总数已经达到上限,电视机100在执行当前的任务的前提下,不能再执行新的任务。在这种情况下,电视机100可以判断第三用户的用户级别是否高于第一用户或第二用户的用户级别。这样,电视机100便可以优先执行用户级别较高的用户所触发的任务。如此,可以提升用户级别较高的用户的使用体验。
在一种场景中,第一用户的用户级别与第二用户的用户级别不同。例如,第一用户(如用户a)的用户级别低于第二用户(如用户b)的用户级别。或者,第一用户(如用户a)的用户级别高于第二用户(如用户b)的用户级别。
在另一种场景中,第一用户的用户级别与第二用户的用户级别相同。例如,上述用户a的用户级别与用户b的用户级别相同。
示例性的,本申请实施例中以第一用户(如用户a)的用户级别低于第二用户(如用户b)的用户级别为例,对本申请实施例的方法进行说明。
在第一种情况下,在S1006之后,电视机100可以确定第三用户的用户级别高于第一用户的用户级别。其中,如果第三用户的用户级别高于第一用户的用户级别,则表示在第一用户、第二用户和第三用户中,第一用户的用户级别最低。在这种情况下,电视机100可以在显示第一用户所触发的第一任务对应的界面的显示区域(即第一显示区域),显示上述第三用户所触发的第三任务对应的界面。换言之,由于在第一用户、第二用户和第三用户中,第一用户的用户级别最低;因此,显示第一任务对应的界面的显示区域可以被第三任务对应的界面占用。具体的,在S1006之后,如果第三用户的用户级别高于第一用户的用户级别,电视机100可以执行S1007。
S1007、电视机100判断电视机100执行第三任务与电视机100执行第二任务是否存在资源冲突。
其中,为了避免电视机100执行第三任务与电视机100执行第二任务存在资源冲突,而影响用户的使用体验。在S1006之后,如果第三用户的用户级别高于第一用户的用户级别,电视机100可以判断电视机100执行第三任务与电视机100执行第二任务是否存在资源冲突。
具体的,如果电视机100执行第三任务与电视机100执行第二任务不存在资源冲突,电视机100则可以执行S1008。如果电视机100执行第三任务与电视机100执行第二任务存在资源冲突,电视机100则可以继续执行S1009。
S1008、电视机100在第一显示区域显示第三任务对应的界面,在第二显示区域显示第二任务对应的界面。
结合上述实例,假设预设任务阈值为2,用户c(即第三用户)的用户级别高于用户a的用户级别。在电视机100播放动画片“小猪佩奇”,并显示下围棋的界面的过程中,电视机100可能会接收到用户c(即第三用户)发出的第二语音数据,如“小艺小艺,听广播”。电视机100执行S1002可以确定该第二语音数据是用户c的语音数据。因此,响应于该第二语音数据“小艺小艺,听广播”,电视机100执行S1005可以确定电视机100当前正在执行的任务的总数(即2)等于预设任务阈值。电视机100执行S1006,可以确定用户c的用户级别高于用户a的用户级别。由于电视机100执行第二任务“下围棋”与电视机100执行第三任务“听广播”不存在资源冲突;因此,如图13所示,电视机100可以执行S1008,在第一显示区域510显示第三任务“听广播”对应的界面1301,在第二显示区域520仍显示第二任务对应的界面502。
S1009、电视机100在第一显示区域显示第一任务对应的界面,在第二显示区域显示第二任务对应的界面。
其中,S1007之后,如果电视机100执行第三任务与电视机100执行第二任务存在资源冲突;那么,为了保证电视机100的节目播放效果,该电视机100则不能同时执行第二任务和第三任务。此时,电视机100则可以继续在第一显示区域显示第一任务对应的界面,在第二显示区域显示第二任务对应的界面。其中,S1009与S205相同。
在第二种情况下,在S1006之后,电视机100可以确定第三用户的用户级别低于第一用户的用户级别。如果第三用户的用户级别低于第一用户的用户级别,则表示在第一用户、第二用户和第三用户中,第三用户的用户级别最低。在这种情况下,电视机100可以继续在第一显示区域显示第一任务对应的界面,在第二显示区域显示第二任务对应的界面。具体的,在S1006之后,如果第三用户的用户级别低于第一用户的用户级别,电视机100可以执行S1009。
在第三种情况下,在S1006之后,电视机100可以确定第三用户的用户级别等于第一用户的用户级别。如果第三用户的用户级别等于第一用户的用户级别,则表示在第一用户、第二用户和第三用户中,第一用户和第三用户的用户级别最低。
在第三种情况的一种实现方式中,电视机100可以执行S1008,在第一显示区域显示第三任务对应的界面,在第二显示区域显示第二任务对应的界面。
在第三种情况的另一种实现方式中,电视机100可以执行S1009,在第一显示区域显示第一任务对应的界面,在第二显示区域显示第二任务对应的界面。
在第三种情况的另一种实现方式中,电视机100可以显示第二界面,该第二界面用于提示用户确认电视机100执行第一任务或第三任务。其中,电视机100显示第二界面,可以由用户选择电视机100执行第一任务或第三任务。然后,电视机100可以接收用户在第二界面的第四操作或第五操作。该第四操作用于指示电视机100在显示屏显示第一任务对应的界面。该第五操作用于指示电视机100在显示屏显示第三任务对应的界面。响应于第四操作,电视机100可以执行1009,在第一显示区域显示第一任务对应的界面,在第二显示区域显示第二任务对应的界面。响应于第五操作,电视机100可以执行1008,在第一显示区域显示第三任务对应的界面,在第二显示区域显示第二任务对应的界面。例如,上述第四操作可以是电视机100接收到的用户发出的用于触发电视机100显示第一任务对应的界面的语音数据(即语音命令)。第五操作可以是电视机100接收到的用户发出的用于触发电视机100显示第三任务对应的界面的语音数据(即语音命令)。
本申请实施例中,电视机100在分屏显示第一任务和第二任务对应的界面的过程中,还可能会接收到用于触发电视机100执行新任务(即第三任务),显示第三任务对应的界面的第二语音数据(即语音命令)。此时,电视机100可以通过识别发出该第二语音数据的用户,判断电视机100执行第三任务与电视机100执行第一任务或第二任务是否存在资源冲突,以及对比各个用户的用户级别,采用分屏方式显示多个任务的界面。通过本申请实施例的方法,不仅可以丰富电子设备的显示内容,提升电子设备的显示屏的利用率;还可以保证电视机100执行多任务的节目播放质量,提升用户的使用体验。
请参考图14,其示出本申请实施例提供的一种语音控制的分屏显示装置的示意图。该语音控制的分屏显示装置可以是上述电子设备(如电视机100)中,用于实现本申请实施例的方法的功能模块。如图14所示,该语音控制的分屏显示装置可以包括:数据采集处理模块1401、资源能力裁决模块1402、技能绑定模块1403和展示模块1404。
其中,数据采集处理模块1401用于支持电视机100执行:采集语音数据;通过人脸图像识别、声纹信息识别或者唇语信息识别等技术识别不同的用户;识别用户相对于电视机100(如电视机100的显示屏)的位置;识别语音数据触发电视机100待执行的任务所需的资源等。例如,数据采集处理模块1401用于支持电视机100执行上述方法实施例中的S202,S203,S801,S802,S1001,S1002,和/或用于本文所描述的技术的其它过程。示例性的,该数据采集处理模块1401的功能可以通过电视机100的麦克风170C、摄像头193和处理器100等实现。
资源能力裁决模块1402用于支持电视机100执行:判断电视机100当前执行的任务的总数是否等于预设任务阈值;判断电视机100执行多个任务是否存在资源冲突;对比各个用户的用户级别等。例如,资源能力裁决模块1402用于支持电视机100执行上述方法实施例中的S601,S1005,S1006,S1007,和/或用于本文所描述的技术的其它过程。示例性的,该资源能力裁决模块1402的功能可以通过电视机100的处理器110实现。
技能绑定模块1403用于支持电视机100执行:绑定用户的用户标识与任务(即技能)的对应关系。例如,技能绑定模块1403可以绑定第一用户的用户标识与第一任务的对应关系,绑定第二用户的用户标识与第二任务的对应关系。示例性的,该技能绑定模块1403的功能可以通过电视机100的处理器110实现。
展示模块1404用于支持电视机100显示各个任务对应的界面。例如,展示模块1404用于支持电视机100执行上述方法实施例中的S204,S205,显示方案(1)-显示方案(5),S803,S804,S1003,S1004,S1008,S1009,和/或用于本文所描述的技术的其它过程。示例性的,该展示模块1404的功能可以通过电视机100的显示屏192实现。
请参考图15,其结合图14示出本申请实施例提供的一种语音控制的分屏显示方法的原理流程图。
如图15所示的流程1中,数据采集处理模块1401可以接收到语音数据“小艺小艺,看动画片”。数据采集处理模块1401还可以识别出该语音数据是用户a的语音数据(即用户a发出的语音数据),确定该用户a的用户标识(Identify,ID)为a;确定该语音数据“小艺小艺,看动画片”用于触发电视机100执行任务1“播放动画片”,电视机100执行任务1所需的资源包括显示资源和音频资源。数据采集处理模块1401还可以确定用户a位于显示屏100的右侧。由于任务1是电视机100当前要执行的唯一任务,因此,资源能力裁决模块1402不需要判断电视机100当前执行的任务的总数是否超过预设任务阈值,且不需要判断电视机100执行多个任务是否存在资源冲突。技能绑定模块1403可以绑定用户ID(a)和任务1,并记录用户a位于电视机100的右侧。展示模块1404可以全屏显示任务1对应的界面。此时,电视机100执行任务1(即播放动画片)使用电视机100的音频资源。
如图15所示的流程2中,数据采集处理模块1401可以接收到语音数据“小艺小艺,下围棋”。数据采集处理模块1401还可以识别出该语音数据是用户b的语音数据(即用户b发出的语音数据),确定该用户b的用户ID为b;确定该语音数据“小艺小艺,下围棋”用于触发电视机100执行任务2“下围棋”,电视机100执行任务2所需的资源包括显示资源。数据采集处理模块1401还可以确定用户b位于显示屏100的左侧。资源能力裁决模块1402确定电视机100当前执行的任务(如任务1)的总数为1,未超过预设任务阈值;并且,电视机100执行任务2和执行任务1不存在资源冲突。技能绑定模块1403可以绑定用户ID(b)和任务2,并记录用户b位于电视机100的左侧。展示模块1404可以在左侧显示区域显示任务2对应的界面,在右侧显示区域显示任务1对应的界面。此时,电视机100执行任务1(即播放动画片)使用电视机100的音频资源。
如图15所示的流程3中,数据采集处理模块1401可以检测到用户b在第一预设时间内离开不再观看电视机100(如用户b离开摄像头可视范围)。数据采集处理模块1401可以根据用户b的用户ID(b)确定去除任务2的显示资源,并标记用户b相对于电视机的位置为离开。资源能力裁决模块1402可以释放任务2的显示资源。技能绑定模块1403可以暂存任务2的进度。展示模块1404可以全屏显示任务1对应的界面。此时,电视机100执行任务1(即播放动画片)使用电视机100的音频资源。
如图15所示的流程4中,数据采集处理模块1401可以检测到用户b在第二预设时间内进入摄像头的可视范围。数据采集处理模块1401根据用户b的用户ID(b)确定恢复任务2的显示资源。数据采集处理模块1401还可以确定用户b位于显示屏100的右侧。资源能力裁决模块1402确定电视机100当前执行的任务(如任务1)的总数为1,未超过预设任务阈值;并且,电视机100执行任务2和执行任务1不存在资源冲突。技能绑定模块1403可以提取任务2的进度,并记录用户b位于电视机100的右侧。展示模块1404可以在左侧显示区域显示任务1对应的界面,在右侧显示区域显示任务2对应的界面。此时,电视机100执行任务1(即播放动画片)使用电视机100的音频资源。
如图15所示的流程5中,数据采集处理模块1401可以接收到语音数据“小艺小艺,听广播”。数据采集处理模块1401还可以识别出该语音数据是用户c的语音数据(即用户c发出的语音数据),确定该用户c的用户ID为c;确定该语音数据“小艺小艺,听广播”用于触发电视机100执行任务3“播放广播”,电视机100执行任务2所需的资源包括显示资源和音频资源。数据采集处理模块1401还可以确定用户b位于显示屏100的右侧。资源能力裁决模块1402确定电视机100当前执行的任务(如任务1和任务2)的总数为2,等于预设任务阈值;并且,电视机100执行任务3和执行任务1存在资源冲突。因此,资源能力裁决模块1402可以向仲裁确定电视机100不能执行任务3。展示模块1404可以提示用户电视机100无法执行任务3。并且,展示模块1404可以在左侧显示区域显示任务2对应的界面,在右侧显示区域显示任务1对应的界面。此时,电视机100执行任务1(即播放动画片)使用电视机100的音频资源。
需要注意的是,如果资源能力裁决模块1402确定电视机100执行任务3和执行任务1存在资源冲突,电视机100根据用户a、用户b和用户c的用户级别,分屏显示各个任务对应的界面的方法,可以参考上述实施例中的相关描述,本申请实施例这里不予赘述。并且,如果资源能力裁决模块1402确定电视机100执行任务3和执行任务1不存在资源冲突,电视机100分屏显示各个任务对应的界面的方法,也可以参考上述实施例中的相关描述,本申请实施例这里不予赘述。
本申请另一些实施例提供了一种电子设备(如图1所示的电视机100),该电子设备可以包括:显示屏、麦克风、存储器和一个或多个处理器。该显示屏、麦克风、存储器和处理器耦合。该电子设备还可以包括摄像头。或者,该电子设备可以外接摄像头。该存储器用于存储计算机程序代码,该计算机程序代码包括计算机指令。当处理器执行计算机指令时,电子设备可执行上述方法实施例中手机执行的各个功能或者步骤。该电子设备的结构可以参考图1所示的电视机100的结构。
本申请实施例还提供一种芯片***,如图16所示,该芯片***包括至少一个处理器1601和至少一个接口电路1602。处理器1601和接口电路1602可通过线路互联。例如,接口电路1602可用于从其它装置(例如电子设备的存储器)接收信号。又例如,接口电路1602可用于向其它装置(例如处理器1601)发送信号。示例性的,接口电路1602可读取存储器中存储的指令,并将该指令发送给处理器1601。当所述指令被处理器1601执行时,可使得电子设备(如图1所示的电视机100)执行上述实施例中的各个步骤。当然,该芯片***还可以包含其他分立器件,本申请实施例对此不作具体限定。
本申请实施例还提供一种计算机存储介质,该计算机存储介质包括计算机指令,当所述计算机指令在上述电子设备(如图1所示的电视机100)上运行时,使得该电子设备执行上述方法实施例中手机执行的各个功能或者步骤。
本申请实施例还提供一种计算机程序产品,当所述计算机程序产品在计算机上运行时,使得所述计算机执行上述方法实施例中手机执行的各个功能或者步骤。
通过以上实施方式的描述,所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个装置,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是一个物理单元或多个物理单元,即可以位于一个地方,或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该软件产品存储在一个存储介质中,包括若干指令用以使得一个设备(可以是单片机,芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read only memory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上内容,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何在本申请揭露的技术范围内的变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。
Claims (23)
1.一种语音控制的分屏显示方法,其特征在于,应用于包括显示屏和麦克风的电子设备,所述方法包括:
响应于第一用户的第一操作,所述电子设备在所述显示屏显示第一任务对应的界面,所述显示屏当前不显示其他任务对应的界面;
在显示所述第一任务对应的界面时,所述电子设备采集第一语音数据;
响应于所述第一语音数据包括所述电子设备的唤醒词,所述电子设备识别所述第一语音数据,所述第一语音数据用于触发所述电子设备执行第二任务;
基于所述第一语音数据被识别出是第二用户的语音数据,所述电子设备在所述显示屏的第一显示区域显示所述第一任务对应的界面,在所述显示屏的第二显示区域显示所述第二任务对应的界面。
2.根据权利要求1所述的方法,其特征在于,所述第一显示区域靠近所述显示屏的第一侧,所述第二显示区域靠近所述显示屏的第二侧,所述第一侧和所述第二侧是所述显示屏的左右相对的两侧;所述电子设备还包括摄像头,或者所述电子设备外接摄像头;
在所述电子设备在所述第一显示区域显示所述第一任务对应的界面,在所述第二显示区域显示所述第二任务对应的界面之前,所述方法还包括:
所述电子设备通过所述摄像头和/或所述麦克风,确定所述第一用户靠近所述显示屏的第一侧,所述第二用户靠近所述显示屏的第二侧。
3.根据权利要求2所述的方法,其特征在于,在所述电子设备在所述第一显示区域显示所述第一任务对应的界面,在所述第二显示区域显示所述第二任务对应的界面之后,所述方法还包括:
所述电子设备通过所述摄像头和/或所述麦克风,确定所述第一用户靠近所述显示屏的第二侧,所述第二用户靠近所述显示屏的第一侧;
所述电子设备在所述第二显示区域显示所述第一任务对应的界面,在所述第一显示区域显示所述第二任务对应的界面。
4.根据权利要求1-3中任一项所述的方法,其特征在于,所述基于所述第一语音数据被识别出是第二用户的语音数据,所述电子设备在所述第一显示区域显示所述第一任务对应的界面,在所述第二显示区域显示所述第二任务对应的界面,包括:
基于所述第一语音数据被识别出是所述第二用户的语音数据,所述电子设备确定所述电子设备执行所述第二任务与所述电子设备执行所述第一任务不存在资源冲突,则在所述第一显示区域显示所述第一任务对应的界面,在所述第二显示区域显示所述第二任务对应的界面。
5.根据权利要求4所述的方法,其特征在于,所述方法还包括:
基于所述第一语音数据被识别出是所述第二用户的语音数据,所述电子设备确定所述电子设备执行所述第二任务与所述电子设备执行所述第一任务存在资源冲突;
所述电子设备显示第一界面;
响应于用户在所述第一界面的第二操作,所述电子设备在所述显示屏显示所述第一任务对应的界面,不显示所述第二任务对应的界面;
或者,响应于用户在所述第一界面的第三操作,所述电子设备在所述显示屏显示所述第二任务对应的界面,不显示所述第一任务对应的界面。
6.根据权利要求1-5中任一项所述的方法,其特征在于,所述电子设备还包括摄像头,或者所述电子设备外接摄像头;所述方法还包括:
所述电子设备通过所述摄像头采集所述第一用户和所述第二用户的人脸图像;
如果所述电子设备在第一预设时间内检测到所述第二用户的人脸图像,但未检测到所述第一用户的人脸图像,则在所述显示屏显示所述第二任务对应的界面,不显示所述第一任务对应的界面;
在不显示所述第一任务对应的界面之后,如果所述电子设备在所述第一预设时间之后的第二预设时间内,重新检测到所述第一用户的人脸图像和所述第二用户的人脸图像,则在所述第一显示区域显示所述第一任务对应的界面,在所述第二显示区域显示所述第二任务对应的界面,或者,在所述第二显示区域显示所述第一任务对应的界面,在所述第一显示区域显示所述第二任务对应的界面。
7.根据权利要求6所述的方法,其特征在于,所述方法还包括:
在不显示所述第一任务对应的界面之后,如果所述电子设备在所述第二预设时间内未检测到所述第一用户的人脸图像,但在所述第二预设时间后重新检测到所述第一用户的人脸图像,则在所述显示屏显示所述第二任务对应的界面,不显示所述第一任务对应的界面。
8.根据权利要求1-7中任一项所述的方法,其特征在于,在所述基于所述第一语音数据被识别出是第二用户的语音数据,所述电子设备在所述显示屏的第一显示区域显示所述第一任务对应的界面,在所述显示屏的第二显示区域显示所述第二任务对应的界面之后,所述方法还包括:
所述电子设备采集第二语音数据;
响应于所述第二语音数据包括所述唤醒词,所述电子设备识别所述第二语音数据,所述第二语音数据用于触发所述电子设备执行第三任务;
基于所述第二语音数据被识别出是所述第一用户的语音数据,所述电子设备在所述第一显示区域的显示所述第三任务对应的界面,在所述第二显示区域显示所述第二任务对应的界面;
其中,所述第三任务与所述第一任务不同;或者,所述第三任务是所述第一任务的子任务。
9.根据权利要求8所述的方法,其特征在于,所述电子设备中保存有多个用户的用户标识和所述多个用户中每个用户的用户级别,所述第二用户的用户级别高于所述第一用户的用户级别;所述方法还包括:
基于所述第二语音数据被识别出是第三用户的语音数据,所述电子设备判断所述第三用户的用户级别是否高于所述第一用户的用户级别;
如果所述第三用户的用户级别高于所述第一用户的用户级别,所述电子设备判断所述电子设备执行所述第三任务与所述电子设备执行所述第二任务是否存在资源冲突;如果所述电子设备执行所述第三任务与所述电子设备执行所述第二任务不存在资源冲突,所述电子设备在所述第一显示区域显示所述第三任务对应的界面,在所述第二显示区域显示所述第二任务对应的界面;
如果所述第三用户的用户级别低于所述第一用户的用户级别,所述电子设备在所述第一显示区域显示所述第一任务对应的界面,在所述第二显示区域显示所述第二任务对应的界面。
10.根据权利要求9所述的方法,其特征在于,所述方法还包括:
如果所述第三用户的用户级别等于所述第一用户的用户级别,
所述电子设备在所述第一显示区域显示所述第一任务对应的界面,在所述第二显示区域显示所述第二任务对应的界面;或者,
所述电子设备在所述第一显示区域显示所述第三任务对应的界面,在所述第二显示区域显示所述第二任务对应的界面;或者,
所述电子设备显示第二界面;响应于用户在所述第二界面的第四操作,所述电子设备在所述第一显示区域显示所述第一任务对应的界面,在所述第二显示区域显示所述第二任务对应的界面;或者,响应于用户在所述第二界面的第五操作,所述电子设备在所述第一显示区域显示所述第三任务对应的界面,在所述第二显示区域显示所述第二任务对应的界面。
11.一种电子设备,其特征在于,所述电子设备包括:存储器、显示屏、麦克风和一个或多个处理器;所述存储器、所述显示屏、所述麦克风与所述处理器耦合,所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令,当所述计算机指令被所述一个或多个处理器执行时,使得所述电子设备执行以下操作:
响应于第一用户的第一操作,在所述显示屏显示第一任务对应的界面,所述显示屏当前不显示其他任务对应的界面;
在显示所述第一任务对应的界面时,采集第一语音数据;
响应于所述第一语音数据包括所述电子设备的唤醒词,识别所述第一语音数据,所述第一语音数据用于触发所述电子设备执行第二任务;
基于所述第一语音数据被识别出是第二用户的语音数据,在所述显示屏的第一显示区域显示所述第一任务对应的界面,在所述显示屏的第二显示区域显示所述第二任务对应的界面。
12.根据权利要求11所述的电子设备,其特征在于,所述第一显示区域靠近所述显示屏的第一侧,所述第二显示区域靠近所述显示屏的第二侧,所述第一侧和所述第二侧是所述显示屏的左右相对的两侧;所述电子设备还包括摄像头,或者所述电子设备外接摄像头;
当所述计算机指令被所述一个或多个处理器执行时,使得所述电子设备还执行以下步骤:
通过所述摄像头和/或所述麦克风,确定所述第一用户靠近所述显示屏的第一侧,所述第二用户靠近所述显示屏的第二侧。
13.根据权利要求12所述的电子设备,其特征在于,当所述计算机指令被所述一个或多个处理器执行时,使得所述电子设备还执行以下步骤:
通过所述摄像头和/或所述麦克风,确定所述第一用户靠近所述显示屏的第二侧,所述第二用户靠近所述显示屏的第一侧;
在所述第二显示区域显示所述第一任务对应的界面,在所述第一显示区域显示所述第二任务对应的界面。
14.根据权利要求11-13中任一项所述的电子设备,其特征在于,当所述计算机指令被所述一个或多个处理器执行时,使得所述电子设备还执行以下步骤:
基于所述第一语音数据被识别出是所述第二用户的语音数据,确定所述电子设备执行所述第二任务与所述电子设备执行所述第一任务不存在资源冲突,则在所述第一显示区域显示所述第一任务对应的界面,在所述第二显示区域显示所述第二任务对应的界面。
15.根据权利要求14所述的电子设备,其特征在于,当所述计算机指令被所述一个或多个处理器执行时,使得所述电子设备还执行以下步骤:
基于所述第一语音数据被识别出是所述第二用户的语音数据,确定所述电子设备执行所述第二任务与所述电子设备执行所述第一任务存在资源冲突;
显示第一界面;
响应于用户在所述第一界面的第二操作,在所述显示屏显示所述第一任务对应的界面,不显示所述第二任务对应的界面;或者,响应于用户在所述第一界面的第三操作,在所述显示屏显示所述第二任务对应的界面,不显示所述第一任务对应的界面。
16.根据权利要求11-15中任一项所述的电子设备,其特征在于,所述电子设备还包括摄像头,或者所述电子设备外接摄像头;
当所述计算机指令被所述一个或多个处理器执行时,使得所述电子设备还执行以下步骤:
通过所述摄像头采集所述第一用户和所述第二用户的人脸图像;
如果在第一预设时间内检测到所述第二用户的人脸图像,但未检测到所述第一用户的人脸图像,则在所述显示屏显示所述第二任务对应的界面,不显示所述第一任务对应的界面;
在不显示所述第一任务对应的界面之后,如果在所述第一预设时间之后的第二预设时间内,重新检测到所述第一用户的人脸图像和所述第二用户的人脸图像,则在所述第一显示区域显示所述第一任务对应的界面,在所述第二显示区域显示所述第二任务对应的界面,或者,在所述第二显示区域显示所述第一任务对应的界面,在所述第一显示区域显示所述第二任务对应的界面。
17.根据权利要求16所述的电子设备,其特征在于,当所述计算机指令被所述一个或多个处理器执行时,使得所述电子设备还执行以下步骤:
在不显示所述第一任务对应的界面之后,如果在所述第二预设时间内未检测到所述第一用户的人脸图像,但在所述第二预设时间后重新检测到所述第一用户的人脸图像,则在所述显示屏显示所述第二任务对应的界面,不显示所述第一任务对应的界面。
18.根据权利要求11-17中任一项所述的电子设备,其特征在于,当所述计算机指令被所述一个或多个处理器执行时,使得所述电子设备还执行以下步骤:
采集第二语音数据;
响应于所述第二语音数据包括所述唤醒词,识别所述第二语音数据,所述第二语音数据用于触发所述电子设备执行第三任务;
基于所述第二语音数据被识别出是所述第一用户的语音数据,在所述第一显示区域的显示所述第三任务对应的界面,在所述第二显示区域显示所述第二任务对应的界面;
其中,所述第三任务与所述第一任务不同;或者,所述第三任务是所述第一任务的子任务。
19.根据权利要求18所述的电子设备,其特征在于,所述存储器中保存有多个用户的用户标识和所述多个用户中每个用户的用户级别,所述第二用户的用户级别高于所述第一用户的用户级别;
当所述计算机指令被所述一个或多个处理器执行时,使得所述电子设备还执行以下步骤:
基于所述第二语音数据被识别出是第三用户的语音数据,判断所述第三用户的用户级别是否高于所述第一用户的用户级别;
如果所述第三用户的用户级别高于所述第一用户的用户级别,判断所述电子设备执行所述第三任务与所述电子设备执行所述第二任务是否存在资源冲突;如果所述电子设备执行所述第三任务与所述电子设备执行所述第二任务不存在资源冲突,在所述第一显示区域显示所述第三任务对应的界面,在所述第二显示区域显示所述第二任务对应的界面;
如果所述第三用户的用户级别低于所述第一用户的用户级别,在所述第一显示区域显示所述第一任务对应的界面,在所述第二显示区域显示所述第二任务对应的界面。
20.根据权利要求19所述的电子设备,其特征在于,当所述计算机指令被所述一个或多个处理器执行时,使得所述电子设备还执行以下步骤:
如果所述第三用户的用户级别等于所述第一用户的用户级别,
在所述第一显示区域显示所述第一任务对应的界面,在所述第二显示区域显示所述第二任务对应的界面;或者,
在所述第一显示区域显示所述第三任务对应的界面,在所述第二显示区域显示所述第二任务对应的界面;或者,
显示第二界面;响应于用户在所述第二界面的第四操作,在所述第一显示区域显示所述第一任务对应的界面,在所述第二显示区域显示所述第二任务对应的界面;或者,响应于用户在所述第二界面的第五操作,在所述第一显示区域显示所述第三任务对应的界面,在所述第二显示区域显示所述第二任务对应的界面。
21.一种芯片***,其特征在于,所述芯片***应用于包括显示屏和麦克风的电子设备;所述芯片***包括一个或多个接口电路和一个或多个处理器;所述接口电路和所述处理器通过线路互联;所述接口电路用于从所述电子设备的存储器接收信号,并向所述处理器发送所述信号,所述信号包括所述存储器中存储的计算机指令;当所述处理器执行所述计算机指令时,所述电子设备执行如权利要求1-10中任一项所述的方法。
22.一种计算机存储介质,其特征在于,包括计算机指令,当所述计算机指令在电子设备上运行时,使得所述电子设备执行如权利要求1-10中任一项所述的方法。
23.一种计算机程序产品,其特征在于,当所述计算机程序产品在计算机上运行时,使得所述计算机执行如权利要求1-10中任一项所述的方法。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910792694.XA CN110704004B (zh) | 2019-08-26 | 2019-08-26 | 一种语音控制的分屏显示方法及电子设备 |
CN202110530574.XA CN113407089A (zh) | 2019-08-26 | 2019-08-26 | 一种语音控制的分屏显示方法及电子设备 |
EP20856607.5A EP4006713A4 (en) | 2019-08-26 | 2020-08-04 | METHOD FOR VOICE CONTROLLED SPLIT SCREEN DISPLAY AND ELECTRONIC DEVICE |
US17/639,004 US20220343919A1 (en) | 2019-08-26 | 2020-08-04 | Voice-Controlled Split-Screen Display Method and Electronic Device |
PCT/CN2020/106894 WO2021036714A1 (zh) | 2019-08-26 | 2020-08-04 | 一种语音控制的分屏显示方法及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910792694.XA CN110704004B (zh) | 2019-08-26 | 2019-08-26 | 一种语音控制的分屏显示方法及电子设备 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110530574.XA Division CN113407089A (zh) | 2019-08-26 | 2019-08-26 | 一种语音控制的分屏显示方法及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110704004A true CN110704004A (zh) | 2020-01-17 |
CN110704004B CN110704004B (zh) | 2021-06-01 |
Family
ID=69193545
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110530574.XA Pending CN113407089A (zh) | 2019-08-26 | 2019-08-26 | 一种语音控制的分屏显示方法及电子设备 |
CN201910792694.XA Active CN110704004B (zh) | 2019-08-26 | 2019-08-26 | 一种语音控制的分屏显示方法及电子设备 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110530574.XA Pending CN113407089A (zh) | 2019-08-26 | 2019-08-26 | 一种语音控制的分屏显示方法及电子设备 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20220343919A1 (zh) |
EP (1) | EP4006713A4 (zh) |
CN (2) | CN113407089A (zh) |
WO (1) | WO2021036714A1 (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111338519A (zh) * | 2020-02-04 | 2020-06-26 | 华为技术有限公司 | 一种显示方法及电子设备 |
CN111818381A (zh) * | 2020-07-10 | 2020-10-23 | 深圳创维-Rgb电子有限公司 | 一种显示方法、终端、电子设备及可读存储介质 |
CN112102836A (zh) * | 2020-11-18 | 2020-12-18 | 北京声智科技有限公司 | 语音控制屏幕显示方法、装置、电子设备和介质 |
WO2021036714A1 (zh) * | 2019-08-26 | 2021-03-04 | 华为技术有限公司 | 一种语音控制的分屏显示方法及电子设备 |
CN114467140A (zh) * | 2020-08-05 | 2022-05-10 | 互动解决方案公司 | 基于语音来改变图像的*** |
WO2022247466A1 (zh) * | 2021-05-26 | 2022-12-01 | 华为技术有限公司 | 资源显示的方法、终端及服务器 |
WO2023184266A1 (zh) * | 2022-03-30 | 2023-10-05 | 京东方科技集团股份有限公司 | 语音控制方法及装置、计算机可读存储介质、电子设备 |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11792188B2 (en) * | 2020-08-05 | 2023-10-17 | Bank Of America Corporation | Application for confirming multi-person authentication |
US20220179619A1 (en) * | 2020-12-03 | 2022-06-09 | Samsung Electronics Co., Ltd. | Electronic device and method for operating thereof |
CN117079652B (zh) * | 2023-10-16 | 2024-01-30 | 明度智云(浙江)科技有限公司 | 一种scada***语音控制方法、装置和服务器 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103748585A (zh) * | 2012-08-17 | 2014-04-23 | 弗莱克斯电子有限责任公司 | 智能电视 |
US20180052595A1 (en) * | 2016-08-22 | 2018-02-22 | Samsung Electronics Co., Ltd. | Electronic device and method for rendering 360-degree multimedia content |
CN108668153A (zh) * | 2017-03-28 | 2018-10-16 | Lg 电子株式会社 | 智能控制设备及其控制方法 |
CN108897508A (zh) * | 2018-06-21 | 2018-11-27 | 广东小天才科技有限公司 | 一种基于分屏显示的语音搜题方法及家教设备 |
CN109976645A (zh) * | 2014-06-20 | 2019-07-05 | 华为技术有限公司 | 应用界面的展示方法、装置及电子设备 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9164648B2 (en) * | 2011-09-21 | 2015-10-20 | Sony Corporation | Method and apparatus for establishing user-specific windows on a multi-user interactive table |
CN103279303A (zh) * | 2013-05-31 | 2013-09-04 | 东莞宇龙通信科技有限公司 | 事件消息的处理方法及装置 |
CN104850373A (zh) * | 2014-02-18 | 2015-08-19 | 中兴通讯股份有限公司 | 一种分屏处理方法和装置 |
WO2015196382A1 (zh) * | 2014-06-25 | 2015-12-30 | 华为技术有限公司 | 一种资源预留方法、装置、接入点及网络服务器 |
TWI561086B (en) * | 2015-07-29 | 2016-12-01 | Hon Hai Prec Ind Co Ltd | Method and system for splitting screen |
US10768803B2 (en) * | 2015-09-21 | 2020-09-08 | Motorola Solutions, Inc. | User interface system with active and passive display spaces |
CN105404484B (zh) * | 2015-10-28 | 2019-01-25 | 努比亚技术有限公司 | 终端分屏装置及方法 |
US10928917B2 (en) * | 2018-04-12 | 2021-02-23 | International Business Machines Corporation | Multiple user interaction with audio devices using speech and gestures |
US11048782B2 (en) * | 2018-06-26 | 2021-06-29 | Lenovo (Singapore) Pte. Ltd. | User identification notification for non-personal device |
CN109032554B (zh) * | 2018-06-29 | 2021-11-16 | 联想(北京)有限公司 | 一种音频处理方法和电子设备 |
CN108958633B (zh) * | 2018-07-11 | 2021-04-13 | Oppo广东移动通信有限公司 | 分屏显示方法、装置、存储介质及电子设备 |
US10514949B1 (en) * | 2018-12-11 | 2019-12-24 | Signals Analytics Ltd. | Efficient data processing in a serverless environment |
CN110060679B (zh) * | 2019-04-23 | 2022-02-11 | 诚迈科技(南京)股份有限公司 | 一种全程语音控制的交互方法和*** |
CN113407089A (zh) * | 2019-08-26 | 2021-09-17 | 华为技术有限公司 | 一种语音控制的分屏显示方法及电子设备 |
-
2019
- 2019-08-26 CN CN202110530574.XA patent/CN113407089A/zh active Pending
- 2019-08-26 CN CN201910792694.XA patent/CN110704004B/zh active Active
-
2020
- 2020-08-04 US US17/639,004 patent/US20220343919A1/en active Pending
- 2020-08-04 EP EP20856607.5A patent/EP4006713A4/en active Pending
- 2020-08-04 WO PCT/CN2020/106894 patent/WO2021036714A1/zh unknown
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103748585A (zh) * | 2012-08-17 | 2014-04-23 | 弗莱克斯电子有限责任公司 | 智能电视 |
CN109976645A (zh) * | 2014-06-20 | 2019-07-05 | 华为技术有限公司 | 应用界面的展示方法、装置及电子设备 |
US20180052595A1 (en) * | 2016-08-22 | 2018-02-22 | Samsung Electronics Co., Ltd. | Electronic device and method for rendering 360-degree multimedia content |
CN108668153A (zh) * | 2017-03-28 | 2018-10-16 | Lg 电子株式会社 | 智能控制设备及其控制方法 |
CN108897508A (zh) * | 2018-06-21 | 2018-11-27 | 广东小天才科技有限公司 | 一种基于分屏显示的语音搜题方法及家教设备 |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021036714A1 (zh) * | 2019-08-26 | 2021-03-04 | 华为技术有限公司 | 一种语音控制的分屏显示方法及电子设备 |
CN111338519A (zh) * | 2020-02-04 | 2020-06-26 | 华为技术有限公司 | 一种显示方法及电子设备 |
CN111818381A (zh) * | 2020-07-10 | 2020-10-23 | 深圳创维-Rgb电子有限公司 | 一种显示方法、终端、电子设备及可读存储介质 |
CN111818381B (zh) * | 2020-07-10 | 2022-09-13 | 深圳创维-Rgb电子有限公司 | 一种显示方法、终端、电子设备及可读存储介质 |
CN114467140A (zh) * | 2020-08-05 | 2022-05-10 | 互动解决方案公司 | 基于语音来改变图像的*** |
US11568877B2 (en) | 2020-08-05 | 2023-01-31 | Interactive Solutions Corp. | System to change image based on voice |
CN112102836A (zh) * | 2020-11-18 | 2020-12-18 | 北京声智科技有限公司 | 语音控制屏幕显示方法、装置、电子设备和介质 |
WO2022247466A1 (zh) * | 2021-05-26 | 2022-12-01 | 华为技术有限公司 | 资源显示的方法、终端及服务器 |
WO2023184266A1 (zh) * | 2022-03-30 | 2023-10-05 | 京东方科技集团股份有限公司 | 语音控制方法及装置、计算机可读存储介质、电子设备 |
Also Published As
Publication number | Publication date |
---|---|
CN110704004B (zh) | 2021-06-01 |
CN113407089A (zh) | 2021-09-17 |
US20220343919A1 (en) | 2022-10-27 |
WO2021036714A1 (zh) | 2021-03-04 |
EP4006713A4 (en) | 2022-11-02 |
EP4006713A1 (en) | 2022-06-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110704004B (zh) | 一种语音控制的分屏显示方法及电子设备 | |
WO2020156269A1 (zh) | 一种具有柔性屏幕的电子设备的显示方法及电子设备 | |
CN111819533B (zh) | 一种触发电子设备执行功能的方法及电子设备 | |
CN113778663B (zh) | 一种多核处理器的调度方法及电子设备 | |
CN112988282B (zh) | 应用保活方法和终端设备 | |
WO2021052139A1 (zh) | 手势输入方法及电子设备 | |
CN105975063B (zh) | 一种控制智能终端的方法和装置 | |
US11637922B2 (en) | Device occupation method and electronic device | |
CN114816026B (zh) | 一种低功耗待机方法、电子设备及计算机可读存储介质 | |
WO2022262434A1 (zh) | 一种功耗优化方法和电子设备 | |
WO2022017474A1 (zh) | 任务处理方法及相关装置 | |
WO2022161077A1 (zh) | 语音控制方法和电子设备 | |
WO2022042274A1 (zh) | 一种语音交互方法及电子设备 | |
CN115083401A (zh) | 语音控制方法及装置 | |
CN114333854A (zh) | 语音唤醒方法、电子设备及芯片*** | |
CN115589051A (zh) | 充电方法和终端设备 | |
WO2021190225A1 (zh) | 一种语音交互方法及电子设备 | |
CN114489422A (zh) | 侧边栏的显示方法及电子设备 | |
CN112243064B (zh) | 音频处理方法及装置 | |
CN111625175B (zh) | 触控事件处理方法、触控事件处理装置、介质与电子设备 | |
CN113593567A (zh) | 视频声音转文本的方法及相关设备 | |
CN114915834A (zh) | 一种投屏的方法和电子设备 | |
CN112507161A (zh) | 一种音乐播放方法及装置 | |
CN114090986A (zh) | 一种公用设备上识别用户的方法及电子设备 | |
CN103685229A (zh) | 节能连续数据传递 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |