CN113986434A - 一种操作移动终端用户界面的方法、装置及其电子设备 - Google Patents
一种操作移动终端用户界面的方法、装置及其电子设备 Download PDFInfo
- Publication number
- CN113986434A CN113986434A CN202111263218.2A CN202111263218A CN113986434A CN 113986434 A CN113986434 A CN 113986434A CN 202111263218 A CN202111263218 A CN 202111263218A CN 113986434 A CN113986434 A CN 113986434A
- Authority
- CN
- China
- Prior art keywords
- user interface
- mobile terminal
- artificial intelligence
- intelligence model
- terminal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 79
- 238000013473 artificial intelligence Methods 0.000 claims abstract description 89
- 230000008569 process Effects 0.000 claims description 28
- 238000012549 training Methods 0.000 claims description 23
- 230000015654 memory Effects 0.000 claims description 16
- 238000010801 machine learning Methods 0.000 claims description 4
- 230000036541 health Effects 0.000 description 16
- 238000013135 deep learning Methods 0.000 description 8
- 238000012360 testing method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 208000028698 Cognitive impairment Diseases 0.000 description 1
- 208000012661 Dyskinesia Diseases 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 208000010877 cognitive disease Diseases 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/451—Execution arrangements for user interfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本申请公开一种操作移动终端用户界面的方法、装置、和电子设备。该方法包括：获取操作指令；根据操作指令，控制操作终端操作移动终端用户界面，以使操作终端执行与操作指令对应的操作，其中，操作终端对移动终端用户界面进行操作的关键操作路径，通过预设人工智能模型从预设视频中学习。本发明通过下达操作指令，让操作终端根据操作指令自动操作移动终端，方便障碍用户操作移动终端。
Description
技术领域
本发明涉及自动控制领域，特别是涉及一种操作移动终端用户界面的方法、装置、和电子设备。
背景技术
随着移动互联网的高速发展，互联网产品的U I交互界面正在变得越来越复杂绚丽，越来越多的入口和功能被堆砌在移动终端的用户界面上。
认知障碍者、运动障碍者和老年人等障碍用户由于自身原因，或是难以理解移动终端用户界面上复杂繁多的U I元素的含义，导致其对操作移动终端无从下手，或是由于种种障碍，导致其只能进行点击，拖动等简单操作，无法顺畅操作移动终端。
发明内容
本申请提供一种操作移动终端用户界面的方法、装置和电子设备，通过下达操作指令，让操作终端根据操作指令自动操作移动终端，方便障碍用户操作移动终端。
本发明实施例提供以下技术方案：
第一方面，本发明实施例提供一种操作移动终端用户界面的方法，所述方法包括：
获取操作指令；
根据所述操作指令，控制操作终端操作所述移动终端用户界面，以使所述操作终端执行与所述操作指令对应的操作，其中，所述操作终端对所述移动终端用户界面进行所述操作的关键操作路径，通过预设人工智能模型从预设视频中学习。
在一些实施例中，所述通过预设人工智能模型从预设视频中学习，包括：
获取所述预设视频；
分析所述预设视频，识别出所述预设视频内的操作对象和操作主体；
提取所述操作主体对所述操作对象进行操作的所述关键操作路径，以使所述操作终端通过所述关键操作路径正确复现对应操作。
在一些实施例中，所述方法还包括：
设置所述关键操作路径对应的关键信息，其中，所述关键信息对应至少一个所述关键操作路径。
在一些实施例中，所述方法还包括：
通过所述预设人工智能模型识别所述操作指令，找到与所述操作指令对应的所述关键信息；
根据所述关键信息对应的所述关键操作路径，控制所述操作终端操作所述移动终端用户界面。
在一些实施例中，所述方法还包括：
获取所述移动终端用户界面的图像；
根据所述图像，实时校正所述操作终端对所述移动终端用户界面的操作过程。
在一些实施例中，所述根据所述图像，实时校正所述操作过程，包括：
根据所述图像，由预设人工智能模型判断所述用户界面是否为所述操作过程对应的用户界面；若是，
则，继续执行所述操作过程；否则，
控制所述移动终端切换到所述操作过程对应的用户界面。
在一些实施例中，所述由预设人工智能模型判断所述用户界面是否为所述操作过程对应的用户界面，包括：：
训练所述预设人工智能模型；
获取若干所述移动终端用户界面的样本；
为每个所述样本打上对应的标签；
根据机器学习算法，使用所述移动终端用户界面的样本以及每个所述样本对应的标签对所述预设人工智能模型进行训练，获得训练好的所述预设人工智能模型。
在一些实施例中，所述方法还包括：
所述操作指令为语音指令；
所述操作终端为带触控笔的机械臂。
第二方面，本发明实施例还提供了一种操作移动终端用户界面的装置，所述装置包括：
获取模块，用于获取操作指令；
操作模块，用于根据所述操作指令，控制操作终端操作移动终端用户界面，以使所述操作终端执行与所述操作指令对应的操作，其中，所述操作终端对所述移动终端用户界面进行所述操作的关键操作路径通过人工智能模型从预设视频中学习。
第三方面，本发明实施例还提供了一种计算机设备，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述的方法。
第四方面，本发明实施例还提供了一种非易失性计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使触控设备能够执行如上所述的操作移动终端用户界面的方法。
本发明实施例的有益效果是：区别于现有技术的情况下，本发明实施例提供的一种操作移动终端用户界面的方法、装置、和电子设备。该方法包括：获取操作指令；根据所述操作指令，控制操作终端操作所述移动终端用户界面，以使所述操作终端执行与所述操作指令对应的操作，其中，所述操作终端对所述移动终端用户界面进行所述操作的关键操作路径，通过预设人工智能模型从预设视频中学习。本发明实施例通过下达简单的操作指令，让操作终端根据操作指令自动操作移动终端，方便障碍用户操作移动终端。
附图说明
一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。
图1是本发明实施例提供的一种操作移动终端用户界面的方法的流程示意图；
图2是图1中的步骤S20的细化流程图；
图3是本发明实施例提供的一种校正操作过程的流程示意图；
图4是本发明实施例提供的一种操作移动终端用户界面的装置的结构示意图；
图5是本发明实施例提供的一种电子设备示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，图1是本发明实施例提供的一种操作移动终端用户界面的方法的流程示意图。如图1所示，所述方法包括：
步骤S10：获取操作指令；
具体的，所述操作指令包括语音指令、手势指令、按键指令等可被识别的指令，例如，所述操作指令为语音指令。
步骤S20：根据所述操作指令，控制操作终端操作所述移动终端用户界面，以使所述操作终端执行与所述操作指令对应的操作，其中，所述操作终端对所述移动终端用户界面进行所述操作的关键操作路径，通过预设人工智能模型从预设视频中学习。
具体的，所述操作终端包括带触控笔的机械臂、鼠标、键盘等能操作所述移动终端用户界面的装置或设备，所述移动终端包括手机、平板、掌上电脑和笔记本电脑等可以在移动中使用的计算机设备。
在本发明实施例中，所述操作指令为语音指令，所述语音指令为打开支付宝，所述操作终端为带触控笔的机械臂，根据所述操作指令，控制操作终端操作所述移动终端用户界面，以使所述操作终端执行与所述操作指令对应的操作，即，控制所述带触控笔的机械臂操作所述移动终端，打开所述移动终端的支付宝。
具体的，请再参阅图2，图2是图1中的步骤S20的细化流程图；
如图2所述，该步骤S20，根据所述操作指令，控制操作终端操作所述移动终端用户界面，以使所述操作终端执行与所述操作指令对应的操作，其中，所述操作终端对所述移动终端用户界面进行所述操作的关键操作路径，通过预设人工智能模型从预设视频中学习，包括：
步骤S21：获取所述预设视频；
具体的，所述视频的格式可以是任意的，包括wmv，ast，avi，3gp等，所述预设视频包括，对所述移动终端的用户界面进行操作的清晰的可供人工智能模型学习的视频。
步骤S22：分析所述预设视频，识别出所述预设视频内的操作对象和操作主体；
具体的，所述操作对象为任意的移动终端，所述操作主体可以是触控笔、人的手指、鼠标、键盘等能操作所述移动终端用户界面的装置或身体部位，例如，所述预设视频内容为人操作手机打开支付宝，则，操作对象为手机，操作主体为人或人的手指。
在本发明实施例中，利用预设的人工智能模型对所述视频数据进行分析，识别出所述预设视频内的操作对象和操作主体前，要先训练所述人工智能模型。具体地，采集若干操作对象和操作主体的第一样本数据和第二样本数据；为每个所述第一样本数据和第二样本数据打上对应的标签；根据深度学习算法，使用所述若干操作对象和操作主体的所述第一样本数据和第二样本数据及对应的每个所述第一样本数据和第二样本数据的标签训练模型，获得预设的所述人工智能模型。
具体地，深度学***板等，采集若干所述操作主体的第二样本数据，例如不同肤色和性别的人的手、不同尺寸和外观的触控笔等。或者从数据库中获取若干所述操作对象和操作主体的所述第一样本数据和第二样本数据。然后为每个所述第一样本数据和第二样本数据打上对应的标签，当所有第二操作对象和操作主体的第一样本数据和第二样本数据都打上对应的标签后，使用若干所述操作对象和操作主体的所述第一样本数据和第二样本数据及对应的每个所述第一样本数据和第二样本数据的标签训练模型，从而获得所述人工智能模型。所述操作对象和操作主体的所述第一样本数据和第二样本数据越多，涵盖的情形就越多，从而所述人工智能模型的识别能力也就越高。
在本发明实施例中，为了保证所述人工智能模型的识别率足够高，可以设置一个预设阈值，若测试识别率到达预设阈值时，则表示训练后的所述人工智能模型识别能力符合预期，可直接将训练后的所述人工智能模型作为已训练好的人工智能模型对视频进行识别。反之，则不断调整所述人工智能模型的各个参数，再次训练所述人工智能模型，直到所述人工智能模型的识别率达到预设阈值。
在本发明实施例中，还可以分析所述操作对象的用户界面的图像，识别所述操作主体对所述操作对象的操作过程对应的程序。
步骤S23：提取所述操作主体对所述操作对象进行操作的所述关键操作路径，以使所述操作终端通过所述关键操作路径正确复现对应操作；
具体的，逐帧提取需要被模仿的目标视频，获得每一帧的图像，利用所述人工智能模型识别所述每一帧的图像中的物体种类，识别出所述视频中的所述操作对象和所述操作主体，并提取所述操作主体对所述操作对象进行操作的关键任务路径。
进一步地，设置所述关键任务路径对应的关键信息，所述关键信息可以对应多个所述关键任务路径，例如，第一关键任务路径对应的操作是打开微信，第二关键任务路径对应的操作是在微信界面打开健康码，所述第一关键任务路径和所述第二关键任务路径对应的关键信息都被设置为打开微信健康码，进一步地，设置多个关键任务路径的优先级，例如设置所述第一关键任务路径为最高优先级，所述第二关键任务路径为第二优先级，当识别到所述关键信息对应的操作指令时，所述操作终端依次执行所述第一关键任务路径和所述第二关键任务路径对应的操作，即依次执行打开微信和在微信界面打开健康码的操作。
请参阅图3，图3是本发明实施例提供的一种校正操作过程的流程示意图；其中，所述方法包括：
步骤S30：获取所述移动终端用户界面的图像；
在本发明实施例中，可以通过摄像头获取所述移动终端用户界面的图像，并将该图像上传到所述人工智能模型。
步骤S40：根据所述图像，实时校正所述操作终端对所述移动终端用户界面的操作过程。
具体的，所述根据所述图像，实时校正所述操作终端对所述移动终端用户界面的操作过程，包括：
根据所述图像，由预设人工智能模型判断所述用户界面是否为所述操作过程对应的用户界面；若是，
则，继续执行所述操作过程；否则，
控制所述移动终端切换到所述操作过程对应的用户界面。
具体的，所述由预设人工智能模型判断所述用户界面是否为所述操作过程对应的用户界面，包括：
训练所述预设人工智能模型；
获取若干所述移动终端用户界面的样本；
为每个所述样本打上对应的标签；
在本发明实施例中，根据所述图像判断出所述移动终端用户界面正在运行的是支付宝，进一步地，判断所述用户界面是否为所述操作过程对应的用户界面，例如，如果所述操作过程为打开微信健康码，对应的用户界面是微信，则控制所述操作终端关闭支付宝打开微信，如果所述操作过程对应的用户界面就是微信，则根据所述关键操作路径执行所述操作。
具体的，所述根据所述图像，实时校正所述操作终端对所述移动终端用户界面的操作过程前，需要根据机器学习算法，使用所述移动终端用户界面的样本以及每个所述样本对应的标签对所述预设人工智能模型进行训练，获得训练好的所述预设人工智能模型。
在本发明实施例中，利用预设的人工智能模型对所述视频数据进行分析前，要先训练所述人工智能模型。具体地，采集所述移动终端用户界面的样本；为每个所述移动终端用户界面的样本打上对应的标签；根据深度学习算法，使用所述若干所述移动终端用户界面的样本及对应的每个所述移动终端用户界面的样本的标签训练模型，获得预设的所述人工智能模型。
具体地，深度学习算法是一种利用数据，训练出模型，然后使用模型预测的一种方法。事先采集若干所述移动终端用户界面的样本，例如微信好友界面、微信聊天界面、支付宝收付款界面等。或者从数据库中获取若干所述移动终端用户界面的样本，然后为每个所述移动终端用户界面的样本打上对应的标签，当所有所述移动终端用户界面的样本都打上对应的标签后，使用若干所述移动终端用户界面的样本及对应的每个所述移动终端用户界面的样本的标签训练模型，从而获得所述人工智能模型。所述移动终端用户界面的样本数据越多，涵盖的情形就越多，从而所述人工智能模型的识别能力也就越高。
在本发明实施例中，为了保证所述人工智能模型的识别率足够高，可以设置一个预设阈值，若测试识别率到达预设阈值时，则表示训练后的所述人工智能模型识别能力符合预期，可直接将训练后的所述人工智能模型作为已训练好的人工智能模型对所述移动终端用户界面进行识别。反之，则不断调整所述人工智能模型的各个参数，再次训练所述人工智能模型，直到所述人工智能模型的识别率达到预设阈值。
进一步地，所述方法还包括，自动识别未完成的关键任务路径，根据未完成的关键任务路径进行操作,具体的，自动识别未完成的关键任务路径，根据未完成的关键任务路径进行操作，包括：从最低优先级的关键任务路径开始识别当前用户界面是否为所述关键任务路径对应的用户界面。
在本发明的一个实施例中，有两个不同优先级的关键任务路径，最高优先级的第一关键任务路径对应操作为打开微信，第二优先级的第二关键任务路径对应操作为在微信界面打开健康码，所述语音指令对应的关键信息为打开微信健康码，当前用户界面为支付宝，所述人工智能模型判断所述用户界面与第二关键任务路径和第一关键任务路径对应的用户界面均不同，操作终端进行的操作为，根据所述语音指令，执行关闭支付宝，依次打开微信和在微信界面打开健康码的操作。
在本发明实施例的另一个实施例中，有两个不同优先级的关键任务路径，最高优先级的第一关键任务路径对应操作为打开微信，第二优先级的第二关键任务路径对应操作为在微信界面打开健康码，所述语音指令对应的关键信息为打开微信健康码，当前用户界面为微信，所述人工智能模型判断所述当前用户界面与所述第二关键任务路径对应的用户界面相同，操作终端进行的操作为，跳过第一关键路径，直接执行第二关键路径，即直接执行在微信界面打开健康码的操作。
请参阅图4，图4是一种操作移动终端用户界面的装置的结构示意图：
如图4所示，所述装置包括：
获取模块，用于获取操作指令；
操作模块，用于根据所述操作指令，控制操作终端操作移动终端用户界面，以使所述操作终端执行与所述操作指令对应的操作，其中，所述操作终端对所述移动终端用户界面进行所述操作的关键操作路径通过人工智能模型从预设视频中学习。
本发明实施例中，所述获取模块，包括：
语音指令获取模块，用于获取语音操作指令；
图像获取模块，用于获取所述移动终端的用户界面图像；
视频获取模块，用于获取所述预设视频。
本发明实施例中，所述操作模块，包括：
操作终端模块，用于根据所述关键操作路径，执行与所述操作指令对应的操作；
人工智能模块，用于模拟人的行为；
本发明实施例中，所述人工智能模块，包括：
语音识别模块，将语音指令转划为文字；
视频分析模块，分析所述预设视频，识别出所述预设视频内的操作对象和操作主体；
视频学习模块，分析所述预设视频，识别出所述预设视频内的操作对象和操作主体；
用户界面识别模块，分析所述移动终端的用户界面的图像，判断所述用户界面是否为所述操作过程对应的用户界面；
在本发明实施例中，所述视频分析模块，具体用于：
利用预设的人工智能模型对所述视频数据进行分析，识别出所述预设视频内的操作对象和操作主体前，要先训练所述人工智能模型。具体地，采集若干操作对象和操作主体的第一样本数据和第二样本数据；为每个所述第一样本数据和第二样本数据打上对应的标签；根据深度学习算法，使用所述若干操作对象和操作主体的所述第一样本数据和第二样本数据及对应的每个所述第一样本数据和第二样本数据的标签训练模型，获得预设的所述人工智能模型。
具体地，深度学***板等，采集若干所述操作主体的第二样本数据，例如不同肤色和性别的人的手、不同尺寸和外观的触控笔等。或者从数据库中获取若干所述操作对象和操作主体的所述第一样本数据和第二样本数据。然后为每个所述第一样本数据和第二样本数据打上对应的标签，当所有第二操作对象和操作主体的第一样本数据和第二样本数据都打上对应的标签后，使用若干所述操作对象和操作主体的所述第一样本数据和第二样本数据及对应的每个所述第一样本数据和第二样本数据的标签训练模型，从而获得所述人工智能模型。所述操作对象和操作主体的所述第一样本数据和第二样本数据越多，涵盖的情形就越多，从而所述人工智能模型的识别能力也就越高。
在本发明实施例中，为了保证所述人工智能模型的识别率足够高，可以设置一个预设阈值，若测试识别率到达预设阈值时，则表示训练后的所述人工智能模型识别能力符合预期，可直接将训练后的所述人工智能模型作为已训练好的人工智能模型对视频进行识别。反之，则不断调整所述人工智能模型的各个参数，再次训练所述人工智能模型，直到所述人工智能模型的识别率达到预设阈值。
在本发明实施例中，所述视频学习模块，具体用于：
逐帧提取需要被模仿的目标视频，获得每一帧的图像，利用所述人工智能模型识别所述每一帧的图像中的物体种类，识别出所述图像中的所述操作对象和所述操作主体，并提取所述操作主体对所述操作对象进行操作的关键任务路径。
在本发明实施例中，所述用户界面识别模块，具体用于：
根据机器学习算法，使用所述移动终端用户界面的样本以及每个所述样本对应的标签对所述预设人工智能模型进行训练，获得训练好的所述预设人工智能模型。
具体的，在本发明实施例中，所述预设人工智能模型根据所述图像判断所述移动终端正在运行的程序或者界面，例如，根据所述图像判断出所述移动终端正在运行的是微信，进一步地，判断所述用户界面是否为所述操作过程对应的用户界面，例如，如果所述操作过程对应的用户界面是支付宝，则控制所述操作终端关闭支付宝打开微信，如果所述操作过程对应的用户界面就是微信，则根据所述关键操作路径执行所述操作。
在本发明实施例中，利用预设的人工智能模型对所述视频数据进行分析前，要先训练所述人工智能模型。具体地，采集所述移动终端用户界面的样本；为每个所述移动终端用户界面的样本打上对应的标签；根据深度学习算法，使用所述若干所述移动终端用户界面的样本及对应的每个所述移动终端用户界面的样本的标签训练模型，获得预设的所述人工智能模型。
具体地，深度学习算法是一种利用数据，训练出模型，然后使用模型预测的一种方法。事先采集若干所述移动终端用户界面的样本，例如微信好友界面、微信聊天界面、支付宝收付款界面等。或者从数据库中获取若干所述移动终端用户界面的样本，然后为每个所述移动终端用户界面的样本打上对应的标签，当所有所述移动终端用户界面的样本都打上对应的标签后，使用若干所述移动终端用户界面的样本及对应的每个所述移动终端用户界面的样本的标签训练模型，从而获得所述人工智能模型。所述移动终端用户界面的样本数据越多，涵盖的情形就越多，从而所述人工智能模型的识别能力也就越高。
在本发明实施例中，为了保证所述人工智能模型的识别率足够高，可以设置一个预设阈值，若测试识别率到达预设阈值时，则表示训练后的所述人工智能模型识别能力符合预期，可直接将训练后的所述人工智能模型作为已训练好的人工智能模型对所述移动终端用户界面进行识别。反之，则不断调整所述人工智能模型的各个参数，再次训练所述人工智能模型，直到所述人工智能模型的识别率达到预设阈值。
进一步地，所述方法还包括，自动识别未完成的关键任务路径，根据未完成的关键任务路径进行操作,具体的，自动识别未完成的关键任务路径，根据未完成的关键任务路径进行操作，包括：从最低优先级的关键任务路径开始识别当前用户界面是否为所述关键任务路径对应的用户界面。
在本发明的一个实施例中，有两个不同优先级的关键任务路径，最高优先级的第一关键任务路径对应操作为打开微信，第二优先级的第二关键任务路径对应操作为在微信界面打开健康码，所述语音指令对应的关键信息为打开微信健康码，当前用户界面为支付宝，所述人工智能模型判断所述用户界面与第二关键任务路径和第一关键任务路径对应的用户界面均不同，操作终端进行的操作为，根据所述语音指令，执行关闭支付宝，依次打开微信和在微信界面打开健康码的操作。
在本发明实施例的另一个实施例中，有两个不同优先级的关键任务路径，最高优先级的第一关键任务路径对应操作为打开微信，第二优先级的第二关键任务路径对应操作为在微信界面打开健康码，所述语音指令对应的关键信息为打开微信健康码，当前用户界面为微信，所述人工智能模型判断所述当前用户界面与所述第二关键任务路径对应的用户界面相同，操作终端进行的操作为，跳过第一关键路径，直接执行第二关键路径，即直接执行在微信界面打开健康码的操作。
请再参阅图5，图5是本发明的电子设备示意图；
如图5所示，该电子设备50包括：一个或多个处理器51以及存储器52，图5中以一个处理器51为例。
处理器51和存储器52可以通过总线或者其他方式连接，图5中以通过总线连接为例。
处理器51，用于获取操作指令；根据所述操作指令，控制操作终端操作所述移动终端用户界面，以使所述操作终端执行与所述操作指令对应的操作，其中，所述操作终端对所述移动终端用户界面进行所述操作的关键操作路径，通过预设人工智能模型从预设视频中学习。
本发明实施例通过根据用户的操作指令，控制操作终端自动操作移动终端用户界面，可以帮助障碍患者操作移动终端，让障碍患者通过下达简单的指令就可让操作终端完成复杂操作。
存储器52作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本申请实施例中的操作移动终端用户界面的方法的程序指令/模块。处理器52通过运行存储在存储器52中的非易失性软件程序、指令以及模块，从而执行控制器的各种功能应用以及数据处理，即实现上述方法实施例的操作移动终端用户界面的方法。
存储器52可以包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需要的应用程序；存储数据区可存储根据控制器的使用所创建的数据等。此外，存储器52可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器52可选包括相对于处理器51远程设置的存储器，这些远程存储器可以通过网络连接至控制器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
所述一个或者多个模块存储在所述存储器52中，当被所述一个或者多个处理器51执行时，执行上述任意方法实施例中的操作移动终端用户界面的方法，例如，执行以上描述的图2中的方法步骤S10至步骤S20。
所述电子设备包括移动终端和具有一个或多个处理器以及存储器的机械臂。
需要说明的是，上述产品可执行本申请实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本申请实施例所提供的方法。
本发明实施例还提供了一种非易失性计算机存储介质，所述计算机存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行，可使得上述一个或多个处理器可执行上述任意方法实施例中的操作移动终端用户界面的方法。
以上所描述的装置或设备实施例仅仅是示意性的，其中所述作为分离部件说明的单元模块可以是或者也可以不是物理上分开的，作为模块单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络模块单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用直至得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明，它们没有在细节中提供；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。
Claims (10)
1.一种操作移动终端用户界面的方法，其特征在于，所述方法包括：
获取操作指令；
根据所述操作指令，控制操作终端操作所述移动终端用户界面，以使所述操作终端执行与所述操作指令对应的操作，其中，所述操作终端对所述移动终端用户界面进行所述操作的关键操作路径，通过预设人工智能模型从预设视频中学习。
2.根据权利要求1所述的方法，其特征在于，所述通过预设人工智能模型从预设视频中学习，包括：
获取所述预设视频；
分析所述预设视频，识别出所述预设视频内的操作对象和操作主体；
提取所述操作主体对所述操作对象进行操作的所述关键操作路径，以使所述操作终端通过所述关键操作路径正确复现对应操作。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
设置所述关键操作路径对应的关键信息，其中，所述关键信息对应至少一个所述关键操作路径。
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
通过所述预设人工智能模型识别所述操作指令，找到与所述操作指令对应的所述关键信息；
根据所述关键信息对应的所述关键操作路径，控制所述操作终端操作所述移动终端用户界面。
5.根据权利要求1-4任一项所述的方法，其特征在于，所述方法还包括：
获取所述移动终端用户界面的图像；
根据所述图像，实时校正所述操作终端对所述移动终端用户界面的操作过程。
6.根据权利要求5所述的方法，其特征在于，所述根据所述图像，实时校正所述操作过程，包括：
根据所述图像，由预设人工智能模型判断所述用户界面是否为所述操作过程对应的用户界面；若是，
则，继续执行所述操作过程；否则，
控制所述移动终端切换到所述操作过程对应的用户界面。
7.根据权利要求6所述的方法，其特征在于，所述由预设人工智能模型判断所述用户界面是否为所述操作过程对应的用户界面，包括：
训练所述预设人工智能模型；
获取若干所述移动终端用户界面的样本；
为每个所述样本打上对应的标签；
根据机器学习算法，使用所述移动终端用户界面的样本以及每个所述样本对应的标签对所述预设人工智能模型进行训练，获得训练好的所述预设人工智能模型。
8.根据权利要求6所述的方法，其特征在于，所述操作指令为语音指令，所述操作终端为带触控笔的机械臂。
9.一种操作移动终端用户界面的装置，其特征在于，所述装置包括：
获取模块，用于获取操作指令；
操作模块，用于根据所述操作指令，控制操作终端操作移动终端用户界面，以使所述操作终端执行与所述操作指令对应的操作，其中，所述操作终端对所述移动终端用户界面进行所述操作的关键操作路径通过人工智能模型从预设视频中学习。
10.一种电子设备，其特征在于，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-8任一项所述方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111263218.2A CN113986434A (zh) | 2021-10-21 | 2021-10-21 | 一种操作移动终端用户界面的方法、装置及其电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111263218.2A CN113986434A (zh) | 2021-10-21 | 2021-10-21 | 一种操作移动终端用户界面的方法、装置及其电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113986434A true CN113986434A (zh) | 2022-01-28 |
Family
ID=79743438
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111263218.2A Pending CN113986434A (zh) | 2021-10-21 | 2021-10-21 | 一种操作移动终端用户界面的方法、装置及其电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113986434A (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109800049A (zh) * | 2019-01-23 | 2019-05-24 | 王心丹 | 一种功能业务的操作方法、装置、终端设备及存储介质 |
| US20190164549A1 (en) * | 2017-11-30 | 2019-05-30 | Baidu Online Network Technology (Beijing) Co., Ltd | Method and apparatus for controlling page |
| CN112885354A (zh) * | 2021-01-25 | 2021-06-01 | 海信视像科技股份有限公司 | 一种显示设备、服务器及基于语音的显示控制方法 |
| CN112908328A (zh) * | 2021-02-02 | 2021-06-04 | 安通恩创信息技术(北京)有限公司 | 设备操控方法、***、计算机设备及存储介质 |
-
2021
- 2021-10-21 CN CN202111263218.2A patent/CN113986434A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190164549A1 (en) * | 2017-11-30 | 2019-05-30 | Baidu Online Network Technology (Beijing) Co., Ltd | Method and apparatus for controlling page |
| CN109800049A (zh) * | 2019-01-23 | 2019-05-24 | 王心丹 | 一种功能业务的操作方法、装置、终端设备及存储介质 |
| CN112885354A (zh) * | 2021-01-25 | 2021-06-01 | 海信视像科技股份有限公司 | 一种显示设备、服务器及基于语音的显示控制方法 |
| CN112908328A (zh) * | 2021-02-02 | 2021-06-04 | 安通恩创信息技术(北京)有限公司 | 设备操控方法、***、计算机设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111680562A (zh) | 一种基于骨骼关键点的人体姿态识别方法、装置、存储介质及终端 | |
| CN110503077B (zh) | 一种基于视觉的实时人体动作分析方法 | |
| CN108154236A (zh) | 用于评估群组层面的认知状态的技术 | |
| CN108983979B (zh) | 一种手势跟踪识别方法、装置和智能设备 | |
| CN107729092B (zh) | 一种用于电子书的自动翻页方法和*** | |
| JP2022520000A (ja) | データ処理方法、データ処理装置、コンピュータプログラム及び電子装置 | |
| CN113568506A (zh) | 用于显示器控制和定制姿势解释的动态用户交互 | |
| CN106502382B (zh) | 用于智能机器人的主动交互方法和*** | |
| CN108853953A (zh) | 一种形体训练方法、装置、***、计算机设备及存储介质 | |
| CN112001394A (zh) | 基于ai视觉下的听写交互方法、***、装置 | |
| CN109783360A (zh) | 操作***对比测试方法与装置、电子设备、存储介质 | |
| CN105042789A (zh) | 一种智能空调的控制方法及*** | |
| CN108805035A (zh) | 基于手势识别的教学互动方法以及装置 | |
| CN108897517B (zh) | 一种信息处理方法及电子设备 | |
| CN112541870A (zh) | 一种视频处理的方法、装置、可读存储介质和电子设备 | |
| Adhikari et al. | A Novel Machine Learning-Based Hand Gesture Recognition Using HCI on IoT Assisted Cloud Platform. | |
| CN113537122A (zh) | 动作识别方法和装置、存储介质及电子设备 | |
| CN112101109B (zh) | 人脸关键点检测模型训练方法、装置、电子设备和介质 | |
| CN112069916B (zh) | 人脸美丽预测方法、装置、***及可读存储介质 | |
| CN113986434A (zh) | 一种操作移动终端用户界面的方法、装置及其电子设备 | |
| Tan et al. | Implementing Gesture Recognition in a Sign Language Learning Application | |
| Zholshiyeva et al. | Human-machine interactions based on hand gesture recognition using deep learning methods. | |
| Dhamanskar et al. | Human computer interaction using hand gestures and voice | |
| CN113378826B (zh) | 一种数据处理方法、装置、设备及存储介质 | |
| CN115016641A (zh) | 基于手势识别的会议控制方法、装置、会议***和介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |