CN113485619B - 信息收集表的处理方法、装置、电子设备及存储介质 - Google Patents
信息收集表的处理方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN113485619B CN113485619B CN202110790684.XA CN202110790684A CN113485619B CN 113485619 B CN113485619 B CN 113485619B CN 202110790684 A CN202110790684 A CN 202110790684A CN 113485619 B CN113485619 B CN 113485619B
- Authority
- CN
- China
- Prior art keywords
- target
- collection
- information collection
- collection table
- item
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title abstract description 18
- 238000000034 method Methods 0.000 claims abstract description 63
- 238000012545 processing Methods 0.000 claims abstract description 44
- 230000006870 function Effects 0.000 claims description 125
- 230000004044 response Effects 0.000 claims description 53
- 230000015654 memory Effects 0.000 claims description 25
- 238000001514 detection method Methods 0.000 claims description 20
- 230000008569 process Effects 0.000 claims description 16
- 230000001960 triggered effect Effects 0.000 claims description 16
- 238000010801 machine learning Methods 0.000 claims description 12
- 238000012905 input function Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 3
- 230000014509 gene expression Effects 0.000 description 47
- 238000010586 diagram Methods 0.000 description 41
- 238000013527 convolutional neural network Methods 0.000 description 11
- 230000027455 binding Effects 0.000 description 8
- 238000009739 binding Methods 0.000 description 8
- 238000013528 artificial neural network Methods 0.000 description 7
- 238000007781 pre-processing Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 230000003993 interaction Effects 0.000 description 5
- 238000003062 neural network model Methods 0.000 description 4
- 210000002569 neuron Anatomy 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000008921 facial expression Effects 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000036651 mood Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 238000013515 script Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000011081 inoculation Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 210000000697 sensory organ Anatomy 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本申请提供了一种信息收集表的处理方法、装置、电子设备及存储介质;方法包括:呈现初始的信息收集表,以及所述信息收集表对应的操作识别区域;采集包含用户操作的图像,并通过所述操作识别区域呈现所述图像;当所述操作识别区域所呈现的用户操作为目标操作时,响应于所述目标操作,在所述信息收集表中创建所述目标操作所关联类型的目标收集项目;接收到输入的所述目标收集项目对应的收集内容,并基于所述收集内容,生成目标信息收集表;其中,所述目标信息收集表,用于供至少两个具有操作权限的用户基于所述收集内容,编辑相应的信息;通过本申请,能够丰富信息收集表的创建方式,提高信息收集表的创建效率。
Description
技术领域
本申请涉及信息处理技术领域,尤其涉及一种信息收集表的处理方法、装置、电子设备及存储介质。
背景技术
相关技术中,信息收集表的创建通常是以键鼠配合、通过手动输入、拖拽等传统方式实现的,创建方式单一,且操作复杂,不仅使得收集表的创建效率低下,还浪费了硬件处理资源。
发明内容
本申请实施例提供一种信息收集表的处理方法、装置、电子设备及存储介质,能够丰富信息收集表的创建方式,提高信息收集表的创建效率。
本申请实施例的技术方案是这样实现的:
本申请实施例提供一种信息收集表的处理方法,包括:
呈现初始的信息收集表,以及所述信息收集表对应的操作识别区域;
采集包含用户操作的图像,并通过所述操作识别区域呈现所述图像;
当所述操作识别区域所呈现的用户操作为目标操作时,响应于所述目标操作,在所述信息收集表中创建所述目标操作所关联类型的目标收集项目;
接收到输入的所述目标收集项目对应的收集内容,并基于所述收集内容,生成目标信息收集表;
其中,所述目标信息收集表,用于供至少两个具有操作权限的用户基于所述收集内容,编辑相应的信息。
上述方案中,所述呈现初始的信息收集表之前,所述方法还包括:
呈现收集表创建界面,并在所述收集表创建界面中呈现收集表创建功能项;
响应于针对所述收集表创建功能项的触发操作,创建所述初始的信息收集表。
上述方案中,所述呈现所述信息收集表对应的操作识别区域,包括:
接收到针对所述信息收集表的项目创建指令;
响应于所述项目创建指令,呈现所述信息收集表对应的操作识别区域。
上述方案中,所述接收到针对所述信息收集表的项目创建指令,包括:
在所述信息收集表中呈现项目创建功能项,响应于针对所述项目创建功能项的触发操作,接收到针对所述信息收集表的项目创建指令;
或者,接收到基于语音形式触发的、针对所述信息收集表的语音项目创建指令。
上述方案中,所述呈现初始的信息收集表之前,所述方法还包括:
呈现所述信息收集表对应的操作设置区域、以及包括所述目标收集项目的至少两个类型的收集项目;
采集包含第一用户操作的第一图像,并通过所述操作设置区域呈现所述第一图像;
对所述第一用户操作进行识别,并在对所述第一用户操作识别成功后,响应于针对所述目标收集项目的选择操作,将所述第一用户操作作为所述目标操作与所述目标收集项目进行关联。
上述方案中,所述呈现包括所述目标收集项目的至少两个类型的收集项目,包括:
呈现收集项目类型对应的下拉功能项;
响应于针对所述下拉功能项的触发操作,呈现包括所述目标收集项目的至少两个类型的收集项目。
本申请实施例还提供一种信息收集表的处理装置,包括:
呈现模块,用于呈现初始的信息收集表,以及所述信息收集表对应的操作识别区域;
采集模块,用于采集包含用户操作的图像,并通过所述操作识别区域呈现所述图像;
创建模块,用于当所述操作识别区域所呈现的用户操作为目标操作时,响应于所述目标操作,在所述信息收集表中创建所述目标操作所关联类型的目标收集项目;
生成模块,用于接收到输入的所述目标收集项目对应的收集内容,并基于所述收集内容,生成目标信息收集表;
其中,所述目标信息收集表,用于供至少两个具有操作权限的用户基于所述收集内容,编辑相应的信息。
上述方案中,所述创建模块,还用于接收到通过语音方式触发的、针对信息收集表的语音创建指令;
响应于所述语音创建指令,创建所述初始的信息收集表。
上述方案中,所述创建模块,还用于呈现收集表创建界面,并在所述收集表创建界面中呈现收集表创建功能项;
响应于针对所述收集表创建功能项的触发操作,创建所述初始的信息收集表。
上述方案中,所述创建模块,还用于呈现收集表创建界面,并在所述收集表创建界面中,呈现空白信息收集表的创建模板;
响应于针对所述创建模板的模板选择操作,创建空白信息收集表作为所述初始的信息收集表。
上述方案中,所述呈现模块,还用于在所述信息收集表中,呈现携带默认收集内容的默认收集项目、以及对应所述默认收集项目的编辑功能项;
当接收到针对所述编辑功能项的触发操作时,呈现用于对所述默认收集项目、以及相应默认收集内容进行编辑的编辑界面;
所述生成模块,还用于基于所述收集内容,结合基于所述编辑界面编辑后的默认收集项目以及相应默认收集内容,生成目标信息收集表。
上述方案中,所述呈现模块,还用于接收到针对所述信息收集表的项目创建指令;
响应于所述项目创建指令,呈现所述信息收集表对应的操作识别区域。
上述方案中,所述呈现模块,还用于在所述信息收集表中呈现项目创建功能项,响应于针对所述项目创建功能项的触发操作,接收到针对所述信息收集表的项目创建指令;
或者,接收到基于语音形式触发的、针对所述信息收集表的语音项目创建指令。
上述方案中,所述装置还包括:
开启模块,用于接收到针对所述信息收集表的操作创建功能的开启指令;
响应于所述开启指令,开启通过执行目标操作在所述信息收集表中创建收集项目的操作创建功能;
所述呈现模块,还用于当所述操作创建功能开启时,呈现所述信息收集表对应的操作识别区域。
上述方案中,所述开启模块,还用于响应于针对呈现的操作创建功能开关的触发操作,接收到针对所述信息收集表的操作创建功能的开启指令;
或者,接收到基于语音形式触发的、针对所述信息收集表的操作创建功能的语音开启指令。
上述方案中,所述呈现模块,还用于在所述操作识别区域中,呈现对应所述目标操作的引导信息;
其中,所述引导信息,用于引导通过执行所述目标操作,在所述信息收集表中创建所述目标收集项目。
上述方案中,所述采集模块,还用于在对所述图像进行用户操作识别的过程中,在所述操作识别区域中呈现对应所述图像的第一图像识别框;
当对所述图像进行用户操作识别完成时,在所述操作识别区域中呈现对应所述图像的第二图像识别框;
其中,所述第一图像识别框和所述第二图像识别框的位置,与所述图像中包含用户操作的目标区域相对应;所述第一图像识别框和所述第二图像识别框的显示样式不同。
上述方案中,所述呈现模块,还用于在创建所述目标操作所关联类型的目标收集项目的过程中,呈现创建提示信息;
其中,所述创建提示信息,用于提示正在创建所述目标操作所关联类型的目标收集项目。
上述方案中,所述呈现模块,还用于开启针对所述目标收集项目的语音输入功能,并
呈现对应所述目标收集项目的语音输入界面;
所述生成模块,还用于接收到基于所述语音输入界面输入的、语音形式的所述目标收集项目对应的收集内容。
上述方案中,所述呈现模块,还用于在所述语音输入界面中,呈现对应所述目标收集项目的语音采集提示信息;
其中,所述语音采集提示信息,用于提示正在采集针对所述目标收集项目的收集内容;
伴随所述语音形式的收集内容的输入,呈现所述语音采集提示信息的样式变化的过程。
上述方案中,所述装置还包括:
关联模块,用于呈现所述信息收集表对应的操作设置区域、以及包括所述目标收集项目的至少两个类型的收集项目;
采集包含第一用户操作的第一图像,并通过所述操作设置区域呈现所述第一图像;
对所述第一用户操作进行识别,并在对所述第一用户操作识别成功后,响应于针对所述目标收集项目的选择操作,将所述第一用户操作作为所述目标操作与所述目标收集项目进行关联。
上述方案中,所述关联模块,还用于呈现收集项目类型对应的下拉功能项;
响应于针对所述下拉功能项的触发操作,呈现包括所述目标收集项目的至少两个类型的收集项目。
上述方案中,所述关联模块,还用于在操作设置区域中,呈现所述第一用户操作对应的第一操作提示信息;
其中,所述第一操作提示信息,用于提示通过执行所述第一用户操作,将所述第一用户操作与所述目标收集项目进行关联。
上述方案中,所述关联模块,还用于当所述第一用户操作关联有相应类型的收集项目时,呈现第二操作提示信息;
其中,所述第二操作提示信息,用于提示所述第一用户操作关联有相应类型的收集项目,并引导重新执行不同于所述第一用户操作的其它用户操作。
上述方案中,所述采集模块,还用于对所述图像进行皮肤检测处理,确定所述图像中包含的、对应用户操作的部分图像;
将所述部分图像输入至机器学习模型进行操作预测,得到所述用户操作是否为所述目标操作的预测结果。
上述方案中,所述生成模块,还用于接收到输入的语音形式的所述目标收集项目对应的收集内容;
所述生成模块,还用于对语音形式的所述收集内容进行静音检测,得到所述收集内容中的静音部分,并去除所述收集内容中的静音部分,得到目标收集内容;
对所述目标收集内容进行分段处理,得到目标收集内容包含的多个声音帧,并对各所述声音帧进行特征提取,得到相应的声音特征;
分别将各所述声音帧对应的声音特征输入机器学习模型进行语音识别,得到各所述声音帧对应的文本内容;
基于各所述声音帧对应的文本内容,生成目标信息收集表。
本申请实施例还提供一种电子设备,包括:
存储器,用于存储可执行指令;
处理器,用于执行所述存储器中存储的可执行指令时,实现本申请实施例提供的信息收集表的处理方法。
本申请实施例还提供一种计算机可读存储介质,存储有可执行指令,所述可执行指令被处理器执行时,实现本申请实施例提供的信息收集表的处理方法。
本申请实施例具有以下有益效果:
通过呈现初始的信息收集表对应的操作识别区域,以通过该操作识别区域呈现包含用户操作的图像,当操作识别区域所呈现的用户操作为目标操作时,则响应于目标操作,在信息收集表中创建目标操作所关联类型的目标收集项目,从而当接收到输入的目标收集项目对应的收集内容时,基于收集内容生成目标信息收集表。如此,用户通过执行与目标收集项目的类型相关联的目标操作,即可实现信息收集表中收集项目的创建,既丰富了信息收集表的创建方式,且操作简单,提高了信息收集表的创建效率,节省了硬件处理资源。
附图说明
图1是本申请实施例提供的信息收集表的处理***100的架构示意图;
图2是本申请实施例提供的实施信息收集表的处理方法的电子设备500的结构示意图;
图3是本申请实施例提供的信息收集表的处理方法的流程示意图;
图4是本申请实施例提供的信息收集表的创建示意图;
图5是本申请实施例提供的信息收集表的创建示意图;
图6是本申请实施例提供的操作识别区域的呈现示意图;
图7是本申请实施例提供的操作识别区域的呈现示意图;
图8是本申请实施例提供的引导信息的呈现示意图;
图9是本申请实施例提供的语音输入界面的呈现示意图;
图10是本申请实施例提供的目标操作与相应类型的目标收集项目的绑定流程示意图;
图11A是本申请实施例提供的第一操作提示信息的呈现示意图;
图11B是本申请实施例提供的第二操作提示信息的呈现示意图;
图12是本申请实施例提供的信息收集表的处理方法的流程示意图;
图13是本申请实施例提供的一种颜色的RGB颜色空间的示意图;
图14是本申请实施例提供的椭圆模型的示意图;
图15是本申请实施例提供的皮肤像素点和非皮肤像素点的分布示意图;
图16是本申请实施例提供的卷积神经网络的结构示意图;
图17是本申请实施例提供的人物表情识别的示意图;
图18是本申请实施例提供的用户手势的识别示意图;
图19是本申请实施例提供的声音信息分段的示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请作进一步地详细描述,所描述的实施例不应视为对本申请的限制,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本申请保护的范围。
在以下的描述中,涉及到“一些实施例”,其描述了所有可能实施例的子集,但是可以理解,“一些实施例”可以是所有可能实施例的相同子集或不同子集,并且可以在不冲突的情况下相互结合。
在以下的描述中,所涉及的术语“第一\第二\第三”仅仅是是区别类似的对象,不代表针对对象的特定排序,可以理解地,“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序,以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。
除非另有定义,本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的,不是旨在限制本申请。
对本申请实施例进行进一步详细说明之前,对本申请实施例中涉及的名词和术语进行说明,本申请实施例中涉及的名词和术语适用于如下的解释。
1)客户端,终端中运行的用于提供各种服务的应用程序,例如即时通讯客户端、视频播放客户端。
2)响应于,用于表示所执行的操作所依赖的条件或者状态,当满足所依赖的条件或状态时,所执行的一个或多个操作可以是实时的,也可以具有设定的延迟;在没有特别说明的情况下,所执行的多个操作不存在执行先后顺序的限制。
基于上述对本申请实施例中涉及的名词和术语的解释,下面说明本申请实施例提供的信息收集表的处理***。参见图1,图1是本申请实施例提供的信息收集表的处理***100的架构示意图,为实现支撑一个示例性应用,终端(示例性示出了终端400-1)通过网络300连接服务器200,网络300可以是广域网或者局域网,又或者是二者的组合,使用无线或有线链路实现数据传输。
终端(如终端400-1),用于在图形界面410(示例性示出了图形界面410-1和图形界面410-2)呈现初始的信息收集表,以及信息收集表对应的操作识别区域;采集包含用户操作的图像,并通过操作识别区域呈现图像;将包含用户操作的图像发送至服务器200;
服务器200,用于接收到包含用户操作的图像,并识别图像包含的用户操作是否为目标操作;当识别得到操作识别区域所呈现的用户操作为目标操作时,则获取与目标操作所关联类型的目标收集项目,并将目标收集项目返回至终端;
终端(如终端400-1),用于接收目标收集项目,并在信息收集表中创建目标操作所关联类型的目标收集项目;接收到输入的目标收集项目对应的收集内容,并基于收集内容,生成目标信息收集表。
在实际应用中,服务器200可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式***,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。终端(如终端400-1)可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能电视、智能手表等,但并不局限于此。终端(如终端400-1)以及服务器200可以通过有线或无线通信方式进行直接或间接地连接,本申请在此不做限制。
参见图2,图2是本申请实施例提供的实施信息收集表的处理方法的电子设备500的结构示意图。在实际应用中,电子设备500可以为图1示出的服务器或终端,以电子设备500为图1示出的终端为例,对实施本申请实施例的信息收集表的处理方法的电子设备进行说明,本申请实施例提供的电子设备500包括:至少一个处理器510、存储器550、至少一个网络接口520和用户接口530。电子设备500中的各个组件通过总线***540耦合在一起。可理解,总线***540用于实现这些组件之间的连接通信。总线***540除包括数据总线之外,还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见,在图2中将各种总线都标为总线***540。
处理器510可以是一种集成电路芯片,具有信号的处理能力,例如通用处理器、数字信号处理器(DSP,Digital Signal Processor),或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等,其中,通用处理器可以是微处理器或者任何常规的处理器等。
用户接口530包括使得能够呈现媒体内容的一个或多个输出装置531,包括一个或多个扬声器和/或一个或多个视觉显示屏。用户接口530还包括一个或多个输入装置532,包括有助于用户输入的用户接口部件,比如键盘、鼠标、麦克风、触屏显示屏、摄像头、其他输入按钮和控件。
存储器550可以是可移除的,不可移除的或其组合。示例性的硬件设备包括固态存储器,硬盘驱动器,光盘驱动器等。存储器550可选地包括在物理位置上远离处理器510的一个或多个存储设备。
存储器550包括易失性存储器或非易失性存储器,也可包括易失性和非易失性存储器两者。非易失性存储器可以是只读存储器(ROM,Read Only Me mory),易失性存储器可以是随机存取存储器(RAM,Random Access Memor y)。本申请实施例描述的存储器550旨在包括任意适合类型的存储器。
在一些实施例中,存储器550能够存储数据以支持各种操作,这些数据的示例包括程序、模块和数据结构或者其子集或超集,下面示例性说明。
操作***551,包括用于处理各种基本***服务和执行硬件相关任务的***程序,例如框架层、核心库层、驱动层等,用于实现各种基础业务以及处理基于硬件的任务;
网络通信模块552,用于经由一个或多个(有线或无线)网络接口520到达其他计算设备,示例性的网络接口520包括:蓝牙、无线相容性认证(WiFi)、和通用串行总线(USB,Universal Serial Bus)等;
呈现模块553,用于经由一个或多个与用户接口530相关联的输出装置531(例如,显示屏、扬声器等)使得能够呈现信息(例如,用于操作***设备和显示内容和信息的用户接口);
输入处理模块554,用于对一个或多个来自一个或多个输入装置532之一的一个或多个用户输入或互动进行检测以及翻译所检测的输入或互动。
在一些实施例中,本申请实施例提供的信息收集表的处理装置可以采用软件方式实现,图2示出了存储在存储器550中的信息收集表的处理装置555,其可以是程序和插件等形式的软件,包括以下软件模块:呈现模块5551、采集模块5552、创建模块5553和生成模块5554,这些模块是逻辑上的,因此根据所实现的功能可以进行任意的组合或进一步拆分,将在下文中说明各个模块的功能。
在另一些实施例中,本申请实施例提供的信息收集表的处理装置可以采用软硬件结合的方式实现,作为示例,本申请实施例提供的信息收集表的处理装置可以是采用硬件译码处理器形式的处理器,其被编程以执行本申请实施例提供的信息收集表的处理方法,例如,硬件译码处理器形式的处理器可以采用一个或多个应用专用集成电路(ASIC,Application Specific Integrated Circuit)、DSP、可编程逻辑器件(PLD,ProgrammableLogic Device)、复杂可编程逻辑器件(CPLD,Complex Programmable Logic Device)、现场可编程门阵列(FPGA,Field-Programmable Gate Array)或其他电子元件。
基于上述对本申请实施例提供的信息收集表的处理***及电子设备的说明,下面说明本申请实施例提供的信息收集表的处理方法。在一些实施例中,本申请实施例提供的信息收集表的处理方法可由服务器或终端单独实施,或由服务器及终端协同实施,下面以终端实施为例说明本申请实施例提供的信息收集表的处理方法。参见图3,图3是本申请实施例提供的信息收集表的处理方法的流程示意图,本申请实施例提供的信息收集表的处理方法包括:
步骤101:终端呈现初始的信息收集表,以及信息收集表对应的操作识别区域。
这里,在实际应用中,终端安装有客户端,比如集成有收集表创建功能的即时通讯客户端、收集表创建客户端(比如文档客户端)等。终端接收到用户触发的客户端运行指令,响应于运行指令,通过运行客户端呈现初始的信息收集表。在实际实施时,该初始的信息收集表可以为创建的空白信息收集表,也可以是包含部分收集内容或者收集项目(比如姓名、性别等)的信息收集表,即当用户存在创建信息收集表的需求时,可以客户端中创建初始的信息收集表。
在实际应用中,该信息收集表可以提供信息收集和收集结果转表格的能力,具体地,该初始的信息收集表可以供用户根据个人需要,在信息收集表中创建收集项目(比如问答题、时间题等)以及相应的收集内容,比如创建“请问您接种XX疫苗了吗?”的问答题、或者创建“请填写您的接种时间是XX年X月X日”的时间题等等。
在本申请实施例中,终端在呈现初始的信息收集表时,还呈现信息收集表对应的操作识别区域,该操作识别区域用户识别用户的用户操作,比如表情操作、手势操作等,以基于该用户操作在信息收集表中创建相应的收集项目。接下来首先对初始的信息收集表的创建进行说明。
在一些实施例中,终端在呈现初始的信息收集表之前,可通过如下方式创建初始的信息收集表:接收到通过语音方式触发的、针对信息收集表的语音创建指令;响应于语音创建指令,创建初始的信息收集表。
这里,用户可通过语音方式创建初始的信息收集表。在实际应用中,运行于终端的客户端提供信息收集表的语音创建指令,该语音创建指令用于触发初始的信息收集表的创建,比如“XX文档,请创建空白表单”等。当终端接收到通过语音方式触发的、针对信息收集表的语音创建指令时,响应于语音创建指令,创建初始的信息收集表,并呈现该初始的信息收集表。
作为示例,在收集表创建界面自动开启语音创建信息收集表的功能。即当终端呈现收集表创建界面时,用户可以语音输对应信息收集表的语音创建指令。终端接收到针对信息收集表的语音创建指令时,响应于语音创建指令,开始创建初始的信息收集表,并可以从所呈现的收集表创建界面,跳转至所创建的该初始的信息收集表。
在一些实施例中,终端在呈现初始的信息收集表之前,可通过如下方式创建初始的信息收集表:呈现收集表创建界面,并在收集表创建界面中呈现收集表创建功能项;响应于针对收集表创建功能项的触发操作,创建初始的信息收集表。
这里,用户除了可以通过语音的方式创建初始的信息收集表之外,还可以手动创建初始的信息收集表。在实际应用中,终端还提供了收集表创建界面,并在收集表创建界面中提供收集表创建功能项。用户可以基于该收集表创建功能项创建初始的信息收集表。具体地,终端接收到针对收集表创建功能项的触发操作,响应于该触发操作,创建初始的信息收集表,并呈现该初始的信息收集表。
作为示例,参见图4,图4是本申请实施例提供的信息收集表的创建示意图。这里,终端呈现收集表创建界面,并在收集表创建界面中呈现收集表创建功能项“创建空白收集表”,如图4中A图所示;响应于针对收集表创建功能项“创建空白收集表”的触发操作,创建初始的信息收集表,并呈现该初始的信息收集表,如图4中B图所示。
在一些实施例中,终端在呈现初始的信息收集表之前,可通过如下方式创建初始的信息收集表:呈现收集表创建界面,并在收集表创建界面中,呈现空白信息收集表的创建模板;响应于针对创建模板的模板选择操作,创建空白信息收集表作为初始的信息收集表。
这里,终端还可以为用户提供多个信息收集表的创建模板,比如空白信息收集表的创建模板、预设种类的信息收集表的创建模板(比如学生实习意向收集表模板、毕业生就业情况收集表模板等),这里该预设种类的信息收集表的创建模板,包含预先设置好的、与相应种类相关的收集项目以及相应的收集内容,比如与学生实习意向相关的收集项目、收集内容等。当用户需要创建相应种类的信息收集表时,可以基于相应种类的信息收集表的创建模板,快速创建相应的信息收集表。
在实际应用中,终端可以呈现收集表创建界面,并在收集表创建界面中呈现空白信息收集表,当接收到针对空白信息收集表的创建模板的选择操作时,响应于该选择操作,创建空白信息收集表作为初始的信息收集表,并呈现该初始的信息收集表。
作为示例,参见图5,图5是本申请实施例提供的信息收集表的创建示意图。这里,终端呈现收集表创建界面,并在收集表创建界面呈现多个信息收集表的创建模板,包括空白信息收集表的创建模板“空白收集表”、学生实习意向收集表的创建模板“学生实习意向收集表”、毕业生就业情况收集表的创建模板“毕业生就业情况收集表”,如图5中A图所示;当接收到针对空白信息收集表的创建模板的选择操作时,响应于该选择操作,创建空白信息收集表作为初始的信息收集表,并呈现该初始的信息收集表,如图5中B图所示。
在一些实施例中,终端呈现初始的信息收集表之后,还可在信息收集表中,呈现携带默认收集内容的默认收集项目、以及对应默认收集项目的编辑功能项;当接收到针对编辑功能项的触发操作时,呈现用于对默认收集项目、以及相应默认收集内容进行编辑的编辑界面;
相应的,终端可通过如下方式基于收集内容,生成目标信息收集表:基于收集内容,结合基于编辑界面编辑后的默认收集项目以及相应默认收集内容,生成目标信息收集表。
这里,终端在创建初始的信息收集表之后,该初始的信息收集表中还可以包含携带默认收集内容的默认收集项目,比如默认收集项目“年龄”,相应的默认收集内容“10-20岁、21-40岁、41-60岁、60岁以上”;默认收集项目“性别”,相应的默认收集内容“男、女”等。如此,可以预先为用户提供部分收集项目以及收集内容,从而节省用户创建收集项目以及收集内容的时间。
在实际应用中,还可以为默认收集项目提供相应的编辑功能项,当用户不需要初始的信息收集表所包含的默认收集项目以及默认收集内容时,或者需要对其进行修改时,可以基于该编辑功能项实现。当终端接收到针对编辑功能项的触发操作时,响应于该触发操作,呈现编辑界面,用户可以基于该编辑界面根据个人需要,对默认收集项目、以及相应默认收集内容进行编辑。如此,当生成目标信息收集表时,则结合编辑后的默认收集项目、以及相应默认收集内容生成。
在对初始的信息收集表的创建以及呈现说明结束后,接下来继续说明信息收集表对应的操作识别区域,该操作识别区域可供用户通过执行目标操作在信息收集表中创建收集项目。在一些实施例中,终端可通过如下方式呈现信息收集表对应的操作识别区域:接收到针对信息收集表的项目创建指令;响应于项目创建指令,呈现信息收集表对应的操作识别区域。
这里,终端可以在接收到针对信息收集表的项目创建指令时,响应于该项目创建指令,呈现信息收集表对应的操作识别区域,以避免实时显示操作识别区域降低屏幕的可利用率。
在一些实施例中,终端可通过如下方式接收到针对信息收集表的项目创建指令:在信息收集表中呈现项目创建功能项,响应于针对项目创建功能项的触发操作,接收到针对信息收集表的项目创建指令;或者,接收到基于语音形式触发的、针对信息收集表的语音项目创建指令。
在实际应用中,终端可通过如下方式接收到项目创建指令:终端可以在信息收集表中呈现项目创建功能项,当接收到针对项目创建功能项的触发操作,响应于该触发操作,接收到针对信息收集表的项目创建指令。作为示例,参见图6,图6是本申请实施例提供的操作识别区域的呈现示意图。这里,终端在信息收集表中呈现项目创建功能项“添加问题”,如图6中A图所示;响应于针对项目创建功能项“添加问题”的触发操作,接收到针对信息收集表的项目创建指令,响应于项目创建指令,呈现信息收集表对应的操作识别区域,如图6中B图所示。
在实际应用中,终端还可通过如下方式接收到项目创建指令:终端可以提供语音创建项目的功能,用户可以通过触发语音项目创建指令,以实现收集项目的创建。当终端接收到基于语音形式触发的、针对信息收集表的语音项目创建指令时,响应于项目创建指令,呈现信息收集表对应的操作识别区域。
在一些实施例中,终端可通过如下方式开启操作创建功能:接收到针对信息收集表的操作创建功能的开启指令;响应于开启指令,开启通过执行目标操作在信息收集表中创建收集项目的操作创建功能;
相应的,终端可通过如下方式呈现信息收集表对应的操作识别区域:当操作创建功能开启时,呈现信息收集表对应的操作识别区域。
这里,终端还提供了操作创建功能,该操作创建功能即为通过执行目标操作在信息收集表中创建收集项目的功能。基于此,在实际应用中,用户可通过开启该操作创建功能,以实现操作识别区域的呈现。具体地,终端接收到针对信息收集表的操作创建功能的开启指令;响应于开启指令,开启通过执行目标操作在信息收集表中创建收集项目的操作创建功能,此时,在操作创建功能开启时,呈现信息收集表对应的操作识别区域。
在一些实施例中,终端可通过如下方式接收到针对信息收集表的操作创建功能的开启指令:响应于针对呈现的操作创建功能开关的触发操作,接收到针对信息收集表的操作创建功能的开启指令;或者,接收到基于语音形式触发的、针对信息收集表的操作创建功能的语音开启指令。
在实际应用中,终端可通过如下方式接收到针对信息收集表的操作创建功能的开启指令:终端呈现操作创建功能开关,当接收到针对操作创建功能开关的触发操作时,响应于该触发操作,接收到针对信息收集表的操作创建功能的开启指令。作为示例,参见图7,图7是本申请实施例提供的操作识别区域的呈现示意图。这里,终端在信息收集表中呈现操作创建功能开关“表情、手势创建表单”,如图7中A图所示;响应于针对呈现的操作创建功能开关的触发操作,接收到针对信息收集表的操作创建功能的开启指令,响应于开启指令,开启操作创建功能,呈现信息收集表对应的操作识别区域,如图7中B图所示。
在实际应用中,终端还可通过如下方式接收到针对信息收集表的操作创建功能的开启指令:终端可以提供语音开启操作创建功能的功能,用户可以通过触发语音开启指令,以实现操作创建功能的开启。当终端接收到基于语音形式触发的、针对信息收集表的操作创建功能的语音开启指令时,响应于开启指令,开启通过执行目标操作在信息收集表中创建收集项目的操作创建功能,此时,在操作创建功能开启时,呈现信息收集表对应的操作识别区域。
在一些实施例中,终端呈现信息收集表对应的操作识别区域之后,还可在操作识别区域中,呈现对应目标操作的引导信息;其中,引导信息,用于引导通过执行目标操作,在信息收集表中创建目标收集项目。
这里,终端还可以在操作识别区域中呈现对应目标操作的引导信息,以通过该引导信息,引导用户通过执行目标操作,在信息收集表中创建目标收集项目。作为示例,参见图8,图8是本申请实施例提供的引导信息的呈现示意图。这里,终端在操作识别区域中,呈现对应目标操作的引导信息,比如:执行“666”手势操作创建问答题收集项目;执行“微笑”表情操作创建时间题收集项目。当然,该引导信息可以是文本的,也可以是图像的,比如可以是“666”手势操作对应的图形示意图,“微笑”表情操作对应的表情示意图。
步骤102:采集包含用户操作的图像,并通过操作识别区域呈现图像。
这里,终端呈现初始的信息收集表,以及信息收集表对应的操作识别区域之后,采集包含用户操作的图像,比如可以通过摄像装置进行图像采集,并通过该操作识别区域呈现所采集的图像。该用户操作可以是手势操作、表情操作等,比如“666”手势操作、各种数字(比如0、1、2等)手势操作、微笑表情操作、惊讶表情操作等。
在实际应用中,可以对该操作识别区域所呈现的图像进行识别,以确定图像中所包含的用户操作是否为目标操作。这里,该目标操作为关联有相应类型的目标收集项目,这里,收集项目的类型可以包括问答题、时间题、单选题、图片题等类型,目标操作可以包括手势操作、表情操作等,比如“666”手势操作、各种数字(比如0、1、2等)手势操作、微笑表情操作、惊讶表情操作等。
相应的,可以将“666”手势操作与问答题类型的收集项目关联,可以将微笑表情操作与时间题类型的收集项目关联等等,在本申请实施例中不作限定。
在一些实施例中,在通过操作识别区域呈现图像之后,终端在对图像进行用户操作识别的过程中,在操作识别区域中呈现对应图像的第一图像识别框;当对图像进行用户操作识别完成时,在操作识别区域中呈现对应图像的第二图像识别框;其中,第一图像识别框和第二图像识别框的位置,与图像中包含用户操作的目标区域相对应;第一图像识别框和第二图像识别框的显示样式不同。
在实际应用中,在对操作识别区域所呈现的图像进行识别时,可以通过图像识别框标识所识别的区域,比如在图像中包含用户操作的目标区域呈现该图像识别框。具体地,可以在对图像进行用户操作识别的过程中,在操作识别区域中呈现对应图像的第一图像识别框;当对图像进行用户操作识别完成时,在操作识别区域中呈现对应图像的第二图像识别框。这里,第一图像识别框和第二图像识别框的显示样式不同,比如第一图像识别框和第二图像识别框的显示颜色不同等等。
在一些实施例中,终端可通过如下方式对操作识别区域内呈现的图像进行识别:对图像进行皮肤检测处理,确定图像中包含的、对应用户操作的部分图像;将部分图像输入至机器学习模型进行操作预测,得到用户操作是否为目标操作的预测结果。
这里,终端可以首先对图像进行皮肤检测处理,确定图像中包含的、对应用户操作的部分图像,具体的,进行皮肤检测处理可以通过皮肤检测模型实现,比如高斯模型、椭圆模型、贝叶斯分类模型等。当确定对应用户操作的部分图像后,将部分图像输入至机器学习模型进行操作预测,得到用户操作是否为目标操作的预测结果。该机器学习模型可以基于卷积神经网络模型构建得到。
步骤103:当操作识别区域所呈现的用户操作为目标操作时,响应于目标操作,在信息收集表中创建目标操作所关联类型的目标收集项目。
这里,在终端通过操作识别区域呈现包含用户操作的图像,并对该图像进行识别,以确定图像中所包含的用户操作是否为目标操作后,当识别确定操作识别区域所呈现的用户操作为目标操作时,则获取与该目标操作所关联类型的目标收集项目,从而在信息收集表中,创建该目标收集项目。
在一些实施例中,终端可在创建目标操作所关联类型的目标收集项目的过程中,呈现创建提示信息;其中,创建提示信息,用于提示正在创建目标操作所关联类型的目标收集项目。
这里,终端在创建目标操作所关联类型的目标收集项目的过程中,还可以呈现创建提示信息,以基于该创建提示信息,提示用户正在创建目标操作所关联类型的目标收集项目,避免用户出现等待着急的情况。
步骤104:接收到输入的目标收集项目对应的收集内容,并基于收集内容,生成目标信息收集表。
其中,目标信息收集表,用于供至少两个具有操作权限的用户基于收集内容,编辑相应的信息。
这里,终端在信息收集表中创建目标操作所关联类型的目标收集项目之后,还需要针对该目标收集项目,输入相应的收集内容,比如所创建的目标收集项目为问答题,则需要输入该问题题的具体内容,比如“您是否喜欢唱歌?”。当终端接收到输入的目标收集项目的收集内容后,基于该收集内容,生成目标信息收集表。该生成的目标信息收集表,可以供至少两个具有操作权限的用户基于收集内容,编辑相应的信息。
在实际应用中,终端还可以呈现操作权限设置界面,并在操作权限设置界面中呈现供选择的至少两个用户;响应于针对目标用户的选择操作,将目标用户作为具有操作权限的用户。
在一些实施例中,在信息收集表中创建目标操作所关联类型的目标收集项目之后,终端可开启针对目标收集项目的语音输入功能,并呈现对应目标收集项目的语音输入界面;
相应的,终端可通过如下方式接收到输入的目标收集项目对应的收集内容:接收到基于语音输入界面输入的、语音形式的目标收集项目对应的收集内容。
这里,终端在信息收集表中创建目标操作所关联类型的目标收集项目之后,可以开启针对目标收集项目的语音输入功能,同时呈现对应目标收集项目的语音输入界面。基于此,终端接收到基于语音输入界面输入的、语音形式的目标收集项目对应的收集内容。
在一些实施例中,终端可在语音输入界面中,呈现对应目标收集项目的语音采集提示信息;其中,语音采集提示信息,用于提示正在采集针对目标收集项目的收集内容;伴随语音形式的收集内容的输入,呈现语音采集提示信息的样式变化的过程。
在实际应用中,终端还可在语音输入界面中,呈现对应目标收集项目的语音采集提示信息,比如“语音识别中……”,以通过该语音采集提示信息提示正在采集针对目标收集项目的收集内容。同时,伴随语音形式的收集内容的输入,终端还可以呈现语音采集提示信息的样式变化的过程,比如波形形式的语音采集提示信息,则可以随着语音形式的收集内容的输入,呈现波形的变化过程,该波形的变化频率可以和语音的声音频率相适配。
作为示例,参见图9,图9是本申请实施例提供的语音输入界面的呈现示意图。这里,终端在信息收集表中创建目标操作所关联类型的目标收集项目,即问答题类型的收集项目“请输入问题”;此时,开启针对目标收集项目的语音输入功能,并呈现对应目标收集项目的语音输入界面,在语音输入界面中,呈现对应目标收集项目的语音采集提示信息“语音识别中……”,等待用户语音输入。
在一些实施例中,呈现初始的信息收集表之前,终端可通过如下方式实现用户操作和收集项目之间的关联:呈现信息收集表对应的操作设置区域、以及包括目标收集项目的至少两个类型的收集项目;采集包含第一用户操作的第一图像,并通过操作设置区域呈现第一图像;对第一用户操作进行识别,并在对第一用户操作识别成功后,响应于针对目标收集项目的选择操作,将第一用户操作作为目标操作与目标收集项目进行关联。
这里,终端可以呈现信息收集表对应的操作设置区域、以及包含目标收集项目的至少两个类型的收集项目。这里,操作设置区域可以是在通过执行目标操作在信息收集表中创建收集项目的操作创建功能开启的情况下呈现的。在操作创建功能开启的情况下,终端提供操作设置区域以及包含目标收集项目的至少两个类型的收集项目,以实现目标操作与目标收集项目的类型的关联。
具体地,终端采集包含第一用户操作的第一图像,并通过操作设置区域呈现第一图像;对第一用户操作进行识别,并在对第一用户操作识别成功后,响应于针对目标收集项目的选择操作,将第一用户操作作为目标操作与目标收集项目的类型进行关联。比如当识别第一用户操作为“666”手势操作时,响应于针对问答题类型的目标收集项目的选择操作,将“666”手势操作与问答题类型的目标收集项目进行关联。
在一些实施例中,终端可通过如下方式呈现包括目标收集项目的至少两个类型的收集项目:呈现收集项目类型对应的下拉功能项;响应于针对下拉功能项的触发操作,呈现包括目标收集项目的至少两个类型的收集项目。
在实际应用中,终端可以呈现收集项目类型对应的下拉功能项,比如在操作设置区域的下方呈现该下拉功能项。响应于针对下拉功能项的触发操作,呈现包括目标收集项目的至少两个类型的收集项目。
作为示例,参见图10,图10是本申请实施例提供的目标操作与相应类型的目标收集项目的绑定流程示意图。这里,终端呈现信息收集表对应的操作设置区域,并在操作设置区域的下方呈现收集项目类型对应的下拉功能项,如图10中A图所示;
响应于针对下拉功能项的触发操作,呈现包括目标收集项目的至少两个类型的收集项目,包括问答题类型的收集项目、时间题类型的收集项目、单选题类型的收集项目等,同时还通过操作设置区域呈现采集的包含第一用户操作(即“666”手势操作)的图像,此时正在对图像进行操作识别,操作设置区域中还呈现有对应第一用户操作的第一图像识别框,该第一图像识别框为黄色,如图10中B图所示;
在对第一用户操作进行识别并在对第一用户操作识别成功后,操作设置区域中呈现有对应第一用户操作的第二图像识别框,该第二图像识别框为蓝色(表征识别成功),如图10中C图所示;
响应于针对目标收集项目“问答题类型的收集项目”的选择操作,将第一用户操作作为目标操作与目标收集项目进行关联,同时呈现关联成功的提示信息“关联成功”,如图10中D图所示。
在一些实施例中,终端可在操作设置区域中,呈现第一用户操作对应的第一操作提示信息;其中,第一操作提示信息,用于提示通过执行第一用户操作,将第一用户操作与目标收集项目进行关联。
在实际应用中,终端还可以在操作设置区域中,呈现第一用户操作对应的第一操作提示信息,以通过第一操作提示信息,提示用户通过执行第一用户操作,将第一用户操作与目标收集项目进行关联。作为示例,参见图11A,图11A是本申请实施例提供的第一操作提示信息的呈现示意图。这里,终端在操作设置区域中,呈现对应第一用户操作的第一操作提示信息,比如:绑定“666”手势操作与问答题收集项目;绑定“微笑”表情操作与时间题收集项目。当然,该第一操作提示信息可以是文本的,也可以是图像的,比如可以是“666”手势操作对应的图形示意图,“微笑”表情操作对应的表情示意图。图11A所示的第一操作提示信息为“666”手势操作对应的图形示意图、以及相应的文字描述。
在一些实施例中,当第一用户操作关联有相应类型的收集项目时,终端可呈现第二操作提示信息;其中,第二操作提示信息,用于提示第一用户操作关联有相应类型的收集项目,并引导重新执行不同于第一用户操作的其它用户操作。
在实际应用中,当第一用户操作关联有相应类型的收集项目时,终端可呈现第二操作提示信息,以基于第二操作提示信息,提示第一用户操作关联有相应类型的收集项目,并引导重新执行不同于第一用户操作的其它用户操作。作为示例,参见图11B,图11B是本申请实施例提供的第二操作提示信息的呈现示意图。这里,终端在对第一用户操作识别成功后、且确定第一用户操作关联有相应类型的收集项目,此时在操作设置区域中,呈现第二操作提示信息,比如:当前“666”手势操作已绑定问答题类型的收集项目,请执行其他操作。在实际实施时,还可呈现不同于第一用户操作的、且未绑定有相应类型的收集项目的其他操作的示意图,以提示用户可以通过执行该示意图所示意的操作进行收集项目的绑定。
在一些实施例中,终端可通过如下方式接收到输入的目标收集项目对应的收集内容:接收到输入的语音形式的目标收集项目对应的收集内容;
相应的,终端可通过如下方式基于收集内容生成目标信息收集表:对语音形式的收集内容进行静音检测,得到收集内容中的静音部分,并去除收集内容中的静音部分,得到目标收集内容;对目标收集内容进行分段处理,得到目标收集内容包含的多个声音帧,并对各声音帧进行特征提取,得到相应的声音特征;分别将各声音帧对应的声音特征输入机器学习模型进行语音识别,得到各声音帧对应的文本内容;基于各声音帧对应的文本内容,生成目标信息收集表。
这里,当终端所接收到的收集内容为语音形式的收集内容时,可以对该语音形式的收集内容进行静音检测,以得到收集内容中的静音部分,从而去除收集内容中的静音部分,得到目标收集内容。然后对目标收集内容进行分段处理,具体可以是按照一帧一帧进行分段,以得到目标收集内容包含的多个声音帧。之后对各声音帧进行特征提取,得到相应的声音特征。最后将各声音帧对应的声音特征输入机器学习模型进行语音识别,得到各声音帧对应的文本内容,从而基于各声音帧对应的文本内容,生成目标信息收集表。这里,该机器学习模型可以是基于卷积神经网络构建的。
应用本申请上述实施例,通过呈现初始的信息收集表对应的操作识别区域,以通过该操作识别区域呈现包含用户操作的图像,当操作识别区域所呈现的用户操作为目标操作时,则响应于目标操作,在信息收集表中创建目标操作所关联类型的目标收集项目,从而当接收到输入的目标收集项目对应的收集内容时,基于收集内容生成目标信息收集表。如此,用户通过执行与目标收集项目的类型相关联的目标操作,即可实现信息收集表中收集项目的创建,既丰富了信息收集表的创建方式,且操作简单,提高了信息收集表的创建效率,节省了硬件处理资源。
下面将说明本申请实施例在一个实际的应用场景中的示例性应用。首先对本申请实施例提供的名词进行解释,包括:
1)信息收集表,可以提供信息收集和收集结果转表格的能力;
2)题目,信息收集表中的收集项目,用户需要进行填写或者选择以实现信息收集;
3)题型,即上述收集项目的类型,信息收集表中的题目类型,可以分为填空、单选、多选、图片、时间、日期等;
4)选项,包括单选、多选、下拉题型等,需要用户进行选择的内容。
相关技术中是以键鼠配合的方式,通过手动输入、拖拽等传统方式创建信息收集表,而传统键鼠配合的交互方式经常存在各种兼容性问题,如iOS端兼容input光标高度、iOS软键盘收回后页面不归位、Android弹出的键盘遮盖文本框等难以复现、排查与修复的问题,严重影响了用户的交互体验。
基于此,本申请实施例提供一种信息收集表的处理方法,以至少解决上述存在的问题。本申请实施例提供的信息收集表的处理方法,可以结合手势、表情、语音来创建信息收集表,如此,能够大幅提升用户的交互体验,增加用户转化率,是一种更加新颖且智能的方式。具体地,用户可以通过自定义的手势、表情、语音等增加或者删除题目、变换题型、设置选项、发布并分享给其他用户。这里,在实际应用中,客户端提供手势与表情识别接口,用户可以将特定手势或表情绑定信息收集表的某一个内置功能(比如创建问答题等),再结合语音识别,用户可以对每个创建的题目或选项录入定制化的文字,从而达到创建信息收集表的目的。
接下来首先从产品侧对本申请实施例提供的信息收集表的处理方法进行说明,包括:
第一,本申请实施例中,提供了强大的语音唤醒功能,例如,用户可以通过语音指令“XX文档,请创建空表单”快速建立一张全新的空白信息收集表。该创建的空白信息收集表处于待编辑的状态(该状态同样是语音指令待接收的状态,即等待输入其他有效的语音指令)。在待编辑的状态下的编辑页面如图4中B图或者图5中B图所示,其中,还提供了对应信息收集表的“智能录入表情、手势”功能,用户可以通过内置的语音指令,亦或通过手动点击的方式,激活该“智能录入表情、手势”功能。
第二,用户可以使用语音唤醒功能,通过内置的唤醒指令“XX文档,请激活智能录入表情、手势功能”,唤醒所提供的“智能录入表情、手势”功能,亦或通过手动点击“智能录入表情、手势”功能入口,唤醒所提供的“智能录入表情、手势”功能。上述两种方式的功能完全相同,均会在创建的信息收集表中呈现右侧的摄像窗口(即上述操作设置区域),当通过该操作设置区域检测到手势或者人脸表情时,操作设置区域会出现在黄色矩形框内,表示正在“解读”当前手势或表情,参见图10中B图所示。
第三,手势或表情“解读”成功后,操作设置区域中的黄色矩形框变成蓝色矩形框,同时会出现“录入成功,请绑定功能”的提示信息,参见图10中C图所示。此时,用户可通过内置的语音指令“XX文档,请绑定“新建问答题”功能”,实现所识别的手势或表情操作与“新建问答题”功能的自动绑定;或者,手动点击摄像窗口下方的功能选项框,选择某一功能后,点击“绑定”功能按钮,即将当前识别的手势或表情与选定的功能进行绑定,比如,可将“666”手势操作与“新建问答题”这一内置功能进行绑定,参见图10。
第四,用户可以利用绑定成功的手势与表情,开始制作信息收集表。当检测到相关手势或人脸表情时,会出现“识别成功,正在创建XX收集项目”的提示信息,同时执行与该手势或人脸表情绑定的内置功能,例如,这个“666”手势绑定了“新建问答题”的功能,当检测到“666”手势操作时,自动新建一道问答题。当内置功能(比如新建问答题)执行完毕时,会自动唤醒“语音识别”功能,等待用户针对创建的收集项目通过语音输入的方式输入收集内容,并在等待输入的区域上呈现“语音识别中”的提示信息,参见图9。
接下来继续从技术侧对本申请实施例提供的信息收集表的处理方法进行说明,参见图12,图12是本申请实施例提供的信息收集表的处理方法的流程示意图,包括:
步骤201:用户语音唤起或点击“智能录入”功能入口;
步骤202:用户输入表情或者手势;
步骤203:收集表解读表情或者手势;
步骤204:用户选择目标类型的收集项目,将其与解读的表情或手势绑定;
这里,用户可进行多次绑定,即为各收集项目的创建功能绑定相应的操作。
步骤205:用户再次输入表情或手势;
步骤206:收集表解读并创建与输入的表情或手势相关联类型的收集项目;
步骤207:收集表自动唤醒语音识别,编辑收集项目对应的收集内容。
具体地,本申请实施例提供的信息收集表的处理方法在技术层面主要包含两个部分:图像识别和声音识别。其中,图像识别技术用于处理用户的表情和手势信息;声音识别用于处理用户的语音信息,下面分别对图像识别和语音识别做进一步说明。
第一,图像识别:“解读”用户表情与手势。本申请实施例涉及的图像识别主要用户识别用户的表情和手势,细化一点就是用户的脸部和手部信息。这里,首先使用皮肤检测对包含用户操作的图像中的皮肤部分进行提取,以此来作为之后图像识别模型的输入数据的预处理;然后再将处理过后的图像数据作为图像识别模型的输入,通过卷积神经网络进行多分类预测,得出表情或者手势的种类,最后再根据种类创建相应类型的收集项目。
1)皮肤检测:“解读”用户表情和手势的预处理。
皮肤检测是一种检测出图片中哪些像素点是属于人物皮肤的图片检测方法,皮肤检测时通常要用到皮肤模型,而皮肤模型在检测时要把图片放到多个的颜色空间下进行研究。颜色空间也被称为彩色模型,主要的作用是在一定的标准下对颜色进行说明,RGB颜色控件就是一种人们较为熟知的颜色空间,除此之外,还有HSV,YCbCr颜色空间等。大量的实验证明,YCbCr颜色空间在皮肤检测中具有极佳的聚类性,参见图13,图13是本申请实施例提供的一种颜色的RGB颜色空间的示意图。
皮肤模型也是一种数学模型,主要是通过代数方式来表现出图片中哪些像素点是属于人物皮肤的。目前,在研究中使用最为广泛的皮肤模型有高斯模型、椭圆模型、贝叶斯分类法等。如图14所示,图14是本申请实施例提供的椭圆模型的示意图。这里,本申请实施例中采用椭圆模型作为皮肤模型,该椭圆模型指的是把皮肤的像素点映射到CbCr平面上时,人物皮肤的像素点分布集中在一个类似椭圆的分布内,
最终,在判断一个像素点是否表示人物皮肤时,通过将该点转换到CbCr平面上,看点是否落在椭圆内,如果在椭圆内就代表该点是在人物皮肤区域,不在椭圆内代表该点不在人物皮肤区域。然后将皮肤像素点和非皮肤像素点分别设为白色和黑色,如图15所示,图15是本申请实施例提供的皮肤像素点和非皮肤像素点的分布示意图。
2)卷积神经网络和循环神经网络:将预处理后的数据分类。
卷积神经网络(CNN)包括输入层,隐含层和输出层,如图16所示,图16是本申请实施例提供的卷积神经网络的结构示意图。隐含层分为卷积层,池化层和全连接层等。其中,最为关键的就是卷积层,与普通的神经网络不同的是,卷积层有局部连接的特点。局部连接又称为稀疏连接,指的是卷积神经网络中卷积层的每一个神经元只和前一层中局部的而并非所有的神经元相连接,以达到降低参数,提高运行效率的效果。所有单元不需要和上一层中所有的单元都有连接,只需要和上一层中一部分单元相连,然后通过在下一层中将多个局部的信息相结合,就得到了整体的特征,卷积神经网络的连接结构如图16所示。在实际应用中,卷积神经网络通常运用的是二维的卷积运算,数据的输入是以矩形排列的,并非传统神经网络中的纵向排列。
除此之外。在深度学习中,有一些数据是具有序列化特性的,而循环神经网络(RNN)能够用来解决这种数据。所谓序列数据就是数据的顺序对数据有影响,前面的输出与后面的输出有一定的关系。由于循环神经网络的特殊性,循环神经网络中的隐藏层神经元存在着自循环,能够获取不同时刻的输出之间的关系,能够用于解决一些传统神经网络不好解决的问题。图17是本申请实施例提供的人物表情识别的示意图。这里,对采集的包含人物表情的图像进行预处理(比如数据增强处理、归一化处理等),得到预处理后的图像,将该预处理后的图像输入训练完成的神经网络模型中,该神经网络模型包括卷积层、下采样层以及全连接层等,通过训练完成的神经网络模型对该图像进行表情分类预测,输出人物表情所对应的类别,比如愤怒、快乐、悲伤等。
如此,本申请在手势识别方面,可以识别出0到9以及一些其他常见的手势;在表情识别方面,本申请实施例中可以根据眼睛的睁闭、嘴巴的张闭等针对五官的分类,以及笑脸、哭脸等心情方面的分类,整体的“解读”用户表情和手势的流程如图18所示,图18是本申请实施例提供的用户手势的识别示意图,这里,首先对手势图像进行皮肤检测的数据预处理,然后对预处理后得到图像进行基于深度学习(即通过神经网络模型)的分类预测,得到分类结果,即预测得到的手势操作为手势“5”。
第二,语音识别:用户智能录入信息收集表的收集项目包括的收集内容,比如题目信息(如标题等)。
这里,开始语音识别之前,首先要对语音数据进行预处理,这里的预处理包括语音段收尾的静音清除等。预处理完成之后,需要把声音信息分段,如图19所示,图19是本申请实施例提供的声音信息分段的示意图,这里每一段被称为一个声音帧,需要注意的是这里每一帧之间都有重叠的部分,即图19所示的声音帧(1)和声音帧(2)之间的10ms的重合部分。当获取到分段后的声音帧之后,需要把声音帧转化成更加具有描述能力的信息,在本申请实施例中,是提取声音的MFCC特征,把每一个声音帧转变成一个矩阵。至此,将这些描述能力强的声音特征输入声学模型中进行分类,就能得到语音识别结果了。从而基于语音识别到的收集项目的收集内容创建信息收集表,以基于创建的信息收集表进行信息收集。
应用本申请上述实施例,通过结合手势、表情、语音创建信息收集表的方式,可以大幅度增强用户的交互体验,提升信息收集表用户活跃度,增加用户转化率。
下面继续说明本申请实施例提供的信息收集表的处理装置555的实施为软件模块的示例性结构,在一些实施例中,如图2所示,存储在存储器550的信息收集表的处理装置555中的软件模块可以包括:
呈现模块5551,用于呈现初始的信息收集表,以及所述信息收集表对应的操作识别区域;
采集模块5552,用于采集包含用户操作的图像,并通过所述操作识别区域呈现所述图像;
创建模块5553,用于当所述操作识别区域所呈现的用户操作为目标操作时,响应于所述目标操作,在所述信息收集表中创建所述目标操作所关联类型的目标收集项目;
生成模块5554,用于接收到输入的所述目标收集项目对应的收集内容,并基于所述收集内容,生成目标信息收集表;
其中,所述目标信息收集表,用于供至少两个具有操作权限的用户基于所述收集内容,编辑相应的信息。
在一些实施例中,所述创建模块5553,还用于接收到通过语音方式触发的、针对信息收集表的语音创建指令;
响应于所述语音创建指令,创建所述初始的信息收集表。
在一些实施例中,所述创建模块5553,还用于呈现收集表创建界面,并在所述收集表创建界面中呈现收集表创建功能项;
响应于针对所述收集表创建功能项的触发操作,创建所述初始的信息收集表。
在一些实施例中,所述创建模块5553,还用于呈现收集表创建界面,并在所述收集表创建界面中,呈现空白信息收集表的创建模板;
响应于针对所述创建模板的模板选择操作,创建空白信息收集表作为所述初始的信息收集表。
在一些实施例中,所述呈现模块5551,还用于在所述信息收集表中,呈现携带默认收集内容的默认收集项目、以及对应所述默认收集项目的编辑功能项;
当接收到针对所述编辑功能项的触发操作时,呈现用于对所述默认收集项目、以及相应默认收集内容进行编辑的编辑界面;
所述生成模块5554,还用于基于所述收集内容,结合基于所述编辑界面编辑后的默认收集项目以及相应默认收集内容,生成目标信息收集表。
在一些实施例中,所述呈现模块5551,还用于接收到针对所述信息收集表的项目创建指令;
响应于所述项目创建指令,呈现所述信息收集表对应的操作识别区域。
在一些实施例中,所述呈现模块5551,还用于在所述信息收集表中呈现项目创建功能项,响应于针对所述项目创建功能项的触发操作,接收到针对所述信息收集表的项目创建指令;
或者,接收到基于语音形式触发的、针对所述信息收集表的语音项目创建指令。
在一些实施例中,所述装置还包括:
开启模块,用于接收到针对所述信息收集表的操作创建功能的开启指令;
响应于所述开启指令,开启通过执行目标操作在所述信息收集表中创建收集项目的操作创建功能;
所述呈现模块5551,还用于当所述操作创建功能开启时,呈现所述信息收集表对应的操作识别区域。
在一些实施例中,所述开启模块,还用于响应于针对呈现的操作创建功能开关的触发操作,接收到针对所述信息收集表的操作创建功能的开启指令;
或者,接收到基于语音形式触发的、针对所述信息收集表的操作创建功能的语音开启指令。
在一些实施例中,所述呈现模块5551,还用于在所述操作识别区域中,呈现对应所述目标操作的引导信息;
其中,所述引导信息,用于引导通过执行所述目标操作,在所述信息收集表中创建所述目标收集项目。
在一些实施例中,所述采集模块5552,还用于在对所述图像进行用户操作识别的过程中,在所述操作识别区域中呈现对应所述图像的第一图像识别框;
当对所述图像进行用户操作识别完成时,在所述操作识别区域中呈现对应所述图像的第二图像识别框;
其中,所述第一图像识别框和所述第二图像识别框的位置,与所述图像中包含用户操作的目标区域相对应;所述第一图像识别框和所述第二图像识别框的显示样式不同。
在一些实施例中,所述呈现模块5551,还用于在创建所述目标操作所关联类型的目标收集项目的过程中,呈现创建提示信息;
其中,所述创建提示信息,用于提示正在创建所述目标操作所关联类型的目标收集项目。
在一些实施例中,所述呈现模块5551,还用于开启针对所述目标收集项目的语音输入功能,并
呈现对应所述目标收集项目的语音输入界面;
所述生成模块5554,还用于接收到基于所述语音输入界面输入的、语音形式的所述目标收集项目对应的收集内容。
在一些实施例中,所述呈现模块5551,还用于在所述语音输入界面中,呈现对应所述目标收集项目的语音采集提示信息;
其中,所述语音采集提示信息,用于提示正在采集针对所述目标收集项目的收集内容;
伴随所述语音形式的收集内容的输入,呈现所述语音采集提示信息的样式变化的过程。
在一些实施例中,所述装置还包括:
关联模块,用于呈现所述信息收集表对应的操作设置区域、以及包括所述目标收集项目的至少两个类型的收集项目;
采集包含第一用户操作的第一图像,并通过所述操作设置区域呈现所述第一图像;
对所述第一用户操作进行识别,并在对所述第一用户操作识别成功后,响应于针对所述目标收集项目的选择操作,将所述第一用户操作作为所述目标操作与所述目标收集项目进行关联。
在一些实施例中,所述关联模块,还用于呈现收集项目类型对应的下拉功能项;
响应于针对所述下拉功能项的触发操作,呈现包括所述目标收集项目的至少两个类型的收集项目。
在一些实施例中,所述关联模块,还用于在操作设置区域中,呈现所述第一用户操作对应的第一操作提示信息;
其中,所述第一操作提示信息,用于提示通过执行所述第一用户操作,将所述第一用户操作与所述目标收集项目进行关联。
在一些实施例中,所述关联模块,还用于当所述第一用户操作关联有相应类型的收集项目时,呈现第二操作提示信息;
其中,所述第二操作提示信息,用于提示所述第一用户操作关联有相应类型的收集项目,并引导重新执行不同于所述第一用户操作的其它用户操作。
在一些实施例中,所述采集模块5552,还用于对所述图像进行皮肤检测处理,确定所述图像中包含的、对应用户操作的部分图像;
将所述部分图像输入至机器学习模型进行操作预测,得到所述用户操作是否为所述目标操作的预测结果。
在一些实施例中,所述生成模块5554,还用于接收到输入的语音形式的所述目标收集项目对应的收集内容;
所述生成模块5554,还用于对语音形式的所述收集内容进行静音检测,得到所述收集内容中的静音部分,并去除所述收集内容中的静音部分,得到目标收集内容;
对所述目标收集内容进行分段处理,得到目标收集内容包含的多个声音帧,并对各所述声音帧进行特征提取,得到相应的声音特征;
分别将各所述声音帧对应的声音特征输入机器学习模型进行语音识别,得到各所述声音帧对应的文本内容;
基于各所述声音帧对应的文本内容,生成目标信息收集表。
应用本申请上述实施例,通过呈现初始的信息收集表对应的操作识别区域,以通过该操作识别区域呈现包含用户操作的图像,当操作识别区域所呈现的用户操作为目标操作时,则响应于目标操作,在信息收集表中创建目标操作所关联类型的目标收集项目,从而当接收到输入的目标收集项目对应的收集内容时,基于收集内容生成目标信息收集表。如此,用户通过执行与目标收集项目的类型相关联的目标操作,即可实现信息收集表中收集项目的创建,既丰富了信息收集表的创建方式,且操作简单,提高了信息收集表的创建效率,节省了硬件处理资源。
本申请实施例还提供一种电子设备,所述电子设备包括:
存储器,用于存储可执行指令;
处理器,用于执行所述存储器中存储的可执行指令时,实现本申请实施例提供的信息收集表的处理方法。
本申请实施例还提供一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行本申请实施例提供的信息收集表的处理方法。
本申请实施例还提供一种计算机可读存储介质,存储有可执行指令,所述可执行指令被处理器执行时,实现本申请实施例提供的信息收集表的处理方法。
在一些实施例中,计算机可读存储介质可以是FRAM、ROM、PROM、EP ROM、EEPROM、闪存、磁表面存储器、光盘、或CD-ROM等存储器;也可以是包括上述存储器之一或任意组合的各种设备。
在一些实施例中,可执行指令可以采用程序、软件、软件模块、脚本或代码的形式,按任意形式的编程语言(包括编译或解释语言,或者声明性或过程性语言)来编写,并且其可按任意形式部署,包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。
作为示例,可执行指令可以但不一定对应于文件***中的文件,可以可被存储在保存其它程序或数据的文件的一部分,例如,存储在超文本标记语言(HTML,Hyper TextMarkup Language)文档中的一个或多个脚本中,存储在专用于所讨论的程序的单个文件中,或者,存储在多个协同文件(例如,存储一个或多个模块、子程序或代码部分的文件)中。
作为示例,可执行指令可被部署为在一个计算设备上执行,或者在位于一个地点的多个计算设备上执行,又或者,在分布在多个地点且通过通信网络互连的多个计算设备上执行。
以上所述,仅为本申请的实施例而已,并非用于限定本申请的保护范围。凡在本申请的精神和范围之内所作的任何修改、等同替换和改进等,均包含在本申请的保护范围之内。
Claims (20)
1.一种信息收集表的处理方法,其特征在于,所述方法包括:
呈现所述信息收集表对应的操作设置区域、以及包括目标收集项目的至少两个类型的收集项目;
采集包含第一用户操作的第一图像,并通过所述操作设置区域呈现所述第一图像;
对所述第一用户操作进行识别,并在对所述第一用户操作识别成功后,响应于针对所述目标收集项目的选择操作,将所述第一用户操作作为目标操作与所述目标收集项目进行关联;
呈现初始的信息收集表,以及所述信息收集表对应的操作识别区域;
采集包含用户操作的图像,并通过所述操作识别区域呈现所述图像;
当所述操作识别区域所呈现的用户操作为目标操作时,响应于所述目标操作,在所述信息收集表中创建所述目标操作所关联类型的所述目标收集项目;
接收到输入的所述目标收集项目对应的收集内容,并基于所述收集内容,生成目标信息收集表;
其中,所述目标信息收集表,用于供至少两个具有操作权限的用户基于所述收集内容,编辑相应的信息。
2.如权利要求1所述的方法,其特征在于,所述呈现初始的信息收集表之前,所述方法还包括:
接收到通过语音方式触发的、针对信息收集表的语音创建指令;
响应于所述语音创建指令,创建所述初始的信息收集表。
3.如权利要求1所述的方法,其特征在于,所述呈现初始的信息收集表之前,所述方法还包括:
呈现收集表创建界面,并在所述收集表创建界面中,呈现空白信息收集表的创建模板;
响应于针对所述创建模板的模板选择操作,创建空白信息收集表作为所述初始的信息收集表。
4.如权利要求1所述的方法,其特征在于,所述呈现初始的信息收集表之后,所述方法还包括:
在所述信息收集表中,呈现携带默认收集内容的默认收集项目、以及对应所述默认收集项目的编辑功能项;
当接收到针对所述编辑功能项的触发操作时,呈现用于对所述默认收集项目、以及相应默认收集内容进行编辑的编辑界面;
所述基于所述收集内容,生成目标信息收集表,包括:
基于所述收集内容,结合基于所述编辑界面编辑后的默认收集项目以及相应默认收集内容,生成目标信息收集表。
5.如权利要求1所述的方法,其特征在于,所述呈现所述信息收集表对应的操作识别区域,包括:
接收到针对所述信息收集表的项目创建指令;
响应于所述项目创建指令,呈现所述信息收集表对应的操作识别区域。
6.如权利要求1所述的方法,其特征在于,所述方法还包括:
接收到针对所述信息收集表的操作创建功能的开启指令;
响应于所述开启指令,开启通过执行目标操作在所述信息收集表中创建收集项目的操作创建功能;
所述呈现所述信息收集表对应的操作识别区域,包括:
当所述操作创建功能开启时,呈现所述信息收集表对应的操作识别区域。
7.如权利要求6所述的方法,其特征在于,所述接收到针对所述信息收集表的操作创建功能的开启指令,包括:
响应于针对呈现的操作创建功能开关的触发操作,接收到针对所述信息收集表的操作创建功能的开启指令;
或者,接收到基于语音形式触发的、针对所述信息收集表的操作创建功能的语音开启指令。
8.如权利要求1所述的方法,其特征在于,所述呈现所述信息收集表对应的操作识别区域之后,所述方法还包括:
在所述操作识别区域中,呈现对应所述目标操作的引导信息;
其中,所述引导信息,用于引导通过执行所述目标操作,在所述信息收集表中创建所述目标收集项目。
9.如权利要求1所述的方法,其特征在于,所述通过所述操作识别区域呈现所述图像之后,所述方法还包括:
在对所述图像进行用户操作识别的过程中,在所述操作识别区域中呈现对应所述图像的第一图像识别框;
当对所述图像进行用户操作识别完成时,在所述操作识别区域中呈现对应所述图像的第二图像识别框;
其中,所述第一图像识别框和所述第二图像识别框的位置,与所述图像中包含用户操作的目标区域相对应;所述第一图像识别框和所述第二图像识别框的显示样式不同。
10.如权利要求1所述的方法,其特征在于,所述方法还包括:
在创建所述目标操作所关联类型的目标收集项目的过程中,呈现创建提示信息;
其中,所述创建提示信息,用于提示正在创建所述目标操作所关联类型的目标收集项目。
11.如权利要求1所述的方法,其特征在于,所述在所述信息收集表中创建所述目标操作所关联类型的所述目标收集项目之后,所述方法还包括:
开启针对所述目标收集项目的语音输入功能,并
呈现对应所述目标收集项目的语音输入界面;
所述接收到输入的所述目标收集项目对应的收集内容,包括:
接收到基于所述语音输入界面输入的、语音形式的所述目标收集项目对应的收集内容。
12.如权利要求11所述的方法,其特征在于,所述方法还包括:
在所述语音输入界面中,呈现对应所述目标收集项目的语音采集提示信息;
其中,所述语音采集提示信息,用于提示正在采集针对所述目标收集项目的收集内容;
伴随所述语音形式的收集内容的输入,呈现所述语音采集提示信息的样式变化的过程。
13.如权利要求1所述的方法,其特征在于,所述方法还包括:
在所述操作设置区域中,呈现所述第一用户操作对应的第一操作提示信息;
其中,所述第一操作提示信息,用于提示通过执行所述第一用户操作,将所述第一用户操作与所述目标收集项目进行关联。
14.如权利要求1所述的方法,其特征在于,所述方法还包括:
当所述第一用户操作关联有相应类型的收集项目时,呈现第二操作提示信息;
其中,所述第二操作提示信息,用于提示所述第一用户操作关联有相应类型的收集项目,并引导重新执行不同于所述第一用户操作的其它用户操作。
15.如权利要求1所述的方法,其特征在于,所述方法还包括:
对所述图像进行皮肤检测处理,确定所述图像中包含的、对应用户操作的部分图像;
将所述部分图像输入至机器学习模型进行操作预测,得到所述用户操作是否为所述目标操作的预测结果。
16.如权利要求1所述的方法,其特征在于,所述接收到输入的所述目标收集项目对应的收集内容,包括:
接收到输入的语音形式的所述目标收集项目对应的收集内容;
所述基于所述收集内容,生成目标信息收集表,包括:
对语音形式的所述收集内容进行静音检测,得到所述收集内容中的静音部分,并去除所述收集内容中的静音部分,得到目标收集内容;
对所述目标收集内容进行分段处理,得到目标收集内容包含的多个声音帧,并对各所述声音帧进行特征提取,得到相应的声音特征;
分别将各所述声音帧对应的声音特征输入机器学习模型进行语音识别,得到各所述声音帧对应的文本内容;
基于各所述声音帧对应的文本内容,生成目标信息收集表。
17.一种信息收集表的处理装置,其特征在于,所述装置包括:
关联模块,用于呈现所述信息收集表对应的操作设置区域、以及包括目标收集项目的至少两个类型的收集项目;采集包含第一用户操作的第一图像,并通过所述操作设置区域呈现所述第一图像;对所述第一用户操作进行识别,并在对所述第一用户操作识别成功后,响应于针对所述目标收集项目的选择操作,将所述第一用户操作作为目标操作与所述目标收集项目进行关联;
呈现模块,用于呈现初始的信息收集表,以及所述信息收集表对应的操作识别区域;
采集模块,用于采集包含用户操作的图像,并通过所述操作识别区域呈现所述图像;
创建模块,用于当所述操作识别区域所呈现的用户操作为目标操作时,响应于所述目标操作,在所述信息收集表中创建所述目标操作所关联类型的目标收集项目;
生成模块,用于接收到输入的所述目标收集项目对应的收集内容,并基于所述收集内容,生成目标信息收集表;
其中,所述目标信息收集表,用于供至少两个具有操作权限的用户基于所述收集内容,编辑相应的信息。
18.一种电子设备,其特征在于,所述电子设备包括:
存储器,用于存储可执行指令;
处理器,用于执行所述存储器中存储的可执行指令时,实现如权利要求1至16任一项所述的信息收集表的处理方法。
19.一种计算机可读存储介质,其特征在于,存储有可执行指令,所述可执行指令被执行时,用于实现如权利要求1至16任一项所述的信息收集表的处理方法。
20.一种计算机程序产品,包括可执行指令,其特征在于,所述可执行指令被处理器执行时实现权利要求1至16任一项所述的信息收集表的处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110790684.XA CN113485619B (zh) | 2021-07-13 | 2021-07-13 | 信息收集表的处理方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110790684.XA CN113485619B (zh) | 2021-07-13 | 2021-07-13 | 信息收集表的处理方法、装置、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113485619A CN113485619A (zh) | 2021-10-08 |
CN113485619B true CN113485619B (zh) | 2024-03-19 |
Family
ID=77938379
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110790684.XA Active CN113485619B (zh) | 2021-07-13 | 2021-07-13 | 信息收集表的处理方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113485619B (zh) |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012234106A (ja) * | 2011-05-09 | 2012-11-29 | Manabing Kk | 問題自動作成装置および作成方法 |
CN103685908A (zh) * | 2012-09-12 | 2014-03-26 | 联发科技股份有限公司 | 控制摄像装置相关功能的执行的方法 |
CN108563384A (zh) * | 2018-04-17 | 2018-09-21 | 泰康保险集团股份有限公司 | 一种基于问卷的交互方法及相关设备 |
CN108805035A (zh) * | 2018-05-22 | 2018-11-13 | 深圳市鹰硕技术有限公司 | 基于手势识别的教学互动方法以及装置 |
CN109300065A (zh) * | 2018-08-15 | 2019-02-01 | 北京博赛在线网络科技有限公司 | 一种在线试题生成方法及装置 |
CN109522799A (zh) * | 2018-10-16 | 2019-03-26 | 深圳壹账通智能科技有限公司 | 信息提示方法、装置、计算机设备和存储介质 |
US10474745B1 (en) * | 2016-04-27 | 2019-11-12 | Google Llc | Systems and methods for a knowledge-based form creation platform |
CN110660275A (zh) * | 2019-09-18 | 2020-01-07 | 武汉天喻教育科技有限公司 | 一种基于视频分析的师生课堂即时互动***和方法 |
CN110826302A (zh) * | 2019-11-07 | 2020-02-21 | 网之易信息技术(北京)有限公司 | 调查问卷创建方法、装置、介质及电子设备 |
CN110941992A (zh) * | 2019-10-29 | 2020-03-31 | 平安科技(深圳)有限公司 | 微笑表情检测方法、装置、计算机设备及存储介质 |
CN112286411A (zh) * | 2020-09-30 | 2021-01-29 | 北京大米科技有限公司 | 显示模式的控制方法、装置、存储介质以及电子设备 |
CN112384926A (zh) * | 2019-04-30 | 2021-02-19 | 微软技术许可有限责任公司 | 文档自动完成 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110145010A1 (en) * | 2009-12-13 | 2011-06-16 | Soft Computer Consultants, Inc. | Dynamic user-definable template for group test |
-
2021
- 2021-07-13 CN CN202110790684.XA patent/CN113485619B/zh active Active
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012234106A (ja) * | 2011-05-09 | 2012-11-29 | Manabing Kk | 問題自動作成装置および作成方法 |
CN103685908A (zh) * | 2012-09-12 | 2014-03-26 | 联发科技股份有限公司 | 控制摄像装置相关功能的执行的方法 |
US10474745B1 (en) * | 2016-04-27 | 2019-11-12 | Google Llc | Systems and methods for a knowledge-based form creation platform |
CN108563384A (zh) * | 2018-04-17 | 2018-09-21 | 泰康保险集团股份有限公司 | 一种基于问卷的交互方法及相关设备 |
CN108805035A (zh) * | 2018-05-22 | 2018-11-13 | 深圳市鹰硕技术有限公司 | 基于手势识别的教学互动方法以及装置 |
CN109300065A (zh) * | 2018-08-15 | 2019-02-01 | 北京博赛在线网络科技有限公司 | 一种在线试题生成方法及装置 |
CN109522799A (zh) * | 2018-10-16 | 2019-03-26 | 深圳壹账通智能科技有限公司 | 信息提示方法、装置、计算机设备和存储介质 |
CN112384926A (zh) * | 2019-04-30 | 2021-02-19 | 微软技术许可有限责任公司 | 文档自动完成 |
CN110660275A (zh) * | 2019-09-18 | 2020-01-07 | 武汉天喻教育科技有限公司 | 一种基于视频分析的师生课堂即时互动***和方法 |
CN110941992A (zh) * | 2019-10-29 | 2020-03-31 | 平安科技(深圳)有限公司 | 微笑表情检测方法、装置、计算机设备及存储介质 |
CN110826302A (zh) * | 2019-11-07 | 2020-02-21 | 网之易信息技术(北京)有限公司 | 调查问卷创建方法、装置、介质及电子设备 |
CN112286411A (zh) * | 2020-09-30 | 2021-01-29 | 北京大米科技有限公司 | 显示模式的控制方法、装置、存储介质以及电子设备 |
Also Published As
Publication number | Publication date |
---|---|
CN113485619A (zh) | 2021-10-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20230316643A1 (en) | Virtual role-based multimodal interaction method, apparatus and system, storage medium, and terminal | |
US20220394344A1 (en) | Method, apparatus, electronic device, and storage medium for processing live streaming information | |
CN110598576B (zh) | 一种手语交互方法、装置及计算机介质 | |
CN114401438B (zh) | 虚拟数字人的视频生成方法及装置、存储介质、终端 | |
US9754585B2 (en) | Crowdsourced, grounded language for intent modeling in conversational interfaces | |
CN108942919B (zh) | 一种基于虚拟人的交互方法及*** | |
CN109086860B (zh) | 一种基于虚拟人的交互方法及*** | |
TW201937344A (zh) | 智慧型機器人及人機交互方法 | |
CN109086276B (zh) | 数据翻译方法、装置、终端及存储介质 | |
JP7477260B2 (ja) | 情報処理装置、情報処理プログラム及び情報処理方法 | |
US11455510B2 (en) | Virtual-life-based human-machine interaction methods, apparatuses, and electronic devices | |
CN110825164A (zh) | 基于儿童专用穿戴智能设备的交互方法及*** | |
WO2021218432A1 (zh) | 一种解读绘本方法、装置、电子设备和智能机器人 | |
CN110767005A (zh) | 基于儿童专用智能设备的数据处理方法及*** | |
CN111723653A (zh) | 基于人工智能的绘本阅读方法及装置 | |
CN114708443A (zh) | 截图处理方法及装置、电子设备和计算机可读介质 | |
CN114529635A (zh) | 一种图像生成方法、装置、存储介质及设备 | |
CN111488147A (zh) | 一种智能布局方法及装置 | |
CN110992958B (zh) | 内容记录方法、装置、电子设备及存储介质 | |
CN113485619B (zh) | 信息收集表的处理方法、装置、电子设备及存储介质 | |
CN108628454B (zh) | 基于虚拟人的视觉交互方法及*** | |
CN113963306B (zh) | 基于人工智能的课件片头制作方法和装置 | |
CN114331932A (zh) | 目标图像生成方法和装置、计算设备以及计算机存储介质 | |
CN114007145A (zh) | 一种字幕显示方法及显示设备 | |
CN111428569A (zh) | 基于人工智能的绘本或教材的视觉识别方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40053617 Country of ref document: HK |
|
GR01 | Patent grant | ||
GR01 | Patent grant |