CN104809062A - 一种人工智能应答***的测试方法及*** - Google Patents
一种人工智能应答***的测试方法及*** Download PDFInfo
- Publication number
- CN104809062A CN104809062A CN201510193639.0A CN201510193639A CN104809062A CN 104809062 A CN104809062 A CN 104809062A CN 201510193639 A CN201510193639 A CN 201510193639A CN 104809062 A CN104809062 A CN 104809062A
- Authority
- CN
- China
- Prior art keywords
- session
- scene
- artificial intelligence
- current sessions
- conversation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Computer And Data Communications (AREA)
Abstract
本发明公开一种人工智能应答***的测试方法及***，方法包括：获取包括多个会话元素的会话集合，所述会话元素为会话或者场景结束标识；会话场景生成步骤，包括：从所述会话集合中按顺序取出会话元素作为当前会话元素，创建会话场景；在会话场景中向人工智能应答***输入当前会话元素所包括的问题，抓取所述人工智能应答***响应所述问题的实际答案；从会话集合中按顺序取出下一个会话元素作为当前会话元素，如果当前会话元素为会话，则执行所述会话测试步骤，否则结束会话场景，如果会话集合中还有下一个会话元素，则执行会话场景生成步骤，否则结束。本发明能够覆盖多场景、多用户和复杂前提要求的测试需求。
Description
技术领域
本发明涉及人工智能相关技术领域，特别是一种人工智能应答***的测试方法及***。
背景技术
人工智能是针对自然语言处理的应用，对人工智能的测试所要关注的内容与传统的自动化测试不一致，特别是对人工智能应答***的web应用，除了页面功能外，主要的一个测试重点是对应的输入问题是否能的到对应的结果，针对自然语言的多样化和模型调整的不稳性，测试需要进行大量的回归验证，浪费大量的人力和时间。
现有技术采用如下的方式完成人工智能应答***对应的自动化测试：
使用基于Google的开源自动化测试工具:selenium对web页面操作，完成提问和回答，输入结果的保存内容只包含问题和答案，在执行完成后直接执行下一条的会话操作，并将结果记录。结果记录内容只包含问题和实际结果。
现有技术的缺点：
(1)问题结果会因为上下文的内容进入不同的场景从而导致部分问题没有进入正确的处理流程，结果准确性不够。
(2)一次执行只能覆盖一种使用场景，在场景执行中不易切换，对不同的场景需要多次执行才能保证达到多场景的效果。
(3)会话数据顺序组织不明确，缺少执行逻辑。
(4)执行结果保存不完善，仅将对应的结果输出保存，不易进行数据统计和维护。
发明内容
基于此，有必要针对现有技术测试准确性不够的技术问题，提供一种人工智能应答***的测试方法及***。
一种人工智能应答***的测试方法，包括：
会话集合获取步骤，包括：获取包括多个会话元素的会话集合，所述会话元素为会话或者场景结束标识，所述会话集合包括的会话元素至少一个为场景结束标识，每个所述会话包括：问题、场景标识和预期答案；
会话场景生成步骤，包括：从所述会话集合中按顺序取出会话元素作为当前会话元素，如果当前会话元素为会话，则创建会话场景；
会话测试步骤，包括：在会话场景中向人工智能应答***输入当前会话元素所包括的问题，抓取所述人工智能应答***响应所述问题的实际答案，如果实际答案与当前会话元素所包括的预期答案匹配，则记录当前会话元素的测试结果为通过，否则记录当前会话元素的测试结果为失败；
会话元素检查步骤，包括：从会话集合中按顺序取出下一个会话元素作为当前会话元素，如果当前会话元素为场景结束标识，则结束会话场景，执行结束检查步骤，如果当前会话元素为会话，则执行所述会话测试步骤；
结束检查步骤，包括：如果会话集合中还有下一个会话元素，则执行会话场景生成步骤，否则结束。
一种人工智能应答***的测试***，包括：
会话集合获取模块，用于：获取包括多个会话元素的会话集合，所述会话元素为会话或者场景结束标识，所述会话集合包括的会话元素至少一个为场景结束标识，每个所述会话包括：问题、场景标识和预期答案；
会话场景生成模块，用于：从所述会话集合中按顺序取出会话元素作为当前会话元素，如果当前会话元素为会话，则创建会话场景；
会话测试模块，用于：在会话场景中向人工智能应答***输入当前会话元素所包括的问题，抓取所述人工智能应答***响应所述问题的实际答案，如果实际答案与当前会话元素所包括的预期答案匹配，则记录当前会话元素的测试结果为通过，否则记录当前会话元素的测试结果为失败；
会话元素检查模块，用于：从会话集合中按顺序取出下一个会话元素作为当前会话元素，如果当前会话元素为场景结束标识，则结束会话场景，执行结束检查模块，如果当前会话元素为会话，则执行所述会话测试模块；
结束检查模块，用于：如果会话集合中还有下一个会话元素，则执行会话场景生成模块，否则结束。
本发明通过在会话集中增加场景结束标识以及相关的流程，使得自动测试能够在一次完整的测试中应对多个场景的情况，使其能够覆盖多场景、多用户和复杂前提要求的测试需求。
附图说明
图1为本发明一种人工智能应答***的测试方法的工作流程图；
图2为本发明最佳实施例的工作流程图；
图3为本发明一种人工智能应答***的测试***的结构模块图。
具体实施方式
下面结合附图和具体实施例对本发明做进一步详细的说明。
如图1所示为本发明一种人工智能应答***的测试方法的工作流程图，包括：
步骤S101，包括：获取包括多个会话元素的会话集合，所述会话元素为会话或者场景结束标识，所述会话集合包括的会话元素至少一个为场景结束标识，每个所述会话包括：问题、场景标识和预期答案；
步骤S102，包括：从所述会话集合中按顺序取出会话元素作为当前会话元素，如果当前会话元素为会话，则创建会话场景；
步骤S103，包括：在会话场景中向人工智能应答***输入当前会话元素所包括的问题，抓取所述人工智能应答***响应所述问题的实际答案，如果实际答案与当前会话元素所包括的预期答案匹配，则记录当前会话元素的测试结果为通过，否则记录当前会话元素的测试结果为失败；
步骤S104，包括：从会话集合中按顺序取出下一个会话元素作为当前会话元素，如果当前会话元素为场景结束标识，则结束会话场景，执行步骤S105，如果当前会话元素为会话，则执行所述步骤S103；
步骤S105，包括：如果会话集合中还有下一个会话元素，则执行步骤S102，否则结束。
本发明通过步骤S101获取会话集合，会话集合中包括了会话以及场景结束标识，同时，在步骤S102中创建会话场景，而在步骤S104中，如果当前会话元素为场景结束标识，则结束会话场景，从而能够实现对不同会话场景的区分，能够覆盖多场景、多用户、复杂前提要求的测试需求，避免应答逻辑受到上下文的影响。
其中，在步骤S102中，如果所取出的会话元素不是会话，则可以将其忽略。
在其中一个实施例中，所述创建会话场景为登录浏览器，所述结束会话场景为关闭浏览器。
本实施例对场景控制主要针对于通过刷新当前会话场景的cookies保证当前会话场景的独立性。本发明在进行处理时通过要设置场景结束标识，让程序或者脚本意识到，当测试进行到这个点的时候，表示这个场景的所有会话已经完结，需要对当前会话的cookies进行更新，或者将旧的cookies进行清理，保证下次会话时会进入一个新的会话场景(session)。更新session的方式本实施例采用关闭浏览器实现。
在执行步骤S102时登录浏览器，而在执行步骤S104时，如果当前会话元素为场景结束标识，则关闭浏览器，从而使得会话场景的cookies得到更新。
优选地，当执行会话开始时，可以设置一个场景开始的标识，比如一个变量EndFlage，在执行初始化时(或者新场景开始时)，将其设置为一个值，比如False。当进入一个场景时，通过触发登录浏览器的动作来开始进行会话，当执行完成当前的会话时，将从队列中取出下一个会话，判断这个会话内容是不是包含设置的场景结束标识，如果不包含，则将该条会话的内容提取，进行执行。如果发现包含场景结束标识，则将EndFlage置为True，程序根据这个EndFlage将关闭浏览器。从而完成一个完整的场景。
这样的流程保证能在一个不受上下文干扰的环境中执行会话，从而达到特有的有针对性的测试目的。
在其中一个实施例中，所述会话还包括与场景标识关联的账号信息，所述步骤S103中，采用所述账号信息登录所述人工智能应当***。
一般来说，自动化测试包括多个测试用例，每个测试用例完成一个或会话。通过本发明，使得自动化测试的测试用例可以包括多个测试场景，而通过将账号信息与场景标识进行关联，则针对不同的会话场景可以采用不同的账号信息，从而做到测试过程完全由数据对测试用例进行驱动。
在其中一个实施例中，所述会话集合采用表格的方式进行测试数据进行保存，其中每一行数据是一个会话元素。
在基于人工智能应答***的测试中，需要由大量的语料进行测试数据支撑，本实施例为了更加方便的对测试数据进行管理，采用了表格的方式进行测试数据进行保存，保存形式以行为单位进行分割，一行数据是一个会话元素。不同列数据代表不同的会话信息。
在其中一个实施例中，所述步骤S103，还包括：新生成结果对象，将当前会话元素的测试结果写入所述结果对象并保存。
本实施例中，在抓取到对应的实际答案后，立刻将预期答案与实际答案进行对比，从而得到测试结果。由于在完成抓取后直接进行对比和保存，从而保证结果的有效性。同时，由于在结果对象中保存了测试结果，因此在后续输出结果展示时能够更加明确和有效，可分析性增强。
如图2所示为本发明最佳实施例的工作流程图，包括：
步骤S201，读取会话集合。
会话集合包括多个会话元素，会话元素可以是会话或者场景结束标识。每个会话的保存方式如表1所示。
表1会话的保存方式
| 问题 | 场景标识 | 测试账号 | 预期答案 |
另外为了区别不同的场景，在测试会话集合中可以加入一个带标识的无效会话标记场景的结束，即场景结束标识，如表2所示为会话集合的数据框架。
表2会话集合的数据框架
| 问题 | 场景标识 | 测试账号 | 预期答案 |
| 问题 | 场景标识 | 测试账号 | 预期答案 |
| 场景结束标识 | 空 | 空 | 空 |
| 问题 | 场景标识 | 测试账号 | 预期答案 |
| 问题 | 场景标识 | 测试账号 | 预期答案 |
执行脚本或者流程前，第一步会将测试数据以队列的形式保存在内存中每行的数据以一个独立的对象存储在会话列表中，并以轮询的方式将对应行的数据依次加入会话队列。使会话能按照一定的顺序形成会话的列表。方面后续的执行。队列数据的易操控性保证了数据读取的灵活性，能很容易的对会话数据进操作。
为了简化维护成本，在这里实际处理中同一场景的会话将只有每个场景的第一条会话包含场景标识和账号信息。后续将不再变化。直到场景结束标识出现。
可以以轮询的方式读所有的会话进行提取，并且通过队列(List)的访问特性，在特定的情况下直接访问对应标识的会话，保证数据的可操作性。
步骤S202，生成新的会话场景(Session)。
优选地，通过登录浏览器生成新的session。
步骤S203，向人工智能应答***输入问题。
步骤S204，抓取人工智能应答***所返回的实际答案。
步骤S205，获取实际答案与预期答案进行对比后的对比结果。
在抓取完对应的内容后，将对应的预期答案和实际获取的实际答案进行对比，针对实际答案中包含预期答案或者与预期答案完全一致的情况，则会给这条会话的测试结果标记为Pass(表示通过)，如果实际答案不包含或者完全不等于预期答案则会给这条会话测试结果标记为Fail(表示不通过)。
步骤S206，保存测试结果。
在执行完成结果验证后，将对应的测试结果写入结果文档。然后再执行下一次的会话读取，每次会话执行验证完毕后，会话的内容生成一个结果对象，并将这个结果对象通过写入方法直接写入结果文件，进行保存。
步骤S207，如果是场景结束点则执行步骤S208，否则执行步骤S203。
如果读取到的会话元素为场景结束标识，则判断为场景结束点，否则判断为还没到场景结束点；
步骤S208，关闭当前session。
通过关闭浏览器实现当前session的关闭。
步骤S209，如果会话集合中还包括下一条会话，则执行步骤S202，否则执行步骤S210。
步骤S210，保存最终结果。
在执行完成所有的会话后，会最终保存一次结果，最后可以通过阅读结果文档或进行下一步的结果分析。为了分析方便结果对象至少包含如表3所示的内容。
表3结果对象的内容
| 问题 | 预期答案 | 实际答案 | 测试结果 |
如图3所示为本发明一种人工智能应答***的测试***的结构模块图，包括：
会话集合获取模块301，用于：获取包括多个会话元素的会话集合，所述会话元素为会话或者场景结束标识，所述会话集合包括的会话元素至少一个为场景结束标识，每个所述会话包括：问题、场景标识和预期答案；
会话场景生成模块302，用于：从所述会话集合中按顺序取出会话元素作为当前会话元素，如果当前会话元素为会话，则创建会话场景；
会话测试模块303，用于：在会话场景中向人工智能应答***输入当前会话元素所包括的问题，抓取所述人工智能应答***响应所述问题的实际答案，如果实际答案与当前会话元素所包括的预期答案匹配，则记录当前会话元素的测试结果为通过，否则记录当前会话元素的测试结果为失败；
会话元素检查模块304，用于：从会话集合中按顺序取出下一个会话元素作为当前会话元素，如果当前会话元素为场景结束标识，则结束会话场景，执行结束检查模块305，如果当前会话元素为会话，则执行所述会话测试模块303；
结束检查模块305，用于：如果会话集合中还有下一个会话元素，则执行会话场景生成模块302，否则结束。
在其中一个实施例中，所述创建会话场景为登录浏览器，所述结束会话场景为关闭浏览器。
在其中一个实施例中，所述会话还包括与场景标识关联的账号信息，所述会话测试模块中，采用所述账号信息登录所述人工智能应当***。
在其中一个实施例中，所述会话集合采用表格的方式进行测试数据进行保存，其中每一行数据是一个会话元素。
在其中一个实施例中，所述会话测试模块，还包括：新生成结果对象，将当前会话元素的测试结果写入所述结果对象并保存。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种人工智能应答***的测试方法，其特征在于，包括：
会话集合获取步骤，包括：获取包括多个会话元素的会话集合，所述会话元素为会话或者场景结束标识，所述会话集合包括的会话元素至少一个为场景结束标识，每个所述会话包括：问题、场景标识和预期答案；
会话场景生成步骤，包括：从所述会话集合中按顺序取出会话元素作为当前会话元素，如果当前会话元素为会话，则创建会话场景；
会话测试步骤，包括：在会话场景中向人工智能应答***输入当前会话元素所包括的问题，抓取所述人工智能应答***响应所述问题的实际答案，如果实际答案与当前会话元素所包括的预期答案匹配，则记录当前会话元素的测试结果为通过，否则记录当前会话元素的测试结果为失败；
会话元素检查步骤，包括：从会话集合中按顺序取出下一个会话元素作为当前会话元素，如果当前会话元素为场景结束标识，则结束会话场景，执行结束检查步骤，如果当前会话元素为会话，则执行所述会话测试步骤；
结束检查步骤，包括：如果会话集合中还有下一个会话元素，则执行会话场景生成步骤，否则结束。
2.根据权利要求1所述的人工智能应答***的测试方法，其特征在于，所述创建会话场景为登录浏览器，所述结束会话场景为关闭浏览器。
3.根据权利要求1所述的人工智能应答***的测试方法，其特征在于，所述会话还包括与场景标识关联的账号信息，所述会话测试步骤中，采用所述账号信息登录所述人工智能应当***。
4.根据权利要求1所述的人工智能应答***的测试方法，其特征在于，所述会话集合采用表格的方式进行测试数据进行保存，其中每一行数据是一个会话元素。
5.根据权利要求1所述的人工智能应答***的测试方法，其特征在于，所述会话测试步骤，还包括：新生成结果对象，将当前会话元素的测试结果写入所述结果对象并保存。
6.一种人工智能应答***的测试***，其特征在于，包括：
会话集合获取模块，用于：获取包括多个会话元素的会话集合，所述会话元素为会话或者场景结束标识，所述会话集合包括的会话元素至少一个为场景结束标识，每个所述会话包括：问题、场景标识和预期答案；
会话场景生成模块，用于：从所述会话集合中按顺序取出会话元素作为当前会话元素，如果当前会话元素为会话，则创建会话场景；
会话测试模块，用于：在会话场景中向人工智能应答***输入当前会话元素所包括的问题，抓取所述人工智能应答***响应所述问题的实际答案，如果实际答案与当前会话元素所包括的预期答案匹配，则记录当前会话元素的测试结果为通过，否则记录当前会话元素的测试结果为失败；
会话元素检查模块，用于：从会话集合中按顺序取出下一个会话元素作为当前会话元素，如果当前会话元素为场景结束标识，则结束会话场景，执行结束检查模块，如果当前会话元素为会话，则执行所述会话测试模块；
结束检查模块，用于：如果会话集合中还有下一个会话元素，则执行会话场景生成模块，否则结束。
7.根据权利要求6所述的人工智能应答***的测试***，其特征在于，所述创建会话场景为登录浏览器，所述结束会话场景为关闭浏览器。
8.根据权利要求6所述的人工智能应答***的测试***，其特征在于，所述会话还包括与场景标识关联的账号信息，所述会话测试模块中，采用所述账号信息登录所述人工智能应当***。
9.根据权利要求6所述的人工智能应答***的测试***，其特征在于，所述会话集合采用表格的方式进行测试数据进行保存，其中每一行数据是一个会话元素。
10.根据权利要求6所述的人工智能应答***的测试***，其特征在于，所述会话测试模块，还包括：新生成结果对象，将当前会话元素的测试结果写入所述结果对象并保存。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510193639.0A CN104809062B (zh) | 2015-04-22 | 2015-04-22 | 一种人工智能应答***的测试方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510193639.0A CN104809062B (zh) | 2015-04-22 | 2015-04-22 | 一种人工智能应答***的测试方法及*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104809062A true CN104809062A (zh) | 2015-07-29 |
| CN104809062B CN104809062B (zh) | 2017-12-01 |
Family
ID=53693904
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510193639.0A Active CN104809062B (zh) | 2015-04-22 | 2015-04-22 | 一种人工智能应答***的测试方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104809062B (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106503242A (zh) * | 2016-11-08 | 2017-03-15 | 上海智臻智能网络科技股份有限公司 | 一种智能交互方法、装置及服务器 |
| CN107402878A (zh) * | 2016-05-19 | 2017-11-28 | 北京京东尚科信息技术有限公司 | 测试方法和装置 |
| CN107463640A (zh) * | 2017-07-19 | 2017-12-12 | 安徽拓通信科技集团股份有限公司 | 基于人工智能信息数据采集方法 |
| CN108763068A (zh) * | 2018-05-15 | 2018-11-06 | 福建天泉教育科技有限公司 | 一种基于机器学习的自动化测试方法及终端 |
| CN109656799A (zh) * | 2017-10-10 | 2019-04-19 | 北京京东尚科信息技术有限公司 | 测试方法和装置 |
| CN110399469A (zh) * | 2018-04-23 | 2019-11-01 | 中国电信股份有限公司 | 客服机器人理解性能检测融合方法和装置 |
| CN110908919A (zh) * | 2019-12-02 | 2020-03-24 | 上海市软件评测中心有限公司 | 一种基于人工智能的应答测试***及其应用 |
| CN111198823A (zh) * | 2020-01-10 | 2020-05-26 | 北京声智科技有限公司 | 一种多轮会话的测试方法、装置、设备和介质 |
| CN111831537A (zh) * | 2019-04-18 | 2020-10-27 | 天津市元坤科技发展有限公司 | 一种人工智能开发***的高效性能测试方法 |
| CN111988195A (zh) * | 2019-05-24 | 2020-11-24 | 北京京东尚科信息技术有限公司 | 用于分组测试的应答方案确定方法、装置、设备及介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1744056A (zh) * | 2004-09-04 | 2006-03-08 | 华为技术有限公司 | 一种应用程序的自动测试方法 |
| US7945899B2 (en) * | 2003-06-16 | 2011-05-17 | American Megatrends, Inc. | Method and system for remote software testing |
| CN103049367A (zh) * | 2011-10-11 | 2013-04-17 | 神州数码信息***有限公司 | 一种软件自动化测试的方法 |
| CN103853842A (zh) * | 2014-03-20 | 2014-06-11 | 百度在线网络技术（北京）有限公司 | 一种自动问答方法和*** |
| US20140245289A1 (en) * | 2013-02-28 | 2014-08-28 | Apple Inc. | Automatic remote execution of an application |
| CN104142959A (zh) * | 2013-05-10 | 2014-11-12 | ***股份有限公司 | 基于专家知识数据库的自动化测试装置及方法 |
-
2015
- 2015-04-22 CN CN201510193639.0A patent/CN104809062B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7945899B2 (en) * | 2003-06-16 | 2011-05-17 | American Megatrends, Inc. | Method and system for remote software testing |
| CN1744056A (zh) * | 2004-09-04 | 2006-03-08 | 华为技术有限公司 | 一种应用程序的自动测试方法 |
| CN103049367A (zh) * | 2011-10-11 | 2013-04-17 | 神州数码信息***有限公司 | 一种软件自动化测试的方法 |
| US20140245289A1 (en) * | 2013-02-28 | 2014-08-28 | Apple Inc. | Automatic remote execution of an application |
| CN104142959A (zh) * | 2013-05-10 | 2014-11-12 | ***股份有限公司 | 基于专家知识数据库的自动化测试装置及方法 |
| CN103853842A (zh) * | 2014-03-20 | 2014-06-11 | 百度在线网络技术（北京）有限公司 | 一种自动问答方法和*** |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107402878B (zh) * | 2016-05-19 | 2020-09-01 | 北京京东尚科信息技术有限公司 | 测试方法和装置 |
| CN107402878A (zh) * | 2016-05-19 | 2017-11-28 | 北京京东尚科信息技术有限公司 | 测试方法和装置 |
| CN106503242B (zh) * | 2016-11-08 | 2019-04-19 | 上海智臻智能网络科技股份有限公司 | 一种智能交互方法、装置及服务器 |
| CN106503242A (zh) * | 2016-11-08 | 2017-03-15 | 上海智臻智能网络科技股份有限公司 | 一种智能交互方法、装置及服务器 |
| CN107463640A (zh) * | 2017-07-19 | 2017-12-12 | 安徽拓通信科技集团股份有限公司 | 基于人工智能信息数据采集方法 |
| CN107463640B (zh) * | 2017-07-19 | 2020-12-18 | 一拓通信集团股份有限公司 | 基于人工智能信息数据采集方法 |
| CN109656799B (zh) * | 2017-10-10 | 2022-06-07 | 北京京东尚科信息技术有限公司 | 测试方法和装置 |
| CN109656799A (zh) * | 2017-10-10 | 2019-04-19 | 北京京东尚科信息技术有限公司 | 测试方法和装置 |
| CN110399469A (zh) * | 2018-04-23 | 2019-11-01 | 中国电信股份有限公司 | 客服机器人理解性能检测融合方法和装置 |
| CN110399469B (zh) * | 2018-04-23 | 2022-02-15 | 中国电信股份有限公司 | 客服机器人理解性能检测融合方法和装置 |
| CN108763068A (zh) * | 2018-05-15 | 2018-11-06 | 福建天泉教育科技有限公司 | 一种基于机器学习的自动化测试方法及终端 |
| CN111831537A (zh) * | 2019-04-18 | 2020-10-27 | 天津市元坤科技发展有限公司 | 一种人工智能开发***的高效性能测试方法 |
| CN111988195A (zh) * | 2019-05-24 | 2020-11-24 | 北京京东尚科信息技术有限公司 | 用于分组测试的应答方案确定方法、装置、设备及介质 |
| CN110908919A (zh) * | 2019-12-02 | 2020-03-24 | 上海市软件评测中心有限公司 | 一种基于人工智能的应答测试***及其应用 |
| CN111198823A (zh) * | 2020-01-10 | 2020-05-26 | 北京声智科技有限公司 | 一种多轮会话的测试方法、装置、设备和介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104809062B (zh) | 2017-12-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104809062A (zh) | 一种人工智能应答***的测试方法及*** | |
| CN107358157B (zh) | 一种人脸活体检测方法、装置以及电子设备 | |
| RU2622874C1 (ru) | Способ, устройство и сервер распознавания конфиденциальной фотографии | |
| CN111225234B (zh) | 视频审核方法、视频审核装置、设备和存储介质 | |
| CN110781784A (zh) | 基于双路注意力机制的人脸识别方法、装置及设备 | |
| CN110334570B (zh) | 人脸识别自动建库方法、装置、设备及存储介质 | |
| CN109194689B (zh) | 异常行为识别方法、装置、服务器及存储介质 | |
| CN109446173A (zh) | 日志数据处理方法、装置、计算机设备和存储介质 | |
| CN107680589A (zh) | 语音信息交互方法、装置及其设备 | |
| CN111476268A (zh) | 翻拍识别模型训练、图像识别方法、装置、设备及介质 | |
| CN109509021A (zh) | 基于行为轨迹的异常识别方法、装置、服务器及存储介质 | |
| CN111091811B (zh) | 语音训练数据的处理方法、装置及存储介质 | |
| CN111686450B (zh) | 游戏的剧本生成及运行方法、装置、电子设备和存储介质 | |
| CN109147769B (zh) | 一种语种识别方法、装置、翻译机、介质和设备 | |
| CN105095069A (zh) | 一种人工智能应答***测试方法及*** | |
| CN107544734A (zh) | 一种信息展示方法、装置和存储介质 | |
| WO2019184140A1 (zh) | 基于vr的应用程序打开方法、电子装置、设备及存储介质 | |
| CN103873654A (zh) | 通话内容分析及提取***及方法 | |
| CN107679560A (zh) | 数据传输方法、装置、移动终端及计算机可读存储介质 | |
| CN107169340A (zh) | 一种行为式验证码处理方法及装置 | |
| CN107786867A (zh) | 基于深度学习架构的图像辨识方法及*** | |
| CN111161265A (zh) | 一种动物计数、图像处理方法和装置 | |
| CN110362826A (zh) | 基于人工智能的期刊投稿方法、设备及可读存储介质 | |
| CN115100739B (zh) | 人机行为检测方法、***、终端设备及存储介质 | |
| CN107330848A (zh) | 图片处理方法、移动终端和存储设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| EXSB | Decision made by sipo to initiate substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |