CN111369991B - 一种支持自然语言指令的移动控制方法及其*** - Google Patents

一种支持自然语言指令的移动控制方法及其*** Download PDF

Info

Publication number
CN111369991B
CN111369991B CN202010095367.1A CN202010095367A CN111369991B CN 111369991 B CN111369991 B CN 111369991B CN 202010095367 A CN202010095367 A CN 202010095367A CN 111369991 B CN111369991 B CN 111369991B
Authority
CN
China
Prior art keywords
instruction
natural language
track
route
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010095367.1A
Other languages
English (en)
Other versions
CN111369991A (zh
Inventor
张雷
申雷翼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Posts and Telecommunications filed Critical Nanjing University of Posts and Telecommunications
Priority to CN202010095367.1A priority Critical patent/CN111369991B/zh
Publication of CN111369991A publication Critical patent/CN111369991A/zh
Application granted granted Critical
Publication of CN111369991B publication Critical patent/CN111369991B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/1822—Parsing for meaning understanding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2816—Controlling appliance services of a home automation network by calling their functionalities
    • H04L12/282—Controlling appliance services of a home automation network by calling their functionalities based on user interaction within the home
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Automation & Control Theory (AREA)
  • Machine Translation (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明公开了一种支持自然语言指令的移动控制方法，包括以下步骤：S01，接收来自用户的自然语言指令，去除自然语言指令中无意义语助词，然后转化为文本信息；S02，对其中的关键动词，查找关键动词定义库，进行动词定义，并生成完整的指令关键词列表，包含主体、对象以及轨迹要求；S03，通过传感器接收周围环境感知信息，对指令关键词的属性信息进行补全；S04，生成初步轨迹规划路线，按照规划路线移动；S05，利用局部环境信息，规划局部轨迹路线，经过局部多次迭代规划，逐步接近目标位置。本发明还公开了一种支持自然语言指令的移动控制***。本发明提供的一种支持自然语言指令的移动控制方法及其***，能够实现自然语言指令到机器指令之间的灵活映射。

Description

一种支持自然语言指令的移动控制方法及其***
技术领域
本发明涉及一种支持自然语言指令的移动控制方法及其***，属于人工智能和自动控制领域。
背景技术
随着人工智能技术的快速发展，基于自然语言指令的人机交互技术也取得了长足进步，目前研究热点主要集中于如何让机器增强语义理解能力，正确理解人类意图。相应的支持自然语言指令控制的复杂控制产品则比较少，主要集中于智能家居领域，实现对家电设备对象的选择、控制指令的选择等。
实现自然语言指令控制的关键是要将人类发出的语音指令映射到机器可以执行的单条或多条控制指令。目前这种映射多为简单逻辑的直观映射，通过指令映射表实现固定的、明确的指令匹配。图2所示的指令映射表下，如果用户发出指令“关闭客厅灯”，控制器提取语音指令的关键词，进而查表转换为设备编号001可以执行的机器指令‘0X55’。
但是自然语言描述的指令特点往往具有一定的概括性和不完整性。概括性是一条简短指令可能需要进行指令分析，分解为一系列简单机器指令的集合。如“围绕机床一圈”，需要机器根据特定的机床形状规划旋转路径，完成围绕一圈。不完整性指的是发出指令可能缺失一些特定信息，需要根据环境上下文推断和补全隐含的指令信息，才能转换为时间序列的一系列确定动作指令。现有的移动控制方法不能将自然语言有效转化为机器可以执行的单条或多条控制指令。
发明内容
本发明要解决的技术问题是，针对现有技术的不足，提供一种能够实现自然语言指令到机器指令之间的灵活映射的支持自然语言指令的移动控制方法及其***。
为解决上述技术问题，本发明采用的技术方案为：
一种支持自然语言指令的移动控制方法，包括以下步骤：
S01，接收来自用户的自然语言指令，去除语音指令中无意义语助词，然后转化为文本信息，通过语义分析，将文本指令解析为一系列关键词，包括主语、谓语、宾语、宾补、副词和状语；
S02，对其中的关键动词，查找关键动词定义库，进行动词定义，并生成完整的指令关键词列表，包含主体、对象以及轨迹要求；
S03，通过传感器接收周围环境感知信息，对S02中主体、对象以及轨迹要求指令关键词的属性信息进行补全；
S04，根据主体、对象以及轨迹路线要求，生成初步轨迹规划路线。
S05，，如果周围环境信息充分，可以按照初步轨迹规划路线，次序生成机器指令，按照规划路线移动；如果在移动过程中出现未知障碍物，则利用局部环境信息，规划局部轨迹路线，经过局部多次迭代规划，逐步接近目标位置。
S01中，移动客户端接收来自用户的自然语言指令。
S02中，动词定义包括多个约束条件。
S03中，主体、对象以及轨迹要求指令关键词信息补充仍然不完整，则要求用户补充指令信息或动词定义。
S03中，补充的属性信息包括机器人当前位置，目标位置和当前局部环境图像。
一种支持自然语言指令的移动控制***，包括自然语言指令接收模块，所述自然语言指令接收模块将自然语言指令输送给指令预处理模块，所述指令预处理模块去除自然语言指令中无意义语助词，将预处理过的文本指令传输给语义分析模块，所述语义分析模块将文本指令解析为一系列关键词，包括主语、谓语、宾语、宾补、副词和状语，动词定义查找模块查找关键动词定义库，进行特定动词定义，组合生成完全指令关键词列表模块依据特定动词定义生成完整的指令关键词列表，包含主体、对象以及轨迹要求，传感器获得周围环境的感知信息，将语音指令中提取的关键词信息补全完整，路线规划模块根据主体、对象以及轨迹路线要求，生成初步轨迹规划路线，移动控制模块按照初步轨迹规划路线，次序生成机器指令，按照规划路线移动。
本发明的有益效果：本发明提供一种支持自然语言指令的移动控制方法及其***，通过提取自然语言指令关键词，结合多种传感器获得周围环境信息，规划运动轨迹，进而转化到一段时间序列的机器指令，能够实现自然语言指令到机器指令之间的灵活映射。
附图说明
图1为本发明一种支持自然语言指令的移动控制方法的流程图；
图2为本现有技术中简单逻辑的直观映射图。
具体实施方式
下面结合实施例对本发明作进一步描述，以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
如图1所示，本发明提供一种支持自然语言指令的移动控制方法，下面以一条自然语言指令实例说明本方法的工作流程，主要包括以下步骤：
步骤一，语音指令接收模块接收来自用户的自然语言指令，然后输送给指令预处理模块，指令预处理模块去除语音指令中无意义语助词，然后转化为文本信息，通过语义分析，将文本指令解析为一系列关键词，包括主语、谓语、宾语、宾补、副词和状语。如上述指令被分解为主语：1号小车；副词：前方；谓语：围绕；宾语：装配区A；状语：一圈。
步骤二，对其中的关键动词，动词定义查找模块查找关键动词定义库，进行动词定义。对其中的谓语动词，需要查找预先定义的动词库，明确动作含义，以及完成动作要求的所需信息。如围绕的动词定义为“沿着对象边缘一圈”，执行过程是确认起点为离对象足够近的一点，终点为起点。约束条件1行进方向为前，左右，不能后退；约束条件2：离对象的距离小于50cm(自定义)”。执行该动作要求已知条件为主体的定位坐标；对象的定位坐标，对象的边缘信息。组合生成完全指令关键词列表模块依据特定动词定义生成完整的指令关键词列表，包含主体、对象以及轨迹要求。对于主体、对象、以及轨迹路线要求的相应属性信息未知的，则进入步骤三进行信息补全。
步骤三，通过传感器接收周围环境感知信息，传感器包括距离传感器、摄像头等，对步骤二中主体、对象以及轨迹要求指令关键词的属性信息进行补全。主体、对象以及轨迹要求指令关键词信息补充仍然不完整，则要求用户补充指令信息或动词定义。补充的属性信息包括机器人当前位置，目标位置和当前局部环境图像，作为关键词的属性信息补充。
步骤四，路线规划模块根据主体、对象以及轨迹路线要求，生成初步轨迹规划路线，如果周围环境信息充分，移动控制模块可以按照初步轨迹规划路线，次序生成机器指令，按照规划路线移动。
步骤五，如果在移动过程中出现未知障碍物，不能按照规划的轨迹路线前行，路线规划模块则利用局部环境信息，进行二次规划，规划局部轨迹路线，经过局部多次迭代规划，逐步接近目标位置。
以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (5)

1.一种支持自然语言指令的移动控制方法，其特征在于：包括以下步骤：
S01，接收来自用户的自然语言指令，去除指令中无意义语助词，然后转化为文本信息，通过语义分析，将文本指令解析为一系列关键词，包括主语、谓语、宾语、宾补、副词和状语；
S02，对其中的动词关键词，查找关键动词定义库，进行动词定义，并生成完整的指令关键词列表，包含主体、对象以及轨迹要求；
S03，通过传感器接收周围环境感知信息，对S02中主体、对象以及轨迹要求指令关键词的属性信息进行补全，补充的属性信息包括机器人当前位置，目标位置和当前局部环境图像；
S04，根据主体、对象以及轨迹路线要求，生成初步轨迹规划路线；
S05，如果周围环境信息充分，可以按照初步轨迹规划路线，次序生成机器指令，按照规划路线移动；如果在移动过程中出现未知障碍物，则利用局部环境信息，规划局部轨迹路线，经过局部多次迭代规划，逐步接近目标位置。
2.根据权利要求1所述的一种支持自然语言指令的移动控制方法，其特征在于：S01中，移动客户端接收来自用户的自然语言指令。
3.根据权利要求1所述的一种支持自然语言指令的移动控制方法，其特征在于：S02中，动词定义包括多个约束条件。
4.根据权利要求3所述的一种支持自然语言指令的移动控制方法，其特征在于：S03中，主体、对象以及轨迹要求指令关键词信息补充仍然不完整，则要求用户补充指令信息或动词定义。
5.一种支持自然语言指令的移动控制***，其特征在于：包括自然语言指令接收模块，所述自然语言指令接收模块将自然语言指令输送给指令预处理模块，所述指令预处理模块去除文本指令中无意义语助词，将预处理过的文本指令传输给语义分析模块，所述语义分析模块将文本指令解析为一系列关键词，包括主语、谓语、宾语、宾补、副词和状语，动词定义查找模块查找关键动词定义库，进行特定动词定义，组合生成完全指令关键词列表模块依据特定动词定义生成完整的指令关键词列表，包含主体、对象以及轨迹要求，传感器获得周围环境的感知信息，将语音指令中提取的关键词信息补全完整，路线规划模块根据主体、对象以及轨迹路线要求，生成初步轨迹规划路线，移动控制模块按照初步轨迹规划路线，次序生成机器指令，按照规划路线移动。
CN202010095367.1A 2020-02-17 2020-02-17 一种支持自然语言指令的移动控制方法及其*** Active CN111369991B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010095367.1A CN111369991B (zh) 2020-02-17 2020-02-17 一种支持自然语言指令的移动控制方法及其***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010095367.1A CN111369991B (zh) 2020-02-17 2020-02-17 一种支持自然语言指令的移动控制方法及其***

Publications (2)

Publication Number Publication Date
CN111369991A CN111369991A (zh) 2020-07-03
CN111369991B true CN111369991B (zh) 2023-12-12

Family

ID=71210333

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010095367.1A Active CN111369991B (zh) 2020-02-17 2020-02-17 一种支持自然语言指令的移动控制方法及其***

Country Status (1)

Country Link
CN (1) CN111369991B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111986670A (zh) * 2020-08-25 2020-11-24 Oppo广东移动通信有限公司 语音控制方法、装置、电子设备和计算机可读存储介质
CN113834497A (zh) * 2021-09-24 2021-12-24 合众新能源汽车有限公司 自动驾驶的路线规划方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103823466A (zh) * 2013-05-23 2014-05-28 电子科技大学 一种动态环境下移动机器人路径规划方法
CN107492377A (zh) * 2017-08-16 2017-12-19 北京百度网讯科技有限公司 用于控制自拍飞行器的方法和装置
CN108444482A (zh) * 2018-06-15 2018-08-24 东北大学 一种无人机自主寻路避障方法及***
CN110058559A (zh) * 2019-05-20 2019-07-26 深圳市播闪科技有限公司 一种人工智能轮椅控制机构

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103823466A (zh) * 2013-05-23 2014-05-28 电子科技大学 一种动态环境下移动机器人路径规划方法
CN107492377A (zh) * 2017-08-16 2017-12-19 北京百度网讯科技有限公司 用于控制自拍飞行器的方法和装置
CN108444482A (zh) * 2018-06-15 2018-08-24 东北大学 一种无人机自主寻路避障方法及***
CN110058559A (zh) * 2019-05-20 2019-07-26 深圳市播闪科技有限公司 一种人工智能轮椅控制机构

Also Published As

Publication number Publication date
CN111369991A (zh) 2020-07-03

Similar Documents

Publication Publication Date Title
Zhang et al. Invigorate: Interactive visual grounding and grasping in clutter
CN111369991B (zh) 一种支持自然语言指令的移动控制方法及其***
Chen et al. A joint network for grasp detection conditioned on natural language commands
CN106875941B (zh) 一种服务机器人的语音语义识别方法
Chai et al. Collaborative language grounding toward situated human-robot dialogue
CN105931218B (zh) 模块化机械臂的智能分拣方法
Williams et al. A framework for resolving open-world referential expressions in distributed heterogeneous knowledge bases
Bastianelli et al. On-line semantic mapping
CN110277086A (zh) 基于电网调度知识图谱的语音合成方法、***及电子设备
Tinchev et al. Learning to see the wood for the trees: Deep laser localization in urban and natural environments on a CPU
CN109557920A (zh) 一种自动导航建图机器人及控制方法
CN109459023B (zh) 一种基于无人机视觉slam的辅助地面机器人导航方法及装置
CN110844402B (zh) 一种智能召唤垃圾桶***
CN115157245A (zh) 基于深度学习的机械臂控制***及方法
CN115123303A (zh) 车辆驾驶状态展示方法、装置、电子设备和存储介质
Chen et al. A survey of visual affordance recognition based on deep learning
Mahaadevan et al. Automatic identifier of socket for electrical vehicles using SWIN-transformer and SimAM attention mechanism-based EVS YOLO
Wang et al. Smart seeing eye dog wheeled assistive robotics
Chen et al. The intelligent techniques in robot kejia–the champion of robocup@ home 2014
Kim et al. LINGO-Space: Language-Conditioned Incremental Grounding for Space
CN115903900A (zh) 一种基于语义理解的无人机航线规划方法及***
Kollar et al. Generalized grounding graphs: A probabilistic framework for understanding grounded commands
Constantin et al. Interactive multimodal robot dialog using pointing gesture recognition
CN112757274B (zh) 一种面向人机协同操作的动力学融合行为安全算法及***
Lu et al. System of robot learning from multi-modal demonstration and natural language instruction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant