CN105931218A - 模块化机械臂的智能分拣方法 - Google Patents

模块化机械臂的智能分拣方法 Download PDF

Info

Publication number
CN105931218A
CN105931218A CN201610212575.9A CN201610212575A CN105931218A CN 105931218 A CN105931218 A CN 105931218A CN 201610212575 A CN201610212575 A CN 201610212575A CN 105931218 A CN105931218 A CN 105931218A
Authority
CN
China
Prior art keywords
mechanical arm
intelligent sorting
modular mechanical
sorting method
solution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610212575.9A
Other languages
English (en)
Other versions
CN105931218B (zh
Inventor
闵华松
陈鸣宇
林云汉
康雅文
裴飞龙
吴凡
周昊天
熊志恒
丁礼健
黄铸栋
李潇
齐诗萌
周炳南
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University of Science and Engineering WUSE
Wuhan University of Science and Technology WHUST
Original Assignee
Wuhan University of Science and Engineering WUSE
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University of Science and Engineering WUSE filed Critical Wuhan University of Science and Engineering WUSE
Priority to CN201610212575.9A priority Critical patent/CN105931218B/zh
Publication of CN105931218A publication Critical patent/CN105931218A/zh
Application granted granted Critical
Publication of CN105931218B publication Critical patent/CN105931218B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/046—Forward inferencing; Production systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Manipulator (AREA)

Abstract

本发明提供的模块化机械臂的智能分拣方法，具有这样的特征，包括以下步骤：步骤一，通过体感传感器完成目标检测与识别，获取场景中各物体的准确空间位置信息，得到三维场景语义地图描述文件；步骤二，以人机对话的形式确定意图，推理得到分拣规则；以及步骤三，接收解决方案，通过自然语言编程将解决方案编程为机器人指令，解析编译执行指令，并控制机械臂进行智能分拣。本发明提出的方法实现了模块化机械臂的控制，同时将智能感知与识别，人机对话与交互融入了控制***，成功的完成了智能分拣任务，提高了模块化机械臂的智能性。

Description

模块化机械臂的智能分拣方法
技术领域
本发明涉及模块化机械臂的控制领域，特别涉及一种模块化机械臂的智能分拣方法。
背景技术
模块化机械臂相对于传统的机械臂有着占用空间小，成本低，功能多样，灵活性强的优势。近年来，国内外越来越多的机器人公司或机器人研究所开展了对模块化机械臂的研究并取得了一定的成果。
在模块化机械臂分拣作业平台上融入三维物体识别，人机交互与推理，大大提高了分拣***的智能水平。
文献检索查到相关专利：2015年4月22日公开的申请号为CN201410723309.3的发明专利《智能分拣***及分拣方法》，公开了一种智能分拣方法，该项发明能够识别多种颜色的物体，并且能进行引导性学习，自动将不同颜色的物体放到指定位置。
但是，上述专利只涉及到物体颜色识别，并不能识别大小、形状以及物体的三维坐标；同时上述专利是利用学***，没有使用推理的方法，没有用到反问引导与期望分析。
发明内容
本发明是为了解决上述问题而进行的，目的在于把三维物体识别，人机交互与推理融入到模块化机械臂分拣作业平台上，提出一种模块化机械臂的智能分拣方法。
本发明提供的模块化机械臂的智能分拣方法，具有这样的特征，包括以下步骤：
步骤一，通过体感传感器完成目标检测与识别，获取场景中各物体的准确空间位置信息，得到三维场景语义地图描述文件；
步骤二，以人机对话的形式确定意图，推理得到分拣规则；以及
步骤三，接收解决方案，通过自然语言编程将解决方案编程为机器人指令，解析编译执行指令，并控制机械臂进行智能分拣。
本发明提供的模块化机械臂的智能分拣方法，还具有这样的特征：其中，步骤一，将体感传感器采集到的地图深度信息和颜色信息经过融合处理后生成三维点云数据，通过计算机获取数据后，经过预处理、关键点提取、计算特征描述子、将得到的特征描述子与模型库进行匹配、生成转变假设并验证，得到三维场景语义地图描述文件。
本发明提供的模块化机械臂的智能分拣方法，还具有这样的特征：其中，步骤二，人机对话由语音识别部分，推理机部分和语音合成部分组成，首先在语音识别部分，麦克风阵列把用户输入的语音信号进行降噪处理，并采用预定算法进行特征提取，然后结合HMM声学模型和N-gram语言模型，通过语音解码搜索算法将语音信号转化为文本发送给推理机部分，推理机部分接收文本，采用预定推理机制，将文本与案例库中的案例进行检索寻找最相似的案例，结合三维场景语义地图描述文件进行地图匹配、期望分析和引导，从而完善用户的期望，最后生成解决方案，用户的引导信息以文本的形式发送给语音合成部分，该部分将得到的文本通过文本分析、韵律建模和语音合成三个步骤生成相应的语音信号输出交互语音。
本发明提供的模块化机械臂的智能分拣方法，还具有这样的特征：其中，步骤三，首先通过自然语言获取模块获取自然语言的解决方案，然后由自然语言解释模块把解决方案解释成机器人指令，将机器人指令发送给解析编译模块，解析编译模块按预定顺序进行解析，解析编译完机器人指令，最后通过执行器模块，接收并执行可执行指令。
本发明提供的模块化机械臂的智能分拣方法，还具有这样的特征：其中，预定算法为MFCC算法。
本发明提供的模块化机械臂的智能分拣方法，还具有这样的特征：其中，通过预定推理机制为改进的CBR-BDI推理机制。
本发明提供的模块化机械臂的智能分拣方法，还具有这样的特征：其中，语音合成使用TTS技术。
本发明提供的模块化机械臂的智能分拣方法，还具有这样的特征：其中，自然语言获取模块通过UDP的传输来实现通信，获取解决方案，解决方案里面有自然语言命令，物体的坐标和末端执行器姿态。
本发明提供的模块化机械臂的智能分拣方法，还具有这样的特征：其中，自然语言解释模块把解决方案解释成机器人指令的具体的步骤为将自然语言命令进行分词，词法分析，语法分析，语义分析后得到机器人语言指令。
发明作用和效果
根据本发明所涉及的模块化机械臂的智能分拣方法，首先通过体感传感器获取实时的三维场景语义地图描述文件，然后以对话的形式建立分拣规则，最后将图像文件里的物体坐标分别发送给模块化机械臂，机械臂接收到物体坐标后抓取物体，将物体放到对应的篮子里面，从而实现了智能分拣，随着机械臂尤其是轻量级的模块化机械臂的发展，模块化机械臂的控制***越来越重要，作为模块化机械臂分拣***，本***具有视觉功能和推理功能，拥有人机交互和完善期望的功能，同时本***可以通过自然语言的解决方案来实现机械臂的控制，从而实现了自动编程。
附图说明
图1是本发明在实施例中的模块化机械臂的智能分拣方法的步骤图；
图2是本发明在实施例中的点云采集与物体识别的总体结构图；
图3是本发明在实施例中的多目标场景的空间点云物体识别与理解***的总体流程图；
图4是本发明在实施例中的语音识别部分的结构示意图；
图5是本发明在实施例中的改进的CBR-BDI推理机制的结构示意图；
图6是本发明在实施例中的语音合成单元的结构示意图；
图7是本发明在实施例中的机械臂控制模块的结构示意图；以及
图8是本发明在实施例中的解析编译模块的流程图。
具体实施方式
以下参照附图及实施例对本发明所涉及的模块化机械臂的智能分拣方法作详细的描述。
图1是本发明在实施例中的模块化机械臂的智能分拣方法的步骤图。
如图1所示，模块化机械臂的智能分拣方法具有以下步骤：
步骤一：通过体感传感器完成目标检测与识别，获取场景中各物体的准确空间位置信息，得到三维场景语义地图描述文件，进入步骤二。
图2是本发明在实施例中的点云采集与物体识别的总体结构图。
如图2所示，将体感传感器采集到的地图深度信息和颜色信息经过融合处理后生成三维点云数据，通过计算机获取数据后，经过预处理、关键点提取、计算特征描述子、将得到的特征描述子与模型库进行匹配、生成转变假设并验证，得到三维场景语义地图描述文件。
图3是本发明在实施例中的多目标场景的空间点云物体识别与理解***的总体流程图。
物体识别与理解***主要由离线和在线两个部分组成。
离线过程：模型库建立是个离线的过程，涉及到的关键技术有预处理、图像分割、特征描述、体感传感器的自运动估计、密集三维点云模型生成。首先进行数据滤波预处理，然后进行物体检测，也就是从场景中分割出每个视角的单一聚类，接着提取特征点与特征描述子。通过棋盘格标定算法，利用特征描述子的匹配得到各帧数据间的4×4刚性变化矩阵，将不同视角下的数据对奇并累加，从而获得三维物体的完整点云，用于获取物体的几何形状，并人为设定物体模型标识。
在线过程：物体识别与位姿估计是在线进行的。涉及到的关键技术有基于距离阈值的特征匹配、转变假设与验证、位姿矩阵坐标转换，通过实时的获取体感传感器的一帧点云数据，经过基于局部表面特征的3D识别算法给场景中各物体分配一个合适的物体模型类，另外还可以得到物体模型到场景对应点的相对位姿变换矩阵。最后将识别的物体的三维几何特征和图像纹理信息写入xml文件，构建三维场景语义地图描述文件。
步骤二：以人机对话的形式确定意图，推理得到分拣规则，进入步骤三。
人机对话由语音识别部分，推理机部分和语音合成部分组成。
首先在语音识别部分，麦克风阵列把用户输入的语音信号进行降噪处理，并采用MFCC算法进行特征提取，然后结合HMM声学模型和N-gram语言模型，通过语音解码搜索算法将语音信号转化为文本发送给推理机部分，推理机部分接收文本，采用改进的CBR-BDI推理机制，将文本与案例库中的案例进行匹配寻找最相似的案例，结合三维场景语义地图描述文件进行地图匹配、期望分析和引导，从而完善用户的期望，最后生成解决方案。其中对用户的引导信息以文本的形式发送给语音合成部分，该部分将得到的文本通过文本分析、韵律建模和语音合成三个步骤生成相应的语音信号输出交互语音。
图4是本发明在实施例中的语音识别部分的结构示意图。
如图4所示，在语音识别部分里面，当用户对机器人说话时，麦克风先接收到语音信号，然后***的预处理部分对语音信号进行降噪处理，并采用MFCC算法进行特征提取，之后***结合声学模型和语言模型，通过语音解码搜索算法将语音信号转化为文本语句。
图5是本发明在实施例中的改进的CBR-BDI推理机制的结构示意图。
如图5所示，推理机部分把CBR-BDI推理机制作为核心，同时在推理机部分中加入地图匹配，期望分析和引导从而实现CBR-BDI推理机制的改进。
在推理机单元接收到文本语句后，通过语义相似度和句子结构相似度计算，从案例库中如果获取了相似案例，***将对该案例结合规则进行任务属性计算，判别任务属性是否完整，如任务属性完整，即m_num＞0，则进入下一步，否则由***按一定规则提出反问句，进入引导提问；
将任务属性完整的案例与当前实时地图文件进行匹配得到m_match，其判定规则如下：
m_match＝0：表示场景中没有符合要求的物体；
0＜m_match＜1：表示场景中该物体数量少于用户期望的数量；
m_match＝1：表示场景中两者数量正好相等；
m_match＞1：表示场景中该物体数量多于用户期望的数量。
只有当m_match≥1时，表明案例任务可以在当前环境中得以执行，进入下一步期望分析，否则按规则进行相应反问引导；
将案例任务与当前设定作业规则必须条目进行匹配分析(期望分析)，判别用户意图相对当前作业规则条目来说，是否可行，如可行，则生成自然语言解决方案，否则，***导向规则引导反问，要求用户补全规则。
图6是本发明在实施例中的语音合成单元的结构示意图。
如图6所示，推理机的引导反问信息将以文本的形式传给语音合成单元，最后以语音信号的形式输出。
步骤三，接收解决方案，通过自然语言编程将解决方案编程为机器人指令，解析编译执行指令，并控制机械臂进行智能分拣。
图7是本发明在实施例中的机械臂控制模块的结构示意图。
如图7所示，在接收到步骤二的解决方案后，接下来就要完成模块化机械臂的自然语言编程、自动解析执行与运动控制。模块化机械臂的自动编程与解析运动控制一共分为4个模块，自然语言获取模块、自然语言解释模块、解析编译模块和执行器模块。
首先通过自然语言获取模块获取自然语言的解决方案，自然语言获取模块通过UDP的传输来实现通信，获取解决方案，解决方案里面有自然语言命令，物体的坐标和末端执行器姿态。
然后由自然语言解释模块把解决方案解释成机器人指令，将机器人指令发送给解析编译模块，解析编译模块按预定顺序进行解析，解析编译完机器人指令，最后通过执行器模块，接收并执行编译后语句。
自然语言解释模块把解决方案解释成机器人指令的具体的步骤为将自然语言命令进行分词，词法分析，语法分析，语义分析后得到机器人语言指令。
图8是本发明在实施例中的解析编译模块的流程图。
如图8所示，在得到机器人语言指令后将其发送给解析编译模块，解析编译模块按顺序进行解析，按行读取并解析编译语句文本，解析编译机器人语句，如果是有move的语句，调用逆解函数求出对应坐标的关节轴度数，由movep和movel来判断使用曲线插补函数还是直线插补函数，接着编译每个插补点为相应的CAN指令；如果是有hand的语句，调用末端执行器器控制函数，由hand on和hand off来判断末端执行器的打开或关闭，编译成末端执行器的打开或关闭CAN指令；如果是有round的语句，调用第一关节轴旋转函数，旋转round后面的角度，把旋转后每个关节轴度数编译成相应的CAN指令，调用正解函数求出旋转后位置；如果是有Nop的语句则是空操作；如果是有Time的语句就读取后面的时间，编译这段延时时间；如果是有end语句表示解析结束，编译结束标识符，返回。
解析编译完机器人语言指令最后通过执行器模块，接收并执行可执行指令，如果是move，round的语句，则发送相应的CAN指令给机械臂，如果是hand语句，则发送相应的CAN指令给末端执行器，如果是Time语句则延时相应的时间，如果是结束标识符则执行完毕，返回。
实施例的作用与效果
根据本实施例所涉及模块化机械臂的智能分拣方法，首先通过体感传感器获取实时的三维场景语义地图描述文件，然后以对话的形式建立分拣规则，最后将图像文件里的物体坐标分别发送给模块化机械臂，机械臂接收到物体坐标后抓取物体，将物体放到对应的篮子里面，从而实现了智能分拣，随着机械臂尤其是轻量级的模块化机械臂的发展，模块化机械臂的控制***越来越重要，作为模块化机械臂分拣***，本***具有视觉功能和推理功能，拥有人机交互和完善期望的功能，同时本***可以通过自然语言的解决方案来实现机械臂的控制，从而实现了自动编程。
上述实施方式为本发明的优选案例，并不用来限制本发明的保护范围。

Claims (9)

1.一种模块化机械臂的智能分拣方法，其特征在于，包括以下步骤：
步骤一，通过体感传感器完成目标检测与识别，获取场景中各物体的准确空间位置信息，得到三维场景语义地图描述文件；
步骤二，以人机对话的形式确定意图，推理得到分拣规则；以及
步骤三，接收解决方案，通过自然语言编程将解决方案编程为机器人指令，解析编译执行指令，并控制机械臂进行智能分拣。
2.根据权利要求1所述的模块化机械臂的智能分拣方法，其特征在于：
其中，所述步骤一，将所述体感传感器采集到的地图深度信息和颜色信息经过融合处理后生成三维点云数据，通过计算机获取数据后，经过预处理、关键点提取、计算特征描述子、将得到的所述特征描述子与模型库进行匹配、生成转变假设并验证，得到所述三维场景语义地图描述文件。
3.根据权利要求1所述的模块化机械臂的智能分拣方法，其特征在于：
其中，所述步骤二，所述人机对话由语音识别部分，推理机部分和语音合成部分组成，
首先在所述语音识别部分，麦克风阵列把用户输入的语音信号进行降噪处理，并采用预定算法进行特征提取，然后结合HMM声学模型和N-gram语言模型，通过语音解码搜索算法将所述语音信号转化为文本发送给所述推理机部分，所述推理机部分接收所述文本，采用预定推理机制，将所述文本与案例库中的案例进行匹配寻找最相似的案例，结合所述三维场景语义地图描述文件进行地图匹配、期望分析和引导，从而完善所述用户的期望,最后生成解决方案，
对所述用户的引导信息以所述文本的形式发送给所述语音合成部分，该部分将得到的所述文本通过文本分析、韵律建模和语音合成三个步骤生成相应的所述语音信号输出交互语音。
4.根据权利要求1所述的模块化机械臂的智能分拣方法，其特征在于：
其中，所述步骤三，首先通过自然语言获取模块获取自然语言的解决方案，然后由自然语言解释模块把所述解决方案解释成所述机器人指令，将所述机器人指令发送给解析编译模块，所述解析编译模块按预定顺序进行解析，解析编译完所述机器人指令，最后通过执行器模块，接收并执行编译后可执行指令。
5.根据权利要求3所述的模块化机械臂的智能分拣方法，其特征在于：
其中，所述预定算法为MFCC算法。
6.根据权利要求3所述的模块化机械臂的智能分拣方法，其特征在于：
其中，通过所述预定推理机制为改进的CBR-BDI推理机制。
7.根据权利要求4所述的模块化机械臂的智能分拣方法，其特征在于：
其中，语音合成使用TTS技术。
8.根据权利要求5所述的模块化机械臂的智能分拣方法，其特征在于：
其中，所述自然语言获取模块通过UDP的传输来实现通信，获取所述解决方案，
所述解决方案里面有自然语言命令，物体的坐标和末端执行器姿态。
9.根据权利要求5所述的模块化机械臂的智能分拣方法，其特征在于：
其中，自然语言解释模块把所述解决方案解释成所述机器人指令的具体的步骤为将自然语言命令进行分词，词法分析，语法分析，语义分析后得到机器人语言指令。
CN201610212575.9A 2016-04-07 2016-04-07 模块化机械臂的智能分拣方法 Active CN105931218B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610212575.9A CN105931218B (zh) 2016-04-07 2016-04-07 模块化机械臂的智能分拣方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610212575.9A CN105931218B (zh) 2016-04-07 2016-04-07 模块化机械臂的智能分拣方法

Publications (2)

Publication Number Publication Date
CN105931218A true CN105931218A (zh) 2016-09-07
CN105931218B CN105931218B (zh) 2019-05-17

Family

ID=56840150

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610212575.9A Active CN105931218B (zh) 2016-04-07 2016-04-07 模块化机械臂的智能分拣方法

Country Status (1)

Country Link
CN (1) CN105931218B (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106681323A (zh) * 2016-12-22 2017-05-17 北京光年无限科技有限公司 一种用于机器人的交互输出方法以及机器人
CN107127757A (zh) * 2017-05-24 2017-09-05 西安科技大学 一种多机器人协作柔索驱动拣矸装备动态任务分配方法
CN107622523A (zh) * 2017-09-21 2018-01-23 深圳市晟达机械设计有限公司 一种智能机器人
CN107742311A (zh) * 2017-09-29 2018-02-27 北京易达图灵科技有限公司 一种视觉定位的方法及装置
CN108044621A (zh) * 2017-09-20 2018-05-18 广东拓斯达科技股份有限公司 一种计算机可读存储介质和应用该介质的机器人
CN108247601A (zh) * 2018-02-09 2018-07-06 中国科学院电子学研究所 基于深度学习的语义抓取机器人
CN109146163A (zh) * 2018-08-07 2019-01-04 上海大学 自动分拣***分拣距离的优化方法、设备及存储介质
CN110253588A (zh) * 2019-08-05 2019-09-20 江苏科技大学 一种新型机械臂动态抓取***
CN110666806A (zh) * 2019-10-31 2020-01-10 湖北文理学院 物品分拣方法、装置、机器人及存储介质
CN111260761A (zh) * 2020-01-15 2020-06-09 北京猿力未来科技有限公司 一种生成动画人物口型的方法及装置
CN112232141A (zh) * 2020-09-25 2021-01-15 武汉云极智能科技有限公司 一种可识别物体空间位置的机械臂交互方法及设备
CN112667823A (zh) * 2020-12-24 2021-04-16 西安电子科技大学 一种机械臂任务执行序列的语义解析方法、***及计算机可读介质
CN112809689A (zh) * 2021-02-26 2021-05-18 同济大学 基于语言引导的机械臂动作元模仿学习方法及存储介质
CN113021333A (zh) * 2019-12-25 2021-06-25 沈阳新松机器人自动化股份有限公司 一种物体的抓取方法、***及终端设备
CN113742458A (zh) * 2021-09-18 2021-12-03 苏州大学 一种面向机械臂抓取的自然语言指令消歧方法及***
TWI801629B (zh) * 2018-07-17 2023-05-11 美商艾提史畢克斯有限責任公司 用於與智慧型工業輔助及工業機器通訊的方法、系統、及電腦程式產品

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1293752A (zh) * 1999-03-19 2001-05-02 松下电工株式会社 三维物体识别方法及使用该方法的零件抓取***
CN102615052A (zh) * 2012-02-21 2012-08-01 上海大学 一种用于具有拐角点特征的产品分拣的机器视觉识别方法
CN103324938A (zh) * 2012-03-21 2013-09-25 日电（中国）有限公司 训练姿态分类器及物体分类器、物体检测的方法及装置
WO2014140129A1 (fr) * 2013-03-12 2014-09-18 Centre National D'etudes Spatiales Procédé de mesure de la direction d'une ligne de visée d'un dispositif d'imagerie

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1293752A (zh) * 1999-03-19 2001-05-02 松下电工株式会社 三维物体识别方法及使用该方法的零件抓取***
CN102615052A (zh) * 2012-02-21 2012-08-01 上海大学 一种用于具有拐角点特征的产品分拣的机器视觉识别方法
CN103324938A (zh) * 2012-03-21 2013-09-25 日电（中国）有限公司 训练姿态分类器及物体分类器、物体检测的方法及装置
WO2014140129A1 (fr) * 2013-03-12 2014-09-18 Centre National D'etudes Spatiales Procédé de mesure de la direction d'une ligne de visée d'un dispositif d'imagerie

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
付维 等: "基于Julius的机器人语音识别***构建", 《单片机与嵌入式***应用》 *
吴凡 等: "一种实时的三维语义地图生成方法", 《计算机工程与应用》 *
周昊天 等: "改进的分拣作业机械臂基于范例推理 - 信念期望意图推理机制", 《计算机应用》 *
熊志恒 等: "基于自然语言的分拣机器人解析器技术研究", 《计算机工程与应用》 *

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106681323A (zh) * 2016-12-22 2017-05-17 北京光年无限科技有限公司 一种用于机器人的交互输出方法以及机器人
CN106681323B (zh) * 2016-12-22 2020-05-19 北京光年无限科技有限公司 一种用于机器人的交互输出方法以及机器人
CN107127757A (zh) * 2017-05-24 2017-09-05 西安科技大学 一种多机器人协作柔索驱动拣矸装备动态任务分配方法
CN107127757B (zh) * 2017-05-24 2023-03-31 西安科技大学 一种多机器人协作柔索驱动拣矸装备动态任务分配方法
CN108044621A (zh) * 2017-09-20 2018-05-18 广东拓斯达科技股份有限公司 一种计算机可读存储介质和应用该介质的机器人
CN107622523A (zh) * 2017-09-21 2018-01-23 深圳市晟达机械设计有限公司 一种智能机器人
CN107742311A (zh) * 2017-09-29 2018-02-27 北京易达图灵科技有限公司 一种视觉定位的方法及装置
CN107742311B (zh) * 2017-09-29 2020-02-18 北京易达图灵科技有限公司 一种视觉定位的方法及装置
CN108247601A (zh) * 2018-02-09 2018-07-06 中国科学院电子学研究所 基于深度学习的语义抓取机器人
US11651034B2 (en) 2018-07-17 2023-05-16 iT SpeeX LLC Method, system, and computer program product for communication with an intelligent industrial assistant and industrial machine
TWI801629B (zh) * 2018-07-17 2023-05-11 美商艾提史畢克斯有限責任公司 用於與智慧型工業輔助及工業機器通訊的方法、系統、及電腦程式產品
CN109146163B (zh) * 2018-08-07 2021-12-07 上海大学 自动分拣***分拣距离的优化方法、设备及存储介质
CN109146163A (zh) * 2018-08-07 2019-01-04 上海大学 自动分拣***分拣距离的优化方法、设备及存储介质
CN110253588A (zh) * 2019-08-05 2019-09-20 江苏科技大学 一种新型机械臂动态抓取***
CN110666806B (zh) * 2019-10-31 2021-05-14 湖北文理学院 物品分拣方法、装置、机器人及存储介质
CN110666806A (zh) * 2019-10-31 2020-01-10 湖北文理学院 物品分拣方法、装置、机器人及存储介质
CN113021333A (zh) * 2019-12-25 2021-06-25 沈阳新松机器人自动化股份有限公司 一种物体的抓取方法、***及终端设备
CN111260761A (zh) * 2020-01-15 2020-06-09 北京猿力未来科技有限公司 一种生成动画人物口型的方法及装置
CN112232141A (zh) * 2020-09-25 2021-01-15 武汉云极智能科技有限公司 一种可识别物体空间位置的机械臂交互方法及设备
CN112232141B (zh) * 2020-09-25 2023-06-20 武汉云极智能科技有限公司 一种可识别物体空间位置的机械臂交互方法及设备
CN112667823A (zh) * 2020-12-24 2021-04-16 西安电子科技大学 一种机械臂任务执行序列的语义解析方法、***及计算机可读介质
CN112809689A (zh) * 2021-02-26 2021-05-18 同济大学 基于语言引导的机械臂动作元模仿学习方法及存储介质
CN112809689B (zh) * 2021-02-26 2022-06-14 同济大学 基于语言引导的机械臂动作元模仿学习方法及存储介质
CN113742458A (zh) * 2021-09-18 2021-12-03 苏州大学 一种面向机械臂抓取的自然语言指令消歧方法及***

Also Published As

Publication number Publication date
CN105931218B (zh) 2019-05-17

Similar Documents

Publication Publication Date Title
CN105931218A (zh) 模块化机械臂的智能分拣方法
AU2018204246B2 (en) Method of performing multi-modal dialogue between a humanoid robot and user, computer program product and humanoid robot for implementing said method
US10628664B2 (en) Automatic body movement recognition and association system
CN105825268B (zh) 面向机器人动作学习的数据处理方法和***
CN106056207A (zh) 一种基于自然语言的机器人深度交互与推理方法与装置
CN106095109B (zh) 基于手势和语音进行机器人在线示教的方法
CN105739688A (zh) 一种基于情感体系的人机交互方法、装置和交互***
CN106897263A (zh) 基于深度学习的机器人对话交互方法及装置
CN105787471A (zh) 一种应用于助老助残移动服务机器人控制的手势识别方法
JP5141876B2 (ja) 軌道探索装置
CN106557165B (zh) 智能设备的动作模拟交互方法和装置及智能设备
Kruijff et al. Information fusion for visual reference resolution in dynamic situated dialogue
CN106055244B (zh) 一种基于Kinect和语音的人机交互方法
Dominey et al. Real-time spoken-language programming for cooperative interaction with a humanoid apprentice
Rabie et al. Evaluation and discussion of multi-modal emotion recognition
Chen et al. A novel approach of system design for dialect speech interaction with NAO robot
CN113420783B (zh) 一种基于图文匹配的智能人机交互方法及装置
RU2737231C1 (ru) Способ многомодального бесконтактного управления мобильным информационным роботом
Li et al. A novel speech-driven lip-sync model with CNN and LSTM
CN113506360A (zh) 一种虚拟人物表情驱动方法和***
Gao et al. HandTalker II: a Chinese sign language recognition and synthesis system
Kim et al. SGGNet 2: Speech-Scene Graph Grounding Network for Speech-guided Navigation
Wu et al. Emotional communication robot based on 3d face model and ASR technology
CN109144237B (zh) 一种机器人多通道人机交互式导航方法
Zhou et al. Intelligent grasping with natural human-robot interaction

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant