CN107291811B - 一种基于云端知识融合的感认知增强机器人*** - Google Patents

一种基于云端知识融合的感认知增强机器人*** Download PDF

Info

Publication number
CN107291811B
CN107291811B CN201710353598.6A CN201710353598A CN107291811B CN 107291811 B CN107291811 B CN 107291811B CN 201710353598 A CN201710353598 A CN 201710353598A CN 107291811 B CN107291811 B CN 107291811B
Authority
CN
China
Prior art keywords
behavior
entity
library
extensive
task
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710353598.6A
Other languages
English (en)
Other versions
CN107291811A (zh
Inventor
李石坚
杨莎
陈昕伟
潘纲
吴朝晖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN201710353598.6A priority Critical patent/CN107291811B/zh
Publication of CN107291811A publication Critical patent/CN107291811A/zh
Application granted granted Critical
Publication of CN107291811B publication Critical patent/CN107291811B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Manipulator (AREA)

Abstract

本发明公开了一种基于云端知识融合的感认知增强机器人***，属于人工智能技术领域。该机器人***包括机器人、处理器及与处理器通讯连接的感知单元、本地存储单元和云端单元；本地存储单元存储有本地行为库，云端单元融合有云端行为库；处理器用于接收服务请求，基于感知单元获取的周边环境信息对与服务请求对应的目标物体进行检测与定位，从行为库中获取适用于服务请求与目标物体的目标任务行为，控制机器人对目标物体执行目标任务行为；处理器还用于对行为库中的动作与实体进行泛化，构建泛化的行为库。该机械人***不仅能通过感知单元获取外界信息，而且具有泛化学习能力及能基于本地行为库及云端行为库中的任务，为用户提供多类型服务。

Description

一种基于云端知识融合的感认知增强机器人***
技术领域
本发明属于服务机器人智能技术领域，具体地说，涉及一种基于云端知识融合的感认知增强机器人***。
背景技术
随着现代科技的高速发展、人们生活水平的提高及对服务行业要求的提高，服务机器人得到了快速的发展和应用。服务机器人按其用途大致可以分为家用型服务机器人、专业型服务机器人和娱乐型服务机器人。目前各种服务机器人主要是针对特定的场景提供服务的。比如，现在社会人口的老龄化越发严重，社会的残障人口数量也居高不下，需家用机器人为老年人和残障人士提供日常生活照料，需清洁机器人从事家庭卫生的清洁、清洗等工作。
机器人在提供智能化服务时，需对外界环境有全面的感知，以能够自动地获取外界各种感知渠道的信息，要求机器人具备感知能力。不同机器人由于其自身结构设计的不同，在执行具体任务时，其动作轨迹和行为也会不同，因此，为了将机器人的服务行为适配到其他的机器人上面，要求机器人具备学习泛化能力，以将学习到的服务行为根据自身结构自主地调整服务动作。当前，不同机器人提供的服务类型是单一的、针对某一个特定方面的，随着人们生活的多样化，对服务机器人能提供服务类型的种类需求也日益增加，要求机器人具备融合多种服务类型的能力，以能适应多变的环境。将机器人的各方面能力融合在云端是机器人发展的一个趋势，依据云端的计算和存储能力，使机器人更加的智能。同时，云端可以使分布在不同领域、不同位置的机器人相互交流，实现资源共享。
发明内容
本发明提供了一种基于云端知识融合的感认知增强机器人***，使机器人能够感知周边环境，并根据服务请求提供对应服务。
为了实现上述目的，本发明提供的机器人***包括机器人、处理器及与处理器通讯连接的感知单元、本地存储单元和云端单元；感知单元包括用于获取机器人周边环境信息的深度摄像机，本地存储单元存储有本地行为库，云端单元融合有云端行为库，行为库是不同任务行为及实体的集合，行为是机器人在执行任务时一系列动作的组合，实体是行为动作的对象；处理器用于：对行为库中的动作与实体进行泛化，构建泛化的行为库；接收服务请求；基于感知单元获取的周边环境信息，对与服务请求对应的目标物体进行检测与定位；从行为库中获取适用于服务请求与目标物体的目标任务行为；控制机器人对目标物体执行目标任务行为。
通过设置感知单元，使机器人具备相应的感知能力，以使其能获取外界信息；通过设置与处理器通讯连接的本地行为库及云端行为库，机器人不仅能够提供自带服务，而且能够利用存储在云端行为库中的其它服务类型，以提供其它服务类型机器人的服务；并通过对行为库中的行为动作与实体进行泛化，从而使该机器人***具有认知能力，即具有泛化的学习能力。
具体的方案为基于感知单元获取的周边环境信息，对与服务请求对应的目标物体进行检测与定位的步骤包括：接收深度摄像机获取的图像；使用YOLO算法对图像中的物体进行检测与定位，获取目标物体及其在深度摄像机坐标系中的坐标；利用定标方法将目标物体在深度摄像机坐标系中的坐标转换为目标物体在机器人坐标系中的坐标。
另一个具体的方案为从行为库中获取适用于服务请求与目标物体的目标任务行为的步骤包括：判断本地行为库中的任务行为是否适用；若本地行为库中的任务行为不适用，则判断云端行为库中的任务行为是否适用，若适用，则更新本地行为库；若云端行为库中的任务行为不适用，则构建目标任务行为，并更新本地行为库与云端行为库。优先利用本地行为库，以提高服务速度。
更具体的方案为判断行为库中的任务行为是否适用的步骤包括：若行为库中不存在目标任务行为，用WordNet将目标任务行为的实体泛化为其泛化实体列表；若行为库中存在泛化实体列表与目标任务行为的泛化实体列表有交集的任务行为，用WordNet计算目标任务行为的实体和行为库中任务行为的泛化实体列表的距离，获取距离最小的任务行为；若最小距离小于预设距离阈值，则适用，并依据服务请求对最小距离任务行为进行调整，获取目标任务行为。通过泛化，实现机器人将服务行为适用于不同实体上，并根据实际情况调整行为动作，以适应多变的服务环境。
再具体的方案为依据服务请求对最小距离任务行为进行调整的步骤包括：依据服务请求和目标服务行为的实体的属性，按照机器人抓取物体时的抓取角度、抓取模式和移动路径调整最小距离任务行为中的动作。
另一个更具体的方案为在构建出目标任务行为后，对其动作与实体进行泛化，构建泛化的行为，并将目标任务行为及泛化后的行为更新入行为库中。在执行服务请求的过程中，不断将构建的新任务行为及其泛化行为更新进行为库中，使机器人能不断拓展服务行为，且通过云端单元，使其它机器人免于重复构建同一任务行为，而且还免于构建类似的服务行为。
另一个具体的方案为对行为库中的动作与实体进行泛化，构建泛化的行为库的步骤包括：用WordNet将行为库中的实体泛化成泛化实体列表，并根据机器人抓取物体时的路径规划、抓取模式和抓取角度将行为库中的动作泛化成泛化动作列表，形成机器人的泛化行为库。
优选的方案为用WordNet对实体进行泛化的步骤包括：设置实体的词性为名词，获取该实体在WordNet中代表的词集；输入含有实体且能够表达实体语义的语句，运用Lesk算法进行语义消歧，从词集中获取代表实体语义的子词集；运用WordNet的上位词函数hypernyms获取子词集对应的泛化词集；在泛化词集中根据语境选择泛化的高度，获取实体的泛化结果。由于行为库包含泛化行为库，使其能不断拓展服务行为，即具备相应的学习能力，以将适配不同的服务行为。
另一个具体的方案为云端单元还融合有知识图谱，知识图谱包括ConceptNet与WordNet，更新云端单元的步骤如下：遍历每个机器人本地行为库中实体的知识图谱，若有实体的知识图谱不存在云端单元中，则在云端单元中添加该实体的知识图谱；遍历每个机器人本地行为库中的任务行为，若云端行为库中不存在与某一任务行为概念相同的行为，则在云端单元中添加该任务行为；若云端行为存在与该任务行为概念相同的行为，则计算相同概念行为与该任务行为中的每个实体之间的最短距离，若最短距离大于预设实体距离阈值，则在云端单元中添加该任务行为；若最短距离小于预设实体距离阈值，计算相同概念行为与该任务行为间动作序列的最小编辑距离，若最小编辑距离大于预设编辑距离阈值，则在云端单元中添加该行为。通过上述步骤，以使其更新过程中，能够在添加新任务行为的同时，避免添加重复任务行为与非常接近的服务行为。
再一个具体的方案为云端单元还融合了知识图谱，知识图谱包括ConceptNet与WordNet，基于云端单元，处理器用于：根据感知单元从环境中获取的实体，运用ConceptNet选择目标实体，若感知到的实体和目标任务行为要操作的实体不同，利用ConceptNet中的三元关系获取满足目标任务行为操作对象的实体；若云端行为库中存有与目标任务行为相同概念的同概念行为，计算目标任务行为的实体和同概念行为的实体距离，若实体距离小于预设实体距离阈值，则根据服务请求和目标任务行为中实体的属性，按照机器人的抓取角度、抓取模式和移动路径调整同概念行为中的动作，获取目标任务行为；若云端行为库中不存在目标任务行为的同概念行为，则构建目标任务行为并对其进行泛化成其泛化行为，将目标任务行为及其泛化行为加入到云端行为库中。
附图说明
图1是本发明实施例的结构框图；
图2是本发明实施例中动作泛化的示意图；
图3是本发明实施例控制方法的工作流程图；
图4是本发明实施例中判断行为库中任务行为是否适用步骤的工作流程图；
图5是本发明实施例中机械爪的抓取模式示意图，其中，5(a)为基本模式，5(b)为宽模式，5(c)为捏模式，5(d)为剪刀模式。
具体实施方式
以下结合实施例及其附图对本发明作进一步的说明。
实施例
参见图1，本实施例机器人***1包括机器人10、处理器11及与处理器11通讯连接的感知单元12、云端单元13及本地存储单元14。
处理器11通过通讯线路向机器人10发出控制机器人10执行动作的控制信号，通讯连接为基于通讯线路进行数据传输连接，通讯线路为包括一个或多个被配置在处理器11与机器人10、感知单元12、云端单元13、及本地存储单元14间用于数据信息传输的数据线路，包括但不限于电线路、光学线路、无线线路及两者以上的组合。
按照机器人外形的不同，机器人包括类人形机器人、动物形状机器人及手臂形机器人等形状各异的机器人；在本实施例中，机器人10选为手臂形机器人，由机械手臂与机械爪构成，其中，机械手臂为EPSON C4型号的六自由度机械臂，机械爪为ROBOTIQ三指机械爪。
处理器11用于接收各单元所传输的数据并对这些数据进行处理，并生成控制机器人10的控制信息，其可为单个处理器，也可为分布在不同位置处的多个处理器的集合。
感知单元12包括用于对机器人10周边环境进行视觉感知的深度摄像机，以对机器人10所要操作的物体进行检测与定位，此外，还可通过配置压力传感器、声传感器等不同功能传感器，以使该机器人***具备相应的感知能力。在本实施例中，深度摄像机为布置在机器人10工作台前面的Microsoft Kinect摄像机，以获取工作台场景，即机器人10的工作场景。
在工作过程中，处理器11通过Kinect摄像机获取工作台上的场景图片，使用YOLO算法检测图片中的物体，并定位出工作台上目标物体在机器人坐标系中的坐标。在本实施例中，YOLO算法选用Microsoft COCO数据集，该数据集含有如下表1所列的80种物体。通过检测出工作台上包含在Microsoft COCO数据集中的80种物体，获取该物体在Kinect所采集图像中的二维坐标，通过Kinect的二维坐标与三维坐标间的对应关系，获取物体在Kinect坐标系中的三维坐标；接着，基于Kinect坐标系与机器人坐标系间转换所对应的旋转矩阵和平移向量，根据目标物体在Kinect坐标系中的三维坐标，获取目标物体在机器人坐标系中的三维坐标。
表1 Microsoft coco数据集中所列80种物体的名称
本地存储单元14中存储有本地行为库，其中，行为库集成了机器人10执行的一系列动作序列及动作所作用的对象，即不同任务行为及其动作对象的集合，其中，动作所作用的对象用实体表示，即实体是机器人要操纵的物体或者目标，其可以是物体，也可以是一个位置，还可以是人。为了对实体的状态、属性等信息进行描述，在行为库中使用五元组ε表示实体：
ε＝＜ID,N,P,S,I＞
其中，ID是实体的编号，对实体进行唯一标识，以区分不同实体。N是实体的名称，表示该实体的含义。P是实体的位置，表示实体在机器人坐标系中的三维坐标。S是实体的状态，表示机器人与实体交互时的状态；在本实施例中，当实体是物体时，将实体的状态定义为Hold，Target，Free三种通用状态，Hold表示实体当前作为机械手臂的持有实体，Target表示实体当前作为机械手臂的目标实体，Free表示实体当前为空闲，即机械手未对其进行任何操作。I是实体的补充信息，比如，当实体是物体时，可用其表示实体的形状、大小、颜色等补充信息；若当实体无补充信息时，I为空。
行为库中的动作是机器人在执执行任务时的原子行为，即行为是机器人在执行任务时的一系列动作的组合，在行为库中，使用四元组Action表示动作：
Action＝＜ID,N,E,I＞
其中，ID是动作的编号，对动作进行唯一标识，以区分不同动作。N是动作的名称，表示该动作的含义。E是动作的执行，表示机器人在执行该动作时应该调用什么样的接口来实现，在本实施例中，根据机械手自身的结构和硬件设计，将机械手所执行的动作分为抓取、释放和移动，分别用grasp、release、move表示，对应为机械手对实体进行抓取操作、释放操作及将物体从一个位置移动到另外一个位置。I是动作的补充信息。
行为库中行为的执行过程用确定有限状态自动机(DFA，具体定义可参照硕士论文《面向感知增强机械手臂的任务学习与规划》，王淑刚，浙江大学，2016年8月)实现，其包含了机器人所有动作的组合，定义为：
ActionLibrary＝＜Action1,Action2,...,Actioni,...,Actionn＞
其中，Actioni表示行为库中第i个任务行为，n是行为库中任务行为的总个数。DFA中的状态是行为库中任务行为的所有实体的状态集合，DFA的字母表是行为库中状态变换的字符集合，DFA的转移函数是机器人在执行任务时从一个状态到另一个状态的转移函数，DFA的开始状态是每个行为的开始状态，DFA的结束状态是任务行为的终结状态。
任务是指需要机器人去完成的一项工作，任务行为是指机器人在完成某一任务时所需执行的行为动作及行为实体的集合，第i个任务行为定义为：
Actioni＝DFAi&＜obj1,obj2,...,objm＞
其中，DFAi表示执行该任务行为的DFA，objm表示参与该任务行为的实体，m表示参与该任务行为的实体个数。
通过构建行为库，从而可使机器人直接调用行为库中的任务行为对目标物体执行任务行为，该任务行为为目标任务行为，以完成某一项服务请求，并在构建行为库的过程中，对行为库中的实体与动作进行泛化，对实体的泛化是指将针对某一具体实体构建的任务行为适用至更高语义的实体上，使其从具体到一般；对动作的泛化是指对行为动作进行分类，将行为库中的行为归类为其所属的类别，以使机器人能够根据泛化后的行为库对未知目标物体执行任务行为，即，可使机器人的服务行为适配到更多的物体上，扩大机器人的服务范围。
在对行为库中实体进行泛化的过程中，使用lesk算法对WordNet中同一个词语表示的多个词集进行消歧处理，以获取准确词集，并用WordNet中的上位词关系获取准确词集的泛化结果objGeneraList：
objGeneraList＝[hypernym1,hypernym2,...,hypernymk]
其中，hypernym表示实体的上位词，k为该列表中上位词的个数。
具体泛化步骤如下：
(1)设置实体的词性为名词，获取该实体在WordNet中代表的词集synsets；
(2)输入含有实体且能够表达实体语义的语句sentence，运用Lesk算法进行语义消歧，从词集synsets中获取代表实体语义的子词集synset；
(3)运用WordNet的上位词函数hypernyms获取实体子词集synset对应的泛化词集generalization synsets；
(4)在泛化词集generalization synsets中根据语境选择泛化的高度，获取实体的泛化结果。
即，实体的泛化是指依据实体名词上下位关系，将对任务行为的动作对象从当前实体拓展至相类似实体上，以拓展任务行为的可操作对象种类，从而对相似物体只需学习并构建一次任务行为即可，有效地提高机器人的学习能力。
参见图2，在对行为库中动作进行泛化时，将机器人的所有动作分为抓取、释放和移动三个基本动作类，即机器人所执行的具体动作都可泛化为上述三个动作。抓取类动作中针对抓取物体的位置和形状设定不同的抓取模式和抓取角度；释放类动作是对抓取物体的直接释放，不涉及到释放的私有属性，直接执行就可以完成释放动作；移动类动作是机器人从一个位置移动到另一个位置，在移动时，涉及移动路径的规划，我们在类中定义了路径规划的私有属性。服务机器人在执行具体的动作时，针对实体属性选择适合的动作类，再对动作类进行具体化，即根据机器人抓取具体物体时的路径规划、抓取模式及抓取角度将泛化的动作具体成具体动作。抓取模式是指机器人在抓取物体的过程中，其机械手的机械爪的弯折状态及不同机械爪间的相对位置关系，以本实施例中三爪机器人的抓取模式为例，将其抓取模式分类为基本模式、宽模式、捏模式及剪刀式模式，如图5所示；如图5(a)所示，基本模式为机械爪1、机械爪2及机械爪3均以向内弯曲的状态抱住一个圆柱物体，机械爪1位于该圆柱体的一侧，其余两个机械爪位于该圆柱体的另一侧；如图5(b)所示，宽模式为机械爪1、机械爪2及机械爪3均以伸直状态夹住一个物体，且相邻两机械爪的夹角大致相同；如图5(c)所示，捏模式为机械爪1、机械爪2及机械爪3均为向内弯曲，并用指尖捏住物体；如图5(d)所示，剪刀式模式是指机械爪1与另两机械爪2、3位于相对两侧地夹住物体。机器人的抓取角度范围根据机械爪的结构特征-180度到180度中选择对应的角度范围。
即，动作的泛化是指将所有动作分解成抓取类动作、释放类动作及移动类动作，将抓取类动作成抽象成带参数的抓取角度函数与抓取模式函数，抓取角度的参数是-180度到180度，抓取模式的参数是上述提到的模式所代表的数字，及将移动类动作抽象成带参数的路径规划函数。根据感知单元检测到物体的形状，判断抓取该物体所需使用抓取模式及抓取角度，从而对行为动作中的抓取模式与抓取角度进行具体化，比如抓取卧置与立置的圆管，对两者均采用基本模式进行抓取，而对前者采用0度角度抓取，而对后者为采用90度角度抓取(以顺时针角度的正向)；比如抓取立置圆粗管与抓取立置扁条体，则两者的抓取角度均为90度，而前者的抓取模式为基本模式，后者为捏模式。
对行为库中的物体与动作进行泛化后，行为库中的每个任务行为可表示为：
GeneraActioni＝DFAi&＜objGeneraList1,objGeneraList2,...,objGeneraListm＞
其中，DFAi表示该任务行为的DFA，动作是泛化后的动作，objGeneraListm是每个实体的泛化列表。
在本实施例中，本地行为库中集合了如表2所列的四个任务行为，每个任务行为包括该行为在行为库中的编号、行为的名称、该行为中涉及到的实体以及实体所对应的编号。有些行为中包括多个实体，使用不同编号区分不同实体。
表2本地行为库
对实体泛化的高度为4，泛化结果如下表3所示。根据对实体的泛化列表，行为库中的任务行为可以适用于泛化后的实体。
表3行为库中的实体泛化列表
云端单元14融合了知识图谱和云端行为库，其中，云端行为库包含不同机器人的行为库和泛化行为库。其中，知识图谱是由ConceptNet和WordNet构成，ConceptNet用于描述实体之间的三元关系，WordNet是用来描述实体之间的语义关系。
由于云端单元14融合了知识图谱和云端行为库。通过将不同的行为融合在一起，可以使机器人不用重复学习行为的动作，就可直接根据存储在云端单元14中的行为选取相应场景下的服务行为。例如，当机器人从一个娱乐休闲的场景转换到老年人看护的场景，只需直接从云端融合的数据中提取在该场景下的行为即可，不用再教机器人怎么给老年人提供具体的行为。云端融合的行为在节省机器人学习行为成本的同时，扩大了机器人的服务范围。
该机器人***1控制机器人10进行工作的步骤如图3所示：
步骤S11，处理器10接收用户通过触摸屏、键盘、麦克风等输入设备输入的服务请求，获取需执行的目标任务行为B；比如通过麦克风输入“倒水”的语音类服务请求，则要求其执行“倒水”这一目标任务行为。
步骤S12，处理器10控制感知单元12中的Kinect摄像机对目标物体进行检测与定位，获取出目标物体在机器人坐标系中的三维坐标；比如，需对“倒水”这一服务行为所涉及的目标物体“Bottle”与“Cup”进行检测与定位。
步骤S13，判断本地行为库中的任务行为Bj是否适用上述服务请求，即是否存在与上述目标任务行为B相对应的任务行为Bj，若存在，则执行步骤S18；若不存在，则执行步骤S14。
步骤S14，判断云端行为库中的任务行为Bi是否适用上述服务请求，即是否存在与上述目标任务行为B所对应的任务行为Bi，若存在，则执行步骤S17；若不存在，则进行步骤S15。
步骤S15，以接收人工输入方式或以学习方式(可采用硕士论文《面向感知增强机械手臂的任务学习与规划》所提供的方式进行学习)构建的目标任务行为B，并执行步骤S16。
步骤S16，对新构建的目标任务行为B中的实体与动作进行泛化，获取实体的泛化实体列表及动作的泛化动作列表，泛化实体列表与泛化动作列表一起构成服务行为的泛化行为，并执行步骤S17。
步骤S17，更新本地行为库和/或云端行为库，并执行步骤S18。其中，若云端行为库中的任务行为适用，则依据步骤S14中所获取的任务行为对本地行为库进行更新；若为构建出的目标任务行为B，则依据步骤S15获取的目标任务行为B及依据步骤S16获取的泛化行为，对云端行为库与本地行为库进行更新。
步骤S18，执行行为库中的目标任务行为。
如图4所示，在上述步骤S13及S14中，判断行为库中是否存在适用上述服务请求的任务行为的具体步骤如下：
步骤S21，判断行为库中是否存在目标任务行为B，若存在，则执行步骤S26；若不存在，则执行步骤S22。
步骤S22，对目标任务行为B中的物体用WordNet泛化为该任务行为的泛化物体列表L，并执行步骤S23，在泛化过程中，用Lesk算法对目标任务行为B中的物体进行语义消歧。
步骤S23，遍历行为库中的每个任务行为Bk，若泛化物体列表L中的物体和任务行为Bk的泛化物体列表Lk存在交集，则执行步骤S24，若不存在，则执行步骤S27。
步骤S24，利用WordNet计算目标任务行为B的物体和行为Bk的泛化物体列表中的距离，选取距离最小的任务行为，即最小距离任务行为，并执行步骤S25；
步骤S25，判断最小距离任务行为的距离是否小于预设距离阈值，若小于，则执行步骤S26，否则，执行步骤S27。
步骤S26，认为行为库中存在与目标服务行为B相适应的任务行为，即行为库中的任务行为适用，并依据服务请求对最小距离任务行为进行调整。
对最小距离任务行为的调整为：
根据目标任务行为的具体服务请求与其实体的属性，按照机械手臂和机械爪的抓取角度、抓取模式和移动路径调整最小距离任务行为的动作，构成目标任务行为，即选取对应抓取模式编号与抓取角度值对抓取模式函数与抓取角度函数进行具体化。
步骤S27，认为行为库中不存在与目标任务行为B相适应的任务行为，即行为库中的任务行为不适用。
在工作过程中，对云端行为库的更新步骤如下：
(1)遍历每个机器人的本地行为库中实体的知识图谱，如果实体的知识图谱不存在云端单元中，则在云端单元中直接添加该实体的知识图谱。
(2)遍历每个机器人的本地行为库中的任务行为B，在云端查找是否存在与该任务行为B概念相同的行为，如果不存在，直接在云端行为库中添加该任务行为B；如果存在，则进行步骤(3)。相同概念行为满足两个条件：(1)行为动作的动词相同，(2)行为实体间的距离小于预设距离阈值，具体为，将行为的概念表示形式为BehaviorConcept＝＜verb,entity＞，比如，行为“吃苹果”表示为eatingApple＝＜eat,apple＞，两个行为的概念是否相同是通过比较verb和entity来实现，在该算法中，动词verb是否表达同一个概念是通过动词字符串形式的正确匹配实现，entity的相似是通过计算两个行为的entity之间的最短距离。两个实体之间的最短距离是计算两个实体到达最近的公共上位词的距离。如果两个行为概念中的verb不同，或者两个行为中的entity之间的最短距离大于该预设距离阈值，则认为该两个行为的概念不同。
(3)计算该任务行为B与其同概念行为中每个实体之间的最短距离EntityDistance；如果最短距离大于实体距离阈值，则表示任务行为B与其同概念行为是不同的，则在云端行为库中添加行为该任务行为；否则，进行步骤(4)。
(4)计算任务行为B和同概念行为的的动作序列的最小编辑距离BehaviorDistance。如果BehaviorDistance大于预设编辑距离阈值BehaviorDistanceThreshold，表示两个行为的执行序列有较大的差别，则在云端添加行为任务行为B；否则，认为任务行为B和同概念行为是相似的，不需要在云端行为库中添加任务行为B。
机器人***基于云端单元的控制过程如下：
(1)通过视觉感知获取环境中的实体，运用ConceptNet选择目标实体。如果感知到的实体和目标任务行为B要操作的对象不一样，运用ConceptNet中的IsA、RelatedTo、UsedFor等三元关系获取满足目标任务行为B操作对象的实体，即目标物体。在云端行为库中查找和目标任务行为B具有相同概念的同概念行为。若存在同概念行为，则计算目标任务行为B的实体和同概念行为的实体的距离，如果距离小于预设实体距离阈值EntityDistanceThreshold，机器人根据目标任务行为B的具体服务请求和其实体的属性，按照机械手臂和机械爪的抓取角度、抓取模式和移动路径调整同概念行为中的动作，以获取出目标任务行为B，并执行步骤(4)。如果云端行为库中的任务行为和目标任务行为B在概念上不同，则进行步骤(2)。
(2)构建目标任务行为B，并将构建出的目标任务行为B及其泛化行为加入到云端行为库中。
(3)对目标物体执行目标任务行为B。

Claims (9)

1.一种基于云端知识融合的感认知增强机器人***，其特征在于，包括机器人、处理器及与处理器通讯连接的感知单元、本地存储单元和云端单元；
感知单元包括用于获取机器人周边环境信息的深度摄像机，本地存储单元存储有本地行为库，云端单元融合有云端行为库，行为库是不同任务行为及实体的集合，行为是机器人在执行任务时一系列动作的组合，实体是行为动作的对象；
所述处理器用于：对行为库中的动作与实体进行泛化，构建泛化的行为库；接收服务请求；基于感知单元获取的周边环境信息，对与服务请求对应的目标物体进行检测与定位；从行为库中获取适用于服务请求与目标物体的目标任务行为；控制机器人对目标物体执行目标任务行为；
所述从行为库中获取适用于服务请求与目标物体的目标任务行为的步骤包括：
判断本地行为库中的任务行为是否适用；
若本地行为库中的任务行为不适用，则判断云端行为库中的任务行为是否适用，若适用，则更新本地行为库；
若云端行为库中的任务行为不适用，则构建目标任务行为，并更新本地行为库与云端行为库。
2.根据权利要求1所述的机器人***，其特征在于，所述基于感知单元获取的周边环境信息，对与服务请求对应的目标物体进行检测与定位的步骤包括：
接收深度摄像机获取的图像；
使用YOLO算法对图像中的物体进行检测与定位，获取目标物体及其在深度摄像机坐标系中的坐标；
利用定标方法将目标物体在深度摄像机坐标系中的坐标转换为目标物体在机器人坐标系中的坐标。
3.根据权利要求1所述的机器人***，其特征在于，判断行为库中的任务行为是否适用的步骤包括：
若行为库中不存在目标任务行为，用WordNet将目标任务行为的实体泛化为其泛化实体列表；
若行为库中存在泛化实体列表与目标任务行为的泛化实体列表有交集的任务行为，用WordNet计算目标任务行为的实体和行为库中任务行为的泛化实体列表的距离，获取距离最小的任务行为；
若最小距离小于预设距离阈值，则适用，并依据服务请求对最小距离任务行为进行调整，获取目标任务行为。
4.根据权利要求3所述的机器人***，其特征在于，所述依据服务请求对最小距离任务行为进行调整的步骤包括：
依据服务请求和目标服务行为的实体的属性，按照机器人抓取物体时的抓取角度、抓取模式和移动路径调整最小距离任务行为中的动作。
5.根据权利要求3所述的机器人***，其特征在于：
在构建出目标任务行为后，对其动作与实体进行泛化，构建泛化的行为，并将目标任务行为及泛化后的行为更新入行为库中。
6.根据权利要求1所述的机器人***，其特征在于，所述对行为库中的动作与实体进行泛化，构建泛化的行为库的步骤包括：
用WordNet将行为库中的实体泛化成泛化实体列表，并根据机器人抓取物体时的路径规划、抓取模式和抓取角度将行为库中的动作泛化成泛化动作列表，形成机器人的泛化行为库。
7.根据权利要求3至6任一项权利要求所述的机器人***，其特征在于，用WordNet对实体进行泛化的步骤包括：
设置实体的词性为名词，获取该实体在WordNet中代表的词集；
输入含有实体且能够表达实体语义的语句，运用Lesk算法进行语义消歧，从词集中获取代表实体语义的子词集；
运用WordNet的上位词函数hypernyms获取子词集对应的泛化词集；
在泛化词集中根据语境选择泛化的高度，获取实体的泛化结果。
8.根据权利要求1所述的机器人***，其特征在于，云端单元还融合有知识图谱，所述知识图谱包括ConceptNet与WordNet，更新云端单元的步骤如下：
遍历每个机器人本地行为库中实体的知识图谱，若有实体的知识图谱不存在云端单元中，则在云端单元中添加该实体的知识图谱；
遍历每个机器人本地行为库中的任务行为，若云端行为库中不存在与某一任务行为相同概念的同概念行为，则在云端单元中添加该任务行为；
若云端行为存在与该任务行为的同概念行为，则计算同概念行为与该任务行为中的每个实体之间的最短距离，若最短距离大于预设实体距离阈值，则在云端单元中添加该任务行为；
若最短距离小于等于预设实体距离阈值，计算同概念行为与该任务行为间动作序列的最小编辑距离，若最小编辑距离大于预设编辑距离阈值，则在云端单元中添加该行为。
9.根据权利要求1所述的机器人***，其特征在于，云端单元还融合了知识图谱，知识图谱包括ConceptNet与WordNet，基于云端单元，处理器用于：
根据感知单元从环境中获取的实体，运用ConceptNet选择目标实体，若感知到的实体和目标任务行为要操作的实体不同，利用ConceptNet中的三元关系获取满足目标任务行为操作对象的实体；
若云端行为库中存有与目标任务行为概念相同的行为，计算目标任务行为的实体和相同概念行为的实体距离，若实体距离小于预设实体距离阈值，则根据服务请求和目标任务行为中实体的属性，按照机器人的抓取角度、抓取模式和移动路径调整同概念行为中的动作，获取目标任务行为；
若云端行为库中不存在与目标任务行为相同概念的行为，则构建目标任务行为并对其进行泛化成其泛化行为，将目标任务行为及其泛化行为加入到云端行为库中。
CN201710353598.6A 2017-05-18 2017-05-18 一种基于云端知识融合的感认知增强机器人*** Active CN107291811B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710353598.6A CN107291811B (zh) 2017-05-18 2017-05-18 一种基于云端知识融合的感认知增强机器人***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710353598.6A CN107291811B (zh) 2017-05-18 2017-05-18 一种基于云端知识融合的感认知增强机器人***

Publications (2)

Publication Number Publication Date
CN107291811A CN107291811A (zh) 2017-10-24
CN107291811B true CN107291811B (zh) 2019-11-29

Family

ID=60094139

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710353598.6A Active CN107291811B (zh) 2017-05-18 2017-05-18 一种基于云端知识融合的感认知增强机器人***

Country Status (1)

Country Link
CN (1) CN107291811B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108297116A (zh) * 2018-02-24 2018-07-20 上海理工大学 一种智能机器人手部***
CN108711172B (zh) * 2018-04-24 2020-07-03 中国海洋大学 基于细粒度分类的无人机识别与定位方法
CN108748149B (zh) * 2018-06-04 2021-05-28 上海理工大学 一种复杂环境下基于深度学习的无标定机械臂抓取方法
CN109465834A (zh) * 2019-01-04 2019-03-15 北京邮电大学 一种基于规划知识库的机械臂快速任务规划方法
CN110263342A (zh) * 2019-06-20 2019-09-20 北京百度网讯科技有限公司 实体的上下位关系的挖掘方法和装置、电子设备
CN111424380B (zh) * 2020-03-31 2021-04-30 山东大学 一种基于技能学习与泛化的机器人缝制***及方法
CN111975783B (zh) * 2020-08-31 2021-09-03 广东工业大学 一种机器人抓取检测方法及***
CN112085122B (zh) * 2020-09-21 2024-03-15 中国科学院上海微***与信息技术研究所 一种基于本体的半监督图像场景语义深化方法
CN113925742B (zh) * 2021-10-20 2022-06-21 南通大学 一种目标驱动式的上肢外骨骼康复机器人的控制方法及其控制***
CN117950481A (zh) * 2022-10-17 2024-04-30 中国电信股份有限公司 交互信息生成方法、装置、***、电子设备及介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101782976A (zh) * 2010-01-15 2010-07-21 南京邮电大学 一种云计算环境下机器学习自动选择方法
CN105078449A (zh) * 2015-08-24 2015-11-25 华南理工大学 基于健康服务机器人的老年痴呆症监护***
CN105643607A (zh) * 2016-04-08 2016-06-08 深圳市中科智敏机器人科技有限公司 一种具备感知和认知能力的智能工业机器人
CN105729468A (zh) * 2016-01-27 2016-07-06 浙江大学 一种基于多深度摄像机增强的机器人工作台
CN106142087A (zh) * 2016-08-10 2016-11-23 东北大学 一种基于云计算的智能机器人***及其控制方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101782976A (zh) * 2010-01-15 2010-07-21 南京邮电大学 一种云计算环境下机器学习自动选择方法
CN105078449A (zh) * 2015-08-24 2015-11-25 华南理工大学 基于健康服务机器人的老年痴呆症监护***
CN105729468A (zh) * 2016-01-27 2016-07-06 浙江大学 一种基于多深度摄像机增强的机器人工作台
CN105643607A (zh) * 2016-04-08 2016-06-08 深圳市中科智敏机器人科技有限公司 一种具备感知和认知能力的智能工业机器人
CN106142087A (zh) * 2016-08-10 2016-11-23 东北大学 一种基于云计算的智能机器人***及其控制方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Wisanu Jitviriya 等."Development of Cloud Action for Seamless Robot Using Backpropagation Neural Network.《The 2017 International Conference on Artificial Life and Robotics (ICAROB 2017)》.2017, *
杨建华 等."基于贡献模型的多机器人多目标观测方法".《模式识别与人工智能》.2015,第28卷(第4期), *
杨莎 等."感认知增强的智能机械手***".《浙江大学学报（工学版）》.2016,第50卷(第6期), *
王淑刚."面向感知增强机械手臂的任务学习与规划".《中国优秀硕士学位论文全文数据库信息科技辑（月刊）》.2016,(第07期), *

Also Published As

Publication number Publication date
CN107291811A (zh) 2017-10-24

Similar Documents

Publication Publication Date Title
CN107291811B (zh) 一种基于云端知识融合的感认知增强机器人***
Rusu et al. Sim-to-real robot learning from pixels with progressive nets
CN107214701B (zh) 一种基于运动基元库的带电作业机械臂自主避障路径规划方法
Alonso et al. Current research trends in robot grasping and bin picking
CN109782600A (zh) 一种通过虚拟环境建立自主移动机器人导航***的方法
Chen et al. Deep reinforcement learning based trajectory planning under uncertain constraints
CN109483534A (zh) 一种物体抓取方法、装置和***
Auerbach et al. Dynamic resolution in the co-evolution of morphology and control
Valarezo Anazco et al. Natural object manipulation using anthropomorphic robotic hand through deep reinforcement learning and deep grasping probability network
Shen et al. Learning category-level generalizable object manipulation policy via generative adversarial self-imitation learning from demonstrations
Raessa et al. Teaching a robot to use electric tools with regrasp planning
Sanfilippo et al. A universal control architecture for maritime cranes and robots using genetic algorithms as a possible mapping approach
Marchese A directional diffusion algorithm on cellular automata for robot path-planning
WO2022191414A1 (en) Parameterized waypoint generation on dynamically parented non-static objects for robotic autonomous tasks
Leidner et al. Hybrid reasoning for mobile manipulation based on object knowledge
Takamatsu et al. Learning-from-observation system considering hardware-level reusability
Vanc et al. Communicating human intent to a robotic companion by multi-type gesture sentences
Pocius et al. Communicating robot goals via haptic feedback in manipulation tasks
Crenganis et al. Inverse kinematics of a 7 DOF manipulator using adaptive neuro-fuzzy inference systems
Wendemuth et al. Towards cognitive systems for assisted cooperative processes of goal finding and strategy change
Atanasyan et al. An architecture for ar-based human-machine interaction with application to an autonomous mobile robot platform
Gu et al. A Survey on Robotic Manipulation of Deformable Objects: Recent Advances, Open Challenges and New Frontiers
Tascillo et al. Neural and fuzzy robotic hand control
Oliveira et al. A Brief Overview of Teleoperation and Its Applications
Hao et al. Masked imitation learning: Discovering environment-invariant modalities in multimodal demonstrations

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant