CN103128736B - 机器人装置、其控制方法和计算机程序 - Google Patents
机器人装置、其控制方法和计算机程序 Download PDFInfo
- Publication number
- CN103128736B CN103128736B CN201210488642.1A CN201210488642A CN103128736B CN 103128736 B CN103128736 B CN 103128736B CN 201210488642 A CN201210488642 A CN 201210488642A CN 103128736 B CN103128736 B CN 103128736B
- Authority
- CN
- China
- Prior art keywords
- user
- arm
- unit
- robot
- determines
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
- B25J13/088—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices with position, velocity or acceleration sensors
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J11/00—Manipulators not otherwise provided for
- B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J11/00—Manipulators not otherwise provided for
- B25J11/008—Manipulators for service tasks
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Manipulator (AREA)
Abstract
本申请涉及机器人装置、其控制方法和计算机程序。一种机器人装置包括:接收臂确定单元,其从用户的左臂或右臂确定用于递送物体的接收臂;手位置计算单元,其计算所述接收臂的手的当前位置;递送操作单元,其在使用所述手位置计算单元计算的所述接收臂的手的位置处执行物体递送操作。
Description
技术领域
本申请涉及在用户的实际生活环境中工作的机器人装置(以下简称为“机器人”),例如,像家政、安乐、护理或援助一样的生活支持,并且涉及其控制方法和计算机程序。具体地讲,本技术涉及与用户使用其来执行物体转移互动(也就是说,递送操作)的机器人,并且涉及其控制方法和计算机程序。
背景技术
相关技术已知设计用于执行日常任务并且安装在工厂中的机器人。近年来,逐渐地实现了能够执行各种类型的操作的机器人。后者的机器人应用于诸如福利、护理和援助的领域,并且例如,此类机器人获取所需物体并将其递送给生理残疾人士。
然而,如果机器人在不考虑用户的身体特征的情况下执行递送操作,就可能给接收物体的用户造成不必要的负担。例如,如果机器人试图从左侧将物体递送给身体的左侧存在残疾的用户,那么就会给用户造成负担。在最坏的情况下,用户就很难接收物体。
此外,即使当用户是身体健全的人时,如果机器人试图从用手习惯的相反侧将物体递送给这个人,那么用户就可能很有压力。存在用户无法接收物体的风险,因此物体可能掉落并且损坏。
另外,如果机器人在不考虑接收物体的用户的手的位置或高度的情况下将物体递送给用户,那么对于高个子的用户在不弯腰的情况下就很难接收物体,因此给用户造成物理上的不便。
因此,提出了一种通信机器人。该机器人基于用户与机器人之间的距离或用户看着机器人的时间周期来确定与用户的亲密度,并且这样更新了互动参数,使得互动优化(例如参见日本未实审的专利申请公开No.2006-247780)。尽管以上描述的通信机器人也可以更新通信参数,但是机器人不考虑用户站立或坐等的姿态以及用户的用手习惯。因此,即使在通信机器人与用户建立了优化的互动的过程中是高效的,但是一旦建立了优化的关系,就不会执行不给用户造成负担的舒适的互动。
此外,提出了与用户的操作同步并且进一步改变同步关系的机器人(例如,参见日本未实审的专利申请公开No.2005-342873)。然而,词语“同步”是指“约定(engagement)”,因此在本质上不同于考虑用户身体特征或在不对用户造成负担的情况下执行的互动。
此外还提出了对话机器人,该机器人使用无线标签或红外标签识别用户及用户的方向,并提供适合于该用户的服务和内容(例如,参见日本未实审的专利申请公开No.2007-268696)。然而,即使当用户在其不处于机器人面前的时候表示对机器人的方向的兴趣时,或当用户没有面对机器人的方向时,对话机器人也提供适合于用户的服务和内容,因此在本质上不同于在考虑用户身体特征(诸如面对用户的方向)的情况下执行的互动。
发明内容
希望提供一种能在不给用户造成过大负担的情况下与用户执行物体转移互动的卓越的机器人及其控制方法和计算机程序。
根据本技术的第一实施例,提供了一种机器人,所述机器人包括:接收臂确定单元,其从用户的左臂或右臂中确定在递送物体中使用的接收臂;手位置计算单元,其计算所述接收臂的手的当前位置;递送操作单元,其在使用所述手位置计算单元计算的所述接收臂的手的位置处执行物体递送操作。
根据本技术的第二实施例,根据第一实施例的机器人的接收臂确定单元可以基于身体特征信息确定所述用户的接收臂,所述身体特征信息涉及所述用户的优势臂、手臂是否存在残疾或容易执行物体接收操作的手臂。
根据本技术的第三实施例,根据第二实施例的机器人还可以对于各个用户包括用户身体特征数据库中的身体特征信息(涉及优势臂、手臂是否存在残疾、或容易执行物体接收操作的手臂)作为事先的知识。此外,接收臂确定单元可以参考用户身体特征数据库获取身体特征信息(涉及执行物体转移的所述用户的优势臂、手臂是否存在残疾、或容易执行物体接收操作的手臂)。
根据本技术的第四实施例,根据第一实施例的机器人可以还包括:用户身高信息获取单元,其获取涉及所述用户的身高的信息;用户姿态确定单元,其确定所述用户的当前姿态。此外,所述手位置计算单元可基于所述用户的身高和所述用户的当前姿态计算所述接收臂的手的当前位置。
根据本技术的第五实施例,根据第四实施例的机器人可以对于各个用户还包括用户身体特征数据库中的身体特征信息(涉及身高)作为事先的知识,此外,所述手位置计算单元可以参考用户身体特征数据库获取所述身体特征信息(涉及执行物体转移的用户的身高)。
根据本技术的第六实施例,根据第四实施例的机器人可以还包括每个姿态的身体模型,即站立、躺卧或坐。此外,所述手位置计算单元可以通过将使用所述用户身高信息获取单元获取的所述用户的身高应用于与(使用所述用户姿态确定单元确定的)所述用户的当前姿态相对应的身体模型来计算所述接收臂的手的当前位置。
根据本技术的第七实施例,根据第四实施例的机器人可以还包括计算所述用户的面部位置的面部位置计算单元。此外,所述用户姿态确定单元可以通过将使用所述用户身高信息获取单元获取的所述用户的身高与所述用户的面部位置进行比较来确定所述用户的姿态是否是站立。
根据本技术的第八实施例,根据第七实施例的机器人可以还包括检测所述用户的面部姿态的面部姿态检测单元。此外,当所述用户的姿态不是站立时,所述用户姿态确定单元可以基于使用所述面部姿态检测单元检测的所述用户的面部姿态确定所述用户的姿态是躺卧还是坐。
根据本技术的第九实施例,根据第一实施例的机器人可以还包括:移动单元,其移动所述机器人的位置;臂部分,其能抓取所述物体。此外,所述递送操作单元可以执行使用所述移动单元来向所述用户的接收臂移动的操作,并且可以将使用所述臂部分抓取的物体送到所述接收臂的手的位置处。
根据本技术的第十实施例,根据第四实施例的机器人可以还包括涉及所述机器人的周围环境的环境地图。此外,所述用户姿态确定单元可以通过参照所述用户所处位置的环境的环境地图而确定所述用户的当前位置。
此外,根据本技术的第十一实施例,提供了一种机器人控制方法,所述机器人控制方法包括:确定用户的左臂或右臂作为用于递送物体的接收臂;计算所述接收臂的手的当前位置;在使用所述手位置计算单元计算的所述接收臂的手的位置处执行物体递送操作。
此外,根据本技术的第十二实施例,提供了一种计算机程序,所述计算机程序以计算机可读格式编写以控制机器人并使计算机用作:接收臂确定单元,其从用户的左臂或右臂确定用于递送物体的接收臂;手位置计算单元,其计算所述接收臂的手的当前位置;递送操作单元,其在使用所述手位置计算单元计算的所述接收臂的手的位置处执行物体递送操作。
根据本技术的第十二实施例的计算机程序定义了一种计算机程序,所述计算机程序以计算机可读格式编写,使得在所述计算机中执行预定的处理。换句话讲,当根据本技术的第十二实施例的计算机程序在所述计算机上执行时,在所述计算机上呈现协同操作,可以获得与根据本技术的第一实施例的机器人相同的操作效果。
根据本申请中公开的本技术,可以提供一种能在不对用户造成过大负担的情况下通过考虑用户身体特征与用户执行物体转移互动的卓越的机器人及其控制方法和计算机程序。
根据本申请中公开的技术,机器人可以确定用户的优势臂,并且可以确定:由于偏瘫或骨折,身体的右侧还是身体的左侧对于用户而言更容易操作(或,善于操作)。此外,可以在递送物体的同时,基于身体特征考虑用户容易接收物体的方向以及用户的手达到的并且用户容易接收物体的高度时,身体特征诸如用户的身高和用户的当前姿态(坐在沙发上或睡在床上)。
根据本申请中公开的技术,用户能够以放松的姿态(不会疲劳)接收物体。也就是说,当从机器人接收物体时,用户可以在负担减少的情况下与机器人执行自然的互动。
使用基于随后将进行描述的实施例或附图的更加详细的描述,说明书中公开的技术的其他目的、特征和优点将会变得清晰。
附图说明
图1为图示了可以应用本申请中公开的技术的机器人外观的视图;
图2为示意性地图示了可以应用本申请中公开的技术的机器人的关节的自由度(DOF)的配置的视图;
图3为示意性地图示了图1中示出的机器人的控制***的配置的视图;
图4为示意性地图示了使得机器人实施物体转移互动的功能配置的视图;
图5为图示了使得机器人实施物体转移互动的处理过程(当从用户接收到转移物体的指令时到当机器人来到用户旁边时所执行的)的流程图;
图6为图示了使得机器人实施物体转移互动的处理过程(用户姿态推测)的流程图;
图7为图示了使得机器人实施物体转移互动的处理过程(当假定了用户的手的位置时到当递送了物体时所执行的)的流程图;
图8为图示了用户身体特征数据库的配置的示例的视图;
图9A为图示了当用户躺卧时用户面部姿态的视图;
图9B为图示了当用户站立或坐时用户面部姿态的视图;
图10A为图示了个人站立身体模型的图示;
图10B为图示了个人躺卧身体模型的图示;
图10C为图示了个人坐身体模型的图示;
图11A和11B为图示了机器人将物体送到站立的用户的优势臂的手的位置的情形和机器人将物体送到坐的用户的优势臂的手的位置的情形的视图,以及;
图12为图示了机器人将物体送到站立的用户的未受伤的一侧(容易接收物体的一侧)的手的位置的视图。
具体实施方式
以下将参照附图详细描述本申请中公开的技术的实施例。
图1示出了可以应用本申请中公开的技术的机器人100的外观。机器人100具有多个联接件使用关节连接的联接结构,并且各关节使用致动器操作。此外,图2示意性地示出了机器人100的关节配置的自由度(DOF)。尽管图中示出的机器人100安装在时刻动态变化的诸如家庭的周围环境中,并且被配置成执行生活支持,诸如家务活或护理,机器人100可以安装在工厂中并且可以执行日常任务。
图中示出的机器人100为双臂型,并且包括面对基座部分的双驱动轮101R和101L作为移动部分。各个驱动轮101R和101L分别由绕着俯仰轴旋转的驱动轮致动器102R和102L驱动。同时,在图2中,参考数字151、152和153表示实际不存在的欠致动关节,分别对应于相对于机器人100的地面的X方向(纵向)的平移自由度、Y方向(横向)的平移自由度和绕着偏航轴的旋转自由度,并且示出了在虚拟世界中机器人100的移动。
移动部分通过腕关节连接到上主体。腕关节由绕着俯仰轴旋转的腕关节俯仰轴致动器103驱动。上主体包括两个(右侧和左侧)臂部分和通过颈关节连接的头部分。各右侧和左侧臂部分具有总共7个DOF,包括3DOF肩关节,2DOF肘关节和2DOF腕关节。3DOF肩关节由肩关节俯仰轴致动器104R或104L、肩关节横滚轴致动器105R或105L以及肩关节偏航轴致动器106R或106L驱动。2DOF肘关节由肘关节俯仰轴致动器107R或107L以及肘关节偏航轴致动器108R或108L驱动。2DOF腕关节由腕关节横滚轴致动器109R或109L以及腕关节俯仰轴致动器110R或110L驱动。此外,2DOF颈关节由颈关节俯仰轴致动器111和颈关节偏航轴致动器112驱动。此外,各右侧和左侧臂部分的末端的1DOF手关节由手关节横滚轴致动器113R或113L驱动。在实施例中,当驱动手关节横滚轴致动器113R或113L时,可以使用手指来实施抓取物体的操作。
同时,尽管图中示出的机器人100包括彼此相对的两轮型移动部分,但是本申请中公开的技术要点并不局限于彼此相对的两轮型移动部分。例如,可以将本申请中公开的技术以相同的方式应用于包括腿型移动部分的机器人100。
除了用于测量关节角度的编码器、用于生成扭矩的电机以及用于驱动电机的电流控制型电机驱动器之外,用于获得足够的生成力的减速齿轮附接到各轴的致动器上。此外,用于对致动器执行驱动控制的微型计算机设置在致动器上(图2中均未示出两者)。
在主机上执行机器人100的动态算法,并且生成关节致动器的扭矩或关节角度的目标控制值。目标控制值被传送到设置在致动器上的控制微型计算机,并且用于控制在控制微型计算机上执行的致动器。此外,各关节致动器是基于力控制方法或位置控制方法控制的。
图3示意性地示出了图1中示出的机器人100的控制***的配置。机器人100包括控制单元310、输入/输出单元320和驱动单元330,控制单元310一般控制总体操作并且执行其他数据处理。以下将会描述各单元。
输入/输出单元320包括照相机321、距离传感器322和麦克风323作为输入单元,照相机对应于机器人100的眼睛,麦克风对应于机器人100的耳朵。此外,输入/输出单元320包括对应于机器人100的嘴的扬声器324作为输出单元。这里,照相机321是立体照相机,并且可以执行定位操作。此外,距离传感器322包括空间传感器,例如,诸如激光测距仪。此外,机器人100可以(例如)通过从麦克风323输入用户的语音而接收任务指令。然而,机器人100可以包括以有线或无线方式或通过记录介质的另一个任务指令输入单元(未示出)。
此外,输入/输出单元320包括无线通信单元325。机器人100可以使用无线通信单元325通过通信路径(诸如Wi-Fi(无线保真))与用户的平板终端(未示出)执行数据通信。
驱动单元330是用于实施机器人100的各关节的自由度的功能模型,并且包括安装在各个轴(例如,各关节的横滚轴、俯仰轴和偏航轴)上的多个驱动单元。各驱动单元被配置成组合了:电机331,其执行绕着预定轴的旋转运动;编码器332,其检测电机331的旋转位置;驱动器333,其基于来自编码器332的输出适应性地控制电机331的旋转位置和旋转速度。
控制单元310包括识别单元311、驱动控制单元312和环境地图313。
识别单元311基于从输入/输出单元320的输入单元(也就是说,照相机321或距离传感器322)获得的信息识别周围环境。例如,识别单元311提前构造环境地图313或基于照相机321的位置姿态信息和物体信息来更新环境地图313,位置姿态信息是通过执行假定照相机321的位置的自身位置假定处理而获得的,物体信息是通过执行图像识别处理而获得的,图像识别处理是检测来自使用照相机321拍摄的相片的物体。
驱动控制单元312控制输入/输出单元320的输出单元和驱动单元330的驱动。例如,驱动控制单元312控制驱动单元330,使得机器人100实施任务。这里,机器人100实施的任务包括与用户进行物理互动,例如递送用户指定的物体,并且使得驱动轮致动器102R和102L或各臂部分的各关节致动器被驱动以便实施互动。
如果机器人100在几乎不考虑用户身体特征的情况下执行物体转移互动,那么就会对接收物体的用户造成很大负担。在最坏的情况下,很难将物体递送给用户。因此,在实施例中,机器人100在执行物体转移互动时考虑了用户身体特征,因此不会对用户造成过大的负担。
图4示意性地示出了使得机器人100实施物体转移互动的功能配置。基本上,图中示出的功能块分别实施为使用以上描述的识别单元311和驱动控制单元312执行的处理。
用户识别单元401通过对使用照相机321拍摄的图像执行面部识别而识别用户,并且输出用户识别信息(用户ID)到用户身高信息获取单元402和优势臂确定单元403。作为修改,用户拥有RFID标签并且用户识别单元401配备有标签读取器,因此可以从RFID标签读取用户ID。
用户身体特征数据库404使用用户ID来管理各用户的身体特征。稍后将会详细描述使用用户身体特征数据库404来管理的身体特征。用户身高信息获取单元402查询用户身体特征数据库404有关用户ID并且获取用户身高信息,用户ID是从用户识别单元401接收的。此外,优势臂确定单元403查询用户身体特征数据库404有关用户ID并且确定用户的优势臂,用户ID是从用户识别单元401接收的。同时,用户身体特征数据库404可以配备在机器人100中并且可以通过通信通道安装在外部。
移动路径设计单元405设计用于靠近用户的优势臂的移动路径,用户的优势臂是使用优势臂确定单元403确定的。此后,移动控制单元406控制驱动轮致动器102R和102L的驱动以便沿着使用移动路径设计单元405设计的移动路径移动。
面部姿态检测单元407通过对使用照相机321拍摄的图像执行面部检测处理而检测用户的面部姿态。此外,面部位置计算单元408通过对使用照相机321拍摄的图像执行面部检测处理来计算用户的面部位置(高度)。
用户姿态确定单元409基于使用用户身高信息获取单元402获取的用户身高信息、使用面部姿态检测单元407检测的面部姿态以及使用面部位置计算单元408计算的面部位置来确定用户的当前姿态。可以基于面部相对于用户的身高的当前位置(高度)确定用户是否是站立。此外,当用户不是站立时,可以考虑用户躺卧的情况和用户坐的情况。基于面部姿态可以确定以上任一情况。
同时,机器人100在执行自身位置假定(以上描述的)的同时生成并且更新环境地图313。用户姿态确定单元409可以被配置成使用环境地图313的信息来假定用户的姿态。例如,当用户的面部在床上时,就可能确定用户有很大可能性是在睡觉。
用户手位置计算单元410基于用户的姿态计算用户的优势臂的手的当前位置,用户的姿态是使用用户姿态确定单元409确定的。如稍后所述,可以通过将用户身高信息应用于各个姿态(也就是说,站立、躺卧和坐)的身体模型而计算用户的手的位置,用户身高信息是使用用户身高信息获取单元402获取的。
臂轨道设计单元411设计右侧和左侧臂部分的任意一个的轨道以便在使用用户手位置计算单元410计算的用户的手的位置处转移物体。此后,臂控制单元412控制臂部分的各关节致动器的驱动,使得臂部分沿着使用臂轨道设计单元411设计的臂部分的轨道移动。
图5至7以流程图的形式示出了使得机器人100实施物体转移互动的处理过程。这里,图5示出了当从用户接收到转移物体的指令时到当机器人靠近用户时所执行的处理过程,图6示出了假定用户的姿态的处理过程,并且图7示出了当假定用户的手的位置时到当递送了物体时所执行的处理过程。
首先,将参照图5描述当从用户接收到转移物体的指令时到当机器人100靠近用户时所执行的处理过程。
首先,在步骤S501中,机器人100从用户接收拿取物体的指令。尽管从用户接收指令的方法没有在图中示出,但是可以使用语音或来自面板终端的通信来执行该方法。此外,在从用户接收到指令的时间点,假设机器人100获取了用户的大致位置(当使用语音给出指令时,可以使用声源方向假定技术获取位置信息。此外,当用户从平板终端给出指令时,可以使用通信获取位置信息)。
随后,在步骤S502中,用户识别单元401确定给出指令的用户是否是已知的用户。
这里,当给出指令的用户未知时(步骤S502中为否),在步骤S503中机器人100移动到用户的附近。此后,在步骤S504中,用户识别单元401通过使用由照相机321拍摄的图像执行面部识别或者通过使用无线标签执行个人识别来确定用户ID。
随后,优势臂确定单元403查询用户身体特征数据库404有关从用户识别单元401接收的用户ID并且在步骤S505中获取用户优势臂信息,并且在步骤S506中确定优势臂。同时,这里所指的“优势臂”并不局限于优势臂的本意(稍后描述)。
此后,如果用户惯用右手(在步骤S506中为是),则在步骤S507中,移动路径设计单元405设计移动路径以便接近用户的右臂,并且移动控制单元406使得机器人100沿着移动路径移动到用户的右臂侧。此外,如果用户惯用左手(在步骤S506中为否),则在步骤S508中,移动路径设计单元405设计移动路径以便接近用户的左臂,并且移动控制单元406使得机器人100沿着移动路径移动到用户的左臂侧。
图8示出了用户身体特征数据库404的配置的示例。图中示出的用户身体特征数据库404包括用户数据801和各用户的身体特征数据802,用户数据是通过将用于识别用户的用户ID与涉及用户的身体特征数据的指标相关联而获得的。
各用户的身体特征数据802包括涉及用户的优势臂的优势臂信息和涉及用户的身高的身高信息。
优势臂信息不局限于优势臂的本意。例如,对于因为失调或麻痹而在身体操作上受限的用户而言,可以理解的是,优势臂是用户可以自由移动的一侧的手臂。此外,对于因为骨折或物理损伤而在身体操作上暂时受限的用户而言,可以理解的是,优势臂是用户可以自由移动的一侧的手臂、适合于接收物体的一侧的手臂和可以容易接收物体的一侧的手臂。尽管在图8中优势臂信息简单地表示为“右侧或左侧”,但是表示在优势臂相反侧的手臂是否可以使用的信息,例如,“惯用右手但是左手有抓住能力”或“仅右手有抓住能力因为左手受伤了”,可以添加到优势臂信息中。例如,当因为环境中的障碍而难以从用户的身体的右侧执行递送时,就可能基于该信息来执行确定是否可以接近用户的身体的左侧的应用。
身高信息并不局限于用户自身的身高。也就是说,身高信息可以是可用于假定用户的手的位置并且涉及用户的身体的尺寸特别是高度的信息。例如,可以使用简单的配置,其中,通过将身高信息分类成成人和儿童两类而对其进行管理。
当执行图5至7中示出的处理过程时,就提前在用户身体特征数据库404中登记优势臂信息和身高信息。然而,本申请中公开的技术要点并不局限于此。例如,由于将语音互动与用户相组合,用户就可以教导对应于优势臂信息和身高信息的信息,并且机器人可以获取信息并且更新用户身体特征数据库404。
同时,存在在步骤S501中因为新用户输入指令而用户识别单元401难以使用面部识别或无线标签来确定用户的情况。在这种情况下,可以进行如下配置使得默认的用户(例如,“惯用右手并且170cm”)设置在用户身体特征数据库404中,并且基于默认用户执行到用户的移动。
随后,将参照图6描述机器人100假定用户的姿态的处理过程。
在步骤S601中,面部姿态检测单元407对使用照相机321拍摄的图像执行面部识别,并且在识别处理的过程中同时计算面部姿态。例如,已经提前转让给本申请人的日本未经审查的专利申请公开No.2005-284487公开了一种在执行面部识别处理的同时计算面部姿态的方法。
此外,在步骤S602中,面部位置计算单元408使用立体照相机在世界坐标系中计算用户的面部位置。
此外,在步骤S603中,用户身体信息获取单元402查询用户身体特征数据库404有关用户ID并且获取用户身体信息,用户ID是从用户识别单元401接收的。
随后,用户姿态确定单元409基于使用用户身体信息获取单元402获得用户身体信息确定与用户的当前姿态相对应的是三种类型的状态中(也就是说,站立、睡觉和坐)的哪一种。因此,首先,在步骤S604中,检查在步骤S602中获取的面部位置(高度)是否差不多匹配用户的身高。
当面部位置(高度)差不多匹配用户的身高(步骤S604为是)时,用户姿态确定单元409就确定用户的当前姿态是站立。
另一方面,当面部位置(高度)不匹配用户的身高(步骤S604为否)时,在步骤S605中,用户姿态确定单元409将步骤S601中获得的面部姿态的大小与预定的阈值进行比较以便确定两种状态中(也就是说,睡觉和坐)的哪一种对应于用户的当前姿态。
尽管相对于面部姿态有3个DOF,也就是说,横滚、俯仰和偏航,但是这里使用照相机图像的旋转角度θ(横滚角度)的绝对值。当旋转角度θ的绝对值|θ|大于某一阈值θth(步骤S605中为是)时,则用户姿态确定单元409可以确定用户是躺卧的,如图9A所示。可替代地,用户姿态确定单元409可以基于用户相对于环境地图313是在床上的事实确定用户是躺卧的。其原因在于,可以确定当用户的面部在床上时用户有很大的可能性是在睡觉。
当旋转角度θ的绝对值|θ|小于某一阈值θth(步骤S605中为否)时,则用户姿态确定单元409可以确定用户是站立或坐的,如图9B所示。由于已经清楚面部位置(高度)不匹配身高(步骤S604中为否)并且用户不是站立的,因此这里可以确定用户是坐的。可替代地,用户姿态确定单元409可以基于用户相对于环境地图313是在沙发上的事实确定用户是坐的。
随后,将参照图7描述当机器人100假定用户的手的位置时到当机器人100递送了物体时所执行的处理过程。
当在步骤S701中在执行了图6中示出的处理过程之后理解了用户是站立的事实时,在步骤S702中,用户手位置计算单元410基于图10A中示出的个人站立身体模型和步骤S603中获取的用户身高信息来计算在步骤S506中确定的用户的优势臂的手的当前位置,也就是说,站立的用户可以容易地获得物体的方向以及用户的手达到的并且用户可以容易地获得物体的高度。
此外,当步骤S703中在执行了图6中示出的处理过程之后理解了用户是躺卧的事实时,在步骤S704中,用户手位置计算单元410基于图10B中示出的个人躺卧身体模型和步骤S603中获取的用户身高信息来计算在步骤S506中确定的用户的优势臂的手的当前位置,也就是说,躺卧的用户可以容易地获得物体的方向以及用户的手达到的并且用户可以容易地获得物体的高度。
此外,当步骤S705中在执行了图6中示出的处理过程之后理解了用户是坐下的事实时,在步骤S706中,用户手位置计算单元410基于图10C中示出的个人坐下身体模型和步骤S603中获取的用户身高信息来计算在步骤S506中确定的用户的优势臂的手的当前位置,也就是说,坐的用户可以容易地获得物体的方向以及用户的手达到的并且用户可以容易地获得物体的高度。
使用在步骤S602中计算的世界坐标系中的用户面部位置的姿态,对使用用户手位置计算单元410计算的用户的优势臂的手的位置执行坐标变换。臂轨道设计单元411设计右侧和左侧臂部分的任意一个的轨道以便将物体转移到用户的手的位置处。此后,在步骤S707中,臂控制单元412控制优势臂部分的各关节致动器的驱动,使得臂部分沿着使用臂轨道设计单元411设计的臂部分的轨道移动并且送出物体。
这里,将会描述在步骤S702、S704和S706中执行的计算用户的手的位置的方法。
与机器人100执行物体转移互动的用户的基本姿态被分类成三种状态,也就是说,站立、躺卧和坐,并且在图10A、10B和10C中分别考虑了与这些状态相对应的个人身体模型。此后,当从用户侧观察时,坐标系被设置成相对于各模型向前的x、向左的y和向上的z。
在图10A示出的个人站立身体模型中,在以下等式1中定义了基于面部位置的手的位置(Δx、Δy、Δz)。
Δx=L×α1x+β1x
Δz=-(L×α1z+β1z)
然而,在以上等式1中,L是人的身高。此外,α和β是通过测量人体的尺寸获得的参数。基于取决于身高的参数α和不取决于身高的参数β,计算了优势臂的手的位置。
以同样的方式,在图10B中示出的个人躺卧身体模型中,在以下等式2中定义了基于面部位置的手的位置(Δx、Δy、Δz)。
Δx=L×α2x+β2x
Δz=-(L×α2z+β2z)
此外,在图10C中示出的个人坐身体模型中,在以下等式3中定义了基于面部位置的手的位置(Δx、Δy、Δz)。
Δx=L×α3x+β3x
Δz=-(L×α3z+β3z)
图11A示出了当确定了用户是站立时机器人100基于个人站立身体模型和用户身高信息将物体送到用户的手的位置的情形。
如上所述,当身体的操作因为用户原来的优势臂的骨折或物理损伤而暂时受限时,相反侧的手臂被确定为优势臂。图12示出了机器人100将物体送到站立的用户的未受伤的一侧(容易接收物体的一侧)的手的位置。
此外,图11B示出了当确定了用户是坐时机器人100基于个人坐身体模型和用户身高信息将物体送到用户的手的位置的情形。与将物体送到站立的用户的情形(图11A中示出)相比,可以理解的是,当物体送到坐的用户时机器人100举起物体的位置处的高度较低。
如上所述,机器人100确定用户的优势臂,或者确定由于偏瘫或骨折是身体的右侧或是身体的左侧中的哪一侧对于用户而言更容易操作(或,善于操作)。此外,可以在递送物体的同时,基于身体特征考虑用户容易拿物体的方向以及用户的手达到的并且用户容易拿物体的高度,身体特征诸如用户的身高或用户的当前姿态(坐在沙发上或睡在床上)。因此,根据本申请中公开的技术,用户能够以放松的姿态(不会疲劳)接收物体。当从机器人接收物体时,用户可以在负担减少的情况下与机器人执行自然的互动。
同时,本申请中公开的技术可以按照以下进行配置。
(1)一种机器人装置包括:接收臂确定单元,其从用户的左臂或右臂确定用于递送物体的接收臂;手位置计算单元,其计算所述接收臂的手的当前位置;递送操作单元,其在使用所述手位置计算单元计算的所述接收臂的手的位置处执行物体递送操作。
(2)在(1)所述的机器人装置中,所述接收臂确定单元基于身体特征信息确定所述用户的接收臂,所述身体特征信息涉及所述用户的优势臂、手臂是否存在残疾或容易执行物体接收操作的手臂。
(3)在(2)所述的机器人装置中,所述身体特征信息被包括在用户身体特征数据库中作为事先的知识,所述身体特征信息涉及所述用户的优势臂、所述手臂是否存在残疾或各用户容易执行所述物体接收操作的手臂,并且所述接收臂确定单元参考所述用户身体特征数据库获取所述身体特征信息,所述身体特征信息涉及执行物体转移的所述用户的优势臂、所述手臂是否存在残疾或容易执行所述物体接收操作的手臂。
(4)如(1)所述的机器人装置还包括:用户身高信息获取单元,其获取涉及所述用户的身高的信息;和用户姿态确定单元,其确定所述用户的当前姿态。所述手位置计算单元基于所述用户的身高和所述用户的当前姿态计算所述接收臂的手的当前位置。
(5)在(4)所述的机器人装置中,所述身体特征信息被包括在用户身体特征数据库中作为事先的知识,所述身体特征信息涉及各用户的身高。所述手位置计算单元参考用户身体特征数据库获取所述身体特征信息,所述身体特征信息涉及执行物体转移的用户的身高。
(6)在(4)所述的机器人装置中,包括了每个姿态的身体模型,即站立、躺卧或坐。所述手位置计算单元通过将使用所述用户身高信息获取单元获取的所述用户的身高应用于与所述用户的当前姿态相对应的身体模型而计算所述接收臂的手的当前位置,所述用户的当前姿态是使用所述用户姿态确定单元确定的。
(7)如(4)所述的机器人装置还包括:计算所述用户的面部位置的面部位置计算单元。所述用户姿态确定单元通过将使用所述用户身高信息获取单元获取的所述用户的身高与所述用户的面部位置进行比较而确定所述用户的姿态是否是站立。
(8)如(7)所述的机器人装置还包括:检测所述用户的面部姿态的面部姿态检测单元。当所述用户的姿态不是站立时,所述用户姿态确定单元基于使用所述面部姿态检测单元检测的所述用户的面部姿态确定所述用户的姿态是否是躺卧或坐。
(9)如(1)所述的机器人装置还包括:移动单元,其移动所述机器人装置的位置;以及臂部分,其能抓取所述物体。所述递送操作单元执行使用所述移动单元来向所述用户的接收臂移动的操作,并且将使用所述臂部分抓取的物体送到所述接收臂的手的位置处。
(10)如(4)所述的机器人装置还包括:涉及所述机器人装置的周围环境的环境地图。所述用户姿态确定单元通过参照所述用户所处位置的环境的环境地图而确定所述用户的当前位置。
(11)一种机器人装置控制方法包括:从用户的左臂或右臂确定用于递送物体的接收臂;计算所述接收臂的手的当前位置;在使用所述手位置计算单元计算的所述接收臂的手的位置处执行物体递送操作。
(12)一种计算机程序,所述计算机程序以计算机可读格式编写以控制机器人装置并使计算机用作:接收臂确定单元,其从用户的左臂或右臂确定用于递送物体的接收臂;手位置计算单元,其计算所述接收臂的手的当前位置;递送操作单元,其在使用所述手位置计算单元计算的所述接收臂的手的位置处执行物体递送操作。
本公开包含涉及于2011年12月1日提交到日本专利局的日本优先专利申请JP 2011-263264中公开内容的主题,该申请的整个内容通过引用的方式并入与此。
总之,尽管以示例的形式描述了本申请中公开的技术,但本申请中公开的内容不应当进行限制性理解。为了确定本申请中公开的技术要点,应当参考权利要求书。
Claims (13)
1.一种机器人装置,包括:
接收臂确定单元,其从用户的左臂或右臂确定在递送物体中使用的接收臂,其中所述机器人装置被移动到所述用户的所确定的接收臂侧;
手位置计算单元,其计算所述接收臂的手的当前位置;以及
递送操作单元,其在使用所述手位置计算单元计算的所述接收臂的手的位置处执行物体递送操作。
2.根据权利要求1所述的机器人装置,
其中,所述接收臂确定单元基于身体特征信息来确定所述用户的接收臂,所述身体特征信息涉及所述用户的优势臂。
3.根据权利要求1所述的机器人装置,
其中,所述接收臂确定单元基于身体特征信息来确定所述用户的接收臂,所述身体特征信息涉及手臂是否存在残疾、或容易执行物体接收操作的手臂。
4.根据权利要求2所述的机器人装置,
其中,对于各个用户,涉及所述用户的优势臂的所述身体特征信息被包括在用户身体特征数据库中作为事先的知识,并且
其中,所述接收臂确定单元参考所述用户身体特征数据库,来获取涉及执行物体转移的用户的优势臂的所述身体特征信息。
5.根据权利要求3所述的机器人装置,
其中,对于各个用户,涉及所述手臂是否存在残疾、或容易执行所述物体接收操作的手臂的所述身体特征信息被包括在用户身体特征数据库中作为事先的知识,并且
其中,所述接收臂确定单元参考所述用户身体特征数据库,来获取涉及所述手臂是否存在残疾、或容易执行所述物体接收操作的手臂的所述身体特征信息。
6.根据权利要求1所述的机器人装置,还包括:
用户身高信息获取单元,其获取涉及所述用户的身高的信息;以及
用户姿态确定单元,其确定所述用户的当前姿态,
其中,所述手位置计算单元基于所述用户的身高和所述用户的当前姿态,来计算所述接收臂的手的当前位置。
7.根据权利要求6所述的机器人装置,
其中,对于各个用户,涉及身高的身体特征信息被包括在用户身体特征数据库中作为事先的知识,并且
其中,所述手位置计算单元参考用户身体特征数据库,来获取涉及执行物体转移的用户的身高的所述身体特征信息。
8.根据权利要求6所述的机器人装置,
其中,包括有每个姿态的身体模型,即:站立、躺卧或坐,并且
其中,所述手位置计算单元通过将使用所述用户身高信息获取单元获取的所述用户的身高应用于与所述用户的当前姿态相对应的身体模型,来计算所述接收臂的手的当前位置,所述用户的当前姿态是使用所述用户姿态确定单元确定的。
9.根据权利要求6所述的机器人装置,还包括:
面部位置计算单元,其计算所述用户的面部的位置,
其中,所述用户姿态确定单元通过将使用所述用户身高信息获取单元获取的所述用户的身高与所述用户的面部位置进行比较,来确定所述用户的姿态是否是站立。
10.根据权利要求9所述的机器人装置,还包括:
面部姿态检测单元,其检测所述用户的面部的姿态,
其中,当所述用户的姿态不是站立时,所述用户姿态确定单元基于使用所述面部姿态检测单元检测的所述用户的面部的姿态,来确定所述用户的姿态是躺卧还是坐。
11.根据权利要求1所述的机器人装置,还包括:
移动单元,其移动所述机器人装置的位置;以及
臂部分,其能抓取所述物体,
其中,所述递送操作单元执行使用所述移动单元来向所述用户的接收臂移动的操作,并且将使用所述臂部分抓取的物体送到所述接收臂的手的位置处。
12.根据权利要求6所述的机器人装置,还包括:
环境地图,其涉及所述机器人装置的周围环境,
其中,所述用户姿态确定单元通过参照所述用户所处位置的环境的环境地图,来确定所述用户的当前位置。
13.一种机器人装置控制方法,包括:
从用户的左臂或右臂中确定在递送物体中使用的接收臂,其中所述机器人装置被移动到所述用户的所确定的接收臂侧;
计算所述接收臂的手的当前位置;以及
在计算手的当前位置的步骤中计算的所述接收臂的手的位置处执行物体递送操作。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011263264A JP2013111737A (ja) | 2011-12-01 | 2011-12-01 | ロボット装置及びその制御方法、並びにコンピューター・プログラム |
JP2011-263264 | 2011-12-01 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103128736A CN103128736A (zh) | 2013-06-05 |
CN103128736B true CN103128736B (zh) | 2016-12-21 |
Family
ID=48489511
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201210488642.1A Active CN103128736B (zh) | 2011-12-01 | 2012-11-26 | 机器人装置、其控制方法和计算机程序 |
Country Status (3)
Country | Link |
---|---|
US (1) | US9020643B2 (zh) |
JP (1) | JP2013111737A (zh) |
CN (1) | CN103128736B (zh) |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5942311B2 (ja) * | 2013-02-25 | 2016-06-29 | パナソニックIpマネジメント株式会社 | ロボット、ロボットの制御装置及び制御方法、並びに、ロボット用制御プログラム |
US10725550B2 (en) * | 2014-01-07 | 2020-07-28 | Nod, Inc. | Methods and apparatus for recognition of a plurality of gestures using roll pitch yaw data |
CN103879386B (zh) * | 2014-02-25 | 2016-03-16 | 西安航天精密机电研究所 | 一种基于全自动换电机器人的电池箱标定方法 |
JP6397226B2 (ja) * | 2014-06-05 | 2018-09-26 | キヤノン株式会社 | 装置、装置の制御方法およびプログラム |
US9469028B2 (en) * | 2014-09-30 | 2016-10-18 | Toyota Jidosha Kabushiki Kaisha | Robotic handover system natural for humans |
US9694496B2 (en) | 2015-02-26 | 2017-07-04 | Toyota Jidosha Kabushiki Kaisha | Providing personalized patient care based on electronic health record associated with a user |
JP6641804B2 (ja) * | 2015-09-04 | 2020-02-05 | トヨタ自動車株式会社 | 搬送車の移動経路設定方法 |
CN106217377B (zh) * | 2015-10-14 | 2018-07-27 | 山东世纪元通智能科技有限公司 | 路径点式行走机器人的控制方法 |
CN108724171B (zh) * | 2017-09-25 | 2020-06-05 | 北京猎户星空科技有限公司 | 智能机器人的控制方法、装置和智能机器人 |
WO2020071080A1 (ja) | 2018-10-05 | 2020-04-09 | ソニー株式会社 | 情報処理装置、制御方法及びプログラム |
JP6916157B2 (ja) * | 2018-10-23 | 2021-08-11 | ファナック株式会社 | 人と協働作業を行うロボットシステム、及びロボット制御方法 |
JP7480706B2 (ja) * | 2018-10-30 | 2024-05-10 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、及びプログラム |
CN109465836A (zh) * | 2018-11-16 | 2019-03-15 | 哈尔滨珀思臻科技开发有限公司 | 用于妇幼保健院发放就诊卡的迎宾机器人及其控制方法 |
WO2021130929A1 (ja) * | 2019-12-25 | 2021-07-01 | 東京ロボティクス株式会社 | ロボット、システム、方法及びプログラム |
US20220382282A1 (en) * | 2021-05-25 | 2022-12-01 | Ubtech North America Research And Development Center Corp | Mobility aid robot navigating method and mobility aid robot using the same |
CN113551663B (zh) * | 2021-06-21 | 2024-03-19 | 北京理工大学 | 图像与地磁组合的飞行器姿态解算***及方法 |
CN116620802B (zh) * | 2023-07-19 | 2023-10-24 | 中建安装集团有限公司 | 一种利用室内施工智能物料运输***的运输方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1300804A2 (en) * | 2001-10-05 | 2003-04-09 | Lg Electronics Inc. | Face detecting method by skin color recognition |
CN1553845A (zh) * | 2001-11-07 | 2004-12-08 | 索尼公司 | 机器人***和机器人设备的控制方法 |
CN1601549A (zh) * | 2003-09-26 | 2005-03-30 | 中国科学院自动化研究所 | 基于多特征融合的人脸定位与头部姿势识别方法 |
JP2006192563A (ja) * | 2004-12-14 | 2006-07-27 | Honda Motor Co Ltd | 識別対象識別装置およびそれを備えたロボット |
JP2008004045A (ja) * | 2006-06-26 | 2008-01-10 | Sony Computer Entertainment Inc | 画像処理装置、画像処理システム、コンピュータの制御方法及びプログラム |
CN101646534A (zh) * | 2007-06-27 | 2010-02-10 | 松下电器产业株式会社 | 机器手控制装置及控制方法、机器人及程序 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003296855A (ja) * | 2002-03-29 | 2003-10-17 | Toshiba Corp | 監視装置 |
WO2004075135A1 (ja) * | 2003-02-19 | 2004-09-02 | Matsushita Electric Industrial Co., Ltd. | 監視電子機器システム、監視方法、プログラムおよび、記録媒体 |
JP4179230B2 (ja) | 2004-06-07 | 2008-11-12 | ソニー株式会社 | ロボット装置及びその動作制御方法 |
WO2006043396A1 (ja) * | 2004-10-19 | 2006-04-27 | Matsushita Electric Industrial Co., Ltd. | ロボット装置 |
JP5120745B2 (ja) | 2005-03-10 | 2013-01-16 | 株式会社国際電気通信基礎技術研究所 | コミュニケーションロボット |
JP4800819B2 (ja) | 2006-03-31 | 2011-10-26 | 富士通株式会社 | 対話ロボットシステム |
KR20100086262A (ko) * | 2009-01-22 | 2010-07-30 | 삼성전자주식회사 | 로봇 및 그 제어방법 |
US8452451B1 (en) * | 2011-05-06 | 2013-05-28 | Google Inc. | Methods and systems for robotic command language |
-
2011
- 2011-12-01 JP JP2011263264A patent/JP2013111737A/ja active Pending
-
2012
- 2012-11-13 US US13/675,182 patent/US9020643B2/en active Active
- 2012-11-26 CN CN201210488642.1A patent/CN103128736B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1300804A2 (en) * | 2001-10-05 | 2003-04-09 | Lg Electronics Inc. | Face detecting method by skin color recognition |
CN1553845A (zh) * | 2001-11-07 | 2004-12-08 | 索尼公司 | 机器人***和机器人设备的控制方法 |
CN1601549A (zh) * | 2003-09-26 | 2005-03-30 | 中国科学院自动化研究所 | 基于多特征融合的人脸定位与头部姿势识别方法 |
JP2006192563A (ja) * | 2004-12-14 | 2006-07-27 | Honda Motor Co Ltd | 識別対象識別装置およびそれを備えたロボット |
JP2008004045A (ja) * | 2006-06-26 | 2008-01-10 | Sony Computer Entertainment Inc | 画像処理装置、画像処理システム、コンピュータの制御方法及びプログラム |
CN101646534A (zh) * | 2007-06-27 | 2010-02-10 | 松下电器产业株式会社 | 机器手控制装置及控制方法、机器人及程序 |
Also Published As
Publication number | Publication date |
---|---|
CN103128736A (zh) | 2013-06-05 |
JP2013111737A (ja) | 2013-06-10 |
US9020643B2 (en) | 2015-04-28 |
US20130144440A1 (en) | 2013-06-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103128736B (zh) | 机器人装置、其控制方法和计算机程序 | |
US11345041B2 (en) | Robot device, method of controlling the same, computer program, and robot system | |
US9962839B2 (en) | Robot apparatus, method for controlling the same, and computer program | |
Li et al. | Human cooperative wheelchair with brain–machine interaction based on shared control strategy | |
KR102136241B1 (ko) | 표정 검출 성능을 갖는 머리-장착형 디스플레이 | |
Park et al. | Robotic smart house to assist people with movement disabilities | |
US20190278295A1 (en) | Robot control system, machine control system, robot control method, machine control method, and recording medium | |
CN103302665B (zh) | 机器人设备、控制机器人设备的方法 | |
CN103128729A (zh) | 机器人装置、控制该机器人装置的方法和计算机程序 | |
Wei et al. | Real-time 3D arm motion tracking using the 6-axis IMU sensor of a smartwatch | |
Bolotnikova et al. | Autonomous initiation of human physical assistance by a humanoid | |
US20210097740A1 (en) | Multi-user and multi-surrogate virtual encounters | |
Koike et al. | Development of an intraoral interface for human-ability extension robots | |
EP4075786A1 (en) | Image processing device, system, image processing method and image processing program | |
JP7284385B2 (ja) | オブジェクト姿勢制御プログラムおよびオブジェクト姿勢制御システム | |
JP2013173209A (ja) | ロボット装置及びロボット装置の制御方法、並びにコンピューター・プログラム | |
Mayol-Cuevas | Wearable visual robots | |
Prakash | Design and Development of a Dual-arm Robotic Clothing Assistance System using Imitation Learning | |
CN117001715A (zh) | 一种面向视觉功能障碍者的智能辅助***及方法 | |
Fernando et al. | Design and development of a Telexistence system to experience extended human body schema | |
CN115066668A (zh) | 显示控制装置、显示控制方法和记录介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |