CN107290975A - 一种家居智能机器人 - Google Patents
一种家居智能机器人 Download PDFInfo
- Publication number
- CN107290975A CN107290975A CN201710725579.1A CN201710725579A CN107290975A CN 107290975 A CN107290975 A CN 107290975A CN 201710725579 A CN201710725579 A CN 201710725579A CN 107290975 A CN107290975 A CN 107290975A
- Authority
- CN
- China
- Prior art keywords
- mrow
- msub
- msup
- prime
- msubsup
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000033001 locomotion Effects 0.000 claims abstract description 29
- 238000012545 processing Methods 0.000 claims abstract description 4
- 238000000034 method Methods 0.000 claims description 31
- 230000008569 process Effects 0.000 claims description 30
- 230000004807 localization Effects 0.000 claims description 13
- 238000012549 training Methods 0.000 claims description 13
- 230000011218 segmentation Effects 0.000 claims description 12
- 230000035807 sensation Effects 0.000 claims description 12
- 238000005070 sampling Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 5
- 238000004891 communication Methods 0.000 claims description 4
- 238000012935 Averaging Methods 0.000 claims description 3
- 238000003491 array Methods 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 claims description 3
- 238000001514 detection method Methods 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 230000002093 peripheral effect Effects 0.000 claims description 3
- 231100000572 poisoning Toxicity 0.000 claims description 3
- 230000000607 poisoning effect Effects 0.000 claims description 3
- 238000002474 experimental method Methods 0.000 claims description 2
- 230000002452 interceptive effect Effects 0.000 abstract 1
- 238000005516 engineering process Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 4
- 238000013461 design Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B15/00—Systems controlled by a computer
- G05B15/02—Systems controlled by a computer electric
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/20—Pc systems
- G05B2219/26—Pc applications
- G05B2219/2642—Domotique, domestic, home control, automation, smart house
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Manufacturing & Machinery (AREA)
- Quality & Reliability (AREA)
- Other Investigation Or Analysis Of Materials By Electrical Means (AREA)
Abstract
本发明公开了一种家居智能机器人，包括命令收集***，命令识别***，命令执行等人机交互***，安防***，远程通信***以及存储***；所述命令收集***包括语音收集模块，触摸屏指令收集模块，无线网络指令收集系模块；所述命令执行***包括运动模块，目标跟随处理模块，导航模块，地图建立模块，智能红外遥控模块，业务功能模块；所述安防***包括报警模块，报警信息触发模块，报警信息发送模块。本发明提供的一种家居智能机器人，结合红外、超声波的避障措施，有效提高了机器人导航定位的准确度和运动安全性。
Description
技术领域
本发明涉及一种自动控制领域，特别是涉及一种家居智能机器人。
背景技术
近年来，随着计算机技术与人工智能科学的飞速发展，智能机器人技术逐渐成为现代机器人研发领域的热点，智能机器人正在从科幻逐渐走进人们的生活中。而随着人们物质生活水平的提高，将智能机器人应用于家庭服务领域，也是近年来机器人研发的重要目标。
机器人技术作为战略高科技技术，深受世界各国的重视，而服务性机器人作为前沿高科技研究最活跃的一个领域，更是备受关注，现在市场上家用服务类机器人功能比较单一，主要是一些清洁型机器人和儿童陪伴机器人，并不能满足用户对于实用性和多样性的需求。
而通过市场调查，当前家有独居老人或少年儿童的家庭，普遍存在对家人的安全和陪伴的担忧，对能够满足对父母和家中小孩的安全与陪护，同时解决使用障碍、家庭通讯监控和家庭远程教育等多种用途的家用服务机器人，有非常大的市场需求。
因此本领域技术人员致力于开发一种智能机器人，具体是一种基于家庭场景，能够在多种模式下自行导航行走、自主充电、智能程度高、使用寿命长、应用范围广、操作简洁便利、功能多样，能够满足用户当面语音语句指令操作、远程遥控和通过液晶屏手动操作的家用服务智能机器人。
发明内容
有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是提供一种设计合理、智能程度高、成本低廉、结实耐用、安全可靠、应用范围广、功能多样，且操作简洁便利的家用智能服务机器人。
为实现上述目的，本发明提供了一种家居智能机器人，所述家居智能机器人包括命令收集***，命令识别***，命令执行***，安防***，远程通信***以及存储***；
所述命令收集***包括语音收集模块，触摸屏指令收集模块，无线网络指令收集系模块；
所述命令执行***包括运动模块、用于声源定位的声源定位模块、用于对特定目标跟随处理的目标跟随模块，导航模块，智能红外遥控模块；
所述安防***包括报警器，报警信息触发模块，报警信息发送模块。
所述命令收集***包括六麦克风阵列装置，触摸屏装置，以及用于通过无线网络进行命令接收的装置；
用于判断是否收到无线网络指令命令的装置；
其中，如果是，则用于识别命令的装置；
如果不是，则用于判断是否收到触摸屏特定指令的装置；
其中，如果是，则用于识别命令的装置；
如果不是，则用于判断是否收到开启语音命令接收的装置；
其中，如果不是，则用于返回到初始状态的装置；
如果是，则用于启动语音命令接收的装置；
用于接收语音命令的装置；
用于识别命令的装置。
所述命令识别***，包括用于判断接受到的命令是否为文字信息的装置；
如果不是，则用于连接网络将语音信息转化为文字信息的装置；
如果是，则用于判断该信息能否从予以解析库中查找到信息的装置；
其中，如果是，则用于识别信息并将信息传输至命令处理***的装置；
如果不是，则用于判断是否能从网络数据库中查找到信息的装置；
其中，如果是，则用于识别信息并将信息传输至命令处理***的装置；
如果不是，则用于返回至开始状态的装置。
所述语义解析库训练模块，包括：用于收集大量语句的装置；
用于将语句进行分类的装置；
用于将语句通过条件随机场分词器进行分词以及词位标注的装置；
用于通过训练予以解析模型，实现对语句语义理解的装置。
所述命令处理***，包括：
用于判断命令是否调用导航模块的装置；
如果是，则用于调用导航***并规划运动路径的装置；
如果不是，则用于判断命令是否需要调用目标跟随模块的装置；
其中，如果不是，则用于进入判断命令是否需要调用声源定位模块的装置。
如果是，则用于自身定位和建图的装置；
用于检测运动帧和运动区域的装置；
用于在运动帧的运动区域进行视觉目标检测的装置；
用于视觉目标追踪的装置；
其中，用于进入判断命令是否需要调用声源定位模块的装置；
如果不是，则用于传输运动信息至运动模块的装置；
如果是，则用于按照下列方法计算声源地位置的装置；
(51)将六麦克风阵列依次设置为第一至第六麦克风；
(52)以所述第一麦克风与第四麦克风的连线为x轴，作为第一坐标系，按照下列公式计算声源地位置：
其中，D为所述第一麦克风与第四麦克风之间的距离；
c为声音传播速度；
t12为所述第二麦克风与第一麦克风之间接收到声音信号的时间差；
t13为所述第三麦克风与第一麦克风之间接收到声音信号的时间差；
t14为所述第四麦克风与第一麦克风之间接收到声音信号的时间差；
t15为所述第五麦克风与第一麦克风之间接收到声音信号的时间差；
t16为所述第六麦克风与第一麦克风之间接收到声音信号的时间差；
x0为在第一坐标系中声源地的x轴坐标；
y0为在第一坐标系中声源地的y轴坐标；
z0为第一坐标系中声源地的z轴坐标；
r0为声源地距离第一麦克风与第四麦克风的中点的距离；
x1、x2、x3为计算过程产生的中间变量，根据该变量值以及上述公式能够计算出声源地的坐标值x0；
y1、y2为计算过程产生的中间变量，根据上述公式能够计算出声源地的球坐标值y0；
r1为计算过程产生的中间变量，根据上述公式能够计算出声源地的球坐标值r0。
(53)以第二麦克风与第五麦克风的连线为x轴的第二坐标系，按照下列公式计算在第二坐标系中声源地位置：
其中，D为所述第二麦克风与第五麦克风之间的距离；
c为声音传播速度；
t23为所述第三麦克风与第二麦克风之间接收到声音信号的时间差；
t24为所述第四麦克风与第二麦克风之间接收到声音信号的时间差；
t25为所述第五麦克风与第二麦克风之间接收到声音信号的时间差；
t26为所述第六麦克风与第二麦克风之间接收到声音信号的时间差；
t21为所述第一麦克风与第二麦克风之间接收到声音信号的时间差；
x'为在所述第二坐标系中声源地的x轴坐标；
y'为在所述第二坐标系中声源地的y轴坐标；
z'为在所述第二坐标系中声源地的z轴坐标；
r'为声源地距离所述第一麦克风与第四麦克风的中点的距离，即声源地的球坐标值；
x1'、x2'、x3'为计算过程产生的中间变量，根据该变量值以及上述公式能够计算出声源地的坐标值x0；
y1'、y2'为计算过程产生的中间变量，根据上述公式能够计算出声源地的球坐标值y0；
(54)以所述第六麦克风与第三麦克风的连线为x轴的第三坐标系，按照下列计算声源地位置；
其中，D为第三麦克风与第六麦克风之间的距离；
c为声音传播速度；
t61为所述第一麦克风与第六麦克风之间接收到声音信号的时间差；
t62为所述第二麦克风与第六麦克风之间接收到声音信号的时间差；
t63为所述第三麦克风与第六麦克风之间接收到声音信号的时间差；
t64为所述第四麦克风与第六麦克风之间接收到声音信号的时间差；
t65为所述第五麦克风与第六麦克风之间接收到声音信号的时间差；
x″为在所述第三坐标系中声源地的x轴坐标；
y″为在所述第三坐标系中声源地的y轴坐标；
z″为在所述第三坐标系中声源地的z轴坐标；
r″为声源地距离第一麦克风与第四麦克风的中点的距离，即声源地的球坐标值；
x1″、x2″、x3″为计算过程产生的中间变量，根据该变量值以及上述公式能够计算出声源地的坐标值x0；
y1″、y2″为计算过程产生的中间变量，根据上述公式能够计算出声源地的球坐标值y0；
r1″为计算过程产生的中间变量，根据上述公式能够计算出声源地的球坐标值r″；
(55)按照下列公式将x'、y'分别换算为第一坐标系中的值：
其中，x0'为将所述第二坐标系中声源地的x轴坐标在第一坐标系中换算后声源地位置的x轴坐标；
y0'为将所述第二坐标系中声源地的y轴坐标在第一坐标系中换算后声源地位置的y轴坐标；
(56)按照下列公式将x″、y″分别换算为第一坐标系中的值：
其中，x0″为将所述第三坐标系中声源地的x轴坐标在第一坐标系中换算后声源地位置的x轴坐标；
y0″为所述第三坐标系中声源地的y轴坐标在第一坐标系中换算后声源地位置的y轴坐标；
(57)用于按照下列公式进行声源地计算：
其中，x为第一坐标系中的声源地x轴最终坐标；
y为第一坐标系中的声源地y轴最终坐标；
z为第一坐标系中的声源地z轴最终坐标；
用于按照以下公式计算声源地的球坐标值的装置：
其中，为最终输出的所述声源地位置的方位角；
θ为最终输出的声源地位置的俯仰角；
r为最终输出的声源地位置距离原点的距离。
xb为第一坐标系中的声源地x轴最终坐标；
yb为第一坐标系中的声源地y轴最终坐标；
zb为第一坐标系中的声源地z轴最终坐标。
所述用于运动帧与运动区域检测的装置，包括：用于采样机器人运动过程中所经过的关键场景的装置；
用于在采样关键场景前后位置图像及关键帧图像进行超像素分割的装置；
用于按照下列公式和算法在HSI空间中对超像素的HS通道信息进行聚类，建立场景模型的装置：
使用meanshift聚类算法对特征池进行聚类，得到n个聚类；每个聚类clst(i)(i＝1，...，n)由聚类中心fc(i)和聚类半径rc(i)表示；
用于在获取到新的图像帧之后，按照下列方法选取场景模型来分析该帧是否包含运动区域的装置：
(61)选取该图像帧采集时机器人位置最为相似的关键场景，获取对应场景下的场景模型；
(62)将该图像帧进行超像素分割，得到N个超像素。每个超像素sp(r)(r＝1，...，N)由一个特征向量fr来表示；
(63)计算该帧中的超像素sp(r)和对应场景下场景模型的超像素点sp(t，r)之间的距离，选取距离最近的点所在的聚类为该帧中超像素sp(r)的类别。距离计算公式如下：
(64)依据超像素和对应的聚类中心之间的距离来计算该每个超像素属于变化区域的概率,概率计算公式如下：
超像素r属于聚类i
其中参数rc(i)代表了clst(i)在特征空间中的聚类半径，λd是一个归一化项(在实验中设置为2)。综合考虑超像素sp(r)所属于的聚类，以及和对应的聚类中心之间的距离，得出该超像素的目标置信度值由于实际取样过程中，作为超像素取样的样本足够大，因此置信度值与该超像素属于变化区域的概率差异可以忽略不计，因此将每个超像素所对应的像素位置属于变化区域的概率设置为得到概率图。如果则认为该超像素为变化区域；
(65)分析概率图中联通的属于变化区域的尺寸大小，如果大于阈值则认为该区域为潜在目标人区域，选取周围的部分为潜在目标人位置。
所述用于视觉目标检测的装置，包括：
用于按照下列方法将每个初始帧进行超像素分割，聚类，得到目标人表观模型的装置：
(71)将第t帧中的目标周围区域进行超像素分割，得到Nt个超像素。每个超像素sp(t，r)(t＝1，...，m，r＝1，...，Nt)由一个特征向量来表示；
(72)使用meanshift聚类算法对特征池进行聚类，得到n个聚类。每个聚类clst(i)(i＝1，...，n)由聚类中心fc(i)和聚类半径rc(i)表示；
(73)每个clst(i)对应于训练帧中的图像区域S(i),对每个clst(i)计算两个得分，S+(i),S-(i)。前一个分数表示聚类面积S(i)和目标区域的交集大小，后面一个分数表示聚类面积S(i)在目标区域外的大小。S+(i)/S-(i)的值越大，在训练帧中区域S(i)属于目标的可能性越大。给每个聚类一个介于[1,-1]之间的打分来代表每个聚类的前景-背景置信度，记为其中特征表示使用归一化的HSI颜色空间直方图。sp代表super pixel(超像素),clst代表cluster(聚类)；
用于按照下列方法对新的图像帧使用表观模型和地图点信息得到目标位置的装置:
(74)当新的图像帧到达的时候，首先在前一帧的目标区域周围提取一个搜索区域，并且分割为Nt个超像素；
(75)聚类到目标人表观模型，依据所属于的聚类中心属性进行打分，得到置信度图，公式如下；
其中w(r，i)表示基于特征(第t帧中第r个超像素sp(t，r)的特征)和fc(i)(sp(t，r)属于的聚类的特征中心)的权重。参数rc(i)表示clst(i)在特征空间中的聚类半径，λd是一个归一化项(在试验中设置为2)。综合考虑超像素sp(t，r)所属于的聚类，以及和对应的聚类中心之间的聚类，得出该超像素的置信度值
对于整个图像帧，通过以下步骤得到每个像素的置信值。对于搜索区域内每个属于超像素sp(t，r)的像素打分为对于搜索领域之外的像素打分为-1；
(76)地图点打分，公式如下：
如果sp(t,r)和地图点k相邻
n(t，k)代表图像帧t中地图点k的共见次数；
(77)表观模型的得分和地图点的得分通过求均值的方式进行融合，融合的位置仅限地图点周围的超像素，没有地图点的超像素的打分仅由表观模型决定，公式如下：
(78)选择属于目标的得分最高的区域为目标位置。图6为追踪结果；
(79)调整将地图点所在超像素属于目标人的概率，以备表观模型更新；
用于每追踪一定数量的图像帧之后，更新表观模型的装置。
所述用于视觉目标跟随的装置，包括：
用于计算根据权利要求7所述目标位置的水平中心位置的装置；
用于控制机器人移动，使得目标人位于机器人采集的图像水平中心位置的装置。
所述安防***包括：
用于判断报警器是否接收到报警信息的装置；
如果不是，则用于返回至初始状态的装置；
如果是，则用于控制报警器蜂鸣装置发出报警信号的装置；
用于控制机器人显示器显示报警信息的装置；
用于控制手机终端软件发出报警信息的装置；
用于控制向用户手机发送报警短信的装置。
所述远程通信模块包括用于向网络数据库进行数据下载的装置；
所述运动模块包括红外避障装置、超声波避障装置以及紧急制动装置；
所述安防***包括用于与所述报警器进行匹配的装置；
所述智能红外遥控模块包括连接网络进行红外遥控代码进行下载的装置。
本发明的有益效果是：本发明提供的一种家居智能机器人，结合红外、超声波的避障措施，有效提高了机器人导航定位的准确度和运动安全性。设置有红外收发模块，可控制家庭内使用的各种家用电器。高灵敏度并有降噪功能的麦克风阵列模块，并有效提高用户语音的声波的有效接收与识别；结合语义解析数据库的不断提高与拓展，有效提高用户语音语句信息的有效识别与指令执行。三个通道的人机交互控制方法，保证了可以随时随地控制机器人。同时，该发明通过数据通讯单元，可实现连接互联网，进行多媒体信号源的交互和集成，同时还可以通过无线网络进行视频语音通话。本发明将机器人与物联网技术相结合，增加了机器人的服务性；而且通过视觉模块和音频采集模块使得机器人更加智能化和人性化。另外，增加了机器人紧急制动装置，以在任何情况下优先保证用户的安全。
附图说明
图1是本发明主框架流程示意图。
图2是图1中命令接收***的流程示意图。
图3是图1中命令识别***的流程示意图。
图4是图3中语义解析库训练流程示意图。
图5是命令处理***流程示意图。
图6是图5中声源定位模块的流程示意图。
图7是图5中目标跟随模块流程示意图。
图8是图6中判断目标是否属于跟随目标的流程示意图。
图9是图6中目标确定后目标跟随的示意图。
图10是安防***流程示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步说明：
如图1至图9所示，所述家居智能机器人包括命令收集***，命令识别***，命令执行***，安防***，远程通信***以及存储***；
所述命令收集***包括语音收集模块，触摸屏指令收集模块，无线网络指令收集系模块；
所述命令执行***包括运动模块、用于声源定位的声源定位模块、用于对特定目标跟随处理的目标跟随模块，导航模块，智能红外遥控模块；
所述安防***包括报警器，报警信息触发模块，报警信息发送模块。
所述命令收集***包括六麦克风阵列装置，触摸屏装置，以及用于通过无线网络进行命令接收的装置；
用于判断是否收到无线网络指令命令的装置；
其中，如果是，则用于识别命令的装置；
如果不是，则用于判断是否收到触摸屏特定指令的装置；
其中，如果是，则用于识别命令的装置；
如果不是，则用于判断是否收到开启语音命令接收的装置；
其中，如果不是，则用于返回到初始状态的装置；
如果是，则用于启动语音命令接收的装置；
用于接收语音命令的装置；
用于识别命令的装置。
所述命令识别***，包括用于判断接受到的命令是否为文字信息的装置；
如果不是，则用于连接网络将语音信息转化为文字信息的装置；
如果是，则用于判断该信息能否从予以解析库中查找到信息的装置；
其中，如果是，则用于识别信息并将信息传输至命令处理***的装置；
如果不是，则用于判断是否能从网络数据库中查找到信息的装置；
其中，如果是，则用于识别信息并将信息传输至命令处理***的装置；
如果不是，则用于返回至开始状态的装置。
所述语义解析库训练模块，包括：用于收集大量语句的装置；
用于将语句进行分类的装置；
用于将语句通过条件随机场分词器进行分词以及词位标注的装置；
用于通过训练予以解析模型，实现对语句语义理解的装置。
所述命令处理***，包括：
用于判断命令是否调用导航模块的装置；
如果是，则用于调用导航***并规划运动路径的装置；
如果不是，则用于判断命令是否需要调用目标跟随模块的装置；
其中，如果不是，则用于进入判断命令是否需要调用声源定位模块的装置。
如果是，则用于自身定位和建图的装置；
用于检测运动帧和运动区域的装置；
用于在运动帧的运动区域进行视觉目标检测的装置；
用于视觉目标追踪的装置；
其中，用于进入判断命令是否需要调用声源定位模块的装置；
如果不是，则用于传输运动信息至运动模块的装置；
如果是，则用于按照下列方法计算声源地位置的装置；
(51)将六麦克风阵列依次设置为第一至第六麦克风；
(52)以所述第一麦克风与第四麦克风的连线为x轴，作为第一坐标系，按照下列公式计算声源地位置：
其中，D为所述第一麦克风与第四麦克风之间的距离；
c为声音传播速度；
t12为所述第二麦克风与第一麦克风之间接收到声音信号的时间差；
t13为所述第三麦克风与第一麦克风之间接收到声音信号的时间差；
t14为所述第四麦克风与第一麦克风之间接收到声音信号的时间差；
t15为所述第五麦克风与第一麦克风之间接收到声音信号的时间差；
t16为所述第六麦克风与第一麦克风之间接收到声音信号的时间差；
x0为在第一坐标系中声源地的x轴坐标；
y0为在第一坐标系中声源地的y轴坐标；
z0为第一坐标系中声源地的z轴坐标；
r0为声源地距离第一麦克风与第四麦克风的中点的距离；
x1、x2、x3为计算过程产生的中间变量，根据该变量值以及上述公式能够计算出声源地的坐标值x0；
y1、y2为计算过程产生的中间变量，根据上述公式能够计算出声源地的球坐标值y0；
r1为计算过程产生的中间变量，根据上述公式能够计算出声源地的球坐标值r0。
(53)以第二麦克风与第五麦克风的连线为x轴的第二坐标系，按照下列公式计算在第二坐标系中声源地位置：
其中，D为所述第二麦克风与第五麦克风之间的距离；
c为声音传播速度；
t23为所述第三麦克风与第二麦克风之间接收到声音信号的时间差；
t24为所述第四麦克风与第二麦克风之间接收到声音信号的时间差；
t25为所述第五麦克风与第二麦克风之间接收到声音信号的时间差；
t26为所述第六麦克风与第二麦克风之间接收到声音信号的时间差；
t21为所述第一麦克风与第二麦克风之间接收到声音信号的时间差；
x'为在所述第二坐标系中声源地的x轴坐标；
y'为在所述第二坐标系中声源地的y轴坐标；
z'为在所述第二坐标系中声源地的z轴坐标；
r'为声源地距离所述第一麦克风与第四麦克风的中点的距离，即声源地的球坐标值；
x1'、x2'、x3'为计算过程产生的中间变量，根据该变量值以及上述公式能够计算出声源地的坐标值x0；
y1'、y2'为计算过程产生的中间变量，根据上述公式能够计算出声源地的球坐标值y0；
(54)以所述第六麦克风与第三麦克风的连线为x轴的第三坐标系，按照下列计算声源地位置；
其中，D为第三麦克风与第六麦克风之间的距离；
c为声音传播速度；
t61为所述第一麦克风与第六麦克风之间接收到声音信号的时间差；
t62为所述第二麦克风与第六麦克风之间接收到声音信号的时间差；
t63为所述第三麦克风与第六麦克风之间接收到声音信号的时间差；
t64为所述第四麦克风与第六麦克风之间接收到声音信号的时间差；
t65为所述第五麦克风与第六麦克风之间接收到声音信号的时间差；
x″为在所述第三坐标系中声源地的x轴坐标；
y″为在所述第三坐标系中声源地的y轴坐标；
z″为在所述第三坐标系中声源地的z轴坐标；
r″为声源地距离第一麦克风与第四麦克风的中点的距离，即声源地的球坐标值；
x1″、x2″、x3″为计算过程产生的中间变量，根据该变量值以及上述公式能够计算出声源地的坐标值x0；
y1″、y2″为计算过程产生的中间变量，根据上述公式能够计算出声源地的球坐标值y0；
r1″为计算过程产生的中间变量，根据上述公式能够计算出声源地的球坐标值r″；
(55)按照下列公式将x'、y'分别换算为第一坐标系中的值：
其中，x0'为将所述第二坐标系中声源地的x轴坐标在第一坐标系中换算后声源地位置的x轴坐标；
y0'为将所述第二坐标系中声源地的y轴坐标在第一坐标系中换算后声源地位置的y轴坐标；
(56)按照下列公式将x″、y″分别换算为第一坐标系中的值：
其中，x0″为将所述第三坐标系中声源地的x轴坐标在第一坐标系中换算后声源地位置的x轴坐标；
y0″为所述第三坐标系中声源地的y轴坐标在第一坐标系中换算后声源地位置的y轴坐标；
(57)用于按照下列公式进行声源地计算：
其中，x为第一坐标系中的声源地x轴最终坐标；
y为第一坐标系中的声源地y轴最终坐标；
z为第一坐标系中的声源地z轴最终坐标；
用于按照以下公式计算声源地的球坐标值的装置：
其中，为最终输出的所述声源地位置的方位角；
θ为最终输出的声源地位置的俯仰角；
r为最终输出的声源地位置距离原点的距离。
xb为第一坐标系中的声源地x轴最终坐标；
yb为第一坐标系中的声源地y轴最终坐标；
zb为第一坐标系中的声源地z轴最终坐标。
所述用于运动帧与运动区域检测的装置，包括：用于采样机器人运动过程中所经过的关键场景的装置；
用于在采样关键场景前后位置图像及关键帧图像进行超像素分割的装置；
用于按照下列公式和算法在HSI空间中对超像素的HS通道信息进行聚类，建立场景模型的装置：
使用meanshift聚类算法对特征池进行聚类，得到n个聚类；每个聚类clst(i)(i＝1，...，n)由聚类中心fc(i)和聚类半径rc(i)表示；
用于在获取到新的图像帧之后，按照下列方法选取场景模型来分析该帧是否包含运动区域的装置：
(61)选取该图像帧采集时机器人位置最为相似的关键场景，获取对应场景下的场景模型；
(62)将该图像帧进行超像素分割，得到N个超像素。每个超像素sp(r)(r＝1，...，N)由一个特征向量fr来表示；
(63)计算该帧中的超像素sp(r)和对应场景下场景模型的超像素点sp(t，r)之间的距离，选取距离最近的点所在的聚类为该帧中超像素sp(r)的类别。距离计算公式如下：
(64)依据超像素和对应的聚类中心之间的距离来计算该每个超像素属于变化区域的概率,概率计算公式如下：
超像素r属于聚类i
其中参数rc(i)代表了clst(i)在特征空间中的聚类半径，λd是一个归一化项(在实验中设置为2)。综合考虑超像素sp(r)所属于的聚类，以及和对应的聚类中心之间的距离，得出该超像素的目标置信度值于实际取样过程中，作为超像素取样的样本足够大，因此置信度值与该超像素属于变化区域的概率差异可以忽略不计，因此将每个超像素所对应的像素位置属于变化区域的概率设置为 将每个超像素所对应的像素位置属于变化区域的概率设置为得到概率图。如果则认为该超像素为变化区域；
(65)分析概率图中联通的属于变化区域的尺寸大小，如果大于阈值则认为该区域为潜在目标人区域，选取周围的部分为潜在目标人位置。
所述用于视觉目标检测的装置，包括：
用于按照下列方法将每个初始帧进行超像素分割，聚类，得到目标人表观模型的装置：
(71)将第t帧中的目标周围区域进行超像素分割，得到Nt个超像素。每个超像素sp(t，r)(t＝1，...，m，r＝1，...，Nt)由一个特征向量来表示；
(72)使用meanshift聚类算法对特征池进行聚类，得到n个聚类。每个聚类clst(i)(i＝1，...，n)由聚类中心fc(i)和聚类半径rc(i)表示；
(73)每个clst(i)对应于训练帧中的图像区域S(i),对每个clst(i)计算两个得分，S+(i),S-(i)。前一个分数表示聚类面积S(i)和目标区域的交集大小，后面一个分数表示聚类面积S(i)在目标区域外的大小。S+(i)/S-(i)的值越大，在训练帧中区域S(i)属于目标的可能性越大。给每个聚类一个介于[1,-1]之间的打分来代表每个聚类的前景-背景置信度，记为其中特征表示使用归一化的HSI颜色空间直方图。sp代表super pixel(超像素),clst代表cluster(聚类)；
用于按照下列方法对新的图像帧使用表观模型和地图点信息得到目标位置的装置:
(74)当新的图像帧到达的时候，首先在前一帧的目标区域周围提取一个搜索区域，并且分割为Nt个超像素；
(75)聚类到目标人表观模型，依据所属于的聚类中心属性进行打分，得到置信度图，公式如下；
其中w(r，i)表示基于特征(第t帧中第r个超像素sp(t，r)的特征)和fc(i)(sp(t，r)属于的聚类的特征中心)的权重。参数rc(i)表示clst(i)在特征空间中的聚类半径，λd是一个归一化项(在试验中设置为2)。综合考虑超像素sp(t，r)所属于的聚类，以及和对应的聚类中心之间的聚类，得出该超像素的置信度值
对于整个图像帧，通过以下步骤得到每个像素的置信值。对于搜索区域内每个属于超像素sp(t，r)的像素打分为对于搜索领域之外的像素打分为-1；
(76)地图点打分，公式如下：
如果sp(t,r)和地图点k相邻
n(t，k)代表图像帧t中地图点k的共见次数；
(77)表观模型的得分和地图点的得分通过求均值的方式进行融合，融合的位置仅限地图点周围的超像素，没有地图点的超像素的打分仅由表观模型决定，公式如下：
(78)选择属于目标的得分最高的区域为目标位置。图6为追踪结果；
(79)调整将地图点所在超像素属于目标人的概率，以备表观模型更新；
用于每追踪一定数量的图像帧之后，更新表观模型的装置。
所述用于视觉目标跟随的装置，包括：
用于计算根据权利要求7所述目标位置的水平中心位置的装置；
用于控制机器人移动，使得目标人位于机器人采集的图像水平中心位置的装置。
所述安防***包括：
用于判断报警器是否接收到报警信息的装置；
如果不是，则用于返回至初始状态的装置；
如果是，则用于控制报警器蜂鸣装置发出报警信号的装置；
用于控制机器人显示器显示报警信息的装置；
用于控制手机终端软件发出报警信息的装置；
用于控制向用户手机发送报警短信的装置。
所述远程通信模块包括用于向网络数据库进行数据下载的装置；
所述运动模块包括红外避障装置、超声波避障装置以及紧急制动装置；
所述安防***包括用于与所述报警器进行匹配的装置；
所述智能红外遥控模块包括连接网络进行红外遥控代码进行下载的装置。
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。
Claims (10)
1.一种家居智能机器人，其特征是：所述家居智能机器人包括命令收集***，命令识别***，命令执行***，安防***，远程通信***以及存储***；
所述命令收集***包括语音收集模块，触摸屏指令收集模块，无线网络指令收集系模块；
所述命令执行***包括运动模块、用于声源定位的声源定位模块、用于对特定目标跟随处理的目标跟随模块，导航模块，智能红外遥控模块；
所述安防***包括报警器，报警信息触发模块，报警信息发送模块。
2.如权利要求1所述的家居智能机器人，其特征是，所述命令收集***包括六麦克风阵列装置，触摸屏装置，以及用于通过无线网络进行命令接收的装置；
用于判断是否收到无线网络指令命令的装置；
其中，如果是，则用于识别命令的装置；
如果不是，则用于判断是否收到触摸屏特定指令的装置；
其中，如果是，则用于识别命令的装置；
如果不是，则用于判断是否收到开启语音命令接收的装置；
其中，如果不是，则用于返回到初始状态的装置；
如果是，则用于启动语音命令接收的装置；
用于接收语音命令的装置；
用于识别命令的装置。
3.如权利要求2所述的家居智能机器人，其特征是：所述命令识别***，包括用于判断接受到的命令是否为文字信息的装置；
如果不是，则用于连接网络将语音信息转化为文字信息的装置；
如果是，则用于判断该信息能否从予以解析库中查找到信息的装置；
其中，如果是，则用于识别信息并将信息传输至命令处理***的装置；
如果不是，则用于判断是否能从网络数据库中查找到信息的装置；
其中，如果是，则用于识别信息并将信息传输至命令处理***的装置；
如果不是，则用于返回至开始状态的装置。
4.如权利要求3所述的家居智能机器人，其特征是：所述语义解析库训练模块，包括：用于收集大量语句的装置；
用于将语句进行分类的装置；
用于将语句通过条件随机场分词器进行分词以及词位标注的装置；
用于通过训练予以解析模型，实现对语句语义理解的装置。
5.如权利要求1所述的家居智能机器人，其特征是：所述命令处理***，包括：
用于判断命令是否调用导航模块的装置；
如果是，则用于调用导航***并规划运动路径的装置；
如果不是，则用于判断命令是否需要调用目标跟随模块的装置；
其中，如果不是，则用于进入判断命令是否需要调用声源定位模块的装置。
如果是，则用于自身定位和建图的装置；
用于检测运动帧和运动区域的装置；
用于在运动帧的运动区域进行视觉目标检测的装置；
用于视觉目标追踪的装置；
其中，用于进入判断命令是否需要调用声源定位模块的装置；
如果不是，则用于传输运动信息至运动模块的装置；
如果是，则用于按照下列方法计算声源地位置的装置；
(51)将六麦克风阵列依次设置为第一至第六麦克风；
(52)以所述第一麦克风与第四麦克风的连线为x轴，作为第一坐标系，按照下列公式计算声源地位置：
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<msub>
<mi>r</mi>
<mn>1</mn>
</msub>
<mo>=</mo>
<mi>c</mi>
<mo>&CenterDot;</mo>
<mfrac>
<mrow>
<mn>2</mn>
<msubsup>
<mi>t</mi>
<mn>12</mn>
<mn>2</mn>
</msubsup>
<mo>+</mo>
<mn>2</mn>
<msubsup>
<mi>t</mi>
<mn>16</mn>
<mn>2</mn>
</msubsup>
<mo>-</mo>
<msubsup>
<mi>t</mi>
<mn>14</mn>
<mn>2</mn>
</msubsup>
</mrow>
<mrow>
<mn>2</mn>
<msub>
<mi>t</mi>
<mn>14</mn>
</msub>
<mo>-</mo>
<mn>4</mn>
<msub>
<mi>t</mi>
<mn>12</mn>
</msub>
<mo>-</mo>
<mn>4</mn>
<msub>
<mi>t</mi>
<mn>16</mn>
</msub>
</mrow>
</mfrac>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<msub>
<mi>x</mi>
<mn>1</mn>
</msub>
<mo>=</mo>
<mfrac>
<mrow>
<mn>2</mn>
<msub>
<mi>r</mi>
<mn>1</mn>
</msub>
<mo>&CenterDot;</mo>
<mi>c</mi>
<mo>&CenterDot;</mo>
<msub>
<mi>t</mi>
<mn>14</mn>
</msub>
<mo>+</mo>
<msup>
<mi>c</mi>
<mn>2</mn>
</msup>
<mo>&CenterDot;</mo>
<msubsup>
<mi>t</mi>
<mn>14</mn>
<mn>2</mn>
</msubsup>
</mrow>
<mrow>
<mn>2</mn>
<mi>D</mi>
</mrow>
</mfrac>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<msub>
<mi>x</mi>
<mn>2</mn>
</msub>
<mo>=</mo>
<mfrac>
<mrow>
<mn>2</mn>
<msub>
<mi>r</mi>
<mn>1</mn>
</msub>
<mo>&CenterDot;</mo>
<mi>c</mi>
<mo>&CenterDot;</mo>
<mrow>
<mo>(</mo>
<msub>
<mi>t</mi>
<mn>13</mn>
</msub>
<mo>-</mo>
<msub>
<mi>t</mi>
<mn>12</mn>
</msub>
<mo>)</mo>
</mrow>
<mo>+</mo>
<msup>
<mi>c</mi>
<mn>2</mn>
</msup>
<mo>&CenterDot;</mo>
<mrow>
<mo>(</mo>
<msubsup>
<mi>t</mi>
<mn>13</mn>
<mn>2</mn>
</msubsup>
<mo>-</mo>
<msubsup>
<mi>t</mi>
<mn>12</mn>
<mn>2</mn>
</msubsup>
<mo>)</mo>
</mrow>
</mrow>
<mi>D</mi>
</mfrac>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<msub>
<mi>x</mi>
<mn>3</mn>
</msub>
<mo>=</mo>
<mfrac>
<mrow>
<mn>2</mn>
<msub>
<mi>r</mi>
<mn>1</mn>
</msub>
<mo>&CenterDot;</mo>
<mi>c</mi>
<mo>&CenterDot;</mo>
<mrow>
<mo>(</mo>
<msub>
<mi>t</mi>
<mn>15</mn>
</msub>
<mo>-</mo>
<msub>
<mi>t</mi>
<mn>16</mn>
</msub>
<mo>)</mo>
</mrow>
<mo>+</mo>
<msup>
<mi>c</mi>
<mn>2</mn>
</msup>
<mo>&CenterDot;</mo>
<mrow>
<mo>(</mo>
<msubsup>
<mi>t</mi>
<mn>15</mn>
<mn>2</mn>
</msubsup>
<mo>-</mo>
<msubsup>
<mi>t</mi>
<mn>16</mn>
<mn>2</mn>
</msubsup>
<mo>)</mo>
</mrow>
</mrow>
<mi>D</mi>
</mfrac>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<msub>
<mi>y</mi>
<mn>1</mn>
</msub>
<mo>=</mo>
<mfrac>
<mrow>
<mn>2</mn>
<msub>
<mi>r</mi>
<mn>1</mn>
</msub>
<mo>&CenterDot;</mo>
<mi>c</mi>
<mo>&CenterDot;</mo>
<mrow>
<mo>(</mo>
<msub>
<mi>t</mi>
<mn>16</mn>
</msub>
<mo>-</mo>
<msub>
<mi>t</mi>
<mn>12</mn>
</msub>
<mo>)</mo>
</mrow>
<mo>+</mo>
<msup>
<mi>c</mi>
<mn>2</mn>
</msup>
<mo>&CenterDot;</mo>
<mrow>
<mo>(</mo>
<msubsup>
<mi>t</mi>
<mn>16</mn>
<mn>2</mn>
</msubsup>
<mo>-</mo>
<msubsup>
<mi>t</mi>
<mn>12</mn>
<mn>2</mn>
</msubsup>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<msqrt>
<mn>3</mn>
</msqrt>
<mi>D</mi>
</mrow>
</mfrac>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<msub>
<mi>y</mi>
<mn>2</mn>
</msub>
<mo>=</mo>
<mfrac>
<mrow>
<mn>2</mn>
<msub>
<mi>r</mi>
<mn>1</mn>
</msub>
<mo>&CenterDot;</mo>
<mi>c</mi>
<mo>&CenterDot;</mo>
<mrow>
<mo>(</mo>
<msub>
<mi>t</mi>
<mn>15</mn>
</msub>
<mo>-</mo>
<msub>
<mi>t</mi>
<mn>13</mn>
</msub>
<mo>)</mo>
</mrow>
<mo>+</mo>
<msup>
<mi>c</mi>
<mn>2</mn>
</msup>
<mo>&CenterDot;</mo>
<mrow>
<mo>(</mo>
<msubsup>
<mi>t</mi>
<mn>15</mn>
<mn>2</mn>
</msubsup>
<mo>-</mo>
<msubsup>
<mi>t</mi>
<mn>13</mn>
<mn>2</mn>
</msubsup>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<msqrt>
<mn>3</mn>
</msqrt>
<mi>D</mi>
</mrow>
</mfrac>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<msub>
<mi>x</mi>
<mn>0</mn>
</msub>
<mo>=</mo>
<mfrac>
<mrow>
<msub>
<mi>x</mi>
<mn>1</mn>
</msub>
<mo>+</mo>
<msub>
<mi>x</mi>
<mn>2</mn>
</msub>
<mo>+</mo>
<msub>
<mi>x</mi>
<mn>3</mn>
</msub>
</mrow>
<mn>3</mn>
</mfrac>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<msub>
<mi>y</mi>
<mn>0</mn>
</msub>
<mo>=</mo>
<mfrac>
<mrow>
<msub>
<mi>y</mi>
<mn>1</mn>
</msub>
<mo>+</mo>
<msub>
<mi>y</mi>
<mn>2</mn>
</msub>
</mrow>
<mn>2</mn>
</mfrac>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<msub>
<mi>r</mi>
<mn>0</mn>
</msub>
<mo>=</mo>
<msqrt>
<mrow>
<msubsup>
<mi>x</mi>
<mn>0</mn>
<mn>2</mn>
</msubsup>
<mo>+</mo>
<msubsup>
<mi>r</mi>
<mn>1</mn>
<mn>2</mn>
</msubsup>
<mo>-</mo>
<msup>
<mrow>
<mo>(</mo>
<msub>
<mi>x</mi>
<mn>0</mn>
</msub>
<mo>-</mo>
<mfrac>
<mi>D</mi>
<mn>2</mn>
</mfrac>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
</mrow>
</msqrt>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<msub>
<mi>z</mi>
<mn>0</mn>
</msub>
<mo>=</mo>
<msqrt>
<mrow>
<msubsup>
<mi>r</mi>
<mn>0</mn>
<mn>2</mn>
</msubsup>
<mo>-</mo>
<msubsup>
<mi>x</mi>
<mn>0</mn>
<mn>2</mn>
</msubsup>
<mo>-</mo>
<msubsup>
<mi>y</mi>
<mn>0</mn>
<mn>2</mn>
</msubsup>
</mrow>
</msqrt>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
其中，D为所述第一麦克风与第四麦克风之间的距离；
c为声音在空气中的传播速度；
t12为所述第二麦克风与第一麦克风之间接收到声音信号的时间差；
t13为所述第三麦克风与第一麦克风之间接收到声音信号的时间差；
t14为所述第四麦克风与第一麦克风之间接收到声音信号的时间差；
t15为所述第五麦克风与第一麦克风之间接收到声音信号的时间差；
t16为所述第六麦克风与第一麦克风之间接收到声音信号的时间差；
x0为在第一坐标系中声源地的x轴坐标；
y0为在第一坐标系中声源地的y轴坐标；
z0为第一坐标系中声源地的z轴坐标；
r0为声源地距离第一麦克风与第四麦克风的中点的距离；
x1、x2、x3为计算过程产生的中间变量，根据该变量值以及上述公式能够计算出声源地的坐标值x0；
y1、y2为计算过程产生的中间变量，根据上述公式能够计算出声源地的球坐标值y0；
r1为计算过程产生的中间变量，根据上述公式能够计算出声源地的球坐标值r0。
(53)以第二麦克风与第五麦克风的连线为x轴的第二坐标系，按照下列公式计算在第二坐标系中声源地位置：
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<msup>
<msub>
<mi>r</mi>
<mn>1</mn>
</msub>
<mo>&prime;</mo>
</msup>
<mo>=</mo>
<mi>c</mi>
<mo>&CenterDot;</mo>
<mfrac>
<mrow>
<mn>2</mn>
<msubsup>
<mi>t</mi>
<mn>23</mn>
<mn>2</mn>
</msubsup>
<mo>+</mo>
<mn>2</mn>
<msubsup>
<mi>t</mi>
<mn>21</mn>
<mn>2</mn>
</msubsup>
<mo>-</mo>
<msubsup>
<mi>t</mi>
<mn>25</mn>
<mn>2</mn>
</msubsup>
</mrow>
<mrow>
<mn>2</mn>
<msub>
<mi>t</mi>
<mn>25</mn>
</msub>
<mo>-</mo>
<mn>4</mn>
<msub>
<mi>t</mi>
<mn>23</mn>
</msub>
<mo>-</mo>
<mn>4</mn>
<msub>
<mi>t</mi>
<mn>21</mn>
</msub>
</mrow>
</mfrac>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<msup>
<msub>
<mi>x</mi>
<mn>1</mn>
</msub>
<mo>&prime;</mo>
</msup>
<mo>=</mo>
<mfrac>
<mrow>
<mn>2</mn>
<msub>
<mi>r</mi>
<mn>1</mn>
</msub>
<mo>&CenterDot;</mo>
<mi>c</mi>
<mo>&CenterDot;</mo>
<msub>
<mi>t</mi>
<mn>25</mn>
</msub>
<mo>+</mo>
<msup>
<mi>c</mi>
<mn>2</mn>
</msup>
<mo>&CenterDot;</mo>
<msubsup>
<mi>t</mi>
<mn>25</mn>
<mn>2</mn>
</msubsup>
</mrow>
<mrow>
<mn>2</mn>
<mi>D</mi>
</mrow>
</mfrac>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<msup>
<msub>
<mi>x</mi>
<mn>2</mn>
</msub>
<mo>&prime;</mo>
</msup>
<mo>=</mo>
<mfrac>
<mrow>
<mn>2</mn>
<msub>
<mi>r</mi>
<mn>1</mn>
</msub>
<mo>&CenterDot;</mo>
<mi>c</mi>
<mo>&CenterDot;</mo>
<mrow>
<mo>(</mo>
<msub>
<mi>t</mi>
<mn>24</mn>
</msub>
<mo>-</mo>
<msub>
<mi>t</mi>
<mn>23</mn>
</msub>
<mo>)</mo>
</mrow>
<mo>+</mo>
<msup>
<mi>c</mi>
<mn>2</mn>
</msup>
<mo>&CenterDot;</mo>
<mrow>
<mo>(</mo>
<msubsup>
<mi>t</mi>
<mn>24</mn>
<mn>2</mn>
</msubsup>
<mo>-</mo>
<msubsup>
<mi>t</mi>
<mn>23</mn>
<mn>2</mn>
</msubsup>
<mo>)</mo>
</mrow>
</mrow>
<mi>D</mi>
</mfrac>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<msup>
<msub>
<mi>x</mi>
<mn>3</mn>
</msub>
<mo>&prime;</mo>
</msup>
<mo>=</mo>
<mfrac>
<mrow>
<mn>2</mn>
<msub>
<mi>r</mi>
<mn>1</mn>
</msub>
<mo>&CenterDot;</mo>
<mi>c</mi>
<mo>&CenterDot;</mo>
<mrow>
<mo>(</mo>
<msub>
<mi>t</mi>
<mn>26</mn>
</msub>
<mo>-</mo>
<msub>
<mi>t</mi>
<mn>21</mn>
</msub>
<mo>)</mo>
</mrow>
<mo>+</mo>
<msup>
<mi>c</mi>
<mn>2</mn>
</msup>
<mo>&CenterDot;</mo>
<mrow>
<mo>(</mo>
<msubsup>
<mi>t</mi>
<mn>26</mn>
<mn>2</mn>
</msubsup>
<mo>-</mo>
<msubsup>
<mi>t</mi>
<mn>21</mn>
<mn>2</mn>
</msubsup>
<mo>)</mo>
</mrow>
</mrow>
<mi>D</mi>
</mfrac>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<msup>
<msub>
<mi>y</mi>
<mn>1</mn>
</msub>
<mo>&prime;</mo>
</msup>
<mo>=</mo>
<mfrac>
<mrow>
<mn>2</mn>
<msub>
<mi>r</mi>
<mn>1</mn>
</msub>
<mo>&CenterDot;</mo>
<mi>c</mi>
<mo>&CenterDot;</mo>
<mrow>
<mo>(</mo>
<msub>
<mi>t</mi>
<mn>21</mn>
</msub>
<mo>-</mo>
<msub>
<mi>t</mi>
<mn>23</mn>
</msub>
<mo>)</mo>
</mrow>
<mo>+</mo>
<msup>
<mi>c</mi>
<mn>2</mn>
</msup>
<mo>&CenterDot;</mo>
<mrow>
<mo>(</mo>
<msubsup>
<mi>t</mi>
<mn>21</mn>
<mn>2</mn>
</msubsup>
<mo>-</mo>
<msubsup>
<mi>t</mi>
<mn>23</mn>
<mn>2</mn>
</msubsup>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<msqrt>
<mn>3</mn>
</msqrt>
<mi>D</mi>
</mrow>
</mfrac>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<msup>
<msub>
<mi>y</mi>
<mn>2</mn>
</msub>
<mrow>
<mo>&prime;</mo>
<mo>&prime;</mo>
</mrow>
</msup>
<mo>=</mo>
<mfrac>
<mrow>
<mn>2</mn>
<msub>
<mi>r</mi>
<mn>1</mn>
</msub>
<mo>&CenterDot;</mo>
<mi>c</mi>
<mo>&CenterDot;</mo>
<mrow>
<mo>(</mo>
<msub>
<mi>t</mi>
<mn>26</mn>
</msub>
<mo>-</mo>
<msub>
<mi>t</mi>
<mn>24</mn>
</msub>
<mo>)</mo>
</mrow>
<mo>+</mo>
<msup>
<mi>c</mi>
<mn>2</mn>
</msup>
<mo>&CenterDot;</mo>
<mrow>
<mo>(</mo>
<msubsup>
<mi>t</mi>
<mn>26</mn>
<mn>2</mn>
</msubsup>
<mo>-</mo>
<msubsup>
<mi>t</mi>
<mn>24</mn>
<mn>2</mn>
</msubsup>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<msqrt>
<mn>3</mn>
</msqrt>
<mi>D</mi>
</mrow>
</mfrac>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<msup>
<mi>x</mi>
<mo>&prime;</mo>
</msup>
<mo>=</mo>
<mfrac>
<mrow>
<msup>
<msub>
<mi>x</mi>
<mn>1</mn>
</msub>
<mo>&prime;</mo>
</msup>
<mo>+</mo>
<msup>
<msub>
<mi>x</mi>
<mn>2</mn>
</msub>
<mo>&prime;</mo>
</msup>
<mo>+</mo>
<msup>
<msub>
<mi>x</mi>
<mn>3</mn>
</msub>
<mo>&prime;</mo>
</msup>
</mrow>
<mn>3</mn>
</mfrac>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<msup>
<mi>y</mi>
<mo>&prime;</mo>
</msup>
<mo>=</mo>
<mfrac>
<mrow>
<msup>
<msub>
<mi>y</mi>
<mn>1</mn>
</msub>
<mo>&prime;</mo>
</msup>
<mo>+</mo>
<msup>
<msub>
<mi>y</mi>
<mn>2</mn>
</msub>
<mo>&prime;</mo>
</msup>
</mrow>
<mn>2</mn>
</mfrac>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<msup>
<mi>r</mi>
<mo>&prime;</mo>
</msup>
<mo>=</mo>
<msqrt>
<mrow>
<msup>
<mi>x</mi>
<mrow>
<mo>&prime;</mo>
<mn>2</mn>
</mrow>
</msup>
<mo>+</mo>
<msup>
<msub>
<mi>r</mi>
<mn>1</mn>
</msub>
<mrow>
<mo>&prime;</mo>
<mn>2</mn>
</mrow>
</msup>
<mo>-</mo>
<msup>
<mrow>
<mo>(</mo>
<msup>
<mi>x</mi>
<mo>&prime;</mo>
</msup>
<mo>-</mo>
<mfrac>
<mi>D</mi>
<mn>2</mn>
</mfrac>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
</mrow>
</msqrt>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<msup>
<mi>z</mi>
<mo>&prime;</mo>
</msup>
<mo>=</mo>
<msqrt>
<mrow>
<msup>
<mi>r</mi>
<mrow>
<mo>&prime;</mo>
<mn>2</mn>
</mrow>
</msup>
<mo>-</mo>
<msup>
<mi>x</mi>
<mrow>
<mo>&prime;</mo>
<mn>2</mn>
</mrow>
</msup>
<mo>-</mo>
<msup>
<mi>y</mi>
<mrow>
<mo>&prime;</mo>
<mn>2</mn>
</mrow>
</msup>
</mrow>
</msqrt>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
其中，D为所述第二麦克风与第五麦克风之间的距离；
c为声音在空气中的传播速度；
t23为所述第三麦克风与第二麦克风之间接收到声音信号的时间差；
t24为所述第四麦克风与第二麦克风之间接收到声音信号的时间差；
t25为所述第五麦克风与第二麦克风之间接收到声音信号的时间差；
t26为所述第六麦克风与第二麦克风之间接收到声音信号的时间差；
t21为所述第一麦克风与第二麦克风之间接收到声音信号的时间差；
x'为在所述第二坐标系中声源地的x轴坐标；
y'为在所述第二坐标系中声源地的y轴坐标；
z'为在所述第二坐标系中声源地的z轴坐标；
r'为声源地距离所述第一麦克风与第四麦克风的中点的距离，即声源地的球坐标值；
x1'、x2'、x3'为计算过程产生的中间变量，根据该变量值以及上述公式能够计算出声源地的坐标值x0；
y1'、y2'为计算过程产生的中间变量，根据上述公式能够计算出声源地的球坐标值y0；
(54)以所述第六麦克风与第三麦克风的连线为x轴的第三坐标系，按照下列计算声源地位置；
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<msup>
<msub>
<mi>r</mi>
<mn>1</mn>
</msub>
<mrow>
<mo>&prime;</mo>
<mo>&prime;</mo>
</mrow>
</msup>
<mo>=</mo>
<mi>c</mi>
<mo>&CenterDot;</mo>
<mfrac>
<mrow>
<mn>2</mn>
<msubsup>
<mi>t</mi>
<mn>61</mn>
<mn>2</mn>
</msubsup>
<mo>+</mo>
<mn>2</mn>
<msubsup>
<mi>t</mi>
<mn>65</mn>
<mn>2</mn>
</msubsup>
<mo>-</mo>
<msubsup>
<mi>t</mi>
<mn>63</mn>
<mn>2</mn>
</msubsup>
</mrow>
<mrow>
<mn>2</mn>
<msub>
<mi>t</mi>
<mn>63</mn>
</msub>
<mo>-</mo>
<mn>4</mn>
<msub>
<mi>t</mi>
<mn>61</mn>
</msub>
<mo>-</mo>
<mn>4</mn>
<msub>
<mi>t</mi>
<mn>65</mn>
</msub>
</mrow>
</mfrac>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<msup>
<msub>
<mi>x</mi>
<mn>1</mn>
</msub>
<mrow>
<mo>&prime;</mo>
<mo>&prime;</mo>
</mrow>
</msup>
<mo>=</mo>
<mfrac>
<mrow>
<mn>2</mn>
<msup>
<msub>
<mi>r</mi>
<mn>1</mn>
</msub>
<mrow>
<mo>&prime;</mo>
<mo>&prime;</mo>
</mrow>
</msup>
<mo>&CenterDot;</mo>
<mi>c</mi>
<mo>&CenterDot;</mo>
<msub>
<mi>t</mi>
<mn>63</mn>
</msub>
<mo>+</mo>
<msup>
<mi>c</mi>
<mn>2</mn>
</msup>
<mo>&CenterDot;</mo>
<msubsup>
<mi>t</mi>
<mn>63</mn>
<mn>2</mn>
</msubsup>
</mrow>
<mrow>
<mn>2</mn>
<mi>D</mi>
</mrow>
</mfrac>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<msup>
<msub>
<mi>x</mi>
<mn>2</mn>
</msub>
<mrow>
<mo>&prime;</mo>
<mo>&prime;</mo>
</mrow>
</msup>
<mo>=</mo>
<mfrac>
<mrow>
<mn>2</mn>
<msup>
<msub>
<mi>r</mi>
<mn>1</mn>
</msub>
<mrow>
<mo>&prime;</mo>
<mo>&prime;</mo>
</mrow>
</msup>
<mo>&CenterDot;</mo>
<mi>c</mi>
<mo>&CenterDot;</mo>
<mrow>
<mo>(</mo>
<msub>
<mi>t</mi>
<mn>62</mn>
</msub>
<mo>-</mo>
<msub>
<mi>t</mi>
<mn>61</mn>
</msub>
<mo>)</mo>
</mrow>
<mo>+</mo>
<msup>
<mi>c</mi>
<mn>2</mn>
</msup>
<mo>&CenterDot;</mo>
<mrow>
<mo>(</mo>
<msubsup>
<mi>t</mi>
<mn>62</mn>
<mn>2</mn>
</msubsup>
<mo>-</mo>
<msubsup>
<mi>t</mi>
<mn>61</mn>
<mn>2</mn>
</msubsup>
<mo>)</mo>
</mrow>
</mrow>
<mi>D</mi>
</mfrac>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<msup>
<msub>
<mi>x</mi>
<mn>3</mn>
</msub>
<mrow>
<mo>&prime;</mo>
<mo>&prime;</mo>
</mrow>
</msup>
<mo>=</mo>
<mfrac>
<mrow>
<mn>2</mn>
<mo>&CenterDot;</mo>
<msup>
<msub>
<mi>r</mi>
<mn>1</mn>
</msub>
<mrow>
<mo>&prime;</mo>
<mo>&prime;</mo>
</mrow>
</msup>
<mo>&CenterDot;</mo>
<mi>c</mi>
<mo>&CenterDot;</mo>
<mrow>
<mo>(</mo>
<msub>
<mi>t</mi>
<mn>64</mn>
</msub>
<mo>-</mo>
<msub>
<mi>t</mi>
<mn>65</mn>
</msub>
<mo>)</mo>
</mrow>
<mo>+</mo>
<msup>
<mi>c</mi>
<mn>2</mn>
</msup>
<mo>&CenterDot;</mo>
<mrow>
<mo>(</mo>
<msubsup>
<mi>t</mi>
<mn>64</mn>
<mn>2</mn>
</msubsup>
<mo>-</mo>
<msubsup>
<mi>t</mi>
<mn>65</mn>
<mn>2</mn>
</msubsup>
<mo>)</mo>
</mrow>
</mrow>
<mi>D</mi>
</mfrac>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<msup>
<msub>
<mi>y</mi>
<mn>1</mn>
</msub>
<mrow>
<mo>&prime;</mo>
<mo>&prime;</mo>
</mrow>
</msup>
<mo>=</mo>
<mfrac>
<mrow>
<mn>2</mn>
<mo>&CenterDot;</mo>
<msup>
<msub>
<mi>r</mi>
<mn>1</mn>
</msub>
<mrow>
<mo>&prime;</mo>
<mo>&prime;</mo>
</mrow>
</msup>
<mo>&CenterDot;</mo>
<mi>c</mi>
<mo>&CenterDot;</mo>
<mrow>
<mo>(</mo>
<msub>
<mi>t</mi>
<mn>64</mn>
</msub>
<mo>-</mo>
<msub>
<mi>t</mi>
<mn>62</mn>
</msub>
<mo>)</mo>
</mrow>
<mo>+</mo>
<msup>
<mi>c</mi>
<mn>2</mn>
</msup>
<mo>&CenterDot;</mo>
<mrow>
<mo>(</mo>
<msubsup>
<mi>t</mi>
<mn>64</mn>
<mn>2</mn>
</msubsup>
<mo>-</mo>
<msubsup>
<mi>t</mi>
<mn>62</mn>
<mn>2</mn>
</msubsup>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<msqrt>
<mn>3</mn>
</msqrt>
<mi>D</mi>
</mrow>
</mfrac>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<msup>
<msub>
<mi>y</mi>
<mn>2</mn>
</msub>
<mrow>
<mo>&prime;</mo>
<mo>&prime;</mo>
</mrow>
</msup>
<mo>=</mo>
<mfrac>
<mrow>
<mn>2</mn>
<mo>&CenterDot;</mo>
<msup>
<msub>
<mi>r</mi>
<mn>1</mn>
</msub>
<mrow>
<mo>&prime;</mo>
<mo>&prime;</mo>
</mrow>
</msup>
<mo>&CenterDot;</mo>
<mi>c</mi>
<mo>&CenterDot;</mo>
<mrow>
<mo>(</mo>
<msub>
<mi>t</mi>
<mn>64</mn>
</msub>
<mo>-</mo>
<msub>
<mi>t</mi>
<mn>62</mn>
</msub>
<mo>)</mo>
</mrow>
<mo>+</mo>
<msup>
<mi>c</mi>
<mn>2</mn>
</msup>
<mo>&CenterDot;</mo>
<mrow>
<mo>(</mo>
<msubsup>
<mi>t</mi>
<mn>64</mn>
<mn>2</mn>
</msubsup>
<mo>-</mo>
<msubsup>
<mi>t</mi>
<mn>62</mn>
<mn>2</mn>
</msubsup>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<msqrt>
<mn>3</mn>
</msqrt>
<mi>D</mi>
</mrow>
</mfrac>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<msup>
<mi>x</mi>
<mrow>
<mo>&prime;</mo>
<mo>&prime;</mo>
</mrow>
</msup>
<mo>=</mo>
<mfrac>
<mrow>
<msup>
<msub>
<mi>x</mi>
<mn>1</mn>
</msub>
<mrow>
<mo>&prime;</mo>
<mo>&prime;</mo>
</mrow>
</msup>
<mo>+</mo>
<msup>
<msub>
<mi>x</mi>
<mn>2</mn>
</msub>
<mrow>
<mo>&prime;</mo>
<mo>&prime;</mo>
</mrow>
</msup>
<mo>+</mo>
<msup>
<msub>
<mi>x</mi>
<mn>3</mn>
</msub>
<mrow>
<mo>&prime;</mo>
<mo>&prime;</mo>
</mrow>
</msup>
</mrow>
<mn>3</mn>
</mfrac>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<msup>
<mi>y</mi>
<mrow>
<mo>&prime;</mo>
<mo>&prime;</mo>
</mrow>
</msup>
<mo>=</mo>
<mfrac>
<mrow>
<msup>
<msub>
<mi>y</mi>
<mn>1</mn>
</msub>
<mrow>
<mo>&prime;</mo>
<mo>&prime;</mo>
</mrow>
</msup>
<mo>+</mo>
<msup>
<msub>
<mi>y</mi>
<mn>2</mn>
</msub>
<mrow>
<mo>&prime;</mo>
<mo>&prime;</mo>
</mrow>
</msup>
</mrow>
<mn>2</mn>
</mfrac>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<msup>
<mi>r</mi>
<mrow>
<mo>&prime;</mo>
<mo>&prime;</mo>
</mrow>
</msup>
<mo>=</mo>
<msqrt>
<mrow>
<msup>
<mi>x</mi>
<mrow>
<mo>&prime;</mo>
<mo>&prime;</mo>
<mn>2</mn>
</mrow>
</msup>
<mo>+</mo>
<msup>
<msub>
<mi>r</mi>
<mn>1</mn>
</msub>
<mrow>
<mo>&prime;</mo>
<mo>&prime;</mo>
<mn>2</mn>
</mrow>
</msup>
<mo>-</mo>
<msup>
<mrow>
<mo>(</mo>
<msup>
<mi>x</mi>
<mrow>
<mo>&prime;</mo>
<mo>&prime;</mo>
</mrow>
</msup>
<mo>-</mo>
<mfrac>
<mi>D</mi>
<mn>2</mn>
</mfrac>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
</mrow>
</msqrt>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<msup>
<mi>z</mi>
<mrow>
<mo>&prime;</mo>
<mo>&prime;</mo>
</mrow>
</msup>
<mo>=</mo>
<msqrt>
<mrow>
<msup>
<mi>r</mi>
<mrow>
<mo>&prime;</mo>
<mo>&prime;</mo>
<mn>2</mn>
</mrow>
</msup>
<mo>-</mo>
<msup>
<mi>x</mi>
<mrow>
<mo>&prime;</mo>
<mo>&prime;</mo>
<mn>2</mn>
</mrow>
</msup>
<mo>-</mo>
<msup>
<mi>y</mi>
<mrow>
<mo>&prime;</mo>
<mo>&prime;</mo>
<mn>2</mn>
</mrow>
</msup>
</mrow>
</msqrt>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
其中，D为第三麦克风与第六麦克风之间的距离；
c为声音在空气中的传播速度；
t61为所述第一麦克风与第六麦克风之间接收到声音信号的时间差；
t62为所述第二麦克风与第六麦克风之间接收到声音信号的时间差；
t63为所述第三麦克风与第六麦克风之间接收到声音信号的时间差；
t64为所述第四麦克风与第六麦克风之间接收到声音信号的时间差；
t65为所述第五麦克风与第六麦克风之间接收到声音信号的时间差；
x”为在所述第三坐标系中声源地的x轴坐标；
y”为在所述第三坐标系中声源地的y轴坐标；
z”为在所述第三坐标系中声源地的z轴坐标；
r”为声源地距离第一麦克风与第四麦克风的中点的距离，即声源地的球坐标值；
x1”、x2”、x3”为计算过程产生的中间变量，根据该变量值以及上述公式能够计算出声源地的坐标值x0；
y1”、y2”为计算过程产生的中间变量，根据上述公式能够计算出声源地的球坐标值y0；
r1”为计算过程产生的中间变量，根据上述公式能够计算出声源地的球坐标值r”；
(55)按照下列公式将x'、y'分别换算为第一坐标系中的值：
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<msup>
<msub>
<mi>x</mi>
<mn>0</mn>
</msub>
<mo>&prime;</mo>
</msup>
<mo>=</mo>
<mfrac>
<mrow>
<msup>
<mi>x</mi>
<mo>&prime;</mo>
</msup>
<mo>-</mo>
<msqrt>
<mn>3</mn>
</msqrt>
<msup>
<mi>y</mi>
<mo>&prime;</mo>
</msup>
</mrow>
<mn>2</mn>
</mfrac>
</mtd>
</mtr>
<mtr>
<mtd>
<msup>
<msub>
<mi>y</mi>
<mn>0</mn>
</msub>
<mo>&prime;</mo>
</msup>
<mo>=</mo>
<mfrac>
<mrow>
<msqrt>
<mn>3</mn>
</msqrt>
<msup>
<mi>x</mi>
<mo>&prime;</mo>
</msup>
<mo>+</mo>
<msup>
<mi>y</mi>
<mo>&prime;</mo>
</msup>
</mrow>
<mn>2</mn>
</mfrac>
</mtd>
</mtr>
</mtable>
</mfenced>
4
其中，x0'为将所述第二坐标系中声源地的x轴坐标在第一坐标系中换算后声源地位置的x轴坐标；
y0'为将所述第二坐标系中声源地的y轴坐标在第一坐标系中换算后声源地位置的y轴坐标；
(56)按照下列公式将x”、y”分别换算为第一坐标系中的值：
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<msup>
<msub>
<mi>x</mi>
<mn>0</mn>
</msub>
<mrow>
<mo>&prime;</mo>
<mo>&prime;</mo>
</mrow>
</msup>
<mo>=</mo>
<mfrac>
<mrow>
<msup>
<mi>x</mi>
<mrow>
<mo>&prime;</mo>
<mo>&prime;</mo>
</mrow>
</msup>
<mo>+</mo>
<msqrt>
<mn>3</mn>
</msqrt>
<msup>
<mi>y</mi>
<mrow>
<mo>&prime;</mo>
<mo>&prime;</mo>
</mrow>
</msup>
</mrow>
<mn>2</mn>
</mfrac>
</mtd>
</mtr>
<mtr>
<mtd>
<msup>
<msub>
<mi>y</mi>
<mn>0</mn>
</msub>
<mrow>
<mo>&prime;</mo>
<mo>&prime;</mo>
</mrow>
</msup>
<mo>=</mo>
<mfrac>
<mrow>
<mo>-</mo>
<msqrt>
<mn>3</mn>
</msqrt>
<msup>
<mi>x</mi>
<mrow>
<mo>&prime;</mo>
<mo>&prime;</mo>
</mrow>
</msup>
<mo>+</mo>
<msup>
<mi>y</mi>
<mrow>
<mo>&prime;</mo>
<mo>&prime;</mo>
</mrow>
</msup>
</mrow>
<mn>2</mn>
</mfrac>
</mtd>
</mtr>
</mtable>
</mfenced>
其中，x0”为将所述第三坐标系中声源地的x轴坐标在第一坐标系中换算后声源地位置的x轴坐标；
y0”为所述第三坐标系中声源地的y轴坐标在第一坐标系中换算后声源地位置的y轴坐标；
(57)用于按照下列公式进行声源地计算：
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mi>x</mi>
<mo>=</mo>
<mfrac>
<mrow>
<msup>
<msub>
<mi>x</mi>
<mn>0</mn>
</msub>
<mo>&prime;</mo>
</msup>
<mo>+</mo>
<msup>
<msub>
<mi>x</mi>
<mn>0</mn>
</msub>
<mrow>
<mo>&prime;</mo>
<mo>&prime;</mo>
</mrow>
</msup>
<mo>+</mo>
<msub>
<mi>x</mi>
<mn>0</mn>
</msub>
</mrow>
<mn>3</mn>
</mfrac>
</mtd>
</mtr>
<mtr>
<mtd>
<mi>y</mi>
<mo>=</mo>
<mfrac>
<mrow>
<msup>
<msub>
<mi>y</mi>
<mn>0</mn>
</msub>
<mo>&prime;</mo>
</msup>
<mo>+</mo>
<msup>
<msub>
<mi>y</mi>
<mn>0</mn>
</msub>
<mrow>
<mo>&prime;</mo>
<mo>&prime;</mo>
</mrow>
</msup>
<mo>+</mo>
<msub>
<mi>y</mi>
<mn>0</mn>
</msub>
</mrow>
<mn>3</mn>
</mfrac>
</mtd>
</mtr>
<mtr>
<mtd>
<mi>z</mi>
<mo>=</mo>
<msup>
<msub>
<mi>z</mi>
<mn>0</mn>
</msub>
<mo>&prime;</mo>
</msup>
<mo>=</mo>
<msup>
<msub>
<mi>z</mi>
<mn>0</mn>
</msub>
<mrow>
<mo>&prime;</mo>
<mo>&prime;</mo>
</mrow>
</msup>
<mo>=</mo>
<msub>
<mi>z</mi>
<mn>0</mn>
</msub>
</mtd>
</mtr>
</mtable>
</mfenced>
其中，x为第一坐标系中的声源地x轴最终坐标；
y为第一坐标系中的声源地y轴最终坐标；
z为第一坐标系中的声源地z轴最终坐标；
用于按照以下公式计算声源地的球坐标值的装置：
其中，为最终输出的所述声源地位置的方位角；
θ为最终输出的声源地位置的俯仰角；
r为最终输出的声源地位置距离原点的距离。
xb为第一坐标系中的声源地x轴最终坐标；
yb为第一坐标系中的声源地y轴最终坐标；
zb为第一坐标系中的声源地z轴最终坐标。
6.如权利要求5所述的家居智能机器人，其特征是：所述用于运动帧与运动区域检测的装置，包括：用于采样机器人运动过程中所经过的关键场景的装置；
用于在采样关键场景前后位置图像及关键帧图像进行超像素分割的装置；
用于按照下列公式和算法在HSI空间中对超像素的HS通道信息进行聚类，建立场景模型的装置：
使用meanshift聚类算法对特征池进行聚类，得到n个聚类；每个聚类clst(i)(i＝1，...，n)由聚类中心fc(i)和聚类半径rc(i)表示；
用于在获取到新的图像帧之后，按照下列方法选取场景模型来分析该帧是否包含运动区域的装置：
(61)选取该图像帧采集时机器人位置最为相似的关键场景，获取对应场景下的场景模型；
(62)将该图像帧进行超像素分割，得到N个超像素。每个超像素sp(r)(r＝1，...，N)由一个特征向量fr来表示；
(63)计算该帧中的超像素sp(r)和对应场景下场景模型的超像素点sp(t，r)之间的距离，选取距离最近的点所在的聚类为该帧中超像素sp(r)的类别。距离计算公式如下：
<mrow>
<mi>d</mi>
<mo>=</mo>
<msup>
<mrow>
<mo>(</mo>
<msup>
<mi>f</mi>
<mi>r</mi>
</msup>
<mo>-</mo>
<msubsup>
<mi>f</mi>
<mi>t</mi>
<mi>r</mi>
</msubsup>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
</mrow>
(64)依据超像素和对应的聚类中心之间的距离来计算该每个超像素属于变化区域的概率,概率计算公式如下：
超像素r属于聚类i
其中参数rc(i)代表了clst(i)在特征空间中的聚类半径，λd是一个归一化项(在实验中设置为2)。综合考虑超像素sp(r)所属于的聚类，以及和对应的聚类中心之间的距离，得出该超像素的目标置信度值将每个超像素所对应的像素位置属于变化区域的概率设置为由于取样样本数量足够大，因此可以认为得到概率图。如果则认为该超像素为变化区域；
(65)分析概率图中联通的属于变化区域的尺寸大小，如果大于阈值则认为该区域为潜在目标人区域，选取周围的部分为潜在目标人位置。
7.如权利要求5所述的家居智能机器人，其特征是：所述用于视觉目标检测的装置，包括：
用于按照下列方法将每个初始帧进行超像素分割，聚类，得到目标人表观模型的装置：
(71)将第t帧中的目标周围区域进行超像素分割，得到Nt个超像素。每个超像素sp(t，r)(t＝1，...，m，r＝1，...，Nt)由一个特征向量来表示；
(72)使用meanshift聚类算法对特征池进行聚类，得到n个聚类。每个聚类clst(i)(i＝1，...，n)由聚类中心fc(i)和聚类半径rc(i)表示；
(73)每个clst(i)对应于训练帧中的图像区域S(i),对每个clst(i)计算两个得分，S+(i),S-(i)。前一个分数表示聚类面积S(i)和目标区域的交集大小，后面一个分数表示聚类面积S(i)在目标区域外的大小。S+(i)/S-(i)的值越大，在训练帧中区域S(i)属于目标的可能性越大。给每个聚类一个介于[1,-1]之间的打分来代表每个聚类的前景-背景置信度，记为其中特征表示使用归一化的HSI颜色空间直方图。sp代表super pixel(超像素),clst代表cluster(聚类)；
用于按照下列方法对新的图像帧使用表观模型和地图点信息得到目标位置的装置:
(74)当新的图像帧到达的时候，首先在前一帧的目标区域周围提取一个搜索区域，并且分割为Nt个超像素；
(75)聚类到目标人表观模型，依据所属于的聚类中心属性进行打分，得到置信度图，公式如下；
<mrow>
<mi>w</mi>
<mrow>
<mo>(</mo>
<mi>r</mi>
<mo>,</mo>
<mi>i</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mi>exp</mi>
<mrow>
<mo>(</mo>
<mo>-</mo>
<msub>
<mi>&lambda;</mi>
<mi>d</mi>
</msub>
<mo>&times;</mo>
<mfrac>
<mrow>
<mo>|</mo>
<mo>|</mo>
<msubsup>
<mi>f</mi>
<mi>t</mi>
<mi>r</mi>
</msubsup>
<mo>-</mo>
<msub>
<mi>f</mi>
<mi>c</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>)</mo>
</mrow>
<mo>|</mo>
<msup>
<mo>|</mo>
<mn>2</mn>
</msup>
</mrow>
<mrow>
<msub>
<mi>r</mi>
<mi>c</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>)</mo>
</mrow>
</mrow>
</mfrac>
<mo>)</mo>
</mrow>
<mo>,</mo>
<mo>&ForAll;</mo>
<mi>r</mi>
<mo>=</mo>
<mn>1</mn>
<mo>,</mo>
<mo>...</mo>
<mo>,</mo>
<msub>
<mi>N</mi>
<mi>t</mi>
</msub>
<mo>,</mo>
<mo>&ForAll;</mo>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
<mo>,</mo>
<mo>...</mo>
<mi>n</mi>
</mrow>
<mrow>
<msubsup>
<mi>C</mi>
<mi>r</mi>
<mi>s</mi>
</msubsup>
<mo>=</mo>
<mi>w</mi>
<mrow>
<mo>(</mo>
<mi>r</mi>
<mo>,</mo>
<mi>i</mi>
<mo>)</mo>
</mrow>
<mo>&times;</mo>
<msubsup>
<mi>C</mi>
<mi>i</mi>
<mi>c</mi>
</msubsup>
<mo>,</mo>
<mo>&ForAll;</mo>
<mi>r</mi>
<mo>=</mo>
<mn>1</mn>
<mo>,</mo>
<mo>...</mo>
<mo>,</mo>
<msub>
<mi>N</mi>
<mi>t</mi>
</msub>
</mrow>
其中w(r，i)表示基于特征(第t帧中第r个超像素sp(t，r)的特征)和fc(i)(sp(t，r)属于的聚类的特征中心)的权重。参数rc(i)表示clst(i)在特征空间中的聚类半径，λd是一个归一化项(在试验中设置为2)。综合考虑超像素sp(t，r)所属于的聚类，以及和对应的聚类中心之间的聚类，得出该超像素的置信度值
对于整个图像帧，通过以下步骤得到每个像素的置信值。对于搜索区域内每个属于超像素sp(t，r)的像素打分为对于搜索领域之外的像素打分为-1；
(76)地图点打分，公式如下：
<mrow>
<msubsup>
<mi>C</mi>
<mi>r</mi>
<mi>m</mi>
</msubsup>
<mo>=</mo>
<mo>-</mo>
<mn>2</mn>
<mo>*</mo>
<mrow>
<mo>(</mo>
<mi>s</mi>
<mi>i</mi>
<mi>g</mi>
<mi>m</mi>
<mi>o</mi>
<mi>i</mi>
<mi>d</mi>
<mo>(</mo>
<mrow>
<mi>n</mi>
<mrow>
<mo>(</mo>
<mrow>
<mi>r</mi>
<mo>,</mo>
<mi>k</mi>
</mrow>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mn>10</mn>
</mrow>
<mo>)</mo>
<mo>-</mo>
<mn>0.5</mn>
<mo>)</mo>
</mrow>
</mrow>
如果sp(t,r)和地图点k相邻
n(t，k)代表图像帧t中地图点k的共见次数；
(77)表观模型的得分和地图点的得分通过求均值的方式进行融合，融合的位置仅限地图点周围的超像素，没有地图点的超像素的打分仅由表观模型决定，公式如下：
(78)选择属于目标的得分最高的区域为目标位置；
(79)调整将地图点所在超像素属于目标人的概率，以备表观模型更新；
用于每追踪一定数量的图像帧之后，更新表观模型的装置。
8.如权利要求5所述的家居智能机器人，其特征是：所述用于视觉目标跟随的装置，包括：
用于计算根据权利要求7所述目标位置的水平中心位置的装置；
用于控制机器人移动，使得目标人位于机器人采集的图像水平中心位置的装置。
9.如权利要求1所述的家居智能机器人，其特征是：所述安防***包括：
用于判断报警器是否接收到报警信息的装置；
如果不是，则用于返回至初始状态的装置；
如果是，则用于控制报警器蜂鸣装置发出报警信号的装置；
用于控制机器人显示器显示报警信息的装置；
用于控制手机终端软件发出报警信息的装置；
用于控制向用户手机发送报警短信的装置。
10.如权利要求1所述的家居智能机器人，其特征是：所述远程通信模块包括用于向网络数据库进行数据下载的装置；
所述运动模块包括红外避障装置、超声波避障装置以及紧急制动装置；
所述安防***包括用于与所述报警器进行匹配的装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710725579.1A CN107290975A (zh) | 2017-08-22 | 2017-08-22 | 一种家居智能机器人 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710725579.1A CN107290975A (zh) | 2017-08-22 | 2017-08-22 | 一种家居智能机器人 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107290975A true CN107290975A (zh) | 2017-10-24 |
Family
ID=60107129
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710725579.1A Pending CN107290975A (zh) | 2017-08-22 | 2017-08-22 | 一种家居智能机器人 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107290975A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108279410A (zh) * | 2018-01-22 | 2018-07-13 | 成都清轻信息技术有限公司 | 基于声场运动和距离检测的智能锁开锁时机判定方法与*** |
| CN109528092A (zh) * | 2018-12-20 | 2019-03-29 | 珠海市微半导体有限公司 | 一种清洁机器人对湿滑区域进行警示的方法 |
| CN109885104A (zh) * | 2017-12-06 | 2019-06-14 | 湘潭宏远电子科技有限公司 | 一种终端跟踪*** |
| CN110824939A (zh) * | 2019-11-06 | 2020-02-21 | 创维集团有限公司 | 智能人居控制中心 |
| CN110830597A (zh) * | 2018-08-07 | 2020-02-21 | 深圳市玖胜云智联科技有限公司 | 机器人及其基于Linux***实现AI多媒体交互的方法 |
| CN110958416A (zh) * | 2019-12-06 | 2020-04-03 | 佳讯飞鸿（北京）智能科技研究院有限公司 | 目标跟踪***和远程跟踪*** |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104965426A (zh) * | 2015-06-24 | 2015-10-07 | 百度在线网络技术（北京）有限公司 | 基于人工智能的智能机器人控制***、方法和装置 |
| CN105034002A (zh) * | 2015-08-04 | 2015-11-11 | 北京进化者机器人科技有限公司 | 一种多功能家庭服务机器人 |
| CN205281720U (zh) * | 2015-12-09 | 2016-06-01 | 深圳市智安物联科技有限公司 | 一种智能家居安防服务机器人*** |
| CN106346487A (zh) * | 2016-08-25 | 2017-01-25 | 威仔软件科技（苏州）有限公司 | 交互式vr沙盘展示机器人 |
| CN107030691A (zh) * | 2017-03-24 | 2017-08-11 | 华为技术有限公司 | 一种看护机器人的数据处理方法及装置 |
-
2017
- 2017-08-22 CN CN201710725579.1A patent/CN107290975A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104965426A (zh) * | 2015-06-24 | 2015-10-07 | 百度在线网络技术（北京）有限公司 | 基于人工智能的智能机器人控制***、方法和装置 |
| CN105034002A (zh) * | 2015-08-04 | 2015-11-11 | 北京进化者机器人科技有限公司 | 一种多功能家庭服务机器人 |
| CN205281720U (zh) * | 2015-12-09 | 2016-06-01 | 深圳市智安物联科技有限公司 | 一种智能家居安防服务机器人*** |
| CN106346487A (zh) * | 2016-08-25 | 2017-01-25 | 威仔软件科技（苏州）有限公司 | 交互式vr沙盘展示机器人 |
| CN107030691A (zh) * | 2017-03-24 | 2017-08-11 | 华为技术有限公司 | 一种看护机器人的数据处理方法及装置 |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109885104A (zh) * | 2017-12-06 | 2019-06-14 | 湘潭宏远电子科技有限公司 | 一种终端跟踪*** |
| CN108279410A (zh) * | 2018-01-22 | 2018-07-13 | 成都清轻信息技术有限公司 | 基于声场运动和距离检测的智能锁开锁时机判定方法与*** |
| CN110830597A (zh) * | 2018-08-07 | 2020-02-21 | 深圳市玖胜云智联科技有限公司 | 机器人及其基于Linux***实现AI多媒体交互的方法 |
| CN109528092A (zh) * | 2018-12-20 | 2019-03-29 | 珠海市微半导体有限公司 | 一种清洁机器人对湿滑区域进行警示的方法 |
| CN109528092B (zh) * | 2018-12-20 | 2021-04-30 | 珠海市一微半导体有限公司 | 一种智能家用清洁机器人对湿滑区域进行警示的方法 |
| CN110824939A (zh) * | 2019-11-06 | 2020-02-21 | 创维集团有限公司 | 智能人居控制中心 |
| CN110958416A (zh) * | 2019-12-06 | 2020-04-03 | 佳讯飞鸿（北京）智能科技研究院有限公司 | 目标跟踪***和远程跟踪*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107290975A (zh) | 一种家居智能机器人 | |
| US11397462B2 (en) | Real-time human-machine collaboration using big data driven augmented reality technologies | |
| KR101644443B1 (ko) | 시공적 상황데이터를 이용한 경고 방법 및 시스템 | |
| US11295139B2 (en) | Human presence detection in edge devices | |
| De Silva et al. | State of the art of smart homes | |
| US10902263B1 (en) | Image processing system for object identification | |
| CN109918975A (zh) | 一种增强现实的处理方法、对象识别的方法及终端 | |
| CN110113116B (zh) | 基于wifi信道信息的人体行为识别方法 | |
| Vaidya et al. | Real-time object detection for visually challenged people | |
| CN108062098A (zh) | 智能机器人的地图构建方法和*** | |
| CN110135476A (zh) | 一种个人安全装备的检测方法、装置、设备及*** | |
| Parikh et al. | Android smartphone based visual object recognition for visually impaired using deep learning | |
| Rajendran et al. | Design and implementation of voice assisted smart glasses for visually impaired people using *** vision api | |
| CN112699808A (zh) | 密集目标检测方法、电子设备及相关产品 | |
| Zhou et al. | A New Remote Health‐Care System Based on Moving Robot Intended for the Elderly at Home | |
| CN105974360A (zh) | 一种基于adl的监测分析方法、装置 | |
| US20240169687A1 (en) | Model training method, scene recognition method, and related device | |
| Samani et al. | Anomaly detection with vision-based deep learning for epidemic prevention and control | |
| CN106780183A (zh) | 基于ar增强现实技术和游人保护的开放式鸟类游园*** | |
| CN114022896A (zh) | 目标检测方法、装置、电子设备及可读取存储介质 | |
| Sreenivasulu | A comparative review on object detection system for visually impaired | |
| CN115223245A (zh) | 景区游客行为的检测聚类方法、***、设备及存储介质 | |
| Ettehadieh | Systematic parameter optimization and application of automated tracking in pedestrian-dominant situations | |
| CN114387624A (zh) | 基于姿态指导的行人重识别方法、设备及存储介质 | |
| CN106791637A (zh) | 基于ar增强现实技术的鸟类观赏和区域保护*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20171024 |
|
| RJ01 | Rejection of invention patent application after publication |