CN106595633B - 室内定位方法及装置 - Google Patents

室内定位方法及装置 Download PDF

Info

Publication number
CN106595633B
CN106595633B CN201611070529.6A CN201611070529A CN106595633B CN 106595633 B CN106595633 B CN 106595633B CN 201611070529 A CN201611070529 A CN 201611070529A CN 106595633 B CN106595633 B CN 106595633B
Authority
CN
China
Prior art keywords
pedestrian
indoor
probability
position information
moving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611070529.6A
Other languages
English (en)
Other versions
CN106595633A (zh
Inventor
姜竹青
张光华
张北航
曲芮
门爱东
赵毅
何善宝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN201611070529.6A priority Critical patent/CN106595633B/zh
Publication of CN106595633A publication Critical patent/CN106595633A/zh
Application granted granted Critical
Publication of CN106595633B publication Critical patent/CN106595633B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20Instruments for performing navigational calculations
    • G01C21/206Instruments for performing navigational calculations specially adapted for indoor navigation

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明提供一种室内定位方法及装置,属于室内定位技术领域。方法包括:根据多重传感器采集到的数据,预测行人的位置信息;基于室内运动模型,获取行人的室内运动状态;基于室内环境地图模型,根据室内运动状态及室内预设节点的位置信息,对预测得到的行人位置信息进行校准,得到行人的最终位置信息。本发明通过预测行人的位置信息。基于室内运动模型,获取行人的室内运动状态。基于室内环境地图模型,根据室内运动状态及室内预设节点的位置信息,对预测得到的行人位置信息进行校准,得到行人的最终位置信息。由于不用安装外部设备,从而在避免设计复杂度较高的***的同时,还可减少硬件成本消耗,进而使得室内定位时耗费的成本较低。

Description

室内定位方法及装置
技术领域
本发明涉及室内定位技术领域,更具体地,涉及一种室内定位方法及装置。
背景技术
在目前许多应用领域中,获取人或者物***置信息都非常重要。随着科学技术以及通信技术等不断进步,基于LBS(Location Based Service,位置服务)的定位技术也迅猛发展。LBS主要解决的问题是将已经存在的资源提供给用户,根据其所处的周边环境来提供特定的服务。
在室外环境下,可通过GPS(Global Positioning System,全球定位***)来获得位置信息。随着信息技术飞速发展,GPS定位技术可以满足普通民众的日常需求。相应地,GPS技术一直是研究的主流。由于GPS是通过卫星来进行定位的,在四颗卫星同时定位的前提下才可以获得到最好的定位精度。但是在室内的环境下,由于建筑物对GPS信号的遮挡,卫星信号强度和质量急速下降。同时,由于室内环境十分复杂,在室内不能进行精确地定位。因此,室内定位技术难度较大。
另外,研究表明人们日常生活中90%时间都在室内,也就是说人们大部分时间都在GPS信号定位之外。由此可见,室内定位技术也是人们所着重需求的。随着智能通信设备的发展,室内定位技术的研究也发展了起来。人们日常生活中使用的智能手机和平板电脑等智能移动终端,集成了MEMS(Micro-Electro-Mechanical System,微机电***)、加速度计、陀螺仪及气压计等高精度传感器元件。这些传感器元件的广泛使用,为室内定位技术提供了基础且传感器元件的精度也可以满足室内定位技术的需求。另外,辅助定位技术也同时获得广泛而充分的研究。例如,基于无线指纹信号的室内定位技术、基于视觉的定位技术等。这些方式或者是与传感器结合使用,或者作为独立的定位技术。相应地,室内定位的精度也随之提高。近年来,谷歌等公司开始建立室内地图,逐步覆盖了一些大城市的标志性建筑物,从而使得室内的地图也可以成为定位的辅助手段。
从2000年开始,在智能终端逐渐普及的基础上,LBS在渐渐地被应用在紧急救助、灾害预防、物流管理、设备检查及医疗保健等领域。在这个背景下,对于定位从室外到室内的无缝连接需求也被提了出来。
在公共安全保障、商业化服务以及在仓储服务领域中,高精度的室内定位技术有着非常重要的意义。例如,在社会公共安全保障方面,精准的室内定位技术可以为消防员、警察等人员提供室内导航服务,以及在监狱中对犯人进行定位等。在商业化服务中,精准的室内定位技术可以为家庭提供定位服务,在商场、博物馆等室内环境中可提供导航,在医院、家庭中可以提供对于老人、小孩以及病人的看护定位服务。在仓储服务中,可以对物品进行定位。因此,室内定位技术拥有广泛的应用场景。
在此基础上,行人室内定位和导航技术的研究方向主要是向着低成本、易便携及提高定位精度发展。现有的室内定位方法主要是预先安装多个外部设备,如AP(AcessPiont,接入点),根据移动终端与外部设备之间信号强度与距离的映射关系,来对行人进行定位。
在实现本发明的过程中,发现现有技术至少存在以下问题:由于需要安装多个外部设备,设备成本耗费较高。另外,多个外部设备之间通常需要设计复杂度较高的***来协同工作。因此,室内定位时耗费的成本较高。
发明内容
本发明提供一种克服上述问题或者至少部分地解决上述问题的室内定位方法及装置。
根据本发明的一方面,提供了一种室内定位方法,该方法包括:
根据多重传感器采集到的数据,预测行人的位置信息;
基于室内运动模型,获取行人的室内运动状态;
基于室内环境地图模型,根据室内运动状态及室内预设节点的位置信息,对预测得到的行人位置信息进行校准,得到行人的最终位置信息。
根据本发明的另一方面,提供了一种室内定位装置,该装置包括:
预测模块,用于根据多重传感器采集到的数据,预测行人的位置信息;
获取模块,用于基于室内运动模型,获取行人的室内运动状态;
校准模块,用于基于室内环境地图模型,根据室内运动状态及室内预设节点的位置信息,对预测得到的行人位置信息进行校准,得到行人的最终位置信息。
本申请提出的技术方案带来的有益效果是:
通过根据多重传感器采集到的数据,预测行人的位置信息。基于室内运动模型,获取行人的室内运动状态。基于室内环境地图模型,根据室内运动状态及室内预设节点的位置信息,对预测得到的行人位置信息进行校准,得到行人的最终位置信息。由于不用安装外部设备,从而在避免设计复杂度较高的***的同时,还可减少硬件成本消耗,进而使得室内定位时耗费的成本较低。
另外,由于进行运动特征分类时,选取了加速度计、气压计和陀螺仪数据,提高了运动特征分类时的准确性,同时能够避免长时间累积误差的出现。由于定位过程将行人航位推测算法、室内行人运动特征以及隐马尔科夫模型匹配方法结合在了一起,从而在保证较高定位准确率的同时,还可以提升室内定位的鲁棒性。
附图说明
图1为本发明实施例的一种室内定位方法的流程示意图;
图2为本发明实施例的一种室内定位方法的流程示意图;
图3为本发明实施例的一种室内定位装置的结构示意图。
具体实施方式
下面结合附图和实施例,对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明,但不用来限制本发明的范围。
现有的室内定位方法主要是预先安装多个外部设备,如AP(Acess Piont,接入点),根据移动终端与外部设备之间信号强度与距离的映射关系,来对行人进行定位。由于需要安装多个外部设备,设备成本耗费较高。另外,多个外部设备之间通常需要设计复杂度较高的***来协同工作。因此,室内定位时耗费的成本较高。
针对现有技术中的问题,本实施例提供了一种室内定位方法。该方法应用于移动终端,移动终端包括但不限于手机、平板电脑及智能手表等。另外,由于本发明实施例需要应用到传感器采集到的数据,从而移动终端中可安装有加速度传感器、陀螺仪及气压计等,本实施例对此也不作具体限定。
参见图1,本实施例提供的方法流程包括:101、根据多重传感器采集到的数据,预测行人的位置信息;102、基于室内运动模型,获取行人的室内运动状态;103、基于室内环境地图模型,根据室内运动状态及室内预设节点的位置信息,对预测得到的行人位置信息进行校准,得到行人的最终位置信息。
本发明实施例提供的方法,通过根据多重传感器采集到的数据,预测行人的位置信息。基于室内运动模型,获取行人的室内运动状态。基于室内环境地图模型,根据室内运动状态及室内预设节点的位置信息,对预测得到的行人位置信息进行校准,得到行人的最终位置信息。由于不用安装外部设备,从而在避免设计复杂度较高的***的同时,还可减少硬件成本消耗,进而使得室内定位时耗费的成本较低。
另外,由于进行运动特征分类时,选取了加速度计、气压计和陀螺仪数据,提高了运动特征分类时的准确性,同时能够避免长时间累积误差的出现。由于定位过程将行人航位推测算法、室内行人运动特征以及隐马尔科夫模型匹配方法结合在了一起,从而在保证较高定位准确率的同时,还可以提升室内定位的鲁棒性。
作为一种可选实施例,根据多重传感器采集到的数据,预测行人的位置信息,包括:
确定行人从开始移动到停止移动之间的总步数;
对于行人移动的每一步,根据行人的步长、转向角及行人移动前的位置信息,计算行人移动一步后的位置信息,直到计算次数达到总步数,将最终计算结果作为行人的位置信息。
作为一种可选实施例,确定行人从开始移动到停止移动之间的总步数之前,还包括:
根据每个采样点的加速度,对行人开始移动及停止移动进行检测。
作为一种可选实施例,根据每个采样点的加速度,对行人开始移动进行检测,包括:
对于任一采样点,当检测到任一采样点的加速度不小于第一预设阈值时,确定在任一采样点上行人开始移动。
作为一种可选实施例,根据每个采样点的加速度,对行人停止移动进行检测,包括:
对于任一采样点,当检测到任一采样点的加速度小于第一预设阈值时,对自任一采样点起,连续小于第一预设阈值的采样点数量进行统计;
当统计结果达到预设数量时,获取统计结果达到预设数量时的最后一个采样点,确定行人在最后一个采样点上停止移动。
作为一种可选实施例,确定行人从开始移动到停止移动之间的总步数,包括:
对于行人从开始移动到停止移动这段时间内的任一采样点,当检测到任一采样点的加速度大于第二预设阈值,且任一采样点的下一采样点对应的加速度小于第二预设阈值时,将任一采样点的上一采样点、任一采样点及任一采样点的下一采样点作为一个步伐周期,并将行人的总步数加一。
作为一种可选实施例,将任一采样点的上一采样点、任一采样点及任一采样点的下一采样点作为一个步伐周期,并将行人的总步数加一之前,还包括:
根据上一步伐周期内的加速度相关值,计算第二预设阈值。
作为一种可选实施例,根据行人的步长、转向角及行人移动前的位置信息,计算行人移动一步后的位置信息之前,还包括:
基于空间坐标系,获取当前行人在三个方向上的角加速度;
基于空间坐标系与地面坐标系之间的投影关系,根据当前行人在三个方向上的角加速度及加速度,计算行人的转向角。
作为一种可选实施例,根据多重传感器采集到的数据,预测行人的位置信息,包括:
根据行人所处位置的空气压力值,确定行人所处的楼层。
作为一种可选实施例,基于室内运动模型,获取行人的室内运动状态,包括:
根据第一时间窗口内每个采样点的加速度,计算第一时间窗口对应的特征值;
基于运动状态分类器,根据第一时间窗口对应的特征值,确定行人的运动特征。
作为一种可选实施例,基于室内运动模型,获取行人的室内运动状态,包括:
根据第二时间窗口内行人的转向角,计算行人的转弯角度;
根据行人的转弯角度,确定行人的转弯特征。
作为一种可选实施例,基于室内环境地图模型,根据室内运动状态及室内预设节点的位置信息,对预测得到的行人位置信息进行校准,得到行人的最终位置信息,包括:
基于室内环境地图模型,确定行人移动至室内环境地图模型中相邻预设节点的移动概率;
将每个相邻预设节点的移动概率进行排序,选取排序结果中数值最大的两个移动概率,分别为第一移动概率与第二移动概率,第一移动概率大于第二移动概率;
当第一移动概率与第二移动概率的比值大于第三预设阈值时,将第一移动概率对应的相邻预设节点的位置信息作为行人的最终位置信息。
作为一种可选实施例,基于室内环境地图模型,确定行人移动至室内环境地图模型中相邻预设节点的移动概率,包括:
对于室内环境地图模型中任一相邻预设节点,根据任一相邻预设节点的位置信息,计算行人移动至任一相邻预设节点的发射概率;
根据运动识别概率矩阵,确定任一相邻预设节点的运动状态表现为室内运动状态的状态识别概率;
将发射概率与状态识别概率之间的乘积作为行人移动至任一相邻预设节点的移动概率。
作为一种可选实施例,将每个相邻预设节点的移动概率进行排序,选取排序结果中数值最大的两个移动概率,分别为第一移动概率与第二移动概率之后,还包括:
当第一移动概率与第二移动概率的比值不大于第三预设阈值时,将预测得到的行人位置信息作为行人的最终位置信息。
上述所有可选技术方案,可以采用任意结合形成本发明的可选实施例,在此不再一一赘述。
基于上述图1对应实施例所提供的内容,本发明实施例提供了一种室内定位方法。参见图2,本实施例提供的方法流程包括:201、确定行人从开始移动到停止移动之间的总步数;202、对于行人移动的每一步,根据行人的步长、转向角及行人移动前的位置信息,计算行人移动一步后的位置信息,直到计算次数达到总步数,将最终计算结果作为行人的位置信息;203、基于室内运动模型,获取行人的室内运动状态;204、基于室内环境地图模型,根据室内运动状态及室内预设节点的位置信息,对预测得到的行人位置信息进行校准,得到行人的最终位置信息。
其中,201、确定行人从开始移动到停止移动之间的总步数。
本实施例提供的方法主要是先根据多重传感器采集到的数据,预测行人的位置信息,再对预测得到的行人位置信息进行校准以实现定位的过程。其中,本步骤201至步骤202主要是根据多重传感器采集到的数据,预测行人位置信息的过程。
由于行人在室内什么时候开始移动及什么时候停止移动是未知的,从而在执行本步骤201之前,还可以根据每个采样点的加速度对行人开始移动及停止移动进行检测,本实施例对此不作具体限定。
关于根据每个采样点的加速度,对行人开始移动进行检测的方式,本实施例对此不作具体限定,包括但不限于:对于任一采样点,当检测到任一采样点的加速度不小于第一预设阈值时,确定在任一采样点上行人开始移动。
其中,采样点对应的是传感器的采样周期。第一预设阈值可根据实际情况取值,本实施例对此不作具体限定。例如,以第一预设阈值为1.5m/s2为例。若加速度传感器的采样周期是20ms,则每隔20ms就是一个采样点。即加速度传感器在每个采样点上采集加速度值时,移动终端还会判断每个采样点上采集到的加速度值是否大于或等于1.5m/s2。若检测到一个采样点的加速度大于1.5m/s2,则确定行人从该采样点起开始移动。
本实施例不对根据每个采样点的加速度,对行人停止移动进行检测的方式作具体限定,包括但不限于:对于任一采样点,当检测到任一采样点的加速度小于第一预设阈值时,对自任一采样点起,连续小于第一预设阈值的采样点数量进行统计;当统计结果达到预设数量时,获取统计结果达到预设数量时的最后一个采样点,确定行人在最后一个采样点上停止移动。其中,预设数量也可根据实际情况进行设置,本实施例对此不作具体限定。
例如,以第一预设阈值为1.5m/s2,预设数量为30个为例。若检测到第10个采样点的加速度小于1.5m/s2,则继续检测第11个、第12个、……、第40个采样点的加速度。当第10个采样点后连续30个采样点的加速度都小于1.5m/s2时,即当第11个、第12个、……、第40个采样点的加速度小于1.5m/s2时,获取累计达到30个采样点时的最后一个采样点,即第40个采样点。相应地,在第40个采样点上,行人停止移动。
在确定行人开始移动及停止移动后,可确定行人从开始移动到停止移动这段时间内行走的总步数。本实施例不对确定行人从开始移动到停止移动之间的总步数的方式作具体限定,包括但不限于:对于行人从开始移动到停止移动这段时间内的任一采样点,当检测到任一采样点的加速度大于第二预设阈值,且任一采样点的下一采样点对应的加速度小于第二预设阈值时,将任一采样点的上一采样点、任一采样点及任一采样点的下一采样点作为一个步伐周期,并将行人的总步数加一。
由于人在行走时,一条腿在抬出时的加速度是较大的,而抬出后准备落地时加速度是较小的,从而基于上述原理,在上述过程中可对连续的两个采样点进行检测。将两个采样点与第二预设阈值进行比较,当前一个采样点大于第二预设阈值且后一个采样点小于第二预设阈值时,可视为行人走了一步。相应地,对于加速度大于第二预设阈值的采样点,当该采样点的下一采样点对应的加速度小于第二预设阈值时,可将上一采样点到下一采样点之间的这段时间作为一个步伐周期。例如,若第3个采样点的加速度大于第二预设阈值且第4个采样点的加速度小于第二预设阈值,则可将第2个采样点、第3个采样点及第4个采样点作为一个步伐周期,并视为行人在这个步伐周期内走了一步。相应地,总步数可加一。需要说明的是,在统计总步数之前总步数的初始值为0。
另外,在确定总步数之前,还可根据上一步伐周期内的加速度相关值,计算第二预设阈值,本实施例对此不作具体限定。根据对行人航位推算的实验结果,第二预设阈值可通过动态阈值方程来计算,该动态阈值方程(1)如下所示:
其中,α和β是预先设置好的参数,可分别取值为0.25和0.75,本实施例对此不作具体限定。γ为环境噪声方差,可取值为0.09,本实施例对此也不作具体限定。Told为上一步伐周期的第二预设阈值,A1和A2为加速度相关值。A1和A2可分别代表上一步伐周期内加速度的最大值和最小值,A1和A2还可以为加速度的均值或者方差,本实施例对此不作具体限定。
其中,202、对于行人移动的每一步,根据行人的步长、转向角及行人移动前的位置信息,计算行人移动一步后的位置信息,直到计算次数达到总步数,将最终计算结果作为行人的位置信息。
在执行本步骤之前,可先获取行人的步长、行人移动前的位置信息及行人的转向角。其中,行人的步长根据行人身高进行估计,本实施例对此不作具体限定。由于本实施例提供的方法是迭代计算过程,即行人上一次移动前的位置信息也可通过本实施例提供的方法来获取,从而在获取行人移动前的位置信息时,可获取上次执行本实施例提供的方法所对应的计算结果即可。需要说明的是,当第一次对行人进行室内定位时,初始位置可根据实际情况进行设置,本实施例对此不作具体限定。
另外,由于行人在移动时有可能做的是曲线运动,从而为了更加精准地对行人位置进行预测,还可以获取行人的转向角。本实施例不对获取行人的转向角的方式作具体限定,包括但不限于:基于空间坐标系,获取当前行人在三个方向上的角加速度;基于空间坐标系与地面坐标系之间的投影关系,根据当前行人在三个方向上的角加速度及加速度,计算行人的转向角。
其中,按照空间坐标系可分为XYZ轴三个方向上的角速度。三个方向上的角加速度可通过移动终端中的陀螺仪进行获取,本实施例对此不作具体限定。在计算行人的转向角之前,可通过积分的方式根据三个方向上的角加速度计算三个方向上的角位移,本实施例对此不作具体限定。积分过程可参考如下公式(2):
其中,分别为XYZ三个方向上的角加速度。tbegin为移动一步的起始时刻,tstop为移动一步的终止时刻。θx、θy及θz分别为XYZ三个方向上的角位移。
需要说明的是,若在一个时间窗口内XYZ三个方向上的角位移均比较小时,如小于角度阈值,则可视为行人在这个时间窗口内作的是直线运动。例如,以角度阈值为15°为例。当在一个时间窗口内XYZ三个方向上的角位移θx、θy及θz均小于15°时,则可确定行人在这个时间窗口内作的是直线运动。
基于上述原理,行人在直线行走的过程中,可计算三个方向上的加速度算术平均值。相应地,可根据当前行人在三个方向上的角位移及加速度算术平均值,计算行人的转向角,本实施例对此不作具体限定。上述计算过程,可通过如下定义的行人航位推算模型(3)进行表示:
其中,Oz为行人的转向角。θx、θy及θz分别为三个方向上的角位移。分别为三个方向上的加速度算术平均值。
在计算得到行人的转向角后,对于行人移动的每一步,可根据行人的步长、转向角及行人移动前的位置信息,计算行人移动一步后的位置信息。该计算过程可参考如下公式(4):
其中,lk为行人的步长。基于地面坐标系,xk-1及yk-1为行人在移动一步前的位置信息,xk及yk为行人在移动一步后的位置信息。
基于上述步骤201中确定的总步数,按照上述公式(4)可确定行人在走了这么多步后的位置信息,即预测得到的行人位置信息。
需要说明的是,上述过程预测的主要是行人基于地面坐标系的位置信息。由于在对行人进行室内定位时,可能会需要对其所在建筑物的楼层进行定位,从而预测得到的行人位置信息还可以包括行人所在的楼层。本实施例还提供了一种确定行人所在楼层的方法,包括但不限于:根据行人所处位置的空气压力值,确定行人所处的楼层。
由于在地球大气层内空气压力成高度成反比,即当高度增加时空气压力会减少,从而可以利用气压计测量得到的空气压力,计算行人所在高度。按照行人所在建筑物的层高与行人所在的高度,可确定行人所在的楼层,本实施例对此不作具体限定。基于ICAO(International Civil Aviation Organization,国际民用航空组织)模型,可获知高度每增加约8.7米大气压力减少1mbar。根据1993年的标准大气压力,计算行人所在的高度可参考如下公式(5):
其中,P0代表的是标准大气压力(1013.25mbar)。H为行人所在的高度,单位为米。
其中,203、基于室内运动模型,获取行人的室内运动状态。
在执行本步骤之前,可先根据行人在室内的运动习惯确定行人在室内运动状态,本实施例对此不作具体限定。在本实施例中,根据实际生活场景将行人的运动状态划分成7个,分别为:行走、坐下、站立、上楼、下楼、转弯及U型转弯。
其中,行走、坐下、站立、上楼及下楼均为行人移动过程中的运动特征。转弯及U型转弯为行人在移动过程中的转弯特征。由于行人在转弯时,可能是调整方向的小转弯也有可能是掉头的大转弯,从而为了区分这两种转弯,在上述转弯特征划分时划分为了转弯及U型转弯。在判定转弯与U型转弯时,可根据行人在时间窗口内的转弯角度与预设阈值范围之间的比较结果来判定。例如,当转弯角度在50°~135°时,可认为是个普通的转弯。当转弯角度大于135°时,可认为是个U形转弯。
基于上述内容,本步骤在获取行人的室内状态时,可分别获取行人的运动特征及转弯特征。本实施例不对基于室内运动模型,获取行人的运动特征的方式作具体限定,包括但不限于:根据第一时间窗口内每个采样点的加速度,计算第一时间窗口对应的特征值;基于运动状态分类器,根据第一时间窗口对应的特征值,确定行人的运动特征。
其中,运动状态分类器可通过KNN(k-Nearest-Neighbor,K最近邻)分类器进行训练,本实施例对此不作具体限定。具体可先选取预设数量的实验人员实践上述五种运动特征,即行走、坐下、站立、上楼及下楼,并获取实验人员在实践运动特征时的特征值。通过将一种运动特征及每个实验人员在每次实践该运动特征时的特征值输入至KNN模型中,对KNN模型进行不停地训练,直到训练次数达到预设次数为止。最终,根据训练结果可以得到运动状态分类器及运动识别概率矩阵。其中,运动状态分类器用于根据输入的特征值确定行人的运动特征。
运动识别概率矩阵为行人的每种运动特征被识别对以及被识别为其它运动特征的概率矩阵。例如,以行人当前的运动特征实际上为“坐下”为例。基于运动状态分类器,根据输入的特征值可能识别出该行人的运动特征确实为“坐下”。此时,识别结果是正确的,这对应着一个概率。但是本来是“坐下”,还可能被识别为“行走”。此时,识别结果是错误的,这也对应着一个概率。基于上述理论,通过对KNN模型不停地训练,在得到运动状态分类器的同时,还可以得到运动识别概率矩阵。
相应地,在得到运动状态分类器后,只需获取行人在第一时间窗口对应的特征值,便可基于运动状态分类器,确定行人的运动特征。其中,特征值可根据第一时间窗口内每个采样点的加速度进行计算,本实施例对此不作具体限定。特征值可以包括第一时间窗口内三个方向上加速度的均值与方差、空气压力值及三个方向上加速度的幅度等,本实施例对此不作具体限定。第一时间窗口的长度可以取2s~3s,本实施例对此不作具体限定。考虑到行人行走时动作的连续性,第一时间窗口还可以设置为50%的重叠覆盖,本实施例对此也不作具体限定。例如,第一时间窗口可以取值为0s~2s、1s~3s、2s~4s……。
除了确定行人的运动特征,该可以确定行人的转弯特征。本实施例不对确定行人的转弯特征的方式作具体限定,包括但不限于:根据第二时间窗口内行人的转向角,计算行人的转弯角度;根据行人的转弯角度,确定行人的转弯特征。
其中,第二时间窗口的长度也可以取2s~3s,本实施例对此不作具体限定。另外,第一时间窗口与第二时间窗口的长度可以相同,也可以不同,本实施例对此也不作具体限定。具体在计算行人的转弯角度时,可先计算第二时间窗口起始时刻的第一转向角,再计算第二时间窗口终止时刻的第二转向角。将第一转向角与第二转向角之间的差值作为行人的转弯角度。其中,计算转向角的过程可参考上述公式(3)的过程,此处不再赘述。
例如,以第二时间窗口长度为2s,第二时间窗口为1s~3s为例。在计算行人的转弯角度时,可先计算1s时行人的转向角,再计算3s时行人的转向角,从而将两个转向角的差值作为行人的转弯角度。
通过上述过程,最终可以得到行人的运动特征及转弯特征。其中,运动特征为行走、坐下、站立、上楼及下楼中的一种,转弯特征为转弯及U型转弯中的一种。结合运动特征及转弯特征,即可得到行人的室内运动状态。
其中,204、基于室内环境地图模型,根据室内运动状态及室内预设节点的位置信息,对预测得到的行人位置信息进行校准,得到行人的最终位置信息。
由于上述步骤201至步骤202中预测得到的行人位置信息可能会存在一定的误差,从而在本步骤可以基于室内环境地图模型中预设节点的位置信息,对步骤201至步骤202中预测得到的行人位置信息进行校准。本实施例不对基于室内环境地图模型,根据室内运动状态及室内预设节点的位置信息,对预测得到的行人位置信息进行校准,得到行人的最终位置信息的方式作具体限定,包括但不限于:基于室内环境地图模型,确定行人移动至室内环境地图模型中相邻预设节点的移动概率;将每个相邻预设节点的移动概率进行排序,选取排序结果中数值最大的两个移动概率,分别为第一移动概率与第二移动概率,第一移动概率大于第二移动概率;当第一移动概率与第二移动概率的比值大于第三预设阈值时,将第一移动概率对应的相邻预设节点的位置信息作为行人的最终位置信息。
其中,室内环境地图模型为由实际生活场景构建得到。具体地,一栋建筑物里楼梯拐角点及过道拐角点等节点的位置通常是可预先确定的。依据每个节点的节点坐标、每个节点与其空间上可直达的相邻节点之间的方向及距离、行人在每个节点上的运动状态,可建立室内环境地图模型。
在基于室内环境地图模型,确定行人移动至室内环境地图模型中相邻预设节点的移动概率之前,可先获取行人移动前的位置信息。由上述步骤201至步骤204中的内容可知,由于本实施例提供的方法是迭代计算的,即根据上一次计算结果来继续推演行人下一次移动后的位置信息,从而本步骤在获取行人移动前的位置信息时,可获取上一次通过本实施例提供的方法计算得到的行人位置信息,本实施例对此不作具体限定。
在确定行人移动前的位置信息后,依据室内环境地图模型中每个预设节点的位置信息,可以确定行人从移动前的位置能够直接达到室内环境地图模型中的哪些预设节点。这些预设节点即为行人移动前的位置所对应的相邻预设节点。基于上述内容,对于任一相邻预设节点,本实施例不对确定行人移动至室内环境地图模型中相邻预设节点的移动概率的方式作具体限定,包括但不限于:对于室内环境地图模型中任一相邻预设节点,根据任一相邻预设节点的位置信息,计算行人移动至任一相邻预设节点的发射概率;根据运动识别概率矩阵,确定任一相邻预设节点的运动状态表现为室内运动状态的状态识别概率;将发射概率与状态识别概率之间的乘积作为行人移动至任一相邻预设节点的移动概率。
其中,发射概率为由一个隐藏状态产生一个观测状态的概率,行人移动前的位置信息为一个隐藏状态,相邻预设节点的位置信息为观测状态。在计算发射概率时,可参考如下公式(6):
在上述公式(6)中,P(zt|ri)为发射概率。zt为相邻预设节点的位置信息,ri为行人移动前的位置信息,zt-ri表示两者间的欧式距离。σ为行人移动距离计算值的标准差,本实施例中σ的值为0.1。
基于上述步骤203中运动识别概率矩阵的相关内容,对于任一相邻预设节点,在确定该相邻预设节点的运动状态表现为室内运动状态的状态识别概率时,可根据室内运动状态中的运动特征及该相邻预设节点的运动特征,在运动识别概率矩阵查找对应的概率。将查找到的概率作为状态识别概率。
另外,在根据发射概率及状态识别概率计算行人移动至任一相邻预设节点的移动概率时,计算过程可参考如下公式(7):
P(zt,mt|ri)=P(zt|ri)P(mt|ri) (7)
其中,P(zt|ri)为发射概率,P(mt|ri)为状态识别概率,P(zt,mt|ri)为移动概率。
由于在室内环境地图模型中与行人移动前位置相邻的预设节点可能会有多个,从而可按照上述计算过程,计算每个相邻预设节点的移动概率。在计算得到多个移动概率后,可对所有的移动概率进行排序,从排序结果中选取数值最大的两个移动概率,计为第一移动概率与第二移动概率。其中,第一移动概率大于第二移动概率,即第一移动概率为移动概率中的最大值,第二移动概率为移动概率中的次大值。
为了更精准地确定行人的位置信息,可计算第一移动概率与第二移动概率的比值。当比值大于第三预设阈值时,说明行人移动至第一移动概率对应的相邻预设节点的可能性,要远大于移动至第二移动概率对应的相邻预设节点的可能性。因此,可认为行人移动至第一移动概率对应的相邻预设节点时,可信度较高。此时,可将第一移动概率对应的相邻预设节点的位置信息作为行人的最终位置信息,并摒弃上述步骤201至202中预测得到的位置信息。
另外,当第一移动概率与第二移动概率的比值不大于第三预设阈值时,可将上述步骤201至202中预测得到的行人位置信息作为行人的最终位置信息。
本发明实施例提供的方法,通过确定行人从开始移动到停止移动之间的总步数。对于行人移动的每一步,根据行人的步长、转向角及行人移动前的位置信息,计算行人移动一步后的位置信息,直到计算次数达到总步数,将最终计算结果作为行人的位置信息。基于室内运动模型,获取行人的室内运动状态。基于室内环境地图模型,根据室内运动状态及室内预设节点的位置信息,对预测得到的行人位置信息进行校准,得到行人的最终位置信息。由于不用安装外部设备,从而在避免设计复杂度较高的***的同时,还可减少硬件成本消耗,进而使得室内定位时耗费的成本较低。
另外,由于进行运动特征分类时,选取了加速度计、气压计和陀螺仪数据,提高了运动特征分类时的准确性,同时能够避免长时间累积误差的出现。由于定位过程将行人航位推测算法、室内行人运动特征以及隐马尔科夫模型匹配方法结合在了一起,从而在保证较高定位准确率的同时,还可以提升室内定位的鲁棒性。
本发明实施例提供了一种室内定位装置,该装置用于执行上述图1或图2对应的实施例中所提供的室内定位方法。参见图3,该装置包括:
预测模块301,用于根据多重传感器采集到的数据,预测行人的位置信息;
获取模块302,用于基于室内运动模型,获取行人的室内运动状态;
校准模块303,用于基于室内环境地图模型,根据室内运动状态及室内预设节点的位置信息,对预测得到的行人位置信息进行校准,得到行人的最终位置信息。
作为一种可选实施例,预测模块301,包括:
确定单元,用于确定行人从开始移动到停止移动之间的总步数;
第一计算单元,用于对于行人移动的每一步,根据行人的步长、转向角及行人移动前的位置信息,计算行人移动一步后的位置信息,直到计算次数达到总步数,将最终计算结果作为行人的位置信息。
作为一种可选实施例,预测模块301,还包括:
检测单元,用于根据每个采样点的加速度,对行人开始移动及停止移动进行检测。
作为一种可选实施例,检测单元,用于对于任一采样点,当检测到任一采样点的加速度不小于第一预设阈值时,确定在任一采样点上行人开始移动。
作为一种可选实施例,检测单元,用于对于任一采样点,当检测到任一采样点的加速度小于第一预设阈值时,对自任一采样点起,连续小于第一预设阈值的采样点数量进行统计;当统计结果达到预设数量时,获取统计结果达到预设数量时的最后一个采样点,确定行人在最后一个采样点上停止移动。
作为一种可选实施例,确定单元,用于对于行人从开始移动到停止移动这段时间内的任一采样点,当检测到任一采样点的加速度大于第二预设阈值,且任一采样点的下一采样点对应的加速度小于第二预设阈值时,将任一采样点的上一采样点、任一采样点及任一采样点的下一采样点作为一个步伐周期,并将行人的总步数加一。
作为一种可选实施例,预测模块301,还包括:
第二计算单元,用于根据上一步伐周期内的加速度相关值,计算第二预设阈值。
作为一种可选实施例,预测模块301,还包括:
获取单元,用于基于空间坐标系,获取当前行人在三个方向上的角加速度;
第三计算单元,用于基于空间坐标系与地面坐标系之间的投影关系,根据当前行人在三个方向上的角加速度及加速度,计算行人的转向角。
作为一种可选实施例,预测模块301,用于根据行人所处位置的空气压力值,确定行人所处的楼层。
作为一种可选实施例,获取模块302,用于根据第一时间窗口内每个采样点的加速度,计算第一时间窗口对应的特征值;基于运动状态分类器,根据第一时间窗口对应的特征值,确定行人的运动特征。
作为一种可选实施例,获取模块302,用于根据第二时间窗口内行人的转向角,计算行人的转弯角度;根据行人的转弯角度,确定行人的转弯特征。
作为一种可选实施例,校准模块303,包括:
确定单元,用于基于室内环境地图模型,确定行人移动至室内环境地图模型中相邻预设节点的移动概率;
选取单元,用于将每个相邻预设节点的移动概率进行排序,选取排序结果中数值最大的两个移动概率,分别为第一移动概率与第二移动概率,第一移动概率大于第二移动概率;
第一比较单元,用于当第一移动概率与第二移动概率的比值大于第三预设阈值时,将第一移动概率对应的相邻预设节点的位置信息作为行人的最终位置信息。
作为一种可选实施例,确定单元,用于对于室内环境地图模型中任一相邻预设节点,根据任一相邻预设节点的位置信息,计算行人移动至任一相邻预设节点的发射概率;根据运动识别概率矩阵,确定任一相邻预设节点的运动状态表现为室内运动状态的状态识别概率;将发射概率与状态识别概率之间的乘积作为行人移动至任一相邻预设节点的移动概率。
作为一种可选实施例,校准模块303,还包括:
第二比较单元,用于当第一移动概率与第二移动概率的比值不大于第三预设阈值时,将预测得到的行人位置信息作为行人的最终位置信息。
本发明实施例提供的装置,通过根据多重传感器采集到的数据,预测行人的位置信息。基于室内运动模型,获取行人的室内运动状态。基于室内环境地图模型,根据室内运动状态及室内预设节点的位置信息,对预测得到的行人位置信息进行校准,得到行人的最终位置信息。由于不用安装外部设备,从而在避免设计复杂度较高的***的同时,还可减少硬件成本消耗,进而使得室内定位时耗费的成本较低。
另外,由于进行运动特征分类时,选取了加速度计、气压计和陀螺仪数据,提高了运动特征分类时的准确性,同时能够避免长时间累积误差的出现。由于定位过程将行人航位推测算法、室内行人运动特征以及隐马尔科夫模型匹配方法结合在了一起,从而在保证较高定位准确率的同时,还可以提升室内定位的鲁棒性。
最后,本申请的方法仅为较佳的实施方案,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (6)

1.一种室内定位方法,其特征在于,所述方法包括:
根据多重传感器采集到的数据,预测行人的位置信息;
基于室内运动模型,获取所述行人的室内运动状态;
基于室内环境地图模型,根据所述室内运动状态及室内预设节点的位置信息,对预测得到的行人位置信息进行校准,得到所述行人的最终位置信息;
所述基于室内环境地图模型,根据所述室内运动状态及室内预设节点的位置信息,对预测得到的行人位置信息进行校准,得到所述行人的最终位置信息,包括:
基于室内环境地图模型,确定所述行人移动至所述室内环境地图模型中相邻预设节点的移动概率;
将每个相邻预设节点的移动概率进行排序,选取排序结果中数值最大的两个移动概率,分别为第一移动概率与第二移动概率,所述第一移动概率大于所述第二移动概率;
当所述第一移动概率与第二移动概率的比值大于第三预设阈值时,将所述第一移动概率对应的相邻预设节点的位置信息作为所述行人的最终位置信息。
2.根据权利要求1所述的方法,其特征在于,所述基于室内运动模型,获取所述行人的室内运动状态,包括:
根据第一时间窗口内每个采样点的加速度,计算所述第一时间窗口对应的特征值;
基于运动状态分类器,根据所述第一时间窗口对应的特征值,确定所述行人的运动特征。
3.根据权利要求1所述的方法,其特征在于,所述基于室内运动模型,获取所述行人的室内运动状态,包括:
根据第二时间窗口内所述行人的转向角,计算所述行人的转弯角度;
根据所述行人的转弯角度,确定所述行人的转弯特征。
4.根据权利要求1所述的方法,其特征在于,所述基于室内环境地图模型,确定所述行人移动至所述室内环境地图模型中相邻预设节点的移动概率,包括:
对于所述室内环境地图模型中任一相邻预设节点,根据所述任一相邻预设节点的位置信息,计算所述行人移动至所述任一相邻预设节点的发射概率,所述发射概率为由一个隐藏状态产生一个观测状态的概率,所述行人移动前的位置信息为一个隐藏状态,所述任一相邻预设节点的位置信息为一个观测状态;
根据运动识别概率矩阵,确定所述任一相邻预设节点的运动状态表现为所述室内运动状态的状态识别概率,所述运动识别概率矩阵为行人的每种运动特征被识别对以及被识别为其它运动特征的概率矩阵;
将所述发射概率与所述状态识别概率之间的乘积作为所述行人移动至所述任一相邻预设节点的移动概率。
5.根据权利要求1所述的方法,其特征在于,所述将每个相邻预设节点的移动概率进行排序,选取排序结果中数值最大的两个移动概率,分别为第一移动概率与第二移动概率之后,还包括:
当所述第一移动概率与第二移动概率的比值不大于第三预设阈值时,将预测得到的行人位置信息作为所述行人的最终位置信息。
6.一种室内定位装置,其特征在于,所述装置包括:
预测模块,用于根据多重传感器采集到的数据,预测行人的位置信息;
获取模块,用于基于室内运动模型,获取所述行人的室内运动状态;
校准模块,用于基于室内环境地图模型,根据所述室内运动状态及室内预设节点的位置信息,对预测得到的行人位置信息进行校准,得到所述行人的最终位置信息;
所述校准模块包括:
确定单元,用于基于室内环境地图模型,确定所述行人移动至所述室内环境地图模型中相邻预设节点的移动概率;
选取单元,用于将每个相邻预设节点的移动概率进行排序,选取排序结果中数值最大的两个移动概率,分别为第一移动概率与第二移动概率,所述第一移动概率大于所述第二移动概率;
第一比较单元,用于当所述第一移动概率与第二移动概率的比值大于第三预设阈值时,将所述第一移动概率对应的相邻预设节点的位置信息作为所述行人的最终位置信息。
CN201611070529.6A 2016-11-25 2016-11-25 室内定位方法及装置 Active CN106595633B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611070529.6A CN106595633B (zh) 2016-11-25 2016-11-25 室内定位方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611070529.6A CN106595633B (zh) 2016-11-25 2016-11-25 室内定位方法及装置

Publications (2)

Publication Number Publication Date
CN106595633A CN106595633A (zh) 2017-04-26
CN106595633B true CN106595633B (zh) 2019-07-19

Family

ID=58595552

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611070529.6A Active CN106595633B (zh) 2016-11-25 2016-11-25 室内定位方法及装置

Country Status (1)

Country Link
CN (1) CN106595633B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107063268A (zh) * 2017-06-05 2017-08-18 合肥展游软件开发有限公司 一种博物馆导航***及使用方法
WO2019000457A1 (en) 2017-06-30 2019-01-03 Beijing Didi Infinity Technology And Development Co., Ltd. SYSTEM AND METHOD FOR POSITIONING A TERMINAL DEVICE
CN107356229B (zh) * 2017-07-07 2021-01-05 中国电子科技集团公司电子科学研究院 一种室内定位方法与装置
CN109413683B (zh) * 2017-08-15 2021-09-21 华为技术有限公司 一种获取发射概率、转移概率以及序列定位的方法和装置
CN108645406A (zh) * 2018-04-19 2018-10-12 北京理工大学 一种基于分数域行人运动感知的室内自主定位方法
CN109991641A (zh) * 2019-04-10 2019-07-09 广东工业大学 一种移动设备位置信息的获取方法、装置及***
CN111854753B (zh) * 2020-06-02 2023-05-23 深圳全景空间工业有限公司 一种室内空间的建模方法
CN115336936A (zh) * 2021-05-12 2022-11-15 尚科宁家(中国)科技有限公司 一种清洁机器人跨楼层的控制方法和清洁机器人
CN115223442B (zh) * 2021-07-22 2024-04-09 上海数川数据科技有限公司 一种室内行人地图的自动生成方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102821464A (zh) * 2012-08-13 2012-12-12 北京邮电大学 一种室内楼层定位方法及装置
CN103701991A (zh) * 2013-12-20 2014-04-02 百度在线网络技术(北京)有限公司 移动终端状态识别方法和移动终端
CN104215238A (zh) * 2014-08-21 2014-12-17 北京空间飞行器总体设计部 一种智能手机室内定位方法
CN104977006A (zh) * 2015-08-11 2015-10-14 北京纳尔信通科技有限公司 一种基于模糊理论和多传感器融合的室内定位方法
CN105004343A (zh) * 2015-07-27 2015-10-28 上海美琦浦悦通讯科技有限公司 室内无线导航***及方法
CN105509736A (zh) * 2015-12-03 2016-04-20 北京机械设备研究所 一种用于火灾救援的室内复合定位方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI397671B (zh) * 2009-12-16 2013-06-01 Ind Tech Res Inst 定位載體、估測載體姿態與建地圖之系統與方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102821464A (zh) * 2012-08-13 2012-12-12 北京邮电大学 一种室内楼层定位方法及装置
CN103701991A (zh) * 2013-12-20 2014-04-02 百度在线网络技术(北京)有限公司 移动终端状态识别方法和移动终端
CN104215238A (zh) * 2014-08-21 2014-12-17 北京空间飞行器总体设计部 一种智能手机室内定位方法
CN105004343A (zh) * 2015-07-27 2015-10-28 上海美琦浦悦通讯科技有限公司 室内无线导航***及方法
CN104977006A (zh) * 2015-08-11 2015-10-14 北京纳尔信通科技有限公司 一种基于模糊理论和多传感器融合的室内定位方法
CN105509736A (zh) * 2015-12-03 2016-04-20 北京机械设备研究所 一种用于火灾救援的室内复合定位方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Smartphone based Indoor Position and Orientation Tracking Fusing Inertial and Magnetic Sensing;Chengkai Huang 等;《17th International Symposium on Wireless Personal Multimedia Communications》;20141231;第205-220页
基于粒子滤波的智能移动终端室内定位方法研究;闫亭亭;《中国优秀硕士学位论文全文数据库 信息科技辑》;20140815(第08期);I136-293

Also Published As

Publication number Publication date
CN106595633A (zh) 2017-04-26

Similar Documents

Publication Publication Date Title
CN106595633B (zh) 室内定位方法及装置
CN107289941B (zh) 一种基于惯导的室内定位方法与装置
CA2653622C (en) Method and system for locating and monitoring first responders
US9146113B1 (en) System and method for localizing a trackee at a location and mapping the location using transitions
KR101851836B1 (ko) 물체의 움직임을 추정하기 위한 시스템 및 방법
CN107396321B (zh) 基于手机传感器和iBeacon的无监督式室内定位方法
US9462423B1 (en) Qualitative and quantitative sensor fusion for indoor navigation
JP2013531781A (ja) 対象物のゼロ速度状態の検出方法及びシステム
Lee et al. An indoor localization solution using Bluetooth RSSI and multiple sensors on a smartphone
EP2946170A2 (en) Landmark based positioning with verbal input
Xu et al. A robust floor localization method using inertial and barometer measurements
CN109164411A (zh) 一种基于多数据融合的人员定位方法
Gu et al. Integration of positioning and activity context information for lifelog in urban city area
AU2015201877B2 (en) Method and system for locating and monitoring first responders
CN110426034B (zh) 基于地图信息辅助惯导阵列的室内定位方法
Amanatiadis et al. An intelligent multi-sensor system for first responder indoor navigation
Qi et al. Precise 3D foot-mounted indoor localization system using commercial sensors and map matching approach
KR102269074B1 (ko) 실내 위치 결정 방법 및 장치
AU2012203438B2 (en) Method and system for locating and monitoring first responders
Tsubouchi et al. Enhancing indoor altitude estimation on smartphones: Resolving ventilation fan effects
JP2020085783A (ja) 歩行者用測位装置、歩行者用測位システム及び歩行者用測位方法
Chirakkal et al. Exploring smartphone-based indoor navigation: A QR code assistance-based approach
CN114608576B (zh) 室内定位方法及装置
Saadatzadeh et al. Pedestrian dead reckoning using smartphones sensors: an efficient indoor positioning system in complex buildings of smart cities
Gu et al. Lifelog using mobility context information in urban city area

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant