CN111527378B - 一种通过照片实现智能轮椅的定位方法 - Google Patents
一种通过照片实现智能轮椅的定位方法 Download PDFInfo
- Publication number
- CN111527378B CN111527378B CN201780098035.5A CN201780098035A CN111527378B CN 111527378 B CN111527378 B CN 111527378B CN 201780098035 A CN201780098035 A CN 201780098035A CN 111527378 B CN111527378 B CN 111527378B
- Authority
- CN
- China
- Prior art keywords
- information
- positioning
- image information
- real
- intelligent wheelchair
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 69
- 230000000007 visual effect Effects 0.000 claims abstract description 21
- 230000003993 interaction Effects 0.000 claims abstract description 4
- 238000012545 processing Methods 0.000 claims description 35
- 238000012549 training Methods 0.000 claims description 16
- 238000004422 calculation algorithm Methods 0.000 claims description 14
- 238000004891 communication Methods 0.000 claims description 12
- 238000010801 machine learning Methods 0.000 claims description 6
- 230000004807 localization Effects 0.000 claims 1
- 230000000875 corresponding effect Effects 0.000 description 16
- 238000012986 modification Methods 0.000 description 13
- 230000004048 modification Effects 0.000 description 13
- 230000008569 process Effects 0.000 description 12
- 238000012360 testing method Methods 0.000 description 5
- 238000013145 classification model Methods 0.000 description 4
- 238000010276 construction Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000006872 improvement Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000005314 correlation function Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 241000282414 Homo sapiens Species 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000002547 anomalous effect Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Navigation (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
一种智能轮椅的定位方法,该方法可以包括:获取多个历史信息,所述历史信息包括经过路径的定位信息及所在路径视野内的一个或多个图像信息;基于所述多个历史信息,建立所述定位信息与所述一个或多个图像信息之间的关联数据库;实时获取智能轮椅视野内的至少一个实时图像信息;以及通过所述关联数据库,匹配得到所述至少一个实时图像信息所对应的定位信息,作为所述智能轮椅的定位信息;该方法还可以包括将所述关联数据库发送至远程服务器,实现数据的共享与交互。
Description
技术领域
本申请涉及一种定位方法,尤其是涉及一种智能轮椅的室内定位方法。
背景技术
随着社会的发展和人类文明程度的提高,人们特别是残障人愈来愈需要运用现代高新技术来改善他们的生活质量和生活自由度。智能轮椅作为老年人和残障人的代步工具,给老年人和残障人的生活提供了极大的便利。智能轮椅要想成为一种便利的代步工具,进行自主运动,必须要准确地知道自身在工作环境中的位置和工作环境的信息,这就是智能轮椅的自身定位问题。
目前,智能轮椅的定位方法包括视觉定位、声音定位、激光雷达定位、超声波定位等方法,这些方法的定位精度仍然达不到很高的要求,对复杂环境的适应性差,且基于数据匹配的地图的准确性和时效性难以保证。因此,为了克服上述问题,需要提供一种可靠、准确的定位方法,并且可以为智能轮椅的准确室内导航奠定基础。
发明内容
本披露的一些实施例涉及一种智能轮椅的定位方法,用于实现智能轮椅的室内定位。所述方法可以包括以下操作中的一个或多个。获取多个历史信息,所述历史信息包括经过路径的定位信息及所在路径视野内的一个或多个图像信息;基于所述多个历史信息,建立所述定位信息与所述一个或多个图像信息之间的关联数据库;获取智能轮椅视野内的至少一个实时图像信息;以及通过所述关联数据库,匹配得到所述至少一个实时图像信息所对应的定位信息,作为所述智能轮椅的定位信息。
在一些实施中,所述基于所述多个历史信息,建立所述定位信息与所述一个或多个图像信息之间的关联数据库包括:在所述多个历史信息中,将每组所述定位信息与所述一个或多个图像信息相关联,得到多组相关联的数据;以及保存所述多组相关联的数据得到关联数据库。
在一些实施中,所述获取智能轮椅视野内的至少一个实时图像信息包括:通过安装在所示智能轮椅上的一个或多个摄像头获取各个角度的图像信息。
在一些实施中,所述通过所述关联数据库,匹配得到所述至少一个实时图像信息所对应的定位信息,包括:基于图像匹配算法,计算所述至少一个实时图像信息与所述关联数据库中的图像信息的匹配度;以及选择匹配度最高的图像信息所对应的定位信息作为所述智能轮椅的定位信息。
在一些实施中,所述图像匹配算法包括基于灰度的图像匹配算法和基于特征的图像匹配算法。
在一些实施中,所述方法进一步包括:智能轮椅将所述获取的智能轮椅视野内的至少一个实时图像信息发送至远程服务器;远程服务器基于所述关联数据库,通过所述至少一个实时图像信息与所述关联数据库中图像信息的匹配度,得到所述至少一个实时图像信息所对应的定位信息;以及智能轮椅接收远程服务器发送的定位信息,并将所述定位信息作为智能轮椅的定位信息。
在一些实施中,所述方法进一步包括:获取用户的语音指令信息;以及将语音指令信息和所述至少一个实时图像信息结合,发送给所述远程服务器。
在一些实施中,所述语音指令信息至少包括定位请求、导航请求、速度控制、行驶方向控制、启停控制、座位调整、新闻播报和天气播报。
在一些实施中,所述方法进一步包括:接收用户语音请求的导航指令;将所述导航指令发送至所述远程服务器,所述远程服务器可以基于所述导航指令,自动生成导航路径规划;从所述远程服务器接收所述导航路径规划;以及将导航路径规划展示给用户。
在一些实施中,所述将导航路径规划展示给用户包括:实时语音播报导航路径;以及通过安装在智能轮椅上的显示屏实时显示导航路径。
在一些实施中,所述方法进一步包括:采用机器学习的方法,将所述多个历史信息作为训练样本,训练得到关联模型;将所述获取的智能轮椅的至少一个实时图像信息输入到关联模型中;获取关联模型输出的定位信息;以及将所述关联模型输出的定位信息作为智能轮椅的定位信息。
在一些实施中,所述方法进一步包括:将所述关联模型发送至所述远程服务器,实现数据的共享与交互。
在一些实施中,所述方法进一步包括:定期更新与维护所述关联数据库和关联模型,提高数据的准确性。
本披露的一些实施例涉及由存储器和至少一个处理器实现的一种智能轮椅定位***。所述***可以用于智能轮椅的定位。所述***可以包括第一采集模块、处理模块、第二采集模块和判断模块。所述第一采集模块可以获取多个历史信息,所述历史信息包括经过路径的定位信息及所在路径视野内的一个或多个图像信息;所述处理模块可以基于所述多个历史信息,建立所述定位信息与所述一个或多个图像信息之间的关联数据库;所述第二采集模块可以获取智能轮椅视野内的至少一个实时图像信息;所述判断模块可以通过所述关联数据库,匹配得到所述至少一个实时图像信息所对应的定位信息,作为所述智能轮椅的定位信息。
本披露的一些实施例涉及一种智能轮椅定位装置,包括存储指令的存储器以及至少一个处理器。所述装置可以实现智能轮椅的定位。当所述至少一个处理器执行所述指令时,所述至少一个处理器可以执行以下操作中的一个或多个。获取多个历史信息,所述历史信息包括经过路径的定位信息及所在路径视野内的一个或多个图像信息;基于所述多个历史信息,建立所述定位信息与所述一个或多个图像信息之间的关联数据库;获取智能轮椅视野内的至少一个实时图像信息;以及通过所述关联数据库,匹配得到所述至少一个实时图像信息所对应的定位信息,作为所述智能轮椅的定位信息。
本申请的一部分附加特性可以在下面的描述中进行说明。通过对以下描述和相应附图的检查或者对实施例的生产或操作的了解,本申请的一部分附加特性对于本领域技术人员是显而易见的。本披露的特征可以通过对以下描述的具体实施例的各种方面的方法、手段和组合的实践或使用得以实现和取得。
附图说明
下面通过示例性实施例对本披露作进一步说明。参考附图来详细描述这些示例性实施例。这些实施例是非限制性的示例性实施例,在这些实施例中,类似的参考数字表示类似的结构,并且其中:
图1是根据本发明提供的一种智能轮椅定位***的示意图;
图2是根据本发明提供的一种智能轮椅的模块示意图;
图3是根据本发明提供的一种智能轮椅定位方法的流程图;
图4是根据本发明提供的一种请求导航方法的流程图;以及
图5是根据本发明提供的一种基于机器学习构建关联模型的方法的流程图。
具体实施方式
为了更清楚地说明本申请的实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地,下面描述中的附图仅仅是本申请的一些示例或实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图将本申请应用于其他类似情景。除非从语言环境中显而易见或另做说明,图中相同标号代表相同结构或操作。
如本说明书和权利要求书中所示,除非上下文明确提示例外情形,“一”、“一个”、“一种”和/或“该”等词并非特指单数,也可包括复数。一般说来,术语“包括”与“包含”仅提示包括已明确标识的步骤和元素,而这些步骤和元素不构成一个排它性的罗列,方法或者设备也可能包含其他的步骤或元素。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”;术语“另一实施例”表示“至少一个另外的实施例”。其他术语的相关定义将在下文描述中给出。
虽然本申请对根据本申请的实施例的***中的某些模块做出了各种引用,然而,任何数量的不同模块可以被使用并运行于处理装置中。这些模块仅是说明性的,并且该***和方法的不同方面可以使用不同模块。
本申请中使用了流程图用来说明根据本申请的实施例的***所执行的操作。应当理解的是,前面或下面操作不一定按照顺序来精确地执行。相反,可以按照倒序或同时处理各种步骤。同时,也可以将其他操作添加到这些过程中,或从这些过程移除某一步或数步操作。
图1是根据本发明提供的一种智能轮椅定位***的示意图。智能轮椅定位***100可以包括一个远程服务器110、一个网络120和一个或多个智能轮椅设备130(例如,智能轮椅设备1、智能轮椅设备2……智能轮椅设备N)。远程服务器110和智能轮椅设备130可以通过网络120连接或通信。
远程服务器110是一个接收远程发送数据的设备,并且可以对数据进行处理,并反馈处理结果。远程服务器110可以接收智能轮椅设备130的数据,并基于该数据,获得智能轮椅设备130的相关信息。进一步地,远程服务器110还可以将相关信息反馈给智能轮椅设备130。例如,远程服务器110可以获取智能轮椅设备130发送来的视野内实时图像信息,并基于该实时图像信息,判断出智能轮椅130的定位信息,然后将该定位信息反馈给智能轮椅设备130。在一些实施例中,远程服务器110可以获取智能轮椅设备130的导航请求,并基于该导航请求信息,确定导航路径的规划,然后将该导航路径规划信息反馈给智能轮椅设备130。
网络120可以是任何连接两个或多个设备的连接方式。例如,网络120可以是有线网络或者无线网络。在一些实施例中,网络120可以是单一网络,也可以是多种网络的组合。例如,所述网络120可以包括局域网、广域网、公用网络、专用网络、无线局域网、虚拟网络、公用电话网络、内联网、Zigbee网络、近场通信网络、光纤网络、因特网等中的一种或几种的组合。智能轮椅定位***100中的各模块或单元可以通过连接网络120,实现信息的交互。例如,在智能轮椅定位***100中,远程服务器110可以通过网络120同时接收一个或多个智能轮椅设备130发来的数据,并对所有数据进行并行处理。
智能轮椅设备130是具有视觉和语音导航功能并能与人进行交互的机器人轮椅。例如,在智能轮椅设备130的一些特定部位(例如,轮椅的前端和后端,以及车轮两侧)安装有***头,便于捕捉智能轮椅设备130所处环境中的视觉图像信息(即照片)。在一些实施例中,智能轮椅设备130上安装有多个***头,该多个***头可以在智能轮椅的运动环境中实时获取多个视野内的图像信息/照片。在一些实施例中,该多个***头可以转动一定角度,以获取更大视野范围内的图像信息。在一些实施例中,智能轮椅设备130可以采集用户的语音信息。在一些实施例中,智能轮椅设备130还装有智能处理设备,能够对采集到的图像信息或语音信息进行简单的处理,并反馈处理结果或做出进一步处理的判断。例如,智能轮椅设备130可以接收用户的语音控制指令,并对语音控制指令进行分析,反馈处理结果,并控制智能轮椅的动力***执行该语音控制指令。再例如,智能轮椅设备130可以将接收的用户的语音导航请求发送至远程服务器110,并根据远程服务器反馈回来的导航路径规划,控制智能轮椅的动力***执行该导航路径规划。在一些实施例中,多个智能轮椅设备130(例如,智能轮椅设备1、智能轮椅设备2……智能轮椅设备N)可以同时通过网络120对远程服务器110发送数据,并请求反馈。多个智能轮椅设备130之间不会产生数据干扰问题。
以上的描述仅仅是本发明的具体实施例,不应被视为是唯一的实施例。显然,对于本领域的专业人员来说,在了解本发明内容和原理后,都可能在不背离本发明原理、结构的情况下,进行形式和细节上的各种修正和改变。例如,远程服务器110可以直接和智能轮椅设备130之间进行通信,而不需要通过网络120;该智能轮椅定位***100可以进一步包括一个数据库。这些修正和改变仍在本发明的权利要求保护范围之内。
图2是根据本发明提供的一种智能轮椅的模块示意图。智能轮椅设备130可以包括采集模块210、处理模块220、判断模块230和通信模块240。***内各模块之间的连接可以是有线的,无线的,或两者的结合。任何一个模块都可以是本地的,远程的,或两者的结合。模块间的对应关系可以是一对一的,或一对多的。
采集模块210可以采集数据信息。所述采集模块210可以包括第一采集模块和第二采集模块。在一些实施例中,所述数据信息可以包括安装在智能轮椅设备上的传感器获取的信息和用户输入的信息。在一些实施例中,采集模块210的第二采集模块可以通过安装在智能轮椅设备130上的传感器获取智能轮椅的相关数据信息。例如,采集模块210的第二采集模块可以通过安装在智能轮椅设备130上的速度传感器获取智能轮椅的运动速度数据;通过温度传感器获取环境中的温度数据;通过安装在坐垫底下的压力传感器获取压力数据,从而计算出坐在轮椅上的用户的体重数据;通过安装在智能轮椅设备130上的摄像头获取智能轮椅的视野范围的视觉图像数据;等。在一些实施例中,用户的输入信息可以包括语音输入和手动输入。例如,采集模块210的第二采集模块可以通过语音输入设备获取用户输入的语音信息;采集模块210的第二采集模块可以通过用户界面获取用户手动输入的信息。在一些实施例中,采集模块210第二采集模块可以将采集到的数据信息发送到处理模块220中,进行进一步的数据处理。
在一些实施例中,采集模块210的第一采集模块可以基于已知定位信息,获取智能轮椅所在该定位位置的视野范围内的一个或多个图像信息,并将该一个或多个图像信息和已知定位信息作为历史信息进行存储起来。所述已知定位信息可以是***已经判断过的,或者是用户输入的定位信息。在获取多个历史信息后,采集模块210的第一采集模块可以将该多个历史信息发送给处理模块220,进行下一步处理。
处理模块220可以是一个数据分析处理的控制核心模块。处理模块220可以对采集模块210所采集到的数据信息进行处理。例如,处理模块220可以对数据信号进行分析、筛选、分类、过滤、去噪等操作。在一些实施例中,处理模块220可以对采集到的所有数据进行分析,并检测其中的异常数据(例如,速度数据大于速度阈值,电路温度数据高于温度阈值等)。在一些实施例中,处理模块220可以将数据信息显示在用户操作界面上。在一些实施例中,处理模块220可以包括一个或多个相互连接的处理单元。其中,所述一个或多个处理单元,可以与本***中一部分或全部模块或设备进行通信或连接。
在一些实施例中,处理模块220可以对多个历史信息进行处理,将将每组已知定位信息与所述一个或多个图像信息相关联,得到多组相关联的数据;以及保存所述多组相关联的数据得到关联数据库。在一些实施例中,处理模块220可以对用户输入的信息进行处理。例如,对用户输入的语音信息进行去噪等处理,并分析语音数据信息,得到相应的控制指令信息。又例如,处理模块220可以对用户语音输入的导航请求信息进行分析,并将得到的导航请求指令信息通过通信模块240发送至远程服务器110进行下一步处理。
在一些实施例中,处理模块220可以接收采集模块210所获取的智能轮椅视野范围内的至少一个实时图像信息,并将该图像信息进行预处理(去噪等操作),然后发送给判断模块230,进行进一步处理。
判断模块230可以对数据、信息或处理结果进行判断。在一些实施例中,判断模块230可以接收由采集模块210获得的,和/或经处理模块220处理后的数据,并基于此数据进行判断,得到判断结果。例如,判断模块对采集模块210获取的电路运行温度数据与安全运行温度数据进行对比,判断温度是否在安全范围内;又例如,判断模块230可以获取采集模块210获得的,经过处理模块220处理后的语音数据,并对其进行分析判断,得到语音数据所对应的控制指令信息。
在一些实施例中,判断模块230可以接收由采集模块210获得的,经处理模块220处理后的智能轮椅的实时图像信息。判断模块230可以进一步将该实时图像信息和关联数据库中的图像信息进行比对,并匹配生成相应的判断结果。在匹配结果中,选择匹配度最高图像信息所对应的定位信息作为所述智能轮椅的定位信息。
通信模块240可以将智能轮椅设备130的数据发送出去,也可以接收外界发送给智能轮椅设备130的数据。例如,通信模块240可以将判断模块得到的导航请求信息,经过网络120发送至远程服务器110;也可以接收由远程服务器110经由网络120发送回来的反馈信息。在一些实施例中,通信模块240可以将判断模块230的判断结果展示给用户。例如,通信模块240可以将定位信息通过实时语音播报给用户,或者通过安装在智能轮椅上的显示屏实时显示定位信息。
在一些实施例中,通信模块240可以将关联数据库发送到远程服务器110中,实现数据共享。当有其他用户将自身视野内的实时图像信息发送到远程服务器110时,可以请求自身定位信息。远程服务器110在接收到用户的定位请求后,可以根据用户发来的实时图像信息,在关联数据中进行图像匹配,得到匹配度最高的图像,并将所对应的定位信息下发给该用户。
以上的描述仅仅是本发明的具体实施例,不应被视为是唯一的实施例。显然,对于本领域的专业人员来说,在了解本发明内容和原理后,都可能在不背离本发明原理、结构的情况下,进行形式和细节上的各种修正和改变。例如,可以将判断模块230和通信模块240合并,合并后的模块同时具备判断和通信的功能;该智能轮椅设备130可以进一步包括一个存储模块,和/或显示模块。这些修正和改变仍在本发明的权利要求保护范围之内。
图3是根据本发明提供的一种智能轮椅定位方法的流程图。
在步骤310中,智能轮椅设备130可以获取多个历史信息。所述历史信息包括经过路径的已知定位信息及所在路径视野内的一个或多个图像信息。所述已知定位信息可以是***已经判断过的,或者是用户输入的定位信息。在一些实施例中,智能轮椅设备130可以通过安装在智能轮椅上的一个或多个摄像头获取各个角度的图像信息,并与已知定位信息相关联。在一些实施例中,所述历史信息可以是实时更新的。例如,当有新增定位信息出现时,可以获取新增定位位置处的视野内的一个或多个图像信息,并与新增定位信息相关联。又例如,当已知的定位信息的定位位置处的视野内的环境发生较大变化时(例如路径上的障碍物的移除以及新增新的建筑物等),实时更新该定位位置处的视野内的一个或多个图像信息,并与该定位信息相关联。
在步骤320中,智能轮椅设备130基于多个历史信息,建立所述定位信息与所述一个或多个图像信息之间的关联数据库。在一些实施中,智能轮椅设备130在多个历史信息中,可以将每组定位信息与一个或多个图像信息相关联,得到多组相关联的数据;以及保存所述多组相关联的数据得到关联数据库。在构建关联数据库时,历史信息的数量越多,所构造的关联数据库的覆盖率和准确性越高。在一些实施例中,定位信息可以与一个或多个图像信息相对应,即一个定位信息可以与至少一个图像信息相关联;但是一个图像信息最多与一个定位信息相关联,否则容易造成定位混乱和重复现象的出现。例如,某个定位位置为XX商店东门口,那么有XX商店东门口出现的图片信息都与该定位信息相关联;反之,某张图片信息中出现了XX商店东门口,那么其对应的定位信息只能是XX商店东门口这个位置。
在步骤330中,智能轮椅设备130实时获取视野内的至少一个实时图像信息。例如,智能轮椅设备130可以通过安装在所示智能轮椅上的一个或多个摄像头获取各个角度的图像信息。在一些实施例中,智能轮椅设备130可以根据一个或多个相关传感器获取各个角度的图像信息。例如,在夜晚天黑的时候,摄像头不能捕获清晰的图像信息,此时,可以通过红外传感器或者红外摄影的方式,来获取夜晚或者视线较差时的视野内的图像信息。在一些实施例中,由于一些外在因素(摄像头设备原因、拍摄时的抖动、视野内光线的干扰等)导致图像质量较差,此时需要对质量较差的图像信息进行去噪、校正、分割、缩放等预处理,以提高图片的质量和后续的图片的匹配准确率。
在步骤340中,智能轮椅设备130基于关联数据库,匹配得到智能轮椅的定位信息。在关联数据库中,基于图片匹配算法,计算智能轮椅的实时图像信息与关联数据库中的图像信息的匹配度;然后筛选出匹配度最高的图像信息,将该匹配度最高的图像信息所对应的定位信息作为智能轮椅的实时定位信息。
在一些实施例中,所述图像匹配算法包括基于灰度的图像匹配算法和基于特征的图像匹配算法。其中,灰度匹配的基本思想是以统计的观点将图像看成是二维信号,采用统计相关的方法寻找信号间的相关匹配。利用两个信号的相关函数,评价它们的相似性以确定同名点。灰度匹配通过利用某种相似性度量,如相关函数、协方差函数、差平方和、差绝对值和等测度极值,判定两幅图像中的对应关系。最经典的灰度匹配法是归一化的灰度匹配法,其基本原理是逐像素的把一个以一定大小的实时图像窗口的灰度矩阵,与参考图像的所有可能的窗口灰度阵列,按某种相似性度量方法进行搜索比较的匹配方法,从理论上说就是采用图像相关技术。
而特征匹配是指通过分别提取两个或多个图像的特征(点、线、面等特征),对特征进行参数描述,然后运用所描述的参数来进行匹配的一种算法。基于特征的匹配所处理的图像一般包含的特征有颜色特征、纹理特征、形状特征、空间位置特征等。特征匹配首先对图像进行预处理来提取其高层次的特征,然后建立两幅图像之间特征的匹配对应关系,通常使用的特征基元有点特征、边缘特征和区域特征。特征匹配需要用到许多诸如矩阵的运算、梯度的求解、还有傅立叶变换和泰勒展开等数学运算。常用的特征提取与匹配方法有:统计方法、几何法、模型法、信号处理法、边界特征法、傅氏形状描述法、几何参数法、形状不变矩法等。
在一些实施例中,可以设定一个匹配度阈值T,当智能轮椅的实时图像信息与关联数据库中的图像信息的匹配度大于T时,才可以确定所得到的定位信息是可靠的。当所有匹配结果的匹配度都小于阈值T时,***会反馈给用户匹配失败的信息,并请求用户再次获取视野内的图像信息,并进行再次匹配。如此反复多次后,如果一直匹配失败,则***判断该定位位置为新的位置信息。并且在之后确定了该新定位位置的信息后,将该新定位信息和其相关联的视野内的一个或多个图像信息作为一组关联数据,并保存到关联数据库中。
进一步地,一种智能轮椅定位方法的流程还可以包括步骤350,智能轮椅设备130可以将关联数据库发送至远程服务器110,以实现数据共享。在一些实施例中,远程服务器110可以接收多个智能轮椅设备130(例如,智能轮椅设备1、智能轮椅设备2……智能轮椅设备N)的关联数据库,并将所有关联数据库进行整合,得到一个更为完善的关联数据库。并且还可以不断的接收来自新的智能轮椅设备的新的关联数据库,对整合后的关联数据库进行不断的更新和维护。在一些实施例中,智能轮椅在获取视野内的实时图像信息后,可以直接通过网络120上传至远程服务器110,并且用户同时可以请求自身的定位信息。远程服务器110在接收到用户的定位请求后,可以根据接收到的实时图像信息,在关联数据中进行图像匹配,得到匹配度最高的图像,并将所对应的定位信息下发给该用户。
需要注意的是,以上的描述仅仅是本发明的具体实施例,不应被视为是唯一的实施例。显然,对于本领域的专业人员来说,在了解本发明内容和原理后,都可能在不背离本发明原理、结构的情况下,进行形式和细节上的各种修正和改变。例如,可以将其他操作添加到上述步骤中,或从这些步骤移除某一步或数步操作;可以添加一步存储步骤,用于存储各个步骤中的数据。又例如,可以将步骤310和320合并,直接基于多个历史信息建立关联数据库。这些修正和改变仍在本发明的权利要求保护范围之内。
图4是根据本发明提供的一种请求导航方法的流程图。在一些实施例中,智能轮椅设备130可以获取用户的语音指令信息。所述语音指令信息包括但不仅限于定位请求、导航请求、速度控制、行驶方向控制、启停控制、座位调整、新闻播报和天气播报等。在一些实施例中,智能轮椅设备130可以将语音指令信息和实时图像信息结合,发送至远程服务器。例如,智能轮椅设备130在将实时图像信息发送至远程服务器110时,可以同时发送语音定位请求指令,远程服务器110在接收到语音定位请求指令时,根据接收到的实时图像信息,确定请求者的定位信息,并下发给请求者。在一些实施例中,智能轮椅设备130还可以在将实时图像信息发送至远程服务器110时,发送语音导航请求指令给远程服务器110。以下将以语音导航请求作为实施例来说明,但不仅限于此,以下的描述仅仅是本发明的具体实施例,不应被视为是唯一的实施例。
在步骤410中,智能轮椅设备130可以获取用于语音请求的导航指令。例如,智能轮椅设备130可以通过安装在自身上的语音采集装置来获取用户发出的语音请求的导航指令。在一些实施例中,智能轮椅设备130上安装有语音接收开关装置,当用户想要输入语音指令时,可以手动打开该开关,然后语音采集装置才会开始工作;当该开关关闭时,语音采集装置一直保持关机的状态。这样可以避免语音采集装置的长时间运行状态,对电路产生负担;另一方面还可以消除外界噪音的干扰,当处在外界嘈杂声音的环境中,可以选择暂时关闭语音采集装置。在一些实施例中,智能轮椅设备130可以将采集到的语音请求的导航指令进行降噪,过滤等预处理,提高音频质量和识别准确率。
在步骤420中,智能轮椅设备130可以将步骤410中获取的导航请求指令发送至远程服务器。例如,智能轮椅设备130可以通过网络120将导航请求指令发送至远程服务器,并等待请求的反馈结果。在一些实施例中,多个智能轮椅设备130(例如,智能轮椅设备1、智能轮椅设备2……智能轮椅设备N)可以同时通过网络120向远程服务器110发送导航请求指令,并请求反馈。多个智能轮椅设备130之间不会产生数据干扰问题。
在步骤430中,远程服务器110可以基于导航指令生成导航路径规划。例如,远程服务器110可以对导航指令信息进行分析,确定起点和目的地,并访问地图数据库,选择最优化的导航路径信息,然后反馈给智能轮椅设备130。在一些实施例中,远程服务器110可以生成多条导航路径信息供用户参考,并标记出最优化的导航路径。在一些实施例中,远程服务器110可以接收多个导航请求指令,且可以并行处理所有请求,同时反馈导航结果给所有请求方。
在步骤440中,智能轮椅设备130可以接收远程服务器110反馈回来的导航路径规划信息,并将导航路径规划展示给用户。所述将导航路径规划展示给用户包括实时语音播报导航路径;以及通过安装在智能轮椅上的显示屏实时显示导航路径。用户可以选择导航路径规划的展示方式,或者同时选择两种展示方式。在一些实施例中,用户可以控制智能轮椅的运行方向,当智能轮椅的运行路径偏移了规划的导航路径时,远程服务器110可以通过对智能轮椅设备130的实时定位,规划处新的导航路线,并实时发送给智能轮椅设备130,还可以提示用户如何调整到正确的导航路线上,或者调整到新的导航路线上。
需要注意的是,以上的描述仅仅是本发明的具体实施例,不应被视为是唯一的实施例。显然,对于本领域的专业人员来说,在了解本发明内容和原理后,都可能在不背离本发明原理、结构的情况下,进行形式和细节上的各种修正和改变。例如,可以将其他操作添加到上述步骤中,或从这些步骤移除某一步或数步操作;可以添加一步存储步骤,用于存储各个步骤中的数据。又例如,可以将步骤410和420合并,直接获取并发送用户语音请求的导航指令。这些修正和改变仍在本发明的权利要求保护范围之内。
图5是根据本发明提供的一种基于机器学习构建关联模型的方法的流程图。在一些实施例中,可以构建一个关联模型来替代关联数据库的作用。这样的话,只需将实时图像信息输入到关联模型中,就可以输出一个相应的定位信息。关联模型的应用需要对输入的实时图像信息进行分析和特征提取,然后根据提取的特征信息,计算得到实时定位信息。以下步骤是关于如何构建该关联模型,且仅仅是本发明的具体实施例,不应被视为是唯一的实施例。
在步骤510中,智能轮椅定位***100可以获取多个历史信息。该历史信息和图3的步骤310中所描述的历史信息一致。所述历史信息包括经过路径的定位信息及所在路径视野内的一个或多个图像信息。在一些实施例中,智能轮椅定位***100可以对多个历史信息中的数据进行标准化处理,存储为指定格式的数据,便于后续的数据处理。
在步骤520中,智能轮椅定位***100可以基于机器学习,对多个历史信息进行训练。在一些实施例中,智能轮椅定位***100可以将多个历史信息分为两个数据集合,一个作为训练集,一个作为测试集。所述训练集和测试集都是带有标注的数据,即定位信息和定位位置视野内的图像信息都是已知的。所述训练集用于获取数据的特征,并训练学习,得到数据模型;所述测试集用于验证模型的准确率。首先,对训练集中的数据进行特征提取,然后对于提取结果进行处理(例如对连续的特征值进行离散化)增强特征表示。然后选择合适的分类模型,对所有训练集数据进行训练,学习分析数据的规律尝试拟合出这些数据和学习目标间(判断定位信息)的函数,使得定义在训练集上的总体误差尽可能的小。所述分类模型可以包括但不见限于决策树、随机森林、逻辑回归、梯度提升、SVM、BP神经网络、卷积神经网络和贝叶斯网络等。
在步骤530中,智能轮椅定位***100可以通过在步骤520的训练后,输出一个分类模型,即定位信息和视野内的图像信息的关联模型。在一些实施例中,需要将测试集数据输入到所述关联模型中,输出分类结果,并与已经标注过的测试集数据进行比对,得到模型的准确率,作为衡量模型的好坏。当模型的准确率不能达到一个预设阈值时,可以考虑增加训练集数据,或者替换已选择的分类模型。
在一些实施例中,智能轮椅定位***100可以将关联模型构建在远程服务器110中,这样当其他用户请求定位信息时,只需发送至少一张实时图像信息至远程服务器110,远程服务器110可以将实时图像信息输入到关联模型中,得到输出结果,即定位信息;然后将定位信息反馈给定位请求者。在一些实施例中,智能轮椅定位***100可以不断获取新的定位信息和定位视野内的图像信息,并将这些信息添加到训练集中,不断更新和完善关联模型,提高定位信息的判断的准确率和时效性。
上文已对基本概念做了描述,显然,对于本领域技术人员来说,上述发明披露仅仅作为示例,而并不构成对本申请的限定。虽然此处并没有明确说明,本领域技术人员可能会对本申请进行各种修改、改进和修正。该类修改、改进和修正在本申请中被建议,所以该类修改、改进、修正等仍属于本申请示范实施例的思想和范围。
此外,除非权利要求中明确说明,本申请所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用,并非用于限定所主张过程和方法的顺序。尽管上述披露中通过各种实例讨论了一些目前认为有用的本披露实施例,但应当理解的是,此类细节仅起到说明的目的,附加的权利要求并不仅限于公开的实施例,相反,权利要求旨在覆盖所有符合所公开实施例实质和范围的修正和等价组合。
类似地,应当注意的是,为了简化本披露以帮助对一个或多个各种发明实施例的理解,前文对本披露实施例的描述中,有时会将多种特征归并至一个实施例、附图或对其的描述中。然而,这种公开方法并不意味着要求保护的目标所需要的特征比权利要求中提及的特征多。实际上,实施例的特征要少于上述公开的单个实施例的全部特征。
Claims (20)
1.一种智能轮椅的定位方法,包括:
获取多个历史信息,所述历史信息包括经过路径的定位信息及所在路径视野内的一个或多个图像信息,所述一个或多个图像信息通过安装在所述智能轮椅上的一个或多个摄像头获取;
基于所述多个历史信息,建立所述定位信息与所述一个或多个图像信息之间的关联数据库;
获取智能轮椅视野内的至少一个实时图像信息;
通过所述关联数据库,匹配得到所述至少一个实时图像信息所对应的定位信息,作为所述智能轮椅的定位信息;以及
当通过所述关联数据库,匹配失败所述至少一个实时图像信息所对应的定位信息时,则在确定所述至少一个实时图像信息所对应的所述定位信息后,将所述至少一个实时图像信息及其对应的所述定位信息作为一组关联数据,保存到所述关联数据库中。
2.根据权利要求1所述的智能轮椅的定位方法,其特征在于,所述基于所述多个历史信息,建立所述定位信息与所述一个或多个图像信息之间的关联数据库包括:
在所述多个历史信息中,将每组所述定位信息与所述一个或多个图像信息相关联,得到多组相关联的数据;以及
保存所述多组相关联的数据得到关联数据库。
3.根据权利要求1所述的智能轮椅的定位方法,其特征在于,所述获取智能轮椅视野内的至少一个实时图像信息包括:
通过安装在所述智能轮椅上的一个或多个摄像头获取各个角度的图像信息。
4.根据权利要求1所述的智能轮椅的定位方法,其特征在于,所述通过所述关联数据库,匹配得到所述至少一个实时图像信息所对应的定位信息,包括:
基于图像匹配算法,计算所述至少一个实时图像信息与所述关联数据库中的图像信息的匹配度;以及
选择匹配度最高的图像信息所对应的定位信息作为所述智能轮椅的定位信息。
5.根据权利要求4所述的智能轮椅的定位方法,其特征在于,所述图像匹配算法包括基于灰度的图像匹配算法和基于特征的图像匹配算法。
6.根据权利要求1所述的智能轮椅的定位方法,其特征在于,所述方法进一步包括:
通过安装在所述智能轮椅上的无线通信设备将所述关联数据库发送至远程服务器。
7.根据权利要求6所述的智能轮椅的定位方法,其特征在于,所述方法进一步包括:
智能轮椅将所述获取的智能轮椅视野内的至少一个实时图像信息发送至远程服务器;
远程服务器基于所述关联数据库,通过所述至少一个实时图像信息与所述关联数据库中图像信息的匹配度,得到所述至少一个实时图像信息所对应的定位信息;以及
智能轮椅接收远程服务器发送的定位信息,并将所述定位信息作为智能轮椅的定位信息。
8.根据权利要求7所述的智能轮椅的定位方法,其特征在于,所述方法进一步包括:
获取用户的语音指令信息;以及
将语音指令信息和所述至少一个实时图像信息结合,发送给所述远程服务器。
9.根据权利要求8所述的智能轮椅的定位方法,其特征在于,所述语音指令信息至少包括定位请求、导航请求、速度控制、行驶方向控制、启停控制、座位调整、新闻播报和天气播报。
10.根据权利要求8所述的智能轮椅的定位方法,其特征在于,所述方法进一步包括:
接收用户语音请求的导航指令;
将所述导航指令发送至所述远程服务器,所述远程服务器可以基于所述导航指令,自动生成导航路径规划;
从所述远程服务器接收所述导航路径规划;以及
将导航路径规划展示给用户。
11.根据权利要求10所述的智能轮椅的定位方法,其特征在于,所述将导航路径规划展示给用户包括:
实时语音播报导航路径;以及
通过安装在智能轮椅上的显示屏实时显示导航路径。
12.根据权利要求1所述的智能轮椅的定位方法,其特征在于,所述方法进一步包括:
采用机器学习的方法,将所述多个历史信息作为训练样本,训练得到关联模型;
将所述获取的智能轮椅的至少一个实时图像信息输入到关联模型中;
获取关联模型输出的定位信息;以及
将所述关联模型输出的定位信息作为智能轮椅的定位信息。
13.根据权利要求12所述的智能轮椅的定位方法,其特征在于,所述方法进一步包括:
将所述关联模型发送至远程服务器,实现数据的共享与交互。
14.根据权利要求1所述的智能轮椅的定位方法,其特征在于,所述方法进一步包括:
定期更新与维护所述关联数据库和关联模型,提高数据的准确性。
15.一种智能轮椅的定位***,包括:
第一采集模块,被配置为获取多个历史信息,所述历史信息包括经过路径的定位信息及所在路径视野内的一个或多个图像信息,所述一个或多个图像信息通过安装在所述智能轮椅上的一个或多个摄像头获取;
处理模块,被配置为基于所述多个历史信息,建立所述定位信息与所述一个或多个图像信息之间的关联数据库;
第二采集模块,被配置为获取智能轮椅视野内的至少一个实时图像信息;以及
判断模块,被配置为通过所述关联数据库,匹配得到所述至少一个实时图像信息所对应的定位信息,作为所述智能轮椅的定位信息;以及
当通过所述关联数据库,匹配失败所述至少一个实时图像信息所对应的定位信息时,则在确定所述至少一个实时图像信息所对应的所述定位信息后,将所述至少一个实时图像信息及其对应的所述定位信息作为一组关联数据,保存到所述关联数据库中。
16.根据权利要求15所述的智能轮椅的定位***,其特征在于,所述判断模块进一步被配置为:
基于图像匹配算法,计算所述至少一个实时图像信息与所述关联数据库中的图像信息的匹配度;以及
选择匹配度最高的图像信息所对应的定位信息作为所述智能轮椅的定位信息。
17.根据权利要求15所述的智能轮椅的定位***,其特征在于,所述处理模块进一步被配置为:
接收所述第一采集模块所获取的多个历史信息;
基于机器学习,对多个历史信息进行训练;以及
输出关联模型。
18.根据权利要求17所述的智能轮椅的定位***,其特征在于,所述关联模型可以被发送至远程服务器,实现数据的共享与交互。
19.根据权利要求15所述的智能轮椅的定位***,其特征在于,所述***进一步包括更新模块,所述更新模块被配置为定期更新与维护所述关联数据库和关联模型,提高数据的准确性。
20.一种智能轮椅的定位装置,包括:
存储指令的存储器;
至少一个处理器,执行所述指令以执行操作,所述操作包括:
获取多个历史信息,所述历史信息包括经过路径的定位信息及所在路径视野内的一个或多个图像信息,所述一个或多个图像信息通过安装在所述智能轮椅上的一个或多个摄像头获取;
基于所述多个历史信息,建立所述定位信息与所述一个或多个图像信息之间的关联数据库;
获取智能轮椅视野内的至少一个实时图像信息;
通过所述关联数据库,匹配得到所述至少一个实时图像信息所对应的定位信息,作为所述智能轮椅的定位信息;以及
当通过所述关联数据库,匹配失败所述至少一个实时图像信息所对应的定位信息时,则在确定所述至少一个实时图像信息所对应的所述定位信息后,将所述至少一个实时图像信息及其对应的所述定位信息作为一组关联数据,保存到所述关联数据库中。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2017/119534 WO2019127257A1 (zh) | 2017-12-28 | 2017-12-28 | 一种通过照片实现智能轮椅的定位方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111527378A CN111527378A (zh) | 2020-08-11 |
CN111527378B true CN111527378B (zh) | 2024-03-19 |
Family
ID=67062850
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201780098035.5A Active CN111527378B (zh) | 2017-12-28 | 2017-12-28 | 一种通过照片实现智能轮椅的定位方法 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN111527378B (zh) |
WO (1) | WO2019127257A1 (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004321722A (ja) * | 2003-04-22 | 2004-11-18 | Mizukoshi Keiki Kk | 電動車椅子 |
CN102188311A (zh) * | 2010-12-09 | 2011-09-21 | 南昌大学 | 一种嵌入式智能轮椅视觉导航控制***及方法 |
CN105241445A (zh) * | 2015-10-20 | 2016-01-13 | 深圳大学 | 一种基于智能移动终端的室内导航数据获取方法及*** |
CN105681747A (zh) * | 2015-12-10 | 2016-06-15 | 北京理工大学 | 一种远程呈现交互操作轮椅 |
CN105953801A (zh) * | 2016-07-18 | 2016-09-21 | 乐视控股(北京)有限公司 | 室内导航方法及装置 |
CN106291517A (zh) * | 2016-08-12 | 2017-01-04 | 苏州大学 | 基于位置与视觉信息优化的室内云机器人角度定位方法 |
CN106643738A (zh) * | 2017-02-17 | 2017-05-10 | 深圳大学 | 一种室内定位***与方法 |
CN107036609A (zh) * | 2016-10-18 | 2017-08-11 | 中建八局第建设有限公司 | 基于bim的虚拟现实导航方法、服务器、终端及*** |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020122073A1 (en) * | 2001-03-02 | 2002-09-05 | Abrams David Hardin | Visual navigation history |
-
2017
- 2017-12-28 WO PCT/CN2017/119534 patent/WO2019127257A1/zh active Application Filing
- 2017-12-28 CN CN201780098035.5A patent/CN111527378B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004321722A (ja) * | 2003-04-22 | 2004-11-18 | Mizukoshi Keiki Kk | 電動車椅子 |
CN102188311A (zh) * | 2010-12-09 | 2011-09-21 | 南昌大学 | 一种嵌入式智能轮椅视觉导航控制***及方法 |
CN105241445A (zh) * | 2015-10-20 | 2016-01-13 | 深圳大学 | 一种基于智能移动终端的室内导航数据获取方法及*** |
CN105681747A (zh) * | 2015-12-10 | 2016-06-15 | 北京理工大学 | 一种远程呈现交互操作轮椅 |
CN105953801A (zh) * | 2016-07-18 | 2016-09-21 | 乐视控股(北京)有限公司 | 室内导航方法及装置 |
CN106291517A (zh) * | 2016-08-12 | 2017-01-04 | 苏州大学 | 基于位置与视觉信息优化的室内云机器人角度定位方法 |
CN107036609A (zh) * | 2016-10-18 | 2017-08-11 | 中建八局第建设有限公司 | 基于bim的虚拟现实导航方法、服务器、终端及*** |
CN106643738A (zh) * | 2017-02-17 | 2017-05-10 | 深圳大学 | 一种室内定位***与方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111527378A (zh) | 2020-08-11 |
WO2019127257A1 (zh) | 2019-07-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20210006932A1 (en) | Information recommendation method, apparatus, device and computer readable storage medium | |
Yang et al. | Concrete defects inspection and 3D mapping using CityFlyer quadrotor robot | |
KR102203135B1 (ko) | 드론을 이용한 인공지능 기반 재난 피해정보 탐지 방법 및 시스템 | |
CN108764167B (zh) | 一种时空关联的目标重识别方法和*** | |
CN109584213B (zh) | 一种多目标编号选定跟踪方法 | |
KR102106898B1 (ko) | 얼굴 데이터베이스를 이용한 인물 추적 방법 및 시스템 | |
CN103941746A (zh) | 无人机巡检图像处理***及方法 | |
CN106162144A (zh) | 一种用于夜视环境的视觉图像处理设备、***和智能机器 | |
CN109934108B (zh) | 一种多目标多种类的车辆检测和测距***及实现方法 | |
CN114905512B (zh) | 一种智能巡检机器人全景追踪及避障方法及*** | |
CN113284144B (zh) | 一种基于无人机的隧道检测方法及装置 | |
WO2022247045A1 (zh) | 一种基于激光雷达信息的移动机器人位置重识别方法 | |
US20230138487A1 (en) | An Environment Model Using Cross-Sensor Feature Point Referencing | |
CN110119768A (zh) | 用于车辆定位的视觉信息融合***及方法 | |
CN106600652A (zh) | 一种基于人工神经网络的全景摄像头定位方法 | |
Domozi et al. | Real time object detection for aerial search and rescue missions for missing persons | |
CN109947093A (zh) | 一种基于双目视觉的智能避障算法 | |
CN115346256A (zh) | 机器人寻人方法及*** | |
EP3005238B1 (en) | Method and system for coordinating between image sensors | |
CN113950020A (zh) | 用于自主车辆的车辆共乘定位和乘客识别 | |
CN111950524B (zh) | 一种基于双目视觉和rtk的果园局部稀疏建图方法和*** | |
Gundewar et al. | A review on an obstacle detection in navigation of visually impaired | |
JP2020149186A (ja) | 位置姿勢推定装置、学習装置、移動ロボット、位置姿勢推定方法、学習方法 | |
CN116659518B (zh) | 智能轮椅自主导航方法、装置、终端及介质 | |
CN111527378B (zh) | 一种通过照片实现智能轮椅的定位方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |