KR100611053B1 - Method for calculating efficiently edge information for position recognition of synchro drive robots - Google Patents
Method for calculating efficiently edge information for position recognition of synchro drive robots Download PDFInfo
- Publication number
- KR100611053B1 KR100611053B1 KR1020040092326A KR20040092326A KR100611053B1 KR 100611053 B1 KR100611053 B1 KR 100611053B1 KR 1020040092326 A KR1020040092326 A KR 1020040092326A KR 20040092326 A KR20040092326 A KR 20040092326A KR 100611053 B1 KR100611053 B1 KR 100611053B1
- Authority
- KR
- South Korea
- Prior art keywords
- mobile robot
- edge information
- key factor
- lga
- position recognition
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 23
- 238000004364 calculation method Methods 0.000 claims abstract description 23
- 238000004422 calculation algorithm Methods 0.000 abstract description 9
- 230000001360 synchronised effect Effects 0.000 description 6
- 238000000605 extraction Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000004088 simulation Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- BQCADISMDOOEFD-UHFFFAOYSA-N Silver Chemical compound [Ag] BQCADISMDOOEFD-UHFFFAOYSA-N 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000005315 distribution function Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 229910052709 silver Inorganic materials 0.000 description 2
- 239000004332 silver Substances 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000012885 constant function Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/10—Programme-controlled manipulators characterised by positioning means for manipulator elements
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J5/00—Manipulators mounted on wheels or on carriages
- B25J5/007—Manipulators mounted on wheels or on carriages mounted on wheels
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
- B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1615—Programme controls characterised by special kind of manipulator, e.g. planar, scara, gantry, cantilever, space, closed chain, passive/active joints and tendon driven manipulators
- B25J9/162—Mobile manipulator, movable base with manipulator arm mounted on it
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
- B25J9/1666—Avoiding collision or forbidden zones
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S901/00—Robots
- Y10S901/01—Mobile robot
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Automation & Control Theory (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Physics & Mathematics (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Orthopedic Medicine & Surgery (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Manipulator (AREA)
Abstract
본 발명은 이동로봇의 위치인식을 위한 LGA를 이용한 효율적인 에지 정보 산출방법에 관한 것이다. 즉, 본 발명은 이동로봇의 위치 인식을 위한 효율적인 에지 정보 산출방법에 있어서, 1차원의 에지 정보를 표현하기 위한 에지에서의 방해물의 영향, 요철들 그리고 전체적인 에지 모양을 반영하는 LGA(local generalized voronoi angle)을 정의하고, 에지 정보의 효율적인 산출을 위해 LGA에서 방해물의 영향과 요철 정보를 표현하는 로컬 키팩터 성분과 에지의 전체적인 모양 정보를 표현하는 글로벌 키팩터 성분을 포함하는 키팩터 성분을 추출하여 표본의 수를 줄이면서도 에지 정보를 효율적으로 산출하는 방법을 제안한다. 이에 따라 에지 정보 산출을 위해 필요한 키팩터의 총수를 LGA에 비해 배 만큼 줄일 수 있게 되며, 이에 따라 이동로봇의 위치인식을 위한 데이터 어소시에이션시 LGA의 키팩터 성분을 이용하여 보다 효율적으로 데이터 어소시에이션 알고리즘을 계산할 수 있게 된다.The present invention relates to an efficient edge information calculation method using LGA for position recognition of a mobile robot. That is, the present invention provides an efficient edge information calculation method for recognizing a position of a mobile robot, and includes LGA (local generalized voronoi) reflecting the influence of irregularities, irregularities and the overall edge shape at the edge for representing one-dimensional edge information. angle) and extract the key factor component including the local key factor component representing the influence and unevenness information of the obstacles and the global key factor component representing the overall shape information of the edge in the LGA for efficient calculation of the edge information. We propose a method to efficiently calculate edge information while reducing the number of samples. As a result, the total number of key factors needed to calculate the edge information In this case, the data association algorithm can be calculated more efficiently by using the LGA's key factor components when associating the mobile robot with position recognition.
이동로봇, LGA, 에지, key factorMobile Robot, LGA, Edge, Key Factor
Description
도 1은 본 발명의 실시 예가 적용되는 동기 구동형 이동 로봇의 블록도 및 하부 기구부 사시도,1 is a block diagram and a bottom perspective view of a synchronous drive mobile robot to which an embodiment of the present invention is applied;
도 2는 본 발명의 실시 예에 따른 GVG에서의 로 명명된 에지의 연결 도면,2 is in the GVG according to an embodiment of the present invention Connection drawing of the edge named
도 3a는 S에서 노드 로의 로봇 진행 경로 예시도,3a is a node at S An example of the robot traveling path to the furnace,
도 3b는 누적된 odometry 오차에 영향을 받는 의 각( )그래프 예시도,3b is affected by cumulative odometry errors Of each ( A graph example,
도 3c는 누적된 odometry 오차에 영향을 받지않는 GVG angle(LGA) 그래프 예시도,3c illustrates an example of a GVG angle (LGA) graph that is not affected by accumulated odometry errors.
도 4는 LGA의 키팩터 추출을 위한 및 도면,4 is a key factor extraction of the LGA And drawing,
도 5는 본 발명의 실시 예에 따라 원래 신호가 과 으로 은 와 로 분해되는 도면,5 is an original signal according to an embodiment of the present invention; and to silver Wow Drawing exploded into
도 6은 에지 내에 있는 방해물의 영향, 요철들 및 전체적인 모양에 따른 Wavelet transform 결과 도면,6 is a Wavelet transform result plot according to the influence of the obstacles in the edges, irregularities and overall shape;
도 7은 에지와 에지 속도(V)간 연관관계를 도시한 그래프 예시도,7 is a graph illustrating an association between edge and edge velocity (V),
도 8a는 에 관한 V의 값을 나타내는 그래프 예시도,8A An example graph showing the value of V in relation to
도 8b는 에지 상 큰 방해물의 존재를 확인하는 도면,8b confirms the presence of a large obstruction on the edge,
도 8c는 에지 상 두 개의 작은 방해물의 존재를 확인하는 도면,8c confirms the presence of two small obstructions on the edge,
도 8d는 에지 상 요철의 존재를 확인하는 도면,8D is a diagram for confirming the presence of irregularities on the edges,
도 9a는 least common multiple의 방법을 사용하여 data의 수가 확장되는 경우 일대일대응 비교가 불가능한 경우의 그래프 예시도,9A is a graph illustrating an example in which one-to-one correspondence comparison is impossible when the number of data is expanded using the least common multiple method.
도 9b는 least common multiple의 방법을 사용하여 data의 수가 확장되는 경우 일대일대응 비교가 가능한 경우의 그래프 예시도,FIG. 9B is a graph illustrating a case where one-to-one correspondence comparison is possible when the number of data is expanded by using the least common multiple method. FIG.
도 10은 본 발명의 실시 예에 따른 기준 에지와 후보 에지들 예시도,10 is a diagram illustrating reference and candidate edges according to an embodiment of the present invention;
도 11은 상기 도 10의 pdf(Probability Distribution Function) 그래프 예시도,11 is an exemplary view of a pdf (Probability Distribution Function) graph of FIG. 10;
도 12는 본 발명의 다른 실시 예에 따른 기준 에지와 후보 에지들 예시도,12 illustrates a reference edge and candidate edges according to another embodiment of the present invention;
도 13은 상기 도 12의 pdf(Probability Distribution Function) 그래프 예시도.FIG. 13 is an exemplary view of a pdf (Probability Distribution Function) graph of FIG. 12. FIG.
본 발명은 동기 구동형 이동로봇에 관한 것으로, 특히 이동로봇의 위치인식 을 위한 LGA를 이용한 효율적인 에지 정보 산출방법에 관한 것이다.The present invention relates to a synchronous driven mobile robot, and more particularly, to an efficient edge information calculation method using LGA for position recognition of a mobile robot.
통상적으로 토폴로지컬 맵(Topological map)은 노드(node)와 에지(edge)로 구성되어진다. node는 위상적 의미로서 교차점(junction), 문(door) 등을 나타내고, edge는 node사이의 연결을 의미한다. 도 1과 같은 이동로봇이 topological map을 이동할 경우, 이동로봇에 설치된 거리측정 센서를 이용하여 한 node에서 다른 node까지 자율적으로 주행을 수행 할 수 있다. 이때 로봇이 어떤 node에 멈추었을 경우, 현재 로봇이 위치한 node가 로봇이 알고 있는 데이터 베이스(database) 하의 node와 일치하는 지를 계산할 수 있고 이를 데이터 어소시에이션(data association)이라고 한다. Typically, a topological map is composed of nodes and edges. A node represents a junction, a door, etc. in a topological sense, and an edge represents a connection between nodes. When a mobile robot as shown in FIG. 1 moves a topological map, it can autonomously drive from one node to another node using a distance measuring sensor installed in the mobile robot. At this time, when the robot stops on which node, it can calculate whether the node where the robot is currently located matches the node under the database that the robot knows, and this is called data association.
즉, 동기구동형 이동로봇의 노드간 자율 주행에 있어서 현재 로봇이 위치한 노드가 데이터 베이스하의 노드와 일치하는지를 계산하는 데이터 어소시에이션이 토폴로지컬 맵을 자율 주행하는 이동로봇의 제어에 있어서 매우 중요하며, 이러한 data association을 수행하기 위한 다양한 방법들이 제안되고 있다.That is, in the inter-node autonomous driving of the synchronous mobile robot, the data association that calculates whether the node where the robot is present matches the node under the database is very important in the control of the mobile robot that autonomously runs the topological map. Various methods for performing data association have been proposed.
그러나 종래 제안된 방법들에서는 에지정보가 노드간 길이, 모양, 방행물의 영향 등 많은 정보를 가지고 있음에도 불구하고 정보 비교를 위한 에지 정보는 거의 사용되고 있지 않아 비효율적인 문제점이 있었다.However, in the conventionally proposed methods, although edge information has a lot of information such as length, shape, and effect of inter-nodes, edge information for information comparison is rarely used, which causes inefficient problems.
따라서 이동로봇의 진행경로 상 노드간 길이, 모양, 방해물의 영향 등 많은 정보를 가지고 있는 에지 정보를 사용하는 경우 데이터 어소시에이션에 있어서 보다 효율적일 것으로 기대되며, 또한 node에는 단지 오차를 가진 센서 정보가 있는 반면, edge에는 여러 알고리즘에 의해 제거 될 수 있는 오차를 포함한 많은 양의 축적된 정보가 있어, 저가센서(cheap sensor)가 사용되는 경우(예. sonar 센서)에 있어서 edge는 node보다 많은 센서 정보를 갖기 때문에 유리할 것으로 기대된다. Therefore, when using edge information with much information such as length, shape, influence of obstacles, etc. on the progress path of mobile robot, it is expected to be more efficient in data association, and node has sensor information with error only. On the edge, there is a large amount of accumulated information including errors that can be removed by various algorithms, so when a low-cost sensor (eg sonar sensor) is used, the edge has more sensor information than a node. It is expected to be advantageous.
따라서, 본 발명의 목적은 이동로봇의 위치인식을 위한 LGA를 이용한 효율적인 에지 정보 산출방법을 제공함에 있다.Accordingly, an object of the present invention is to provide an efficient edge information calculation method using LGA for position recognition of a mobile robot.
상술한 목적을 달성하기 위한 본 발명은, 이동로봇의 위치 인식을 위한 효율적인 에지 정보 산출방법으로서, (a)LGA를 이용하여 이동로봇의 진행 경로상 1차원 에지정보를 생성하는 단계와, (b)상기 진행 경로상 1차원 에지정보를 생성하기 위한 LGA에서의 키팩터 성분을 추출하는 단계와, (c)상기 LGA의 키팩터 성분을 이용하여 이동로봇의 진행 경로 상 에지 정보를 산출하는 단계와, (d)상기 LGA 키팩터 성분을 이용하여 산출된 에지 정보를 이용하여 이동로봇의 위치 인식을 위한 데이터 어소시에이션을 수행하는 단계를 포함하는 것을 특징으로 한다.The present invention for achieving the above object, an efficient edge information calculation method for position recognition of a mobile robot, comprising the steps of: (a) generating one-dimensional edge information on the traveling path of the mobile robot using (LGA), (b Extracting a key factor component in the LGA for generating one-dimensional edge information on the traveling path, (c) calculating edge information on the traveling path of the mobile robot using the key factor component of the LGA; and (d) performing data association for position recognition of the mobile robot using edge information calculated using the LGA key factor component.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시 예의 동작을 상세하게 설명한다.Hereinafter, with reference to the accompanying drawings will be described in detail the operation of the preferred embodiment according to the present invention.
도 1은 본 발명의 실시 예가 적용되는 동기구동형 이동로봇의 블록 구성도 및 이동로봇의 하부 기구부 사시도이다. 1 is a block diagram of a synchronous drive mobile robot to which an embodiment of the present invention is applied and a perspective view of a lower mechanism of the mobile robot.
위 도 1을 참조하면, 동기구동형 이동로봇의 제어목표 출력기(1)는 이동 목적에 부합하는 회전목표치와 이동목표치를 출력한다. 제어기(2)는 제어목표 출력기(1)로부터 생성된 회전 및 이동 목표치를 입력받아 엔코더(Encoder)(3)로부터 검출 되는 모터의 회전각도 값을 이용하여 회전모터(4)와 이동모터(5)로 최종 구동 제어 명령을 출력시킨다. 회전모터(4)는 제어기(2)로부터 인가되는 최종 구동 제어 명령에 따라 모터에 연결된 이동로봇의 바퀴를 회전시킨다. 이동모터(5)는 제어기(2)로부터 인가되는 최종 구동 제어 명령에 따라 모터에 연결된 이동로봇의 바퀴를 회전시킨다.Referring to FIG. 1, the control
본 발명은 위 도 1에 도시된 바와 같은 동기구동형 이동로봇의 노드간 자율주행에 있어서 에지 정보의 사용에 관한 구조적이고 효과적인 방법을 제공한다.The present invention provides a structured and effective method for the use of edge information in the inter-node autonomous driving of a synchronous mobile robot as shown in FIG.
즉, 먼저 Local Generalized Voronoi graph Angle(LGA)이 edge의 대표적인 정보의 표현으로서 설명된다. Generalized Voronoi Graph(GVG)가 둘 혹은 셋의 물체들에 같은 거리에 있는 점들의 집합이다. 도 1과 같은 이동로봇이 GVG를 따라 주행할 경우, 로봇은 도 2와 같이 복도의 중간점만을 따라가게 되고, 이 경우 복도 좌우에 위치하고 있는 장애물들의 특징을 반영하는 경로를 주행하게 된다. That is, Local Generalized Voronoi graph Angle (LGA) is first described as a representation of representative information of the edge. The Generalized Voronoi Graph (GVG) is a collection of points that are equidistant from two or three objects. When the mobile robot as shown in FIG. 1 travels along the GVG, the robot follows only the midpoint of the corridor as shown in FIG. 2, and in this case, the robot travels a path reflecting the characteristics of obstacles located at the left and right of the corridor.
따라서 GVG의 각도를 통해 장애물들의 위치와 크기에 대한 정보를 나타낼 수 있다. 하지만 GVG의 각도는 쌓여있는 위치 오차에 영향을 받을 수 있으므로, 시작 각도를 0으로 재조정한 Local GVG Angle(LGA)를 이용하는 것이 효율적이다.그러므로 LGA를 이용하여 방해물의 영향, 요철 그리고 전체적인 edge의 모양 같은 edge 정보를 1차원적으로 표현할 수 있다.Therefore, the information on the position and size of the obstacles can be indicated through the angle of the GVG. However, since the angle of the GVG may be affected by the accumulated position error, it is efficient to use the Local GVG Angle (LGA) with the starting angle adjusted to 0. Therefore, the influence of obstacles, irregularities and the shape of the overall edge using the LGA The same edge information can be expressed in one dimension.
LGA가 1차원이지만, 많은 양의 표본으로 구성되어 있다. 예를 들어 edge가 10m의 길이를 갖고, 0.1m/sec 의 속도를 갖고 10Hz로 표본이 추출된 경우 1000개의 표본이 존재한다. 만약 기존의 알고리즘들을 사용하여 최근의 LGA 정보를 비교한다 면, 계산상의 부담이 있다. 하지만, 본 발명에서는 키팩터(key factor)를 이용한 효과적인 방법을 개발하였다. key factor는 LGA의 의미 있는 정보의 집합으로 LGA 보다 배만큼 작은 양을 갖는다. 우리는 웨이브릿 변환(wavelet transformation) 이론을 수용하여 key factor 추출을 위한 여러 주파수 단계로 LGA를 구분하였다. 마지막으로, LGA의 key factor를 사용한 data association 알고리즘을 제공한다. LGA is one-dimensional, but consists of a large number of samples. For example, if the edge is 10m long, 0.1m / sec is sampled at 10Hz, there are 1000 samples. If the current algorithms are used to compare recent LGA information, there is a computational burden. However, the present invention has developed an effective method using a key factor. The key factor is the set of meaningful information of the LGA, Have as little as a ship; We have adopted the wavelet transformation theory to distinguish LGA into several frequency steps for key factor extraction. Finally, we provide a data association algorithm using the LGA's key factor.
도 2에서 보여지는 바와 같이 edge에는 길이, 모양, 요철, 넓이 등 풍부한 정보가 있다. 이들 중 edge를 대표할 수 있는 가장 대표적인 정보를 살펴보면, 는 다음과 같은 세 가지 정보를 포함한다.As shown in Figure 2, the edge has a wealth of information such as length, shape, irregularities, width. Looking at the most representative information that can represent the edge of these, Contains three pieces of information:
- A, B 영역에서의 방해물의 영향(도 2) Influence of obstacles in areas A and B (Fig. 2).
- C 영역에서의 요철들(도 2) Irregularities in the C region (FIG. 2)
- Edge의 전체적인 모양 -Overall shape of the edge
는 GVG를 따르는 로봇의 위치(position)와 방향 각(heading angle)에 관한 이산화 된 정보의 집합이다. 이들 중에 방향각은 앞에 말한 세 가지 정보를 포함한다. 그러므로 우리는 GVG egde의 가장 대표적인 정보로서 방향각을 선택한다. Is a set of discretized information about the position and heading angle of the robot along the GVG. Of these, the direction angle contains the three pieces of information mentioned above. Therefore, we choose the direction angle as the most representative information of the GVG egde.
그러나 도 3a, 3b에서 보여주듯이 방향각은 누적된 odometry 오차들에 의해 영향을 받는다. 그러므로 우리는 Local GVG Angle(LGA)를 제안한다. 여기서 'local'은 도 3c에서처럼 출발 node로부터의 LGA의 방향을 의미한다.However, as shown in FIGS. 3A and 3B, the direction angle is affected by accumulated odometry errors. Therefore we propose Local GVG Angle (LGA). Here 'local' means the direction of the LGA from the departure node as shown in Figure 3c.
LGA는 최근 LGA 관찰 값과 알려진 LGA값들 중 하나와의 비교를 통해 data association을 한다. LGA의 data association 과정 중 치명적인 문제점은 계산이 복잡하다는 것이다. 예를 들어, 위상 지도가 200개의 edge로 구성되어 지고, 각 edge가 LGA로 표현된 경우, LGA의 표본의 수는 대략 1000개(10Hz의 control frequency 와 10m edge 길이를 0.1m/sec의 속도로 측정한 경우)가 된다. 만약 이전에 사용된 data association 알고리즘이 사용된다면, 최근 관찰된 LGA는 번의 비교를 해야 한다. 그리고 총 계산 양은 로서 실시간으로 다루기가 힘들다.LGA performs a data association by comparing the recent LGA observations with one of the known LGA values. The fatal problem of LGA's data association process is that the calculation is complicated. For example, if the phase map consists of 200 edges and each edge is represented by LGA, the number of samples of LGA is approximately 1000 (control frequency of 10Hz and 10m edge length at a speed of 0.1m / sec). Measured). If the previously used data association algorithm is used, the recently observed LGA You have to make a comparison. And the total calculation amount As it is difficult to deal with in real time.
각 LGA의 표본 개수를 줄이는 가능한 해법은 LGA보다 배 만큼 작은 수를 갖는 key factor를 추출하는 것이다. key factor를 사용함으로서 전의 예는 로 줄어들 수 있다. Key factor는 LGA를 여러 주파수로 분해하는 wavelet transformation을 사용하여 추출될 수 있다. A possible solution to reduce the number of samples in each LGA is to It is to extract the key factor which is as small as 2 times. Using the key factor, the previous example Can be reduced. Key factors can be extracted using wavelet transformations that break down the LGA into different frequencies.
먼저 LGA에 대한 웨이브릿 변환을 위한 Haar scaling function은 아래의 [수학식 1]에서와 같이 정의된다.First, the Haar scaling function for wavelet transform for LGA is defined as in
도 4는 Haar scaling function 에 관한 그래프를 도시한 것으로, j 가 임의의 음이 아닌 정수라고 하면, j level에서의 계단 함수의 space 는 로 명명되고 그 space는 아래의 [수학식 2]에서와 같은 집합으로 표현된다.4 is a graph of the Haar scaling function. If j is any nonnegative integer, the space of the step function at j level is The space is represented by the same set as in [Equation 2] below.
이때, 는 불연속성이 아래의 [수학식 3]에서와 같은 집합에 포함되는 유한한 지원의 부분적으로 일정한 함수의 space이다.At this time, Is the space of a partially constant function of finite support whose discontinuities are included in the set as in
도 4의 (a)는 Haar wavelet을 표현한 함수로, 아래의 [수학식 4]와 같이 표현된다.4 (a) is a function representing a Haar wavelet, and is expressed as shown in
이때,가 아래의 [수학식 5]와 같은 함수의 space라고 가정하는 경우,At this time, If is assumed to be the space of a function such as [Equation 5] below,
여기서, 단지 몇 개의 한정된 수의 이 아니라고 가정하면, 는 아래의 [수학식 6]에서와 같이안의 의 orthogonal complement 이고,Where only a limited number of Assuming that is not, As shown in [Equation 6] below in Of orthogonal complement
여기서, 는 A와 B가 서로 직교(orthogonal) 함을 의미한다.here, Means that A and B are orthogonal to each other.
또한 아래의 [수학식 7]에서와 같이 가정하면,In addition, assuming that as shown in
는 아래의 [수학식 8]과 같이 분해된다. Is decomposed as shown in
위 수식에서 다시과 은 아래의 [수학식 9]와 같이 표현되며,Again from the above formula and Is expressed as [Equation 9] below,
여기서, 은 아래의 [수학식 10]에서와 같이 표현될 수 있다.here, May be expressed as in Equation 10 below.
이때 상기 [수학식 4], [수학식 6]에서의 원래 신호인 가 아래의 [수학 식 11]에서와 같이 분해될 수 있는데At this time, the original signal in [Equation 4], [Equation 6] Can be decomposed as shown in Equation 11 below.
의미를 분명히 하기 위해 근사 값(approximation)과 세부 값(detail)의 를 정의하면, 와 같다.The approximation and detail of the approximation If you define Same as
여기서 는 원래 신호의 전체적인 모습을 나타내고, 는 [*] level에서의 주파수의 시간과 크기를 보여준다. wavelet transformation의 물리적 의미는 도 5 에서 보듯이 원래 신호가 한 단계 낮은 근사 값(approximation)과 세부 값(detail)으로 분해될 수 있음을 나타낸다. 여기에서 은 모든 요철의 크기를 표현하고 있다. 도 6에서 볼 수 있듯이 은 LGA에 표현된 3개의 장애물과 전체 벽의 불평평도를 잘 표현해 주고 있다. 그리고 (여기서 는 최종 단계의 분해 과정에 가깝다.)는 LGA의 전체 모양을 나타내 준다. here Represents the overall appearance of the original signal, Shows the time and magnitude of the frequency at the [*] level. The physical meaning of wavelet transformation indicates that the original signal can be decomposed into a lower approximation and detail as shown in FIG. 5. From here Represents the size of all irregularities. As can be seen in Figure 6 Represents the three obstacles expressed in the LGA and the inequality of the entire wall. And (here Is close to the final decomposition process.) Shows the overall shape of the LGA.
위 도 6에서 확인 할 수 있듯이, 원 LGA의 커브형태가 에 잘 표현되어 있음을 알 수 있다. Edge의 세 가지 특성이 LGA에 포함되어 있다. 이것은 방해물의 효과, 요철들 그리고 전체적인 GVG edge의 모양이다. 이것들 중에 방해물의 영향과 edge의 요철들은 LGA의 급격한 변화에 반영되어있다. 그러므로 이 두 가지 특성은 LGA의 고주파수 영역에 해당된다. 반대로 전체적인 edge의 모양은 LGA의 저주파수 영역에 해당된다.As can be seen in Figure 6 above, the curve form of the original LGA It is well expressed in. Three characteristics of the edge are included in the LGA. This is the effect of the obstructions, irregularities and the shape of the overall GVG edge. Among these, the influence of the obstacles and the irregularities of the edges are reflected in the drastic change of the LGA. Therefore, these two characteristics correspond to the high frequency range of LGA. In contrast, the shape of the entire edge corresponds to the low frequency region of the LGA.
Wavelet transformation에는 도 6에서 보듯이 고주파수 영역은 에 반영되고, 저주파수 영역은 에 포함되어 있다. In the wavelet transformation, as shown in FIG. Is reflected in the low frequency range Included in
그러므로 우리는 으로부터 방해물의 영향과 요철들을 나타내는 로컬 키 팩터(local key factor)를 정의 할 수 있다. 또한 으로부터 전체 edge의 형상을 표현하는 글로벌 키 팩터(global key factor)를 추출할 수 있다.Therefore we From this we can define a local key factor that represents the effects and irregularities of the obstruction. Also From this, a global key factor representing the shape of the entire edge can be extracted.
먼저 local key factor의 추출을 위해 다음과 같은 용어를 정의한다.First, the following terms are defined for the extraction of the local key factor.
·: LGA에서의 표본의 개수· : Number of samples in LGA
·, 여기서 는보다 큰 최소의 정수를 나타낸다.· , here Is Represents a greater than minimum integer.
· : 집합 A에서의 번째 요소· : In set A Element
· #(A) : 집합 A에서의 표본의 개수# (A): number of samples in set A
이제 local key factor의 추출과정을 살펴보면,Now look at the extraction process of the local key factor,
의 제곱값들의 집합인 V를 아래의 [수학식 12]와 같이 정의한다. V, a set of squared values of, is defined as in Equation 12 below.
여기서 이다.here to be.
예를 들어, 도 7은 방해물의 영향과 요철들이 포함되어 있는 edge를 보여주 고, V에 관한 그래프를 보여준다. 도 7에서 영역 A, B에 있는 두 개의 반원형태의 방해물은 두 개의 중간 크기를 갖는 최고값을 갖고, 영역 C에 있는 사각형태의 방해물은 두 개의 높은 크기를 갖는 최고값을 갖는 것을 보여준다. 또한 요철들은 지속적으로 작은 물결문양을 나타내는 것을 알 수 있다.For example, Figure 7 shows the influence of the obstacles and the edges containing the irregularities, and shows a graph for V. In FIG. 7, two semicircular obstacles in the regions A and B have the highest values having two intermediate sizes, and the rectangular obstacles in the region C have the highest values having two high sizes. It can also be seen that the irregularities continuously show small ripple patterns.
그러므로 V를 이것들의 크기를 통해 나눔으로 해서, 방해물의 영향과 요철들은 구분되어 질 수 있다. Therefore, by dividing V through their magnitude, the influence of the obstacles and the irregularities can be distinguished.
구분을 위해서, 고정된 기준 값으로 로봇의 최고 각 가속도를 나타내는 를 잡는다. 또한 구분하는 수를 특정화하기 위해, Depth of Local inspection(DL)를 정의한다. 이러한 구분을 통해 제한된 key factor만으로도 요철의 대략적 특성들을 나타낼 수 있다.For the sake of clarity, it is a fixed reference value representing the maximum angular acceleration of the robot. Catches. We also define a depth of local inspection (DL) to specify the number of distinctions. Through this distinction, only a limited key factor can show rough characteristics of the unevenness.
여기서 은 아래의 [수학식 13]에서와 같이 정의한다.here Is defined as in Equation 13 below.
이때는 중 번째 신호로서 다음을 만족한다. At this time Is medium As the second signal, the following is satisfied.
여기서 는 이 발생한 시간을 나타낸다. 도 8b, 8c, 8d는 DL=3 인경 우의 를 설명해 준다. here Is It represents the time when it occurred. 8B, 8C, and 8D show a case where DL = 3 Explain.
도 8b에서는 큰 방해물의 존재를 관찰할 수 있고, 도 8c에서는 두 개의 작은 방해물의 존재를 나타내며, 도 8d에서는 요철들이 드러난 것을 볼 수 있다.In FIG. 8B, the presence of a large block can be observed, and in FIG. 8C, the presence of two small block is shown, and in FIG. 8D, the unevenness is revealed.
따라서, local key factor는 아래의 [수학식 15]와 같이 정의된다.Therefore, the local key factor is defined as in Equation 15 below.
여기서 은 의 평균값을 의미한다.here silver Means the average value.
은 방해물의 영향과 요철들을 표현하고, 은 방해물의 위치에 대한 표준편차를 의미한다. 다시 말하자면, 을 통해서 요철들의 크기를 대략적으로 표현해 줄 수 있고, 을 통해서 이러한 요철들이 edge상에 얼마나 가까이 혹은 멀리 위치해 있는지를 나타내 줄 수 있다. Expresses the influence and irregularities of the obstruction, Means the standard deviation of the position of the obstruction. In other words, Through the rough size of the roughness can be expressed, This can be used to indicate how close or far away these irregularities are on the edge.
다음으로, Global key factor 추출과정을 살펴보면, global key factor는 다음과 같이 간단히 정의된다. Depth of Global inspection(DG)라는 것을 정의하고, global key factor로서 근사정도인 가 선택된다. DG는 가 LGA의 전체 모양을 표현할 수 있도록 선택되어져야 한다.Next, looking at the global key factor extraction process, the global key factor is simply defined as follows. Depth of Global Inspection (DG) is defined, and approximate as a global key factor. Is selected. DG Should be chosen to represent the overall shape of the LGA.
DG를 위한 본 발명의 제안은 도 7 및 도 8에 도시되어진다. 이것은 의 정보, 즉 를 이용하여 근사를 한다.The proposal of the present invention for DG is shown in FIGS. 7 and 8. this is Information from Use to make an approximation.
이때 총 local key factor의 개수는 2L이고,global key factor는 이다. 그러므로 이기 때문에 LGA의 수는 대략 배 줄어든다.The total number of local key factors is 2L, and the global key factor is to be. therefore The number of LGAs is about Fold
이제 key factor가 edge의 중요한 특성을 어떻게 반영하는지에 대해 상세히 설명하기로 한다. 위 설명은 data association 방법과 후술되는 실험치를 통해 설명하기로 한다.We will now discuss in detail how key factors reflect the important characteristics of edges. The above description will be described through the data association method and the experimental values described below.
먼저, 기준이 되는 edge가 라하고, 후보가 되는 edge를 라하며 주어졌다고 가정하자. 여기서 왼쪽 위에 있는 은 기준과 후보를 의미한다.First, the edge that is the reference The edge to be candidate Suppose that is given. In the upper left corner Means criteria and candidates.
local key factor의 비교를 위해, 본 발명에서는 아래의 [수학식 16]과 같은 일대일 비교를 정의한다.In order to compare local key factors, the present invention defines a one-to-one comparison as shown in Equation 16 below.
두 개의 edge의 power의 차이와 표준 편차를 표현하기 위해 를 정의한다. 그러나 global key factor에서는 가 와 항상 같지 않 으므로 일대일대응의 비교는 불가능하다. 비교를 위해 우리는 우선 LCMcompare라 불리는 알고리즘을 정의한다. 이것은 와 의 수를 아래의 [수학식 17]에서와 같이 최소 공배수 만큼 확장시킨다.To express the power difference and standard deviation of two edges Define. But in the global key factor end Since it is not always the same as, the comparison of one-to-one correspondence is impossible. For comparison, we first define an algorithm called LCMcompare. this is Wow Expand the number of by the least common multiple, as shown in Equation 17 below.
도 9에서는 LCMcompare통하여 data가 확장된 예를 도시한 것이다. 여기서 일대일 대응비교를 위해 는 4(12/3)배 만큼 은 3(12/4)배 만큼 확장된다.9 illustrates an example in which data is extended through LCMcompare. For a one-to-one correspondence Is 4 (12/3) times Is extended by 3 (12/4) times.
이제 global key factor의 비교는와 같이 주어진다.Now the comparison of the global key factor Is given by
지금까지,의 edge의 후보들을 위한 세 가지 척도를 정의하였다. 많은 후보 edge들을 위해 이 척도들은 비교를 위해서라도 정규화 되어야 한다. 이러한 목적으로 함수 의 집합에 관한 정규화 수식이 아래의 [수학식 18]과 같이 정의된다.until now, Three measures are defined for the candidates of edges. For many candidate edges these measures should be normalized even for comparison. Function for this purpose The normalization formula for the set of is defined as in Equation 18 below.
이제 마지막으로, 에 관한 의 probability density function(pdf)를 아래의 [수학식 19]와 같이 정의한다. Now finally, To about The probability density function (pdf) of is defined as [Equation 19] below.
그리고, edge의 data association은 어떤 기준값보다 큰 값의 pdf들을 선택함으로서 수행될 수 있다. 이 기준값(threshold)은 최저한의 수들의 곱으로 나타낼 수 있다. 이 최저한의 수는 후보의 수를 가리키는 의 역수인 로 표현된다. 여기서 And, the data association of the edge can be performed by selecting the pdf of a value larger than a certain reference value. This threshold can be expressed as the product of the lowest numbers. This lowest number indicates the number of candidates An inverse of It is expressed as here
이고, 후보들을 위한 어떤 정보도 제공되지 않았음을 의미한다. 만약 라면, 후보는 기준 edge와 유사함을 나타낸다. Means that no information is provided for the candidates. if If, it indicates that the candidate is similar to the reference edge.
본 발명에서는 LGA 키팩터 성분을 이용한 에지정보 표현방법을 통한 이동로봇의 위치 인식을 위해 36개의 거리 측정 센서가 있는 로봇에 관하여 모의실험을 수행하였다. 이때 실제 odometry와 실제 거리에 대하여 가 20%인 odometry의 Gaussian 오차가 추가된다.In the present invention, we simulated a robot with 36 distance measuring sensors to recognize the position of the mobile robot through the edge information representation method using the LGA key factor component. Where the actual odometry and the actual distance Gaussian error of odometry with 20% is added.
첫 번째 모의실험은 다음과 같이 수행된다. The first simulation is performed as follows.
- 기준 edge로부터 key factor를 얻어낸다. (도 10의 (a)) -Get the key factor from the reference edge (FIG. 10A)
- 39개의 기준 edge의 후보 edge 집합에 관한 key factor를 얻어낸다.(도 10) Key factor for candidate edge set of 39 reference edges is obtained (FIG. 10).
- pdf를 모든 후보 edge에 관하여 계산한다. Compute the pdf for all candidate edges.
- pdf 값이 어떤 기준값(threshold)보다 큰 edge를 선택한다. Select an edge where the pdf value is greater than a certain threshold.
도 11은 모의실험 결과를 보여준다. 얇은 수평선은 최저값의 2배를 취해 잡은 기준값(2/40)을 보여준다. 그림에서는 단지 기준 edge (1)의 pdf 값만이 기준값(threshold)보다 높고, 나머지 39개 edge의 총합은 최저값에 가까움을 알 수 있다.11 shows the simulation results. The thin horizontal line shows the reference value (2/40), taken at twice the lowest value. In the figure, it can be seen that only the pdf value of the reference edge (1) is higher than the threshold, and the sum of the remaining 39 edges is close to the lowest value.
두 번째 모의실험은 도 12에서 볼 수 있듯이 18개의 기준 edge와 매우 유사한 후보 edge들에 관하여 수행된다. 결과는 도 13과 같이 기준 edge의 pdf(1, 도 12의 (a))와 매우 유사한 edge(2, 도 12의 (b))가 기준값(2/20)보다 높다. 도 12 (a)의 위의 방해물은 문(door)이라고 가정하고, 문은 도 12의 (b)에서는 임시적으로 닫혀 있다고 하면, 제안된 알고리즘은 도 12의 (b)는 다른 후보 edge들 보다 높은 확률을 나타낸다. 이것의 의미는 제안된 알고리즘은 dynamic한 환경의 경우에도 확장이 가능함을 나타낸다. 따라서 위와 같은 두 모의실험을 통해 key factor가 적 은 수의 LGA의 의미 있는 정보를 반영함을 알 수 있다.The second simulation is performed on candidate edges very similar to the 18 reference edges as shown in FIG. 12. The result is that the edge (2, Fig. 12 (b)) very similar to the pdf (1, Fig. 12 (a)) of the reference edge as shown in Figure 13 is higher than the reference value (2/20). Assuming that the obstacle above FIG. 12 (a) is a door and the door is temporarily closed in FIG. 12 (b), the proposed algorithm shows that FIG. 12 (b) is higher than other candidate edges. Indicates probability. This means that the proposed algorithm can be extended even in dynamic environments. Therefore, the above two simulations show that the key factor reflects the meaningful information of a small number of LGAs.
한편 상술한 본 발명의 설명에서는 구체적인 실시 예에 관해 설명하였으나, 여러 가지 변형이 본 발명의 범위에서 벗어나지 않고 실시될 수 있다. 따라서 발명의 범위는 설명된 실시 예에 의하여 정할 것이 아니고 특허청구범위에 의해 정하여져야 한다.Meanwhile, in the above description of the present invention, specific embodiments have been described, but various modifications may be made without departing from the scope of the present invention. Therefore, the scope of the invention should be determined by the claims rather than by the described embodiments.
이상에서 설명한 바와 같이, 본 발명은 이동로봇의 위치 인식을 위한 효율적인 에지 정보 산출방법에 있어서, 1차원의 에지 정보를 표현하기 위한 에지에서의 방해물의 영향, 요철들 그리고 전체적인 에지 모양을 반영하는 LGA(local generalized voronoi angle)을 정의하고, 에지 정보의 효율적인 산출을 위해 LGA에서 방해물의 영향과 요철 정보를 표현하는 로컬 키팩터 성분과 에지의 전체적인 모양 정보를 표현하는 글로벌 키팩터 성분을 포함하는 키팩터 성분을 추출하여 표본의 수를 줄이면서도 에지 정보를 효율적으로 산출하는 방법을 제안한다. 이에 따라 에지 정보 산출을 위해 필요한 키팩터의 총수를 LGA에 비해 배 만큼 줄일 수 있게 되는 이점이 있으며, 이에 따라 이동로봇의 위치인식을 위한 데이터 어소시에이션시 LGA의 키팩터 성분을 이용하여 보다 효율적으로 데이터 어소시에이션 알고리즘을 계산할 수 있게 되는 이점이 있다.As described above, the present invention provides an efficient edge information calculation method for recognizing a position of a mobile robot, wherein the LGA reflects the influence of the obstacles, irregularities and the overall edge shape of the edge for representing the one-dimensional edge information. a key factor including a local key factor component that defines the local generalized voronoi angle and expresses the effect of obstacles and irregularities in the LGA for efficient calculation of edge information, and a global key factor component that represents the overall shape information of the edges. We propose a method to efficiently extract edge information while extracting components to reduce the number of samples. As a result, the total number of key factors needed to calculate the edge information There is an advantage that it can be reduced by a factor, and accordingly there is an advantage that the data association algorithm can be calculated more efficiently by using the key factor component of the LGA during data association for position recognition of the mobile robot.
Claims (11)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020040092326A KR100611053B1 (en) | 2004-11-12 | 2004-11-12 | Method for calculating efficiently edge information for position recognition of synchro drive robots |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020040092326A KR100611053B1 (en) | 2004-11-12 | 2004-11-12 | Method for calculating efficiently edge information for position recognition of synchro drive robots |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20060046842A KR20060046842A (en) | 2006-05-18 |
KR100611053B1 true KR100611053B1 (en) | 2006-08-10 |
Family
ID=37149490
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020040092326A KR100611053B1 (en) | 2004-11-12 | 2004-11-12 | Method for calculating efficiently edge information for position recognition of synchro drive robots |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR100611053B1 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100966875B1 (en) * | 2006-09-26 | 2010-06-29 | 삼성전자주식회사 | Localization method for robot by omni-directional image |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR950002399A (en) * | 1993-06-16 | 1995-01-04 | 김광호 | Electronic viewfinder focus enhancement device for video cameras |
JPH0764631A (en) * | 1993-08-27 | 1995-03-10 | Nissan Motor Co Ltd | Path searching method for mobile investigating machine |
KR20010009585A (en) * | 1999-07-12 | 2001-02-05 | 김헌출 | Method of producing motion planning for troweling robot |
KR20020079132A (en) * | 2001-04-13 | 2002-10-19 | 고낙용 | Obstacle Avoidance Method of a Mobile Robot Using Lane Method |
KR20050024840A (en) * | 2003-09-05 | 2005-03-11 | 학교법인 인하학원 | Path planning method for the autonomous mobile robot |
-
2004
- 2004-11-12 KR KR1020040092326A patent/KR100611053B1/en not_active IP Right Cessation
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR950002399A (en) * | 1993-06-16 | 1995-01-04 | 김광호 | Electronic viewfinder focus enhancement device for video cameras |
JPH0764631A (en) * | 1993-08-27 | 1995-03-10 | Nissan Motor Co Ltd | Path searching method for mobile investigating machine |
KR20010009585A (en) * | 1999-07-12 | 2001-02-05 | 김헌출 | Method of producing motion planning for troweling robot |
KR20020079132A (en) * | 2001-04-13 | 2002-10-19 | 고낙용 | Obstacle Avoidance Method of a Mobile Robot Using Lane Method |
KR20050024840A (en) * | 2003-09-05 | 2005-03-11 | 학교법인 인하학원 | Path planning method for the autonomous mobile robot |
Also Published As
Publication number | Publication date |
---|---|
KR20060046842A (en) | 2006-05-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Duckett et al. | Learning globally consistent maps by relaxation | |
Wijk et al. | Triangulation-based fusion of sonar data with application in robot pose tracking | |
Larsson et al. | Mobile robot localization: integrating measurements from a time-of-flight laser | |
Sack et al. | A comparison of methods for line extraction from range data | |
JP5892663B2 (en) | Self-position estimation device, self-position estimation method, self-position estimation program, and moving object | |
Veeck et al. | Learning polyline maps from range scan data acquired with mobile robots | |
Nehmzow et al. | Robot navigation in the real world:: Experiments with Manchester’s FortyTwo in unmodified, large environments | |
Skrzypczynski | Simultaneous localization and mapping: A feature-based probabilistic approach | |
Meizel et al. | Initial localization by set inversion | |
Chang et al. | Ultrasonic sensor data integration and its application to environment perception | |
Wang et al. | 3D-LIDAR based branch estimation and intersection location for autonomous vehicles | |
Donoso-Aguirre et al. | Mobile robot localization using the Hausdorff distance | |
KR100611053B1 (en) | Method for calculating efficiently edge information for position recognition of synchro drive robots | |
Đakulović et al. | Exploration and mapping of unknown polygonal environments based on uncertain range data | |
Sirigool et al. | Particle filter for hector slam to improve the performance of robot positioning by image processing based | |
Briggs et al. | Reliable mobile robot navigation from unreliable visual cues | |
Laugier et al. | Geometric and Bayesian models for safe navigation in dynamic environments | |
Kwon et al. | Thinning-based topological exploration using position possibility of topological nodes | |
Kwon et al. | Real-time building of a thinning-based topological map | |
Norouzi et al. | Recursive line extraction algorithm from 2d laser scanner applied to navigation a mobile robot | |
Werner et al. | Topological slam using neighbourhood information of places | |
Langley et al. | Case-based acquisition of place knowledge | |
ElKaissi et al. | SEDLRF: A new door detection system for topological maps | |
Demim et al. | Real-time application of SLAM based-line for unmanned ground vehicle | |
Lim et al. | Sonar based systematic exploration method for an autonomous mobile robot operating in an unknown environment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20110707 Year of fee payment: 6 |
|
FPAY | Annual fee payment |
Payment date: 20120710 Year of fee payment: 7 |
|
LAPS | Lapse due to unpaid annual fee |