CN110537206B - 铁路轨道识别装置、程序及铁路轨道识别方法 - Google Patents
铁路轨道识别装置、程序及铁路轨道识别方法 Download PDFInfo
- Publication number
- CN110537206B CN110537206B CN201880026218.0A CN201880026218A CN110537206B CN 110537206 B CN110537206 B CN 110537206B CN 201880026218 A CN201880026218 A CN 201880026218A CN 110537206 B CN110537206 B CN 110537206B
- Authority
- CN
- China
- Prior art keywords
- unit
- line
- index
- railway track
- initial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 19
- 238000011156 evaluation Methods 0.000 claims abstract description 35
- 238000006243 chemical reaction Methods 0.000 claims description 13
- 238000009795 derivation Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims 2
- 238000012545 processing Methods 0.000 abstract description 36
- 238000010586 diagram Methods 0.000 description 30
- 238000003384 imaging method Methods 0.000 description 11
- 239000000284 extract Substances 0.000 description 8
- 238000012544 monitoring process Methods 0.000 description 6
- 101150046305 cpr-1 gene Proteins 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 101100221834 Caenorhabditis elegans cpl-1 gene Proteins 0.000 description 1
- 101100061278 Caenorhabditis elegans cpr-6 gene Proteins 0.000 description 1
- 229910000831 Steel Inorganic materials 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
- G06V20/38—Outdoor scenes
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B61—RAILWAYS
- B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
- B61L23/00—Control, warning or like safety means along the route or between vehicles or trains
- B61L23/04—Control, warning or like safety means along the route or between vehicles or trains for monitoring the mechanical state of the route
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Mechanical Engineering (AREA)
- Train Traffic Observation, Control, And Security (AREA)
- Image Analysis (AREA)
- Electric Propulsion And Braking For Vehicles (AREA)
Abstract
实施方式的铁路轨道识别装置具有指标导出部、初始搜索部、二次搜索部和轨道识别部。指标导出部对被拍摄了铁道车辆的行进方向的图像的每个像素或者每个像素组导出表示铁路轨道似然度的指标。初始搜索部选择与连接初始区域的上端的第一部位及第二部位和下端的第三部位及第四部位中的各个部位的多条线段对应的像素或者像素组的指标的评价值比其它线段的指标的评价值大的一条线段。二次搜索部将所选择的线段的上端的点作为第一个基准点,在朝向图像的上方而扩展的搜索区域所包含的线段中选择指标的评价值比其它线段的指标的评价值大的线段,反复执行将所选择的线段的上端作为下一个基准点的处理。轨道识别部根据初始搜索部及二次搜索部的处理结果识别铁路轨道。
Description
技术领域
本发明的实施方式涉及铁路轨道识别装置、程序及铁路轨道识别方法。
背景技术
以往,已知有根据图像检测铁路轨道的装置,该装置以铁路轨道的检查和检测存在于铁路轨道内的障碍物为目的。这样的装置例如通过使所拍摄的图像和预先准备的模板匹配来检测铁路轨道,并使用通过立体摄像部所拍摄的图像检测本车辆行驶中的铁路轨道。但是,在以往的装置中存在不能精度良好地检测铁路轨道的情况。
现有技术文献
专利文献
专利文献1:日本特开2016-91506号公报
专利文献2:日本特开2000-32601号公报
发明内容
发明要解决的课题
本发明要解决的课题是提供一种铁路轨道识别装置、程序及铁路轨道识别方法,能够精度良好地检测铁路轨道。
用于解决课题的手段
实施方式的铁路轨道识别装置具有指标导出部、初始搜索部、二次搜索部和轨道识别部。指标导出部对被拍摄了铁道车辆的行进方向的图像的每个像素或者每个像素组,导出表示铁路轨道似然度的指标。初始搜索部在所述图像中被预先设定的初始区域内抽取连接所述初始区域的上端的至少第一部位及第二部位和下端的至少第三部位及第四部位中的各个部位的多条线段,选择与所述线段对应的像素或者像素组中通过所述指标导出部所导出的指标的评价值比与其它线段对应的像素或者像素组中通过所述指标导出部所导出的指标的评价值大的一条线段。二次搜索部通过所述初始搜索部所选择的线段的上端的点作为第一个基准点,在朝向所述图像的上方而扩展的搜索区域所包含的线段中选择指标的评价值比其它线段的指标的评价值大的线段,反复执行将所选择的线段的上端作为下一个基准点的处理。轨道识别部根据所述初始搜索部及所述二次搜索部的处理结果识别铁路轨道。
附图说明
图1是包括铁路轨道识别装置20的车辆***1的结构图。
图2是铁路轨道识别装置20的功能结构图。
图3是表示通过铁路轨道识别装置20被执行的处理的流程的流程图。
图4是示意地表示通过摄像部10被拍摄的图像的图。
图5是表示根据图4所示的图像求出亮度斜率的结果的图。
图6是表示被求出亮度斜率后的俯瞰图像的一例的图。
图7是表示在初始区域AR1中被设定有多条线的状态的图。
图8是用于说明确定特征点的处理的图。
图9是用于说明根据特征点设定多条线的处理的图。
图10是表示点信息56的内容的图。
图11是表示被绘制有特征点的原始图像的图。
图12是用于说明判定区域的一例的图。
图13是示意地表示加工图像的图。
图14是用于说明假想线的设定的图。
图15是表示反映出铁路轨道分布信息60的原始图像的一例的图。
图16是表示第三实施方式的铁路轨道识别装置20A的功能结构的图。
图17是用于说明设定初始区域的处理的图。
具体实施方式
下面,参照附图对实施方式的铁路轨道识别装置、程序及铁路轨道识别方法进行说明。
(第1实施方式)
[结构]
图1是包括铁路轨道识别装置20的车辆***1的结构图。车辆***1是被安装于在铁路轨道R上行驶的铁道车辆RV中的***。车辆***1例如具有摄像部10、显示部12和铁路轨道识别装置20。摄像部10被设于铁道车辆RV的驾驶席等,用于拍摄铁道车辆RV的行进方向(图1的箭头方向)。摄像部10例如按照图1所示拍摄铁路轨道R延伸的方向。显示部12显示各种图像。
图2是铁路轨道识别装置20的功能结构图。铁路轨道识别装置20例如具有图像取得部22、指标导出部24、图像转换部26、初始搜索部28、二次搜索部30、点搜索部32、轨道识别部34、判定区域确定部36、可疑物监视部38、输出控制部40和存储部50。图像取得部22、指标导出部24、图像转换部26、初始搜索部28、二次搜索部30、点搜索部32、轨道识别部34、判定区域确定部36、可疑物监视部38及输出控制部40中的一部分或者全部,例如通过由CPU(Central Processing Unit,中央处理单元)等处理器执行在存储部50存储的程序来实现。另外,这些功能部中的一部分或者全部也可以通过LSI(Large Scale Integration,大规模集成电路)、ASIC(Application Specific Integrated Circuit,专用集成电路)、FPGA(Field Programmable Gate Array,现场可编程门阵列)等硬件来实现,并具有用于实现这些功能部的功能的电路结构,还可以通过软件和硬件的协作来实现。程序可以被预先存储在HDD(Hard Disk Drive,硬盘驱动)或闪存等存储装置中,还可以被存储在DVD或CD-ROM等可装卸的存储介质中,通过将存储介质安装于驱动装置而被安装于存储装置中。
存储部50例如通过ROM(Read Only Memory,只读存储器)、闪存、HDD(Hard DiskDrive,硬盘驱动器)、SD卡等非易失性的存储介质、和RAM(Random Access Memory,随机存取存储器)、寄存器等易失性的存储介质来实现。存储部50存储由处理器执行的程序、和后述的初始区域信息52、图像转换信息54、点信息56、可疑物信息58等。
图像取得部22取得通过摄像部10被拍摄的图像。所取得的图像例如是彩色图像。指标导出部24例如将彩色图像转换成灰度图像或二值化图像,对所转换的图像的每个像素导出表示铁路轨道似然度的指标。其结果是,得到针对像素而对应有(与像素对应的)指标的指标图像。另外,也可以替代该处理,指标导出部24对将规定数量的像素分组得到的每个像素组,导出表示铁路轨道似然度的指标。图像转换部26将通过指标导出部24所生成的指标图像转换成从上空观察时的俯瞰图像。
初始搜索部28在由指标图像被转换而成的俯瞰图像中预先设定的初始区域内,网罗地抽取连接初始区域的上端的任意一个部位和下端的任意一个部位得到的多条线段。例如,初始搜索部28抽取多条线段,选择与线段对应的像素或者像素组中通过指标导出部24所导出的指标的评价值、比与其它线段对应的像素或者像素组中通过指标导出部24所导出的指标的评价值大的一条线段,所述多条线段是连接初始区域的上端的至少第一部位及第二部位和下端的至少第三部位及第四部位中的各个部位的线段。所谓“线段”是指像素或者将像素分组得到的像素组沿规定的方向连接而成的区域。初始搜索部28选择线段上通过指标导出部24所导出的指标的评价值比其它线段大的一条线段。所谓评价值是表示铁路轨道似然度的值。例如,在评价值越高时,与该评价值对应的线段是铁路轨道的概率越高。评价值可以是指标的平均值,还可以是使用规定的评价函数对指标进行处理得到的值。在下面的说明中,作为一例,假设评价值是指标的平均值进行说明。
二次搜索部30将通过初始搜索部28所选择的线段的上端的点作为第一个基准点,在朝向图像的上方而扩展的搜索区域所包含的线段中选择指标的评价值比其它线段的指标的评价值大的线段,并反复执行将所选择的线段的上端作为下一个基准点的处理。所谓朝向图像的上方而扩展的搜索区域,例如是指以基准点(或者特征点)为中心的呈扇形形状的区域。另外,搜索区域还可以是由形成规定的所成角度的第一假想线(例如图9中的VR)和第二假想线(例如图9中的VL)、以及第三假想线划分而成的区域,第一假想线从基准点向图像的上方延伸规定的距离,第二假想线从基准点向图像的上方延伸规定的距离,第三假想线连接第一假想线的上端和第二假想线的上端。另外,第三假想线例如既可以是直线,也可以是曲线。
点搜索部32搜索包括通过初始搜索部28或者二次搜索部30所选择的线段的上端在内的规定的范围,确定指标比其它部分大的特征点,将基准点校正为特征点。
轨道识别部34根据初始搜索部28及二次搜索部30的处理结果识别铁路轨道。具体地,轨道识别部34将连接通过点搜索部32所确定的特征点的线识别为铁路轨道。
判定区域确定部36根据通过轨道识别部34所识别的铁路轨道的信息,在图像上确定判定区域(详情后述)。可疑物监视部38判定可疑物是否存在于判定区域内。在通过可疑物监视部38被判定为可疑物存在于判定区域内的情况下,输出控制部40将表示可疑物存在的信息与通过摄像部10被拍摄的图像对应起来,使显示部12显示该图像。
[处理流程]
下面,关于上述的各功能部的处理,参照流程图进行说明。图3是表示通过铁路轨道识别装置20执行的处理的流程的流程图。
首先,图像取得部22取得通过摄像部10拍摄的图像(原始图像)(步骤S100)。然后,指标导出部24根据在步骤S100中所取得的图像导出指标(步骤S102)。所谓指标是指表示铁路轨道似然度的尺度,例如是根据所关注的像素与相邻像素之间的亮度斜率而导出的指标。另外,指标还可以通过SOBEL滤波器、或Laplacian滤波器、Robinson滤波器、Canny滤波器等进行导出。
图4是示意地表示通过摄像部10被拍摄的图像的图。另外,在下面的说明中,将通过摄像部10拍摄的图像或者通过图像转换部26被转换而成的图像的上方向定义为上端侧U,将下方向定义为下端侧L,将右方向定义为右端侧Ri,将左方向定义为左端侧Le。
图5是表示根据图4所示的图像求出亮度斜率的结果的图。铁路轨道例如由钢等材质形成,钢由于对光的反射率比在铁路轨道的周边铺设的石头(道砟)低,因而与铁路轨道部分对应的像素和其周边的像素的亮度差增大。其结果是,在如图5所示与铁路轨道部分对应的区域中,亮度斜率增大。
然后,图像转换部26参照图像转换信息54,将在步骤S100中所取得的图像(原始图像)转换成俯瞰图像(步骤S104)。原始图像中的指标被赋予给与被导出该指标的点对应的俯瞰图像中的点。图像转换信息54是表示将通过摄像部10拍摄的原始图像转换成俯瞰图像用的预先设定的转换规则的信息。图像转换信息54可以是将俯瞰图像的像素与原始图像的像素对应而成的映射(map),也可以是在输入原始图像的坐标时输出俯瞰图像的坐标的函数。图6是表示被求出亮度斜率后的俯瞰图像的一例的图。关于图6的详细说明在后面进行。
然后,初始搜索部28参照在存储部50存储的初始区域信息52(步骤S106),设定在俯瞰图像中连接初始区域的上端的任意一个部位和下端的任意一个部位得到的多条线(步骤S108)。初始区域信息52是表示在俯瞰图像中预先设定的区域的范围的信息,即包括铁道车辆RV行驶的铁路轨道、而且位于俯瞰图像的下端侧L的区域。初始区域信息52例如是根据铁道车辆RV的摄像部10被安装的位置以及摄像部10从被安装的位置进行拍摄的区域被预先求出的。在前述的图6的例子中,包括右端侧Ri的铁路轨道R1的初始区域AR1和包括左端侧Le的铁路轨道R2的初始区域AR2相当于初始区域。
图7是表示在初始区域AR1中被设定有多条线的状态的图。在图7中,网罗地设定连接初始区域AR1的上端侧U的点(像素或者像素组)PU1~PUn中任意一个点、和初始区域AR1的下端侧L的点(像素或者像素组)PL1~PLn中任意一个点得到的多条线(“n”是任意的自然数)。另外,在图示的例子中示出了连接点PL1和各个PU1~PUn的情况,而在步骤S108的处理中,设定网罗地连接各个点PL1~PLn和各个PU1~PUn得到的线。并且,在初始区域AR2中也进行同样的处理。
然后,初始搜索部28在初始区域AR1及AR2中分别选择所设定的线所包含的指标的平均值比其它线所包含的指标值大的一条线(步骤S110)。更具体地,初始搜索部28参照图像转换信息54,根据与俯瞰图像中的多条线所包含的像素对应的指标,选择指标的平均值最大的线。通过本处理,和前述的图6的图像中连接与铁路轨道R1及R2对应的像素得到的线相似的线被选择。
然后,点搜索部32搜索包括通过初始搜索部28选择的线的上端(基准位置)的俯瞰图像的规定的范围,确定指标比其它部分大的特征点,将基准点校正为特征点(步骤S112)。所谓规定的范围是指从通过点搜索部32所确定的基准点向左右方向具有规定的宽度的线段区域。另外,规定的范围也可以设为从通过点搜索部32所确定的基准点在纵向也具有宽度的矩形区域。另外,所确定的特征点的信息(坐标)作为后述的点信息56被存储在存储部50中。
图8是用于说明确定特征点的处理的图。对与图7相同的说明进行省略。例如,初始搜索部28在步骤S110的处理中选择连接初始区域AR1所包含的点PL10和点PU10得到的线,作为指标的平均值最大的线。在这种情况下,点搜索部32将点PU10、在点PU10的左右方向延伸的点PU7~PU9及点PU11~PU13各自的指标进行比较,选择例如指标最大的像素作为特征点。在本实施方式中,假设点PU11被选择为特征点。
然后,二次搜索部30在俯瞰图像中根据通过点搜索部32所确定的特征点,对扇形的区域(搜索区域)设定多条线(步骤S114)。图9是用于说明根据特征点设定多条线的处理的图。例如,二次搜索部30按照图9(A)所示根据通过点搜索部32所确定的特征点PU11设定扇形(或者大致扇形)的区域。所谓扇形的区域是指以通过初始搜索部28所选择的线L为中心,而且以通过点搜索部32所确定的特征点PU11为起点,由以在右端侧Ri及左端侧Le形成的角度θ向上端侧U方向延伸的假想线VR及VL划分而成的区域。
另外,角度θ是预先设定的角度,例如是能够涵盖(具有)按照铁路轨道的标准规格等规定的最大曲率的范围的角度。并且,假想线VR及VL的长度是预先设定的长度。并且,二次搜索部30按照图9(B)所示设定网罗地连接扇形的区域的上端的任意一个部位和特征点PU11得到的多条线。例如,二次搜索部30在扇形的区域的上端,在左右方向按照预先设定的规定间隔设定多个点,并设定网罗地连接所设定的各个点和特征点PU11得到的多条线。另外,二次搜索部30根据在初始区域AR2中所确定的特征点进行与上述的处理相同的处理。
然后,二次搜索部30在所设定的多条线中选择指标的平均值比其它线大的线(步骤S116)。更具体地,二次搜索部30参照图像转换信息54,根据与俯瞰图像中的多条线所包含的像素对应的指标,选择指标的平均值比其它线大的线。
然后,点搜索部32搜索包括通过二次搜索部30所选择的线的上端(基准位置)的俯瞰图像的规定的范围,确定指标比其它部分大的特征点,将基准点校正为特征点(步骤S118)。
然后,点搜索部32判定是否满足结束条件(步骤S120)。所谓结束条件是指将初始区域AR1及初始区域AR2确定为起点的两个基准点(或者特征点)的间隔达到阈值以下、通过点搜索部32进行的确定基准点的处理被进行了规定次数、通过点搜索部32所确定的基准点在俯瞰图像中位于比规定的点靠上端侧等。
在不满足结束条件的情况下,反复进行步骤S114~S118的处理。在这种情况下,二次搜索部30根据在步骤S118中所确定的特征点,在步骤S114中设定多条线。这样,通过反复进行步骤S114~S118的处理,朝向上端侧U以规定的间隔设定特征点。
对前述的图6进行说明。如图所示,根据初始区域AR1的特征点设定特征点CPr1,根据特征点CPr1确定特征点CPr2,……确定特征点CPr12。同样地,根据初始区域AR2的特征点设定特征点CPl1,根据特征点CPl1确定特征点CPl2,……确定特征点CPl12。
并且,所设定的特征点的信息(坐标)作为点信息56被存储在存储部50中。图10是表示点信息56的内容的图。点信息56是表示通过点搜索部32所确定的特征点的图像(俯瞰图像)上的坐标的信息。点信息56例如按照所确定的特征点的顺序被排列。具体地,在点信息56中,特征点按照通过初始搜索部28在初始区域内所选择的线的起始点、通过点搜索部32所确定的第一个特征点、通过点搜索部32所确定的第二个特征点……、通过点搜索部32所确定的第N个(“N”是任意的自然数)的特征点的顺序被排列。并且,在点信息56中,表示右端侧的特征点的识别信息或者表示左端侧的特征点的识别信息,与通过点搜索部32所确定的特征点对应。
在满足结束条件的情况下,轨道识别部34参照点信息56连接通过点搜索部32所确定的特征点,确定被估计为铁路轨道的区域(步骤S122)。具体地,轨道识别部34参照点信息56在原始图像中绘制通过点搜索部32所确定的特征点。图11是表示被绘制有特征点的原始图像的图。例如按照图示的那样绘制通过点搜索部32所确定的特征点(CPl0、CPr0(=PUr10))、通过点搜索部32所确定的第一个特征点(CPl1、CPr1)~第N个(例如CPl2、CPr2~CPl6、CPr6等)特征点。
另外,轨道识别部34参照点信息56,连接在初始区域内被选择的线的起始点(PL10、PL10#)和通过点搜索部32所确定的第一个特征点,并连接第一个特征点和第二个特征点,……连接第N-1个特征点和第N个特征点。另外,该处理是针对左端侧的特征点和右端侧的特征点进行的。通过这样进行处理,确定被估计为铁路轨道的区域R1及R2。另外,在上述的处理中,点信息56中所包含的特征点的坐标可以直接以与俯瞰图像对应的坐标被输出给其它的功能部和装置,特征点还可以被绘制在俯瞰图像中。
然后,铁路轨道识别装置20判定铁路轨道附近是否存在可疑物,在存在可疑物的情况下,使显示部12显示警报(步骤S124)。例如,首先,判定区域确定部36确定判定区域。所谓判定区域是指由铁路轨道R1及R2划分而成的区域及其附近的区域,是不允许可疑物存在的区域。
图12是用于说明判定区域的一例的图。判定区域确定部36例如在原始图像上的规定的点确定关于轨道R1及轨道R2的横向的间隔的中心即中心线C,并确定从铁路轨道R2沿法线延伸到中心线C的线的长度LA。并且,判定区域确定部36根据所确定的长度LA,确定长度LB(基准长度)。长度LB是对长度LA的左端加上长度XL得到的长度。长度XL例如当铁道车辆RV在铁路轨道上行驶的情况下是指铁道车辆RV从铁路轨道R2的宽度方向伸出的长度,或者是指对伸出长度加上规定的长度得到的长度。长度XL例如被存储在存储部50中。
另外,判定区域确定部36例如确定在原始图像上比前次求出长度LB的点靠上端侧、关于轨道R1及轨道R2的横向的间隔的中心即中心线C,并确定从铁路轨道R2沿法线延伸到中心线C的线的长度LA#。并且,判定区域确定部36根据所确定的长度LA#,确定长度LB#(基准长度)。长度LA#与长度LB#的比率和长度LA与长度LB的比率相同。判定区域确定部36在比前次求出基准长度的点靠上端侧U,求出基准长度,一直到在原始图像中铁路轨道消失的附近为止。上述的处理在铁路轨道R1侧同样地进行。并且,判定区域确定部36将由按照求解的顺序连接基准长度的各左端得到的假想线V1、以及按照求解的顺序连接基准长度的各右端得到的假想线V2划分而成的区域视为判定区域。
另外,可疑物监视部38例如参照可疑物信息58而且使用通过指标导出部24所导出的指标,判定在原始图像中的判定区域内是否存在与可疑物的模板一致的图像区域。在可疑物信息58中例如存储有多个可疑物的模板。所谓一致不限于完全一致,例如包括图像区域的形状、和与可疑物的模板对应的形状的相似度为阈值以上的情况。另外,也可以是,可疑物监视部38取得通过立体摄像机所拍摄的图像,根据所取得的图像和可疑物信息58判定是否存在可疑物。在这种情况下,在可疑物信息58中包含表示可疑物的立体形状的模板。
在通过可疑物监视部38被判定为在判定区域内存在可疑物的情况下,输出控制部40从可疑物监视部38取得与可疑物相当的图像区域的信息,并确定所取得的图像区域,并且在原始图像中将表示可疑物存在的信息与所确定的图像区域对应起来。并且,输出控制部40使显示部12显示进行了上述的处理的加工图像。图13是示意地表示加工图像的图。例如,在通过摄像部10拍摄到了人进入判定区域内的场景的情况下,在显示部12显示有包括表示可疑物存在的信息的加工图像。另外,输出控制部40还可以使在铁道车辆RV设置的扬声器等输出警报。由此,铁道车辆RV的乘员能够识别到在铁道车辆RV的行进方向上存在可疑物。并且,乘员能够考虑到可疑物的存在对铁道车辆RV进行控制。
通过上述的处理,铁路轨道识别装置20能够精度良好地检测铁路轨道。并且,当在所检测的铁路轨道内存在可疑物的情况下,铁路轨道识别装置20能够对乘员通知表示可疑物存在的信息。
并且,在上述的处理中,在通过步骤S110或者步骤S116的处理而求出的线的斜率之差达到基准角度以上的情况下,还可以进行调整角度的校正。由此,即使是物体干涉到单侧的铁路轨道(右侧或者左侧的铁路轨道)、与铁路轨道不同的线被选择的情况下,也能够根据另一侧的铁路轨道对被估计为物体干涉的铁路轨道进行补偿。其结果是,能够在图像中确定与物体干涉的铁路轨道相似的区域。
并且,在上述的处理中,初始搜索部28或者二次搜索部30在所选择的两条线的间隔超过根据铁路轨道的间隔预先设定的阈值的情况下,还可以进行调整使得两条线的间隔达到阈值以下。例如,在这种情况下,初始搜索部28例如使两条铁路轨道均等地相互靠近。由此,能够精度良好地检测铁路轨道。
并且,在上述的处理中,二次搜索部30通过在俯瞰图像中被设定的扇形的区域中,从所设定的多条线中选择指标的平均值比其它线大的线,能够精度良好地确定基准点。特别是,能够精度良好地确定原始图像的上端侧U(即远离列车的区域)的基准点。
并且,在上述的处理中,搜索包括通过初始搜索部28或者二次搜索部30所选择的线的上端的俯瞰图像的规定的范围,并确定指标比其它部分大的特征点。这样,通过选择指标最大的像素作为特征点,即使是在步骤S110或者步骤S116中根据平均值所选择的线的前端和与实际的铁路轨道对应的像素不同的情况下,也能够将线的前端侧校正为与实际的铁路轨道对应的像素。并且,即使是实际的铁路轨道拐弯的情况下,也能够通过校正所选择的线的前端,精度良好地确定与铁路轨道对应的点。
另外,基准点被校正为特征点的处理还可以被省略。在这种情况下,在点信息56中存储有基准点的信息。并且,被估计为铁路轨道的区域成为连接基准点得到的区域。并且,在这种情况下,搜索区域是以基准点为中心的形成扇形的形状的区域。
另外,在上述的处理中,在二次搜索部30设定多条线的情况下,以通过初始搜索部28或者二次搜索部30所选择的线L为中心设定假想线VR及VL,但不限于此。例如,二次搜索部30还可以考虑在比前次靠前的处理中被选择的线设定假想线VR及VL。
图14是用于说明假想线的设定的图。例如,假设基准点CPrx1~CPrx3是按照该顺序被确定的。并且,在根据基准点CPrx1设定多条线时,将由成为设定假想线时的基准(中心)的线L1和沿俯瞰图像的横向延伸的线形成的夹角设为角度θ1。在根据基准点CPrx2设定多条线时,将由成为设定假想线时的基准的线L2和沿俯瞰图像的横向延伸的线形成的夹角设为角度θ2。并且,在根据基准点CPrx3设定多条线时,将由成为设定假想线时的基准的线L3和沿俯瞰图像的横向延伸的线形成的夹角设为角度θ3。在这种情况下,角度θ3是根据式(1)求出的。这样,通过求出角度θ3,能够设定反映了轨道的曲率的多条线,能够更可靠地将铁路轨道包含在搜索区域中。另外,图中的角度θ是能够涵盖在图9中说明的按照铁路轨道的标准等规定的最大曲率的范围的角度θ。
θ3=θ2+(θ2-θ1)……(1)
根据以上说明的第一实施方式,铁路轨道识别装置20通过具有初始搜索部28、二次搜索部30和轨道识别部34,能够精度良好地检测铁路轨道,初始搜索部28在图像中被预先设定的初始区域内,抽取连接初始区域的上端的任意一个部位和下端的任意一个部位得到的多条线段,选择线段上通过指标导出部24所导出的表示铁路轨道似然度的指标的评价值比其它线段大的一条线段,二次搜索部30将通过初始搜索部28所选择的线段的上端的点作为第一个基准点,在朝向图像的上方而扩展的搜索区域所包含的线段中选择指标的评价值比其它线段大的线段,并反复执行将所选择的线段的上端作为下一个基准点的处理;轨道识别部34根据初始搜索部28及二次搜索部30的处理结果识别铁路轨道。
(第二实施方式)
在第二实施方式中假设确定单线进行说明。与此相对,在第二实施方式中确定复线。下面,以与第一实施方式的不同之处为中心进行说明。
在第二实施方式的存储部50存储有例如铁路轨道分布信息60。铁路轨道分布信息60是表示在图像(原始图像或者俯瞰图像)中被估计为铁路轨道存在的可能性较大的区域的信息。铁路轨道分布信息60例如是通过实验求出的信息。图15是表示铁路轨道分布信息60所反映出的原始图像的一例的图。在图中,区域DA是被估计为铁路轨道存在的可能性较大的分布区域。区域DA包括区域DA1、区域DA2及区域DA3。区域DA1表示铁道车辆RV行驶的左右的轨道中有可能是左侧轨道存在的分布区域,区域DA2表示铁道车辆RV行驶的左右的轨道中有可能是右侧轨道存在的分布区域。另外,区域DA3表示有可能是铁道车辆RV行驶的左侧或者右侧的轨道、或者左侧及右侧轨道存在的分布区域。
另外,铁路轨道分布信息60与初始区域AR#对应。在图示的例子中,示出了与安装有铁路轨道识别装置20的铁道车辆RV行驶的铁路轨道对应的区域DA,然而,被估计为存在与安装有铁路轨道识别装置20的铁道车辆RV行驶的铁路轨道不同的铁路轨道(例如相邻的铁路轨道)的分布区域被包含在铁路轨道分布信息60中。
初始搜索部28在初始区域AR#内抽取连接初始区域AR#的上端的任意一个部位和下端的任意一个部位得到的多条线,选择所抽取的线所包含的通过指标导出部24所导出的指标的评价值比其它线所包含的指标的评价值大的两条线,并估计为铁路轨道。并且,初始搜索部28在与和安装有铁路轨道识别装置20的铁道车辆RV行驶的铁路轨道不同的铁路轨道对应的初始区域内(未图示),进行与上述的处理相同的处理,估计与安装有铁路轨道识别装置20的铁道车辆RV行驶的铁路轨道不同的铁路轨道。并且,初始搜索部28在所估计的两条铁路轨道满足规定的条件的情况下,确定所估计的铁路轨道是铁路轨道。所谓规定的条件例如是指满足被设定了与两条铁路轨道各自的左侧(或者右侧)的铁路轨道的俯瞰图像的横向相关的间隔的基准(距离的范围)。
在以后的处理中,点搜索部32对所选择的线分别进行与第一实施方式相同的处理,设定铁道车辆RV行驶的铁路轨道以及与和该铁路轨道不同的铁路轨道对应的基准点。
根据以上说明的第二实施方式,铁路轨道识别装置20在图像中对每条铁路轨道预先设定的初始区域内,抽取连接初始区域的上端的任意一个部位和下端的任意一个部位得到的多条线,选择所抽取的线所包含的指标的评价值比其它线所包含的指标的评价值大的一条线,对所选择的线分别进行与第一实施方式相同的处理,由此能够确定复线。
(第三实施方式)
在第三实施方式中,参照铁路轨道识别装置20的过去的处理结果确定铁路轨道。下面,以与第一实施方式的不同之处为中心进行说明。
图16是表示第三实施方式的铁路轨道识别装置20A的功能结构的图。铁路轨道识别装置20A具有初始搜索部28A及存储部50A,替代第一实施方式的初始搜索部28及存储部50。在存储部50A存储有特定轨道信息62。特定轨道信息62是指过去所确定的基准点的信息以及通过轨道识别部34所确定的被估计为铁路轨道的区域的信息。
初始搜索部28A参照特定轨道信息62设定初始区域。图17是用于说明设定初始区域的处理的图。初始搜索部28A将特定轨道信息62所包含的前次被估计为铁路轨道的区域R1及R2(在规定时间前估计为铁路轨道的区域R1及R2)绘制在处理对象的俯瞰图像上,将包括所绘制的区域R1及区域R2在内的规定的区域设定为初始区域AR#1。初始搜索部28A在初始区域AR#1内抽取连接初始区域AR#1的上端的任意一个部位和下端的任意一个部位得到的多条线,选择所抽取的线所包含的通过指标导出部24所导出的指标的评价值比其它线所包含的指标的评价值大的一条线。并且,铁路轨道识别装置20A与第一实施方式一样地确定基准点,并确定被估计为铁路轨道的区域。
根据以上说明的第三实施方式,铁路轨道识别装置20参照特定轨道信息62所包含的前次被估计为铁路轨道的区域R1及R2决定初始区域AR#1,由此能够发挥与第一实施方式相同的效果。
根据以上说明的至少一个的实施方式,通过具有指标导出部、初始搜索部、二次搜索部和轨道识别部,能够精度良好地检测铁路轨道,所述指标导出部对被拍摄了铁道车辆的行进方向的图像的每个像素或者每个像素组,导出表示铁路轨道似然度的指标,所述初始搜索部在所述图像中被预先设定的初始区域内抽取多条线段,选择与所述线段对应的像素或者像素组中通过所述指标导出部所导出的指标的评价值比与其它线段对应的像素或者像素组中通过所述指标导出部所导出的指标的评价值大的一条线段,所述多条线段是连接所述初始区域的上端的至少第一部位及第二部位和下端的至少第三部位及第四部位中的各个部位的线段,所述二次搜索部将通过所述初始搜索部所选择的线段的上端的点作为第一个基准点,在朝向图像的上方而扩展的搜索区域所包含的线段中选择指标的评价值比其它线段的指标的评价值大的线,并反复执行将所选择的线段的上端作为下一个基准点的处理,所述轨道识别部根据所述初始搜索部及所述二次搜索部的处理结果识别铁路轨道。
以上说明了本发明的几个实施方式,但这些实施方式是作为例子提示的,并非意图限定发明的范围。这些实施方式能够以其他各种各样的形态实施,在不脱离发明的主旨的范围内能够进行各种各样的省略、替换、变更等。这些实施方式及其变形包含在发明的范围或主旨中,并且包含在权利要求书所记载的发明和其等价的范围中。
Claims (6)
1.一种铁路轨道识别装置,具有:
指标导出部,对被拍摄了铁道车辆的行进方向的图像的每个像素或者每个像素组,导出表示铁路轨道似然度的指标;
初始搜索部,确定初始区域的第一端的多个点中的每一个和所述初始区域的第二端的多个点中的每一个之间的多条线段,根据从通过所述指标导出部所导出的像素的指标值或者像素组的指标值而获得的评价值,选择评价值比其它线段的评价值大的线段,其中所述初始区域是针对所拍摄的图像而被预先设定的;
二次搜索部,确定通过所述初始搜索部选择的所述线段的第二端侧的基准点与搜索区域的第三端的多个点中的每一个之间的多条线段,或者确定通过所述二次搜索部选择的线段的第三端侧的之前的基准点与所述搜索区域的第三侧的多个点中的每一个之间的多条线段,根据从通过所述指标导出部所导出的像素的指标值或者像素组的指标值而获得的评价值,选择所述搜索区域中包含的评价值比其它线段的评价值大的线段;以及
铁路轨道识别部,根据所述基准点识别铁路轨道。
2.根据权利要求1所述的铁路轨道识别装置,
所述搜索区域是由第一假想线、第二假想线、第三假想线形成的三角形区域,所述第一假想线与所述第二假想线从所述基准点以所述第一假想线与所述第二假想线之间的规定角度延伸,所述第三假想线是连接所述第一假想线和所述第二假想线的基准点的两个相反端部的线。
3.根据权利要求1或2所述的铁路轨道识别装置,
所述铁路轨道识别装置还具有:
点搜索部,通过搜索以所述基准点为中心的规定的范围确定具有最大指标值的点,如果该具有最大指标值的点不是通过所述初始搜索部或者所述二次搜索部选择的所述线段上的基准点,则将该具有最大指标值的点设定为基准点。
4.根据权利要求1或2所述的铁路轨道识别装置,
所述铁路轨道识别装置还具有:
转换部,将所拍摄的所述图像转换成俯瞰图像,
所述初始搜索部及所述二次搜索部根据所述俯瞰图像选择所述线段。
5.一种铁路轨道识别方法,具备以下步骤:
对被拍摄了铁道车辆的行进方向的图像的每个像素或者每个像素组,导出表示铁路轨道似然度的指标;
确定初始区域的第一端的多个点中的每一个和所述初始区域的第二端的多个点中的每一个之间的第一多条线段,根据从所导出的像素的指标值或者像素组的指标值而获得的评价值,选择评价值比其它线段的评价值大的线段,其中所述初始区域是针对所拍摄的图像而被预先设定的;
确定从所述第一多条线段选择的所述线段的第二端侧的基准点与搜索区域的第三端的多个点中的每一个之间的第二多条线段,或者确定从所述第二多条线段选择的一条线段的第三端侧的之前的基准点与所述搜索区域的第三侧的多个点中的每一个之间的第三多条线段,根据从所导出的像素的指标值或者像素组的指标值而获得的评价值,选择所述搜索区域中包含的评价值比其它线段的评价值大的线段;以及
根据所述基准点识别铁路轨道。
6.一种计算机可读记录介质,存储有计算机程序,
所述计算机程序用于使计算机执行权利要求5所述的铁路轨道识别方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017-084556 | 2017-04-21 | ||
JP2017084556A JP6903477B2 (ja) | 2017-04-21 | 2017-04-21 | 軌道識別装置、およびプログラム |
PCT/JP2018/016313 WO2018194158A1 (ja) | 2017-04-21 | 2018-04-20 | 軌道識別装置、プログラム、および軌道識別方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110537206A CN110537206A (zh) | 2019-12-03 |
CN110537206B true CN110537206B (zh) | 2023-07-28 |
Family
ID=63855788
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201880026218.0A Active CN110537206B (zh) | 2017-04-21 | 2018-04-20 | 铁路轨道识别装置、程序及铁路轨道识别方法 |
Country Status (7)
Country | Link |
---|---|
US (1) | US11210548B2 (zh) |
EP (1) | EP3614342A4 (zh) |
JP (1) | JP6903477B2 (zh) |
CN (1) | CN110537206B (zh) |
SG (1) | SG11201909533TA (zh) |
TW (1) | TWI673654B (zh) |
WO (1) | WO2018194158A1 (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021044564A1 (ja) * | 2019-09-05 | 2021-03-11 | 三菱電機株式会社 | 前方監視装置及び前方監視装置のキャリブレーション方法 |
JP7481872B2 (ja) | 2020-03-27 | 2024-05-13 | 日立造船株式会社 | 画像による鉄道レールの検出方法 |
JP2022014743A (ja) | 2020-07-07 | 2022-01-20 | 株式会社東芝 | 撮影装置 |
DE112020007667T5 (de) | 2020-12-08 | 2023-09-07 | Mitsubishi Electric Corporation | Schienenerfassungsvorrichtung und schienenerfassungsverfahren |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102663352A (zh) * | 2012-03-23 | 2012-09-12 | 华南理工大学 | 一种轨道识别方法 |
CN104094281A (zh) * | 2012-03-05 | 2014-10-08 | 欧姆龙株式会社 | 字符识别用的图像处理方法、使用该方法的字符识别装置及程序 |
JP2015194373A (ja) * | 2014-03-31 | 2015-11-05 | 株式会社デンソーアイティーラボラトリ | 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラムならびに車両位置検出システム |
CN105335681A (zh) * | 2014-07-14 | 2016-02-17 | 株式会社理光 | 条形码识别装置、文档图像管理***以及条形码识别方法 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000032601A (ja) | 1998-07-09 | 2000-01-28 | Fuji Heavy Ind Ltd | 軌道認識装置 |
JP2002002485A (ja) * | 2000-06-21 | 2002-01-09 | Fuji Heavy Ind Ltd | 軌道認識装置及び軌道認識装置を用いた鉄道車両 |
JP2002008019A (ja) | 2000-06-21 | 2002-01-11 | Fuji Heavy Ind Ltd | 軌道認識装置及び軌道認識装置を用いた鉄道車両 |
TW201216711A (en) * | 2010-10-12 | 2012-04-16 | Hon Hai Prec Ind Co Ltd | TOF image capturing device and image monitoring method using the TOF image capturing device |
TWI466545B (zh) * | 2010-10-12 | 2014-12-21 | Hon Hai Prec Ind Co Ltd | 攝影機裝置及利用其進行影像監控的方法 |
JP2014017611A (ja) | 2012-07-06 | 2014-01-30 | Toshiba Corp | 軌道点検装置 |
JP2014062415A (ja) * | 2012-09-21 | 2014-04-10 | Mitsubishi Electric Corp | 軌道検出装置及び軌道監視装置 |
JP6034767B2 (ja) | 2013-09-02 | 2016-11-30 | 公益財団法人鉄道総合技術研究所 | レール検出装置、鉄道用前方監視カメラ装置、鉄道車両、およびレール検出方法ならびに制御方法 |
JP6572411B2 (ja) | 2014-11-11 | 2019-09-11 | 株式会社明電舎 | レール検出装置 |
JP6307037B2 (ja) | 2015-03-31 | 2018-04-04 | 公益財団法人鉄道総合技術研究所 | 障害物検知方法およびその装置 |
CN106023076B (zh) | 2016-05-11 | 2019-04-23 | 北京交通大学 | 全景图的拼接方法和检测高速铁路的防护栏的缺损状态的方法 |
-
2017
- 2017-04-21 JP JP2017084556A patent/JP6903477B2/ja active Active
-
2018
- 2018-04-16 TW TW107112844A patent/TWI673654B/zh active
- 2018-04-20 CN CN201880026218.0A patent/CN110537206B/zh active Active
- 2018-04-20 WO PCT/JP2018/016313 patent/WO2018194158A1/ja active Application Filing
- 2018-04-20 SG SG11201909533T patent/SG11201909533TA/en unknown
- 2018-04-20 EP EP18788117.2A patent/EP3614342A4/en active Pending
-
2019
- 2019-10-16 US US16/654,324 patent/US11210548B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104094281A (zh) * | 2012-03-05 | 2014-10-08 | 欧姆龙株式会社 | 字符识别用的图像处理方法、使用该方法的字符识别装置及程序 |
CN102663352A (zh) * | 2012-03-23 | 2012-09-12 | 华南理工大学 | 一种轨道识别方法 |
JP2015194373A (ja) * | 2014-03-31 | 2015-11-05 | 株式会社デンソーアイティーラボラトリ | 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラムならびに車両位置検出システム |
CN105335681A (zh) * | 2014-07-14 | 2016-02-17 | 株式会社理光 | 条形码识别装置、文档图像管理***以及条形码识别方法 |
Non-Patent Citations (1)
Title |
---|
An_inverse_projective_mapping-based_approach_for_robust_rail_track_extraction;WANG ZHONGLI ET AL;《2015 8TH INTERNATIONAL CONGRESS ON IMAGE AND SIGNAL PROCESSING (CISP)》;20151031;全文 * |
Also Published As
Publication number | Publication date |
---|---|
JP2018181254A (ja) | 2018-11-15 |
EP3614342A4 (en) | 2021-01-13 |
US11210548B2 (en) | 2021-12-28 |
JP6903477B2 (ja) | 2021-07-14 |
TWI673654B (zh) | 2019-10-01 |
US20200050882A1 (en) | 2020-02-13 |
TW201903646A (zh) | 2019-01-16 |
SG11201909533TA (en) | 2019-11-28 |
CN110537206A (zh) | 2019-12-03 |
EP3614342A1 (en) | 2020-02-26 |
WO2018194158A1 (ja) | 2018-10-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110537206B (zh) | 铁路轨道识别装置、程序及铁路轨道识别方法 | |
CN106407893B (zh) | 一种检测车道线的方法、装置和设备 | |
EP3057063B1 (en) | Object detection device and vehicle using same | |
US9338434B2 (en) | Parallax calculation method and parallax calculation device | |
US9846823B2 (en) | Traffic lane boundary line extraction apparatus and method of extracting traffic lane boundary line | |
KR102058001B1 (ko) | 차선 보정 시스템, 차선 보정 장치 및 이의 차선 보정 방법 | |
KR101968349B1 (ko) | 영상 정보를 이용한 차선 경계 검출 방법 | |
EP3576008A1 (en) | Image based lane marking classification | |
KR101281260B1 (ko) | 차량 인식 방법 및 장치 | |
KR100975749B1 (ko) | 단일 차선을 이용한 차선 인식 및 차량의 차선 이탈 검출 방법 | |
US20100110193A1 (en) | Lane recognition device, vehicle, lane recognition method, and lane recognition program | |
EP3195263B1 (en) | Identification of a contact point between a pantograph and a power supply line in an image | |
US10803605B2 (en) | Vehicle exterior environment recognition apparatus | |
JP2000357233A (ja) | 物体認識装置 | |
JP6226368B2 (ja) | 車両監視装置、および車両監視方法 | |
JP6021689B2 (ja) | 車両諸元計測処理装置、車両諸元計測方法及びプログラム | |
JP6601506B2 (ja) | 画像処理装置、物体認識装置、機器制御システム、画像処理方法、画像処理プログラム及び車両 | |
EP3782871B1 (en) | Trajectory discrimination device | |
WO2019149213A1 (zh) | 基于影像识别路锥的方法、装置、存储介质以及车辆 | |
JP2004118757A (ja) | 路面走行レーン検出装置 | |
JP2019218022A (ja) | 線路検出装置 | |
US10810757B2 (en) | Vehicle exterior environment recognition apparatus | |
JPWO2017158982A1 (ja) | 画像処理装置、画像処理方法、画像処理プログラム、物体認識装置及び機器制御システム | |
CN109993761B (zh) | 一种三值图像获取方法、装置及车辆 | |
JP5579297B2 (ja) | 視差算出方法、および視差算出装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |