CN111684234A - 修补长度的确定方法及修补长度的确定装置 - Google Patents
修补长度的确定方法及修补长度的确定装置 Download PDFInfo
- Publication number
- CN111684234A CN111684234A CN201880088067.1A CN201880088067A CN111684234A CN 111684234 A CN111684234 A CN 111684234A CN 201880088067 A CN201880088067 A CN 201880088067A CN 111684234 A CN111684234 A CN 111684234A
- Authority
- CN
- China
- Prior art keywords
- crack
- repair
- length
- interpolation curve
- points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30132—Masonry; Concrete
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Chemical & Material Sciences (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Geometry (AREA)
- Quality & Reliability (AREA)
- Working Measures On Existing Buildindgs (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
本发明提供一种能够准确计算出结构物的应修补的修补区域的修补长度的确定方法及装置。其是具有如下所述工序的修补长度的确定方法及用于确定方法的装置:获取拍摄修补对象区域而得的图像的图像获取工序、从图像中检测裂缝(22)的检测工序、显示裂缝(22A)的显示工序、指示包括裂缝(22A)的两端的两个点在内的多个点的指示工序、使用所指示的点制作插值曲线(32)的插值曲线制作工序、以及测量插值曲线(32)的长度并确定修补长度的修补长度确定工序。
Description
技术领域
本发明涉及修补长度的确定方法及修补长度的确定装置,特别是涉及使用通过拍摄被摄体而获取的图像的修补长度的确定方法及修补长度的确定装置。
背景技术
桥梁等社会基础设施结构物需要定期检查。另外,为了有效地进行结构物检查,提出有通过对拍摄结构物而得的图像进行处理来自动检测缺陷(裂缝缺陷)的裂缝缺陷检测方法。
例如,在下述专利文献1中,记载有一种结构物维修管理业务***:获取拍摄结构物而得的图像信息;生成常规图像信息;检测裂缝处的长度;以及基于图像信息的比例尺计算裂缝处的实际长度。在专利文献2中,记载有一种裂缝信息收集方法:获取拍摄针对结构物的裂缝的检查对象区域而得的图像,从图像中检测裂缝的像素组,并从像素组的起点、拐点和终点位置收集裂缝信息。
以往技术文献
专利文献
专利文献1:日本特开2016-99235号公报
专利文献2:日本特开2016-90548号公报
发明内容
发明要解决的技术课题
结构物的裂缝的修补工作是通过利用修补材料充填结构物的裂缝来进行的。因此,有必要计算应修补的修补区域(修补长度),以获得必要的修理材料量。当修补结构物的裂缝时,如专利文献1和专利文献2中所述,根据图像确定修补区域。但是,在结构物中,由于应修补的裂缝与不需要修补的裂缝混在一起,因此,应计算出的修补长度(实际进行修补的长度)与裂缝的检测结果的值变得不同。
另外,裂缝的修补是通过涂布、浇注或填充修补材料(以下,也称为“涂布等”)进行的,但无需将修补材料准确地涂布等到裂缝上,只要裂缝包括在涂布等的修补材料的范围内即可。因此,根据使裂缝实际平滑的曲线来进行修补材料的涂布等。因此,有时裂缝的实际长度与用于修补的长度不同。
另外,当对修补材料进行涂布等时,有时即使裂缝实际不连续,也会对多个裂缝连续进行涂布等。但是,在自动检测中,由于识别出多个裂缝,所以有时被修补的裂缝数(修补次数)不同,且计算出的修补长度与实际上修补的修补长度具有不同的值。
如上所述,若直接使用裂缝检测的结果来确定修补区域,则在计算出的修补长度与实际上修补的修补长度之间会出现差异。为此,会产生所使用的修补材料过多或不足等问题,从而需要获知更准确的修补材料量。
本发明是鉴于这种情况而完成的,目的在于提供一种准确地计算出成为修补对象的结构物的应修补区域(修补长度)的修补长度的确定方法及修补长度的确定装置。
用于解决技术课题的手段
为了实现本发明的目的,本发明涉及的修补长度的确定方法具有:图像获取工序,在所述图像获取工序中,图像获取部获取拍摄了对结构物的裂缝的修补对象区域而得的图像;检测工序,在所述检测工序中,裂缝检测部从所获取的图像中检测裂缝;显示工序,在所述显示工序中,显示控制部对在检测工序中检测到的裂缝进行显示;指示(pointing)工序,在所述指示工序中,根据来自操作部的指令,指示包括裂缝的两端的两个点在内的多个点;插值曲线制作工序,在所述插值曲线制作工序中,插值曲线制作部使用在指示工序中指示的点制作插值曲线;以及修补长度确定工序,在所述修补长度确定工序中,修补长度确定部检测插值曲线的长度,并确定修补长度。
根据本发明,在获取图像并检测到裂缝之后,指示包括该裂缝的两个点在内的多个点,并使用该多个点制作插值曲线,由此可制作与裂缝对应的曲线。然后,通过将该插值曲线设为要修补的裂缝的修补区域(修补长度),可计算出要修补的修补长度,并可计算出准确的修补材料量。
本发明的一个方面优选为,在显示工序中,根据裂缝的裂缝宽度,以至少可识别修补对象的裂缝和非修补对象的裂缝的方式变更显示方法进行显示。
根据该方面,可在图像上辨认出修补对象的裂缝和非修补对象的裂缝。
本发明的一个方面优选为,从与裂缝对应的线的颜色、线的种类及线的闪烁速度中选择显示方法。
该方面限定了修补对象的裂缝和非修补对象的裂缝的显示方法,通过以与裂缝对应的线的颜色、线的种类及线的闪烁速度进行显示,可识别修补对象的裂缝和非修补对象的裂缝。
本发明的一个方面优选为,具有显示控制部仅显示修补对象的裂缝的筛选工序。
根据该方面,通过利用筛选工序仅显示修补对象的裂缝,可容易地进行后续工序的作业。
本发明的一个方面优选为,在指示工序中,基于在检测工序中检测到的裂缝的结果,将所指示的点修改到所指示的位置附近的裂缝的位置。
根据该方面,在裂缝的位置与所指示的位置不同的情况下,通过修改到裂缝的位置,可制作与裂缝对应的更为准确的插值曲线。
本发明的一个方面优选为,在指示工序中,当指示裂缝的两端的两个点时,基于在检测工序中检测到的裂缝的结果,自动指示两端的两个点之间的一个点或多个点的位置。
根据该方面,通过指示裂缝的两端的两个点,并指示其间的裂缝的多个点的位置,可简化操作。另外,通过自动进行指示,可以相同的条件进行指示,从而可稳定地制作插值曲线。
本发明的一个方面优选为,具有输出部输出插值曲线的画面信息的输出工序。
根据该方面,通过输出插值曲线的画面信息,可通过目视确认插值曲线。由此,可确认制作的插值曲线是否与要修补的裂缝的实际的修补区域对应。
本发明的一个方面优选为,具有输出部输出裂缝的裂缝宽度和插值曲线的长度相对于裂缝宽度的信息的输出工序。
根据该方面,通过输出裂缝宽度和与裂缝宽度对应的插值曲线的长度的信息,可确认与裂缝宽度对应的修补长度。
本发明的一个方面优选为,输出部输出与裂缝宽度对应的修补方法。
裂缝的修补方法因裂缝宽度的大小而不同。根据该方面,通过输出与裂缝宽度对应的修补方法,可进行准备与修补方法对应的修补材料。
本发明的一个方面优选为,在输出工序中,输出倾斜校正后的数据。
根据该方面,通过输出倾斜校正后的数据,可确定更准确的裂缝宽度及修补长度。另外,通过所输出的图像,可确认修补位置。
本发明的一个方面优选为,插值曲线是样条曲线或贝塞尔曲线。
该方面示出了插值曲线的例子,通过利用样条曲线或贝塞尔曲线制作插值曲线,可制作与裂缝对应的实际上进行修补的曲线。
为了实现本发明的目的,本发明涉及的修补长度的确定装置具备:图像获取部,其获取拍摄了对结构物的裂缝的修补对象区域而得的图像;裂缝检测部,其从图像获取部所获取的图像中检测裂缝;显示控制部,其对裂缝检测部所检测到的裂缝进行显示;操作部,其指示包括裂缝的两端的两个点在内的多个点;插值曲线制作部,其使用由操作部指示的点制作插值曲线;以及修补长度确定部,其检测插值曲线的长度,并确定修补长度。
本发明的一个方面优选为,显示控制部根据裂缝的裂缝宽度,以至少可识别修补对象的裂缝和非修补对象的裂缝的方式变更显示方法进行显示。
本发明的一个方面优选为,显示方法是从与裂缝对应的线的颜色、线的种类及线的闪烁速度中选择的至少任一个。
本发明的一个方面优选为,显示控制部仅显示修补对象的裂缝。
本发明的一个方面优选为,插值曲线制作部基于裂缝检测部所检测到的裂缝的结果,将操作部所指示的点修改到所指示的位置附近的裂缝的位置。
本发明的一个方面优选为,当指示裂缝的两端的两个点时,插值曲线制作部基于裂缝检测部所检测到的裂缝的结果,自动指示两端的两个点之间的一个点或多个点的位置。
本发明的一个方面优选为,具有输出插值曲线的画面信息的输出部。
本发明的一个方面优选为,具有输出裂缝的裂缝宽度和插值曲线的长度相对于裂缝宽度的信息的输出部。
本发明的一个方面优选为,输出与裂缝宽度对应的修补方法。
本发明的一个方面优选为,输出部输出倾斜校正后的数据。
上述记载的修补长度的确定装置是将修补长度的确定方法展开为修补长度的确定装置而得到的。在修补长度的确定装置中,也能够取得与修补长度的确定方法同样的效果。
发明效果
根据本发明的修补长度的确定方法及修补长度的确定装置,指示包括裂缝的两端的多个点,并使用该指示的点来制作插值曲线。而且,通过检测该插值曲线的长度,可正确计算出应修补的区域(修补长度)。
附图说明
图1是从桥梁的下面侧观察的外观图。
图2是表示图像处理***的结构的框图。
图3是修补长度的确定方法的流程图。
图4是表示拍摄桥梁而得的图像的图。
图5是检测裂缝、并在图像中显示裂缝的图。
图6是仅显示了修补对象的裂缝的筛选工序后的图。
图7是说明指示工序的图。
图8是在图像中显示了插值曲线的图。
图9是表示裂缝信息的例子的图。
图10是表示裂缝信息的其他例的图。
具体实施方式
以下,根据附图,对本发明涉及的修补长度的确定方法及修补长度的确定装置进行说明。
<桥梁的结构>
图1是示出从下方观察作为建筑物之一的桥梁1的状态的立体图。图1所示的桥梁1具有包括主梁2、横梁3、横向联结系(sway bracing)4、纵向联结系(1ateral bracing)5、以及桥面板(floor slab)6的立体结构,这些构件通过螺栓、铆钉、焊接等连接而构成。在主梁2等的上部打设有用于车辆等行驶的桥面板6。桥面板6通常由钢筋混凝土制成。主梁2是架在桥台或桥墩之间并支撑桥面板6上的车辆等载荷的构件,另外,具有与桥面板6的面(水平面)正交的面(垂直方向的面)。横梁3是为了用多个主梁2支撑载荷而连接主梁2的构件。横向联结系4及纵向联结系5分别是为了克服风及地震的横向而将主梁2相互连接的构件。此外,在本实施方式中,对将桥梁1为对象(结构物)的情况进行说明,但作为对象的结构物不限于桥梁,也可以是隧道、大楼等、道路等。
<图像处理***的结构>
图2是示出图像处理***10的概略结构的框图。图像处理***10具备数码相机100(成像装置)和***主体200(修补长度的确定装置)。图像处理***10是根据拍摄被摄体而获取的图像,计算出需要进行修补的裂缝的修补长度的***(详细后述),可应用于数码相机、智能电话、平板终端和个人计算机等。此外,数码相机100可以与***主体200并入在单独的壳体中,也可以使其一体化。另外,可以将数码相机100作为***主体200的一部分并入,由数码相机100和***主体200构成本发明涉及的修补长度的确定装置。
<数码相机的结构>
数码相机100通过具备未图示的摄影透镜和成像元件的成像光学***110获取图像。作为成像元件的例子可举出CCD(Charge Coupled Device)型成像元件及CMOS(Complementary Metal-Oxide Semiconductor)型成像元件。在成像元件的受光面上设置有R(红色)、G(绿色)或B(蓝色)滤色器,可基于各色的信号获得被摄体的彩色图像。数码相机100经由无线通信部130和天线132与***主体200进行无线通信,所拍摄的图像被输入到图像获取部210以执行后述的处理。
所拍摄的图像可以是合成后述的多个分割图像而生成的图像。另外,例如,在格间的尺寸较小且可通过用数码相机100进行一次拍摄而以适当的分辨率拍摄包括一个格间的桥面板6的图像(整个图像)的情况下,也可以是通过一次拍摄而获取的图像。
数码相机100可以是具有例如5000×4000像素程度的像素数的通用小型数码相机。
<***主体的结构>
***主体200主要由图像获取部210、裂缝检测部220、显示控制部230、操作部240、插值曲线制作部250、修补长度确定部260、及输出部270构成。它们相互连接以收发所需信息。另外,***主体200经由天线212在与数码相机100之间进行无线通信,以获取通过数码相机100拍摄的拍摄图像。
《图像获取部210》
图像获取部210从数码相机100(或记录介质、网络等)获取桥梁1的拍摄图像。图像可以是分割拍摄桥梁1而得的多个图像,也可以是通过一次拍摄获取的图像。当将多个图像合成一张图像时,检测图像彼此之间的对应点,并基于图像彼此之间的对应点来合成拍摄图像。
《裂缝检测部220》
裂缝检测部220提取并计测拍摄图像中的裂缝。
《显示控制部230》
显示控制部230具备监视器显示部232,对显示所输入的图像、检测到的裂缝和裂缝的信息、以及所制作的插值曲线等信息的整个显示画面进行控制,
《操作部240》
操作部240包括键盘242和鼠标244作为输入设备和指示设备。另外,在监视器显示部232具有触摸面板的情况下,也包括该触摸面板等。用户可经由这些设备和监视器显示部232的画面,进行执行本实施方式的修补长度的确定方法所需的操作(后述)。该操作中包括裂缝的指示位置的指定、裂缝信息的输入等。
《插值曲线制作部250》
插值曲线制作部250从经由操作部240指示的位置制作插值曲线。
《修补长度确定部260》
修补长度确定部260计测插值曲线制作部250制作的插值曲线的长度。
《输出部270》
输出部270将插值曲线制作部250制作的插值曲线作为画面的数据输出。另外,将修补长度确定部260测量的插值曲线(修补长度)的长度和插值曲线的信息、裂缝检测部220所检测的裂缝的信息作为文字或表的数据输出。此外,也可以将这些信息作为画面的数据输出。
***主体200的各部的功能可使用各种处理器(processor)来实现。各种处理器中包括例如通过执行软件(程序)来实现各种功能的通用处理器即CPU(Central ProcessingUnit)。另外,上述各种处理器中还包括FPGA(Field Programmable Gate Array)等在制造后可更改电路配置的处理器即可编程逻辑器件(Programmable Logic Device:PLD)。而且,上述各种处理器中还包括具有专为执行ASIC(Application Specific IntegratedCircuit)等特定的处理而设计的电路配置的处理器即专用电路等。
各部的功能可通过一个处理器来实现,也可以组合多个处理器来实现。另外,也可以通过一个处理器来实现多个功能。作为使用一个处理器配置多个功能的例子,首先,有以客户端、服务器等计算机为代表、使用一个以上的CPU与软件的组合来配置一个处理器且该处理器作为多个功能来实现的形式。其次,有以片上***(System On Chip:SoC)等为代表、使用一个IC(Integrated Circuit)芯片来实现整个***功能的处理器的形式。如上所述,作为硬件配置,使用一个以上上述各种处理器来配置各种功能。而且,更具体而言,这些各种处理器的硬件配置是组合半导体元件等电路元件而成的电路(circuitry)。
上述处理器或电路执行软件(程序)时,将要执行的软件的处理器(计算机)可读代码预先存储在ROM等非暂时性记录介质中,且处理器参考该软件。也可以代替ROM,将代码记录在各种磁光记录装置或半导体存储器等非暂时性记录介质中。在使用软件进行处理时,例如将RAM(Random Access Memory)用作临时存储区域,并且参考例如存储在EEPROM(Electronically Erasable and Programmable Read Only Memory)中的数据。
<图像处理程序>
对图像处理***10进行的图像处理进行说明。图3是示出图像处理(包括本发明涉及的修补长度的确定方法的各处理)的程序的流程图。
<图像获取工序>
首先,获取通过数码相机100划分桥梁1(结构物)的不同部分并进行拍摄而得的多个拍摄图像(步骤S100;图像获取工序)。拍摄图像是拍摄裂缝的修补对象区域而得的图像。***主体200经由数码相机100(成像光学***110、无线通信部130、天线132、天线212)及图像获取部210获取这些多个拍摄图像。
在进行了图像的拍摄之后,图像获取部210将多个拍摄图像合成为一个图像。拍摄图像的合成为,计算合成信息,例如,计算拍摄图像彼此的对应点及基于对应点计算出的射影变换矩阵等,并基于对应点合成图像。此外,若能够用一张图像拍摄整个区域,则可省略合成图像的工序。所获取的图像也可以通过显示控制部230的控制显示于监视器显示部232。图4是示出拍摄桥梁1而得的图像的图。在图4中,示出合成后的整个图像20。可在整个图像20内确认裂缝22。
<检测工序>
从在图像获取工序获取的图像中检测裂缝(步骤S102;检测工序)。作为为了进行裂缝的检测而计测的项目,有位置、大小、方向、范围、形状等,并且可根据结构物的种类、特征和检查目的等条件进行设定。在裂缝的检测中,裂缝检测部220对检测结果进行矢量化,并将其表示为具有起点和终点的线段或其集合。
裂缝的检测可通过各种方法进行,例如,可使用日本专利第4006007号公报中记载的裂缝检测方法。该方法是具有制作小波图像的工序和基于小波图像判定裂缝区域的工序的裂缝检测方法。在制作小波图像的工序中,算定与进行对比的两个密度对应的小波系数,并且算定使该两个密度分别变化时的各自的小波系数并制作小波系数表,并对拍摄裂缝检测对象即混凝土表面而得的输入图像进行小波变换。在判定裂缝区域的工序中,在小波系数表中,将局部区域中与相邻像素的平均密度和关注像素的密度对应的小波系数设为阈值,并将关注像素的小波系数与阈值进行比较,由此判定裂缝区域和非裂缝区域。
另外,可预先输入拍摄的图像的短边和长边的长度,根据成为拍摄对象的结构物与数码相机100之间的拍摄距离以及数码相机100的像素数来检测裂缝宽度。另外,优选使用倾斜校正后的图像进行裂缝宽度的检测。通过进行倾斜校正,可获取对建筑物的变形进行了校正而如同完全从正面直视的照片。另外,通过使用校正后的图像,可提高裂缝长度和裂缝宽度的计测精度。
<显示工序>
将在检测工序检测到的裂缝映射到在图像获取工序获取的图像,并显示图像。(步骤S104;显示工序)。如图5所示,映射了计测结果的图像通过显示控制部230的控制显示在监视器显示部232。映射可在示出裂缝的位置的同时,显示裂缝宽度。另外,可通过在画面上显示与计测结果相关联的文字、图形、记号等来执行。可通过经由操作部240(键盘242和/或鼠标244)的操作来选择所显示的文字、图形、记号等,根据选择使检测结果和计测结果显示于显示控制部230的监视器显示部232。文字、图形、记号等可以对裂缝的实际进行简化或强调,也可以根据裂缝的大小(宽度)等以不同的方式显示。图5用粗线显示了需要进行修补的修补对象的裂缝22A(宽度为0.2mm以上的裂缝),用细线显示了无需修补的非修补对象的裂缝22B(低于0.2mm的裂缝)。在图5中,根据裂缝宽度用两种粗线进行了显示,但也可以根据裂缝宽度,使用三种以上的粗线。另外,作为根据裂缝宽度的裂缝的显示方法,可显示线的种类(直线、虚线、一点划线等)、线的颜色、线的闪烁速度或其组合。另外,通过设定为透明显示非修补对象的裂缝,即使不进行后面的筛选工序,也可仅显示修补对象的裂缝。通过如上进行显示,能够以可识别修补对象的裂缝和非修补对象的裂缝的方式进行显示。
<筛选工序>
在显示工序中,可以利用显示控制部230,进行将非修补对象的裂缝的显示从显示在监视器显示部232的图像中删除的筛选(步骤S106;筛选工序)。筛选工序根据需要执行即可,即使显示了非修补对象的裂缝,只要不干扰后续操作也可以不执行。筛选通过按下图6所示的“筛选”按键24来执行。如图6所示,通过进行筛选工序,可消除非修补对象的裂缝的显示。
<指示工序>
接着,根据用户经由操作部240(键盘242和鼠标244)进行的指令,指示在监视器显示部232显示的修补对象的裂缝22A的多个点(步骤S108;指示工序)。
在指示工序中,用户经由操作部240指示多个点,由此对控制在后续插值曲线制作工序中制作的插值曲线的控制点进行选择。如图7所示,指示可通过用户经由操作部240选择在监视器显示部232显示的指针30来进行。
如图4和图5所示,裂缝22由连续连接的多个宽度不同的大致直线形的裂缝形成。在图4中,裂缝22形成为锯齿形状。以使该多个裂缝形成连续的平滑曲线的方式对裂缝进行修补。如图5所示,仅在进行了裂缝的检测时,由于显示了裂缝的实际形状,所以待进行修补的区域与所显示的裂缝不同。因此,在指示工序中,通过经由操作部240进行指示,并使用该指示出的点来制作与用户假定的修补区域对应的插值曲线。
作为要指示的多个点,选择包括修补对象的裂缝22A的两端的两个点(即,起点和终点)在内的多个点。指示的位置以使在下一工序中制作的插值曲线形成在实际的裂缝附近的方式进行指示。例如,如图7所示,可指示裂缝的方向改变的位置。另外,亦可从起点到终点以相同的间隔进行指示。
另外,当通过将修补材料填充或注入裂缝中来进行修补时,可指示该修补材料的填充或注入的位置。通过指示进行修补材料的填充或注入的位置,能够可靠地在该位置进行裂缝的修补。例如能够以50cmm的间隔来进行修补材料的填充或注入,所以也能够以50cm的间隔来进行指示。
指示的数量没有特别限定,可根据裂缝的形状和制作的插值曲线适当地设定。但是,若指示的位置增多,则显示的裂缝的实际长度与插值曲线的长度之间不会产生差异,而且至少插值曲线与裂缝的实际位置不对应,从而有时会出现未修补的部分。
另外,在裂缝中,如图5中的符号23所示,有时在连续的裂缝中存在非修补对象的裂缝(宽为0.17mm)。如图6所示,当自动检测这样的裂缝时,该裂缝被检测为裂缝23C和裂缝23C这两条裂缝而被识别为各不相同的裂缝。在这种情况下,可以通过以一条裂缝的端部为起点,以另一条裂缝的端部为终点进行指示,并指示其间的多个点,用一条插值曲线对两条裂缝进行插值。另外,当最好对两条以上的裂缝进行连续修补时,同样可以通过以一条裂缝的端部为起点,以另一条裂缝的端部为终点并指示其间的多个点,用一条插值曲线进行插值。
此外,对于在裂缝中间出现了分支的裂缝,作为一条裂缝与以出现分支的部分为起点的另一条裂缝这两条裂缝来制作插值曲线。
裂缝的两端的两个点以外的中间点可以全部由用户经由操作部240来执行,也可以在指示了两端的两个点后,自动指示该两端的两个点之间的一个点或多个点的位置。作为自动指示的方法,可通过从两端中的一个端部以等间隔进行指示,或者自动指示裂缝的多个连接部分(裂缝宽度不同的部分)等来进行。另外,可以将自动进行的指示与经由操作部240的指示进行组合。例如,在自动进行指示后,在裂缝的一部分从所指示的位置分离、并且裂缝与其后制作的插值曲线分离的情况下,可以通过利用操作部240的操作增加或变更指示的位置,使插值曲线近似于裂缝。
另外,操作部240可以将用户指示的位置修改到该指示的位置附近的裂缝的位置。当裂缝的位置与指示的位置之间存在误差时,通过修改指示的位置,可制作近似于实际裂缝的保管曲线。
<插值曲线制作工序>
对显示在监视器显示部232的裂缝进行了指示后,使用进行了该指示的点制作插值曲线(步骤S110;插值曲线制作工序)。所制作的插值曲线成为实际上涂布修补材料进行修补的区域。图8是在整个图像20上显示插值曲线32、33的图。通过按下“样条化”按键26来制作插值曲线。
可使用样条曲线或贝塞尔曲线作为插值曲线。样条曲线是指通过所指示的多个点(控制点)控制该曲线的通过点的平滑曲线。所指示的点可以在样条曲线上通过,也可以不通过。样条曲线中,使用两个控制点及其跟前的控制点的坐标来定义二次样条曲线。除两端以外,不通过指定的控制点,但通过控制点的中点。另外,使用两个控制点及其前后的控制点的坐标来定义三次样条曲线。三次样条曲线也不通过除两端外的、指定的控制点。
贝塞尔曲线是指根据N个控制点获得的(N-1)阶曲线。在贝塞尔曲线中,连接起点和第一控制点的线段成为在起点处的曲线的切线,连接第二控制点和终点的线段成为在终点处的曲线的切线。贝塞尔曲线成为通过指定控制点的曲线。
在图3所示的流程图中,将指示工序和插值曲线制作工序记载为各自独立的工序,但也可以在指示工序中同时执行插值曲线制作工序。在指示工序中,在进行指示时,若可在与先前指示的点之间制作插值曲线,则可在制作插值曲线的同时进行指示。
<修补长度确定工序>
制作插值曲线后,测量该插值曲线的长度(步骤S112;修补长度确定工序)。通过制作插值曲线,可将该插值曲线视为实际上进行修补的裂缝的位置。而且,通过测量插值曲线的长度,可将该插值曲线的长度确定为修补长度。也能够根据拍摄的图像的短边和长边的长度求出修补长度的长度。
<输出工序>
根据需要,可将插值曲线作为画面信息输出。另外,也可以输出裂缝的信息,例如,裂缝的裂缝宽度、与裂缝宽度对应的插值曲线的长度。另外,也可以输出与裂缝的裂缝宽度对应的修补方法(步骤S114;输出工序)。在本实施方式中,因为只要能够将插值曲线的长度计算为修补长度即可,所以并不一定要输出上述信息。
作为输出插值曲线的画面信息的方法,作为CAD(computer-aided design)图,可将图8所示的插值曲线作为dxf文件输出。在画面信息中,也可输出裂缝宽度、插值曲线的长度(修补长度)的信息等。可通过按下图8所示的“dxf输出”按键28来执行画面的输出。
另外,在输出裂缝的裂缝宽度、插值曲线的长度、修补方法的情况下,作为表信息,可作为CSV文件输出。在作为CSV文件输出的情况下,如图9所示,也可以对检测到的裂缝赋予编号(No.),输出与该编号对应的裂缝宽度及插值曲线的长度。裂缝宽度可设定为该裂缝的最大值或平均值。根据所需信息适当确定。
另外,修补对象的裂缝中,也可以将插值曲线按裂缝宽度分类,并输出与裂缝宽度对应的插值曲线组(图10)。在图10中,将裂缝宽度为0.2mm以上且小于0.3mm设为第I组、0.3mm以上且小于0.5设为第II组、0.5mm以上设为第III组。此外,小于0.2mm的裂缝为非修补对象。而且,作为插值曲线的信息,输出各插值曲线组的总长度。通过输出插值曲线组的总长度,能够确认修补所需的材料等。
此外,也可显示与裂缝宽度对应的修补方法。裂缝的修补因裂缝宽度而不同。当裂缝宽度较窄时,利用表面涂布方法,即通过用覆盖材料仅覆盖裂缝部分来进行。另外,当裂缝宽度较宽时,利用将修补材料注入裂缝内部的方法来进行。如上所述,由于修补方法因裂缝宽度而不同,因此通过输出修补方法的信息,即使存在宽度不同的裂缝,也能够容易地进行准备修补材料。
关于通过输出工序输出的数据,也优选输出倾斜校正后的数据。通过在进行倾斜校正后的图像上显示裂缝和插值曲线,可在接近于实际建筑物的图像上显示和确认插值曲线,因此可在修补前确认修补材料量等。
如以上所作说明,根据本实施方式,通过从拍摄结构物而得的图像中检测裂缝,并绘制包括该检测出的裂缝的端部的两个点在内的多个点来制作插值曲线。通过确定该插值曲线的长度,可正确计算出应修补的修补区域(修补长度)。
符号说明
1 桥梁
2 主梁
3 横梁
4 横向联结系
5 纵向联结系
6 桥面板
10 图像处理***
20 整个图像
22、23、23C 裂缝
22A 修补对象的裂缝
22B 非修补对象的裂缝
24 “筛选”按键
26 “样条化”按键
28 “dxf输出”按键
30 指针
32、33 插值曲线
100 数码相机
110 成像光学***
130 无线通信部
132、212 天线
200 ***主体
210 图像获取部
220 裂缝检测部
230 显示控制部
232 监视器显示部
240 操作部
242 键盘
244 鼠标
250 插值曲线制作部
260 修补长度确定部
270 输出部。
Claims (21)
1.一种修补长度的确定方法,具有:
图像获取工序,在所述图像获取工序中,图像获取部获取拍摄了对结构物的裂缝的修补对象区域而得的图像;
检测工序,在所述检测工序中,裂缝检测部从所获取的所述图像中检测裂缝;
显示工序,在所述显示工序中,显示控制部对在所述检测工序中检测到的所述裂缝进行显示;
指示工序,在所述指示工序中,根据来自操作部的指令,指示包括所述裂缝的两端的两个点在内的多个点;
插值曲线制作工序,在所述插值曲线制作工序中,插值曲线制作部使用在所述指示工序中指示的点制作插值曲线;以及
修补长度确定工序,在所述修补长度确定工序中,修补长度确定部检测所述插值曲线的长度,并确定修补长度。
2.根据权利要求1所述的修补长度的确定方法,其中,在所述显示工序中,根据所述裂缝的裂缝宽度,以至少能识别修补对象的裂缝和非修补对象的裂缝的方式变更显示方法进行显示。
3.根据权利要求2所述的修补长度的确定方法,其中,所述显示方法是从与所述裂缝对应的线的颜色、线的种类及线的闪烁速度中选择的至少任一个。
4.根据权利要求2或3所述的修补长度的确定方法,其中,具有所述显示控制部仅显示所述修补对象的裂缝的筛选工序。
5.根据权利要求1至4中任一项所述的修补长度的确定方法,其中,在所述指示工序中,基于在所述检测工序中检测到的所述裂缝的结果,将所指示的点修改到所指示的位置附近的所述裂缝的位置。
6.根据权利要求1至4中任一项所述的修补长度的确定方法,其中,在所述指示工序中,当指示所述裂缝的两端的两个点时,基于在所述检测工序中检测到的裂缝的结果,自动指示所述两端的两个点之间的一个点或多个点的位置。
7.根据权利要求1至6中任一项所述的修补长度的确定方法,其中,具有输出部输出所述插值曲线的画面信息的输出工序。
8.根据权利要求1至7中任一项所述的修补长度的确定方法,其中,具有输出部输出所述裂缝的裂缝宽度和所述插值曲线的长度相对于所述裂缝宽度的信息的输出工序。
9.根据权利要求8所述的修补长度的确定方法,其中,所述输出部输出与所述裂缝宽度对应的修补方法。
10.根据权利要求7至9中任一项所述的修补长度的确定方法,其中,在所述输出工序中,输出倾斜校正后的数据。
11.根据权利要求1至10中任一项所述的修补长度的确定方法,其中,所述插值曲线是样条曲线或贝塞尔曲线。
12.一种修补长度的确定装置,具备:
图像获取部,其获取拍摄了对结构物的裂缝的修补对象区域而得的图像;
裂缝检测部,其从所述图像获取部所获取的所述图像中检测裂缝;
显示控制部,其对所述裂缝检测部所检测到的所述裂缝进行显示;
操作部,其指示包括所述裂缝的两端的两个点在内的多个点;
插值曲线制作部,其使用由所述操作部指示的点制作插值曲线;以及
修补长度确定部,其检测所述插值曲线的长度,并确定修补长度。
13.根据权利要求12所述的修补长度的确定装置,其中,所述显示控制部根据所述裂缝的裂缝宽度,以至少能识别修补对象的裂缝和非修补对象的裂缝的方式变更显示方法进行显示。
14.根据权利要求13所述的修补长度的确定装置,其中,所述显示方法是从与所述裂缝对应的线的颜色、线的种类及线的闪烁速度中选择的至少任一个。
15.根据权利要求13或14所述的修补长度的确定装置,其中,所述显示控制部仅显示所述修补对象的裂缝。
16.根据权利要求12至15中任一项所述的修补长度的确定装置,其中,所述插值曲线制作部基于所述裂缝检测部所检测到的所述裂缝的结果,将所述操作部所指示的点修改到所指示的位置附近的所述裂缝的位置。
17.根据权利要求12至15中任一项所述的修补长度的确定装置,其中,当指示所述裂缝的两端的两个点时,所述插值曲线制作部基于所述裂缝检测部所检测到的裂缝的结果,自动指示所述两端的两个点之间的一个点或多个点的位置。
18.根据权利要求12至17中任一项所述的修补长度的确定装置,其中,具有输出所述插值曲线的画面信息的输出部。
19.根据权利要求12至18中任一项所述的修补长度的确定装置,其中,具有输出所述裂缝的裂缝宽度和所述插值曲线的长度相对于所述裂缝宽度的信息的输出部。
20.根据权利要求19所述的修补长度的确定装置,其中,其输出与所述裂缝宽度对应的修补方法。
21.根据权利要求18至20中任一项所述的修补长度的确定装置,其中,所述输出部输出倾斜校正后的数据。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018015431 | 2018-01-31 | ||
JP2018-015431 | 2018-01-31 | ||
PCT/JP2018/046364 WO2019150799A1 (ja) | 2018-01-31 | 2018-12-17 | 補修長の決定方法及び補修長の決定装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111684234A true CN111684234A (zh) | 2020-09-18 |
CN111684234B CN111684234B (zh) | 2022-04-26 |
Family
ID=67479060
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201880088067.1A Active CN111684234B (zh) | 2018-01-31 | 2018-12-17 | 修补长度的确定方法及修补长度的确定装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11263739B2 (zh) |
EP (1) | EP3748283A4 (zh) |
JP (1) | JP6937391B2 (zh) |
CN (1) | CN111684234B (zh) |
WO (1) | WO2019150799A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116106325A (zh) * | 2023-01-05 | 2023-05-12 | 博建建工有限公司 | 一种裂缝检测方法、装置、电子设备及存储介质 |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3396359B1 (en) * | 2015-12-25 | 2021-04-28 | FUJIFILM Corporation | Damage information processing device and damage information processing method |
MX2021012554A (es) * | 2019-04-15 | 2022-01-24 | Armstrong World Ind Inc | Sistemas y metodos para predecir materiales arquitectonicos dentro de un espacio. |
JP7368288B2 (ja) * | 2020-03-23 | 2023-10-24 | 国際航業株式会社 | ひび割れ形状生成装置 |
JP2022056085A (ja) * | 2020-09-29 | 2022-04-08 | キヤノン株式会社 | 情報処理装置、情報処理方法、及び、プログラム |
KR102456987B1 (ko) * | 2022-03-15 | 2022-10-20 | 디엘이앤씨 주식회사 | 건물 외벽의 균열을 탐지하는 방법 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6711284B1 (en) * | 1999-10-25 | 2004-03-23 | Nikon Corporation | Image processor for a digital image of an object having a crack |
JP4488308B2 (ja) * | 2004-12-08 | 2010-06-23 | 株式会社大林組 | 構造物表面のひび割れ検出方法 |
CN102680480A (zh) * | 2012-05-03 | 2012-09-19 | 中南大学 | 一种混凝土结构裂缝智能化检测方法 |
CN102759337A (zh) * | 2012-04-28 | 2012-10-31 | 中国神华能源股份有限公司 | 一种井工开采工作面动态裂缝的监测方法 |
EP2752657A2 (en) * | 2013-01-02 | 2014-07-09 | The Boeing Company | System and methods for stand-off inspection of aircraft structures |
CN104007175A (zh) * | 2014-05-09 | 2014-08-27 | 华南理工大学 | 一种悬臂柔性梁多裂缝损伤识别装置及方法 |
CN104749617A (zh) * | 2013-12-26 | 2015-07-01 | 中国石油化工股份有限公司 | 一种多尺度裂缝储层正演模型建立方法 |
CN106651872A (zh) * | 2016-11-23 | 2017-05-10 | 北京理工大学 | 基于Prewitt算子的路面裂缝识别方法及*** |
Family Cites Families (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH087157B2 (ja) * | 1988-01-30 | 1996-01-29 | 鹿島建設株式会社 | コンクリート表面のひび割れ測定方法 |
JP4006007B2 (ja) | 2004-11-10 | 2007-11-14 | 大成建設株式会社 | ひび割れ検出方法 |
CA2568021A1 (fr) * | 2006-11-20 | 2008-05-20 | Colmatec Inc. | Dispositif pour mesurer des fissures dans des conduites |
US8282568B2 (en) * | 2007-04-30 | 2012-10-09 | Bio-Medisinsk Innovasjon As | Method for estimating cardiac pumping capacity |
US20100329081A1 (en) * | 2009-06-26 | 2010-12-30 | Eric Sullivan | Method for non-destructively evaluating rotary earth boring drill components and determining fitness-for-use of the same |
US9361009B2 (en) * | 2010-12-01 | 2016-06-07 | Adobe Systems Incorporated | Methods and systems for setting parameter values via radial input gestures |
US8750596B2 (en) * | 2011-08-19 | 2014-06-10 | Cognex Corporation | System and method for identifying defects in a material |
US20130218003A1 (en) * | 2012-02-21 | 2013-08-22 | Siemens Aktiengesellschaft | Rapid entry point localization for percutaneous interventions |
CN103667797B (zh) * | 2012-09-21 | 2015-12-09 | 宁波宝新不锈钢有限公司 | 一种立式不锈钢带光亮退火马弗管的延寿及修复方法 |
US9408934B2 (en) * | 2012-10-23 | 2016-08-09 | Sinai Health System | Compositions and methods for improving toughness of irradiated sterilized bone allografts |
US10185799B2 (en) * | 2014-04-22 | 2019-01-22 | Mentor Graphics Corporation | Verification of photonic integrated circuits |
JP2016090548A (ja) * | 2014-11-11 | 2016-05-23 | 株式会社東芝 | ひび割れ情報収集方法及びひび割れ情報収集プログラム |
JP6467612B2 (ja) * | 2014-11-21 | 2019-02-13 | 株式会社ソーシャル・キャピタル・デザイン | 正置画像処理システムおよび構造物維持管理業務システム |
US10157306B2 (en) * | 2015-02-27 | 2018-12-18 | Idex Asa | Curve matching and prequalification |
DE102016000011A1 (de) * | 2016-01-05 | 2017-07-06 | Giesecke & Devrient Gmbh | Vollständigkeitsprüfung eines Wertdokuments |
US9984480B2 (en) * | 2016-03-21 | 2018-05-29 | Adobe Systems Incorporated | Enhancing curves using non-uniformly scaled cubic variation of curvature curves |
US10267771B2 (en) * | 2016-04-22 | 2019-04-23 | Airbus Operations Sas | Method for testing a structural component of a vehicle |
US10178161B2 (en) * | 2016-05-11 | 2019-01-08 | Microsoft Technology Licensing, Llc | Digital signal processing over data streams |
JP6644641B2 (ja) * | 2016-05-31 | 2020-02-12 | オリンパス株式会社 | 撮像装置、制御方法、及びプログラム |
JP6562007B2 (ja) * | 2017-01-30 | 2019-08-21 | 京セラドキュメントソリューションズ株式会社 | ペン型入力装置及び表示入力システム |
US10650586B2 (en) * | 2017-08-10 | 2020-05-12 | Outward, Inc. | Automated mesh generation |
US10810769B2 (en) * | 2017-11-27 | 2020-10-20 | Adobe Inc. | Continuous-curvature rational curves for drawing applications |
-
2018
- 2018-12-17 EP EP18903532.2A patent/EP3748283A4/en active Pending
- 2018-12-17 JP JP2019568925A patent/JP6937391B2/ja active Active
- 2018-12-17 CN CN201880088067.1A patent/CN111684234B/zh active Active
- 2018-12-17 WO PCT/JP2018/046364 patent/WO2019150799A1/ja unknown
-
2020
- 2020-07-20 US US16/933,817 patent/US11263739B2/en active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6711284B1 (en) * | 1999-10-25 | 2004-03-23 | Nikon Corporation | Image processor for a digital image of an object having a crack |
JP4488308B2 (ja) * | 2004-12-08 | 2010-06-23 | 株式会社大林組 | 構造物表面のひび割れ検出方法 |
CN102759337A (zh) * | 2012-04-28 | 2012-10-31 | 中国神华能源股份有限公司 | 一种井工开采工作面动态裂缝的监测方法 |
CN102680480A (zh) * | 2012-05-03 | 2012-09-19 | 中南大学 | 一种混凝土结构裂缝智能化检测方法 |
EP2752657A2 (en) * | 2013-01-02 | 2014-07-09 | The Boeing Company | System and methods for stand-off inspection of aircraft structures |
CN104749617A (zh) * | 2013-12-26 | 2015-07-01 | 中国石油化工股份有限公司 | 一种多尺度裂缝储层正演模型建立方法 |
CN104007175A (zh) * | 2014-05-09 | 2014-08-27 | 华南理工大学 | 一种悬臂柔性梁多裂缝损伤识别装置及方法 |
CN106651872A (zh) * | 2016-11-23 | 2017-05-10 | 北京理工大学 | 基于Prewitt算子的路面裂缝识别方法及*** |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116106325A (zh) * | 2023-01-05 | 2023-05-12 | 博建建工有限公司 | 一种裂缝检测方法、装置、电子设备及存储介质 |
CN116106325B (zh) * | 2023-01-05 | 2023-10-13 | 博建建工集团有限公司 | 一种裂缝检测方法、装置、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
JPWO2019150799A1 (ja) | 2021-02-25 |
EP3748283A4 (en) | 2020-12-30 |
CN111684234B (zh) | 2022-04-26 |
JP6937391B2 (ja) | 2021-09-22 |
EP3748283A1 (en) | 2020-12-09 |
WO2019150799A1 (ja) | 2019-08-08 |
US20200349694A1 (en) | 2020-11-05 |
US11263739B2 (en) | 2022-03-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111684234B (zh) | 修补长度的确定方法及修补长度的确定装置 | |
US11972550B2 (en) | Image processing apparatus and image processing method | |
Omar et al. | Towards an automated photogrammetry-based approach for monitoring and controlling construction site activities | |
Duque et al. | Bridge deterioration quantification protocol using UAV | |
JP7146013B2 (ja) | サーバ装置、画像処理方法、及びプログラム | |
CN110462678B (zh) | 图像处理装置及图像处理方法 | |
US11948291B2 (en) | Damage diagram creation method, damage diagram creation device, damage diagram creation system, and recording medium | |
JP7170023B2 (ja) | 損傷データ編集装置、損傷データ編集方法、プログラム、およびシステム | |
EP3668077B1 (en) | Image processing system, server device, image processing method, and image processing program | |
JP7351849B2 (ja) | 構造物の損傷原因推定システム、損傷原因推定方法、及び損傷原因推定サーバ | |
JP6333307B2 (ja) | 劣化部位検知装置、劣化部位検知方法およびプログラム | |
JP2005016991A (ja) | 赤外線構造物診断システム | |
US11423511B2 (en) | Image composition method, image composition device, and recording medium | |
JP2005016995A (ja) | 赤外線構造物診断方法 | |
CN111527517B (zh) | 图像处理装置及其控制方法 | |
CN113196041B (zh) | 损伤图制作辅助装置、损伤图制作辅助方法、损伤图制作辅助程序及损伤图制作辅助*** | |
CN111982015B (zh) | 结构几何形态监测方法 | |
CN109410302B (zh) | 纹理映射方法、装置、计算机设备和存储介质 | |
JP2017228208A (ja) | 図面作成装置及び図面作成方法 | |
EP4148663A1 (en) | Damage evaluating device, method, and program | |
KR102541678B1 (ko) | 무인 비행체를 이용한 깊이 맵 기반의 디지털 외관 조사망도 구축 및 구조물 물량 산출 장치 및 방법 | |
WO2020116279A1 (ja) | 構造物の点検支援装置及び方法 | |
KR20220039450A (ko) | 구조물 외관 조사망도 구축 시스템 및 방법 | |
JP3077265B2 (ja) | 濃淡画像処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |