JP2015105905A - Correction method of tunnel cover surface image used for time series management of deformation - Google Patents

Correction method of tunnel cover surface image used for time series management of deformation Download PDF

Info

Publication number
JP2015105905A
JP2015105905A JP2013248944A JP2013248944A JP2015105905A JP 2015105905 A JP2015105905 A JP 2015105905A JP 2013248944 A JP2013248944 A JP 2013248944A JP 2013248944 A JP2013248944 A JP 2013248944A JP 2015105905 A JP2015105905 A JP 2015105905A
Authority
JP
Japan
Prior art keywords
lining surface
tunnel lining
surface image
image
tunnel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013248944A
Other languages
Japanese (ja)
Inventor
正人 鵜飼
Masato Ukai
正人 鵜飼
望 長峯
Nozomi Nagamine
望 長峯
哲一 御▲崎▼
Tetsukazu Misaki
哲一 御▲崎▼
秀元 瀧浪
Hidemoto Takinami
秀元 瀧浪
康将 ▲高▼橋
康将 ▲高▼橋
Yasumasa Takahashi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Railway Technical Research Institute
West Japan Railway Co
Original Assignee
Railway Technical Research Institute
West Japan Railway Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Railway Technical Research Institute, West Japan Railway Co filed Critical Railway Technical Research Institute
Priority to JP2013248944A priority Critical patent/JP2015105905A/en
Publication of JP2015105905A publication Critical patent/JP2015105905A/en
Pending legal-status Critical Current

Links

Landscapes

  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a method of capable of comparing tunnel cover surface images acquired in time series with each other and correcting the current tunnel cover surface image so as to recognize even a crack having changed by several mm.SOLUTION: The correction method of a tunnel cover surface image used for time series management of deformation includes: a process S11 of detecting an installation object in the previous tunnel cover surface image and acquiring the position coordinates thereof; a process S12 of detecting the installation object in the current tunnel cover surface image and acquiring the position coordinates thereof; and a process S13 of performing Affine transformation using the previous and current position coordinates of the corresponding installation object and correcting the current tunnel cover surface image. Thus, a tunnel cover surface image having a normalized position is created.

Description

本発明は、長大な土木構造物である鉄道や道路などのトンネル覆工面の変状の進行度合いの時系列管理に用いるトンネル覆工面画像の補正方法に関する。 The present invention relates to a method for correcting a tunnel lining surface image used for time-series management of the degree of progress of deformation of a tunnel lining surface such as a railway or road that is a long civil engineering structure.

鉄道や道路などのトンネル覆工面からコンクリート片などが剥がれて落下すると、通行中の車両や乗客を損傷する重大事故に繋がる危険性がある。このため、例えば鉄道トンネルや橋などの施設は2年に1回の検査を、トンネルはさらに20年に1回のより詳細な検査をするように省令は定めている。検査の結果をもとに、構造物の健全度が診断されるが、トンネルの健全度診断においては、トンネル覆工面の変状の管理が非常に重要となる。 If a piece of concrete is peeled off from a tunnel lining surface such as a railroad or a road, there is a risk of leading to a serious accident that damages vehicles and passengers in traffic. For this reason, the ministerial ordinance stipulates that facilities such as railway tunnels and bridges are inspected once every two years, and tunnels are further inspected once every 20 years. Based on the result of the inspection, the soundness of the structure is diagnosed. In the soundness diagnosis of the tunnel, the management of the deformation of the tunnel lining surface is very important.

特開2002−288180号公報(特許文献1)には、トンネルデータベースシステムを用いて、ブロック毎にトンネル覆工面の変状管理を行なう方法が開示されている。この変状管理方法では、トンネル内の展開図、覆工面の写真、その他検査・測定データのファイル、補修履歴データのファイルを一元管理及び表示・プリントアウトすることが可能なトンネルデータベースシステムが用いられている。 Japanese Patent Application Laid-Open No. 2002-288180 (Patent Document 1) discloses a method for managing deformation of a tunnel lining surface for each block using a tunnel database system. This transformation management method uses a tunnel database system that can centrally manage, display, and print out development maps in tunnels, photographs of lining surfaces, other inspection / measurement data files, and repair history data files. ing.

このトンネルデータベースシステムは、疵に関する各種の情報が記録された複数のレイヤーから構成される。レイヤーは少なくとも覆工ブロックごとの目地情報を記録したレイヤーと、トンネル覆工面を一定の間隔ごとに区画したトンネル格子データを記録したレイヤーと、疵検査ごとの検査結果を記録したレイヤーとから成る。レイヤーごとに記録されたデータファイルには、最新の検査結果データが含まれる。この最新検査結果データは、最新の検査により得られた疵情報の内容をブロックごとに、疵の種別に分類して疵の程度に応じてランク付けし、覆工ブロックごとに最も悪いランクを抽出し、これに基づいてレイヤー内のテキストを更新したデータとして保有するものである。 This tunnel database system is composed of a plurality of layers in which various types of information relating to the bag are recorded. The layer includes at least a layer in which joint information for each lining block is recorded, a layer in which tunnel lattice data obtained by dividing the tunnel lining surface at regular intervals, and a layer in which an inspection result for each dredging inspection is recorded. The data file recorded for each layer includes the latest inspection result data. This latest inspection result data classifies the contents of the defect information obtained by the latest inspection into blocks, classifies them according to the defect type, ranks them according to the degree of defects, and extracts the worst rank for each lining block Based on this, the text in the layer is stored as updated data.

管理項目のデータと、レイヤーごとに記録された疵検査等に関するデータとをトンネル覆工面の展開図と共に表示してトンネル構造物検査記録簿としてプリントアウトされたものが図6として示されている。展開図の中に表示された疵をクリックすることにより、補修前と補修後の変状の写真及びその他の変状種別、判定ランク、位置等に関する画面表示が可能になっている。従って、変状履歴や補修履歴を一つのデータベースで一元管理でき、各種帳票の変更が一度に行うことができることが記載されている。 FIG. 6 shows the management item data and the data relating to the flaw inspection and the like recorded for each layer together with the development of the tunnel lining surface and printed out as a tunnel structure inspection record book. By clicking on the wrinkles displayed in the development view, it is possible to display screens regarding the photographs of the deformation before and after the repair and other deformation types, judgment ranks, positions, and the like. Therefore, it is described that the deformation history and repair history can be centrally managed by one database, and various forms can be changed at once.

特開2005−105682号公報(特許文献2)には、覆工面画像データを含むトンネルデータ管理システムを用いたトンネル覆工面の変状管理を行なう方法が開示されている。また、覆工面画像データはトンネル覆工面を撮影することによって得られる写真データであること、当該覆工面画像データは指定箇所を拡大可能とすること、及び、トンネル覆工面画像上に打音検査や目視検査の結果を検査該当箇所として記号等で表示することが可能である旨も記載されている。 Japanese Patent Laying-Open No. 2005-105682 (Patent Document 2) discloses a method for managing deformation of a tunnel lining surface using a tunnel data management system including lining surface image data. Further, the lining surface image data is photographic data obtained by photographing the tunnel lining surface, the lining surface image data is capable of enlarging a designated portion, and a sound hit inspection or the like is performed on the tunnel lining surface image. It is also described that the result of the visual inspection can be displayed as a symbol corresponding to the inspection.

特許文献2には覆工面画像データを基に自動解析によってひび割れ等の検出を行うことを可能とすると良いとの記載があるが、本出願人は特許文献3(特開2012−202858号公報)と特許文献4(特開2012−202859号公報)に記載する如く、トンネル覆工面画像を画像処理し、ひび割れや漏水などの変状を抽出する方法を開発した。 Patent Document 2 describes that it is desirable to be able to detect cracks and the like by automatic analysis based on the lining surface image data, but the applicant of the present application is Patent Document 3 (Japanese Patent Laid-Open No. 2012-202858). And Patent Document 4 (Japanese Patent Laid-Open No. 2012-202859), a method for image processing of a tunnel lining surface image and extracting deformations such as cracks and water leakage was developed.

特許文献1と2から理解される如く、従来のトンネル覆工面の変状の管理は、変状を含むブロックごと若しくはエリアごとに管理するものである。変状の形状やサイズなどはトンネルの定期点検の度に測定され、検査データの一部として記録される。ところが変状の進行具合は、前回の検査データと今回の検査データを比較して判定されるものであるが、殆どの現場では定量的かつ客観的な手法での比較は行われていないのが現状である。このため従来のトンネル覆工面の変状の管理には、定期検査毎にデータを取得する作業に時間と手間を要することに加えて、前回と今回のデータを定量的かつ客観的な手法で比較することが出来ていないという問題がある。 As understood from Patent Documents 1 and 2, the conventional management of the deformation of the tunnel lining surface is performed for each block or area including the deformation. The deformed shape and size are measured at every periodic inspection of the tunnel and recorded as part of the inspection data. However, the progress of the deformation is determined by comparing the previous test data with the current test data, but in most sites no quantitative and objective comparison is performed. Currently. For this reason, in order to manage the deformation of the conventional tunnel lining surface, it takes time and labor to acquire data for each periodic inspection, and the previous and current data are compared quantitatively and objectively. There is a problem of not being able to do.

通常、複線トンネル覆工面を撮影するカメラの位置はトンネル中心から一方の側壁に近づいた位置となる。このため、トンネル覆工面画像の展開画像は必然的に断面方向に歪みが存在する。また、カメラを搭載したトンネル検査車の速度の変動によっても延長方向に歪みが生じる。本出願人は、このような歪みを含んだトンネル覆工面画像を画像処理によって補正し、トンネル断面及び延長方向の歪みを補正し、歪みのないトンネル覆工面の展開画像を作成する方法も開発し、特許出願(特願2013−181729)した。この方法により得られた断面方向及び延長方向の歪みのないトンネル覆工面の展開画像を用いれば、撮影時期の異なる2枚の画像を対比して、トンネル覆工面の変状の進行の具合をある程度は把握することが可能である。 Normally, the position of the camera that images the double-track tunnel lining surface is closer to one side wall from the tunnel center. For this reason, the developed image of the tunnel lining surface image necessarily has distortion in the cross-sectional direction. Also, distortion occurs in the extension direction due to fluctuations in the speed of a tunnel inspection vehicle equipped with a camera. The present applicant has also developed a method for correcting a tunnel lining surface image including such distortion by image processing, correcting a tunnel cross section and distortion in the extension direction, and creating a developed image of the tunnel lining surface without distortion. And a patent application (Japanese Patent Application No. 2013-181729). If the developed image of the tunnel lining surface without distortion in the cross-sectional direction and the extension direction obtained by this method is used, the degree of progress of the deformation of the tunnel lining surface can be compared to a certain degree by comparing two images with different shooting times. Can be grasped.

しかしながら、トンネル断面及び延長方向の歪みのないトンネル覆工面の展開画像が得られても、前回と今回の画像を対比して、ひび割れなどの変状のサイズの変化を判定することは極めて難しい。何故なら、トンネル覆工面を撮影するカメラの位置や角度などの撮影条件が前回と今回で同一もしくは実質的に同一となることはあり得ず、撮影条件が違うと変状の位置や形状が画面上で微妙に相違する。2年間で数cmも長さが伸びたひび割れであれば、撮影条件が相違する2枚の展開画像を対比して、その進行の具合は判定できる。ところが、2年間で長さや幅が数mm程度変化したひび割れについては、撮影条件が相違する2枚の展開画像を対比しても、その進行の具合は判定できない。殆どの変状は後者のケースに当てはまる。そこで、今回の画像を前回の画像と対比するためには、今回の画像の縦横の画素ピッチを前回の画像に正確に一致させる必要がある。 However, even if a developed image of the tunnel lining surface without distortion of the tunnel cross section and the extension direction is obtained, it is extremely difficult to determine the change in the size of the deformation such as a crack by comparing the previous and current images. This is because the shooting conditions such as the position and angle of the camera that shoots the tunnel lining surface cannot be the same or substantially the same in the previous and this time, and if the shooting conditions are different, the deformed position and shape will be displayed on the screen. The difference is slightly above. If it is a crack whose length has increased by several centimeters in two years, the progress of the development can be determined by comparing two developed images with different shooting conditions. However, the progress of cracks whose length and width have changed by several millimeters in two years cannot be determined by comparing two developed images with different shooting conditions. Most of the deformations apply to the latter case. Therefore, in order to compare the current image with the previous image, it is necessary to accurately match the vertical and horizontal pixel pitches of the current image with the previous image.

特開2002−288180号公報JP 2002-288180 A 特開2005−105682号公報JP 2005-105682 A 特開2012−202858号公報JP 2012-202858 A 特開2012−202859号公報JP 2012-202859 A

本発明が解決しようとする課題は、時系列的に取得されたトンネル覆工面画像を対比し、数mm程度変化したひび割れでも認識できるように今回のトンネル覆工面画像を補正することである。 The problem to be solved by the present invention is to compare the tunnel lining surface image acquired in time series and correct the current tunnel lining surface image so that it can be recognized even with a crack that has changed by several millimeters.

本発明の課題を解決するために、トンネル覆工面画像の中の距離標、架線の下束、蛍光灯などの位置不変の設置物又は目地を検出し、異なる時系列画像同士で当該設置物又は目地の位置を一致させる画像処理を行うことにより、位置が正規化されたトンネル覆工面画像を生成するようにした。 In order to solve the problems of the present invention, a position marker in a tunnel lining surface image, a bundle of overhead wires, a position-invariant installation such as a fluorescent lamp or joints are detected, and the installation or By performing image processing to match the positions of joints, a tunnel lining surface image with a normalized position is generated.

本発明により、縦横の画像ピッチを前回のトンネル覆工面画像に一致させるように補正して位置が正規化されたトンネル今回のトンネル覆工面画像が生成されるので、長さや幅が年間で数mm程度変化した変状の進行具合を迅速に判定できるようになり、トンネル覆工面の変状の時系列管理がより効率的になった。また、トンネル健全度診断の効率の向上が図られるようになった。 According to the present invention, the current tunnel lining surface image is generated by correcting the vertical and horizontal image pitches to match the previous tunnel lining surface image, and the position is normalized, so the length and width are several mm per year. It is now possible to quickly determine the degree of progress of deformation that has changed to some extent, and the time series management of deformation on the tunnel lining surface has become more efficient. In addition, the efficiency of tunnel health diagnosis has been improved.

前回のトンネル覆工面画像と今回の画像内に映る位置不変の設置物同士の位置を一致させるアファイン変換により、今回のトンネル覆工面画像を補正する画像処理の流れの一例である。It is an example of the flow of the image processing which correct | amends this tunnel lining surface image by the affine transformation which makes the position of the installation of the position invariant reflected in the last tunnel lining surface image and this image correspond. 縦横の画像ピッチを前回のトンネル覆工面画像に一致させるように今回のトンネル覆工面画像を補正する画像処理の流れの一例である。It is an example of the flow of the image processing which correct | amends this tunnel lining surface image so that vertical and horizontal image pitch may be made to correspond with the previous tunnel lining surface image. 前回のトンネル覆工面画像を模式的に示した図である。It is the figure which showed the previous tunnel lining surface image typically. 今回のトンネル覆工面画像を模式的に示した図である。It is the figure which showed this tunnel lining surface image typically. トンネル覆工面画像から距離標銘板を検出する画像処理の流れの一例である。It is an example of the flow of the image processing which detects a distance nameplate from a tunnel lining surface image.

本発明は、トンネル覆工面画像の中の距離標、架線の下束、蛍光灯などの位置不変の設置物又は目地を検出し、異なる時系列画像同士で当該設置物又は目地の位置を一致させるアファイン変換を行うことにより、位置が正規化されたトンネル覆工面画像を生成する変状の時系列管理に用いるトンネル覆工面画像の補正方法である。 The present invention detects position-invariant installations or joints such as distance markers, overhead bundles, and fluorescent lights in tunnel lining surface images, and matches the positions of the installations or joints between different time-series images. This is a tunnel lining surface image correction method used for deformed time series management in which a affine transformation is performed to generate a tunnel lining surface image whose position is normalized.

トンネル覆工面の展開図は、トンネルの断面方向をY軸、トンネルの延長方向をX軸として示される。トンネル覆工面全体の展開図、即ちトンネル覆工面画像は、短冊状画像をトンネル延長方向につなぎ合わせて構成されている。この短冊状画像は、トンネル覆工面画像を構成する延長方向の単位画像である。単位画像となる理由は、トンネル延長方向、いわゆる横幅を無限のサイズにすることは現実的には不可能なので、適当なサイズに分割するためである。また、この単位画像の横幅の画素数は任意なので、短冊状にも、矩形状にもなる。いわゆる縦一列のデジタル画像となる。本実施例における短冊状画像は、トンネル覆工面画像を構成する延長方向の単位画像であり、換言すればトンネル覆工面画像を構成する縦一列のデジタル画像である。 The development of the tunnel lining surface is shown with the cross-sectional direction of the tunnel as the Y axis and the extension direction of the tunnel as the X axis. The developed view of the entire tunnel lining surface, that is, the tunnel lining surface image is formed by connecting strip-shaped images in the tunnel extending direction. This strip-shaped image is a unit image in the extending direction that constitutes the tunnel lining surface image. The reason for the unit image is to divide the tunnel image into an appropriate size because it is practically impossible to make the tunnel extension direction, that is, the so-called lateral width infinite. Further, since the number of pixels in the horizontal width of the unit image is arbitrary, the unit image can be a strip or a rectangle. This is a so-called vertical row of digital images. The strip-shaped image in the present embodiment is a unit image in the extending direction that constitutes the tunnel lining surface image, in other words, a vertical row of digital images that constitute the tunnel lining surface image.

トンネル覆工面へレーザを照射することにより、当該覆工面の可視画像を記録するレーザスキャナにおいては、短冊状画像の横幅は1000画素程度である。最終的なトンネル覆工面画像は、この短冊状画像をトンネル延長方向に連結して作成される。短冊状画像は、例えば、高さが26794画素、横幅が1000画素の細長い画像である。トンネル覆工面画像を構成する短冊状画像の総数はトンネルの延長方向の距離を前記横幅で除した値となる。なお、短冊状画像の高さはトンネルの断面方向のサイズと画像の分解能によって一義的に定まるものである。 In a laser scanner that records a visible image of the lining surface by irradiating the tunnel lining surface with a laser, the width of the strip-shaped image is about 1000 pixels. The final tunnel lining surface image is created by connecting the strip images in the tunnel extension direction. The strip-shaped image is, for example, an elongated image having a height of 26794 pixels and a width of 1000 pixels. The total number of strip-shaped images constituting the tunnel lining surface image is a value obtained by dividing the distance in the extension direction of the tunnel by the lateral width. Note that the height of the strip-shaped image is uniquely determined by the size of the tunnel in the cross-sectional direction and the resolution of the image.

図3と図4は、上述の短冊状画像であるトンネル覆工面画像の模式図であって、図3は前回のトンネル健全度診断のために撮影されたトンネル覆工面画像の模式図、図4は今回のトンネル健全度診断のために撮影されたトンネル覆工面画像の模式図である。これら図3と図4において、11は前回のひび割れ、12は今回のひび割れ、21は前回の第1の距離標銘鈑、22は今回の第1の距離標銘鈑、31は前回の第2の距離標銘鈑、32は今回の第2の距離標銘鈑、41は前回の下束、42は今回の下束のそれぞれの画像である。 3 and 4 are schematic diagrams of the tunnel lining surface image which is the above-described strip-shaped image, and FIG. 3 is a schematic diagram of the tunnel lining surface image photographed for the previous tunnel health diagnosis, FIG. Fig. 5 is a schematic diagram of a tunnel lining surface image taken for the current tunnel health diagnosis. 3 and 4, 11 is the previous crack, 12 is the current crack, 21 is the first distance indicator of the previous time, 22 is the first distance indicator of the current time, and 31 is the second time of the previous time. , 32 is a current second distance mark, 41 is a previous lower bundle, and 42 is an image of the current lower bundle.

実施例1は、トンネル覆工面画像の中の位置不変の設置物である距離標銘鈑21,22,31,32、架線の下束41,42を検出し、前回のトンネル覆工面画像と今回の覆工面画像同士で前記設置物の位置を一致させるアファイン変換を行うことにより、位置が正規化されたトンネル覆工面画像を生成する変状の時系列管理に用いるトンネル覆工面画像の補正方法である。 In the first embodiment, the distance markings 21, 22, 31, and 32, and the lower bundles 41 and 42 of the overhead lines, which are the position-invariant installations in the tunnel lining surface image, are detected, and the previous tunnel lining surface image and this time are detected. A method for correcting a tunnel lining surface image used for deformed time series management that generates a tunnel lining surface image whose position is normalized by performing affine transformation to match the positions of the installation objects between the lining surface images of is there.

以下、図1に示すフローチャートを参照して、実施例1の変状の時系列管理に用いるトンネル覆工面画像の補正方法を説明する。アファイン変換の変換式を導く場合、一つの変換式においては3つの変換係数があるため、2つの距離標銘鈑と1つの下束のように、少なくとも3つの基準点データが必要になる。従って検査員は、画像処理装置のメモリに記憶されている図3の前回のトンネル覆工面画像の中から最低3つの設置物を検出し、その位置座標を取得する(S11)。即ち、第1の距離標銘鈑21、第2の距離標銘鈑31及び下束41が後述する設置物の検出処理方法などによって検出され、且つ検出処理の中でこれらの位置座標が特定されて画像処理装置のメモリに記憶される。 Hereinafter, with reference to the flowchart shown in FIG. 1, a method for correcting the tunnel lining surface image used for the time-series management of deformation according to the first embodiment will be described. In the case of deriving the affine transformation formula, since there are three transformation coefficients in one transformation formula, at least three reference point data are required, such as two distance markers and one lower bundle. Accordingly, the inspector detects at least three installation objects from the previous tunnel lining surface image of FIG. 3 stored in the memory of the image processing apparatus, and acquires the position coordinates (S11). That is, the first distance sign 21, the second distance sign 31, and the lower bundle 41 are detected by an installation detection method described later, and their position coordinates are specified in the detection process. And stored in the memory of the image processing apparatus.

次に検査員は画像処理装置のメモリに記憶されている図4の今回のトンネル覆工面画像の中の設置物を検出し、その位置座標を取得する(S12)。即ち、第1の距離標銘鈑22、第2の距離標銘鈑32及び下束42が後述する設置物の検出処理方法などによって検出され、且つ検出処理の中でこれらの位置座標が特定されて画像処理装置のメモリに記憶される。 Next, the inspector detects the installation in the current tunnel lining surface image of FIG. 4 stored in the memory of the image processing apparatus, and acquires the position coordinates (S12). In other words, the first distance sign 22, the second distance sign 32 and the lower bundle 42 are detected by an installation detection method described later, and their position coordinates are specified in the detection process. And stored in the memory of the image processing apparatus.

ステップS12に続いて、前回と今回の対応する設置物の位置座標を用いてアファイン変換を行い、今回のトンネル覆工面画像を補正する処理を行う(S13)。即ち、画像処理装置はプログラムに従って、メモリから前回の第1の距離標銘鈑21と今回の第1の距離標銘鈑22の位置座標を読み出し、アファイン変換により、今回の第1の距離標銘鈑22の位置を前回の第1の距離標銘鈑21の位置に一致させる画像処理を行う。また、画像処理装置はプログラムに従って、前回の第2の距離標銘鈑31と今回の第2の距離標銘鈑32の位置座標を読み出し、アファイン変換により、今回の第2の距離標銘鈑32の位置を前回の第2の距離標銘鈑31の位置に一致させる画像処理を行う。更に、画像処理装置はプログラムに従って、前回の下束41と今回の下束42の位置座標を読み出し、アファイン変換により、今回の下束42の位置を前回の下束41の位置に一致させる画像処理を行う。 Subsequent to step S12, affine transformation is performed using the position coordinates of the installation object corresponding to the previous time and this time, and a process for correcting the current tunnel lining surface image is performed (S13). That is, according to the program, the image processing apparatus reads the position coordinates of the first distance marker 21 and the first distance marker 22 of the previous time from the memory, and performs the first distance symbol of the current distance by affine transformation. Image processing is performed to match the position of the ridge 22 with the previous position of the first distance marking ridge 21. Further, the image processing apparatus reads the position coordinates of the previous second distance marker 31 and the current second distance marker 32 according to the program, and performs the affine transformation to obtain the second distance marker 32 of this time. The image processing is performed to match the position of the second distance insignia 31 with the previous position. Further, according to the program, the image processing apparatus reads the position coordinates of the previous lower bundle 41 and the current lower bundle 42, and performs image processing to match the position of the current lower bundle 42 with the previous position of the lower bundle 41 by affine transformation. I do.

以上のアファイン変換の画像処理により、今回のトンネル覆工面画像は前回のトンネル覆工面画像と縦横の画素ピッチが等しくなり、正規化されたトンネル覆工面画像となる。そこで、この正規化されたトンネル覆工面画像について、今回のひび割れ12のサイズを計測すれば、前回のひび割れ11との比較がmm単位で可能となり、数mm程度変化した変状の進行具合を迅速に判定できるようになった。なお、ステップS11とS12の順序は入れ替えてもよいことは勿論である。 Through the above-described affine transformation image processing, the current tunnel lining surface image has the same vertical and horizontal pixel pitch as the previous tunnel lining surface image, and becomes a normalized tunnel lining surface image. Therefore, if the size of the crack 12 of this time is measured for this normalized tunnel lining surface image, comparison with the previous crack 11 becomes possible in mm units, and the progress of deformation that has changed by several millimeters can be quickly achieved. Can now be judged. Of course, the order of steps S11 and S12 may be interchanged.

(距離標銘鈑の検出)
ところで、トンネル覆工面の位置不変の設置物をトンネル覆工面画像から検出するのは、例えば距離標銘鈑21,22,31,32の場合は図5に示すフローチャートに従って行われる。
(Detection of distance mark)
By the way, the installation of the tunnel lining surface whose position does not change is detected from the tunnel lining surface image according to the flowchart shown in FIG.

先ず、検査員は距離標銘板の設置位置及び設置間隔に関する設置情報を取得する(S31)。距離標銘板の設置位置及び設置間隔はトンネルデータベースに記録されている情報である。従って、ダウンロードして画像処理装置のメモリに予め記録しておいて、メモリから読み出して取得する。或いは、トンネルデータベースにアクセスして取得してもよい。 First, the inspector obtains installation information regarding the installation position and the installation interval of the distance nameplate (S31). The installation position and the installation interval of the distance nameplate are information recorded in the tunnel database. Therefore, it is downloaded, recorded in advance in the memory of the image processing apparatus, and read out from the memory for acquisition. Alternatively, it may be acquired by accessing a tunnel database.

次に、検査員は探索領域の設定処理を行う(S32)。一般的な距離標銘板は10m間隔で、且つ道床から概ね1.5mの高さに設置されている。検査員は、画像処理装置のモニター画面に表示されたトンネルの覆工面画像上に、上述の如き設置位置及び設置間隔などの情報に基づいて、検出対象の距離標銘板を探索する画像領域を設定する。 Next, the inspector performs a search area setting process (S32). Common distance nameplates are installed at 10 m intervals and at a height of about 1.5 m from the roadbed. The inspector sets an image area for searching for a distance nameplate to be detected on the lining surface image of the tunnel displayed on the monitor screen of the image processing apparatus based on information such as the installation position and the installation interval as described above. To do.

次に、パターンマッチングによる距離標銘板の検出処理を行う(S33)。即ち、画像処理装置はプログラムに従って、予め登録した距離標銘板のテンプレートを読み出し、前記テンプレートを前記探索領域の画像の中で移動させながら、前記テンプレートに合致する領域が無いかどうかを探索する。距離標銘板のテンプレートは、距離標銘板の輪郭線の矩形の中に2個のボルト穴が配置された図形のテンプレートである。上記2個のボルト穴は、距離標銘板をトンネル覆工面に取り付けるためのものであるから、距離標銘板には必ずあいている穴であり、取り付け用のボルトと共に観察される。この特徴を反映したテンプレートを用いると、輪郭線の矩形だけのテンプレートに比べて、テンプレートに重なる部分の画像との類似を見るのに比較がし易くなる。従って、距離標銘板がより迅速且つ確実に検出される。 Next, a distance nameplate detection process by pattern matching is performed (S33). That is, according to the program, the image processing apparatus reads a pre-registered distance nameplate template, and searches for an area that matches the template while moving the template in the search area image. The template of the distance sign plate is a graphic template in which two bolt holes are arranged in the rectangle of the outline of the distance sign plate. Since the two bolt holes are for attaching the distance marking plate to the tunnel lining surface, they are always holes in the distance marking plate and are observed together with the mounting bolts. If a template reflecting this feature is used, it is easier to compare the image with the image of the portion overlapping the template than the template having only the rectangle of the outline. Therefore, the distance nameplate can be detected more quickly and reliably.

次に、画像処理装置はプログラムに従って、メモリから距離標銘板候補のデータを読み出し、設置位置及び設置間隔に関する設置情報に適合しているかを検定する(S34)。検定に合格すれば距離標銘板の検出(S35)となる。 Next, according to the program, the image processing apparatus reads the data of the distance nameplate candidates from the memory, and verifies whether the information matches the installation information regarding the installation position and the installation interval (S34). If the test is passed, the distance sign plate is detected (S35).

(下束の検出)
トンネル覆工面の位置不変の設置物である下束41,42をトンネル覆工面画像から検出するのは、図5に示すフローチャートと同様の流れに従って行われる。即ち、設置情報の取得、設置情報に基づく探索領域の設定、パターンマッチング処理、パターンマッチング処理結果の検定の4つの処理を順に経て、下束41,42はそれぞれ検出される。
(Under bundle detection)
Detection of the lower bundles 41 and 42, which are installations whose position on the tunnel lining surface does not change, from the tunnel lining surface image is performed according to a flow similar to the flowchart shown in FIG. That is, the lower bundles 41 and 42 are detected through four processes of acquisition of installation information, setting of a search area based on the installation information, pattern matching processing, and verification of the result of pattern matching processing, respectively.

一般的な下束は40〜50m間隔で設置され、トンネルのクラウン部を中心に鉛直方向に細長い矩形状の領域として観察される。従って、下束の探索領域の設定は、前述の如き設置位置及び設置間隔などの情報に基づいて行われる。 Common lower bundles are installed at intervals of 40 to 50 m, and are observed as rectangular regions elongated in the vertical direction around the crown of the tunnel. Therefore, the lower bundle search area is set based on information such as the installation position and the installation interval as described above.

実施例2は、トンネル覆工面画像の中の位置不変の設置物である距離標銘鈑21,22,31,32、架線の下束41,42を検出し、これらの位置座標や形状、サイズに基づいて、今回のトンネル覆工面画像の縦横の画像ピッチを前回のトンネル覆工面画像に合わせる補正処理を行い、位置が正規化されたトンネル覆工面画像を生成する変状の時系列管理に用いるトンネル覆工面画像の補正方法である。 In the second embodiment, the distance markings 21, 22, 31, and 32, and the lower bundles 41 and 42 of the overhead lines, which are the position-invariant installations in the tunnel lining surface image, are detected, and their position coordinates, shape, and size are detected. Based on the above, it performs correction processing to match the vertical and horizontal image pitch of the current tunnel lining surface image with the previous tunnel lining surface image, and uses it for time series management of deformation to generate a tunnel lining surface image whose position is normalized This is a tunnel lining surface image correction method.

即ち、実施例2の変状の時系列管理に用いるトンネル覆工面画像の補正は、図2に示すフローチャートに従って行われる。先ず、検査員は画像処理装置のメモリに記憶されている図3の前回のトンネル覆工面画像の中の設置物を検出し、その位置座標や形状、サイズを取得する(S21)。即ち、第1の距離標銘鈑21、第2の距離標銘鈑31及び下束41が後述する設置物の検出処理方法などによって検出され、且つ検出処理の中でこれらの位置座標や形状、サイズが特定されて画像処理装置のメモリに記憶される。次に、これら取得したデータから前回のトンネル覆工面画像の1画素あたりの実寸法を計算する。これが即ち画素ピッチである。 That is, the correction of the tunnel lining surface image used for the time series management of the deformation in the second embodiment is performed according to the flowchart shown in FIG. First, the inspector detects the installation in the previous tunnel lining surface image of FIG. 3 stored in the memory of the image processing apparatus, and acquires the position coordinates, shape, and size (S21). That is, the first distance sign 21, the second distance sign 31, and the lower bundle 41 are detected by an installation detection method described later, and these position coordinates and shapes in the detection process, The size is specified and stored in the memory of the image processing apparatus. Next, the actual dimension per pixel of the previous tunnel lining surface image is calculated from these acquired data. This is the pixel pitch.

次に検査員は画像処理装置のメモリに記憶されている図4の今回のトンネル覆工面画像の中の設置物を検出し、その位置座標や形状、サイズを取得する(S22)。即ち、第1の距離標銘鈑22、第2の距離標銘鈑32及び下束42が後述する設置物の検出処理方法などによって検出され、且つ検出処理の中でこれらの位置座標が特定されて画像処理装置のメモリに記憶される。次に、これら取得したデータから今回のトンネル覆工面画像の1画素あたりの実寸法を計算する。これが即ち画素ピッチである。 Next, the inspector detects the installation in the current tunnel lining surface image of FIG. 4 stored in the memory of the image processing apparatus, and acquires the position coordinates, shape, and size (S22). In other words, the first distance sign 22, the second distance sign 32 and the lower bundle 42 are detected by an installation detection method described later, and their position coordinates are specified in the detection process. And stored in the memory of the image processing apparatus. Next, the actual dimension per pixel of the current tunnel lining surface image is calculated from these acquired data. This is the pixel pitch.

続いて、画像処理装置は、画素ピッチの粗いトンネル覆工面画像の横方向の画素ピッチを、画素ピッチの細かいトンネル覆工面画像に一致させる補正処理を行う(S23)。即ち、画素ピッチの粗い2個の距離標銘鈑のX方向の間隔を画素ピッチの細かい2個の距離標銘鈑のX方向の間隔に合わせるように画素を内挿し、今回のトンネル覆工面画像の横方向の画素ピッチを前回のトンネル覆工面画像に一致させる補正処理を行う。 Subsequently, the image processing apparatus performs correction processing for matching the horizontal pixel pitch of the tunnel lining surface image with a coarse pixel pitch with the tunnel lining surface image with a fine pixel pitch (S23). In other words, this tunnel lining surface image is obtained by interpolating pixels so that the distance in the X direction between the two distance markings with a coarse pixel pitch matches the distance in the X direction between the two distance markings with a small pixel pitch. A correction process is performed to match the pixel pitch in the horizontal direction to the previous tunnel lining surface image.

続いて、画像処理装置は、画素ピッチの粗いトンネル覆工面画像の縦方向の画素ピッチを、画素ピッチの細かいトンネル覆工面画像に一致させる補正処理を行う(S24)。即ち、画素ピッチの粗い1個の距離標銘鈑と下束のY方向の間隔を画素ピッチの細かい1個の距離標銘鈑と下束のY方向の間隔に合わせるように画素を内挿し、今回のトンネル覆工面画像の縦方向の画素ピッチを前回のトンネル覆工面画像に一致させる補正処理を行う。 Subsequently, the image processing apparatus performs correction processing for matching the vertical pixel pitch of the tunnel lining surface image with a coarse pixel pitch with the tunnel lining surface image with a fine pixel pitch (S24). That is, the pixels are interpolated so that the distance in the Y direction between one distance mark with a coarse pixel pitch and the lower bundle matches the distance in the Y direction between one distance sign with a fine pixel pitch and the lower bundle, Correction processing is performed to match the vertical pixel pitch of the current tunnel lining surface image with the previous tunnel lining surface image.

上述した補正処理により、今回のトンネル覆工面画像は前回のトンネル覆工面画像と縦横の画素ピッチが等しくなり、正規化されたトンネル覆工面画像となる。そこで、この正規化されたトンネル覆工面画像について、今回のひび割れ12のサイズを計測すれば、前回のひび割れ11との比較がmm単位で可能となり、数mm程度変化した変状の進行具合を迅速に判定できるようになる。なお、上記では画素ピッチの粗い画素を細かい画素に合わせる場合を説明したが、逆に画素ピッチの細かい画素を粗い画素に合わせるようにしてもよい。この場合は画像を圧縮ことになることは言うまでもない。 By the correction processing described above, the current tunnel lining surface image has the same vertical and horizontal pixel pitch as the previous tunnel lining surface image, and becomes a normalized tunnel lining surface image. Therefore, if the size of the crack 12 of this time is measured for this normalized tunnel lining surface image, comparison with the previous crack 11 becomes possible in mm units, and the progress of deformation that has changed by several millimeters can be quickly achieved. Can be judged. In addition, although the case where the pixel with a coarse pixel pitch was match | combined with the fine pixel was demonstrated above, you may make it match | combine a pixel with a fine pixel pitch with a coarse pixel conversely. In this case, it goes without saying that the image is compressed.

以上、今回のトンネル覆工面画像の補正の基準となる位置不変の設置物として、距離標と下束を取り上げた実施例1と実施例2について詳細に説明したが、本発明はこれらの実施例に限定されるものではないことは勿論である。例えば、蛍光灯や目地も今回のトンネル覆工面画像の補正の基準となる。蛍光灯も目地も図5のフローチャートと同様の流れに従って、トンネル覆工面画像から検出できる。蛍光灯は形状とサイズが定まっているから、そのテンプレートは容易に作成できる。しかしながら、目地の検出に用いるテンプレートは、目地の形状とサイズが様々なため、その作成には工夫が必要である。そこで、本発明者は特願2013−247221の特許出願明細書に記載する如く、トンネル覆工面画像の垂直プロジェクションに着目し、目地の箇所に出現するプロジェクション画像を目地のテンプレートとした。   As described above, the first embodiment and the second embodiment in which the distance marker and the lower bundle are taken up as the position-invariant installations that serve as the reference for correcting the tunnel lining surface image have been described in detail. Of course, it is not limited to. For example, fluorescent lamps and joints are also used as a reference for correcting the tunnel lining surface image this time. Both the fluorescent lamp and the joint can be detected from the tunnel lining surface image according to the same flow as the flowchart of FIG. Since the shape and size of fluorescent lamps are fixed, the template can be easily created. However, since templates used for joint detection have various shapes and sizes, it is necessary to devise them. Therefore, as described in the patent application specification of Japanese Patent Application No. 2013-247221, the present inventor focused on the vertical projection of the tunnel lining surface image and used the projection image appearing at the joint as a template for the joint.

11 前回のひび割れ
12 今回のひび割れ
21 前回の第1の距離標銘鈑
22 今回の第1の距離標銘鈑
31 前回の第2の距離標銘鈑
32 今回の第2の距離標銘鈑
41 前回の下束
42 今回の下束



11 Previous crack 12 Current crack 21 Previous first distance landmark 22 Current first distance landmark 31 Previous second distance landmark 32 Current second distance landmark 41 Previous Lower bundle 42 This lower bundle



Claims (7)

トンネル覆工面画像の中の距離標や下束などの位置不変の設置物又は目地を検出し、異なる時系列画像同士で当該設置物又は目地の位置を一致させる画像処理を行うことにより、位置が正規化されたトンネル覆工面画像を生成する変状の時系列管理に用いるトンネル覆工面画像の補正方法。 By detecting a position-invariant installation or joint such as a distance marker or bottom bundle in the tunnel lining surface image and performing image processing to match the position of the installation or joint between different time-series images, the position is determined. A method for correcting a tunnel lining surface image used for time-series management of deformation for generating a normalized tunnel lining surface image. トンネル覆工面画像の中の距離標や下束などの位置不変の設置物又は目地を検出し、これらの位置座標に基づいて、今回と前回のトンネル覆工面画像の縦横の画像ピッチを揃える補正処理を行い、位置が正規化されたトンネル覆工面画像を生成する変状の時系列管理に用いるトンネル覆工面画像の補正方法。 Correction processing to detect position invariant installations or joints such as distance markers and bottom bundles in the tunnel lining surface image, and to align the vertical and horizontal image pitches of the current and previous tunnel lining surface images based on these position coordinates And correcting the tunnel lining surface image used for time-series management of the deformation to generate a tunnel lining surface image whose position is normalized. 前記異なる時系列画像同士で当該設置物又は目地の位置を一致させる画像処理は、アファイン変換であることを特徴とする請求項1に記載の変状の時系列管理に用いるトンネル覆工面画像の補正方法。 The correction of the tunnel lining surface image used for deformed time-series management according to claim 1, wherein the image processing for matching the positions of the installation object or joint between the different time-series images is affine transformation. Method. 前記位置不変の設置物は、距離標であることを特徴とする請求項1又は2に記載の変状の時系列管理に用いるトンネル覆工面画像の補正方法。 The tunnel lining surface image correction method used for time-series management of deformation according to claim 1 or 2, wherein the position-invariant installation object is a distance marker. 前記位置不変の設置物は、下束であることを特徴とする請求項1又は2に記載の変状の時系列管理に用いるトンネル覆工面画像の補正方法。 The tunnel lining surface image correction method used for deformation time series management according to claim 1, wherein the position-invariant installation is a lower bundle. 前記位置不変の設置物は、蛍光灯であることを特徴とする請求項1又は2に記載の変状の時系列管理に用いるトンネル覆工面画像の補正方法。 The tunnel lining surface image correction method used for time-series management of deformation according to claim 1 or 2, wherein the position-invariant installation is a fluorescent lamp. 前記位置不変の設置物は、目地であることを特徴とする請求項1又は2に記載の変状の時系列管理に用いるトンネル覆工面画像の補正方法。


























The tunnel lining surface image correction method used for time-series management of deformation according to claim 1, wherein the position-invariant installation is a joint.


























JP2013248944A 2013-12-02 2013-12-02 Correction method of tunnel cover surface image used for time series management of deformation Pending JP2015105905A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013248944A JP2015105905A (en) 2013-12-02 2013-12-02 Correction method of tunnel cover surface image used for time series management of deformation

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013248944A JP2015105905A (en) 2013-12-02 2013-12-02 Correction method of tunnel cover surface image used for time series management of deformation

Publications (1)

Publication Number Publication Date
JP2015105905A true JP2015105905A (en) 2015-06-08

Family

ID=53436086

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013248944A Pending JP2015105905A (en) 2013-12-02 2013-12-02 Correction method of tunnel cover surface image used for time series management of deformation

Country Status (1)

Country Link
JP (1) JP2015105905A (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017051633A1 (en) * 2015-09-25 2017-03-30 富士フイルム株式会社 Damage diagram generation apparatus and damage diagram generation method
JP2019003573A (en) * 2017-06-20 2019-01-10 東日本旅客鉄道株式会社 Image processing device and maintenance management method of railway facility components
JP6749528B1 (en) * 2020-01-31 2020-09-02 三菱電機株式会社 Defect management device, modification management method, and modification management program
WO2021225084A1 (en) 2020-05-07 2021-11-11 富士フイルム株式会社 Damage evaluating device, method, and program
CN114577191A (en) * 2022-05-06 2022-06-03 成都纵横通达信息工程有限公司 Surveying and mapping data acquisition method and system based on geospatial information data
CN117703415A (en) * 2023-11-17 2024-03-15 深圳市特区铁工建设集团有限公司 Method, system, terminal and storage medium for controlling front bulge in shield tunnel construction

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09330393A (en) * 1996-02-02 1997-12-22 Fuji Photo Film Co Ltd Image processor
JP2007003380A (en) * 2005-06-24 2007-01-11 Taisei Corp Object monitoring system, object monitoring method, and object monitoring program
JP2009230603A (en) * 2008-03-25 2009-10-08 Fuji Xerox Co Ltd Image processor and image processing program
JP3160825U (en) * 2010-04-27 2010-07-08 西日本高速道路メンテナンス九州株式会社 Tunnel distance marker
JP2011123008A (en) * 2009-12-14 2011-06-23 Nexco-East Engineering Co Ltd Measuring method, measuring program, and measuring device
JP2012202858A (en) * 2011-03-25 2012-10-22 Railway Technical Research Institute Closure crack detection method of concrete surface
JP2012231420A (en) * 2011-04-27 2012-11-22 Canon Inc Image processing device, image processing method, and program
JP2013036777A (en) * 2011-08-04 2013-02-21 Hozen Maintenance & Management Engineering Co Ltd Apparatus and method for generating development image of structure extended in longitudinal direction

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09330393A (en) * 1996-02-02 1997-12-22 Fuji Photo Film Co Ltd Image processor
JP2007003380A (en) * 2005-06-24 2007-01-11 Taisei Corp Object monitoring system, object monitoring method, and object monitoring program
JP2009230603A (en) * 2008-03-25 2009-10-08 Fuji Xerox Co Ltd Image processor and image processing program
JP2011123008A (en) * 2009-12-14 2011-06-23 Nexco-East Engineering Co Ltd Measuring method, measuring program, and measuring device
JP3160825U (en) * 2010-04-27 2010-07-08 西日本高速道路メンテナンス九州株式会社 Tunnel distance marker
JP2012202858A (en) * 2011-03-25 2012-10-22 Railway Technical Research Institute Closure crack detection method of concrete surface
JP2012231420A (en) * 2011-04-27 2012-11-22 Canon Inc Image processing device, image processing method, and program
JP2013036777A (en) * 2011-08-04 2013-02-21 Hozen Maintenance & Management Engineering Co Ltd Apparatus and method for generating development image of structure extended in longitudinal direction

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017051633A1 (en) * 2015-09-25 2017-03-30 富士フイルム株式会社 Damage diagram generation apparatus and damage diagram generation method
JP2019003573A (en) * 2017-06-20 2019-01-10 東日本旅客鉄道株式会社 Image processing device and maintenance management method of railway facility components
JP7130356B2 (en) 2017-06-20 2022-09-05 東日本旅客鉄道株式会社 Image processing device and maintenance management method for railway equipment parts
JP6749528B1 (en) * 2020-01-31 2020-09-02 三菱電機株式会社 Defect management device, modification management method, and modification management program
WO2021152855A1 (en) * 2020-01-31 2021-08-05 三菱電機株式会社 Deformation management device, deformation management method, and deformation management program
WO2021225084A1 (en) 2020-05-07 2021-11-11 富士フイルム株式会社 Damage evaluating device, method, and program
CN114577191A (en) * 2022-05-06 2022-06-03 成都纵横通达信息工程有限公司 Surveying and mapping data acquisition method and system based on geospatial information data
CN114577191B (en) * 2022-05-06 2022-07-12 成都纵横通达信息工程有限公司 Surveying and mapping data acquisition method and system based on geospatial information data
CN117703415A (en) * 2023-11-17 2024-03-15 深圳市特区铁工建设集团有限公司 Method, system, terminal and storage medium for controlling front bulge in shield tunnel construction

Similar Documents

Publication Publication Date Title
JP2015105905A (en) Correction method of tunnel cover surface image used for time series management of deformation
JP4848532B2 (en) Road surface image creation method and road surface image creation device
JP5602324B1 (en) Road measurement system
JP5175528B2 (en) Tunnel lining crack inspection system
JP5494286B2 (en) Overhead position measuring device
JP2019200213A (en) Damage information processing apparatus and damage information processing method
JP6424362B2 (en) Filament measurement apparatus and method thereof
CN107428261B (en) Lifting hook detection device based on image processing
JP6938107B1 (en) How to measure road surface damage
JP2015049765A (en) Method of correcting distortion of tunnel lining surface image
JP2006195032A (en) Topographical map creating method and topographical map creating system
JP5274173B2 (en) Vehicle inspection device
JP6908445B2 (en) Maintenance management method for change detectors and railway equipment parts
JP2006275984A (en) Method of measuring displacement of high-voltage tower
JP6998710B2 (en) Inspection work support device, distance marker information management method, and program
JP6255224B2 (en) Detecting joints from concrete wall images
JP2019066368A (en) System and method for detecting displacement of structure
JP7103975B2 (en) Structure detection device, structure detection method and structure detection program
JP6336742B2 (en) Method to detect the installation object from the concrete surface image
JP6971731B2 (en) Inspection work support device, gap measurement method, and program
JP2023112536A (en) Method for calculating road surface damage position
JP6563723B2 (en) Long member position measurement method
JP7440855B1 (en) Inspection support system, photographing position identification system, and program
JP2010038827A (en) Method and device for measuring management dimension of track rail
WO2020137405A1 (en) Image processing device, image processing method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161107

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170802

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170731

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20170824

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20180220