JP6408434B2 - Road marking body deterioration detection method - Google Patents
Road marking body deterioration detection method Download PDFInfo
- Publication number
- JP6408434B2 JP6408434B2 JP2015140494A JP2015140494A JP6408434B2 JP 6408434 B2 JP6408434 B2 JP 6408434B2 JP 2015140494 A JP2015140494 A JP 2015140494A JP 2015140494 A JP2015140494 A JP 2015140494A JP 6408434 B2 JP6408434 B2 JP 6408434B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- deterioration
- road
- road marking
- road sign
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Road Repair (AREA)
- Road Signs Or Road Markings (AREA)
Description
本発明は、路面に施工された道路標示体の劣化を検出する道路標示体劣化検出方法に関し、特に、横断歩道の劣化の検出に好適な道路標示体劣化検出方法に関する。 The present invention relates to a road sign object deterioration detection method for detecting deterioration of a road sign object constructed on a road surface, and particularly to a road sign object deterioration detection method suitable for detecting deterioration of a pedestrian crossing.
従来、路面には、視認性を良好とするために、反射体であるビーズを塗膜の表面に散布させて、標示体を施工しているものがあった（例えば、特許文献１参照）。 Conventionally, there has been a road surface in which a sign body is applied by dispersing beads as a reflector on the surface of a coating film in order to improve visibility (see, for example, Patent Document 1).
また、耐摩耗性の良好な塗膜を形成可能な塗料を塗布することにより、標示体を施工しているものもあった（例えば、特許文献２参照）。 In some cases, the sign body is applied by applying a paint capable of forming a coating film with good wear resistance (see, for example, Patent Document 2).
上述の従来技術のごとく、ビーズを散布して視認性を良好としたり、耐摩耗性の良好なものとしていても、道路に施工される道路標示体は、摩耗による劣化を避けられず、この劣化の促進具合は、道路を走行する車両の交通量によって異なるものである。そのため、道路標示体を、それぞれ、定期的に劣化状態を観測しつつ、補修する必要が生じていた。従来では、道路標示体は、観測者が目視で観測して、劣化状態を判別していることから、劣化の判断基準が一定とし難かった。 As in the above-mentioned prior art, even if beads are dispersed to improve visibility or wear resistance is good, road signs installed on the road are inevitably deteriorated due to wear. The degree of promotion differs depending on the traffic volume of the vehicle traveling on the road. Therefore, it has been necessary to repair the road marking bodies while regularly observing the deterioration state. Conventionally, since the road marking body is visually observed by an observer to determine the deterioration state, it is difficult to make the determination criterion for deterioration constant.
本発明は、上述の課題を解決するものであり、判断基準を明確として、劣化状態を判別可能な道路標示体劣化検出方法を提供することを目的とする。 The present invention solves the above-described problems, and an object thereof is to provide a road marking object deterioration detection method that can clearly determine a determination criterion and determine a deterioration state.
本発明に係る道路標示体劣化検出方法は、路面に施工された道路標示体の劣化を検出する道路標示体劣化検出方法であって、
道路標示体を斜め上方から撮影する撮影工程と、
前記撮影工程で取得された画像を画面に表示し、該画面上で切り出す領域の四隅の点を作業者が指定することにより入力された座標情報に基づいて、撮影工程で取得された画像から、道路標示体の画像（以下「道路標示体画像」とする）を切り出すトリミング工程と、
道路標示体画像を、ホモグラフィ変換により俯瞰図状に補正する画像補正工程と、
画像補正工程により補正された補正画像から前記道路標示体の剥離率を算出する劣化判別工程と、
を経て、道路標示体の劣化を検出することを特徴とする。
A road sign object deterioration detection method according to the present invention is a road sign object deterioration detection method for detecting deterioration of a road sign object constructed on a road surface,
A shooting process for shooting the road marking object from obliquely above;
From the image acquired in the shooting process, based on the coordinate information input by the operator specifying the four corner points of the area to be cut out on the screen, the image acquired in the shooting process is displayed on the screen . A trimming step of cutting out an image of a road sign object (hereinafter referred to as “road sign object image”);
An image correction process for correcting the road sign object image to a bird's-eye view by homography conversion,
A deterioration determination step of calculating a peeling rate of the road marking object from the corrected image corrected by the image correction step;
After that, the deterioration of the road marking body is detected.
本発明の道路標示体劣化検出方法では、斜め上方から道路標示体を撮影した画像をトリミング工程において切り出した道路標示体画像を、ホモグラフィ変換によって俯瞰図状に補正していることから、例えば、撮影者が、カメラや、スマートフォン、タブレット端末等の撮影機を手に構えて、歩道側から道路標示体を撮影することにより、斜め上方から撮影された道路標示体画像も、ホモグラフィ変換によって、俯瞰図状に補正することができ、道路標示体を真上から撮影しなくともよい。そのため、道路標示体を、車道内に進入して撮影しなくともよいことから、車両の交通規制等を行わなくとも、容易に、道路標示体を撮影することができる。また、本発明の道路標示体劣化検出方法では、ホモグラフィ変換によって補正した補正画像を元に、劣化判別工程において、道路標示体の劣化状態を判別することから、劣化判断基準が明確であり、また、一定の劣化判断基準に基づき、道路標示体の劣化状態を判別することができる。 In the road sign object deterioration detection method of the present invention, the road sign object image cut out in the trimming process from the image obtained by photographing the road sign object from diagonally upward is corrected to an overhead view shape by homography conversion. The photographer holds a camera, a smartphone, a tablet terminal, etc. in his hand and shoots the road sign object from the sidewalk side. It can be corrected to a bird's-eye view, and it is not necessary to photograph the road marking body from directly above. Therefore, since it is not necessary to photograph the road marking object after entering the roadway, it is possible to easily photograph the road marking object without restricting the traffic of the vehicle. Further, in the road sign object deterioration detection method of the present invention, the deterioration determination criterion is clear because the deterioration state of the road sign object is determined in the deterioration determination step based on the corrected image corrected by homography conversion. Further, it is possible to determine the deterioration state of the road marking object based on a certain deterioration determination criterion.
したがって、本発明の道路標示劣化検出方法では、判断基準を明確として、劣化状態を判別することができる。 Therefore, in the road marking deterioration detection method of the present invention, it is possible to determine the deterioration condition with clear determination criteria.
具体的には、本発明の道路標示劣化検出方法において、劣化判別工程を、補正画像を二値化して、該二値化された画像に基づいて前記道路標示体の剥離率を算出する構成とすることが、好ましい。 Specifically, in the road marking degradation detection method of the present invention, the degradation determination step includes binarizing the corrected image and calculating the peeling rate of the road marking object based on the binarized image; It is preferable to do.
また、上記構成の道路標示劣化検出方法は、道路標示体として、横断歩道の劣化検出に好適である。道路標示体が横断歩道である場合、前記劣化判別工程において、前記道路標示体の剥離率として前記横断歩道の白線毎の剥離率を算出することが好ましい。 Moreover, the road marking deterioration detection method having the above configuration is suitable for detecting the deterioration of a pedestrian crossing as a road marking body. When the road marking object is a pedestrian crossing, it is preferable to calculate a peeling rate for each white line of the pedestrian crossing as the peeling rate of the road marking object in the deterioration determining step .
さらに、上記構成の道路標示劣化検出方法において、撮影工程において道路標示体を撮影する撮影機を、撮影工程で取得された画像をサーバに送信可能に構成し、
サーバにおいて、トリミング工程と画像補正工程と劣化判別工程とを行なう構成とすることも可能である。
Furthermore, in the road sign deterioration detection method having the above-described configuration, the photographing machine that photographs the road marking object in the photographing process is configured to be able to transmit the image acquired in the photographing process to the server,
The server may be configured to perform a trimming process, an image correction process, and a degradation determination process.
このような道路標示劣化検出方法では、例えば、道路標示体としての横断歩道脇に、この撮影機を設置し、定期的に画像を撮影してサーバに送信することにより、道路標示体の状態を継続して観測することも可能となる。 In such a road marking deterioration detection method, for example, by installing this camera on the side of a pedestrian crossing as a road marking body, periodically taking images and transmitting them to a server, the state of the road marking body is determined. It is also possible to observe continuously.
さらにまた、上記構成の道路標示劣化検出方法において、撮影機を、撮影者により持ち運び可能な携帯型端末とし、かつ、位置情報取得機能を有して、位置情報をサーバに送信可能な構成とすれば、撮影者が移動しつつ、各所の道路標示体を撮影し、サーバに随時送信する際に、位置情報を添付して道路標示体画像を送信することができる。そのため、例えば、地図データ上に、道路標示体の設置位置を記録し、また、この道路標示体の画像を貼り付けることもできることから、一定の区域に設置される複数の道路標示体を、一括して容易に管理することも可能となって、好ましい。 Furthermore, in the road marking deterioration detection method having the above-described configuration, the photographing device is a portable terminal that can be carried by the photographer and has a position information acquisition function so that the position information can be transmitted to the server. For example, when the photographer moves, the road sign object at each place is photographed, and when transmitting to the server, the road sign object image can be transmitted with the position information attached. Therefore, for example, the installation position of road marking objects can be recorded on map data, and an image of this road marking object can also be pasted. Thus, it can be easily managed, which is preferable.
以下、本発明の一実施形態を図面に基づいて説明する。実施形態では、路面１に施工された道路標示体としての横断歩道３の劣化を検出する道路標示体劣化検出システム１０（以下、単に「劣化検出システム」と省略する）について、説明をする。 Hereinafter, an embodiment of the present invention will be described with reference to the drawings. In the embodiment, a road sign body deterioration detection system 10 (hereinafter simply referred to as “deterioration detection system”) that detects deterioration of a pedestrian crossing 3 as a road sign body constructed on the road surface 1 will be described.
劣化検出システム１０は、図１に示すように、路面１に施工された横断歩道３を撮影する撮影手段１２と、撮影手段１２により撮影された横断歩道３の画像を処理するトリミング手段１５及び画像補正手段１６と、補正された画像に基づき横断歩道３の劣化を判別する劣化判別手段１８と、を備えている。実施形態の場合、劣化検出システム１０は、作業者により携行可能な携帯型端末であるタブレット端末に搭載されている。このタブレット端末は、ＧＰＳによる位置情報取得機能を有するもので、後述する横断歩道３の剥離率データを図示しないサーバに送信可能とされている。 As shown in FIG. 1, the deterioration detection system 10 includes a photographing unit 12 that photographs a pedestrian crossing 3 constructed on the road surface 1, a trimming unit 15 that processes an image of the pedestrian crossing 3 photographed by the photographing unit 12, and an image. The correction means 16 and the deterioration determination means 18 which determines deterioration of the pedestrian crossing 3 based on the corrected image are provided. In the case of the embodiment, the deterioration detection system 10 is mounted on a tablet terminal that is a portable terminal that can be carried by an operator. This tablet terminal has a position information acquisition function by GPS, and can transmit peeling rate data of a pedestrian crossing 3 described later to a server (not shown).
まず、実施形態において、劣化を検出する道路標示体としての横断歩道３について、説明をする。横断歩道３の大きさは、国土交通省の「道路標識，区画線及び道路標示に関する命令」に定められている。具体的には、横断歩道３の白線４は、図２に示すように、幅寸法を、４５ｃｍ幅に定められており、横断歩道３は、この白線４を４５ｃｍ間隔で設置させて、路面１に施工されている。 First, in the embodiment, the pedestrian crossing 3 as a road marking body for detecting deterioration will be described. The size of the pedestrian crossing 3 is determined by the Ministry of Land, Infrastructure, Transport and Tourism's “Order on Road Signs, Lane Lines, and Road Signs”. Specifically, as shown in FIG. 2, the white line 4 of the pedestrian crossing 3 is set to have a width dimension of 45 cm, and the pedestrian crossing 3 has the white line 4 installed at intervals of 45 cm, so that the road surface 1 It is constructed in.
撮影手段１２は、タブレット端末に搭載されるカメラ機能から構成されている。実施形態で使用されるタブレット端末のカメラは、具体的には、有効画素数を約８０８万画素とされて、ユニットセルサイズ（単位画素サイズ）を１．１２μｍ×１．１２μｍとされている。 The photographing means 12 is composed of a camera function mounted on the tablet terminal. Specifically, the camera of the tablet terminal used in the embodiment has an effective pixel number of about 0.88 million pixels and a unit cell size (unit pixel size) of 1.12 μm × 1.12 μm.
そして、この撮影手段１２を有するタブレット端末を使用した撮影工程において、撮影者が、横断歩道３を斜め上方から撮影することとなる。具体的には、実施形態の場合、撮影者が、歩道側からタブレット端末によって、横断歩道３の白線を全て入り込ませるようにして、横断歩道３を斜め上方から撮影することとなる（図３のＡ及び図４のＡ参照）。 Then, in the photographing process using the tablet terminal having the photographing means 12, the photographer photographs the pedestrian crossing 3 from obliquely above. Specifically, in the case of the embodiment, the photographer takes a picture of the pedestrian crossing 3 from diagonally above so that all the white lines of the pedestrian crossing 3 are entered from the sidewalk side with a tablet terminal (see FIG. 3). A and FIG. 4A).
トリミング手段１５は、トリミング工程において、タブレット端末により撮影された横断歩道３を含む撮影画像Ｐ１から、道路標示体画像としての横断歩道画像Ｐ２を切り出し可能とされる。具体的には、図４のＡに示すように、作業者が、タブレット端末の画面に映し出された撮影画像Ｐ１上で、横断歩道３の四隅付近の四点の座標（ｘ１，ｙ１）、（ｘ２，ｙ２）、（ｘ３，ｙ３）、（ｘ４，ｙ４）を、手動で（例えば、画面を触ること等により）決定すれば、トリミング手段１５は、撮影画像Ｐ１から、これら四点の座標（ｘ１，ｙ１）、（ｘ２，ｙ２）、（ｘ３，ｙ３）、（ｘ４，ｙ４）をそれぞれ結んだ略台形状の横断歩道エリアを、切り出して、図４のＢに示すように、横断歩道画像Ｐ２を形成可能とされている。 The trimming means 15 can cut out a pedestrian crossing image P2 as a road marking body image from the captured image P1 including the pedestrian crossing 3 photographed by the tablet terminal in the trimming step. Specifically, as shown in A of FIG. 4, the worker has coordinates (x1, y1), (4) of the four points near the four corners of the pedestrian crossing 3 on the captured image P1 displayed on the screen of the tablet terminal. If x2, y2), (x3, y3), (x4, y4) are determined manually (for example, by touching the screen, etc.), the trimming means 15 uses the coordinates of these four points from the captured image P1 ( x1, y1), (x2, y2), (x3, y3), and (x4, y4) are connected to the substantially trapezoidal pedestrian crossing area, as shown in FIG. P2 can be formed.
画像補正手段１６は、画像補正工程において、横断歩道画像Ｐ２を、ホモグラフィ変換を利用して、俯瞰図状に補正する手段である。具体的には、画像補正手段１６は、横断歩道画像Ｐ２における四隅の座標を、それぞれ、下記数１によってホモグラフィ変換することにより、図５に示すように、略台形形状の横断歩道画像Ｐ２から、略長方形として、俯瞰図状に補正された補正画像Ｐ３を形成することができる。 The image correction unit 16 is a unit that corrects the pedestrian crossing image P2 into a bird's-eye view using homography conversion in the image correction step. Specifically, the image correction means 16 performs homography transformation on the coordinates of the four corners in the pedestrian crossing image P2 according to the following equation 1, respectively, so as to obtain a substantially trapezoidal crosswalk image P2 as shown in FIG. As a substantially rectangular shape, a corrected image P3 corrected to an overhead view shape can be formed.
この数１において、ｈ１１、ｈ１２、ｈ１３、ｈ２１、ｈ２２、ｈ２３、ｈ３１、ｈ３２、及び、ｈ３３は、実数である。また、数１において、記号「〜」は、同値関係を表し、定数倍の違いを許容して等しいことを意味している。 In this equation 1, h11, h12, h13, h21, h22, h23, h31, h32, and h33 are real numbers. Further, in Equation 1, the symbol “˜” represents an equivalence relationship, which means that they are equal by allowing a constant multiple difference.
劣化判別手段１８は、劣化判別工程において、補正画像Ｐ３から横断歩道３の劣化状態を判別する手段である。実施形態の場合、劣化判別手段１８は、補正画像Ｐ３をグレースケール変換するグレースケール変換手段１９と、グレースケール変換されたグレースケール画像Ｐ４（図３のＣ参照）を二値化する二値化手段２０と、二値化処理された二値化画像Ｐ５（図３のＤ参照）における白線領域Ａの剥離率を計測する剥離率計測手段２１と、を備えている。 The deterioration determination means 18 is a means for determining the deterioration state of the pedestrian crossing 3 from the corrected image P3 in the deterioration determination step. In the case of the embodiment, the deterioration determination unit 18 binarizes the grayscale conversion unit 19 that performs grayscale conversion on the corrected image P3 and the grayscale image P4 that has undergone grayscale conversion (see C in FIG. 3). Means 20 and a peeling rate measuring means 21 for measuring the peeling rate of the white line area A in the binarized image P5 (see D in FIG. 3).
グレースケール変換手段１９は、グレースケール変換工程において、補正画像Ｐ３における各画素のＲＧＢ値を、下記数２に入力し、輝度値（Ｙ）に置換することにより、補正画像Ｐ３をグレースケール画像Ｐ４に変換するものである（図３のＢ，Ｃ参照）。 In the gray scale conversion step, the gray scale conversion means 19 inputs the RGB value of each pixel in the corrected image P3 into the following formula 2 and replaces it with the luminance value (Y), thereby converting the corrected image P3 into the gray scale image P4. (See B and C in FIG. 3).
この数２は、ＮＴＳＣ計数による加重平均法によるものである。 This number 2 is based on the weighted average method by NTSC counting.
二値化手段２０は、二値化工程において、閾値を定め、グレースケール画像Ｐ４の各画素の輝度値を、その閾値を境として、白（Ｙ＝２５５）と黒（Ｙ＝０）の二値に変換を行なうものである。具体的には、下記数３に示す如く、座標（ｘ，ｙ）に対応する輝度値ｆ（ｘ，ｙ）に対して、閾値をθとすることにより、グレースケール画像Ｐ４を二値化して、二値化画像Ｐ５を形成することができる（図３のＣ，Ｄ参照）。閾値θは、実施形態の場合１００とされている。 In the binarization step, the binarizing unit 20 determines a threshold value, and the luminance value of each pixel of the grayscale image P4 is set to the white (Y = 255) and black (Y = 0) values with the threshold as a boundary. Converts to a value. Specifically, the grayscale image P4 is binarized by setting the threshold value to θ with respect to the luminance value f (x, y) corresponding to the coordinates (x, y) as shown in Equation 3 below. A binarized image P5 can be formed (see C and D in FIG. 3). The threshold value θ is 100 in the embodiment.
このように二値化すれば、図６のＡに示すように、グレースケール画像Ｐ４´の一例が、図６のＢに示すような二値化画像Ｐ５´となる。なお、図６のＡにおいては、各画素の輝度値のみを記載している。 If binarization is performed in this way, an example of a grayscale image P4 ′ becomes a binarized image P5 ′ as shown in FIG. 6B, as shown in FIG. 6A. In FIG. 6A, only the luminance value of each pixel is shown.
剥離率計測手段２１は、剥離率計測工程において、二値化画像Ｐ５における各白線領域Ａの剥離率を計算する。具体的には、各白線領域Ａの剥離率は、各白線領域Ａの塗布領域の画素数と、残留領域の画素数と、を計算し、下記数４に入力して、計算される。 The peeling rate measuring means 21 calculates the peeling rate of each white line area A in the binarized image P5 in the peeling rate measuring step. Specifically, the peeling rate of each white line area A is calculated by calculating the number of pixels in the application area of each white line area A and the number of pixels in the remaining area and inputting them into the following Expression 4.
詳細には、二値化画像Ｐ５において、剥離率を計測する白線の本数（Ｎ）を、入力し、各白線領域Ａを算出する。各白線領域Ａは、画素（ａ×ｂ）の画像座標において、（０，０）の最も近傍に配置される白線を１本目とすれば、ｎ本目の白線領域Ａは、下記数５及び数６によって定められる。 Specifically, in the binarized image P5, the number of white lines (N) for measuring the peeling rate is input, and each white line area A is calculated. Each white line area A is represented by the following equation 5 and number n, assuming that the first white line arranged closest to (0, 0) in the image coordinates of the pixel (a × b) is the first. 6 is determined.
また、各白線領域Ａ全体の画素数（ｗ）の範囲は、下記数７によって定められることとなる。 Further, the range of the number of pixels (w) of each white line region A as a whole is determined by the following Expression 7.
そして、剥離率計測手段２１は、各白線領域Ａに含まれる画素のうち、白色と判断した画素を数えることにより、図３のＥに示すように、各白線領域Ａの剥離率を算出することができる。そして、算出された各白線領域Ａの剥離率によって、横断歩道３の劣化状態を判定する。実施形態では、路面標示ハンドブックに基づき、剥離率が３０％を超えていれば、白線領域Ａが劣化していると判定する。 And the peeling rate measuring means 21 calculates the peeling rate of each white line area A as shown in E of FIG. 3 by counting the pixels judged to be white among the pixels included in each white line area A. Can do. Then, the deterioration state of the pedestrian crossing 3 is determined based on the calculated peeling rate of each white line region A. In the embodiment, based on the road marking handbook, if the peeling rate exceeds 30%, it is determined that the white line area A is deteriorated.
このようにして算出した横断歩道３の剥離率データは、タブレット端末によって、図示しないサーバに送信し、サーバに蓄積させることもできる。サーバとタブレット端末とは、ケーブルを用いて接続させて、タブレット端末内のデータをサーバ内に移動させてもよく、また、ケーブルにより接続させず、タブレット端末からサーバにデータを送信させてもよい。 The peeling rate data of the pedestrian crossing 3 calculated in this way can be transmitted to a server (not shown) by a tablet terminal and stored in the server. The server and the tablet terminal may be connected using a cable, and the data in the tablet terminal may be moved into the server, or the data may be transmitted from the tablet terminal to the server without being connected by the cable. .
次に、実施例として、具体的な横断歩道の劣化検出方法について、説明をする。 Next, a specific method for detecting deterioration of a pedestrian crossing will be described as an example.
実施例では、図７，８に示すように、対面通行の道路における路面に施工されて、白線を１１本配置させている横断歩道の劣化を検出する。劣化検出システムを搭載させたタブレット端末としては、ソニー株式会社製の「Xperia Z2 tablet」を使用している。このタブレット端末の仕様の詳細を表１に示し、タブレット端末におけるカメラ機能の仕様の詳細を表２に示す。 In the embodiment, as shown in FIGS. 7 and 8, deterioration of a pedestrian crossing constructed on eleven white lines is detected on a road surface in a face-to-face road. Sony's “Xperia Z2 tablet” is used as a tablet device with a deterioration detection system. Details of the specifications of the tablet terminal are shown in Table 1, and details of camera function specifications in the tablet terminal are shown in Table 2.
まず、撮影工程において、横断歩道を撮影する。この実施例では、横断歩道が１１本の白線を配置させて構成されていることから、道路の片側のみから撮影した場合、撮影者から離れた側の白線の面積が小さくなってしまう。そのため、実施例では、図７，８に示すように、横断歩道を、全ての白線を入り込ませるようにして、道路の両側から撮影し、それぞれの撮影画像を元に、横断歩道の劣化を判別する。 First, a pedestrian crossing is photographed in the photographing process. In this embodiment, since the pedestrian crossing is configured by arranging 11 white lines, when the image is taken from only one side of the road, the area of the white line on the side away from the photographer becomes small. Therefore, in the embodiment, as shown in FIGS. 7 and 8, the pedestrian crossing is photographed from both sides of the road so that all white lines are inserted, and the deterioration of the pedestrian crossing is determined based on each photographed image. To do.
次いで、撮影された各撮影画像を、トリミング工程において、横断歩道画像を切り出す。このとき、横断歩道の一方側から撮影した撮影画像では、撮影者側から白線領域６本分の領域を切り出し（図７，９参照）、横断歩道の他方側から撮影した撮影画像では、撮影者側から白線領域５本分の領域を切り出すこととなる（図８，１０参照）。そして、画像補正工程において、これらの横断歩道画像を、ホモグラフィ変換により俯瞰図状に補正して、補正画像を形成する。その後、劣化判別工程において、まず、グレースケール変換工程にて、補正図をグレースケール変換し、その後、二値化工程において二値化すれば、図９，１０に示すような二値化画像を形成できる。そして、剥離率計測工程において、これらの二値化画像における各白線領域の剥離率を計測すれば、図１１に示すように、横断歩道のすべての白線領域の剥離率を計測することができる。そして、解析結果を出力して、サーバに送信することとなる。 Next, a pedestrian crossing image is cut out from each photographed image in a trimming step. At this time, in the photographed image taken from one side of the pedestrian crossing, an area corresponding to six white line regions is cut out from the photographer side (see FIGS. 7 and 9), and in the photographed image taken from the other side of the pedestrian crossing, the photographer A region corresponding to five white line regions is cut out from the side (see FIGS. 8 and 10). In the image correction step, these pedestrian crossing images are corrected to a bird's eye view by homography conversion to form a corrected image. Thereafter, in the deterioration determination step, first, the correction figure is converted to gray scale in the gray scale conversion step, and then binarized in the binarization step, a binarized image as shown in FIGS. Can be formed. Then, in the peeling rate measuring step, if the peeling rate of each white line region in these binarized images is measured, the peeling rate of all white line regions of the pedestrian crossing can be measured as shown in FIG. Then, the analysis result is output and transmitted to the server.
具体的には、実施例の劣化検出システム１０では、図１２のフローチャートに示すように、一方側から撮影した撮影画像が入力されれば、トリミング加工、ホモグラフィ変換、グレースケール変換、二値化処理、剥離率計測が順次行われることとなり、剥離率計測後に、再度撮影画像入力に戻って、他方側から撮影した撮影画像を入力し、同様に、トリミング加工、ホモグラフィ変換、グレースケール変換、二値化処理、剥離率計測が順次行われることとなる。その後、解析結果が出力されることとなる。 Specifically, in the degradation detection system 10 of the embodiment, as shown in the flowchart of FIG. 12, if a captured image taken from one side is input, trimming, homography conversion, gray scale conversion, binarization Processing, peeling rate measurement will be performed sequentially, after peeling rate measurement, return to the captured image input again, input the captured image captured from the other side, similarly, trimming processing, homography conversion, grayscale conversion, The binarization process and the peeling rate measurement are sequentially performed. Thereafter, the analysis result is output.
そして、実施形態の道路標示体劣化検出方法では、斜め上方から道路標示体としての横断歩道３を撮影した画像をトリミング工程において切り出した道路標示体画像（横断歩道画像Ｐ２）を、ホモグラフィ変換によって俯瞰図状に補正していることから、例えば、撮影者が、カメラや、スマートフォン、タブレット端末等の撮影手段１２（実施形態の場合、タブレット端末）を手に構えて、歩道側から横断歩道３を撮影することにより、斜め上方から撮影された横断歩道画像Ｐ２も、ホモグラフィ変換によって、俯瞰図状に補正することができ、横断歩道３を真上から撮影しなくともよい。そのため、横断歩道３を、車道内に進入して撮影しなくともよいことから、車両の交通規制等を行わなくとも、容易に、横断歩道３を撮影することができる。また、実施形態の道路標示体劣化検出方法では、ホモグラフィ変換によって補正した補正画像Ｐ３を元に、劣化判別工程において、横断歩道３の劣化状態を判別することから、劣化判断基準が明確であり、また、一定の劣化判断基準に基づき、道路標示体の劣化状態を判別することができる。 In the road sign object deterioration detection method according to the embodiment, a road sign object image (a pedestrian crossing image P2) obtained by cutting out an image of the pedestrian crossing 3 as a road sign object from an oblique upper side in a trimming process is obtained by homography conversion. For example, the photographer holds the photographing means 12 (in the embodiment, a tablet terminal) such as a camera, a smartphone, or a tablet terminal in his / her hand from the sidewalk side. , The pedestrian crossing image P2 photographed from obliquely above can be corrected to a bird's-eye view by homography conversion, and the pedestrian crossing 3 does not have to be photographed from directly above. Therefore, the pedestrian crossing 3 does not need to enter the roadway and be photographed. Therefore, the pedestrian crossing 3 can be easily photographed without restricting the traffic of the vehicle. Further, in the road sign object deterioration detection method of the embodiment, the deterioration determination criteria are clear because the deterioration state of the pedestrian crossing 3 is determined in the deterioration determination step based on the corrected image P3 corrected by homography conversion. In addition, it is possible to determine the degradation state of the road marking object based on a certain degradation criterion.
したがって、実施形態の道路標示劣化検出方法では、判断基準を明確として、劣化状態を判別することができる。 Therefore, in the road marking deterioration detection method according to the embodiment, it is possible to determine the deterioration state with clear determination criteria.
具体的には、実施形態の道路標示劣化検出方法では、劣化判別工程を、補正画像Ｐ３を二値化して、行なう構成としており、具体的には、二値化した画像を元に、横断歩道における白線領域Ａの剥離率を計測している。そのため、剥離率の大小によって、劣化状態を判断することができ、明確な劣化判断基準を設定することができる。 Specifically, in the road marking deterioration detection method of the embodiment, the deterioration determination step is performed by binarizing the correction image P3. Specifically, based on the binarized image, a pedestrian crossing is performed. The peel rate of the white line area A is measured. Therefore, the deterioration state can be determined based on the magnitude of the peeling rate, and a clear deterioration determination standard can be set.
実施形態では、道路標示劣化検出システム１０は、作業者により携行可能な可能なタブレット端末に搭載されており、このタブレット端末によって、横断歩道３を撮影し、撮影した画像（撮影画像Ｐ１）をタブレット端末内で処理することにより、横断歩道の白線領域の剥離率を計測し、解析結果を出力して、サーバに送信するように構成されている。また、この道路標示劣化検出システム１０を搭載させたタブレット端末は、位置情報取得機能を有して、位置情報をサーバに送信可能な構成としている。そのため、撮影者が移動しつつ、各所の横断歩道を撮影して画像処理を行ない、得られた横断歩道の白線領域の剥離率データを、サーバに随時送信する際に、位置情報を添付して送信することができる。その結果、例えば、図１３に示すように、地図データＭ上に、複数の横断歩道３の設置位置ＰＯを記録し、また、これらの横断歩道の画像や剥離率の蓄積データを貼り付けることもできることから、日本全国、あるいは、管理者別に管理される一定の区域に設置される複数の横断歩道等を、一括して容易に管理することもできる。なお、実施形態では、道路標示劣化検出システム１０をタブレット端末に搭載しているが、道路標示劣化検出システム１０は、スマートフォンに搭載させてもよい。 In the embodiment, the road marking deterioration detection system 10 is mounted on a tablet terminal that can be carried by an operator. The tablet terminal captures an image of the pedestrian crossing 3 and captures the captured image (captured image P1) as a tablet. By processing in the terminal, the separation rate of the white line area of the pedestrian crossing is measured, and the analysis result is output and transmitted to the server. In addition, the tablet terminal on which the road marking deterioration detection system 10 is mounted has a position information acquisition function and is configured to be able to transmit the position information to the server. Therefore, when the photographer is moving, the pedestrian crossing at each place is photographed, image processing is performed, and the white line area peeling rate data of the obtained pedestrian crossing is sent to the server as needed, with location information attached. Can be sent. As a result, for example, as shown in FIG. 13, the installation positions PO of the plurality of pedestrian crossings 3 are recorded on the map data M, and the images of these pedestrian crossings and the accumulated data of the peeling rate may be pasted. Therefore, it is possible to easily manage a plurality of pedestrian crossings and the like installed in Japan or in a certain area managed by each manager. In the embodiment, the road marking degradation detection system 10 is mounted on a tablet terminal, but the road marking degradation detection system 10 may be mounted on a smartphone.
そして、このように近隣の複数の横断歩道を一括管理し、また、各横断歩道の白線領域の剥離率のデータを蓄積することにより、管理区域の横断歩道の劣化の進行を予測して、メンテナンスを有効に行なうことも可能となる。 In this way, a plurality of neighboring pedestrian crossings are managed in a batch, and the data on the separation rate of the white line area of each pedestrian crossing is accumulated to predict the progress of deterioration of the pedestrian crossing in the management area, and maintenance Can also be performed effectively.
なお、実施形態では、道路標示劣化検出システム１０全体を、タブレット端末に搭載させているが、横断歩道（道路標示体）の撮影のみを、カメラ等の撮影機（撮影手段）で行ない、撮影画像をサーバに転送して、トリミング工程以降をサーバで行なう構成としてもよい。このような構成とすれば、例えば、撮影者が撮影画像Ｐ１を送信すれば、サーバ側で別の作業者が、撮影画像Ｐ１を補正して、劣化を判別させることも可能となる。また、例えば、道路標示体としての横断歩道脇に、自動的に横断歩道を撮影して撮影画像を送信可能な撮影機を設置して、定期的に横断歩道の画像を撮影してサーバに送信することにより、横断歩道の状態を継続して観測することも可能となる。そして、撮影工程のみを撮影機で行なう場合、撮影機はケーブルを用いてサーバに接続可能であれば、送信機能を備えなくてもよく、送信機能を備えないデジタルカメラ等も使用できる。 In the embodiment, the entire road marking deterioration detection system 10 is mounted on a tablet terminal, but only a pedestrian crossing (road marking object) is shot with a camera (shooting means) such as a camera. May be transferred to the server, and the trimming process and subsequent steps may be performed by the server. With such a configuration, for example, by transmitting the photographer captured image P1, another worker at the server side, corrects the captured image P1, it is possible to determine the deterioration. In addition, for example, a camera that can automatically shoot a pedestrian crossing and send the captured image is installed beside the pedestrian crossing as a road marking object, and periodically captures the image of the pedestrian crossing and sends it to the server By doing so, it is possible to continuously observe the state of the pedestrian crossing. When only the photographing process is performed by the photographing machine, the photographing machine may not have a transmission function as long as it can be connected to the server using a cable, and a digital camera or the like without a transmission function can be used.
なお、実施形態では、道路標示体として横断歩道を例に採り説明しているが、本発明は横断歩道に限られるものではなく、例えば、停止線や横断予告、路面に施工された速度標示等、横断歩道以外の道路標示体にも適用可能である。 In the embodiment, a pedestrian crossing is taken as an example as a road marking body, but the present invention is not limited to a pedestrian crossing, and examples include a stop line, a crossing notice, a speed sign constructed on a road surface, and the like. It is also applicable to road marking objects other than pedestrian crossings.
１…路面、３…横断歩道（道路標示体）、１０…道路標示体劣化検出システム（劣化検出システム）、１２…撮影手段、１５…トリミング手段、１６…画像補正手段、１８…劣化判別手段、１９…グレースケール変換手段、２０…二値化手段、２１…剥離率計測手段、Ｐ１…撮影画像、Ｐ２…横断歩道画像（道路標示体画像）、Ｐ３…補正画像、Ｐ４…グレースケール画像、Ｐ５…二値化画像、Ａ…白線領域。 DESCRIPTION OF SYMBOLS 1 ... Road surface, 3 ... Crosswalk (road marking body), 10 ... Road marking body deterioration detection system (deterioration detection system), 12 ... Imaging | photography means, 15 ... Trimming means, 16 ... Image correction means, 18 ... Degradation discrimination means, DESCRIPTION OF SYMBOLS 19 ... Gray scale conversion means, 20 ... Binarization means, 21 ... Peeling rate measurement means, P1 ... Photographed image, P2 ... Crosswalk image (road marking body image), P3 ... Correction image, P4 ... Gray scale image, P5 ... binarized image, A ... white line area.
Claims (7)
前記道路標示体を斜め上方から撮影する撮影工程と、
前記撮影工程で取得された画像を画面に表示し、該画面上で切り出す領域の四隅の点を作業者が指定することにより入力された座標情報に基づいて、前記撮影工程で取得された画像から、前記道路標示体の画像（以下「道路標示体画像」とする）を切り出すトリミング工程と、
前記道路標示体画像を、ホモグラフィ変換により俯瞰図状に補正する画像補正工程と、
該画像補正工程により補正された補正画像から前記道路標示体の剥離率を算出する劣化判別工程と、
を経て、前記道路標示体の劣化を検出することを特徴とする道路標示体劣化検出方法。 A road sign object deterioration detection method for detecting deterioration of a road sign object constructed on a road surface,
A photographing step of photographing the road marking object from obliquely above;
The image acquired in the imaging step is displayed on the screen, and based on the coordinate information input by the operator specifying the four corner points of the area to be cut out on the screen, from the image acquired in the imaging step , A trimming step of cutting out an image of the road sign object (hereinafter referred to as “road sign object image”);
An image correction step of correcting the road sign object image into an overhead view shape by homography conversion,
A deterioration determining step of calculating a peeling rate of the road marking object from the corrected image corrected by the image correcting step;
And detecting the deterioration of the road marking object through the method.
該サーバにおいて前記トリミング工程と前記画像補正工程と前記劣化判別工程とを行なうことを特徴とする請求項１乃至３のいずれか１項に記載の道路標示劣化検出方法。 The photographing machine that photographs the road marking object in the photographing step is configured to be able to transmit the image acquired in the photographing step to a server,
The road marking deterioration detection method according to any one of claims 1 to 3, wherein the trimming step, the image correction step, and the deterioration determination step are performed in the server.
前記道路標示体を斜め上方から撮影する撮影手段と、
前記撮影手段により撮影された画像を画面に表示し、該画面上で切り出す領域の作業者が四隅の点を指定することにより入力された座標情報に基づいて、前記撮影手段により撮影された画像から、前記道路標示体の画像（以下「道路標示体画像」とする）を切り出すトリミング手段と、
前記道路標示体画像を、ホモグラフィ変換により俯瞰図状に補正する画像補正手段と、
該画像補正手段により補正された補正画像から前記道路標示体の剥離率を算出する劣化判別手段と、
を、備えることを特徴とする道路標示体劣化検出システム。 A road marking body deterioration detection system for detecting deterioration of a road marking body constructed on a road surface,
Photographing means for photographing the road sign body from obliquely above;
From the image photographed by the photographing means , based on the coordinate information inputted by displaying the image photographed by the photographing means on the screen and the operator of the area cut out on the screen specifying the four corner points. Trimming means for cutting out an image of the road sign object (hereinafter referred to as “road sign object image”);
Image correction means for correcting the road sign object image into a bird's eye view by homography conversion;
Deterioration determining means for calculating a peeling rate of the road marking object from the corrected image corrected by the image correcting means;
A road marking body deterioration detection system, comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015140494A JP6408434B2 (en) | 2015-07-14 | 2015-07-14 | Road marking body deterioration detection method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015140494A JP6408434B2 (en) | 2015-07-14 | 2015-07-14 | Road marking body deterioration detection method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017020303A JP2017020303A (en) | 2017-01-26 |
| JP6408434B2 true JP6408434B2 (en) | 2018-10-17 |
Family
ID=57887773
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015140494A Active JP6408434B2 (en) | 2015-07-14 | 2015-07-14 | Road marking body deterioration detection method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6408434B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108797415A (en) * | 2018-05-28 | 2018-11-13 | 昆明理工大学 | A kind of urban road intersection is traffic sign and marked and its location determining method |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6640146B2 (en) * | 2017-04-14 | 2020-02-05 | 宮川興業株式会社 | Road marking method |
| JPWO2019107353A1 (en) * | 2017-11-30 | 2020-12-17 | パイオニア株式会社 | Data structure of map data |
| US11023747B2 (en) * | 2019-03-05 | 2021-06-01 | Here Global B.V. | Method, apparatus, and system for detecting degraded ground paint in an image |
| JP7129363B2 (en) * | 2019-03-08 | 2022-09-01 | 東京瓦斯株式会社 | Road restoration support system, road restoration support method and road restoration support program |
| JP7358762B2 (en) | 2019-04-02 | 2023-10-11 | トヨタ自動車株式会社 | Road anomaly detection device, road anomaly detection method, and road anomaly detection program |
| CN114941295A (en) * | 2020-08-21 | 2022-08-26 | 陈红运 | Intelligent road surface marking line and anti-skid groove system |
| JP7315909B2 (en) * | 2020-12-07 | 2023-07-27 | 宮川興業株式会社 | Computer system for visualizing soundness of crosswalk markings |
| JP2022112897A (en) | 2021-01-22 | 2022-08-03 | トヨタ自動車株式会社 | Information processing device and information processing method |
| WO2023127082A1 (en) * | 2021-12-28 | 2023-07-06 | 日本電気株式会社 | Management assistance system, management assistance method, and recording medium |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001101415A (en) * | 1999-09-29 | 2001-04-13 | Fujitsu Ten Ltd | Image recognizing device and image processor |
| JP4305361B2 (en) * | 2004-10-15 | 2009-07-29 | 株式会社日立製作所 | Road management system |
| JP2013122739A (en) * | 2011-12-12 | 2013-06-20 | Fujitsu Ltd | Analysis device, analysis program and analysis method |
| JP6084434B2 (en) * | 2012-10-31 | 2017-02-22 | クラリオン株式会社 | Image processing system and image processing method |
-
2015
- 2015-07-14 JP JP2015140494A patent/JP6408434B2/en active Active
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108797415A (en) * | 2018-05-28 | 2018-11-13 | 昆明理工大学 | A kind of urban road intersection is traffic sign and marked and its location determining method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2017020303A (en) | 2017-01-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6408434B2 (en) | Road marking body deterioration detection method | |
| US9805456B1 (en) | Method and system for assessing damage to infrastructure | |
| CN105279372B (en) | A kind of method and apparatus of determining depth of building | |
| US20200160561A1 (en) | Vehicle-mounted camera pose estimation method, apparatus, and system, and electronic device | |
| US8824823B1 (en) | Increased quality of image objects based on depth in scene | |
| WO2013186662A1 (en) | Multi-cue object detection and analysis | |
| CN101499166A (en) | Image splicing method and apparatus | |
| WO2007040920A3 (en) | Assets tracking using location measurements and ad-hoc routing algorithms | |
| CN112949530B (en) | Inspection method and system for inspection vehicle of parking lot and inspection vehicle | |
| JP2019045922A (en) | Deformed spot detection device, deformed spot detection program and deformed spot detection method | |
| JP5183152B2 (en) | Image processing device | |
| CN110309330B (en) | Processing method and device of visual map | |
| CN110809779A (en) | Image synthesizing method, image synthesizing apparatus, and recording medium | |
| KR20160002909U (en) | Porthole detection notification system using smart phones | |
| JP2012248004A (en) | Image processing system, image recognition device and method | |
| KR101381580B1 (en) | Method and system for detecting position of vehicle in image of influenced various illumination environment | |
| CN111612812B (en) | Target object detection method, detection device and electronic equipment | |
| CN104899854A (en) | Detection method and detection device of grain piling height line | |
| KR20100105160A (en) | Auto transportation information extraction system and thereby method | |
| CN110619645A (en) | Automatic identification and positioning device and method for container towing bracket under bridge crane | |
| JP2023036054A (en) | Target counting method, apparatus, device, and storage medium | |
| CN115249345A (en) | Traffic jam detection method based on oblique photography three-dimensional live-action map | |
| CN104700396B (en) | The method and system of the parameter for estimating the volume of traffic is determined from image | |
| CN113378606A (en) | Method, device and system for determining labeling information | |
| JP5911623B1 (en) | Detection device and detection method for road joints |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170410 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180117 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180206 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180404 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180821 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180920 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6408434 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |