JP2020085852A - Evaluation device, investigation system, and evaluation method, and program - Google Patents
Evaluation device, investigation system, and evaluation method, and program Download PDFInfo
- Publication number
- JP2020085852A JP2020085852A JP2018225544A JP2018225544A JP2020085852A JP 2020085852 A JP2020085852 A JP 2020085852A JP 2018225544 A JP2018225544 A JP 2018225544A JP 2018225544 A JP2018225544 A JP 2018225544A JP 2020085852 A JP2020085852 A JP 2020085852A
- Authority
- JP
- Japan
- Prior art keywords
- evaluation
- measurement position
- road surface
- property
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Road Repair (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
本開示内容は、路面等の構造物の損傷の度合いを評価する発明に関する。 The present disclosure relates to an invention for evaluating the degree of damage to a structure such as a road surface.
道路、線路、トンネル等は、車両の通行、気候、外部からの圧力等によって損傷し、その損傷が拡大すると、重大な事故等の発生に繋がる。そのため、損傷状態の評価を行うために定期的な点検が必要とされている。道路の路面については、代表的な損傷点検項目として、ひび割れ、わだち掘れ（道路の幅方向の凹凸）、平坦性（車両進行方向の凹凸）がある。 Roads, railroads, tunnels, etc. are damaged by traffic of vehicles, climate, pressure from the outside, etc. If the damage spreads, serious accidents etc. will occur. Therefore, regular inspection is required to evaluate the damage condition. For road surfaces, typical damage inspection items are cracks, ruts (irregularities in the width direction of the road), and flatness (irregularities in the vehicle traveling direction).
図１３は、ひび割れを示した概念図である。図１３では、上空から車両１０及びひび割れ１０１ａ，１０１ｂが表されている。ひび割れ１０１ａ，１０１ｂは、例えば、冬の凍結による路面***及び春の融解による路面低下により生じる亀甲状のひび割れ等である。 FIG. 13 is a conceptual diagram showing cracks. In FIG. 13, the vehicle 10 and the cracks 101a and 101b are shown from the sky. The cracks 101a and 101b are, for example, a hexagonal crack or the like caused by a road surface uplift due to freezing in winter and a road surface lowering due to melting in spring.
図１４は、わだち掘れを示した概念図である。図１４では、車両１０の背面及びわだち掘れ１０２が表されている。わだち掘れ１０２は、例えば、チェーン走行により路面が損傷することにより生じる。 FIG. 14 is a conceptual diagram showing rutting. In FIG. 14, the back surface of the vehicle 10 and the rut 102 are shown. Rutting 102 occurs, for example, when the road surface is damaged by running the chain.
図１５は、平坦性を示した概念図である。図１５では、車両１０の側面及び路面の平坦性が表されている。平坦性は、舗装した道路がどれくらい平らに仕上げられているかを意味する。特に、高速道路の平坦性は、高くなければならない。図１５では、路面に凹部分１０３があり、凹凸（うねり又は段差）により平坦性が悪い状態が表されている。 FIG. 15 is a conceptual diagram showing flatness. In FIG. 15, the flatness of the side surface and the road surface of the vehicle 10 is shown. Flatness means how flat the paved road is. In particular, the flatness of highways must be high. In FIG. 15, there is a concave portion 103 on the road surface, and unevenness (waviness or step) indicates poor flatness.
これらの損傷点検項目を点検する際、ひび割れについては路面の撮影画像の取得が必要とされ、わだち掘れ及び平坦性については三次元形状計測データの取得が必要とされている。そのため、一般的には、専用の調査機器システムが利用されている。この調査機器システムは、ひび割れ撮影用のカメラ機材と、対象をレーザ照射してカメラ撮影することで三次元形状計測を行う光切断計測機材と、車両の前後２箇所以上に設置した路面高さセンサとを備えている。 When inspecting these damage inspection items, it is necessary to acquire a photographed image of the road surface for cracks, and it is necessary to acquire three-dimensional shape measurement data for rutting and flatness. Therefore, generally, a dedicated survey equipment system is used. This survey equipment system consists of camera equipment for crack imaging, optical cutting equipment for three-dimensional shape measurement by irradiating the object with a laser and taking a camera image, and road surface height sensors installed at two or more locations in front of and behind the vehicle. It has and.
また、道路の点検は年に一度、特定の路面（路線）を対象に行われる。そして、各年に撮影された同じ場所の画像を比較することで、経時的変化の調査に役立たせることができる。従来は、各年の同じ路線の同じ場所を特定するには、主に各年の画像が利用されていた（特許文献１参照）。例えば、測定対象の路線は複数の測定区間毎に始点及び終点が決められており、始点と終点を特定するために、人手によりスプレー等で白線等の路面指標を描画していた。その後に、車両に搭載されたカメラ等で路面指標を撮影することで、昨年と同じ場所の画像を特定し易くして、同じ場所の経時的変化を評価していた。 In addition, the road is inspected once a year on a specific road surface (route). Then, by comparing images taken at the same place in each year, it can be useful for investigating changes over time. Conventionally, images of each year have been mainly used to identify the same place on the same line in each year (see Patent Document 1). For example, a start point and an end point of a route to be measured are determined for each of a plurality of measurement sections, and in order to specify the start point and the end point, a road surface index such as a white line is manually drawn by spraying or the like. After that, by photographing the road surface index with a camera or the like mounted on the vehicle, it was easy to identify the image of the same place as last year, and the temporal change of the same place was evaluated.
しかしながら、測定対象の路面は長距離であるため、人手により白線等の路面指標を描画すると、路面性状調査の事前作業は、かなりの工数負担が掛かってしまうという問題が生じていた。 However, since the road surface to be measured has a long distance, if the road surface index such as a white line is manually drawn, a problem that the pre-operation of the road surface property inspection requires a considerable man-hour burden.
上述した課題を解決するために、請求項１に係る発明は、構造物の評価区間毎に当該構造物の損傷の度合いを評価する評価装置であって、前記構造物上を走行した車両の測位手段から取得された複数の測定位置データで示される測定位置群のうち、前記構造物の損傷の評価を開始する実際の位置を示す評価開始の実際位置に最も近い測定位置を評価開始の測定位置として特定する測定位置特定手段と、前記測定位置特定手段によって特定された前記評価開始の測定位置から前記構造物上の所定の道のりを評価区間として、前記構造物を表わす映像のフレームデータから構造物性状を計測する性状計測手段と、前記性状計測手段によって計測された構造物性状に基づき、前記構造物の損傷の度合いを評価する損傷評価手段と、を有することを特徴とする評価装置である。 In order to solve the above-mentioned problems, the invention according to claim 1 is an evaluation device for evaluating the degree of damage of a structure for each evaluation section of the structure, and positioning of a vehicle traveling on the structure. Of the measurement position group indicated by the plurality of measurement position data acquired from the means, the measurement position closest to the actual position of the evaluation start indicating the actual position to start the evaluation of damage to the structure is the measurement position of the evaluation start. And a structure from the frame data of the image representing the structure, with a predetermined path on the structure from the measurement position of the evaluation start specified by the measurement position specifying means as an evaluation section. An evaluation device comprising: a property measuring unit for measuring a property; and a damage evaluating unit for evaluating a degree of damage of the structure based on the property of the structure measured by the property measuring unit.
本発明によれば、路面性状調査の事前作業の工数負担を軽減させることができるという効果を奏する。 According to the present invention, there is an effect that it is possible to reduce the man-hour burden of the preliminary work for the road surface property inspection.
＜システムの概略＞
まずは、図１及び図２を用いて、構造部性状調査システムの概略について説明する。図１は、路面性状調査システムの全体構成図である。構造部性状調査システム（以下、「調査システム」と示す）は、路面ｒｓ１等の構造物のひび割れ等の性状を調査する調査機器システムを搭載した車両１、及び調査機器システムで取得された各種データを解析する評価装置８によって構成されている。構造物は、歩道面、車が走行する車道面（路面）、電車が走行する線路、法面、又はトンネルの内面、道路上の構造物等である。なお、道路上の構造物は、例えば、路端部上に設置される標識や電柱等である。
<Outline of system>
First, the outline of the structure property inspection system will be described with reference to FIGS. 1 and 2. FIG. 1 is an overall configuration diagram of a road surface property survey system. The structure property inspection system (hereinafter referred to as “investigation system”) is a vehicle 1 equipped with an inspection device system that inspects the properties such as cracks of structures such as the road surface rs1 and various data acquired by the inspection device system. Is composed of an evaluation device 8 for analyzing. The structure is a sidewalk surface, a road surface on which a car travels (road surface), a railroad track on which a train travels, a slope, an inner surface of a tunnel, a structure on a road, or the like. The structure on the road is, for example, a sign or an electric pole installed on the road edge.
以降は、車が走行する路面の性状を調査する場合について説明する。この調査システムは、例えば、一方に長く延びる構造物を一定の区間に区切ってその表面性状を調査する場合に利用される。 Hereinafter, the case of investigating the property of the road surface on which the vehicle travels will be described. This inspection system is used, for example, when a structure that extends in one direction is divided into certain sections and the surface properties thereof are investigated.
図１に示されているように、車両１には、調査機器システムが搭載されている。調査機器システムは、路面カメラ２、周辺カメラ３、データ管理装置４、ＧＮＳＳ(Global Navigation Satellite System：全球測位衛星システム)センサ５、及び距離計測装置６を有している。なお、「路面カメラ２」は、複数の路面カメラの総称である。ＧＮＳＳは、ＧＰＳ(Global Positioning System)や準天頂衛星（QZSS）等の衛星測位システムの総称である。 As shown in FIG. 1, the vehicle 1 is equipped with a research equipment system. The survey device system includes a road surface camera 2, a peripheral camera 3, a data management device 4, a GNSS (Global Navigation Satellite System) sensor 5, and a distance measuring device 6. The "road camera 2" is a general term for a plurality of road cameras. GNSS is a general term for satellite positioning systems such as GPS (Global Positioning System) and quasi-zenith satellite (QZSS).
路面カメラ２は、車両１のルーフ後部に、進行方向とは反対の方向に向けて設けられ、車両１の後方の路面ｒｓ１を撮像するステレオカメラである。なお、路面カメラ２は、車両１のルーフの前部に進行方向と同じ方向に向けて設けてもよく、車両１のルーフの側部に進行方向と直角（又は略直角）方向に向けて設けてもよい。 The road surface camera 2 is a stereo camera that is provided on the rear portion of the roof of the vehicle 1 in the direction opposite to the traveling direction and captures an image of the road surface rs1 behind the vehicle 1. The road surface camera 2 may be provided in the front portion of the roof of the vehicle 1 in the same direction as the traveling direction, or in the side portion of the roof of the vehicle 1 in a direction orthogonal (or substantially right angle) to the traveling direction. May be.
図２は、車両の背面図である。図２に示されているように、車両１のルーフ後部には、２つの路面カメラ２ａ，２ｂが設けられている。また、各路面カメラ２ａ，２ｂは、斜め下方の路面ｒｓ１に向くように一列に並べて配置されており、それぞれ路面ｒｓ１の所定範囲を撮影範囲ｐｒ１ａ，ｐｒ１ｂとして撮像する。ステレオカメラは、例えば左右に並べた２つのカメラの視差情報を利用し、評価対象の路面ｒｓ１に形成された凹凸等の奥行き情報を得るためのカメラである。ステレオカメラについては、図３及び図４を用いて後述する。路面カメラ２は、車両１の進行方向に対して画像の一部が重なり合うタイミングで撮像を繰り返し行う。路面カメラ２は、路面ｒｓ１の幅方向全体を撮像可能なように複数台設置されるため、幅方向に対しても画像の一部が重なり合うように複数台が同時に撮像を行う。なお、路面カメラ２は、車両１の前方のナンバープレート周辺に設置されてもよい。また、路面カメラ２は、車両１に３つ以上設置されてもよい。道路幅が狭い場合には、車両１に路面カメラを１つだけ設置されるようにしてもよい。 FIG. 2 is a rear view of the vehicle. As shown in FIG. 2, two road cameras 2a and 2b are provided on the rear portion of the roof of the vehicle 1. Further, the road surface cameras 2a and 2b are arranged side by side in a line so as to face the road surface rs1 located obliquely downward, and respectively image a predetermined range of the road surface rs1 as photographing ranges pr1a and pr1b. The stereo camera is, for example, a camera for obtaining depth information such as unevenness formed on the road surface rs1 to be evaluated by using parallax information of two cameras arranged side by side. The stereo camera will be described later with reference to FIGS. 3 and 4. The road surface camera 2 repeatedly captures images at timings at which some of the images overlap in the traveling direction of the vehicle 1. Since the plurality of road surface cameras 2 are installed so as to be able to capture the entire width direction of the road surface rs1, the plurality of road surface cameras 2 simultaneously capture the images so that the images partially overlap each other in the width direction. The road surface camera 2 may be installed in the vicinity of the license plate in front of the vehicle 1. Further, three or more road cameras 2 may be installed in the vehicle 1. When the road width is narrow, only one road surface camera may be installed in the vehicle 1.
車両１は、路面ｒｓ１上を走行しながら、路面カメラ２で路面ｒｓ１の所定範囲を、進行方向にその一部が重なるように撮像していく。 While traveling on the road surface rs1, the vehicle 1 captures an image of a predetermined range of the road surface rs1 with the road surface camera 2 so that a part of the road surface rs1 overlaps in the traveling direction.
図１に戻り、周辺カメラ３は、車両１のルーフ前部に設けられ、車両１の前方の周辺（例えば、前方の路面ｒｓ１、標識、風景等）を撮像する撮像装置である。周辺カメラ３は、路面カメラ２を構成する左右２つのカメラ２０、２１のうちの１つのカメラと同様の構成を採用することができる。なお、周辺カメラ３は、路面カメラ２と同様に、ステレオカメラにしてもよい。また、周辺カメラ３は、車内１のフロントガラス付近に取り付けられてもよい。 Returning to FIG. 1, the peripheral camera 3 is an imaging device that is provided in the front part of the roof of the vehicle 1 and that captures an image of the area around the front of the vehicle 1 (for example, the front road surface rs1, a sign, or a landscape). The peripheral camera 3 can adopt the same configuration as one of the left and right two cameras 20 and 21 that form the road surface camera 2. The peripheral camera 3 may be a stereo camera like the road surface camera 2. Further, the peripheral camera 3 may be attached near the windshield inside the vehicle 1.
データ管理装置４は、路面カメラ２、周辺カメラ３、ＧＮＳＳセンサ５、及び距離計測装置６から取得した各種データを管理するＰＣ(Personal Computer)である。各調査データは、評価装置８に受け渡され、評価装置８でのデータ解析に用いられる。なお、データ管理装置４から評価装置８への調査データの受け渡し方法は、Wi-Fi等を使った無線通信、ＵＳＢケーブル等を使った有線通信、ＵＳＢメモリ等を使った人的な移動が挙げられる。 The data management device 4 is a PC (Personal Computer) that manages various data acquired from the road surface camera 2, the peripheral camera 3, the GNSS sensor 5, and the distance measuring device 6. Each survey data is transferred to the evaluation device 8 and used for data analysis in the evaluation device 8. The survey data can be transferred from the data management device 4 to the evaluation device 8 by wireless communication using Wi-Fi or the like, wired communication using a USB cable or the like, or human movement using a USB memory or the like. Be done.
ＧＮＳＳセンサ５は、複数のＧＮＳＳ衛星が発信した各時間の信号を受信し、各信号を受信した時刻との差で衛星までの距離を算出することで、地球上の位置を計測する測位手段の一例である。測位手段は、測位専用の装置であってもよく、ＰＣやスマートフォン等にインストールされた測位専用のアプリケーションであってもよい。 The GNSS sensor 5 is a positioning means for measuring the position on the earth by receiving signals of each time transmitted by a plurality of GNSS satellites and calculating the distance to the satellite by the difference from the time when each signal is received. This is an example. The positioning means may be a device dedicated to positioning, or may be an application dedicated to positioning installed in a PC, a smartphone or the like.
距離計測装置６は、例えば、車両１の車輪の円周の長さの情報を保持し、回転数を計測することで、走行距離を算出する。走行距離は、車輪の円周の長さと計測した回転数との積により算出することができる。これは一例であるため、その他の方法により距離を計測してもよい。なお、距離計測装置は、距離計測手段の一例である。 The distance measuring device 6 holds the information on the length of the circumference of the wheel of the vehicle 1 and measures the number of revolutions to calculate the traveling distance. The traveling distance can be calculated by the product of the length of the circumference of the wheel and the measured rotation speed. Since this is an example, the distance may be measured by other methods. The distance measuring device is an example of distance measuring means.
また、上記各計測データには、各路面映像データ、測定位置データ、周辺画像データ、及び走行距離データが含まれている。これらのうち、各路面映像データは、各路面カメラ２ａ，２ｂによって得られた映像（動画）のデータである。この各路面映像データでは、映像のフレームデータ毎に、メタデータとして撮影された時刻を示す撮影時刻情報が付加されている。なお、各路面カメラ２ａ，２ｂによって、映像（動画）の路面映像データだけでなく、静止画又は静止画の集合によるデータを得るようにしてもよい。 In addition, each measurement data includes each road surface image data, measurement position data, peripheral image data, and traveling distance data. Of these, each road surface image data is data of an image (moving image) obtained by each road surface camera 2a, 2b. In each of the road surface video data, shooting time information indicating the shooting time as metadata is added to each frame data of the video. The road surface cameras 2a and 2b may obtain not only road surface image data of an image (moving image) but also data of a still image or a set of still images.
測定位置データは、ＧＮＳＳセンサ５によって得られたデータである。この測定位置データには、メタデータとして測位された時刻を示す測位時刻情報が付加されている。周辺画像データは、周辺カメラ３によって得られた静止画のデータである。走行距離データは、距離計測装置６によって得られた走行距離を示すデータである。 The measurement position data is data obtained by the GNSS sensor 5. Positioning time information indicating the time of positioning is added as metadata to the measurement position data. The peripheral image data is still image data obtained by the peripheral camera 3. The traveling distance data is data indicating the traveling distance obtained by the distance measuring device 6.
評価装置８は、データ管理装置４から受け渡された各調査データに基づいて、構造物の性状を解析するＰＣ又はスマートフォン等である。評価装置８は、各路面映像データから路面ｒｓ１の凹凸等の表面性状を計測し、計測結果に基づいて、路面ｒｓ１の損傷の有無、損傷の度合いを評価する。また、評価装置８は、構造物性状の評価結果、測定位置データ、周辺画像データ、走行距離データ、及び自治体又は国（以下、「道路管理者」と記す）から取得した道路台帳等のデータを利用して、道路管理者が定めるフォーマットに従った提出書類のデータを作成する。道路台帳には、実際の正確な道路の位置を示す実際位置データが含まれている。なお、道路台帳には、道路地図が掲載されているが、正確な道路位置情報（測位情報：緯度、経度値）が含まれていない場合がある。この場合、正確な道路測位情報を得るためには、道路地図と、測位地図情報（国土地理院等が保有している、緯度、経度値情報）を照合する必要がある。そして、評価装置８によって作成された提出書類のデータは、道路管理者に、電子データ又は書類に印刷した状態で提出される。 The evaluation device 8 is a PC, a smartphone, or the like that analyzes the property of the structure based on each survey data passed from the data management device 4. The evaluation device 8 measures the surface texture such as unevenness of the road surface rs1 from each road surface image data, and evaluates the presence or absence of damage on the road surface rs1 and the degree of damage based on the measurement result. The evaluation device 8 also evaluates the structural property evaluation results, measurement position data, peripheral image data, mileage data, and data such as road ledgers acquired from local governments or countries (hereinafter referred to as “road managers”). Use it to create data for submission documents in the format specified by the road administrator. The road ledger contains actual position data indicating the actual and accurate road position. It should be noted that although a road map is posted on the road ledger, it may not include accurate road position information (positioning information: latitude and longitude values). In this case, in order to obtain accurate road positioning information, it is necessary to collate the road map with the positioning map information (latitude and longitude value information held by the Geographical Survey Institute). Then, the data of the submission document created by the evaluation device 8 is submitted to the road administrator in a state of being printed as electronic data or a document.
＜ハードウェア構成＞
（ステレオカメラのハードウェア構成）
次に、図３を用いて、ステレオカメラのハードウェア構成を説明する。図３は、ステレオカメラのハードウェア構成図である。
<Hardware configuration>
(Stereo camera hardware configuration)
Next, the hardware configuration of the stereo camera will be described with reference to FIG. FIG. 3 is a hardware configuration diagram of the stereo camera.
図３に示されているように、路面カメラ２は、ステレオカメラの構成を取っており、視差導出装置２０、及び物体認識装置５０によって構成されている。更に、視差導出装置２０は、撮像装置１０ａ、撮像装置１０ｂ、信号変換装置２０ａ、信号変換装置２０ｂ、及び画像処理装置３０を備えている。 As shown in FIG. 3, the road surface camera 2 has a stereo camera configuration and includes a parallax deriving device 20 and an object recognizing device 50. Furthermore, the parallax deriving device 20 includes an image capturing device 10a, an image capturing device 10b, a signal converting device 20a, a signal converting device 20b, and an image processing device 30.
撮像装置１０ａは、前方の光景を撮像して画像を表すアナログ信号を生成するものであり、撮像レンズ１１ａ、絞り１２ａ、画像センサ１３ａを備えている。撮像レンズ１１ａは、撮像レンズ１１ａを通過する光を屈折させて物体の像を結像させるための光学素子である。絞り１２ａは、撮像レンズ１１ａを通過した光の一部を遮ることによって、後述する画像センサ１３ａに入力される光の量を調整する。画像センサ１３ａは、撮像レンズ１１ａ及び絞り１２ａから入力された光を電気的なアナログの画像信号に変換する半導体の素子であり、ＣＣＤ(Charge Coupled Devices)やＣＭＯＳ(Complementary Metal Oxide Semiconductor）等によって実現される。なお、撮像装置１０ｂは撮像装置１０ａと同じ構成を備えているため、撮像装置１０ｂについての説明は省略する。また、撮像レンズ１１ａと撮像レンズ１１ｂは、それぞれのレンズ面が互いに同一平面内になるように設置されている。 The image pickup apparatus 10a picks up a front scene and generates an analog signal representing an image, and includes an image pickup lens 11a, a diaphragm 12a, and an image sensor 13a. The image pickup lens 11a is an optical element for refracting light passing through the image pickup lens 11a to form an image of an object. The diaphragm 12a adjusts the amount of light input to the image sensor 13a described later by blocking a part of the light that has passed through the imaging lens 11a. The image sensor 13a is a semiconductor element that converts light input from the imaging lens 11a and the diaphragm 12a into an electric analog image signal, and is realized by a CCD (Charge Coupled Devices), a CMOS (Complementary Metal Oxide Semiconductor), or the like. To be done. Since the imaging device 10b has the same configuration as the imaging device 10a, the description of the imaging device 10b will be omitted. Further, the imaging lens 11a and the imaging lens 11b are installed such that their respective lens surfaces are in the same plane.
また、信号変換装置２０ａは、撮像された画像を表すアナログ信号をデジタル形式の画像データに変換するものであり、ＣＤＳ(Correlated Double Sampling)２１ａ、ＡＧＣ(Auto Gain Control)２２ａ、ＡＤＣ(Analog Digital Converter)２３ａ、及びフレームメモリ２４ａを備えている。ＣＤＳ２１ａは、画像センサ１３ａによって変換されたアナログの画像信号から相関二重サンプリングによってノイズを除去する。ＡＧＣ２２ａは、ＣＤＳ２１ａによってノイズが除去されたアナログの画像信号の強度を制御する利得制御を行う。ＡＤＣ２３ａは、ＡＧＣ２２ａによって利得制御されたアナログの画像信号をデジタル形式の画像データに変換する。フレームメモリ２４ａは、ＡＤＣ２３ａによって変換された画像データを記憶する。 The signal conversion device 20a converts an analog signal representing a captured image into image data in a digital format, and includes a CDS (Correlated Double Sampling) 21a, an AGC (Auto Gain Control) 22a, and an ADC (Analog Digital Converter). ) 23a and a frame memory 24a. The CDS 21a removes noise from the analog image signal converted by the image sensor 13a by correlated double sampling. The AGC 22a performs gain control for controlling the intensity of the analog image signal from which noise has been removed by the CDS 21a. The ADC 23a converts the analog image signal whose gain is controlled by the AGC 22a into digital image data. The frame memory 24a stores the image data converted by the ADC 23a.
同様に、信号変換装置２０ｂは、撮像装置１０ｂによって変換されたアナログの画像信号から画像データを取得するものであり、ＣＤＳ２１ｂ、ＡＧＣ２２ｂ、ＡＤＣ２３ｂ、及びフレームメモリ２４ｂを有している。なお、ＣＤＳ２１ｂ、ＡＧＣ２２ｂ、ＡＤＣ２３ｂ、及びフレームメモリ２４ｂはそれぞれＣＤＳ２１ａ、ＡＧＣ２２ａ、ＡＤＣ２３ａ、及びフレームメモリ２４ａと同じ構成であるため、それらについての説明は省略する。 Similarly, the signal conversion device 20b acquires image data from the analog image signal converted by the imaging device 10b, and includes a CDS 21b, an AGC 22b, an ADC 23b, and a frame memory 24b. Since the CDS 21b, AGC 22b, ADC 23b, and frame memory 24b have the same configurations as the CDS 21a, AGC 22a, ADC 23a, and frame memory 24a, respectively, description thereof will be omitted.
更に、画像処理装置３０は、信号変換装置２０ａ及び信号変換装置２０ｂによって変換された画像データを処理するための装置である。この画像処理装置３０は、ＦＰＧＡ(Field Programmable Gate Array)３１、ＣＰＵ(Central Processing Unit)３２、ＲＯＭ(Read Only Memory)３３、ＲＡＭ(Random Access Memory)３４、Ｉ／Ｆ(Interface)３５及び上記各構成要素３１〜３５を図３に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン３９を備えている。 Further, the image processing device 30 is a device for processing the image data converted by the signal conversion device 20a and the signal conversion device 20b. The image processing apparatus 30 includes an FPGA (Field Programmable Gate Array) 31, a CPU (Central Processing Unit) 32, a ROM (Read Only Memory) 33, a RAM (Random Access Memory) 34, an I/F (Interface) 35, and each of the above. A bus line 39 such as an address bus or a data bus for electrically connecting the components 31 to 35 is provided as shown in FIG.
このうち、ＦＰＧＡ３１は、集積回路であり、ここでは、ＣＰＵ３２の命令に従って、画像データが表す画像における視差値Δを算出する処理を行う。ＣＰＵ３２は、視差値導出装置３の各機能を制御する。ＲＯＭ３３は、ＣＰＵ３２が視差値導出装置３の各機能を制御するために実行される画像処理用プログラムを記憶している。ＲＡＭ３４はＣＰＵ３２のワークエリアとして使用される。 Of these, the FPGA 31 is an integrated circuit, and here, according to an instruction from the CPU 32, a process of calculating the parallax value Δ in the image represented by the image data is performed. The CPU 32 controls each function of the parallax value derivation device 3. The ROM 33 stores an image processing program executed by the CPU 32 to control each function of the parallax value deriving device 3. The RAM 34 is used as a work area for the CPU 32.
Ｉ／Ｆ３５は、物体認識装置５０における後述Ｉ／Ｆ５５とアドレスバスやデータバス等のバスライン４を介して通信するためのインターフェイスである。 The I/F 35 is an interface for communicating with an I/F 55 described later in the object recognition device 50 via the bus line 4 such as an address bus or a data bus.
続いて、物体認識装置５０のハードウェア構成について説明する。図３に示されているように、物体認識装置５０は、ＦＰＧＡ５１、ＣＰＵ５２、ＲＯＭ５３、ＲＡＭ５４、Ｉ／Ｆ５５、ＣＡＤ Ｉ／Ｆ５８及び上記各構成要素５１〜５５，５８を図３に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン５９を備えている。 Next, the hardware configuration of the object recognition device 50 will be described. As shown in FIG. 3, the object recognition device 50 includes an FPGA 51, a CPU 52, a ROM 53, a RAM 54, an I/F 55, a CAD I/F 58, and the above-mentioned constituent elements 51 to 55, 58 in FIG. Thus, the bus line 59 such as an address bus and a data bus for electrically connecting is provided.
このうち、ＦＰＧＡ５１、ＣＰＵ５２、ＲＯＭ５３、ＲＡＭ５４、Ｉ／Ｆ５５、及びバスライン５９は、それぞれ画像処理装置３０におけるＦＰＧＡ３１、ＣＰＵ３２、ＲＯＭ３３、ＲＡＭ３４、Ｉ／Ｆ３５、及びバスライン３９と同様の構成であるため、説明を省略する。なお、Ｉ／Ｆ５５は、画像処理装置３０におけるＩ／Ｆ３５とバスライン４を介して通信するためのインターフェイスである。また、ＲＯＭ５３は、ＣＰＵ５２が物体認識装置５０の各機能を制御するために実行される物体認識用プログラムを記憶している。 Of these, the FPGA 51, CPU 52, ROM 53, RAM 54, I/F 55, and bus line 59 have the same configurations as the FPGA 31, CPU 32, ROM 33, RAM 34, I/F 35, and bus line 39 in the image processing apparatus 30, respectively. , Description is omitted. The I/F 55 is an interface for communicating with the I/F 35 in the image processing apparatus 30 via the bus line 4. Further, the ROM 53 stores an object recognition program executed by the CPU 52 to control each function of the object recognition device 50.
ＣＡＮ Ｉ／Ｆ５８は、外部コントローラ等と通信するためのインターフェイスであり、例えば、車両のＣＡＮ(Controller Area Network)等に接続されることができる。 The CAN I/F 58 is an interface for communicating with an external controller or the like, and can be connected to, for example, a CAN (Controller Area Network) of a vehicle.
このような構成により、画像処理装置３０のＩ／Ｆ３５からバスライン４を介して物体認識装置５０に高密度視差画像が送信されると、物体認識装置５０におけるＣＰＵ５２の命令によって、ＦＰＧＡ５１が、撮像装置１０ａ，１０ｂと物体Ｅとの間の距離Ｚを算出する。なお、物体認識装置５０におけるＣＰＵ５２の命令によってＦＰＧＡ５１が距離Ｚを算出せずに、画像処理装置３０のＣＰＵ３２の命令によってＦＰＧＡ３１が距離Ｚを算出してもよい。 With such a configuration, when a high-density parallax image is transmitted from the I/F 35 of the image processing device 30 to the object recognition device 50 via the bus line 4, the FPGA 51 captures an image according to a command from the CPU 52 of the object recognition device 50. The distance Z between the devices 10a and 10b and the object E is calculated. Note that the FPGA 51 may not calculate the distance Z by the instruction of the CPU 52 in the object recognition device 50, and the FPGA 31 may calculate the distance Z by the instruction of the CPU 32 of the image processing device 30.
また、上記各プログラムは、インストール可能な形式又は実行可能な形式のファイルで、コンピュータで読み取り可能な記録媒体に記録して流通させてもよい。この記録媒体は、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)やＳＤメモリカード(Secure Digital memory card)等である。 Further, each of the above programs may be a file in an installable format or an executable format, and may be recorded in a computer-readable recording medium and distributed. This recording medium is a CD-ROM (Compact Disc Read Only Memory), an SD memory card (Secure Digital memory card), or the like.
（測距の原理）
図４を用いて、ステレオ画像法により、ステレオカメラから物体に対する視差を導き出し、この視差を示す視差値によって、ステレオカメラから物体までの距離を測定する原理について説明する。なお、図４は、撮像装置から物体までの距離を導き出す原理の説明図である。また、以下では、説明を簡略化するため、複数の画素からなる所定領域ではなく、一画素単位で説明する。
(Principle of distance measurement)
With reference to FIG. 4, the principle of deriving the parallax for the object from the stereo camera by the stereo image method and measuring the distance from the stereo camera to the object by the parallax value indicating the parallax will be described. 4 is an explanatory diagram of the principle of deriving the distance from the imaging device to the object. Further, in the following, in order to simplify the description, the description will be made in units of one pixel instead of in a predetermined region including a plurality of pixels.
なお、一画素単位ではなく、複数の画素からなる所定領域単位で処理される場合、基準画素を含む所定領域は基準領域として示され、対応画素を含む所定領域は対応領域として示される。また、この基準領域には基準画素のみの場合も含まれ、対応領域には対応画素のみの場合も含まれる。 In addition, when processing is performed in units of a predetermined area including a plurality of pixels instead of a unit of one pixel, the predetermined area including the reference pixel is shown as a reference area and the predetermined area including the corresponding pixel is shown as a corresponding area. Further, the reference area includes a case of only the reference pixel, and the corresponding area includes a case of only the corresponding pixel.
（（視差値算出））
まず、図４で示される撮像装置１０ａおよび撮像装置１０ｂによって撮像された各画像を、それぞれ基準画像Ｉａおよび比較画像Ｉｂとする。なお、図４では、撮像装置１０ａおよび撮像装置１０ｂが平行等位に設置されているものとする。図４において、３次元空間内の物体Ｅ上のＳ点は、撮像装置１０ａおよび撮像装置１０ｂの同一水平線上の位置に写像される。すなわち、各画像中のＳ点は、基準画像Ｉａ中の点Ｓａ（ｘ，ｙ）および比較画像Ｉｂ中の点Ｓｂ（Ｘ，ｙ）において撮像される。このとき、視差値Δは、撮像装置１０ａ上の座標におけるＳａ（ｘ，ｙ）と撮像装置１０ｂ上の座標におけるＳｂ（Ｘ，ｙ）とを用いて、（式１）のように表される。
((Parallax value calculation))
First, the images captured by the imaging device 10a and the imaging device 10b shown in FIG. 4 are referred to as a reference image Ia and a comparison image Ib, respectively. In addition, in FIG. 4, it is assumed that the imaging device 10a and the imaging device 10b are installed in parallel and equidistant positions. In FIG. 4, a point S on the object E in the three-dimensional space is mapped to a position on the same horizontal line of the imaging device 10a and the imaging device 10b. That is, the point S in each image is captured at the point Sa(x,y) in the reference image Ia and the point Sb(X,y) in the comparative image Ib. At this time, the parallax value Δ is represented as in (Equation 1) using Sa(x, y) at the coordinates on the imaging device 10a and Sb(X, y) at the coordinates on the imaging device 10b. .
Δ＝Ｘ−ｘ （式１）
ここで、図４のような場合には、基準画像Ｉａ中の点Ｓａ（ｘ，ｙ）と撮像レンズ１１ａから撮像面上におろした垂線の交点との距離をΔａにし、比較画像Ｉｂ中の点Ｓｂ（Ｘ，ｙ）と撮像レンズ１１ｂから撮像面上におろした垂線の交点との距離をΔｂにすると、視差値Δ＝Δａ＋Δｂとなる。
Δ=X−x (Equation 1)
Here, in the case of FIG. 4, the distance between the point Sa(x, y) in the reference image Ia and the intersection of the perpendicular line drawn from the image pickup lens 11a onto the image pickup surface is set to Δa, and in the comparative image Ib. When the distance between the point Sb(X, y) and the intersection of the perpendicular line drawn from the imaging lens 11b on the imaging surface is Δb, the parallax value Δ=Δa+Δb.
（（距離算出））
また、視差値Δを用いることで、撮像装置１０ａ，１０ｂと物体Ｅとの間の距離Ｚを導き出すことができる。具体的には、距離Ｚは、撮像レンズ１１ａの焦点位置と撮像レンズ１１ｂの焦点位置とを含む面から物体Ｅ上の特定点Ｓまでの距離である。図４に示されるように、撮像レンズ１１ａ及び撮像レンズ１１ｂの焦点距離ｆ、撮像レンズ１１ａと撮像レンズ１１ｂとの間の長さである基線長Ｂ、及び視差値Δを用いて、（式２）により、距離Ｚを算出することができる。
((Distance calculation))
Further, by using the parallax value Δ, the distance Z between the imaging devices 10a and 10b and the object E can be derived. Specifically, the distance Z is the distance from the surface including the focal position of the imaging lens 11a and the focal position of the imaging lens 11b to the specific point S on the object E. As shown in FIG. 4, using the focal length f of the imaging lens 11a and the imaging lens 11b, the baseline length B that is the length between the imaging lens 11a and the imaging lens 11b, and the parallax value Δ, (Equation 2 ), the distance Z can be calculated.
Ｚ＝（Ｂ×ｆ）／Δ （式２）
この（式２）により、視差値Δが大きいほど距離Ｚは小さく、視差値Δが小さいほど距離Ｚは大きくなる。
Z=(B×f)/Δ (Formula 2)
According to this (Equation 2), the larger the parallax value Δ, the smaller the distance Z, and the smaller the parallax value Δ, the larger the distance Z.
この距離Ｚがどの対象点でも一定であれば、路面ｒｓ１に凹凸がなく、一定でない場合、凹凸が存在することを検知することができる。また、その距離Ｚに応じて、どの程度の高さの山や深さの溝が存在するかを検出することができる。 If this distance Z is constant at any target point, there is no unevenness on the road surface rs1, and if it is not constant, it is possible to detect the presence of unevenness. Further, depending on the distance Z, it is possible to detect the height of the ridge and the depth of the groove.
（データ管理装置、評価装置のハードウェア構成）
次に、図５を用いて、データ管理装置、及び評価装置のハードウェア構成について説明する。図５は、データ管理装置、及び評価装置のハードウェア構成図である。
(Hardware configuration of data management device and evaluation device)
Next, the hardware configurations of the data management device and the evaluation device will be described with reference to FIG. FIG. 5 is a hardware configuration diagram of the data management device and the evaluation device.
図５に示されているように、データ管理装置４は、ＣＰＵ(Central Processing Unit)４０１、ＲＯＭ(Read Only Memory)４０２、ＲＡＭ(Random Access Memory)４０３、ＨＤ(Hard Disk)４０４、ＨＤＤ(Hard Disk Drive)コントローラ４０５、メディアＩ／Ｆ４０７、ディスプレイ４０８、ネットワークＩ／Ｆ４０９、キーボード４１１、マウス４１２、ＤＶＤ−ＲＷ(Digital Versatile Disc-ReWritable)ドライブ２１４、及び、バスライン４１０を備えている。 As shown in FIG. 5, the data management device 4 includes a CPU (Central Processing Unit) 401, a ROM (Read Only Memory) 402, a RAM (Random Access Memory) 403, an HD (Hard Disk) 404, and an HDD (Hard). A disk drive) controller 405, a media I/F 407, a display 408, a network I/F 409, a keyboard 411, a mouse 412, a DVD-RW (Digital Versatile Disc-ReWritable) drive 214, and a bus line 410.
これらのうち、ＣＰＵ４０１は、データ管理装置４全体の動作を制御する。ＲＯＭ４０２は、ＣＰＵ４０１の駆動に用いられるプログラムを記憶する。ＲＡＭ４０３は、ＣＰＵ４０１のワークエリアとして使用される。ＨＤ４０４は、プログラム等の各種データを記憶する。ＨＤＤコントローラ４０５は、ＣＰＵ４０１の制御にしたがってＨＤ４０４に対する各種データの読み出し又は書き込みを制御する。メディアＩ／Ｆ４０７は、フラッシュメモリ等の記録メディア４０６に対するデータの読み出し又は書き込み（記憶）を制御する。ディスプレイ４０８は、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示する。タッチパネル４０９は、利用者がディスプレイ４０８を押下することで、データ管理装置４を操作する入力手段の一種である。ネットワークＩ／Ｆ４０９は、インターネット等の通信ネットワークを利用してデータ通信をするためのインターフェースである。キーボード４１１は、文字、数値、各種指示などの入力のための複数のキーを備えた入力手段の一種である。マウス４１２は、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行う入力手段の一種である。ＤＶＤ−ＲＷドライブ４１４は、着脱可能な記録媒体の一例としてのＤＶＤ−ＲＷ４１３に対する各種データの読み出し又は書き込みを制御する。 Of these, the CPU 401 controls the operation of the entire data management device 4. The ROM 402 stores a program used to drive the CPU 401. The RAM 403 is used as a work area for the CPU 401. The HD 404 stores various data such as programs. The HDD controller 405 controls reading or writing of various data with respect to the HD 404 under the control of the CPU 401. The media I/F 407 controls reading or writing (storage) of data with respect to the recording medium 406 such as a flash memory. The display 408 displays various information such as a cursor, a menu, a window, characters, or an image. The touch panel 409 is a kind of input means for operating the data management device 4 when the user presses the display 408. The network I/F 409 is an interface for performing data communication using a communication network such as the Internet. The keyboard 411 is a type of input means including a plurality of keys for inputting characters, numerical values, various instructions, and the like. The mouse 412 is a type of input means for selecting and executing various instructions, selecting a processing target, moving a cursor, and the like. The DVD-RW drive 414 controls reading or writing of various data with respect to a DVD-RW 413 as an example of a removable recording medium.
また、評価装置８は、ＣＰＵ８０１、ＲＯＭ８０２、ＲＡＭ８０３、ＨＤ８０４、ＨＤＤコントローラ８０５、メディアＩ／Ｆ８０７、ディスプレイ８０８、ネットワークＩ／Ｆ８０９、キーボード８１１、マウス８１２、ＤＶＤ−ＲＷドライブ８１４、及び、バスライン８１０を備えている。これらは、それぞれ上述の構成（ＣＰＵ４０１、ＲＯＭ４０２、ＲＡＭ４０３、ＨＤ４０４、ＨＤＤコントローラ４０５、メディアＩ／Ｆ４０７、ディスプレイ４０８、ネットワークＩ／Ｆ４０９、キーボード４１１、マウス４１２、ＣＤ−ＲＷドライブ４１４、及び、バスライン４２０）と同様の構成であるため、これらの説明を省略する。 The evaluation device 8 also includes a CPU 801, a ROM 802, a RAM 803, an HD 804, an HDD controller 805, a media I/F 807, a display 808, a network I/F 809, a keyboard 811, a mouse 812, a DVD-RW drive 814, and a bus line 810. I have it. These are the above-mentioned configurations (CPU 401, ROM 402, RAM 403, HD 404, HDD controller 405, media I/F 407, display 408, network I/F 409, keyboard 411, mouse 412, CD-RW drive 414, and bus line 420, respectively. ), the description thereof will be omitted.
なお、ＤＶＤ−ＲＷドライブではなく、ＤＶＤ−Ｒドライブ等であってもよい。また、データ管理装置４、及び評価装置８は、それぞれ単一のコンピュータによって構築されてもよいし、各部（機能、手段、又は記憶部）を分割して任意に割り当てられた複数のコンピュータによって構築されていてもよい。 Note that a DVD-R drive or the like may be used instead of the DVD-RW drive. Further, the data management device 4 and the evaluation device 8 may each be constructed by a single computer, or each unit (function, means, or storage unit) is divided and constructed by a plurality of computers arbitrarily assigned. It may have been done.
＜機能構成＞
続いて、図６を用いて、評価装置の機能構成について説明する。図６は、評価装置の機能ブロック図である。図６に示されているように、評価装置は、記憶処理部８２、映像位置関連付部８３、測定位置特定部８４、路面性状計測部８５、損傷評価部８６、調書作成部８７、及び読出処理部８９を有している。これら各部は、図５に示されている各構成要素のいずれかが、ＨＤ８０４からＲＡＭ８０３上に展開されたプログラムに従ったＣＰＵ８０１からの命令によって動作することで実現される機能、又は機能する手段である。また、評価装置８は、図５に示されているＲＡＭ８０３及びＨＤ８０４によって構築される記憶部８００を有している。
<Functional configuration>
Subsequently, the functional configuration of the evaluation device will be described with reference to FIG. FIG. 6 is a functional block diagram of the evaluation device. As shown in FIG. 6, the evaluation device includes a storage processing unit 82, a video position relating unit 83, a measurement position specifying unit 84, a road surface property measuring unit 85, a damage evaluation unit 86, a record preparation unit 87, and a reading. It has a processing unit 89. Each of these units is a function realized by any one of the constituent elements shown in FIG. 5 being operated by an instruction from the CPU 801 according to a program expanded from the HD 804 to the RAM 803, or a functioning means. is there. Further, the evaluation device 8 has a storage unit 800 constructed by the RAM 803 and the HD 804 shown in FIG.
記憶部８００には、各路面映像データ、測定位置データ、周辺画像データ、走行距離データ、及び実際位置データが記憶されている。これらのうち、各路面映像データ、測定位置データ、周辺画像データ、及び走行距離データは、データ管理装置４から受け渡されたデータである。各路面映像データには、上述の撮影時刻情報が含まれている。測定位置データには、上述の測位時刻情報が含まれている。 The storage unit 800 stores each road surface image data, measurement position data, peripheral image data, mileage data, and actual position data. Among these, the road surface image data, the measurement position data, the peripheral image data, and the traveling distance data are the data transferred from the data management device 4. Each road surface image data includes the above-mentioned shooting time information. The measurement position data includes the above-mentioned positioning time information.
記憶処理部８２は、記憶部８００に対して各種データを記憶する処理を行う。 The storage processing unit 82 performs a process of storing various data in the storage unit 800.
映像位置関連付部８３は、撮影時刻情報で示される時刻と測定時刻情報で示される時刻が同じ場合の各フレームデータ及び測定位置データを関連付ける。即ち、映像位置関連付部８３は、撮影時刻情報で示された特定の時刻Ｔ１に路面カメラ２ａから得られた対の（２つの）フレームデータ、及び同じく時刻Ｔ１に路面カメラ２ｂで得られた対の（２つの）フレームデータの合計である４つのフレームデータ、並びに、測定時刻情報で示された同じ特定の時刻Ｔ１にＧＮＳＳセンサ５から得られた測定位置データを関連付ける。なお、路面カメラ２はステレオカメラであるため、路面カメラ２ａ，２ｂで撮影されることによって得られたフレームデータは４つとなる。 The video position associating unit 83 associates each frame data and measurement position data when the time indicated by the photographing time information and the time indicated by the measurement time information are the same. That is, the image position associating unit 83 obtains a pair of (two) frame data obtained from the road surface camera 2a at the specific time T1 indicated by the shooting time information, and also obtained by the road surface camera 2b at the time T1. Four frame data, which is the sum of the (two) frame data of the pair, and the measurement position data obtained from the GNSS sensor 5 are associated with the same specific time T1 indicated by the measurement time information. Since the road surface camera 2 is a stereo camera, there are four frame data obtained by the road surface cameras 2a and 2b.
測定位置特定部８４は、図８に示されているように、映像位置関連付部８３で時系列に関連付けられた各測定位置データで示される測定位置群Ｐｍｇと、実際位置データで示される評価開始の実際位置Ｐｆｓとを比較し、測定位置群Ｐｍｇの中から評価開始の実際位置Ｐｆｓに最も近い測定位置を評価開始の測定位置Ｐｍｓとして特定する。また同様に、測定位置特定部８４は、映像位置関連付部８３で時系列に関連付けられた各測定位置データで示される測定位置群Ｐｍｇと、実際位置データで示される評価終了の実際位置Ｐｆｅとを比較し、測定位置群Ｐｍｇの中から評価終了の実際位置Ｐｆｅに最も近い測定位置を評価終了の測定位置Ｐｍｅとして特定する。 As shown in FIG. 8, the measurement position specifying unit 84 includes the measurement position group Pmg indicated by each measurement position data associated in time series by the video position relating unit 83 and the evaluation indicated by the actual position data. The start actual position Pfs is compared, and the measurement position closest to the evaluation start actual position Pfs in the measurement position group Pmg is specified as the evaluation start measurement position Pms. Similarly, the measurement position specifying unit 84 determines the measurement position group Pmg indicated by each measurement position data associated in time series by the video position relating unit 83 and the actual position Pfe of the evaluation end indicated by the actual position data. And the measurement position closest to the actual position Pfe at the end of evaluation is specified as the measurement position Pme at the end of evaluation from the measurement position group Pmg.
構造部性状計測部８５は、各路面映像の対のフレームデータを用いて、図４に示されているように、路面カメラ２から路面ｒｓ１の各位置までの距離を計算して表面性状を計測し、そのデータを路面性状計測データとして出力する。 The structure portion property measuring unit 85 measures the surface property by calculating the distance from the road surface camera 2 to each position of the road surface rs1 by using the paired frame data of each road surface image, as shown in FIG. Then, the data is output as road surface property measurement data.
損傷評価部８６は、構造部性状計測部８５によって計測された表面性状、すなわち構造部性状計測部８５が出力した路面性状計測データに基づき、路面ｒｓ１の損傷の有無を検出し、損傷がある場合には損傷の度合いを評価した評価結果データを出力する。 The damage evaluation unit 86 detects the presence or absence of damage on the road surface rs1 based on the surface texture measured by the structure texture measurement unit 85, that is, the road surface texture measurement data output by the structure texture measurement unit 85, and if there is damage. The evaluation result data that evaluates the degree of damage is output to.
調書作成部８７は、損傷評価部８６によって出力された評価結果データ、及び記憶部８００に記憶されているデータ（道路台帳データ、周辺画像データ、及び走行距離データ）に基づいて、調書データを作成する。 The record preparation unit 87 prepares the record data based on the evaluation result data output by the damage evaluation unit 86 and the data (road ledger data, peripheral image data, and mileage data) stored in the storage unit 800. To do.
読出処理部８９は、記憶部８００から各種データ（情報）を読み出す処理を行う。 The read processing unit 89 performs a process of reading various data (information) from the storage unit 800.
＜処理又は動作＞
続いて、図７乃至図１２を用いて、本実施形態の処理又は動作について説明する。図７は、調書データを作成する処理を示したフローチャートである。
<Process or action>
Subsequently, the processing or operation of this embodiment will be described with reference to FIGS. 7 to 12. FIG. 7 is a flowchart showing the process of creating the record data.
図７に示されているように、評価装置８の読出処理部８９は、記憶部８００から、各路面映像データ及び各測定位置データを読み出す（Ｓ１１）。この各路面映像データは、ステレオカメラとしての路面カメラ２から得られた対のフレームデータが、路面カメラ２の数に応じて構成されている。ここでは、ステレオカメラとしての路面カメラ２ａ，２ｂによって、各路面映像データは、合計４つのフレームデータによって構成されている。対のフレームデータには、単一の撮影時刻情報が付加されている。また、各測定位置データには測位時刻情報が付加されている。 As shown in FIG. 7, the read processing unit 89 of the evaluation device 8 reads each road surface image data and each measurement position data from the storage unit 800 (S11). In each of the road surface image data, a pair of frame data obtained from the road surface camera 2 as a stereo camera is configured according to the number of the road surface cameras 2. Here, each of the road surface image data is composed of a total of four frame data by the road surface cameras 2a and 2b as the stereo cameras. A single shooting time information is added to the pair of frame data. Positioning time information is added to each measurement position data.
次に、映像位置関連付部８３は、撮影時刻情報で示された特定の時刻Ｔ１に各路面カメラ２ａ，２ｂで撮影されることによって得られた４つのフレームデータ群、及び測定時刻情報で示された同じ特定の時刻Ｔ１にＧＮＳＳセンサ５で受信することによって得られた測定位置データを関連付ける（Ｓ１２）。 Next, the video position associating unit 83 indicates the four frame data groups obtained by being photographed by the road surface cameras 2a and 2b at the specific time T1 indicated by the photographing time information, and the measurement time information. The measured position data obtained by the reception by the GNSS sensor 5 at the same specified time T1 is associated (S12).
次に、読出処理部８９は、記憶部８００から、実際位置データを読み出す（Ｓ１３）。そして、測定位置特定部８４は、映像位置関連付部８３で時系列に関連付けられた各測定位置データで示される測定位置群Ｐｍｇと、実際位置データで示される評価開始の実際位置Ｐｆｓとを比較し、測定位置群Ｐｍｇの中から評価開始の実際位置Ｐｆｓに最も近い測定位置を評価開始の測定位置Ｐｍｓとして特定する（Ｓ１４）。ここで、図８及び図９を用いて、評価開始の測定位置Ｐｍｓの特定方法について説明する。図８は、所定の評価区間における評価開始及び評価終了の実際位置、並びにＧＮＳＳセンサで測定された評価開始及び評価終了の測定位置を示した概念図である。図９は、図８における評価開始の実際位置の周辺を示した拡大図である。 Next, the read processing unit 89 reads the actual position data from the storage unit 800 (S13). Then, the measurement position specifying unit 84 compares the measurement position group Pmg indicated by each measurement position data associated in time series by the video position relating unit 83 with the actual position Pfs of the evaluation start indicated by the actual position data. Then, from the measurement position group Pmg, the measurement position closest to the actual position Pfs at the start of evaluation is specified as the measurement position Pms at the start of evaluation (S14). Here, a method of identifying the measurement position Pms at the start of evaluation will be described with reference to FIGS. 8 and 9. FIG. 8 is a conceptual diagram showing the actual positions of the evaluation start and the evaluation end in a predetermined evaluation section, and the measurement positions of the evaluation start and the evaluation end measured by the GNSS sensor. FIG. 9 is an enlarged view showing the vicinity of the actual position at the start of evaluation in FIG.
図８に示されているように、所定の評価区間は、道路Ｒ１上の評価開始の測定位置Ｐｍｓから評価終了の測定位置Ｐｍｅまでの区間である。 As shown in FIG. 8, the predetermined evaluation section is a section on the road R1 from the evaluation start measurement position Pms to the evaluation end measurement position Pme.
評価開始の実際位置Ｐｆｓ及び評価終了の実際位置Ｐｆｅは、道路管理者から取得された道路台帳に示された正確な位置であるため、本来であれば、評価区間は、評価開始の実際位置Ｐｆｓから評価終了の実際位置Ｐｆｅまでの道路Ｒ１に沿った区間にすべきである。しかし、ＧＮＳＳセンサ５による測位の誤差があるため、測定位置群Ｐｍｇで示される軌跡で測位される。 Since the actual position Pfs at the start of evaluation and the actual position Pfe at the end of evaluation are the accurate positions shown in the road ledger acquired from the road administrator, the evaluation section should normally be the actual position Pfs at the start of evaluation. To the actual position Pfe at the end of the evaluation should be a section along the road R1. However, since there is a positioning error by the GNSS sensor 5, positioning is performed on the locus indicated by the measurement position group Pmg.
そこで、本実施形態では、図９に示されているように、測定位置特定部８４が、実際位置Ｐｆｓに最も近い測定位置が評価開始の位置として特定する。ここでは、測定位置ｐｍ３が、評価開始の測定位置Ｐｍｓとして特定される。なお、図９には、参考までに、評価開始の実際位置Ｐｆｓを中心とした円であるＧＮＳＳセンサ５による測位の誤差範囲ｅｍ１も示されている。 Therefore, in the present embodiment, as shown in FIG. 9, the measurement position specifying unit 84 specifies the measurement position closest to the actual position Pfs as the evaluation start position. Here, the measurement position pm3 is specified as the evaluation start measurement position Pms. For reference, FIG. 9 also shows an error range em1 for positioning by the GNSS sensor 5, which is a circle centered on the actual position Pfs at the start of evaluation.
また同様に、測定位置特定部８４は、映像位置関連付部８３で時系列に関連付けられた各測定位置データで示される測定位置群Ｐｍｇと、実際位置データで示される評価終了の実際位置Ｐｆｅとを比較し、測定位置群Ｐｍｇの中から評価終了の実際位置Ｐｆｅに最も近い測定位置を評価終了の測定位置Ｐｍｅとして特定する（Ｓ１５）。 Similarly, the measurement position specifying unit 84 determines the measurement position group Pmg indicated by each measurement position data associated in time series by the video position relating unit 83 and the actual position Pfe of the evaluation end indicated by the actual position data. Are compared, and the measurement position closest to the actual position Pfe at the end of evaluation is specified as the measurement position Pme at the end of evaluation from the measurement position group Pmg (S15).
読出処理部８９は、記憶部８００から、測定位置群Ｐｍｇのうち、評価開始の測定位置Ｐｍｓから評価終了の測定位置Ｐｍｅまでの各測定位置に関連付けられた各対の路面映像の４つのフレームデータを読み出す（Ｓ１６）。 The read processing unit 89 stores, from the storage unit 800, four frame data of each pair of road surface images associated with each measurement position from the evaluation start measurement position Pms to the evaluation end measurement position Pme in the measurement position group Pmg. Is read (S16).
次に、路面性状計測部８５は、各対の路面映像の４つのフレームデータに基づいて、路面性状を計測する（Ｓ１７）。そして、損傷評価部８６は、測定位置特定部８４で特定された評価開始の測定位置Ｐｍｓ及び評価終了の測定位置Ｐｍｅで定められ評価範囲の区画毎に、
路面の損傷の評価を行う（Ｓ１８）。この場合、道路の任意の評価区間における評価終了の測定位置と、連続して隣り合う次の評価区間における評価開始の測定位置は同じであるため、路面性状計測部８５は、いずれか一方の測定位置を利用しなくてもよい。
Next, the road surface texture measuring unit 85 measures the road surface texture based on the four frame data of each pair of road surface images (S17). Then, the damage evaluation unit 86 determines, for each section of the evaluation range defined by the evaluation start measurement position Pms and the evaluation end measurement position Pme specified by the measurement position specifying unit 84,
The damage of the road surface is evaluated (S18). In this case, the measurement position at the end of evaluation in an arbitrary evaluation section of the road is the same as the measurement position at the start of evaluation in the next evaluation section that is adjacent to the road. The position does not have to be used.
次に、読出処理部８９は、記憶部８００から、周辺画像データ及び走行距離データを読み出す（Ｓ１９）。そして、調書作成部８７は、損傷評価部８６による評価結果、並びに、道路台帳データ、周辺画像データ及び走行距離データに基づいて、調書データを作成する（Ｓ２０）。この調書データは、図１０乃至図１２に示されている。 Next, the read processing unit 89 reads the peripheral image data and the travel distance data from the storage unit 800 (S19). Then, the record preparation unit 87 prepares the record data based on the evaluation result by the damage evaluation unit 86 and the road ledger data, the peripheral image data and the traveling distance data (S20). This record data is shown in FIGS. 10 to 12.
図１０は、道路管理者が求める様式Ａの調書を示した図である。図１１は、道路管理者が求める様式Ｂの調書を示した図である。図１２は、道路管理者が求める評価図を示した図である。 FIG. 10 is a diagram showing a form A record required by the road administrator. FIG. 11 is a diagram showing a form B record required by the road administrator. FIG. 12 is a diagram showing an evaluation diagram required by the road administrator.
図１０に示されている様式Ａの調書には、上部に路線名等の書誌的事項、下部に区画毎に、位置情報や、路面性状調査及び測定値等の評価結果が示されている。評価結果には、ＭＣＩ(Maintenance Control Index：舗装の維持管理指数)が含まれている。このＭＣＩは、舗装の供用性を「ひび割れ率」、「わだち掘れ量」及び「平たん性（σ）」という路面性状値によって定量的に評価した結果を示す情報である。ＭＣＩの数値が低いほど、舗装の劣化が大きい。そして、様式Ａの調書は、損傷評価部８６による評価結果及び実際位置データ等に基づいて作成される。なお、区間長（ここでは、１００ｍ）は、道路管理者によって定められる
図１１に示されている様式Ｂの調書には、最上部に書誌的事項、その下に区間毎に評価結果及び区画の開始位置の周辺画像が示されている。この場合の評価結果にも、ＭＣＩが含まれている。そして、様式Ｂの調書は、損傷評価部８６による評価結果及び周辺画像データ並びに実際位置データ等に基づいて作成される。
In the record of Form A shown in FIG. 10, bibliographic items such as route names are shown in the upper part, and position information and evaluation results such as road surface property surveys and measured values are shown for each section in the lower part. The evaluation result includes MCI (Maintenance Control Index). This MCI is information indicating the result of quantitative evaluation of the serviceability of pavement by road surface property values such as "crack ratio", "rut depth" and "flatness (σ)". The lower the MCI value, the greater the deterioration of the pavement. Then, the record of the form A is created based on the evaluation result by the damage evaluation unit 86 and the actual position data. In addition, the section length (here, 100 m) is set by the road administrator. In the record of Form B shown in FIG. 11, the bibliographic item is at the top, and the evaluation result and the section A peripheral image of the starting position is shown. The evaluation result in this case also includes MCI. Then, the record of the form B is created based on the evaluation result by the damage evaluation unit 86, the peripheral image data, the actual position data, and the like.
図１２に示されている評価図には、ＭＣＩが地図上で視覚的に表されている。ＭＣＩの数値が高いほど、
最上部に書誌的事項、その下に区間毎に評価結果及び区画の開始位置の周辺画像が示されている。そして、様式Ｂの調書は、損傷評価部８６による評価結果及び周辺画像データ並びに実際位置データ等の道路台帳データに基づいて作成される。
In the evaluation diagram shown in FIG. 12, MCI is visually represented on the map. The higher the MCI value,
Bibliographic items are shown at the top, and evaluation results for each section and peripheral images of the starting positions of the sections are shown below. Then, the record of form B is created based on the evaluation result by the damage evaluation unit 86, the peripheral image data, and the road ledger data such as the actual position data.
＜実施形態の効果＞
以上説明したように本実施形態によれば、評価装置８は、同じ時刻Ｔ１に取得された各路面映像の対のフレームデータと測定位置データを関連付けて、実際位置データに最も近い測定位置データに関連付けられている対のフレームデータを特定する。評価装置８は、この特定した対のフレームデータを利用して、道路等の構造物の各評価区間を定めることができる。そのため、従来のように、路面性状調査の事前作業において、人手により白線等の路面指標を描画する等の工数負担を軽減させることができるという効果を奏する。
<Effects of the embodiment>
As described above, according to the present embodiment, the evaluation device 8 associates the paired frame data of each road surface image acquired at the same time T1 with the measured position data to obtain the measured position data closest to the actual position data. Identify the associated pair of frame data. The evaluation device 8 can determine each evaluation section of a structure such as a road by using the identified pair of frame data. Therefore, it is possible to reduce the man-hour burden of manually drawing a road surface index such as a white line in the preparatory work for the road surface property inspection as in the conventional art.
また、評価開始の測定位置と評価終了の測定位置がより正確に特定できるため、過去の同じ測定区間（評価区間）に対して路面の損傷評価を行うことができる。これにより、同じ測定区間における経時的変化を評価することができるという効果を奏する。 Further, since the measurement position at the start of evaluation and the measurement position at the end of evaluation can be specified more accurately, it is possible to perform road surface damage evaluation on the same past measurement section (evaluation section). As a result, there is an effect that the change over time in the same measurement section can be evaluated.
＜補足＞
上記実施形態では、路面ｒｓ１の表面性状を計測するための情報を取得するために、計測手段の一例として路面カメラ２を用いているが、これに限られるものではない。計測手段の他の例として、レーザ照射装置とカメラから構成される光切断計測機材や、距離認識が可能な単眼カメラ等が挙げられる。
<Supplement>
In the above embodiment, the road surface camera 2 is used as an example of the measuring unit in order to acquire the information for measuring the surface texture of the road surface rs1, but the present invention is not limited to this. Other examples of the measuring means include a light section measuring device including a laser irradiation device and a camera, and a monocular camera capable of recognizing a distance.
また、測定位置特定部８４は、図９において、最初に誤差範囲ｅｍ１内の測定位置（ここでは、測定位置Ｐｍ２，Ｐｍ３，Ｐｍ４）に絞り込んだ後に、評価開始の実際位置Ｐｆｓから最も近い測定位置（ここでは、測定位置Ｐｍ３）を特定してもよい。この絞り込みの処理は、評価終了の測定位置を特定する場合についても同様に行ってもよい。 In addition, in FIG. 9, the measurement position specifying unit 84 first narrows down to the measurement positions (here, the measurement positions Pm2, Pm3, and Pm4) within the error range em1 and then the measurement position closest to the actual position Pfs at the start of evaluation. (Here, the measurement position Pm3) may be specified. This narrowing-down process may be performed in the same manner when the measurement position at which the evaluation is completed is specified.
１ 車両
２ 路面カメラ（計測手段の一例）
２ａ 路面カメラ（計測手段の一例）
２ｂ 路面カメラ（計測手段の一例）
３ 周辺カメラ
４ データ管理装置
５ ＧＮＳＳセンサ（測位手段の一例）
６ 距離計測装置（距離計測手段の一例）
８ 評価装置
８２ 記憶処理部
８３ 映像位置関連付部
８４ 測定位置特定部（測定位置特定手段の一例）
８５ 性状計測部（性状計測手段の一例）
８６ 損傷評価部（損傷評価手段の一例）
８７ 調書作成部
８９ 読出処理部
８００ 記憶部
1 vehicle 2 road surface camera (an example of measuring means)
2a Road surface camera (an example of measuring means)
2b Road surface camera (an example of measuring means)
3 Peripheral camera 4 Data management device 5 GNSS sensor (an example of positioning means)
6 Distance measuring device (an example of distance measuring means)
8 Evaluation Device 82 Storage Processing Unit 83 Video Position Relating Unit 84 Measurement Position Identification Unit (an example of measurement position identification means)
85 Property measuring unit (an example of property measuring means)
86 Damage Evaluation Unit (an example of damage evaluation means)
87 record preparation unit 89 read-out processing unit 800 storage unit
Claims (10)
前記構造物上を走行した車両の測位手段から取得された複数の測定位置データで示される測定位置群のうち、前記構造物の損傷の評価を開始する実際の位置を示す評価開始の実際位置に最も近い測定位置を評価開始の測定位置として特定する測定位置特定手段と、
前記測定位置特定手段によって特定された前記評価開始の測定位置から前記構造物上の所定の道のりを評価区間として、前記構造物を表わす映像のフレームデータから構造物性状を計測する性状計測手段と、
前記性状計測手段によって計測された構造物性状に基づき、前記構造物の損傷の度合いを評価する損傷評価手段と、
を有することを特徴とする評価装置。 An evaluation device for evaluating the degree of damage to the structure for each evaluation section of the structure,
Of the measurement position group indicated by the plurality of measurement position data acquired from the positioning means of the vehicle traveling on the structure, the actual position of the evaluation start indicating the actual position at which the evaluation of damage to the structure is started. A measurement position specifying means for specifying the closest measurement position as a measurement position of the evaluation start,
From the measurement position of the evaluation start specified by the measurement position specifying means a predetermined path on the structure as an evaluation section, a property measuring means for measuring the structure property from the frame data of the image representing the structure,
Based on the property of the structure measured by the property measuring means, damage evaluation means for evaluating the degree of damage of the structure,
An evaluation device comprising:
前記性状計測手段は、前記測定位置特定手段によって特定された前記評価開始の測定位置から前記評価終了の測定位置までを前記評価区間として、前記構造物性状を計測すること
を特徴とする請求項１に記載の評価装置。 The measurement position specifying means, of the measurement position group, specifies the measurement position closest to the actual position of the end of evaluation indicating the actual position of ending the evaluation of damage to the structure as the measurement position of the end of evaluation,
The property measuring unit measures the property of the structure with the evaluation section from the measurement position of the evaluation start specified by the measurement position specifying unit to the measurement position of the evaluation end as the evaluation section. The evaluation device described in 1.
前記測位手段及び前記構造物の性状を計測する計測手段によって構築された調査機器システムと、
を有することを特徴とする調査システム。 An evaluation device according to any one of claims 1 to 6,
A surveying instrument system constructed by the measuring means for measuring the properties of the positioning means and the structure,
A survey system characterized by having.
前記測位手段、前記構造物の性状を計測する計測手段、及び前記車両の走行距離を計測する距離計測手段によって構築された調査機器システムと、
を有することを特徴とする調査システム。 An evaluation device according to claim 3;
A surveying instrument system constructed by the positioning means, a measuring means for measuring the properties of the structure, and a distance measuring means for measuring the traveling distance of the vehicle;
A survey system characterized by having.
コンピュータが、
前記構造物上を走行した車両の測位手段から取得された複数の測定位置データで示される測定位置群のうち、前記構造物の損傷の評価を開始する実際の位置を示す評価開始の実際位置に最も近い測定位置を評価開始の測定位置として特定する測定位置特定ステップと、
前記測定位置特定ステップによって特定された前記評価開始の測定位置から前記構造物上の所定の道のりを評価区間として、前記構造物を表わす映像のフレームデータから構造物性状を計測する性状計測ステップと、
前記性状計測ステップによって計測された構造物性状に基づき、前記構造物の損傷の度合いを評価する損傷評価ステップと、
を実行することを特徴とする評価方法。 An evaluation method for evaluating the degree of damage of the structure for each evaluation section of the structure,
Computer
Of the measurement position group indicated by the plurality of measurement position data acquired from the positioning means of the vehicle traveling on the structure, the actual position of the evaluation start indicating the actual position at which the evaluation of damage to the structure is started. A measurement position specifying step of specifying the closest measurement position as a measurement position of the evaluation start,
From a measurement position of the evaluation start specified by the measurement position specifying step as a predetermined path on the structure as an evaluation section, a property measuring step of measuring a structure property from frame data of an image representing the structure,
Based on the structure property measured by the property measurement step, a damage evaluation step of evaluating the degree of damage to the structure,
An evaluation method characterized by executing.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018225544A JP7115263B2 (en) | 2018-11-30 | 2018-11-30 | Evaluation device, investigation system, evaluation method and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018225544A JP7115263B2 (en) | 2018-11-30 | 2018-11-30 | Evaluation device, investigation system, evaluation method and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020085852A true JP2020085852A (en) | 2020-06-04 |
| JP7115263B2 JP7115263B2 (en) | 2022-08-09 |
Family
ID=70909865
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018225544A Active JP7115263B2 (en) | 2018-11-30 | 2018-11-30 | Evaluation device, investigation system, evaluation method and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7115263B2 (en) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006112127A (en) * | 2004-10-15 | 2006-04-27 | Hitachi Ltd | Road control system |
| JP2015176540A (en) * | 2014-03-18 | 2015-10-05 | 富士通株式会社 | Measuring method of road surface state, identify method of degraded point of road surface, information processor and program |
| JP2018154979A (en) * | 2017-03-16 | 2018-10-04 | 株式会社リコー | Information processing system, evaluation system, and information processing method and program |
-
2018
- 2018-11-30 JP JP2018225544A patent/JP7115263B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006112127A (en) * | 2004-10-15 | 2006-04-27 | Hitachi Ltd | Road control system |
| JP2015176540A (en) * | 2014-03-18 | 2015-10-05 | 富士通株式会社 | Measuring method of road surface state, identify method of degraded point of road surface, information processor and program |
| JP2018154979A (en) * | 2017-03-16 | 2018-10-04 | 株式会社リコー | Information processing system, evaluation system, and information processing method and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7115263B2 (en) | 2022-08-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Jiang et al. | Real‐time crack assessment using deep neural networks with wall‐climbing unmanned aerial system | |
| Chen et al. | Inexpensive multimodal sensor fusion system for autonomous data acquisition of road surface conditions | |
| KR102094341B1 (en) | System for analyzing pot hole data of road pavement using AI and for the same | |
| JP6713505B2 (en) | Pavement information collection and inspection system, pavement information collection and inspection method, and program | |
| WO2018122819A1 (en) | Binocular image analysis-based asphalt road surface damage detection system | |
| Joubert et al. | Pothole tagging system | |
| Wang et al. | Automated road sign inventory system based on stereo vision and tracking | |
| CN103778681A (en) | Vehicle-mounted high-speed road inspection system and data acquisition and processing method | |
| JP7314693B2 (en) | Road surface condition investigation system, road surface condition investigation method, and road surface condition investigation program | |
| JP2010511212A (en) | Method and apparatus for identifying and locating planar objects in an image | |
| CN101689296A (en) | Method of and apparatus for producing road information | |
| CN103938531B (en) | Laser road faulting of slab ends detecting system and method | |
| US8818031B1 (en) | Utility pole geotagger | |
| US20160133007A1 (en) | Crack data collection apparatus and server apparatus to collect crack data | |
| JP2018180772A (en) | Object detection device | |
| JP6647171B2 (en) | Information processing apparatus, information processing method, and program | |
| Radopoulou et al. | A framework for automated pavement condition monitoring | |
| JP2017102672A (en) | Geographic position information specification system and geographic position information specification method | |
| Mahmoudzadeh et al. | Kinect, a novel cutting edge tool in pavement data collection | |
| Jiang et al. | Automatic concrete sidewalk deficiency detection and mapping with deep learning | |
| Aleadelat et al. | Estimating pavement roughness using a low-cost depth camera | |
| EP4250245A1 (en) | System and method for determining a viewpoint of a traffic camera | |
| JP7115263B2 (en) | Evaluation device, investigation system, evaluation method and program | |
| JP6932057B2 (en) | Road surface property survey device and road surface property survey system | |
| JP6509546B2 (en) | Image search system and image search method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210826 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220615 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220628 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220711 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 7115263 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |