JP6278927B2 - Bridge inspection support device, bridge inspection support method, bridge inspection support system, and program - Google Patents
Bridge inspection support device, bridge inspection support method, bridge inspection support system, and program Download PDFInfo
- Publication number
- JP6278927B2 JP6278927B2 JP2015095649A JP2015095649A JP6278927B2 JP 6278927 B2 JP6278927 B2 JP 6278927B2 JP 2015095649 A JP2015095649 A JP 2015095649A JP 2015095649 A JP2015095649 A JP 2015095649A JP 6278927 B2 JP6278927 B2 JP 6278927B2
- Authority
- JP
- Japan
- Prior art keywords
- bridge
- inspection
- support device
- information
- inspection support
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007689 inspection Methods 0.000 title claims description 591
- 238000000034 method Methods 0.000 title claims description 36
- 230000005540 biological transmission Effects 0.000 claims description 25
- 230000001133 acceleration Effects 0.000 claims description 7
- 230000006870 function Effects 0.000 description 62
- 238000010586 diagram Methods 0.000 description 22
- 238000011156 evaluation Methods 0.000 description 21
- 238000012545 processing Methods 0.000 description 19
- 230000002093 peripheral effect Effects 0.000 description 12
- 239000003550 marker Substances 0.000 description 11
- 230000008569 process Effects 0.000 description 11
- 238000004891 communication Methods 0.000 description 10
- 238000012790 confirmation Methods 0.000 description 7
- 238000009434 installation Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000003190 augmentative effect Effects 0.000 description 3
- 238000010079 rubber tapping Methods 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000002559 palpation Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Landscapes
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
Description
本発明は、橋梁の点検を支援する技術に関し、特に点検箇所を直接指示するガイド情報を生成し表示することで点検作業の効率化を実現する、橋梁点検支援装置等の技術に関する。 The present invention relates to a technique for supporting inspection of a bridge, and more particularly to a technique such as a bridge inspection support apparatus that realizes efficiency of inspection work by generating and displaying guide information that directly indicates an inspection point.
道路法施行規則の一部法改正により、５年に１回の橋梁の定期点検が義務化され、点検対象となる橋梁も全国約７０万橋に拡大された。各地方自治体では、従前から橋梁に関する技術者不足や、点検作業が平準化されていないことによる点検結果のばらつき、点検項目の見落とし等の問題が指摘されていたが、法改正を機に管理下にある膨大な数の橋梁をいかに点検維持管理していくかが切迫した課題となっている。 Due to the revision of the Road Law Enforcement Rules, a periodic inspection of the bridge once every five years has become mandatory, and the number of bridges subject to inspection has been expanded to about 700,000 bridges nationwide. Local governments have previously pointed out problems such as lack of engineers related to bridges, uneven inspection results due to unleveled inspection work, and oversight of inspection items. It is an urgent issue how to inspect and maintain a huge number of bridges.
このような背景から昨今、各地方自治体では橋梁点検に関する技術相談会、技術講習会、実技実習などを数多く開催するなどして、点検者の育成、拡大等に力を入れている。一方、各メーカでは、最新の情報処理技術を導入して橋梁の点検を支援する点検支援システム等を開発し、点検者の作業負担を軽減し点検作業の効率化を実現する種々の技術手段を提供している。 Against this backdrop, each local government has been focusing on the development and expansion of inspectors by holding many technical consultations, technical workshops, practical trainings, etc. regarding bridge inspections. Each manufacturer, on the other hand, has developed various types of technical means to reduce the work burden on the inspector and improve the efficiency of the inspection work by developing the inspection support system that supports the inspection of the bridge by introducing the latest information processing technology. providing.
例えば特許文献１では、損傷部分を撮影した点検対象画像と、点検対象画像との差異が大きく損傷部分を探すための目印（標識や、特徴的な形状、色彩等を有する物体、汚れなど）となるマーク画像と、を点検用画面に同時に表示することで、点検者が、点検現場にて損傷部分を容易に探すことが可能な、点検支援装置等が開示されている。これにより、点検作業の負担を軽減し点検作業の効率化が実現される。 For example, in Patent Document 1, an inspection target image obtained by photographing a damaged portion and a mark (a sign, an object having a characteristic shape, a color, dirt, etc.) for searching for the damaged portion with a large difference between the inspection target image and An inspection support device or the like is disclosed that enables an inspector to easily find a damaged part at the inspection site by simultaneously displaying the mark image on the inspection screen. Thereby, the burden of inspection work is reduced and the efficiency of inspection work is realized.
しかしながら、特許文献１の方法では、損傷部分の周辺に目印となりうる標識等の存在が前提となる。この点、必ずしも損傷部分の周辺に適当な目印が存在するとは限らない。また、点検用画面にて損傷部分を直接指示する情報が得られるわけではなく、点検用画面に表示されるマーク画像を目印にして結局は点検者自らが点検箇所の位置を探し出す必要があり、点検者の作業負担を十分に軽減しているとは言えない。このため特許文献１に記載の点検支援装置等は、効率的な点検作業を十分に実現するものとは言えなかった。 However, the method of Patent Document 1 is premised on the presence of a sign or the like that can serve as a mark around the damaged portion. In this regard, an appropriate mark is not always present around the damaged portion. In addition, information that directly indicates the damaged part is not obtained on the inspection screen, and it is necessary for the inspector to find out the position of the inspection part by using the mark image displayed on the inspection screen as a mark. It cannot be said that the work burden on the inspector is sufficiently reduced. For this reason, the inspection support apparatus described in Patent Document 1 cannot be said to sufficiently realize efficient inspection work.
本発明は上記した課題に鑑みてなされたものであり、その目的は、点検箇所を直接指示するガイド情報を生成し表示することで点検作業の効率化を実現する、橋梁点検支援装置等を提供することである。 The present invention has been made in view of the above-described problems, and its purpose is to provide a bridge inspection support device and the like that realizes the efficiency of inspection work by generating and displaying guide information that directly indicates the inspection location. It is to be.
課題を解決するための第１の発明は、橋梁の点検を支援する橋梁点検支援装置であって、橋梁の点検箇所の位置を特定する点検位置情報を記憶する記憶手段と、
前記橋梁の実映像を取得する映像取得手段と、前記橋梁点検支援装置の位置および向きを特定する自己位置情報を取得する自己位置取得手段と、前記自己位置情報と前記橋梁に係る点検位置情報との位置関係に基づいて前記橋梁の前記点検箇所の位置をリアルタイムに直接指示するガイド情報を生成し、前記橋梁の実映像に重ねて表示する表示手段と、を具備し、前記表示手段は、前記点検箇所が少なくとも橋上、橋下のいずれに存在するかに応 じて前記ガイド情報の表示態様を変えて表示する、ことを特徴とする橋梁点検支援装置である。 A first invention for solving the problem is a bridge inspection support device for supporting inspection of a bridge, and storing means for storing inspection position information for specifying a position of an inspection point of the bridge;
Image acquisition means for acquiring an actual image of the bridge, self-position acquisition means for acquiring self-position information for specifying the position and orientation of the bridge inspection support device, the self-position information and inspection position information on the bridge, Display means for generating guide information that directly indicates the position of the inspection location of the bridge in real time based on the positional relationship of the bridge and displaying the guide information superimposed on the actual video of the bridge;The display means responds to whether the inspection location is at least on the bridge or under the bridge. And changing the display mode of the guide information.This is a bridge inspection support device.
第１の発明によれば、点検者は、橋梁点検支援装置の表示画面上に表示される橋梁に重畳表示されるガイド情報によって点検箇所を容易に把握することができる。これにより点検者を点検箇所へ迷いなく誘導させ、点検箇所の確認、損傷評価等の点検作業を効率的に遂行していくことができる。 According to the first invention, the inspector can easily grasp the inspection location by the guide information superimposed on the bridge displayed on the display screen of the bridge inspection support device. As a result, it is possible to guide the inspector to the inspection location without hesitation, and to efficiently perform inspection operations such as confirmation of the inspection location and damage evaluation.
また第１の発明において、前記表示手段は、前記点検箇所が橋上、橋下のいずれに存在するかに応じて、当該点検箇所を指示する図形の上下を反転して表示することが望ましい。
また第１の発明において、前記表示手段は、更に、損傷の損傷程度、損傷種類、点検方法、点検順序、対策区分、健全性の区分、点検終了の有無の少なくともいずれかに応じて前記ガイド情報の表示態様を変えて表示することが望ましい。これによって、単に点検箇所の場所を指示するガイド情報を表示する場合に比べ、点検者は点検箇所に関する様々な情報を得ることができる。
In the first invention, the display means, the inspection point is on a bridge, depending on whether there in any Hashimoto, it is desirable to display upside down in figure instructing the inspection point.
In the first invention, the display means further includes the guide information according to at least one of a damage degree, a damage type, an inspection method, an inspection order, a countermeasure category, a soundness category, and whether or not an inspection is completed. It is desirable to change the display mode. As a result, the inspector can obtain a variety of information related to the inspection location as compared with the case where guide information indicating the location of the inspection location is simply displayed.
また第１の発明において、過去の点検データから点検対象の損傷と関連する点検データを検索し表示する検索手段を更に具備することが望ましい。これによって、例えば新たに発見した損傷を評価する場合や一度点検した損傷を再評価する場合に、同様の損傷に対して過去にどのような損傷評価がなされたかを確認することができ、損傷を評価する際の判断基準として用いることができる。すなわち過去の損傷の判断結果を考慮して点検対象の損傷を評価できるため、点検者間の損傷評価のバラつきを軽減することができる。 In the first aspect of the invention, it is preferable to further include search means for searching and displaying inspection data related to damage to be inspected from past inspection data. This allows you to see what damage assessments have been made in the past for similar damage, for example when assessing newly discovered damage or reassessing previously inspected damage. It can be used as a criterion for evaluation. In other words, since the damage to be inspected can be evaluated in consideration of past damage determination results, the variation in damage evaluation between inspectors can be reduced.
また第１の発明において、点検箇所毎に点検の終了を受付ける点検終了受付手段と、前記点検終了受付手段により終了を受付けた点検箇所の数と前記記憶手段に記憶された点検箇所の全数とを比較し点検漏れの有無を判定する判定手段と、点検漏れがある場合にその旨を通知する通知手段と、を更に具備することが望ましい。これによって、点検漏れがある場合にその旨を点検者に通知するため、点検漏れを確実に防止することができる。 In the first invention, the inspection end acceptance means for accepting the end of inspection for each inspection place, the number of inspection places accepted by the inspection end acceptance means, and the total number of inspection places stored in the storage means It is desirable to further include a determination unit that compares and determines whether there is an inspection omission, and a notification unit that notifies that if there is an omission. This notifies the inspector when there is an inspection omission, so that the omission of inspection can be reliably prevented.
また第１の発明において、前記記憶手段は、更に、橋梁毎に橋梁の場所を特定する橋梁位置情報を記憶し、前記橋梁点検支援装置の現在位置と所望の橋梁の前記橋梁位置情報とに基づいて、前記橋梁までの経路を案内するナビゲート情報を生成し表示するナビゲート手段を更に具備することが望ましい。これによって、目的地の橋梁までの経路を案内するナビゲート情報が表示されるため、各点検現場まで迷うことなく辿りつくことができ、点検作業をスムーズに進めていくことができる。 In the first invention, the storage means further stores bridge position information for specifying a bridge location for each bridge, and is based on the current position of the bridge inspection support device and the bridge position information of a desired bridge. In addition, it is preferable to further include navigation means for generating and displaying navigation information for guiding a route to the bridge. As a result, the navigation information for guiding the route to the destination bridge is displayed, so that it is possible to reach each inspection site without hesitation, and the inspection work can proceed smoothly.
また第１の発明において、前記自己位置取得手段は、ＧＰＳにより前記橋梁点検支援装置の位置を取得するようにしてもよい。
また、前記自己位置取得手段は、加速度センサ、ジャイロセンサ、地磁気センサの少なくともいずれかにより前記橋梁点検支援装置の向きを取得するようにしてもよい。
In the first invention, the self-position acquisition means may acquire the position of the bridge inspection support device by GPS.
In addition, the self-position acquisition unit may acquire the orientation of the bridge inspection support device by at least one of an acceleration sensor, a gyro sensor, and a geomagnetic sensor.
課題を解決するための第２の発明は、橋梁の点検を支援する橋梁点検支援装置が実行する橋梁点検支援方法であって、橋梁の点検箇所の位置を特定する点検位置情報を記憶する記憶ステップと、前記橋梁の実映像を取得する映像取得ステップと、前記橋梁点検支援装置の位置および向きを特定する自己位置情報を取得する自己位置取得ステップと、前記自己位置情報と前記橋梁に係る点検位置情報との位置関係に基づいて前記橋梁の前記点検箇所の位置をリアルタイムに直接指示するガイド情報を生成し、前記橋梁の実映像に重ねて表示する表示ステップと、を含み、前記表示ステップは、前記点検箇所が少なくとも橋上 、橋下のいずれに存在するかに応じて前記ガイド情報の表示態様を変えて表示する、ことを特徴とする橋梁点検支援方法である。 A second invention for solving the problem is a bridge inspection support method executed by a bridge inspection support device for supporting inspection of a bridge, and storing storage position information for specifying a position of an inspection point of the bridge A video acquisition step of acquiring a real image of the bridge, a self-location acquisition step of acquiring self-location information specifying the position and orientation of the bridge inspection support device, the self-location information and an inspection position related to the bridge Generating guide information that directly indicates the position of the inspection location of the bridge in real time based on the positional relationship with the information, and displaying the guide information superimposed on the actual image of the bridge.In the display step, the inspection location is at least on the bridge. Depending on whether it exists under the bridge, the display mode of the guide information is changed and displayed.This is a bridge inspection support method characterized by this.
第２の発明によれば、第１の発明と同様に、点検者は、橋梁点検支援装置の表示画面上に表示される橋梁に重畳表示されるガイド情報によって点検箇所を容易に把握することができる。これにより点検者を点検箇所へ迷いなく誘導させ、点検箇所の確認、損傷評価等の点検作業を効率的に遂行していくことができる。 According to the second invention, as in the first invention, the inspector can easily grasp the inspection location by the guide information superimposed on the bridge displayed on the display screen of the bridge inspection support device. it can. As a result, it is possible to guide the inspector to the inspection location without hesitation, and to efficiently perform inspection operations such as confirmation of the inspection location and damage evaluation.
課題を解決するための第３の発明は、橋梁の点検を支援する橋梁点検支援装置のプログラムであって、前記橋梁点検支援装置を、橋梁の点検箇所の位置を特定する点検位置情報を記憶する記憶手段と、前記橋梁の実映像を取得する映像取得手段と、前記橋梁点検支援装置の位置および向きを特定する自己位置情報を取得する自己位置取得手段と、前記自己位置情報と前記橋梁に係る点検位置情報との位置関係に基づいて前記橋梁の前記点検箇所の位置をリアルタイムに直接指示するガイド情報を生成し、前記橋梁の実映像に重ねて表示する表示手段と、して機能させ、前記表示手段は、前記点検箇所が少なくとも橋上、橋 下のいずれに存在するかに応じて前記ガイド情報の表示態様を変えて表示する、ことを特徴とするプログラムである。 A third invention for solving the problem is a program of a bridge inspection support apparatus that supports inspection of a bridge, and the bridge inspection support apparatus stores inspection position information for specifying a position of an inspection point of the bridge. Storage means, video acquisition means for acquiring an actual video of the bridge, self-position acquisition means for acquiring self-position information for specifying the position and orientation of the bridge inspection support device, the self-position information and the bridge Based on the positional relationship with the inspection position information, it generates guide information that directly indicates the position of the inspection location of the bridge in real time, and functions as a display unit that displays the information superimposed on the actual image of the bridge.The display means is that the inspection location is at least on a bridge, a bridge Change the display mode of the guide information depending on whether it exists below,It is a program characterized by this.
第３の発明のプログラムを汎用のタブレット端末やグラス端末等にインストールすることで第１の発明の橋梁点検支援装置を得ることができる。 The bridge inspection support device of the first invention can be obtained by installing the program of the third invention on a general-purpose tablet terminal or glass terminal.
課題を解決するための第４の発明は、橋梁の点検を支援する橋梁点検支援装置と測位装置とを備える橋梁点検支援システムであって、前記橋梁点検支援装置は、橋梁の点検箇所の位置を特定する点検位置情報を記憶する記憶手段と、前記橋梁の実映像を取得する映像取得手段と、前記橋梁点検支援装置の位置および向きを特定する自己位置情報を取得する自己位置取得手段と、前記自己位置情報と前記橋梁に係る点検位置情報との位置関係に基づいて前記橋梁の前記点検箇所の位置をリアルタイムに直接指示するガイド情報を生成し、前記橋梁の実映像に重ねて表示する表示手段と、を具備し、前記表示手段は、前記点検 箇所が少なくとも橋上、橋下のいずれに存在するかに応じて前記ガイド情報の表示態様を 変えて表示し、前記測位装置は、複数の発信機から発信される超音波または準ミリ波レーダを受信する受信手段と、前記発信機の発信位置をＧＰＳにより取得する発信位置取得手段と、受信した超音波または準ミリ波レーダに基づいて前記発信位置からの前記橋梁点検支援装置の相対位置を測位する測位手段と、を具備し、前記橋梁点検支援装置の前記自己位置取得手段は、前記発信位置と前記相対位置とに基づいて、前記橋梁点検支援装置の位置を取得することを特徴とする橋梁点検支援システムである。 A fourth invention for solving the problem is a bridge inspection support system including a bridge inspection support device and a positioning device for supporting the inspection of the bridge, wherein the bridge inspection support device determines the position of the inspection point of the bridge. Storage means for storing inspection position information to be identified; video acquisition means for acquiring an actual image of the bridge; self-position acquisition means for acquiring self-position information for specifying the position and orientation of the bridge inspection support device; Display means for generating guide information that directly indicates in real time the position of the inspection location of the bridge based on the positional relationship between the self-position information and the inspection position information relating to the bridge, and displaying the guide information superimposed on the actual image of the bridge And comprisingThe display means is the inspection Depending on whether the location exists at least on the bridge or under the bridge, the display mode of the guide information is changed. Change the display,The positioning device includes: a receiving unit that receives ultrasonic waves or quasi-millimeter wave radars transmitted from a plurality of transmitters; a transmission position acquisition unit that acquires a transmission position of the transmitters by GPS; Positioning means for positioning the relative position of the bridge inspection support apparatus from the transmission position based on a millimeter wave radar, and the self-position acquisition means of the bridge inspection support apparatus includes the transmission position and the relative position. Based on the above, the bridge inspection support system is characterized in that the position of the bridge inspection support device is acquired.
第４の発明によれば、第１の発明と同様に、点検者は、橋梁点検支援装置の表示画面上に表示される橋梁に重畳表示されるガイド情報によって点検箇所を容易に把握することができる。これにより点検者を点検箇所へ迷いなく誘導させ、点検箇所の確認、損傷評価等の点検作業を効率的に遂行していくことができる。
これはまた、測位装置を備え、橋梁点検支援装置の位置情報を取得する際に利用することで、橋梁点検支援装置の位置情報をＧＰＳで取得することが困難、或いは不可能な場合であっても、確実に橋梁点検支援装置の位置情報を取得することができ、橋梁の点検箇所の位置を正確に指示するガイド情報を点検者に提示することができる。
According to the fourth invention, as in the first invention, the inspector can easily grasp the inspection location by the guide information superimposed on the bridge displayed on the display screen of the bridge inspection support device. it can. As a result, it is possible to guide the inspector to the inspection location without hesitation, and to efficiently perform inspection operations such as confirmation of the inspection location and damage evaluation.
This is also a case where it is difficult or impossible to obtain the position information of the bridge inspection support device by GPS by using a positioning device and using it when acquiring the position information of the bridge inspection support device. In addition, the position information of the bridge inspection support device can be acquired with certainty, and guide information that accurately indicates the position of the inspection point of the bridge can be presented to the inspector.
課題を解決するための第５の発明は、橋梁の点検を支援する橋梁点検支援装置と測位装置とを備える橋梁点検支援システムが実行する橋梁点検支援方法であって、前記橋梁点検支援装置は、橋梁の点検箇所の位置を特定する点検位置情報を記憶する記憶ステップと、前記橋梁の実映像を取得する映像取得ステップと、前記橋梁点検支援装置の位置および向きを特定する自己位置情報を取得する自己位置取得ステップと、前記自己位置情報と前記橋梁に係る点検位置情報との位置関係に基づいて前記橋梁の前記点検箇所の位置をリアルタイムに直接指示するガイド情報を生成し、前記橋梁の実映像に重ねて表示する表示ステップと、を含み、前記表示ステップは、前記点検箇所が少なくとも橋上、橋下のいずれに 存在するかに応じて前記ガイド情報の表示態様を変えて表示し、前記測位装置は、複数の発信機から発信される超音波または準ミリ波レーダを受信する受信ステップと、前記発信機の発信位置をＧＰＳにより取得する発信位置取得ステップと、受信した超音波または準ミリ波レーダに基づいて前記発信位置からの前記橋梁点検支援装置の相対位置を測位する測位ステップと、を含み、前記橋梁点検支援装置の前記自己位置取得ステップは、前記発信位置と前記相対位置とに基づいて、前記橋梁点検支援装置の位置を取得することを特徴とする橋梁点検支援方法である。 A fifth invention for solving the problem is a bridge inspection support method executed by a bridge inspection support system including a bridge inspection support device and a positioning device for supporting inspection of a bridge, and the bridge inspection support device includes: A storage step for storing inspection position information for specifying the position of the inspection point of the bridge, a video acquisition step for acquiring the actual video of the bridge, and self-location information for specifying the position and orientation of the bridge inspection support device are acquired. A self-position acquisition step, and generating guide information that directly indicates the position of the inspection location of the bridge in real time based on the positional relationship between the self-position information and the inspection position information related to the bridge, and an actual image of the bridge And a display step for displaying on the screen,In the display step, the inspection location is at least on the bridge or below the bridge. Change the display mode of the guide information depending on whether it exists,The positioning device includes a reception step of receiving ultrasonic or quasi-millimeter wave radar transmitted from a plurality of transmitters, a transmission position acquisition step of acquiring the transmission position of the transmitter by GPS, and the received ultrasonic or quasi-millimeter wave. Positioning the relative position of the bridge inspection support device from the transmission position based on a millimeter wave radar, and the self-position acquisition step of the bridge inspection support device includes the transmission position and the relative position The bridge inspection support method is characterized in that the position of the bridge inspection support device is acquired based on the above.
第５の発明によれば、第４の発明と同様に、点検者は、橋梁点検支援装置の表示画面上に表示される橋梁に重畳表示されるガイド情報によって点検箇所を容易に把握することができる。これにより点検者を点検箇所へ迷いなく誘導させ、点検箇所の確認、損傷評価等の点検作業を効率的に遂行していくことができる。
これはまた、測位装置を備え、橋梁点検支援装置の位置情報を取得する際に利用することで、橋梁点検支援装置の位置情報をＧＰＳで取得することが困難、或いは不可能な場合であっても、確実に橋梁点検支援装置の位置情報を取得することができ、橋梁の点検箇所の位置を正確に指示するガイド情報を点検者に提示することができる。
According to the fifth invention, similarly to the fourth invention, the inspector can easily grasp the inspection location by the guide information superimposed on the bridge displayed on the display screen of the bridge inspection support device. it can. As a result, it is possible to guide the inspector to the inspection location without hesitation, and to efficiently perform inspection operations such as confirmation of the inspection location and damage evaluation.
This is also a case where it is difficult or impossible to obtain the position information of the bridge inspection support device by GPS by using a positioning device and using it when acquiring the position information of the bridge inspection support device. In addition, the position information of the bridge inspection support device can be acquired with certainty, and guide information that accurately indicates the position of the inspection point of the bridge can be presented to the inspector.
本発明によれば、点検箇所を直接指示するガイド情報を生成し表示することで点検作業の効率化を実現することができる。 According to the present invention, it is possible to improve the efficiency of inspection work by generating and displaying guide information that directly indicates the inspection location.
以下、図面を参照しながら、本発明の好適な実施形態について説明する。尚、以下の説明及び添付図面において、略同一の機能を有する構成については、同一の符号を付す。 Hereinafter, preferred embodiments of the present invention will be described with reference to the drawings. In the following description and the accompanying drawings, components having substantially the same functions are denoted by the same reference numerals.
［第１実施形態］
本発明の第１実施形態は、橋梁点検の支援を目的とした橋梁点検支援装置に関するものであり、特に点検対象の橋梁の実映像に過去に点検した点検箇所を指示するガイド情報を重畳して表示させるものである。点検者は自身が保持する橋梁点検支援装置の表示画面上に表示されるガイド情報によって過去に点検した点検箇所を容易に把握することができ、点検箇所の確認、損傷評価等の点検作業を効率的に遂行していくことができる。
[First Embodiment]
1st Embodiment of this invention is related with the bridge inspection assistance apparatus aiming at the bridge | bridging inspection assistance, and superimposes the guide information which instruct | indicates the inspection location inspected in the past on the actual image of the bridge of inspection object especially. It is what is displayed. The inspector can easily grasp the inspection locations that have been inspected in the past based on the guide information displayed on the display screen of the bridge inspection support device that he / she holds, and the inspection work such as confirmation of inspection locations and damage evaluation can be performed efficiently. Can be accomplished.
また橋梁点検支援装置は、後述するように過去の点検データから関連する損傷を検索したり、点検箇所の点検漏れを通知したり、或いは点検現場の橋梁までの経路案内を行うことも可能である。これらの機能は全て橋梁点検支援装置を通して実行されるため、従来のように大量の点検作業用の紙データ等を持ち運ぶ必要がなくなり点検作業が大幅に省力化される。 In addition, the bridge inspection support device can search for related damage from past inspection data as described later, notify an inspection omission at an inspection location, or provide route guidance to a bridge at an inspection site. . Since all these functions are executed through the bridge inspection support apparatus, it is not necessary to carry a large amount of paper data for inspection work as in the prior art, and the inspection work is greatly saved.
（１．橋梁点検支援装置１のハードウェア構成）
図１は、橋梁点検支援装置１のハードウェア構成の例を示す図である。なお、図１のハードウェア構成は一例である。橋梁点検支援装置１は、例えば、タブレット端末であるが、用途、目的に応じて様々な構成を採ることが可能であり、
スマートフォン、ノートＰＣ、ウェアラブルデバイス（例えば眼鏡型、或いはヘルメット型のヘッドマウントディプレイ）等であってもよい。
(1. Hardware configuration of bridge inspection support device 1)
FIG. 1 is a diagram illustrating an example of a hardware configuration of the bridge inspection support device 1. The hardware configuration in FIG. 1 is an example. The bridge inspection support device 1 is, for example, a tablet terminal, but can take various configurations depending on the application and purpose.
It may be a smartphone, a notebook PC, a wearable device (for example, a glasses-type or helmet-type head-mounted display), or the like.
図１に示すように、橋梁点検支援装置１は主に、制御部１１、記憶部１２、通信制御部１３、入力部１４、表示部１５、周辺機器Ｉ／Ｆ部１６、カメラ１７、位置取得部１８などが、バス１９を介して接続されて構成される。 As shown in FIG. 1, the bridge inspection support apparatus 1 mainly includes a control unit 11, a storage unit 12, a communication control unit 13, an input unit 14, a display unit 15, a peripheral device I / F unit 16, a camera 17, and a position acquisition. The unit 18 and the like are connected via the bus 19.
制御部１１は、ＣＰＵ(Central Processing Unit)、ＲＯＭ(Read Only Memory)、ＲＡＭ(Random Access Memory)等で構成される。ＣＰＵは、記憶部１３、ＲＯＭ、記録媒体等に格納されるプログラムをＲＡＭ上のワークメモリ領域に呼び出して実行することによって本発明に係る橋梁点検支援装置１の全ての制御を実行する。
ＲＯＭは、不揮発性メモリであり、プログラムやデータ等を恒久的に保持している。ＲＡＭは、揮発性メモリであり、記憶部１２、ＲＯＭ、記録媒体等からロードしたプログラム、データ等を一時的に保持するとともに、制御部１１が各種処理を行う為に使用するワークエリアを備える。
The control unit 11 includes a CPU (Central Processing Unit), a ROM (Read Only Memory), a RAM (Random Access Memory), and the like. The CPU executes all the controls of the bridge inspection support device 1 according to the present invention by calling a program stored in the storage unit 13, ROM, recording medium, etc. into a work memory area on the RAM and executing it.
The ROM is a non-volatile memory and permanently stores programs, data, and the like. The RAM is a volatile memory, and temporarily stores programs, data, and the like loaded from the storage unit 12, ROM, recording medium, and the like, and includes a work area used by the control unit 11 for performing various processes.
記憶部１２は、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）等であり、制御部１１が実行するプログラム、プログラム実行に必要なデータ等が格納される。プログラム等は、制御部１１により必要に応じて読み出されＲＡＭに移されて実行される。 The storage unit 12 is a flash memory, an HDD (Hard Disk Drive), or the like, and stores a program executed by the control unit 11, data necessary for program execution, and the like. The program and the like are read by the control unit 11 as necessary, transferred to the RAM, and executed.
本実施形態においては、後述するガイド情報表示機能、類似損傷検索機能、点検漏れ通知機能、ナビゲート機能等を含む「橋梁点検支援プログラム」が予め記憶部１２に記憶されている。そして、制御部１１が記憶部１２に記憶された当該プログラムをＲＡＭに読込み実行することで、上述の各機能が実現される。 In the present embodiment, a “bridge inspection support program” including a guide information display function, a similar damage search function, an inspection omission notification function, a navigation function, and the like, which will be described later, is stored in the storage unit 12 in advance. And the above-mentioned each function is implement | achieved when the control part 11 reads the said program memorize | stored in the memory | storage part 12 in RAM, and is performed.
通信制御部１３は、通信制御端末、通信ポート等を有し、橋梁点検支援装置１とネットワーク間の通信を媒介する通信インターフェースであり、ネットワークを介して、他のコンピュータ等とのデータ通信の制御を行う。 The communication control unit 13 includes a communication control terminal, a communication port, and the like, and is a communication interface that mediates communication between the bridge inspection support apparatus 1 and the network, and controls data communication with other computers and the like via the network. I do.
入力部１４は、データの入力を行い、例えば、タッチパネル、キーボード、マウス等のポインティングデバイス、テンキー等の入力装置を有する。点検者は、入力部１４を介して、橋梁点検支援装置１に対して、操作指示、動作指示、データ入力等を行うことができる。 The input unit 14 inputs data and includes an input device such as a touch panel, a keyboard, a pointing device such as a mouse, and a numeric keypad. The inspector can give an operation instruction, an operation instruction, data input, and the like to the bridge inspection support apparatus 1 via the input unit 14.
表示部１５は、液晶パネル等のディスプレイ装置、ディスプレイ装置と連携してコンピュータのビデオ機能を実現するための論理回路等（ビデオアダプタ等）を有する。尚、入力部１４及び表示部１５は、タッチパネルディスプレイのように、一体となっていても良い。 The display unit 15 includes a display device such as a liquid crystal panel and a logic circuit or the like (video adapter or the like) for realizing a video function of the computer in cooperation with the display device. The input unit 14 and the display unit 15 may be integrated like a touch panel display.
周辺機器Ｉ／Ｆ（インターフェース）部１６は、橋梁点検支援装置１と周辺機器を接続させるためのポートであり、周辺機器Ｉ／Ｆ部１６を介して橋梁点検支援装置１は周辺機器とのデータ通信を行う。周辺機器Ｉ／Ｆ部１６は、ＵＳＢ、ＨＤＭＩ（登録商標）、ＭＨＬ、イヤホンマイクコネクタ等で構成されている。周辺機器との接続形態は有線、無線を問わない。 The peripheral device I / F (interface) unit 16 is a port for connecting the bridge inspection support device 1 and the peripheral device, and the bridge inspection support device 1 transmits data with the peripheral device via the peripheral device I / F unit 16. Communicate. The peripheral device I / F unit 16 includes a USB, HDMI (registered trademark), MHL, earphone microphone connector, and the like. The connection form with the peripheral device may be wired or wireless.
カメラ１７は、ＣＭＯＳ(Complementary Metal Oxide Semiconductor Image Sensor)等を有し、橋梁映像を撮影する。カメラ１７は、橋梁点検支援装置１の表示画面が配置されている前面に配置される前面側カメラ１７ａ（不図示）と、前面とは反対側の面である背面に配置される背面側カメラ１７ｂ（不図示）とを含む。カメラ１７は、レンズ、絞り、シャッタ、及び撮像素子などを主に有しており、絞り値、シャッタ速度、及びＩＳＯ感度などの撮像条件が変更可能となっている。また、カメラ１７（１７ａ及び１７ｂ）は、カメラ１７のフォーカスを調整するフォーカス機構と、シャッタの開閉を調整するシャッタ機構とを有している。 The camera 17 includes a CMOS (Complementary Metal Oxide Semiconductor Image Sensor) and the like, and takes a bridge image. The camera 17 includes a front-side camera 17a (not shown) disposed on the front surface on which the display screen of the bridge inspection support device 1 is disposed, and a rear-side camera 17b disposed on the rear surface that is the surface opposite to the front surface. (Not shown). The camera 17 mainly includes a lens, an aperture, a shutter, an image sensor, and the like, and imaging conditions such as an aperture value, a shutter speed, and ISO sensitivity can be changed. The camera 17 (17a and 17b) includes a focus mechanism that adjusts the focus of the camera 17, and a shutter mechanism that adjusts opening and closing of the shutter.
位置取得部１８は、例えばＧＰＳセンサ、加速度センサ、ジャイロセンサ、地磁気センサ等から構成され、点検者が保持する橋梁点検支援装置１の位置（緯度、経度、高度など）および向き（姿勢）を特定する位置情報を取得する。以下、橋梁点検支援装置１の位置および向きを特定する位置情報を「自己位置情報」とも呼ぶ。 The position acquisition unit 18 includes, for example, a GPS sensor, an acceleration sensor, a gyro sensor, a geomagnetic sensor, and the like, and specifies the position (latitude, longitude, altitude, etc.) and orientation (posture) of the bridge inspection support device 1 held by the inspector. Get location information. Hereinafter, the position information for specifying the position and orientation of the bridge inspection support device 1 is also referred to as “self-position information”.
バス１９は、各部間の制御信号、データ信号等の授受を媒介する経路である。
また、図２に示したハードウェア構成のほかに、スピーカ、マイクロホン等のデバイスを備えてもよい。
The bus 19 is a path that mediates transmission / reception of control signals, data signals, and the like between the units.
In addition to the hardware configuration shown in FIG. 2, devices such as a speaker and a microphone may be provided.
（２．橋梁点検支援装置１の各機能）
以上のように構成された橋梁点検支援装置１は橋梁点検を支援する種々の機能を備えている。ここでは特に（２−１）ガイド情報表示機能（２−２）類似損傷検索機能（２−３）点検漏れ通知機能（２−４）ナビゲート機能の４つの機能について説明する。
(2. Each function of bridge inspection support device 1)
The bridge inspection support apparatus 1 configured as described above has various functions for supporting bridge inspection. Here, in particular, (2-1) guide information display function (2-2) similar damage search function (2-3) inspection omission notification function (2-4) navigation function will be described.
（２−１．ガイド情報表示機能）
ガイド情報表示機能は、本発明の要旨に係る機能であり、ＡＲ（Augmented
Reality：拡張現実）技術を用いて実映像上に点検箇所を指示するガイド情報を重畳表示する機能である。
図２は、橋梁点検支援装置１のガイド情報表示機能の機能ブロックを示す図である。図に示すように主に、映像取得手段１１０、位置情報取得手段１１１、ガイド情報生成手段１１２、重畳映像生成手段１１３、重畳映像表示手段１１４によってガイド情報表示機能が実現される。
(2-1. Guide information display function)
The guide information display function is a function according to the gist of the present invention, and is AR (Augmented).
This is a function for superimposing and displaying guide information for instructing an inspection location on an actual image using Reality (augmented reality) technology.
FIG. 2 is a diagram illustrating functional blocks of the guide information display function of the bridge inspection support device 1. As shown in the figure, a guide information display function is realized mainly by the video acquisition unit 110, the position information acquisition unit 111, the guide information generation unit 112, the superimposed video generation unit 113, and the superimposed video display unit 114.
映像取得手段１１０は、点検者の操作を受付けることによって、カメラ１７を制御し点検対象の橋梁映像２０を取得（撮影）する。取得した橋梁映像２０は表示部１５にリアルタイムに表示される。 The image acquisition means 110 receives the operation of the inspector and controls the camera 17 to acquire (photograph) the bridge image 20 to be inspected. The acquired bridge image 20 is displayed on the display unit 15 in real time.
位置情報取得手段１１１は、位置取得部１８を介して橋梁点検支援装置１の自己位置情報（位置および向き）を取得する。具体的にはＧＰＳから橋梁点検支援装置１の位置（緯度、経度、高度）を取得し、加速度センサ、ジャイロセンサ、或いは地磁気センサから橋梁点検支援装置１の向き（姿勢）を取得する。自己位置情報は、後述するガイド情報５を生成する際に用いられる。なお橋梁点検支援装置１の自己位置情報は、点検者の操作を受付けることによって、手動で設定してもよい。例えば位置情報（緯度、経度、高度）を持つ橋梁モデル（２次元モデル又は３次元モデル）を記憶部１２に保持しておき、この橋梁モデルを読込み、表示部１５に表示する。そして点検者は表示された橋梁モデル上において自身の現在位置に相当する場所をクリック、タップ等することで位置情報（緯度、経度、高度）を得ることができる。 The position information acquisition unit 111 acquires self-position information (position and direction) of the bridge inspection support device 1 via the position acquisition unit 18. Specifically, the position (latitude, longitude, altitude) of the bridge inspection support device 1 is acquired from GPS, and the direction (posture) of the bridge inspection support device 1 is acquired from an acceleration sensor, a gyro sensor, or a geomagnetic sensor. The self-location information is used when generating guide information 5 described later. In addition, you may set the self-location information of the bridge inspection assistance apparatus 1 manually by receiving operation of an inspector. For example, a bridge model (two-dimensional model or three-dimensional model) having position information (latitude, longitude, altitude) is held in the storage unit 12, and this bridge model is read and displayed on the display unit 15. The inspector can obtain position information (latitude, longitude, altitude) by clicking, tapping, and the like on the displayed bridge model corresponding to his current position.
ガイド情報生成手段１１２は、記憶部１２に格納された点検データ１２ａを取得し、橋梁映像２０に重畳表示するガイド情報５を生成する。 The guide information generating unit 112 acquires the inspection data 12 a stored in the storage unit 12 and generates guide information 5 to be superimposed on the bridge image 20.
点検データ１２ａには、過去に点検した点検箇所（損傷箇所）の位置を特定する点検位置情報を始めとして、損傷の撮影画像、損傷程度、損傷種類、損傷部位、点検方法、対策区分、健全性の区分、点検日時、点検メモなどの各種点検情報が含まれている。これらの情報の一部は、国土交通省「橋梁定期点検要領」で規定されている点検事項である。 The inspection data 12a includes, in addition to inspection position information that identifies the position of inspection points (damaged points) that have been inspected in the past, photographed images of damage, degree of damage, type of damage, damaged part, inspection method, countermeasure category, soundness Various types of inspection information such as classification, inspection date and time, and inspection memo are included. Some of this information is the inspection items stipulated in the Ministry of Land, Infrastructure, Transport and Tourism “Regular Bridge Inspection Procedure”.
点検位置情報は、例えば橋梁を初めて点検した際に、橋梁点検支援装置１の位置取得部１８（ＧＰＳ）から取得したものである。橋梁を初めて点検する際には、点検箇所の位置情報がないため、位置情報を必ず取得しておく必要がある。位置情報を一度取得し点検データ１２ａに保持しておけば、同じ点検箇所については位置情報を再度取得する必要はない。なお点検位置情報についても自己位置情報と同様に例えば橋梁モデルから手動で取得するようにしてもよい。
本発明では点検箇所の位置情報に基づいたマーカレス型ＡＲ技術によりガイド情報５を生成する。このため点検箇所に画像認識用のマーカを設置したり、或いは点検箇所の目印になりえるもの（例えば標識、特徴的な形状、色彩等を有する物体、汚れなど）を画像処理で認識する必要がない。
The inspection position information is acquired from the position acquisition unit 18 (GPS) of the bridge inspection support device 1 when the bridge is inspected for the first time, for example. When inspecting a bridge for the first time, there is no location information for the inspection location, so it is necessary to obtain location information. Once the position information is acquired and stored in the inspection data 12a, it is not necessary to acquire the position information again for the same inspection location. Note that the inspection position information may also be manually acquired from, for example, a bridge model, similarly to the self-position information.
In this invention, the guide information 5 is produced | generated by the markerless type AR technique based on the positional information on an inspection location. For this reason, it is necessary to install a marker for image recognition at the inspection location, or to recognize an object that can serve as a mark of the inspection location (for example, a sign, an object having a characteristic shape, color, etc., dirt) by image processing. Absent.
点検データ１２ａには、少なくとも点検対象の橋梁の点検情報を含んでいる。例えば、その日に点検巡回する橋梁が橋梁Ａ、Ｂ、Ｃであれば、橋梁Ａ、Ｂ、Ｃの過去の点検情報が保持される。また、点検対象の橋梁に加えて周辺エリアに存在する他の橋梁の点検情報を保持してもよいし、記憶部１２のデータ容量制限を超えない範囲で過去に点検したあらゆる橋梁の点検情報を保持してもよい。また、地方自治体の管理エリアにある橋梁の点検情報のみを保持するようにしてもよい。 The inspection data 12a includes at least inspection information on the bridge to be inspected. For example, if the bridges to be inspected on that day are the bridges A, B, and C, the past inspection information of the bridges A, B, and C is held. Moreover, in addition to the bridge to be inspected, inspection information on other bridges existing in the surrounding area may be held, and inspection information on all bridges inspected in the past within a range not exceeding the data capacity limit of the storage unit 12 may be stored. It may be held. Further, only the inspection information of the bridges in the management area of the local government may be held.
ガイド情報５とは、過去に点検した橋梁の点検箇所（損傷箇所）を指示する情報であり橋梁映像２０に重畳して表示するＡＲ（Augmented Reality：拡張現実）コンテンツである。本発明では、このガイド情報５を橋梁映像２０に重畳した重畳映像３０を画面上に表示することによって、過去に点検した点検箇所を視覚的に容易に把握することができ、点検者を点検箇所へ迷いなく誘導させ、点検箇所の確認、損傷評価等の点検作業を効率的に遂行していくことができる。 The guide information 5 is information indicating the inspection location (damage location) of the bridge that has been inspected in the past, and is AR (Augmented Reality) content that is displayed superimposed on the bridge video 20. In the present invention, by displaying the superimposed image 30 in which the guide information 5 is superimposed on the bridge image 20 on the screen, it is possible to easily visually grasp the inspection locations that have been inspected in the past. It can be guided without hesitation and can efficiently perform inspection work such as confirmation of inspection points and damage evaluation.
ガイド情報生成手段１１２は、位置情報取得手段１１１により取得した橋梁点検支援装置１の自己位置情報（位置および向き）と、点検データ１２ａから取得した点検箇所の位置を特定する点検位置情報と、の位置関係に基づいて、ＡＲ技術により現実空間の座標系に合わせて視認させるようなガイド情報５を生成する。これにより現実空間にガイド情報５が実際に配置されているかのような映像が表示画面に表示される。ガイド情報５の表示例は後に示す。 The guide information generation unit 112 includes self-position information (position and orientation) of the bridge inspection support apparatus 1 acquired by the position information acquisition unit 111 and inspection position information that specifies the position of the inspection point acquired from the inspection data 12a. Based on the positional relationship, the guide information 5 is generated by the AR technique so as to be visually recognized in accordance with the coordinate system of the real space. Thereby, an image as if the guide information 5 is actually arranged in the real space is displayed on the display screen. A display example of the guide information 5 will be described later.
またガイド情報生成手段１１２は、点検データ１２ａに含まれる損傷に関連する各種点検情報、例えば損傷の損傷程度、損傷種類、損傷部位、点検方法、点検順序、対策区分、健全性の区分に応じて表示態様を変えたガイド情報５を生成することができる。これにより単に点検箇所の位置を指示するガイド情報５を生成し表示する場合に比べ、点検者は損傷に関する様々な情報を得ることができる。これらのガイド情報５の表示例も後に示す。 In addition, the guide information generating means 112 is in accordance with various inspection information related to damage included in the inspection data 12a, for example, the degree of damage, type of damage, damaged site, inspection method, inspection order, countermeasure category, and soundness category. Guide information 5 with a different display mode can be generated. As a result, the inspector can obtain a variety of information regarding the damage as compared with the case where the guide information 5 that simply indicates the position of the inspection location is generated and displayed. A display example of the guide information 5 will also be shown later.
重畳映像生成手段１１３は、映像取得手段１１０により取得した橋梁映像２０にガイド情報生成手段１１２により生成したガイド情報５を重畳させた重畳映像３０を生成する。 重畳映像表示手段１１４は、重畳映像生成手段１１３が生成した重畳映像３０を橋梁点検支援装置１の表示部１５にリアルタイムに表示する。 The superimposed video generation unit 113 generates a superimposed video 30 in which the guide information 5 generated by the guide information generation unit 112 is superimposed on the bridge video 20 acquired by the video acquisition unit 110. The superimposed video display unit 114 displays the superimposed video 30 generated by the superimposed video generation unit 113 on the display unit 15 of the bridge inspection support device 1 in real time.
なお、上記したガイド情報生成手段１１２、重畳映像生成手段１１３、重畳映像表示手段１１４によって本発明に係る「表示手段」が実現される。 Note that the “display unit” according to the present invention is realized by the guide information generation unit 112, the superimposed video generation unit 113, and the superimposed video display unit 114 described above.
（２−２．類似損傷検索機能）
類似損傷検索機能は、点検対象の損傷と関連する過去の点検データ（点検情報）を検索表示する機能である。
図３は、橋梁点検支援装置１の類似損傷検索機能の機能ブロックを示す図である。図に示すように主に、映像取得手段１１０、類似損傷検索手段１１５、類似損傷表示手段１１６によって類似損傷検索機能が実現される。点検データ１２ａには過去に点検した多くの橋梁の点検データが保持されている。
(2-2. Similar damage search function)
The similar damage search function is a function for searching and displaying past inspection data (inspection information) related to the damage to be inspected.
FIG. 3 is a diagram illustrating functional blocks of the similar damage search function of the bridge inspection support device 1. As shown in the figure, a similar damage search function is realized mainly by the image acquisition means 110, the similar damage search means 115, and the similar damage display means 116. The inspection data 12a holds inspection data of many bridges that have been inspected in the past.
映像取得手段１１０は、点検者の操作を受付けることによって、カメラ１７を制御し点検対象の損傷画像５０を撮影し取得する。或いは点検データ１２ａに過去に点検した当該点検対象の損傷画像が保存されている場合には、点検データ１２ａから当該損傷画像を取得するようにしてもよい。 The video acquisition means 110 receives the operation of the inspector and controls the camera 17 to capture and acquire the damaged image 50 to be inspected. Or when the damage image of the said inspection object inspected in the past is preserve | saved in the inspection data 12a, you may make it acquire the said damage image from the inspection data 12a.
類似損傷検索手段１１５は、取得した損傷画像５０を検索キーとして関連する過去の点検データを点検データ１２ａから検索する。具体的には、映像取得手段１１０により取得した損傷画像５０と、過去の点検で撮影した損傷画像との類似度を画像処理により算出し、類似度の高い過去の損傷画像に係る点検データ１２ａを検索する。例えば過去の損傷画像毎に損傷の画像特徴ベクトル（画像特徴量）を抽出し保持しておき、損傷画像毎に、映像取得手段１１０により取得した損傷画像５０から抽出した画像特徴ベクトル（画像特徴量）との距離（例えば画像特徴ベクトル間のユークリッド距離）を算出し、距離が閾値以下となる過去の損傷画像を検索する。
また、画像データ同士の比較に限らず、損傷種類、損傷部位等の各諸元が一致又は関連するものを検索するようにしてもよい。
The similar damage search means 115 searches past inspection data related to the acquired damage image 50 as a search key from the inspection data 12a. Specifically, the similarity between the damage image 50 acquired by the video acquisition means 110 and the damage image taken in the past inspection is calculated by image processing, and the inspection data 12a relating to the past damage image having a high similarity is obtained. Search for. For example, an image feature vector (image feature amount) of damage is extracted and held for each past damaged image, and an image feature vector (image feature amount) extracted from the damaged image 50 acquired by the video acquisition unit 110 for each damaged image. ) (For example, a Euclidean distance between image feature vectors) and a past damaged image whose distance is equal to or less than a threshold is searched.
In addition, the comparison is not limited to image data, but a search may be made for items that match or relate to each type of damage type, damaged site, and the like.
類似損傷表示手段１１６は、検索した関連する過去の点検データを表示部１５に表示する。表示対象は例えば損傷画像である。その他点検データ１２ａに含まれる各種点検情報、例えば損傷程度、損傷種類、損傷部位、対策区分、健全性の区分、点検日時、点検メモなどを表示してもよい。 The similar damage display means 116 displays the retrieved past inspection data on the display unit 15. The display target is, for example, a damaged image. In addition, various inspection information included in the inspection data 12a, for example, the degree of damage, the type of damage, the damaged part, the countermeasure category, the soundness category, the inspection date and time, the inspection memo, and the like may be displayed.
以上説明した類似損傷検索機能によって、例えば新たに発見した損傷を評価する場合や一度点検した損傷を再評価する場合に、同様の損傷に対して過去にどのような損傷評価がなされたかを確認することができ、損傷を評価する際の判断基準として用いることができる。すなわち過去の損傷の判断結果を考慮して点検対象の損傷を評価できるため、点検者間の損傷評価のバラつきを軽減することができる。
なお、類似損傷検索手段１１５、類似損傷表示手段１１６によって本発明に係る「検索手段」が実現される。
Using the similar damage search function described above, for example, when evaluating newly discovered damage or re-evaluating damage once inspected, it is confirmed what damage evaluation has been made in the past for similar damage It can be used as a criterion for evaluating damage. In other words, since the damage to be inspected can be evaluated in consideration of past damage determination results, the variation in damage evaluation between inspectors can be reduced.
In addition, the “search means” according to the present invention is realized by the similar damage search means 115 and the similar damage display means 116.
（２−３．点検漏れ通知機能）
点検漏れ通知機能は、点検箇所の点検漏れを点検者に通知する機能である。前述したガイド情報表示機能によっても、点検箇所を視覚的に容易に把握できるため、点検漏れを防止抑制することが可能である。しかしながら点検箇所が相当数あるような場合には点検漏れが少なからず発生する可能性があり得る。そこで本機能によって点検漏れがある場合にその旨を点検者に通知することで、点検漏れを確実に防止する。
図４は、橋梁点検支援装置１の点検漏れ通知機能の機能ブロックを示す図である。図に示すように主に、点検終了受付手段１１７、点検漏れ判定手段１１８、点検漏れ通知手段１１９によって点検漏れ通知機能が実現される。
(2-3. Inspection omission notification function)
The inspection omission notification function is a function for notifying an inspector of an omission in an inspection location. Also with the guide information display function described above, the inspection location can be easily grasped visually, so that inspection omissions can be prevented and suppressed. However, in the case where there are a considerable number of inspection points, there is a possibility that there are not a few inspection omissions. Therefore, when there is a check omission by this function, the checker is notified of this and the omission of inspection is reliably prevented.
FIG. 4 is a diagram illustrating functional blocks of the inspection omission notification function of the bridge inspection support device 1. As shown in the figure, the inspection omission notification function is realized mainly by the inspection end acceptance means 117, the inspection omission judgment means 118, and the inspection omission notification means 119.
点検開始終了受付手段１１７は、点検者の操作によって、点検箇所毎に点検の開始を受付け、また、点検箇所毎に点検の終了を受付ける。また、点検箇所毎の点検の終了とは別に、点検者の操作によって橋梁の全ての点検の終了を受付ける。 The inspection start / end acceptance unit 117 accepts the start of inspection for each inspection location and the completion of inspection for each inspection location by the operation of the inspector. In addition to the completion of the inspection for each inspection point, the completion of all inspections of the bridge is accepted by the operation of the inspector.
点検漏れ判定手段１１８は、点検開始終了受付手段１１７によって点検者から橋梁の全ての点検の終了を受付けると、点検漏れ判定を行う。具体的には点検データ１２ａに保持されている点検すべき点検箇所の全数と、点検開始終了受付手段１１７によって点検の終了を受け付けた点検箇所の数とを比較し、点検すべき点検箇所の全数より点検の終了を受けつけた点検箇所の数が少ない場合に、点検漏れが有りと判定する。
点検漏れ通知手段１１９は、点検漏れ判定手段１１８により点検漏れ有りと判定された場合に、その旨を画面或いは音声にて通知する。
The inspection omission determination unit 118 performs the inspection omission determination when the inspection start end reception unit 117 receives the completion of all inspections of the bridge from the inspector. Specifically, the total number of inspection locations to be inspected held in the inspection data 12a is compared with the number of inspection locations that have been inspected by the inspection start / end acceptance means 117, and the total number of inspection locations to be inspected is compared. If there are fewer inspection locations that have received an inspection completion, it is determined that there is an inspection omission.
When the inspection omission determination unit 118 determines that there is an omission in inspection, the inspection omission notification unit 119 notifies the fact by screen or sound.
（２−４．ナビゲート機能）
ナビゲート機能は、目的の橋梁までの経路案内を行う機能である。
図５は、橋梁点検支援装置１のナビゲート機能の機能ブロックを示す図である。図に示すように主に、位置情報取得手段１１１、ナビゲート情報生成手段１２０、ナビゲート表示手段１２１によってナビゲート機能が実現される。記憶部１２（点検データ１２ａ）には、ナビゲート対象の橋梁の位置を特定する「橋梁位置情報」が保持されている。
(2-4. Navigate function)
The navigation function is a function that provides route guidance to a target bridge.
FIG. 5 is a diagram showing functional blocks of the navigation function of the bridge inspection support device 1. As shown in the figure, the navigation function is realized mainly by the position information acquisition unit 111, the navigation information generation unit 120, and the navigation display unit 121. The storage unit 12 (inspection data 12a) holds “bridge position information” that specifies the position of the bridge to be navigated.
位置情報取得手段１１１は、位置取得部１８（ＧＰＳ）から橋梁点検支援装置１の現在位置を取得する。
ナビゲート情報生成手段１２０は、ナビゲート対象の橋梁をリストアップして表示部１５に表示する。リストアップ表示する橋梁（ナビゲート対象の橋梁）は、例えばその日に巡回点検する橋梁や、地方自治体の管理エリアにある橋梁である。また、位置情報取得手段１１１により取得した現在位置の周辺エリアに存在する橋梁をリストアップ表示してもよい。
The position information acquisition unit 111 acquires the current position of the bridge inspection support device 1 from the position acquisition unit 18 (GPS).
The navigation information generating means 120 lists the bridges to be navigated and displays them on the display unit 15. The bridges to be displayed in a list (bridges to be navigated) are, for example, bridges that are inspected on the same day or bridges in the management area of the local government. In addition, bridges existing in the peripheral area of the current position acquired by the position information acquisition unit 111 may be displayed in a list.
ナビゲート情報生成手段１２０は、リストアップ表示した橋梁の中から、点検者の操作によって目的の橋梁の選択を受付け、点検データ１２ａから当該橋梁の橋梁位置情報を取得する。そして取得した橋梁位置情報と、位置情報取得手段１１１によって取得した橋梁点検支援装置１の現在位置と、に基づいて当該橋梁までの経路を案内するナビゲート情報を生成する。
ナビゲート表示手段１２１は、ナビゲート情報生成手段１２０により生成されたナビゲート情報を表示部１５に表示する。
The navigation information generation means 120 receives selection of a target bridge from the listed bridges by an inspector's operation, and acquires bridge position information of the bridge from the inspection data 12a. Based on the acquired bridge position information and the current position of the bridge inspection support device 1 acquired by the position information acquisition unit 111, navigation information for guiding a route to the bridge is generated.
The navigation display unit 121 displays the navigation information generated by the navigation information generation unit 120 on the display unit 15.
なおナビゲート情報生成手段１２０が橋梁をリストアップ表示する際に、橋梁の点検順序を併せて表示してもよい。これにより点検者はリストアップ表示された橋梁の点検順序を把握することができる。点検順序は予め点検者が決めた順序であってもよいし（この場合、点検順序は記憶部１２に橋梁に対応付けて保持されている）、ナビゲート情報生成手段１２０が自動決定した順序であってもよい。例えば点検対象の橋梁の位置関係に基づいて最短距離で巡回できる橋梁の点検順序を自動決定するようにしてもよい。 When the navigation information generating means 120 displays a list of bridges, the inspection order of the bridges may be displayed together. As a result, the inspector can grasp the inspection order of the listed bridges. The inspection order may be the order determined by the inspector in advance (in this case, the inspection order is stored in the storage unit 12 in association with the bridge), or the order automatically determined by the navigation information generating means 120. There may be. For example, the inspection order of bridges that can be visited in the shortest distance may be automatically determined based on the positional relationship of the bridges to be inspected.
以上のように目的の橋梁までの経路を案内するナビゲート情報を生成し表示することによって点検現場まで迷うことなく辿りつくことができ、その後の実点検作業にスムーズに取り掛かることができる。
なお、上記した位置情報取得手段１１１、ナビゲート情報生成手段１２０、ナビゲート表示手段１２１によって本発明に係る「ナビゲート手段」が実現される。
As described above, by generating and displaying the navigation information for guiding the route to the target bridge, it is possible to reach the inspection site without hesitation, and the subsequent actual inspection work can be smoothly started.
Note that the “navigation means” according to the present invention is realized by the position information acquisition means 111, the navigation information generation means 120, and the navigation display means 121 described above.
以上、橋梁点検支援装置１の各機能について説明した。なお橋梁点検支援装置１は上記した機能以外にも橋梁点検を支援する様々な機能を有するが、紙面上の都合で他の機能については記載を省略する。 The functions of the bridge inspection support device 1 have been described above. The bridge inspection support device 1 has various functions for supporting the bridge inspection in addition to the functions described above, but description of other functions is omitted for convenience on paper.
（３．橋梁点検支援装置１の動作）
次に上記したガイド情報表示機能、類似損傷検索機能、点検漏れ通知機能、ナビゲート機能の各機能の処理動作について説明する。
(3. Operation of bridge inspection support device 1)
Next, processing operations of the above-described guide information display function, similar damage search function, inspection omission notification function, and navigation function will be described.
（３−１．ガイド情報表示処理）
図６のフローチャートを参照しながら、図２に示した橋梁点検支援装置のガイド情報表示機能の処理動作を説明する。
最初に、橋梁点検支援装置１の表示部１５には、橋梁を選択する選択画面が表示されている。点検者が、入力部１４を介して点検対象の橋梁の選択を行うと、橋梁点検支援装置１の制御部１１は、点検対象の橋梁の点検データ１２ａ（点検箇所の点検位置情報を含む）を記憶部１２から取得する（ステップＳ１１）。
(3-1. Guide information display process)
The processing operation of the guide information display function of the bridge inspection support apparatus shown in FIG. 2 will be described with reference to the flowchart of FIG.
First, a selection screen for selecting a bridge is displayed on the display unit 15 of the bridge inspection support device 1. When the inspector selects the bridge to be inspected via the input unit 14, the control unit 11 of the bridge inspection support apparatus 1 receives the inspection data 12a (including the inspection position information of the inspection point) of the bridge to be inspected. Obtained from the storage unit 12 (step S11).
次に、点検者が、点検対象の橋梁に対してカメラ１７のレンズを向けて撮影の指示を行うと、橋梁点検支援装置１の制御部１１は、カメラ１７を制御し点検対象の橋梁映像２０の取得を開始する（ステップＳ１２）。制御部１１は、橋梁映像２０を時々刻々取得しリアルタイムに橋梁映像２０を表示部１５に表示する。
図７は、表示部１５に表示される橋梁映像２０の例を示す図である。図は、橋梁の起点付近で撮影した橋梁映像２０を表している。
Next, when the inspector instructs the bridge to be inspected to point at the lens of the camera 17 and shoots, the control unit 11 of the bridge inspection support apparatus 1 controls the camera 17 to check the bridge image 20 to be inspected. Is started (step S12). The control unit 11 acquires the bridge image 20 every moment and displays the bridge image 20 on the display unit 15 in real time.
FIG. 7 is a diagram illustrating an example of the bridge image 20 displayed on the display unit 15. The figure shows a bridge image 20 taken near the starting point of the bridge.
続いて制御部１１は、位置取得部１８を介して、橋梁点検支援装置１の自己位置情報（位置および向き）を取得し（ステップＳ１３）、取得した自己位置情報と、ステップＳ１１で取得した点検位置情報との位置関係に基づいて、ＡＲ技術を用いて橋梁映像２０に重畳表示するガイド情報５を生成する（ステップＳ１４）。そしてガイド情報５を橋梁映像２０に重畳させた重畳映像３０を生成し表示部１５に表示する（ステップＳ１５）。 Subsequently, the control unit 11 acquires self-position information (position and orientation) of the bridge inspection support device 1 via the position acquisition unit 18 (step S13), and the acquired self-position information and the inspection acquired in step S11. Based on the positional relationship with the positional information, the guide information 5 to be superimposed and displayed on the bridge image 20 is generated using the AR technique (step S14). Then, a superimposed image 30 in which the guide information 5 is superimposed on the bridge image 20 is generated and displayed on the display unit 15 (step S15).
図８〜図１２は表示部１５に表示されるガイド情報５を重畳させた重畳映像３０の例を示す図である。
図８は、重畳映像３０の表示例１を示す図である。図の例では、点検箇所（損傷箇所）が橋梁の路面上にあり、円マークであるガイド情報５ａを路面上に配置表示することよって橋梁の点検箇所（損傷箇所）を指示している。
8-12 is a figure which shows the example of the superimposition image | video 30 on which the guide information 5 displayed on the display part 15 was superimposed.
FIG. 8 is a diagram illustrating a display example 1 of the superimposed video 30. In the example of the figure, the inspection location (damage location) is on the road surface of the bridge, and the guide information 5a, which is a circle mark, is displayed on the road surface to indicate the inspection location (damage location) of the bridge.
ここで、ガイド情報５ａは、前述したように現実空間に存在するかのように表示される。このため図の例ではカメラ１７（視点）の近くにある点検箇所を指示するガイド情報５ａ（５−１）は大きく、カメラ１７（視点）から遠くにある点検箇所に係るガイド情報５ａ（５−２）は小さく、遠近感をつけて表示される。
また、ガイド情報５ａは、自己位置情報と点検位置情報との位置関係に基づく幾何変換が施され表示される。図の例では、円マークは斜め上から見たように楕円形状に幾何変換され表示される。
Here, the guide information 5a is displayed as if it exists in the real space as described above. For this reason, in the example of the figure, the guide information 5a (5-1) indicating the inspection location near the camera 17 (viewpoint) is large, and the guide information 5a (5-) related to the inspection location far from the camera 17 (viewpoint). 2) is small and displayed with a sense of perspective.
The guide information 5a is displayed after being subjected to geometric transformation based on the positional relationship between the self-position information and the inspection position information. In the example shown in the figure, the circle mark is geometrically transformed into an elliptical shape as viewed obliquely from above.
このようにガイド情報５は現実空間にあたかも存在するかのように映像上に表示されるため、例えば同一の形状、サイズで全ての点検箇所を指示するようなガイド情報を生成し表示する場合に比べ、点検箇所の位置の違いがより明確になり点検箇所を把握しやすくなる。 Thus, since the guide information 5 is displayed on the video as if it exists in the real space, for example, when generating and displaying guide information that indicates all inspection points with the same shape and size. In comparison, the difference in the location of the inspection location becomes clearer and it becomes easier to grasp the inspection location.
図９以降は、点検箇所の損傷に関する各諸元に基づいてガイド情報の表示態様を変えて表示する例を示す。これにより図８のように単に点検箇所の位置を指示する場合に比べ、点検者は損傷に関する他の様々な情報を視覚的に得ることができる。 FIG. 9 and subsequent figures show examples in which the display mode of the guide information is changed and displayed based on each item relating to the damage at the inspection location. As a result, the inspector can visually obtain various other information regarding the damage as compared with the case where the position of the inspection location is simply indicated as shown in FIG.
図９は、重畳映像３０の表示例２を示す図であり、特に損傷の「損傷程度」に応じてガイド情報５の表示態様を変えて表示する例を示す。例えばガイド情報５−１に係る損傷は「黒色」の円マークであるガイド情報５ｂを付すことにより、損傷程度が大きいことを示している。一方、ガイド情報５−３に係る損傷は「灰色」の円マークであるガイド情報５ｂを付すことにより、損傷程度が小さいことを示している。このように損傷程度に応じてガイド情報５ｂを色分けして表示（階調表示）することで、点検者は損傷程度を視覚的に容易に把握することができるとともに、各損傷の対策の優先度を点検者に認識させることができる。 FIG. 9 is a diagram showing a display example 2 of the superimposed image 30, and particularly shows an example in which the display mode of the guide information 5 is changed in accordance with the “damage degree” of the damage. For example, the damage related to the guide information 5-1 indicates that the degree of damage is large by attaching the guide information 5b which is a “black” circle mark. On the other hand, the damage relating to the guide information 5-3 indicates that the degree of damage is small by attaching the guide information 5b which is a “gray” circle mark. Thus, by displaying the guide information 5b in different colors according to the degree of damage (gradation display), the inspector can easily grasp the degree of damage visually, and the priority of countermeasures for each damage Can be recognized by the inspector.
また、制御部１１は、入力部１４を介して表示対象とする損傷程度の選択を点検者から受け付けることにより、損傷程度毎にガイド情報５の表示・非表示を制御することができる。すなわち損傷程度に応じて表示するガイド情報５をふるいに掛けることができる。これにより例えば地震の後に行う緊急点検等の場合には、損傷程度の大きいガイド情報５のみを表示させることで、緊急性の高い損傷から優先して点検を進めていくことができる。 Moreover, the control part 11 can control the display / non-display of the guide information 5 for every damage degree by receiving selection of the damage degree made into display object from the inspector via the input part 14. FIG. That is, the guide information 5 to be displayed can be screened according to the degree of damage. Thus, for example, in the case of an emergency inspection performed after an earthquake, by displaying only the guide information 5 having a large degree of damage, it is possible to proceed with the inspection preferentially from highly urgent damage.
図１０は、重畳映像３０の表示例３を示す図であり、特に「損傷部位」に応じてガイド情報５の表示態様を変えて表示する例を示す。図の例では、ガイド情報５ｃを損傷が橋上に存在する場合には「下向きの矢印マーク」、橋下に存在する場合には「上向きの矢印マーク」、となるように表示される。 FIG. 10 is a diagram showing a display example 3 of the superimposed image 30, and particularly shows an example in which the display mode of the guide information 5 is changed according to the “damaged part”. In the example of the figure, the guide information 5c is displayed so as to be “downward arrow mark” when the damage exists on the bridge, and “upward arrow mark” when the damage exists under the bridge.
この表示により損傷が橋上（路面上）から確認可能か、或いは橋下から確認する必要があるか、を識別でき、点検者が点検箇所を確認する際の情報として役立つ。また現場で点検順序を決める際の情報としても役立つ。例えば図の例では、橋上で点検可能な点検箇所を先に点検し、橋上の点検が終了した後で橋下の点検箇所を点検するといった具合に、損傷部位に応じた効率的な点検順序を計画することができる。 This display can identify whether damage can be confirmed on the bridge (on the road surface) or whether it is necessary to confirm from the bottom of the bridge, and is useful as information when the inspector confirms the inspection location. It is also useful as information for deciding the inspection order on site. For example, in the example shown in the figure, the inspection points that can be inspected on the bridge are inspected first, and after the inspection on the bridge is completed, the inspection points under the bridge are inspected. can do.
図１１は、重畳映像３０の表示例４を示す図であり、図１０と同じく「損傷部位」に応じてガイド情報５の表示態様を変えて表示する例を示す。図の例では、路面上の損傷を示すガイド情報５−３と、橋梁の欄干の柵部分の損傷を示すガイド情報５−５と、でガイド情報５ａを異なる態様で表示している。図のようにガイド情報５−５に含まれるガイド情報５ａ（円マーク）を、路面の損傷を指示するガイド情報５−３に含まれるガイド情報５ａ（円マーク）とは異なる向きに幾何変換を施して表示することにより、点検者は、ガイド情報５−５が指示する損傷が路面上ではなく欄干に存在することを容易に把握することができる。 FIG. 11 is a diagram showing a display example 4 of the superimposed image 30, and shows an example in which the display mode of the guide information 5 is changed according to the “damaged part” as in FIG. In the example of the figure, the guide information 5a indicating damage on the road surface and the guide information 5-5 indicating damage to the railing of the railing of the bridge are displayed in different modes. As shown in the figure, the guide information 5a (circle mark) included in the guide information 5-5 is geometrically converted in a different direction from the guide information 5a (circle mark) included in the guide information 5-3 instructing road surface damage. By performing and displaying, the inspector can easily grasp that the damage indicated by the guide information 5-5 exists not on the road surface but on the railing.
図１２は、重畳映像３０の表示例５を示す図であり、特に「点検順序」に応じてガイド情報５の表示態様を変えて表示する例を示す。点検順序は、記憶部１２（点検データ１２ａ）に予め登録されているものとする。図の例では、路面下に存在する点検箇所（損傷箇所）を指示するガイド情報５ｅ（５−４）が点検順序を示している。これにより点検者は予め定めた点検順序に従って点検を遂行していくことができる。 FIG. 12 is a diagram showing a display example 5 of the superimposed image 30, and particularly shows an example in which the display mode of the guide information 5 is changed according to the “inspection order”. It is assumed that the inspection order is registered in advance in the storage unit 12 (inspection data 12a). In the example of the figure, the guide information 5e (5-4) indicating the inspection location (damage location) existing below the road surface indicates the inspection order. Thereby, the inspector can carry out the inspection in accordance with a predetermined inspection order.
また、次の点検箇所までの経路等をナビゲートする表示を行ってもよい。具体的には制御部１１は、一つの点検箇所の点検が終了すると、記憶部１２に保持されている「点検順序」を参照して、次の点検箇所の点検位置情報を取得する。そして取得した点検位置情報と、橋梁点検支援装置１の自己位置情報と、に基づいて、次の点検箇所への経路等を案内するナビゲート情報を生成し、表示部１５に表示する。これにより点検者は表示部１５に表示されるナビゲート情報を頼りに次の点検箇所へ移動することができ、点検作業を更に効率的に進めていくことができる。 Moreover, you may perform the display which navigates the route | route etc. to the next inspection location. Specifically, when the inspection of one inspection point is completed, the control unit 11 refers to the “inspection order” stored in the storage unit 12 and acquires inspection position information of the next inspection point. Based on the acquired inspection position information and the self-position information of the bridge inspection support device 1, navigation information for guiding a route to the next inspection location is generated and displayed on the display unit 15. As a result, the inspector can move to the next inspection location depending on the navigation information displayed on the display unit 15, and can proceed with the inspection work more efficiently.
以上、いくつかの橋梁映像２０にガイド情報５を重畳させた重畳映像３０の表示例を挙げたが、ガイド情報５を重畳表示させる方法は、これらの例に限定されない。例えば、点検方法（近接・遠方目視点検、打音点検、触診等）、対策区分、健全性の区分などによってガイド情報５の表示態様を変えるようにしてもよい。また点検終了の有無に応じてガイド情報５の表示態様を変える（例えば点検が終了した点検箇所に係るガイド情報５を非表示にする等）ようにしてもよい。 As mentioned above, although the example of a display of the superimposition image | video 30 which superimposed the guide information 5 on the some bridge | bridging image | video 20 was given, the method of superimposing and displaying the guide information 5 is not limited to these examples. For example, the display mode of the guide information 5 may be changed according to an inspection method (proximity / distant visual inspection, hammering inspection, palpation, etc.), countermeasure classification, soundness classification, and the like. Further, the display mode of the guide information 5 may be changed depending on whether or not the inspection is completed (for example, the guide information 5 related to the inspection location where the inspection is completed is not displayed).
また図示は省略するが、表示画面上でガイド情報５をクリック、タップ等してガイド情報５を選択することで、選択したガイド情報５に対応する点検箇所の点検情報（点検データ１２ａに保持されている）を画面上に表示させることができる。これにより点検者は点検箇所の詳細な点検情報を確認することができる。 Although illustration is omitted, by clicking or tapping the guide information 5 on the display screen and selecting the guide information 5, the inspection information corresponding to the selected guide information 5 (the inspection data 12 a is held). Can be displayed on the screen. Thereby, the inspector can confirm the detailed inspection information of the inspection location.
なお上記したステップＳ１２〜ステップＳ１５の処理は繰り返し実行され、ガイド情報５を橋梁映像２０にリアルタイムに重畳していく。橋梁点検支援装置１の撮影方向を変化させたり、撮影場所を移動したりすると、ガイド情報も映像の変化に追随して表示位置、サイズ、形状がリアルタイムに変化して表示される。 Note that the above-described processing of step S12 to step S15 is repeatedly executed, and the guide information 5 is superimposed on the bridge image 20 in real time. When the shooting direction of the bridge inspection support device 1 is changed or the shooting location is moved, the guide information is also displayed with the display position, size, and shape changing in real time following the change of the image.
以上のように、本発明では橋梁点検支援装置１の表示画面上に表示される橋梁に重畳表示されるガイド情報５（ＡＲコンテンツ）によって過去に点検した点検箇所を容易に把握することができ、点検者を点検箇所へ迷いなく誘導させ、点検箇所の確認、損傷評価等の点検作業を効率的に遂行することができるようになる。 As described above, in the present invention, it is possible to easily grasp the inspection location that has been inspected in the past by the guide information 5 (AR content) displayed superimposed on the bridge displayed on the display screen of the bridge inspection support device 1, The inspector can be guided to the inspection point without hesitation, and the inspection work such as confirmation of the inspection point and damage evaluation can be efficiently performed.
（３−２．類似損傷検索処理）
次に図１３のフローチャートを参照しながら、図３に示した橋梁点検支援装置の類似損傷検索機能の処理動作を説明する。
最初に、橋梁点検支援装置１の制御部１１は、点検者の操作を受付けることによって、カメラ１７を制御し点検対象の損傷画像５０を取得（撮影）する（ステップＳ２１）。
(3-2. Similar damage search processing)
Next, the processing operation of the similar damage search function of the bridge inspection support apparatus shown in FIG. 3 will be described with reference to the flowchart of FIG.
First, the control unit 11 of the bridge inspection support device 1 receives the operation of the inspector to control the camera 17 and acquire (photograph) the damaged image 50 to be inspected (step S21).
次に、制御部１１は、取得した損傷画像５０を検索キーとして関連する過去の点検データを点検データ１２ａから検索する（ステップＳ２２）。具体的には、取得した損傷画像５０と、過去の点検で得た損傷画像との類似度を画像処理により算出し、関連の高い画像データを検索する。また、画像データ同士の比較に限らず、損傷種類、損傷部位等の各諸元が一致又は関連するものを検索するようにしてもよい。この場合は、ステップＳ２２において、点検対象の損傷の損傷種類、損傷部位等を検索キーとして入力する。 Next, the control unit 11 searches the inspection data 12a for related inspection data using the acquired damaged image 50 as a search key (step S22). Specifically, the degree of similarity between the acquired damaged image 50 and the damaged image obtained in the past inspection is calculated by image processing, and highly relevant image data is searched. In addition, the comparison is not limited to image data, but a search may be made for items that match or relate to each type of damage type, damaged site, and the like. In this case, in step S22, the damage type, damage site, etc. of the damage to be inspected are input as search keys.
そして制御部１１は、検索した過去の関連する点検データ、例えば損傷画像を表示部１５に表示する。
図１４は、類似損傷の検索結果の表示例を示す図である。図の例では、表示部１５の左側エリアにステップＳ２１で撮影取得した損傷画像５０が表示されており、表示部１５の右側エリアに検索した損傷画像５０と関連する損傷画像である類似損傷画像６０が並べて表示されている。
Then, the control unit 11 displays the retrieved past inspection data, for example, a damaged image on the display unit 15.
FIG. 14 is a diagram illustrating a display example of search results for similar damage. In the example of the figure, the damage image 50 captured and acquired in step S21 is displayed in the left area of the display unit 15, and the similar damage image 60 that is a damage image related to the searched damage image 50 is displayed in the right area of the display unit 15. Are displayed side by side.
以上のように過去の関連する点検データを検索表示することで、例えば新たに発見した損傷を評価する場合や一度点検した損傷を再評価する場合に、同様の損傷に対して過去にどのような損傷評価がなされたかを確認することができ、損傷を評価する際の判断基準として用いることができる。すなわち過去の損傷の判断結果を考慮して点検対象の損傷を評価できるため、点検者間の損傷評価のバラつきを軽減することができる。 By searching and displaying past relevant inspection data as described above, for example, when evaluating newly discovered damage or reassessing previously inspected damage, It can be confirmed whether or not damage evaluation has been performed, and can be used as a criterion for evaluating damage. In other words, since the damage to be inspected can be evaluated in consideration of past damage determination results, the variation in damage evaluation between inspectors can be reduced.
なお、点検者は入力部１４を介してデータ入力をすることで、損傷評価（損傷程度、損傷種類等）の結果を記憶部１２の点検データ１２ａに保存することができる。このとき、制御部１１は、入力された損傷評価が検索された関連する過去の点検データの損傷評価と大きく異なる場合には、表示部１５に入力した損傷評価に誤りがないか確認を促すメッセージ等を表示してもよい。これにより入力データを点検者に再度確認させ、入力ミスを防止抑制することができる。 The inspector can input the data via the input unit 14 to save the result of damage evaluation (damage degree, damage type, etc.) in the inspection data 12 a of the storage unit 12. At this time, if the damage evaluation that has been input is significantly different from the damage evaluation of the related past inspection data that has been searched, the control unit 11 prompts the user to check whether there is an error in the damage evaluation input to the display unit 15. Etc. may be displayed. As a result, the input data can be checked again by the inspector and input errors can be prevented and suppressed.
また制御部１１は、損傷画像５０を損傷評価器に入力し、損傷画像５０の損傷を自動評価するようにしてもよい。ここで損傷評価器は、過去の損傷画像と対応する損傷評価（損傷種類、損傷程度等）を学習データとして学習させた学習器である。学習時に学習データから抽出する画像特徴量は人的に抽出してもよいし、損傷評価器として深層学習器を用いることによって画像特徴量を自動で抽出するようにしてもよい。損傷評価器によって、統計的に最良な評価結果を過去の損傷評価に基づいて自動で得ることができるため、損傷評価のバラつきが更に軽減される。 The control unit 11 may input the damage image 50 to the damage evaluator and automatically evaluate the damage of the damage image 50. Here, the damage evaluator is a learning device in which damage evaluation (damage type, damage degree, etc.) corresponding to a past damage image is learned as learning data. The image feature amount extracted from the learning data during learning may be extracted manually, or the image feature amount may be automatically extracted by using a deep learning device as a damage evaluator. The damage evaluator can automatically obtain the statistically best evaluation result based on the past damage evaluation, so that the variation in damage evaluation is further reduced.
（３―３．点検漏れ通知処理）
次に図１５のフローチャートを参照しながら、図４に示した橋梁点検支援装置１の点検漏れ通知機能の処理動作を説明する。
点検者は橋梁点検支援装置１を保持しながら、表示部１５に表示されるガイド情報５に従って点検作業を行っていく場合を考える。
(3-3. Inspection omission notification process)
Next, the processing operation of the inspection omission notification function of the bridge inspection support device 1 shown in FIG. 4 will be described with reference to the flowchart of FIG.
Consider a case where the inspector performs the inspection work according to the guide information 5 displayed on the display unit 15 while holding the bridge inspection support device 1.
最初に、橋梁点検支援装置１の制御部１１は、点検数Ｎを初期化しておく（Ｎ＝０、ステップＳ３１）。表示部１５には点検箇所毎に点検箇所を指示するガイド情報５が表示されており、当該ガイド情報５をクリック、タップ等することで、当該ガイド情報５に対応する点検箇所を点検対象として選択する（ステップＳ３２）。点検箇所が選択されると、制御部１１は、選択された点検箇所に係るステータスを「点検待ち」とする。ステータスとは、記憶部１２で管理される各点検箇所の点検状態を示す情報である。 First, the control unit 11 of the bridge inspection support device 1 initializes the inspection number N (N = 0, step S31). The display unit 15 displays guide information 5 for instructing an inspection location for each inspection location. By clicking or tapping the guide information 5, the inspection location corresponding to the guide information 5 is selected as an inspection target. (Step S32). When the inspection location is selected, the control unit 11 sets the status relating to the selected inspection location to “waiting for inspection”. The status is information indicating the inspection state of each inspection location managed by the storage unit 12.
そして、点検者は、表示部１５に表示される「損傷点検開始」ボタンをクリック、タップ等し、点検を開始する（ステップＳ３３）。このとき点検箇所に係るステータスは「点検作業中」となる。ステータスが「点検作業中」になると表示部１５に点検項目等が表示され、点検者は表示内容に従って点検を遂行する。 Then, the inspector clicks and taps a “damage inspection start” button displayed on the display unit 15 to start inspection (step S33). At this time, the status of the inspection location is “inspection work in progress”. When the status becomes “inspection work”, inspection items and the like are displayed on the display unit 15, and the inspector performs the inspection according to the displayed contents.
一方、点検者は表示部１５に表示される「損傷点検終了」ボタンをクリック、タップ等することで点検作業を終了する（ステップＳ３４）。このとき点検箇所に係るステータスは「点検終了」となる。点検箇所に係るステータスが「点検終了」となると、制御部１１は、点検数Ｎを更新する（Ｎ＝Ｎ＋１、ステップＳ３５）。 On the other hand, the inspector clicks and taps the “Damage Inspection End” button displayed on the display unit 15 to end the inspection work (step S34). At this time, the status relating to the inspection location is “end of inspection”. When the status related to the inspection location becomes “inspection completed”, the control unit 11 updates the inspection number N (N = N + 1, step S35).
表示部１５には、前述した「損傷点検終了」ボタンとは別に、橋梁の全ての点検を終了したことを指示する「橋梁点検終了」ボタンが表示されている。制御部１１は、「橋梁点検終了」ボタンをクリック、タッチ等することで点検者から全ての点検箇所の点検が終了した旨の入力を受付けた場合（ステップＳ３６；Ｙｅｓ）、ステップＳ３７に移行する。 In addition to the “Damage inspection end” button described above, a “Bridge inspection end” button for instructing that all inspections of the bridge have been completed is displayed on the display unit 15. When the control unit 11 receives an input from the inspector that inspection of all inspection points has been completed by clicking or touching the “end bridge inspection” button (step S36; Yes), the control unit 11 proceeds to step S37. .
そうでなければステップＳ２３に戻り、次の点検箇所を選択し点検作業を続ける（ステップＳ３２〜ステップＳ３５）。ステップＳ３２〜ステップＳ３５は、点検者から全ての点検箇所の点検が終了した旨の入力を受付けるまで（ステップＳ３６；Ｙｅｓ）、繰り返される。 Otherwise, the process returns to step S23 to select the next inspection location and continue the inspection work (steps S32 to S35). Steps S32 to S35 are repeated until an input from the inspector indicating that the inspection of all inspection points has been completed is received (step S36; Yes).
制御部１１は、点検者から全ての点検箇所の点検が終了した旨の入力を受付けると（ステップＳ３６；Ｙｅｓ）、制御部１１は更に、今まで点検した点検数Ｎが点検箇所の全数に達しているか否かを判定する。点検数Ｎが点検箇所の全数に達している場合（ステップＳ３７；Ｙｅｓ）には、橋梁の点検作業は点検漏れなしに終了する。 When the control unit 11 receives an input from the inspector that all the inspection points have been inspected (step S36; Yes), the control unit 11 further reaches the total number of inspection points N that have been inspected so far. It is determined whether or not. When the inspection number N has reached the total number of inspection points (step S37; Yes), the bridge inspection work is completed without inspection omissions.
一方、点検数Ｎが点検箇所の全数に達していない場合（ステップＳ３７；Ｎｏ）、制御部１１は点検漏れがあると判断し、点検漏れ通知を行う（ステップＳ３８）。例えば表示部１５に点検漏れがある旨を表示したり、点検漏れの個数（点検箇所の全数−点検数Ｎ）を表示したり、或いは未点検の点検箇所に係るガイド情報５を表示したりすることで点検漏れ通知を行う。またスピーカ等により音声にて点検漏れの通知を行ってもよい。
以上のように点検漏れを判定し点検者に通知することで、点検漏れを確実に抑えることが可能となる。
On the other hand, when the number of inspections N has not reached the total number of inspection points (step S37; No), the control unit 11 determines that there is an inspection failure and issues an inspection failure notification (step S38). For example, the display unit 15 displays that there is an inspection omission, displays the number of inspection omissions (total number of inspection points-inspection number N), or displays guide information 5 relating to uninspected inspection locations. The inspection omission is notified. In addition, the inspection omission may be notified by voice through a speaker or the like.
As described above, it is possible to reliably suppress the inspection omission by determining the inspection omission and notifying the inspector.
（３−４．ナビゲート処理）
次に図１６のフローチャートを参照しながら、図５に示した橋梁点検支援装置１のナビゲート機能の処理動作を説明する。
最初に、橋梁点検支援装置１の制御部１１は、位置取得部１８のＧＰＳから橋梁点検支援装置１の現在位置を取得する（ステップＳ４１）。
(3-4. Navigate process)
Next, the processing operation of the navigation function of the bridge inspection support device 1 shown in FIG. 5 will be described with reference to the flowchart of FIG.
First, the control unit 11 of the bridge inspection support device 1 acquires the current position of the bridge inspection support device 1 from the GPS of the position acquisition unit 18 (step S41).
次に、制御部１１は、ナビゲート対象の橋梁をリストアップして表示部１５に表示する（ステップＳ４２）。制御部１１は、点検者のクリック、タップ操作を受付けることによって、リストアップ表示された橋梁の中から目的の橋梁を選択し（ステップＳ４３）、選択した当該橋梁までの経路を案内するナビゲート情報を生成し（ステップＳ４４）、生成したナビゲート情報を表示部１５に表示する（ステップＳ４５）。 Next, the control unit 11 lists the bridges to be navigated and displays them on the display unit 15 (step S42). The control unit 11 accepts the click and tap operations of the inspector, selects a target bridge from the listed bridges (step S43), and navigates information that guides the route to the selected bridge. Is generated (step S44), and the generated navigation information is displayed on the display unit 15 (step S45).
図１７は、ナビゲート表示の例を示す図である。図の例では、表示部１５の左側の橋梁選択領域７０に、ナビゲート対象の橋梁がリストアップ表示されており、表示部１５の右側のナビゲート表示領域８０に、点検者が選択した「Ａ橋」のナビゲート情報（「Ａ橋」までの経路案内の情報）が表示されている。
以上のように、目的の橋梁までのナビゲート情報を生成し表示することにより、各点検現場まで迷うことなく辿りつくことができ、点検作業をスムーズに進めていくことができる。
FIG. 17 is a diagram illustrating an example of a navigation display. In the example of the figure, the bridges to be navigated are listed up in the bridge selection area 70 on the left side of the display unit 15, and “A” selected by the inspector in the navigation display area 80 on the right side of the display unit 15. “Bridge” navigation information (information on route guidance to “A bridge”) is displayed.
As described above, by generating and displaying the navigation information up to the target bridge, it is possible to reach each inspection site without hesitation, and the inspection work can proceed smoothly.
［第２実施形態］
図１８は、本発明の第２実施形態を示す図である。図に示すように第２実施形態では橋梁点検支援装置１に測位装置４の構成が加わる。橋梁点検支援装置１と測位装置４からなるシステムを橋梁点検支援システム１００とする。
[Second Embodiment]
FIG. 18 is a diagram showing a second embodiment of the present invention. As shown in the figure, in the second embodiment, the configuration of the positioning device 4 is added to the bridge inspection support device 1. A system including the bridge inspection support device 1 and the positioning device 4 is referred to as a bridge inspection support system 100.
第２実施形態において測位装置４の構成を加える趣旨は次の通りである。第１実施形態では、点検箇所（損傷箇所）の点検位置情報と、橋梁点検支援装置１の自己位置情報（ＧＰＳにより取得される橋梁点検支援装置１の位置と、加速度センサ、ジャイロセンサ或いは地磁気センサにより取得される橋梁点検支援装置１の向き（姿勢））と、の位置関係に基づいてガイド情報５を橋梁映像のどの位置に表示するかを決定している。 The purpose of adding the configuration of the positioning device 4 in the second embodiment is as follows. In the first embodiment, the inspection position information of the inspection location (damage location), the self-location information of the bridge inspection support device 1 (the position of the bridge inspection support device 1 acquired by GPS, the acceleration sensor, the gyro sensor, or the geomagnetic sensor) The position of the guide information 5 to be displayed on the bridge image is determined based on the positional relationship between the direction (orientation) of the bridge inspection support device 1 acquired by the above.
ここで橋梁点検では点検者はしばしば橋の下に移動して床版の底、桁、橋脚などを点検することになるが、ＧＰＳ衛星からの受信電波の感度が落ち、ＧＰＳを使って橋梁点検支援装置１の位置座標を取得するのは困難、或いは不可能になる場合がある。またこのような環境下において生成したガイド情報は点検箇所の位置を正しく指示できていない場合がある。このためＧＰＳの受信状況に依らず安定して高精度に橋梁点検支援装置１の位置情報を取得する手段があると都合がよい。 Here, in the bridge inspection, the inspector often moves under the bridge and inspects the bottom of the slab, girders, bridge piers, etc., but the sensitivity of the received radio wave from the GPS satellite decreases, and the bridge is inspected using GPS. It may be difficult or impossible to acquire the position coordinates of the support device 1. Further, the guide information generated in such an environment may not correctly indicate the position of the inspection location. For this reason, it is convenient if there is a means for stably acquiring the position information of the bridge inspection support device 1 regardless of the GPS reception status.
そこで第２実施形態では、ＧＰＳの受信状況が良好な場所（例えば橋梁の路上など）を複数選び、そこに超音波またはミリ波レーダを発信する測位用発信機４４を複数設置する（以降、測位用発信機４４を設置する位置を「発信位置」とも呼ぶ）。測位装置４は図１８（ａ）のように独立型であっても良いが、橋梁点検支援装置１に内蔵されていてもよい。測位装置４は複数の測位用発信機４４から発信される超音波またはミリ波レーダを受信して、発信位置からの相対位置を測位する。ＧＰＳにより発信位置の絶対位置が判っているので、解析により測位装置４延いては橋梁点検支援装置１の絶対位置を測位する。このように構成することで、ＧＰＳの受信環境が良好でない場所であっても橋梁点検支援装置１の自己位置情報を確実に取得することができる。 Therefore, in the second embodiment, a plurality of locations (for example, on the road of a bridge) where GPS reception conditions are good are selected, and a plurality of positioning transmitters 44 that transmit ultrasonic waves or millimeter wave radars are installed there (hereinafter referred to as positioning). The position where the transmitter 44 is installed is also referred to as “transmitting position”). The positioning device 4 may be an independent type as shown in FIG. 18A, but may be built in the bridge inspection support device 1. The positioning device 4 receives ultrasonic waves or millimeter wave radars transmitted from a plurality of positioning transmitters 44, and measures the relative position from the transmission position. Since the absolute position of the transmission position is known by GPS, the absolute position of the positioning device 4 and the bridge inspection support device 1 is determined by analysis. By comprising in this way, even if it is a place where the GPS receiving environment is not favorable, the self-location information of the bridge inspection support apparatus 1 can be acquired reliably.
なお超音波または準ミリ波レーダの発信主体と受信主体は逆転させてもよい。例えば図１８（ｂ）のように橋梁点検支援装置１に内蔵された或いは外部接続された測位用発信機４４から発信される超音波または準ミリ波レーダを、ＧＰＳの受信が良好な場所に置かれた複数の測位用受信機４５で受信して橋梁点検支援装置１の位置を測位してもよい。
ここでは簡単のため、橋梁点検支援装置１が受信主体、測位装置４（測位用発信機４４）が発信主体である場合（図１８（ａ）のシステム構成の場合）を説明する。
Note that the transmitting entity and the receiving entity of the ultrasonic or quasi-millimeter wave radar may be reversed. For example, as shown in FIG. 18B, an ultrasonic wave or quasi-millimeter wave radar transmitted from a positioning transmitter 44 built in the bridge inspection support apparatus 1 or externally connected is placed in a place where GPS reception is good. The position of the bridge inspection support device 1 may be measured by receiving with the plurality of positioning receivers 45.
Here, for the sake of simplicity, a case will be described in which the bridge inspection support device 1 is a reception subject and the positioning device 4 (positioning transmitter 44) is a transmission subject (in the case of the system configuration in FIG. 18A).
（測位装置４のハードウェア構成）
図１９は、測位装置４のハードウェア構成の例を示す図である。図に示すように測位装置４は主に、制御部４０、記憶部４１、通信制御部４２、周辺機器Ｉ／Ｆ部４３、測位用受信機４５、ＧＰＳセンサ４６などがバス４７を介して接続されている。
(Hardware configuration of positioning device 4)
FIG. 19 is a diagram illustrating an example of a hardware configuration of the positioning device 4. As shown in the figure, the positioning device 4 mainly includes a control unit 40, a storage unit 41, a communication control unit 42, a peripheral device I / F unit 43, a positioning receiver 45, a GPS sensor 46, and the like connected via a bus 47. Has been.
測位装置４の制御部４０、記憶部４１、通信制御部４２、周辺機器Ｉ／Ｆ部４３は、図１の橋梁点検支援装置１の制御部１１、記憶部１２、通信制御部１３、周辺機器Ｉ／Ｆ部１６と略同様のハードウェア構成である。 The control unit 40, the storage unit 41, the communication control unit 42, and the peripheral device I / F unit 43 of the positioning device 4 are the control unit 11, the storage unit 12, the communication control unit 13, and the peripheral device of the bridge inspection support device 1 in FIG. The hardware configuration is substantially the same as that of the I / F unit 16.
測位用受信機４５は周辺機器Ｉ／Ｆ部４３を介して測位装置４と接続され、複数の測位用発信機からの超音波または準ミリ波レーダを受信している。
ＧＰＳセンサ４６は、ＧＰＳにより測位用発信機４４の設置位置（発信位置）を設置時に取得する。記憶部４１には、ＧＰＳセンサ４６により取得した測位用発信機４４の設置位置（発信位置）が保持される。
なお測位用受信機４５とＧＰＳセンサ４６は一体のモジュールとして構成してもよい。またＧＰＳセンサ４６は橋梁点検支援装置１に内蔵するものを利用してもよい。
The positioning receiver 45 is connected to the positioning device 4 via the peripheral device I / F unit 43, and receives ultrasonic waves or quasi-millimeter wave radars from a plurality of positioning transmitters.
The GPS sensor 46 acquires the installation position (transmission position) of the positioning transmitter 44 by GPS at the time of installation. The storage unit 41 holds the installation position (transmission position) of the positioning transmitter 44 acquired by the GPS sensor 46.
The positioning receiver 45 and the GPS sensor 46 may be configured as an integrated module. The GPS sensor 46 may be one built in the bridge inspection support device 1.
橋梁点検支援装置１の機能は、第１実施形態と略同様であるが、図２に示したガイド情報表示機能における位置取得手段１１１が橋梁点検支援装置１の位置を取得する手段が変わる。すなわち第２実施形態では位置情報取得手段１１１は、橋梁点検支援装置１の位置を、測位装置４が超音波または準ミリ波レーダに基づいて測位した結果から取得する。なお、橋梁点検支援装置１の向きは第１実施形態と同様に加速度センサ等で取得する。
また、橋梁点検支援装置１の処理動作についても橋梁点検支援装置１の位置を取得する処理（図６のステップＳ１３）のみが第１実施形態と異なる。すなわち、橋梁点検支援装置１の制御部１１は、橋梁点検支援装置１の位置を、測位装置４が測位した結果から取得する。
上記した以外の機能および処理は第１実施形態と同様である。
The function of the bridge inspection support apparatus 1 is substantially the same as that of the first embodiment, but the position acquisition means 111 in the guide information display function shown in FIG. 2 changes the means for acquiring the position of the bridge inspection support apparatus 1. That is, in the second embodiment, the position information acquisition unit 111 acquires the position of the bridge inspection support device 1 from the result of the positioning device 4 positioning based on the ultrasonic wave or quasi-millimeter wave radar. Note that the orientation of the bridge inspection support device 1 is acquired by an acceleration sensor or the like as in the first embodiment.
Further, the processing operation of the bridge inspection support apparatus 1 is also different from the first embodiment only in the process of acquiring the position of the bridge inspection support apparatus 1 (step S13 in FIG. 6). That is, the control unit 11 of the bridge inspection support device 1 acquires the position of the bridge inspection support device 1 from the result of positioning by the positioning device 4.
Functions and processes other than those described above are the same as those in the first embodiment.
（橋梁点検支援システム１００の動作）
ここでは第１実施形態と異なる橋梁点検支援装置の位置を取得する処理動作について説明する。事前にＧＰＳの受信状況が良好な場所（例えば橋梁の路上など）に複数の測位用発信機４４を配置しているものとする。また、測位装置４は、ＧＰＳセンサ４６により測位用発信機４４の設置位置（発信位置）を取得して記憶部４１に保持しておくものとする（ステップＳ５１）。
(Operation of bridge inspection support system 100)
Here, the processing operation for acquiring the position of the bridge inspection support device different from the first embodiment will be described. It is assumed that a plurality of positioning transmitters 44 are arranged in advance in a place where the GPS reception status is good (for example, on the road of a bridge). In addition, the positioning device 4 acquires the installation position (transmission position) of the positioning transmitter 44 by the GPS sensor 46 and holds it in the storage unit 41 (step S51).
そして測位装置４の制御部４０は、測位用受信機４５を介して超音波または準ミリ波レーダを受信し（ステップＳ５３）、受信した超音波または準ミリ波レーダに基づいて測位用発信機４４の設置位置（発信位置）からの橋梁点検支援装置１の相対位置を測位する（ステップＳ５４）。測位方法はＴＤＯＡ法等の任意の公知手段を採用し得る。 Then, the control unit 40 of the positioning device 4 receives the ultrasonic wave or quasi-millimeter wave radar via the positioning receiver 45 (step S53), and the positioning transmitter 44 based on the received ultrasonic wave or quasi-millimeter wave radar. The relative position of the bridge inspection support device 1 from the installation position (transmission position) is measured (step S54). Arbitrary well-known means, such as a TDOA method, can be employ | adopted for the positioning method.
そして測位装置４の制御部４０は、測位した橋梁点検支援装置１の相対位置と、測位用発信機４４の設置位置（発信位置）と、に基づいて、橋梁点検支援装置１の位置を取得する（ステップＳ５５）。一方、橋梁点検支援装置１の向きは、第１実施形態と同様に位置取得部１８の加速度センサ、ジャイロセンサ、或いは地磁気センサを用いて取得する（ステップＳ５６）。 And the control part 40 of the positioning apparatus 4 acquires the position of the bridge inspection assistance apparatus 1 based on the relative position of the bridge inspection assistance apparatus 1 which measured the position, and the installation position (transmission position) of the transmitter 44 for positioning. (Step S55). On the other hand, the orientation of the bridge inspection support device 1 is acquired using the acceleration sensor, gyro sensor, or geomagnetic sensor of the position acquisition unit 18 as in the first embodiment (step S56).
以上、ステップＳ５５で得た橋梁点検支援装置１の位置とステップ５６で得た橋梁点検支援装置１の向きから、橋梁点検支援装置１の自己位置情報（位置および向き）が取得される。 As described above, the self-position information (position and orientation) of the bridge inspection support device 1 is acquired from the position of the bridge inspection support device 1 obtained in step S55 and the direction of the bridge inspection support device 1 obtained in step 56.
以上のように第２実施形態では、測位装置４を備え、橋梁点検支援装置１の位置情報を取得する際に利用することで、橋梁点検支援装置１の位置情報をＧＰＳで取得することが困難、或いは不可能な場合であっても、確実に橋梁点検支援装置１の位置情報を取得することができ、橋梁の点検箇所の位置を正確に指示するガイド情報を点検者に提示することができる。 As described above, in the second embodiment, it is difficult to acquire the position information of the bridge inspection support device 1 with the GPS by using the positioning device 4 and using it when acquiring the position information of the bridge inspection support device 1. Even if it is impossible, the position information of the bridge inspection support device 1 can be acquired with certainty, and guide information for accurately indicating the position of the inspection point of the bridge can be presented to the inspector. .
以上、添付図面を参照しながら、本発明に係る橋梁点検支援装置１等の好適な実施形態について説明したが、本発明はかかる例に限定されない。その他、当業者であれば、本願で開示した技術的思想の範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。 The preferred embodiments of the bridge inspection support device 1 and the like according to the present invention have been described above with reference to the accompanying drawings, but the present invention is not limited to such examples. In addition, it is obvious that those skilled in the art can arrive at various changes or modifications within the scope of the technical idea disclosed in the present application, and these naturally belong to the technical scope of the present invention. It is understood.
例えば、図２１に示すように、橋梁点検支援装置１がネットワーク３を介してサーバ２に接続されるように構成してもよい。このように構成することで、橋梁点検支援装置１の情報資源、機能、処理の一部をサーバ２側に保持させることができる。例えば図３の類似損傷検索機能の例では、参照する過去の点検データ１２ａをサーバ２側に保持させることができる。これにより某大な過去の点検データを橋梁点検支援装置１の記憶部に予め保持しておく必要がなくなる。但しこの場合、図３に示した点検データ１２ａを参照する類似損傷検索手段１１５もサーバ側の機能として構成する必要がある。すなわち、サーバ２は、橋梁点検支援装置１から送信される点検対象の損傷画像５０を受信し、類似損傷検索手段１１５によって損傷画像５０と類似度の高い過去の点検データを点検データ１２ａから検索する。そして検索した点検データを橋梁点検支援装置１へ送信する。橋梁点検支援装置１は表示部１５にサーバ２から送信された点検データを表示する。
以上のように橋梁点検支援装置１がネットワーク３を介してサーバ２に接続されるように構成することで橋梁点検支援装置１の情報資源、機能、処理の一部をサーバ２に負担させるようにしてもよい。
For example, as shown in FIG. 21, the bridge inspection support device 1 may be configured to be connected to the server 2 via the network 3. By configuring in this way, a part of the information resources, functions, and processes of the bridge inspection support device 1 can be held on the server 2 side. For example, in the example of the similar damage search function of FIG. 3, the past inspection data 12a to be referred to can be held on the server 2 side. This eliminates the need to previously store enormous past inspection data in the storage unit of the bridge inspection support device 1. In this case, however, the similar damage search means 115 that refers to the inspection data 12a shown in FIG. 3 also needs to be configured as a function on the server side. That is, the server 2 receives the damage image 50 to be inspected transmitted from the bridge inspection support device 1, and searches the inspection data 12a for past inspection data having a high similarity to the damage image 50 by the similar damage search means 115. . The searched inspection data is transmitted to the bridge inspection support device 1. The bridge inspection support device 1 displays the inspection data transmitted from the server 2 on the display unit 15.
As described above, the bridge inspection support apparatus 1 is configured to be connected to the server 2 via the network 3 so that the server 2 is burdened with a part of the information resources, functions, and processing of the bridge inspection support apparatus 1. May be.
また、点検作業中に新たに発見した損傷を点検データ１２ａに新規登録することも可能である。点検データ１２ａに登録する情報は、点検箇所の位置を特定する点検位置情報を始めとして、損傷の撮影画像、損傷の損傷程度、損傷種類、損傷部位、点検方法、対策区分、健全性の区分、点検メモなどの各種点検情報である。このうち点検位置情報は、橋梁点検支援装置１の位置取得部１８（ＧＰＳ）により取得するか、或いは測位装置４を用いて取得する。損傷の撮影画像は、橋梁点検支援装置１のカメラ１７で撮影し取得する。新たに点検データが登録されると、橋梁点検支援装置１は当該点検データに係るガイド情報５を生成し表示することができるようになる。
また過去に点検した点検箇所の任意の点検情報を更新することも可能である。例えば過去に点検時に比べ損傷程度が悪化している場合には損傷程度を更新し点検データ１２ａに反映させること等ができる。
It is also possible to newly register damage newly found during inspection work in the inspection data 12a. The information to be registered in the inspection data 12a includes the inspection position information for specifying the position of the inspection location, the photographed image of damage, the degree of damage, the type of damage, the damaged part, the inspection method, the countermeasure category, the health category, Various inspection information such as inspection memos. Among these, the inspection position information is acquired by the position acquisition unit 18 (GPS) of the bridge inspection support device 1 or is acquired by using the positioning device 4. The photographed image of the damage is captured and acquired by the camera 17 of the bridge inspection support device 1. When inspection data is newly registered, the bridge inspection support device 1 can generate and display guide information 5 related to the inspection data.
It is also possible to update arbitrary inspection information of inspection locations that have been inspected in the past. For example, when the degree of damage has worsened in the past compared to the time of inspection, the degree of damage can be updated and reflected in the inspection data 12a.
また、本実施形態ではマーカレス型ＡＲ技術を用いたが、マーカ型ＡＲ技術を用いてもよい。例えば、点検箇所にマーカ或いは２次元コード（ＱＲコード（登録商標）等）や１次元コード（バーコード等）を配置し、このマーカを画像認識することで点検箇所（損傷箇所）を認識し、ガイド情報５を橋梁映像２０上に重畳表示させてもよい。この場合、橋梁点検支援装置１の制御部１１が、橋梁の損傷付近に配置されたマーカを識別するためのマーカ識別処理と、マーカ識別処理で識別されたマーカを基準として、ガイド情報を実映像に位置合わせする位置合わせ処理とを経て、ガイド情報を重畳表示する。具体的には、カメラ１７から入力された撮影映像に含まれるマーカを公知のパターンマッチングのアルゴリズムなどを用いて識別する。その後、識別したマーカに重なるようにガイド情報を撮影映像に位置合わせし、ガイド情報が撮影映像に重畳された重畳映像を生成し表示する。
また、マーカレス型ＡＲによるガイド情報、マーカ型ＡＲによるガイド情報を場合に応じて適宜切替えて表示するようにしてもよい。
Further, although the markerless AR technology is used in the present embodiment, the marker AR technology may be used. For example, a marker or a two-dimensional code (QR code (registered trademark) or the like) or a one-dimensional code (bar code or the like) is placed at the inspection location, and the inspection location (damage location) is recognized by recognizing the image of this marker. The guide information 5 may be displayed superimposed on the bridge image 20. In this case, the control unit 11 of the bridge inspection support device 1 uses the marker identification process for identifying the marker arranged in the vicinity of the bridge damage, and the guide information as a real image with reference to the marker identified by the marker identification process. The guide information is displayed in a superimposed manner through a positioning process for aligning with the guide information. Specifically, the marker included in the captured video input from the camera 17 is identified using a known pattern matching algorithm or the like. Thereafter, the guide information is aligned with the captured image so as to overlap the identified marker, and a superimposed image in which the guide information is superimposed on the captured image is generated and displayed.
Further, the guide information based on the markerless AR and the guide information based on the marker AR may be switched and displayed as appropriate.
また測位装置４の測位センサ４５は、超音波、準ミリ波レーダに限らず、ミリ波レーダ、マイクロ波レーダ、レーザレーダ等を受信するセンサであってもよい。また測位装置４は、複数のマイクロホンから成るマイクロホンアレイにより橋梁点検支援装置１の測位を行うようにしてもよい。この場合、測位用受信機４５は音を測定するマイクロホンであり、測位用発信機４４は音を出力するスピーカ等である。また測位装置４は、複数のカメラを有するステレオカメラを用いて橋梁点検支援装置１の測位を行うようにしてもよい。 The positioning sensor 45 of the positioning device 4 is not limited to ultrasonic waves and quasi-millimeter wave radars, but may be sensors that receive millimeter wave radars, microwave radars, laser radars, and the like. Further, the positioning device 4 may perform the positioning of the bridge inspection support device 1 using a microphone array composed of a plurality of microphones. In this case, the positioning receiver 45 is a microphone that measures sound, and the positioning transmitter 44 is a speaker that outputs sound. Further, the positioning device 4 may perform positioning of the bridge inspection support device 1 using a stereo camera having a plurality of cameras.
１；橋梁点検支援装置
２；サーバ
３；ネットワーク
４；測位装置
４４；測位用発信機
４５；測位用受信機
５、５−１〜５−５
５ａ〜５ｅ；ガイド情報
２０；橋梁映像
３０；重畳映像
５０；損傷画像
６０；類似損傷画像
７０；橋梁選択領域
８０；ナビゲート表示領域
１００；橋梁点検支援システム
DESCRIPTION OF SYMBOLS 1; Bridge inspection support device 2; Server 3; Network 4; Positioning device 44; Positioning transmitter 45; Positioning receiver 5, 5-1 to 5-5
5a to 5e; guide information 20; bridge image 30; superimposed image 50; damage image 60; similar damage image 70; bridge selection region 80; navigate display region 100;
Claims (12)
橋梁の点検箇所の位置を特定する点検位置情報を記憶する記憶手段と、
前記橋梁の実映像を取得する映像取得手段と、
前記橋梁点検支援装置の位置および向きを特定する自己位置情報を取得する自己位置取得手段と、
前記自己位置情報と前記橋梁に係る点検位置情報との位置関係に基づいて前記橋梁の前記点検箇所の位置をリアルタイムに直接指示するガイド情報を生成し、前記橋梁の実映像に重ねて表示する表示手段と、
を具備し、
前記表示手段は、前記点検箇所が少なくとも橋上、橋下のいずれに存在するかに応じて前記ガイド情報の表示態様を変えて表示する、
ことを特徴とする橋梁点検支援装置。 A bridge inspection support device for supporting inspection of a bridge,
Storage means for storing inspection position information for specifying the position of the inspection point of the bridge;
Image acquisition means for acquiring an actual image of the bridge;
Self-position acquisition means for acquiring self-position information for specifying the position and orientation of the bridge inspection support device;
Display that generates guide information that directly indicates the position of the inspection location of the bridge in real time based on the positional relationship between the self-location information and the inspection position information related to the bridge, and displays the guide information superimposed on the actual image of the bridge Means,
Comprising
The display means changes the display mode of the guide information according to whether the inspection location is at least on the bridge or under the bridge,
Bridge inspection support device characterized by that.
ことを特徴とする請求項１に記載の橋梁点検装置。 The display means, the inspection point is on a bridge, depending on whether there in any Hashimoto, displays upside down figure for instructing the inspection location,
The bridge inspection device according to claim 1.
ことを特徴とする請求項１または請求項２に記載の橋梁点検支援装置。 The display means further displays the guide information by changing the display mode according to at least one of the degree of damage, damage type, inspection method, inspection order, countermeasure classification, soundness classification, and whether or not inspection is completed. The bridge inspection support device according to claim 1 or 2, characterized in that:
を更に具備することを特徴とする請求項１から請求項３のいずれかに記載の橋梁点検支援装置。 The bridge inspection support device according to any one of claims 1 to 3, further comprising a search unit that searches and displays inspection data related to damage to be inspected from past inspection data.
前記点検終了受付手段により終了を受付けた点検箇所の数と前記記憶手段に記憶された点検箇所の全数とを比較し点検漏れの有無を判定する判定手段と、
点検漏れがある場合にその旨を通知する通知手段と、
を更に具備することを特徴とする請求項１から請求項４のいずれかに記載の橋梁点検支援装置。 Inspection completion acceptance means for accepting the completion of inspection for each inspection location;
A determination unit that compares the number of inspection points accepted by the inspection end reception unit with the total number of inspection points stored in the storage unit to determine whether there is an inspection omission;
A notification means for notifying when there is an inspection omission,
The bridge inspection support device according to any one of claims 1 to 4, further comprising:
前記橋梁点検支援装置の現在位置と所望の橋梁の前記橋梁位置情報とに基づいて、前記橋梁までの経路を案内するナビゲート情報を生成し表示するナビゲート手段
を更に具備することを特徴とする請求項１から請求項５のいずれかに記載の橋梁点検支援装置。 The storage means further stores bridge position information for specifying the location of the bridge for each bridge,
Navigation means for generating and displaying navigation information for guiding a route to the bridge based on a current position of the bridge inspection support device and the bridge position information of a desired bridge; The bridge inspection support device according to any one of claims 1 to 5.
ことを特徴とする請求項１から請求項６のいずれかに記載の橋梁点検支援装置。 The bridge inspection support device according to any one of claims 1 to 6, wherein the self-position acquisition unit acquires a position of the bridge inspection support device by GPS.
ことを特徴とする請求項１から請求項７のいずれかに記載の橋梁点検支援装置。 The bridge inspection according to any one of claims 1 to 7, wherein the self-position acquisition unit acquires the orientation of the bridge inspection support device by at least one of an acceleration sensor, a gyro sensor, and a geomagnetic sensor. Support device.
橋梁の点検箇所の位置を特定する点検位置情報を記憶する記憶ステップと、
前記橋梁の実映像を取得する映像取得ステップと、
前記橋梁点検支援装置の位置および向きを特定する自己位置情報を取得する自己位置取得ステップと、
前記自己位置情報と前記橋梁に係る点検位置情報との位置関係に基づいて前記橋梁の前記点検箇所の位置をリアルタイムに直接指示するガイド情報を生成し、前記橋梁の実映像に重ねて表示する表示ステップと、
を含み、
前記表示ステップは、前記点検箇所が少なくとも橋上、橋下のいずれに存在するかに応じて前記ガイド情報の表示態様を変えて表示する、
ことを特徴とする橋梁点検支援方法。 A bridge inspection support method executed by a bridge inspection support device that supports bridge inspection,
A storage step for storing inspection position information for identifying the position of the inspection point of the bridge;
An image acquisition step of acquiring an actual image of the bridge;
A self-position acquisition step of acquiring self-position information specifying the position and orientation of the bridge inspection support device;
Display that generates guide information that directly indicates the position of the inspection location of the bridge in real time based on the positional relationship between the self-location information and the inspection position information related to the bridge, and displays the guide information superimposed on the actual image of the bridge Steps,
Including
The display step displays the guide information by changing the display mode of the guide information depending on whether the inspection location exists at least on the bridge or below the bridge,
A bridge inspection support method characterized by that.
前記橋梁点検支援装置を、
橋梁の点検箇所の位置を特定する点検位置情報を記憶する記憶手段と、
前記橋梁の実映像を取得する映像取得手段と、
前記橋梁点検支援装置の位置および向きを特定する自己位置情報を取得する自己位置取得手段と、
前記自己位置情報と前記橋梁に係る点検位置情報との位置関係に基づいて前記橋梁の前記点検箇所の位置をリアルタイムに直接指示するガイド情報を生成し、前記橋梁の実映像に重ねて表示する表示手段と、
して機能させ、
前記表示手段は、前記点検箇所が少なくとも橋上、橋下のいずれに存在するかに応じて前記ガイド情報の表示態様を変えて表示する、
ことを特徴とするプログラム。 A program for a bridge inspection support device for supporting inspection of a bridge,
The bridge inspection support device,
Storage means for storing inspection position information for specifying the position of the inspection point of the bridge;
Image acquisition means for acquiring an actual image of the bridge;
Self-position acquisition means for acquiring self-position information for specifying the position and orientation of the bridge inspection support device;
Display that generates guide information that directly indicates the position of the inspection location of the bridge in real time based on the positional relationship between the self-location information and the inspection position information related to the bridge, and displays the guide information superimposed on the actual image of the bridge Means,
To function,
The display means changes the display mode of the guide information according to whether the inspection location is at least on the bridge or under the bridge,
A program characterized by that.
前記橋梁点検支援装置は、
橋梁の点検箇所の位置を特定する点検位置情報を記憶する記憶手段と、
前記橋梁の実映像を取得する映像取得手段と、
前記橋梁点検支援装置の位置および向きを特定する自己位置情報を取得する自己位置取得手段と、
前記自己位置情報と前記橋梁に係る点検位置情報との位置関係に基づいて前記橋梁の前記点検箇所の位置をリアルタイムに直接指示するガイド情報を生成し、前記橋梁の実映像に重ねて表示する表示手段と、
を具備し、
前記表示手段は、前記点検箇所が少なくとも橋上、橋下のいずれに存在するかに応じて前記ガイド情報の表示態様を変えて表示し、
前記測位装置は、
複数の発信機から発信される超音波または準ミリ波レーダを受信する受信手段と、
前記発信機の発信位置をＧＰＳにより取得する発信位置取得手段と、
受信した超音波または準ミリ波レーダに基づいて前記発信位置からの前記橋梁点検支援装置の相対位置を測位する測位手段と、
を具備し、
前記橋梁点検支援装置の前記自己位置取得手段は、前記発信位置と前記相対位置とに基づいて、前記橋梁点検支援装置の位置を取得する
ことを特徴とする橋梁点検支援システム。 A bridge inspection support system comprising a bridge inspection support device and a positioning device for supporting inspection of a bridge,
The bridge inspection support device is
Storage means for storing inspection position information for specifying the position of the inspection point of the bridge;
Image acquisition means for acquiring an actual image of the bridge;
Self-position acquisition means for acquiring self-position information for specifying the position and orientation of the bridge inspection support device;
Display that generates guide information that directly indicates the position of the inspection location of the bridge in real time based on the positional relationship between the self-location information and the inspection position information related to the bridge, and displays the guide information superimposed on the actual image of the bridge Means,
Comprising
The display means displays the guide information by changing the display mode of the guide information depending on whether the inspection location exists at least on the bridge or below the bridge,
The positioning device is
Receiving means for receiving ultrasonic or quasi-millimeter wave radar transmitted from a plurality of transmitters;
Transmission position acquisition means for acquiring a transmission position of the transmitter by GPS;
Positioning means for positioning the relative position of the bridge inspection support device from the transmission position based on the received ultrasonic or quasi-millimeter wave radar;
Comprising
The bridge inspection support system, wherein the self-position acquisition unit of the bridge inspection support device acquires the position of the bridge inspection support device based on the transmission position and the relative position.
前記橋梁点検支援装置は、
橋梁の点検箇所の位置を特定する点検位置情報を記憶する記憶ステップと、
前記橋梁の実映像を取得する映像取得ステップと、
前記橋梁点検支援装置の位置および向きを特定する自己位置情報を取得する自己位置取得ステップと、
前記自己位置情報と前記橋梁に係る点検位置情報との位置関係に基づいて前記橋梁の前記点検箇所の位置をリアルタイムに直接指示するガイド情報を生成し、前記橋梁の実映像に重ねて表示する表示ステップと、
を含み、
前記表示ステップは、前記点検箇所が少なくとも橋上、橋下のいずれに存在するかに応じて前記ガイド情報の表示態様を変えて表示し、
前記測位装置は、
複数の発信機から発信される超音波または準ミリ波レーダを受信する受信ステップと、
前記発信機の発信位置をＧＰＳにより取得する発信位置取得ステップと、
受信した超音波または準ミリ波レーダに基づいて前記発信位置からの前記橋梁点検支援装置の相対位置を測位する測位ステップと、
を含み、
前記橋梁点検支援装置の前記自己位置取得ステップは、前記発信位置と前記相対位置とに基づいて、前記橋梁点検支援装置の位置を取得する
ことを特徴とする橋梁点検支援方法。 A bridge inspection support method executed by a bridge inspection support system including a bridge inspection support device and a positioning device for supporting bridge inspection,
The bridge inspection support device is
A storage step for storing inspection position information for identifying the position of the inspection point of the bridge;
An image acquisition step of acquiring an actual image of the bridge;
A self-position acquisition step of acquiring self-position information specifying the position and orientation of the bridge inspection support device;
Display that generates guide information that directly indicates the position of the inspection location of the bridge in real time based on the positional relationship between the self-location information and the inspection position information related to the bridge, and displays the guide information superimposed on the actual image of the bridge Steps,
Including
The display step displays the guide information by changing the display mode of the guide information depending on whether the inspection location exists at least on the bridge or below the bridge,
The positioning device is
A reception step of receiving ultrasonic or quasi-millimeter wave radar transmitted from a plurality of transmitters;
A transmission position acquisition step of acquiring a transmission position of the transmitter by GPS;
A positioning step of positioning the relative position of the bridge inspection support device from the transmission position based on the received ultrasonic or quasi-millimeter wave radar;
Including
The bridge inspection support method of the bridge inspection support device, wherein the self-location acquisition step of the bridge inspection support device acquires the position of the bridge inspection support device based on the transmission position and the relative position.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015095649A JP6278927B2 (en) | 2015-05-08 | 2015-05-08 | Bridge inspection support device, bridge inspection support method, bridge inspection support system, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015095649A JP6278927B2 (en) | 2015-05-08 | 2015-05-08 | Bridge inspection support device, bridge inspection support method, bridge inspection support system, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2016211955A JP2016211955A (en) | 2016-12-15 |
| JP6278927B2 true JP6278927B2 (en) | 2018-02-14 |
Family
ID=57549739
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015095649A Active JP6278927B2 (en) | 2015-05-08 | 2015-05-08 | Bridge inspection support device, bridge inspection support method, bridge inspection support system, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6278927B2 (en) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7026438B2 (en) * | 2016-12-23 | 2022-02-28 | 前田建設工業株式会社 | Management information confirmation system for existing structures |
| JP6565897B2 (en) * | 2016-12-27 | 2019-08-28 | ダイキン工業株式会社 | Liquid level state discriminating apparatus, refrigeration apparatus equipped with the same, and liquid level state discriminating program |
| JP7007139B2 (en) * | 2017-09-20 | 2022-01-24 | オリンパス株式会社 | Endoscope equipment, endoscopy system and inspection method |
| JP7158850B2 (en) * | 2017-12-15 | 2022-10-24 | マクセル株式会社 | Non-contact gas measuring device, non-contact gas measuring system, portable terminal, and non-contact gas measuring method |
| JPWO2020225843A1 (en) * | 2019-05-07 | 2020-11-12 | ||
| JP2019190820A (en) * | 2019-05-31 | 2019-10-31 | ダイキン工業株式会社 | Liquid surface state determination device, freezing device including the same and liquid surface state determination program |
| JP7282010B2 (en) * | 2019-10-23 | 2023-05-26 | 株式会社ダスキン | Insect inspection device |
| JPWO2021200675A1 (en) | 2020-04-01 | 2021-10-07 | ||
| CN111610192A (en) * | 2020-05-12 | 2020-09-01 | 广东中林建筑园林工程有限公司 | Bridge overhauls with bridge gap check out test set that has degree of depth structure |
| JPWO2022070731A1 (en) * | 2020-10-02 | 2022-04-07 | ||
| CN114298335A (en) * | 2021-12-14 | 2022-04-08 | 国网河南省电力公司检修公司 | Extra-high voltage GIS buffer overhauling method |
| JP7440855B1 (en) | 2023-01-26 | 2024-02-29 | ナカシャ クリエイテブ株式会社 | Inspection support system, photographing position identification system, and program |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4107359B2 (en) * | 1998-05-14 | 2008-06-25 | 株式会社日立製作所 | Facility management system |
| JP2002287815A (en) * | 2001-03-26 | 2002-10-04 | Mitsubishi Heavy Ind Ltd | On-site support system |
| JP5542021B2 (en) * | 2010-09-28 | 2014-07-09 | 富士フイルム株式会社 | ENDOSCOPE SYSTEM, ENDOSCOPE SYSTEM OPERATING METHOD, AND PROGRAM |
| JP5733720B2 (en) * | 2011-05-17 | 2015-06-10 | 株式会社日立ソリューションズ | Information providing system and terminal device |
| JP5862865B2 (en) * | 2011-09-23 | 2016-02-16 | 国際航業株式会社 | Composite image display device and composite image display program |
| JP5866728B2 (en) * | 2011-10-14 | 2016-02-17 | サイバーアイ・エンタテインメント株式会社 | Knowledge information processing server system with image recognition system |
| JP2013140441A (en) * | 2011-12-28 | 2013-07-18 | Mitsubishi Heavy Ind Ltd | Portable device, inspection support program and inspection support system |
| JP5803723B2 (en) * | 2012-02-14 | 2015-11-04 | 富士通株式会社 | Structure inspection support method, structure inspection support program, and structure inspection support device |
-
2015
- 2015-05-08 JP JP2015095649A patent/JP6278927B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2016211955A (en) | 2016-12-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6278927B2 (en) | Bridge inspection support device, bridge inspection support method, bridge inspection support system, and program | |
| EP3208774B1 (en) | Methods for localization using geotagged photographs and three-dimensional visualization | |
| JP5255595B2 (en) | Terminal location specifying system and terminal location specifying method | |
| CN101561273B (en) | Geographical data collecting device | |
| US8315438B2 (en) | Displaying images related to a selected target point on an electronic map based on azimuth and view angle information | |
| CN102714684B (en) | Use the image recognition that the position based on track is determined | |
| US9074887B2 (en) | Method and device for detecting distance, identifying positions of targets, and identifying current position in smart portable device | |
| JP4418225B2 (en) | Information presentation system | |
| US10726262B2 (en) | Imaging support system, device and method, and imaging terminal | |
| JP4969053B2 (en) | Portable terminal device and display method | |
| US9679406B2 (en) | Systems and methods for providing a visualization of satellite sightline obstructions | |
| JP2017163445A (en) | Inspection support system, inspection support method and program | |
| JP2011094992A (en) | Navigation device, navigation method and navigation program | |
| JP2012150629A (en) | Server device, printing system and printing method | |
| JP2017126150A (en) | Ship information retrieval system, ship information retrieval method and ship information retrieval server | |
| JP2014053795A (en) | Information processor and information processing system | |
| US11842452B2 (en) | Portable display device with overlaid virtual information | |
| JP6479881B2 (en) | Inspection support device, inspection support method, and program | |
| JP2010276364A (en) | Navigation information creation device, navigation system, navigation information creation method, and navigation method | |
| US10469673B2 (en) | Terminal device, and non-transitory computer readable medium storing program for terminal device | |
| JP2012150628A (en) | Server device, printing system and printing method | |
| WO2020234912A1 (en) | Mobile device, position display method, and position display program | |
| KR101130857B1 (en) | Mobile device for navigating three dimension map and method for building three dimension map using the same | |
| JP2019073190A (en) | Program and parking support device | |
| US20240027646A1 (en) | Natural voice utility asset annotation system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20160607 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160907 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20160909 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20161004 |
|
| A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20161118 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170821 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170821 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171020 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180116 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6278927 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |