JP2021113755A - Bolt inspection device, bolt inspection system, bolt inspection method, and program - Google Patents
Bolt inspection device, bolt inspection system, bolt inspection method, and program Download PDFInfo
- Publication number
- JP2021113755A JP2021113755A JP2020006872A JP2020006872A JP2021113755A JP 2021113755 A JP2021113755 A JP 2021113755A JP 2020006872 A JP2020006872 A JP 2020006872A JP 2020006872 A JP2020006872 A JP 2020006872A JP 2021113755 A JP2021113755 A JP 2021113755A
- Authority
- JP
- Japan
- Prior art keywords
- bolt
- determination
- marking
- image
- determination unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Force Measurement Appropriate To Specific Purposes (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、ボルトの締付け状態を検査するためのボルト検査装置、ボルト検査システム、ボルト検査方法及びプログラムに関する。 The present invention relates to a bolt inspection device, a bolt inspection system, a bolt inspection method and a program for inspecting a bolt tightening state.
例えば橋梁等の構造物の鋼材を接合するために、ボルトが用いられる。ボルトの締付けは、一次締め、マーキング、本締めの順序で行われる。図１８（ａ）に示すように、一次締めは、所定のトルク値でナット６１を回転させて行う。一次締めが終わったボルト６３、ナット６１、座金６４及び母材６５には、マーキング６２が付される。図１８（ｂ）に示すように、本締めは、所定のボルト張力が得られるように、専用のレンチを用いてボルト６３のピンテール６３ａ（図１８（ａ）参照）が破断するまで締め付けることにより行われる。図１８（ｂ）には、ピンテール６３ａが破断された後のボルト６３を示す。本締めでは、ボルト６３、座金６４が回転することなくナット６１のみが回転する。正常にボルトの締付けが行われると、図１８（ｂ）に示すように、ボルト６３、座金６４、母材６５のマーキング６２ａの角度が一致し、ナット６１のマーキング６２ｂのみ角度がずれる。
For example, bolts are used to join steel materials of structures such as bridges. Bolts are tightened in the order of primary tightening, marking, and final tightening. As shown in FIG. 18A, the primary tightening is performed by rotating the
締付け完了後には、ボルトの締付け状態が検査される。従来からボルトの締付け状態の検査は、目視により行われていた。近年、ボルトをカメラにより撮影し、カメラが生成したボルト画像に基づいて、ボルトの締付け状態を判定するボルト検査装置が提案されている（特許文献１参照）。この検査装置は、ボルト画像に基づいてボルト、ナット、座金及び母材それぞれに付したマーキングのマーキング角度を検出するマーキング角度算出部と、検出したマーキング角度に基づいて、締付け状態を判定する判定部と、を備える。 After the tightening is completed, the tightening condition of the bolt is inspected. Conventionally, the inspection of the tightened state of bolts has been performed visually. In recent years, a bolt inspection device has been proposed in which a bolt is photographed by a camera and the tightening state of the bolt is determined based on the bolt image generated by the camera (see Patent Document 1). This inspection device has a marking angle calculation unit that detects the marking angle of markings attached to each of the bolt, nut, washer, and base material based on the bolt image, and a determination unit that determines the tightening state based on the detected marking angle. And.
しかし、従来のボルト検査装置においては、ボルト、ナット、座金及び母材それぞれのマーキング角度を算出する必要があり、そのために複雑な計算処理が必要になるという課題がある。 However, in the conventional bolt inspection device, it is necessary to calculate the marking angles of each of the bolt, nut, washer and base material, and there is a problem that complicated calculation processing is required for that purpose.
ところで、マーキング角度を算出しないボルトの検査方法として、従来の目視によるボルトの検査に人工知能を導入し、すなわち機械学習を行った学習済みモデルにボルト画像を入力することで、ボルトを検査することが考えられる。しかし、ボルトの検査項目には、「正常」だけでなく、「ナットの締め忘れ」、「座金共回り（ナットと共に座金が回る）」等も存在する。また、検査項目毎にモデルを作成したのでは、コンピュータの負荷が増大するし、矛盾した検査結果が得られるという共起性の問題も発生し易い。 By the way, as a bolt inspection method that does not calculate the marking angle, artificial intelligence is introduced into the conventional visual inspection of bolts, that is, the bolts are inspected by inputting a bolt image into a trained model that has undergone machine learning. Can be considered. However, the inspection items for bolts include not only "normal" but also "forgot to tighten the nut" and "washer rotation (washer rotates with the nut)". In addition, if a model is created for each inspection item, the load on the computer increases, and the problem of co-occurrence that inconsistent inspection results can be obtained is likely to occur.
本発明は、このような事情に鑑みてなされたもので、コンピュータの負荷を軽減でき、検査精度も向上させることができるボルト検査装置及びボルト検査方法を提供することを目的とする。 The present invention has been made in view of such circumstances, and an object of the present invention is to provide a bolt inspection device and a bolt inspection method capable of reducing the load on a computer and improving the inspection accuracy.
上記課題を解決するために、本発明の一態様は、ボルトに付されたマーキングの状態を判定するための機械学習を行った学習済みのマーキング判定モデルにボルト画像を入力することで、マーキングの状態を判定するマーキング判定部と、ピンテールの有無を判定するための機械学習を行った学習済みのピンテール判定モデルに前記ボルト画像を入力することで、ピンテールの有無を判定するピンテール判定部と、少なくとも前記マーキング判定部と前記ピンテール判定部の判定結果に基づいて、ボルトの締付け状態を総合判定する総合判定部と、を備えるボルト検査装置である。 In order to solve the above problem, one aspect of the present invention is to input a bolt image into a trained marking determination model that has been machine-learned to determine the state of markings attached to the bolts. A marking determination unit that determines the state, a pintail determination unit that determines the presence or absence of a pintail by inputting the bolt image into a trained pintail determination model that has been machine-learned to determine the presence or absence of a pintail, and at least This is a bolt inspection device including a marking determination unit and a comprehensive determination unit that comprehensively determines the tightening state of bolts based on the determination results of the pintail determination unit.
本発明の他の態様は、ボルトに付されたマーキングの状態を判定するためのマーキング判定モデルにボルト画像を入力することで、マーキングの状態を判定するマーキング判定ステップと、ピンテールの有無を判定するためのピンテール判定モデルに前記ボルト画像を入力することで、ピンテールの有無を判定するピンテール判定ステップと、少なくとも前記マーキング判定ステップと前記ピンテール判定ステップの判定結果に基づいて、ボルトの締付け状態を総合判定する総合判定ステップと、を備えるボルト検査方法である。 In another aspect of the present invention, a marking determination step of determining the marking state and the presence or absence of a pintail are determined by inputting a bolt image into a marking determination model for determining the state of markings attached to the bolt. By inputting the bolt image into the pintail determination model for the purpose, the bolt tightening state is comprehensively determined based on the pintail determination step for determining the presence or absence of the pintail, and at least the determination results of the marking determination step and the pintail determination step. It is a bolt inspection method including a comprehensive judgment step to be performed.
本発明によれば、マーキング判定部がマーキングに着目してマーキングの状態を判定し、ピンテール判定部がピンテールに着目してピンテールの有無を判定し、総合判定部がマーキング判定部とピンテール判定部の判定結果に基づいて締付け状態を総合判定する。すなわち、検査項目に着目して判定モデルを作成するのではなく、ボルトの機能的なまとまりのある部分（マーキング及びピンテール）に着目して判定モデルを作成することで、コンピュータの負荷を軽減でき、検査精度も向上させることができる。 According to the present invention, the marking determination unit focuses on the marking to determine the marking state, the pintail determination unit focuses on the pintail to determine the presence or absence of the pintail, and the comprehensive determination unit focuses on the marking determination unit and the pintail determination unit. The tightening state is comprehensively judged based on the judgment result. That is, the load on the computer can be reduced by creating the judgment model by focusing on the functionally cohesive parts (marking and pintail) of the bolt, instead of creating the judgment model by focusing on the inspection items. The inspection accuracy can also be improved.
以下、添付図面を参照して、本発明の実施形態のボルト検査装置及びボルト検査システムを詳細に説明する。ただし、本発明のボルト検査装置及びボルト検査システムは種々の形態で具体化することができ、明細書に記載される実施形態に限定されるものではない。本実施形態は、明細書の開示を十分にすることによって、当業者が発明を十分に理解できるようにする意図をもって提供されるものである。
（ボルト検査システムの構成）
Hereinafter, the bolt inspection apparatus and the bolt inspection system according to the embodiment of the present invention will be described in detail with reference to the accompanying drawings. However, the bolt inspection apparatus and the bolt inspection system of the present invention can be embodied in various forms, and are not limited to the embodiments described in the specification. The present embodiment is provided with the intention of allowing those skilled in the art to fully understand the invention by adequately disclosing the specification.
(Structure of bolt inspection system)
まず、図１を参照して、本発明の一実施形態のボルト検査システム４０のハードウェア構成を説明する。本実施形態のボルト検査システム４０は、端末２２と、ボルト検査装置１と、を備える。端末２２は、タブレット、スマートフォン等のカメラ４３付きの携帯情報端末である。ボルト検査装置１は、管理センターのクラウド環境上に設けられるコンピュータである。端末２２とボルト検査装置１との間は、端末・ボルト検査装置間通信機能で接続される。通信機能は、インターネットや内部ネットワークによって構成される。
First, the hardware configuration of the
ボルト検査作業の全体の流れは、以下のとおりである。検査員は、端末２２のカメラ４３を用いてボルトの動画像と静止画像を撮影する。撮影した動画像と静止画像は、端末・ボルト検査装置間通信機能を介してボルト検査装置１に送信される。ボルト検査装置１は、入力された動画像と静止画像に基づいてボルトの締付け状態の判定を行い、判定結果を出力する。ボルト検査装置１が出力する判定結果は、端末・ボルト検査装置間通信機能を介して端末２２に送信される。端末２２の表示装置には、ボルト検査装置１が出力する判定結果が表示される。
（端末の構成）
The overall flow of bolt inspection work is as follows. The inspector uses the
(Terminal configuration)
端末２２のハードウェア構成を説明する。図１に示すように、端末２２は、ＣＰＵ４２、撮影装置としてのカメラ４３、記憶装置４４、通信インターフェース４１、ユーザインターフェース４５を有する。ＣＰＵ４２は、記憶装置４４に格納されたプログラムを実行する。記憶装置４４は、ＲＯＭとＲＡＭを含む。ＲＯＭは、不変のプログラム（ＢＩＯＳ）等を格納する。ＲＡＭは、ＣＰＵ４２が実行するプログラム及びプログラムの実行時に使用されるデータを一次的に格納する。カメラ４３は、ボルトの動画像と静止画像を撮影する。通信インターフェース４１は、所定のプロトコルにしたがってボルト検査装置１との通信を制御する。カメラ４３が撮影した画像は、通信インターフェース４１を介してボルト検査装置１に送信される。ユーザインターフェース４５は、ユーザに入出力機能を提供する。入力機能は、ユーザからの入力を受けるタッチパネル等の入力インターフェースである。出力機能は、プログラムの実行結果をオペレータが視認可能な形式で出力する表示装置２２ａ等の出力インターフェースである。
（ボルト検査装置の構成）
The hardware configuration of the terminal 22 will be described. As shown in FIG. 1, the terminal 22 has a
(Structure of bolt inspection device)
ボルト検査装置１のハードウェア構成を説明する。ボルト検査装置１は、ＣＰＵ５２、ＧＰＵ５３、記憶装置３、補助記憶装置５５、通信インターフェース５１を有する。ＣＰＵ５２は、記憶装置３に格納されたプログラムを実行し、入力されたボルトの動画像と静止画像に基づいてボルトの締付け状態の検査の処理を行う。ＧＰＵ５３は、検査の処理のための画像処理を行う。記憶装置３は、ＲＯＭとＲＡＭを含む。ＲＯＭは、不変のプログラム（ＢＩＯＳ）等を格納する。ＲＡＭは、ＣＰＵ５２が実行するプログラム及びプログラムの実行時に使用されるデータを一次的に格納する。
The hardware configuration of the
補助記憶装置５５は、磁気記録装置（ＨＤＤ）、半導体記憶装置（ＳＳＤ）等の大容量の記憶装置から構成される。補助記憶装置５５は、端末２２から受信した画像データや各種の学習モデルを記録するデータベースを格納する。通信インターフェース５１は、所定のプロトコルにしたがって端末２２との通信を制御する。ボルトの締付け状態の判定結果は、端末２２に送信される。
The
ボルト検査装置１は、入力インターフェースと出力インターフェースを有してもよい。入力インターフェースには、キーボードやマウスが接続され、ユーザからの入力を受け付ける。出力インターフェースには、表示装置やプリンタが接続され、プログラムの実行結果をオペレータが視認可能な形式で出力する。ＣＰＵ５２が実行するプログラムは、リムーバブルメディア（ＣＤ−ＲＯＭ、フラッシュメモリ等）又はネットワークを介してボルト検査装置１に提供される。
（ボルト検査装置の機能）
The
(Function of bolt inspection device)
ボルト検査装置１の機能を説明する。図２は、ボルト検査装置１の機能ブロック図を示す。図２の機能ブロック図の各部は、制御部２（図１のＣＰＵ、ＧＰＵ等のプロセッサ５２，５３）が記憶装置３に記録されているプログラムを読みだして実行することにより実現される。
The function of the
本実施形態のボルト検査装置１は、橋梁の構造用鋼材を接合する高力ボルト（以下、単にボルトという）の締付け状態を検査する。上記のように、ボルトは、端末２２のカメラ４３によって撮影される。撮影されたボルトの動画像と静止画像は、ボルト検査装置１に入力される。動画像は、時系列的に出力される３０枚／秒、５０枚／秒等の静止画像から構成される。動画像は、カメラ４３の位置を移動させながらボルトを撮影した動画像であり、ボルトを異なる角度から撮影した複数の静止画像を含む。
The
ボルトには、橋梁のウェブ部に取り付けられるボルトと橋梁のフランジ部に取り付けられるボルトがある。一般的にウェブ部のボルトの数はフランジ部のボルトの数よりも多い。本実施形態では、端末２２のカメラ４３によってウェブ部のボルトを動画像で撮影し、フランジ部のボルトを静止画像で撮影する。なお、ウェブ部のボルトとフランジ部のボルトを動画像で撮影してもよい。
There are two types of bolts: bolts that are attached to the web part of the bridge and bolts that are attached to the flange part of the bridge. Generally, the number of bolts in the web portion is larger than the number of bolts in the flange portion. In the present embodiment, the
さらに、端末２２のカメラ４３によってボルトを撮影する替わりに、ドローン等の無人飛行機に搭載された撮影装置によりボルトを撮影してもよい。また、昇降・水平移動可能なロボットに搭載された撮影装置によりボルトを撮影してもよい。これらの端末の撮影装置によって撮影された動画像と静止画像は、端末２２と同様にボルト検査装置１に送信される。
Further, instead of photographing the bolt with the
図２に示すように、ボルト検査装置１は、ボルト検出部４と、ボルトタグ付け部５と、ボルト検査部７と、を備える。ウェブ部を撮影したボルトの動画像は、ボルト検出部４に入力される。
As shown in FIG. 2, the
図３は、ボルト検査装置１の処理のフローチャートである。図３に示すように、ボルト検出部４は、入力動画像から複数の静止画像１６（図５参照）を抽出し、各静止画像１６から個々のボルトのボルト画像２７（図５参照）を検出する（Ｓ１）。
FIG. 3 is a flowchart of processing of the
検出されたボルト画像２７は、ボルトタグ付け部５に入力される。ボルトタグ付け部５では、検出されたボルト画像２７に位置情報を付与する（Ｓ２）。具体的には、ボルトタグ付け部５は、検出されたボルト画像２７に採番を行い、個々のボルト画像２７に行番号と列番号を付与する（図８参照）。
The detected
位置情報が付与されたボルト画像２７は、ボルト検査部７に入力される。ボルト検査部７では、同一のボルトを撮影した複数のボルト画像２７に基づいてボルトの締付け状態の判定を行う（Ｓ３）。ボルト検査部７によるボルトの締付け状態の判定は、採番が行われた全てのボルトに対して行われる。
The
一枚のボルト画像２７は、一つの撮影角度から撮影した画像である。なお、一枚のボルト画像２７からボルトの締付け状態を判定しようとしても、マーキングが隠れていて、マーキングを検出できない場合がある。そこで、本実施形態においては、撮影角度が異なる複数（例えば１０枚、２０枚等）のボルト画像２７に基づいてボルトの締付け状態を判定する。このため、ボルトの締付け状態を判定できる可能性を飛躍的に高めることができ、多数のボルトの締付け状態をほぼ漏れなく判定できるようになる。また、ボルトの形状はどのボルトも似ていて、ボルト画像２７からどのボルトを撮影したのかを認識することは困難である。しかしながら、ボルトタグ付け部５によってボルト画像２７に位置情報を付与することで、複数のボルト画像２７が同一のボルトを撮影したものであることを保証することができる。
One
再び図２に戻り、ボルト検査部７は、前処理部８と、判定部９と、総合判定部２８と、代表画像抽出部２９と、を備える。前処理部８は、ボルト画像２７に対して特徴量を浮き彫りにさせるための前処理を行う。例えば前処理部８は、ボルト画像２７を２値化する。なお、判定部９の判定内容によっては、前処理部８を省略してもよい。
Returning to FIG. 2 again, the
判定部９は、マーキング判定部９ａと、ピンテール判定部９ｂと、ナット判定部９ｃと、座金判定部９ｄと、を備える。これらの判定部９ａ〜９ｄには、複数のボルト画像２７のそれぞれが入力される。
The
マーキング判定部９ａは、ボルトに付されたマーキングの状態を判定するための機械学習を行った学習済みのマーキング判定モデルに各ボルト画像を入力することで、マーキングの状態を判定する。ピンテール判定部９ｂは、ピンテールの有無を判定するための機械学習を行った学習済みのピンテール判定モデルに各ボルト画像を入力することで、ピンテールの有無を判定する。ナット判定部９ｃは、ナットの表裏を判定するための機械学習を行った学習済みのナット判定モデルに各ボルト画像を入力することで、ナットの表裏を判定する。座金判定部９ｄは、座金の表裏を判定するための機械学習を行った学習済みの座金判定モデルに各ボルト画像を入力することで、座金の表裏を判定する。これらの学習済みモデルの詳細は後述する。
The marking
総合判定部２８は、マーキング判定部９ａ、ピンテール判定部９ｂ、ナット判定部９ｃ及び座金判定部９ｄの判定結果に基づいて、検査項目毎にボルトの締付け状態を総合判定する。検査項目には、例えば「正常」、「ナット締め忘れ」、「座金共回り（ナットと共に座金が回る）」が存在する。総合判定部２８は、検査項目毎にボルトの締付け状態が「正常」であるか否か、「ナット締め忘れ」があるか否か、「座金共回り（ナットと共に座金が回る）」があるか否かを総合判定する。総合判定部２８の詳細については後述する。
The
代表画像抽出部２９は、同一のボルトを撮影した複数のボルト画像２７のうち、総合判定部２８の判定結果に一致するボルト画像２７を代表画像２７ａ（図１５（ｄ）参照）として抽出する。代表画像抽出部２９の詳細については後述する。代表画像２７ａは、補助記憶装置５５に記憶される。
The representative image extraction unit 29 extracts the
総合判定部２８の判定結果は、表示制御部１１に入力される。表示制御部１１の判定結果出力部１１ａは、端末２２の表示装置２２ａにボルトの配列に合わせてボルトを模した画像を表示させる（図１６参照）。検査項目に異常があるボルト（図１６中斜線で示す３行４列のボルト）の画像には、例えば着色が付けられる。また、表示制御部１１の帳票出力部１１ｂは、表示装置に帳票（図示せず）を表示させる。表示装置は、例えばボルトを撮影した端末２２の表示装置２２ａ（図１６参照）、現場事務所のパソコンの表示装置等である。
The determination result of the
図２に示すように、フランジ部を撮影したボルトの静止画像は、ボルト検出部１２に入力される。ボルト検出部１２は、ボルト検出部４と同様に、入力されたボルトの静止画像から個々のボルトのボルト画像を検出する。ボルト検出部１２によって検出されたボルト画像は、ボルトタグ付け部１３に入力される。ボルトタグ付け部１３は、ボルトタグ付け部５と同様に、検出されたボルト画像に位置情報を付与する。タグ付けされたボルト画像は、ボルト検査部７に入力される。ボルト検査部７は、動画像から検出したボルト画像２７と同様に、静止画像から検出したボルト画像（図示せず）に基づいて、ボルトの締付け状態を判定する。
As shown in FIG. 2, a still image of the bolt obtained by photographing the flange portion is input to the
以下に、ボルト検出部４、ボルトタグ付け部５、ボルト検査部７の詳細を順番に説明する。
（ボルト検出部）
The details of the
(Bolt detector)
図４は、ボルト検出部４の処理のフローチャートである。ボルト検出部４には、ボルトを撮影した動画像が入力される（Ｓ１１）。ボルト検出部４は、入力された動画像から所定の時間間隔毎に複数の静止画像１６（図５参照）を抽出する（Ｓ１２）。次に、ボルト検出部４は、個々のボルトのボルト画像２７を検出するための機械学習を行った学習済みの学習モデル１８（図５参照）に１枚目の静止画像１６を入力する（Ｓ１３）。１枚目の静止画像１６を学習モデル１８に入力することにより、個々のボルトのボルト画像２７が検出される（Ｓ１４）。次に、ボルト検出部４は、Ｓ１３に復帰し、２枚目の静止画像１６を学習モデル１８に入力する。２枚目の静止画像１６を学習モデル１８に入力することにより、個々のボルトのボルト画像２７が検出される（Ｓ１４）。ボルト検出部４は、Ｓ１３、Ｓ１４の工程を静止画像の枚数分繰り返す。すなわち、全ての静止画像を学習モデルに入力していない状態だと、Ｓ１５がＮＯでＳ１３に復帰する。全ての静止画像を学習モデルに入力した状態だと、Ｓ１５がＹＥＳでエンドとなる（Ｓ１５）。
FIG. 4 is a flowchart of the process of the
図５は、ボルト検出部４の学習モデル１８の概念図である。学習モデル１８は、畳み込みニューラルネットワーク（convolutional neural network: CNN）等のニューラルネットワークから構成される。図５を参照して、学習モデル１８の機械学習を説明する。まず、複数個のボルトが撮影された学習用静止画像１４を作成する。また、学習用静止画像１４に対し、個々のボルトの領域に分解するための情報、例えば個々のボルトに四角形のタグ１５ａを付け加えて、教師静止画像１５を作成する。学習モデル１８は、学習用静止画像１４とタグ１５ａが付け加えられた教師静止画像１５との相関関係を学習する。学習済みの学習モデル１８は、補助記憶装置５５（図２参照）に記録される。
FIG. 5 is a conceptual diagram of the
学習済みの学習モデル１８に各静止画像１６を入力すれば、個々のボルトにタグ１５ａが付与された静止画像１６が得られる。タグ１５ａで囲まれた領域を切り出せば、個々のボルトのボルト画像２７が抽出される。
（ボルトタグ付け部）
If each
(Bolt tagging part)
図６は、ボルトタグ付け部５（図２参照）の処理のフローチャートである。ボルトタグ付け部５には、ボルト検出部４が動画像から抽出した静止画像が入力される。まず、ボルトタグ付け部５は、静止画像からマーカ画像を検出する（Ｓ２１）。次に、ボルトタグ付け部５は、マーカ２１ａ（図７参照）を識別するための機械学習が行われたマーカ識別用学習モデル（図示せず）にマーカ画像を入力することにより、マーカ２１ａの数字を認識する（Ｓ２２）。
FIG. 6 is a flowchart of processing of the bolt tagging unit 5 (see FIG. 2). A still image extracted from the moving image by the
マーカ識別用学習モデルは、畳み込みニューラルネットワーク（convolutional neural network: CNN）等のニューラルネットワークから構成される。マーカ識別用学習モデルは、マーカ２１ａの画像と教示した数字との相関関係を学習した学習済みのモデルである。学習済みのマーカ識別用学習モデルは、補助記憶装置５５（図２参照）に記録される。
The learning model for marker identification is composed of a neural network such as a convolutional neural network (CNN). The marker identification learning model is a trained model that has learned the correlation between the image of the
次に、ボルトタグ付け部５は、認識したマーカ２１ａの数字、検出したマーカ２１ａの座標、及び検出したボルトの座標に基づいて、ボルト画像２７に位置情報を付与する（Ｓ２３）。
Next, the
ここで、マーカ（数字）について説明する。図７（ａ）に示すように、橋梁には、予め１〜ｎ（図７（ａ）ではｎ＝２７）のマーカ２１ａ（数字）が付与されたマグネット２１が貼り付けられている。ここで、マーカ２１ａ（数字）とボルトの行数とは一致する。端末２２（図７（ｂ））には、予め接合部リストとボルトの個数が記録されている。検査員は、橋梁の設計図面２３（図７（ｃ））を参照しながら端末２２に表示される接合部リストから検査対象の接合部（例えば、Ｊ１９ウェブ部等）を選択する。検査員は、接合部リストから検査対象を選択した後、接合部のボルトを動画像で撮影する。
Here, markers (numbers) will be described. As shown in FIG. 7A, a
符号２４（図７（ｄ））は端末２２の表示装置に映っているボルトの画像である。検査員は、端末２２のタッチパネルを操作して撮影範囲を特定し、撮影位置をジグザグ状に移動させながらマーカ２１ａと接合部２５の全体を網羅的に撮影する。具体的には、検査員は、図７（ａ）の左から右に撮影位置を移動させながら上段のマーカ２１ａと接合部２５を撮影し、その後、撮影位置を下方に移動させ、その後、右から左に撮影位置を移動させながら上段よりも下側のマーカ２１ａと接合部２５を撮影し、その後、撮影位置を下方に移動させ、その後、左から右に撮影位置を移動させる。以降はこれを繰り返す。撮影した動画像は、上記のようにボルト検出部４に入力される。
Reference numeral 24 (FIG. 7 (d)) is an image of the bolt displayed on the display device of the terminal 22. The inspector operates the touch panel of the terminal 22 to specify the shooting range, and while moving the shooting position in a zigzag pattern, comprehensively shoots the
図８は、ボルト画像２７に付与された位置情報の概念図を示す。図８に示すように、例えば右上のボルト画像２７には、接合部（Ｊ１９ウェブ部）、行列番号（１行５列）のタグ付けがなされる。同様に、例えば右下のボルト画像２７には、接合部（Ｊ１９ｗｅｂ）、行列番号（４行５列）のタグ付けが行われる。
（ボルト検査部）
FIG. 8 shows a conceptual diagram of the position information given to the
(Bolt inspection department)
図９は、ボルト検査部７（図２参照）の処理のフローチャートである。ボルト検査部７は、同一のボルトを撮影した複数のボルト画像２７それぞれを４つの判定モデル（マーキング判定モデルＣ１、ピンテール判定モデルＣ２、ナット判定モデルＣ３、座金判定モデルＣ４）に入力する（Ｓ３１）。
FIG. 9 is a flowchart of processing of the bolt inspection unit 7 (see FIG. 2). The
まず、ナット判定モデルＣ３を説明する。図１０は、ナット判定モデルＣ３の概念図である。ナット判定モデルＣ３には、各ボルト画像２７のナットの状態をナットが表か裏かの２つのクラスに分類する畳み込みニューラルネットワーク（convolutional neural network: CNN）等のニューラルネットワークが用いられる。
First, the nut determination model C3 will be described. FIG. 10 is a conceptual diagram of the nut determination model C3. For the nut determination model C3, a neural network such as a convolutional neural network (CNN) that classifies the state of the nut of each
図１１（ａ）はナット６１が表の状態を示し、図１１（ｂ）はナット６１が裏の状態を示す。ナット６１の表には、窪み６１ａがあるのに対して、ナット６１の裏には、窪み６１ａがない。窪み６１ａの有無により、ナット６１の表裏を識別することができる。ナット判定モデルＣ３の学習にあたって、まず、疑似的にナット６１が表の状態とナット６１が裏の状態を作成する（図１０の符号３２を参照）。そして、図１０に示すように、ナットが表の学習用ボルト画像３３ａとナットが裏の学習用ボルト画像３３ｂを多数作成し、ナット判定モデルＣ３に学習用ボルト画像３３ａ，３３ｂと正解ラベル（ナットが表か裏か）の相関関係を学習させる。学習済みのナット判定モデルＣ３にボルト画像２７を入力すれば、ナット６１の表裏を判定することができる。ナット判定モデルＣ３は、各ボルト画像２７に対して、例えば「ナットが表」の確率が０．９５、「ナットが裏」の確率が０．０５を出力する。
FIG. 11A shows the
ピンテール判定モデルＣ２には、各ボルト画像２７のピンテールの状態をピンテールが有るか無いかの２つのクラスに分類する畳み込みニューラルネットワーク等のニューラルネットワークが用いられる。ピンテール判定モデルＣ２も、ナット判定モデルＣ３と同様に学習する。すなわち、ピンテールが有る学習用ボルト画像とピンテールが無い学習用ボルト画像を多数作成し、ピンテール判定モデルＣ２に学習用ボルト画像と正解ラベル（ピンテールが有るか無いか）との相関関係を学習させる。学習済みのピンテール判定モデルＣ２にボルト画像２７を入力すれば、ピンテールの有無を判定することができる。ピンテール判定モデルＣ２は、各ボルト画像２７に対して、例えば「ピンテールが無し」の確率が０．９、「ピンテールが有り」の確率が０．１を出力する。
For the pintail determination model C2, a neural network such as a convolutional neural network that classifies the state of the pintail of each
座金判定モデルＣ４には、各ボルト画像２７に対してピクセルレベルでクラス分類し、セグメンテーションを行う畳み込みニューラルネットワーク等のニューラルネットワークが用いられる。なお、ボルト画像２７の全体に対して座金の画像の占める面積が少ないので、座金が表か裏かの２つのクラスに分類するニューラルネットワークを用いても、座金が表か裏かの判定精度を向上させることができないおそれがある。また、座金の表と裏とでは質感が異なるので、セグメンテーションを行うことで、座金が表か裏かの判定精度を向上させることができる。座金判定モデルＣ４の学習にあたって、座金の部分と座金以外の背景部分とに分けてピクセル単位で色付けされた学習用データを作成する。座金の部分は、座金が表の場合と座金が裏の場合とに分けて色付けされる。学習済みの座金判定モデルＣ４にボルト画像２７を入力し、ピクセルレベルでクラス分類を行えば、座金の表裏を判定することができる（表のピクセルが多ければ、「座金が表」と判定し、裏のピクセルが多ければ、「座金が裏」と判定する）。座金判定モデルＣ４は、各ボルト画像２７に対して、例えば「座金が表」の確率が０．９５、「座金が裏」の確率が０．０５を出力する。
For the washer determination model C4, a neural network such as a convolutional neural network that classifies each
マーキング判定モデルＣ１には、各ボルト画像２７のマーキングの状態を例えば５つのクラスに分類する畳み込みニューラルネットワーク等のニューラルネットワークが用いられる。図１２に示すように、マーキングの状態は、「ナットのみずれ」（正常にボルト締めが行われた状態であり、ボルト、座金、母材のマーキング角度が一致し、ナットのマーキング角度のみがずれる）、「マーキング無し」（マーキングを付け忘れた状態であり、ボルト、ナット、座金、母材のいずれにもマーキングが無い）、「ナット＆座金ずれ」（ナットと座金が共回りした状態であり、ナットと座金のマーキング角度がボルトと母材のマーキング角度に対してずれる）、「マーキング有り・ずれ無し」（ナットを締め忘れた状態であり、ボルト、ナット、座金、母材の全てにマーキングが有り、これらのマーキング角度にずれが無い）、「判定不能」（カメラの撮影状況からボルト、ナット、座金、母材の少なくとも１つのマーキングが見えない、又はボルト画像が不鮮明である）の５つのクラスに分類される。
For the marking determination model C1, a neural network such as a convolutional neural network that classifies the marking state of each
マーキング判定モデルＣ１の学習にあたって、まず、疑似的に５つのクラスの状態を作成する。そして、５つのクラスに分類される学習用ボルト画像を多数作成し、マーキング判定モデルＣ１に学習用ボルト画像と正解ラベルの相関関係を学習させる。学習済みのマーキング判定モデルＣ１にボルト画像２７を入力すれば、マーキング状態を５つのクラスに分類することができる。マーキング判定モデルＣ１は、各ボルト画像２７に対して、例えば「ナットのみずれ」の確率が０．６、「マーキング無し」の確率が０．１、「ナット＆座金ずれ」の確率が０．１、「マーキング有り・ずれ無し」の確率が０．１、「判定不能」の確率が０．１を出力する。
In learning the marking determination model C1, first, the states of five classes are created in a pseudo manner. Then, a large number of learning bolt images classified into five classes are created, and the marking determination model C1 is made to learn the correlation between the learning bolt images and the correct label. If the
学習済みの４つの判定モデル（マーキング判定モデルＣ１、ピンテール判定モデルＣ２、ナット判定モデルＣ３、座金判定モデルＣ４）は、補助記憶装置５５（図２参照）に記憶される。 The four learned determination models (marking determination model C1, pintail determination model C2, nut determination model C3, and washer determination model C4) are stored in the auxiliary storage device 55 (see FIG. 2).
再び図９に戻り、総合判定部２８は、４つの判定モデル（ピンテール判定モデルＣ２、マーキング判定モデルＣ１、ナット判定モデルＣ３、座金判定モデルＣ４）の判定結果に基づいて、ボルトの締付け状態を総合判定する（Ｓ３２）。
Returning to FIG. 9 again, the
図１３に示すように、４つの判定モデル（ピンテール判定モデルＣ２、マーキング判定モデルＣ１、ナット判定モデルＣ３、座金判定モデルＣ４）の判定結果から２×５×２×２＝４０通りの組合せが得られる。総合判定部２８は、４０通りの組合せを９つの検査項目（「ピンテール切り忘れ」、「ナット締め忘れ」、「正常」、「マーキング状態／ピンテール有無不整合」、「マーキング忘れ」、「座金共回り」、「判定不能」、「ナット裏返し」、「座金裏返し」）のいずれかに該当させる。「正常」以外が異常である。
As shown in FIG. 13, 2 × 5 × 2 × 2 = 40 combinations can be obtained from the determination results of the four determination models (pintail determination model C2, marking determination model C1, nut determination model C3, and washer determination model C4). Be done. The
図１４に示すように、「正常」は、ボルト、座金、母材のマーキングが一直線上にあり、ナットのマーキングのみが回転した状態である。「マーキング忘れ」は、一次締め後にマーキングを付け忘れている状態である。「ナット締め忘れ」は、一次締め後の本締めにおいてナットを締め忘れた状態である。「座金共回り」は、本締めにおいてナットと共に座金が回った状態である。「判定不能」は、カメラの撮影状況からボルト、ナット、座金、母材の少なくも１つのマーキングが見えない、又はボルト画像が不鮮明な状態である。「ピンテール切り忘れ」は、本締めにおいてピンテールが切断されなかった状態である。「ナット裏返し」は、ナットが裏返しになっている状態である。「座金裏返し」は、座金が裏返しになっている状態である。なお、図１４に図示しないが、「マーキング状態／ピンテール有無不整合」は、マーキングの状態とピンテールの有無とが整合しない、例えばボルト、ナット、座金、母材のマーキングが一直線上にあるのに、ピンテールが無い状態である。 As shown in FIG. 14, "normal" means that the markings of the bolt, washer, and base material are in a straight line, and only the marking of the nut is rotated. "Forgot marking" is a state in which marking is forgotten after the primary tightening. "Forgot to tighten the nut" is a state in which the nut is forgotten to be tightened in the final tightening after the primary tightening. "Washer rotation" is a state in which the washer is rotated together with the nut in the final tightening. "Undecidable" is a state in which at least one marking of the bolt, nut, washer, and base material cannot be seen from the shooting conditions of the camera, or the bolt image is unclear. "Forgot to cut the pintail" is a state in which the pintail is not cut in the final tightening. "Nut inside out" is a state in which the nut is turned inside out. "Turn over the washer" is a state in which the washer is turned inside out. Although not shown in FIG. 14, in the "marking state / pintail presence / absence mismatch", the marking state and the presence / absence of the pintail do not match, for example, the markings of the bolt, nut, washer, and base material are in a straight line. , There is no pin tail.
図１３に示すように、「正常」は、ピンテール判定モデルＣ２の判定結果において「ピンテールが無し」、マーキング判定モデルＣ１の判定結果において「ナットのみずれ」、ナット判定モデルＣ３の判定結果において「ナットが表」、座金判定モデルＣ４の判定結果において「座金が表」の場合に出力される。 As shown in FIG. 13, “normal” means “no pintail” in the determination result of the pintail determination model C2, “nut misalignment” in the determination result of the marking determination model C1, and “nut” in the determination result of the nut determination model C3. Is a table, and is output when the washer is a table in the determination result of the washer determination model C4.
「ピンテール切り忘れ」は、ピンテール判定モデルＣ２の判定結果において「ピンテールが有り」、マーキング判定モデルＣ１の判定結果において「ナットのみずれ」又は「ナット＆座金ずれ」の場合に出力される。 "Forgot to cut the pintail" is output when "there is a pintail" in the determination result of the pintail determination model C2 and "misalignment of the nut" or "misalignment of the nut and washer" in the determination result of the marking determination model C1.
「ナット締め忘れ」は、ピンテール判定モデルＣ２の判定結果において「ピンテールが有り」、マーキング判定モデルＣ１の判定結果において「マーキング有り・ずれ無し」又は「マーキング無し」の場合に出力される。 "Forgot to tighten the nut" is output when "there is a pintail" in the determination result of the pintail determination model C2 and "with marking / no deviation" or "without marking" in the determination result of the marking determination model C1.
「マーキング状態／ピンテール有無不整合」は、画像判定特有の検査項目であり、ピンテール判定モデルＣ２の判定結果において「ピンテール無し」、マーキング判定モデルＣ１の判定結果において「マーキング有り・ずれ無し」の場合に出力される。 "Marking state / pintail presence / absence mismatch" is an inspection item peculiar to image judgment, and is the case of "no pintail" in the judgment result of the pintail judgment model C2 and "marked / no deviation" in the judgment result of the marking judgment model C1. Is output to.
「マーキング忘れ」は、ピンテール判定モデルＣ２の判定結果において「ピンテール無し」、マーキング判定モデルＣ１の判定結果において「マーキング無し」の場合に出力される。 "Forgot marking" is output when "no pintail" is determined in the determination result of the pintail determination model C2 and "no marking" is output in the determination result of the marking determination model C1.
「座金共回り」は、マーキング判定モデルＣ１の判定結果において「ナット＆座金ずれ」の場合に出力される。 "Washer co-rotation" is output in the case of "nut & washer deviation" in the determination result of the marking determination model C1.
「判定不能」は、画像判定特有の検査項目であり、マーキング判定モデルＣ１の判定結果において「判定不能」の場合に出力される。 "Undecidable" is an inspection item peculiar to image determination, and is output when "undecidable" in the determination result of the marking determination model C1.
「ナット裏返し」は、ナット判定モデルＣ３の判定結果において「ナット裏返し」の場合に出力される。 "Nut inside out" is output in the case of "nut inside out" in the determination result of the nut determination model C3.
「座金裏返し」は、座金判定モデルＣ４の判定結果において「ナット裏返し」の場合に出力される。 The "washer inside out" is output in the case of "nut inside out" in the determination result of the washer determination model C4.
上記のように、各判定モデル（マーキング判定モデルＣ１、ピンテール判定モデルＣ２、ナット判定モデルＣ３、座金判定モデルＣ４）には、同一のボルトを撮影した複数枚（例えば６０枚）のボルト画像２７が入力される。総合判定部２８は、総合判定にあたって、各判定モデル（ピンテール判定モデルＣ２、マーキング判定モデルＣ１、ナット判定モデルＣ３、座金判定モデルＣ４）の最大確率（すなわち確率が最大値）の判定結果を採用する。
As described above, each judgment model (marking judgment model C1, pintail judgment model C2, nut judgment model C3, washer judgment model C4) has a plurality of (for example, 60)
例えば、以下の表１に示すように、１枚目のボルト画像に関してのマーキング判定モデルＣ１の判定結果が０．８（ナットのみずれ）、２枚目のボルト画像に関してのマーキング判定モデルＣ１の判定結果が０．５（マーキング有り・ずれ無し）…であった場合、総合判定部２８は、最大確率である０．８を出力した１枚目のボルト画像の判定結果「ナットのみずれ」を採用する。同様に、総合判定部２８は、ピンテール判定モデルＣ２に関して、最大確率である０．９を出力した５枚目のボルト画像の判定結果「ピンテール無し」を採用し、ナット判定モデルＣ３に関して、最大確率である０．９を出力した４枚目のボルト画像の判定結果「ナットが表」を採用し、座金判定モデルＣ４に関して、最大確率である０．８を出力した３枚目のボルト画像の判定結果「座金が裏」を採用する。なお、表１には、分かり易くするために、各判定モデルに５枚のボルト画像を入力した例を示すが、実際には例えば６０枚程度のボルト画像を入力する。
For example, as shown in Table 1 below, the determination result of the marking determination model C1 for the first bolt image is 0.8 (nut misalignment), and the determination of the marking determination model C1 for the second bolt image. If the result is 0.5 (with marking / no deviation), the
再び図９に戻り、代表画像抽出部２９は、複数枚のボルト画像２７から代表画像２７ａを抽出する（Ｓ３３）。代表画像抽出部２９は、代表画像２７ａの抽出にあたって、総合判定に該当するボルト画像を抽出する。例えば、表１に示す例では、総合判定に該当するボルト画像は、４枚目のボルト画像と５枚目のボルト画像であるので、４枚目のボルト画像と５枚目のボルト画像を抽出する。さらに、代表画像抽出部２９は、総合判定に該当するボルト画像のうち、４つの判定モデルＣ１〜Ｃ４の判定結果の確率の平均を計算し、平均値が最大であるボルト画像を代表画像２７ａとして抽出する。例えば、表１に示す例では、４枚目のボルト画像に関して、４つの判定モデルＣ１〜Ｃ４の判定結果の確率の平均が０．６７５である。５枚目のボルト画像に関して、４つの判定モデルＣ１〜Ｃ４の判定結果の確率の平均が０．７２５である。このため、代表画像抽出部２９は、５枚目のボルト画像を代表画像２７ａとして抽出する。
Returning to FIG. 9 again, the representative image extraction unit 29 extracts the
図１５は、代表画像抽出部２９のロジックの概念図を示す。上記のように、動画でボルト画像を撮影するので、図１５（ａ）に示す３行３列の１つのボルトに対して、図１５（ｂ）に示すように、複数のボルト画像２７が得られる。次に、図１５（ｃ）に示すように、総合判定部２８は、各ボルト画像２７に対して例えば「正常」と総合判定し、代表画像抽出部２９は、総合判定に該当するボルト画像２７に関して４つの判定モデルＣ１〜Ｃ４の判定結果の確率の平均値である０．９５、０．９６、０．９９、０．９５、０．９６．０．６７を算出する。そして、図１５（ｄ）に示すように、代表画像抽出部２９は、確率の平均値が最大である「正常：０．９９」のボルト画像（図１５（ｃ）の左から３番目のボルト画像）を代表画像２７ａとして抽出する。
FIG. 15 shows a conceptual diagram of the logic of the representative image extraction unit 29. As described above, since the bolt image is taken as a moving image, a plurality of
総合判定の結果は、端末２２の表示装置２２ａに表示される。図１６は、端末２２の表示装置２２ａに表示される画像の一例を示す。表示装置２２ａには、ボルトの配列に合わせてボルトを模した格子状の画像が表示される。検査項目に異常があるボルト（図１６中斜線で示す３行４列のボルト）の画像には、例えば着色が付けられる。端末２２のタッチパネルを用いて異常があるボルトのボタンを押せば、図１７（ａ）に示すように、どのような異常があるのかが表示されると共に、代表画像２７ａが表示される。端末２２のタッチパネルを用いて「確信度 表示」のボタンを押せば、図１７（ｂ）に示すように、４つの判定モデルＣ１〜Ｃ４の判定結果が最大確率と共に表示される。
The result of the comprehensive determination is displayed on the
以上に本実施形態のボルト検査装置の構成を説明した。本実施形態のボルト検査装置によれば、以下の効果を奏する。 The configuration of the bolt inspection device of this embodiment has been described above. According to the bolt inspection device of the present embodiment, the following effects are obtained.
マーキング判定部９ａがマーキングに着目してマーキングの状態を判定し、ピンテール判定部９ｂがピンテールに着目してピンテールの有無を判定し、総合判定部２８がマーキング判定部９ａとピンテール判定部９ｂの判定結果に基づいて締付け状態を総合判定する。検査項目に着目してモデルを作成するのではなく、ボルトの機能的なまとまりのある部分（マーキング及びピンテール）に着目して判定モデルＣ１，Ｃ２を作成することで、コンピュータの負荷を軽減でき、検査精度も向上させることができる。
The marking
ナット判定部９ｃがナットに着目してナットの表裏を判定し、座金判定部９ｄが座金に着目して座金の表裏を判定し、総合判定部２８がマーキング判定部９ａ、ピンテール判定部９ｂ、ナット判定部９ｃ、及び座金判定部９ｄの判定結果に基づいて締付け状態を総合判定するので、検査項目を増やし、検査精度をより向上させることができる。
The nut determination unit 9c focuses on the nut to determine the front and back of the nut, the
マーキング判定部９ａ、ピンテール判定部９ｂ、ナット判定部９ｃ及び座金判定部９ｄに、同一のボルトを撮影した複数のボルト画像２７を入力し、総合判定部２８が、マーキング判定部９ａ、ピンテール判定部９ｂ、ナット判定部９ｃ及び座金判定部９ｄそれぞれの最大確率の判定結果に基づいて、ボルトの締付け状態を総合判定するので、検査精度をより向上させることができる。
A plurality of
同一のボルトを撮影した複数のボルト画像２７のうち、代表画像抽出部２９が総合判定に該当するボルト画像２７を代表画像２７ａとして抽出するので、代表画像２７ａを記録に残すことができる。
Of the plurality of
なお、本発明のボルト検査装置は上記実施形態に具現化されるのに限られることはなく、本発明の要旨を変更しない範囲で他の実施形態に具現化可能である。 The bolt inspection device of the present invention is not limited to being embodied in the above embodiment, and can be embodied in other embodiments without changing the gist of the present invention.
例えば、上記実施形態では、橋梁のボルトを検査しているが、橋梁以外の構造物のボルトを検査してもよい。 For example, in the above embodiment, the bolts of the bridge are inspected, but the bolts of structures other than the bridge may be inspected.
上記実施形態では、判定モデルを４つの判定モデル（マーキング判定モデル、ピンテール判定モデル、ナット判定モデル、座金判定モデル）から構成しているが、２つの判定モデル（マーキング判定モデル、ピンテール判定モデル）から構成してもよい。 In the above embodiment, the judgment model is composed of four judgment models (marking judgment model, pintail judgment model, nut judgment model, washer judgment model), but from two judgment models (marking judgment model, pintail judgment model). It may be configured.
上記実施形態では、マーキング判定モデルの判定結果を５つのクラスに分類しているが、少なくとも２つのクラスに分類してもよい。 In the above embodiment, the determination result of the marking determination model is classified into five classes, but it may be classified into at least two classes.
１…ボルト検査装置
９ａ…マーキング判定部
９ｂ…ピンテール判定部
９ｃ…ナット判定部
９ｄ…座金判定部
２２…端末
２７…ボルト画像
２７ａ…代表画像
２８…総合判定部
２９…代表画像抽出部
Ｃ１…マーキング判定モデル
Ｃ２…ピンテール判定モデル
Ｃ３…ナット判定モデル
Ｃ４…座金判定モデル
1 ...
Claims (7)
ピンテールの有無を判定するための機械学習を行った学習済みのピンテール判定モデルに前記ボルト画像を入力することで、ピンテールの有無を判定するピンテール判定部と、
少なくとも前記マーキング判定部と前記ピンテール判定部の判定結果に基づいて、ボルトの締付け状態を総合判定する総合判定部と、を備えるボルト検査装置。 A marking determination unit that determines the marking status by inputting a bolt image into a trained marking determination model that has undergone machine learning to determine the marking status attached to the bolt.
A pintail determination unit that determines the presence or absence of a pintail by inputting the bolt image into a trained pintail determination model that has undergone machine learning to determine the presence or absence of a pintail.
A bolt inspection device including at least a marking determination unit and a comprehensive determination unit that comprehensively determines a bolt tightening state based on the determination results of the pintail determination unit.
ナットの表裏を判定するための機械学習を行った学習済みのナット判定モデルに前記ボルト画像を入力することで、ナットの表裏を判定するナット判定部と、
座金の表裏を判定するための機械学習を行った学習済みの座金判定モデルに前記ボルト画像を入力することで、座金の表裏を判定する座金判定部と、を備え、
前記総合判定部が、前記マーキング判定部、前記ピンテール判定部、前記ナット判定部及び前記座金判定部の判定結果に基づいて、ボルトの締付け状態を総合判定することを特徴とする請求項１に記載のボルト検査装置。 The bolt inspection device further
A nut determination unit that determines the front and back of a nut by inputting the bolt image into a learned nut determination model that has undergone machine learning to determine the front and back of the nut.
It is equipped with a washer determination unit that determines the front and back of the washer by inputting the bolt image into the learned washer determination model that has been machine-learned to determine the front and back of the washer.
The first aspect of claim 1, wherein the comprehensive determination unit comprehensively determines the tightening state of the bolt based on the determination results of the marking determination unit, the pintail determination unit, the nut determination unit, and the washer determination unit. Bolt inspection equipment.
前記総合判定部が、前記マーキング判定部、前記ピンテール判定部、前記ナット判定部及び前記座金判定部それぞれの最大確率の判定結果に基づいて、ボルトの締付け状態を総合判定することを特徴とする請求項２に記載のボルト検査装置。 A plurality of bolt images obtained by photographing the same bolt are input to the marking determination unit, the pintail determination unit, the nut determination unit, and the washer determination unit.
A claim characterized in that the comprehensive determination unit comprehensively determines the bolt tightening state based on the determination results of the maximum probabilities of each of the marking determination unit, the pintail determination unit, the nut determination unit, and the washer determination unit. Item 2. The bolt inspection device according to item 2.
前記複数のボルト画像のうち、総合判定に該当するボルト画像を代表画像として抽出する代表画像抽出部を備えることを特徴とする請求項３に記載のボルト検査装置。 The bolt inspection device further
The bolt inspection apparatus according to claim 3, further comprising a representative image extraction unit that extracts a bolt image corresponding to the comprehensive determination as a representative image among the plurality of bolt images.
ピンテールの有無を判定するためのピンテール判定モデルに前記ボルト画像を入力することで、ピンテールの有無を判定するピンテール判定ステップと、
少なくとも前記マーキング判定ステップと前記ピンテール判定ステップの判定結果に基づいて、ボルトの締付け状態を総合判定する総合判定ステップと、を備えるボルト検査方法。 A marking determination step for determining the marking status by inputting a bolt image into the marking determination model for determining the marking status attached to the bolt, and a marking determination step.
A pintail determination step for determining the presence or absence of a pintail by inputting the bolt image into the pintail determination model for determining the presence or absence of a pintail.
A bolt inspection method including at least a comprehensive determination step for comprehensively determining a bolt tightening state based on the determination results of the marking determination step and the pintail determination step.
ボルトを撮影してボルト画像を生成し、前記ボルト検査装置と通信可能な端末と、を備えるボルト検査システム。 The bolt inspection device according to any one of claims 1 to 4,
A bolt inspection system including a terminal capable of photographing a bolt and generating a bolt image and communicating with the bolt inspection device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020006872A JP7200955B2 (en) | 2020-01-20 | 2020-01-20 | BOLT INSPECTION DEVICE, BOLT INSPECTION SYSTEM, BOLT INSPECTION METHOD AND PROGRAM |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020006872A JP7200955B2 (en) | 2020-01-20 | 2020-01-20 | BOLT INSPECTION DEVICE, BOLT INSPECTION SYSTEM, BOLT INSPECTION METHOD AND PROGRAM |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021113755A true JP2021113755A (en) | 2021-08-05 |
| JP7200955B2 JP7200955B2 (en) | 2023-01-10 |
Family
ID=77076908
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020006872A Active JP7200955B2 (en) | 2020-01-20 | 2020-01-20 | BOLT INSPECTION DEVICE, BOLT INSPECTION SYSTEM, BOLT INSPECTION METHOD AND PROGRAM |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7200955B2 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113984315A (en) * | 2021-11-30 | 2022-01-28 | 东风商用车有限公司 | Method and system for detecting bolt in vibration simulation test |
| JP7381708B1 (en) * | 2022-12-23 | 2023-11-15 | 楽天グループ株式会社 | Information processing device, information processing method, and information processing program |
| JP7457784B1 (en) | 2022-12-23 | 2024-03-28 | 楽天グループ株式会社 | Information processing device, method and program |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004108565A (en) * | 2002-09-17 | 2004-04-08 | Yajima:Kk | Marking method and marking auxiliary tool for assembling high-tensile bolt joint |
| JP2005003658A (en) * | 2003-06-10 | 2005-01-06 | Nippon Denro Kk | Bolt looseness inspection method |
| JP2013134190A (en) * | 2011-12-27 | 2013-07-08 | Kddi Corp | Inspection auxiliary device and method |
| JP2016211630A (en) * | 2015-05-01 | 2016-12-15 | 片山ストラテック株式会社 | Torshear type stud bolt |
| JP2018009932A (en) * | 2016-07-15 | 2018-01-18 | 清水建設株式会社 | Detection system and method for fastening state of high-strength bolt |
| JP2019124591A (en) * | 2018-01-17 | 2019-07-25 | 東京エレクトロン株式会社 | Substrate defect inspection device, substrate defect inspection, and storage medium |
| WO2019190405A1 (en) * | 2018-03-29 | 2019-10-03 | Agency For Science, Technology And Research | Method and apparatus for detecting condition of a bolt on a bolted structure |
| JP2021015041A (en) * | 2019-07-12 | 2021-02-12 | Ｊｆｅエンジニアリング株式会社 | Bolt inspection device, bolt inspection system, bolt inspection method, and program |
-
2020
- 2020-01-20 JP JP2020006872A patent/JP7200955B2/en active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004108565A (en) * | 2002-09-17 | 2004-04-08 | Yajima:Kk | Marking method and marking auxiliary tool for assembling high-tensile bolt joint |
| JP2005003658A (en) * | 2003-06-10 | 2005-01-06 | Nippon Denro Kk | Bolt looseness inspection method |
| JP2013134190A (en) * | 2011-12-27 | 2013-07-08 | Kddi Corp | Inspection auxiliary device and method |
| JP2016211630A (en) * | 2015-05-01 | 2016-12-15 | 片山ストラテック株式会社 | Torshear type stud bolt |
| JP2018009932A (en) * | 2016-07-15 | 2018-01-18 | 清水建設株式会社 | Detection system and method for fastening state of high-strength bolt |
| JP2019124591A (en) * | 2018-01-17 | 2019-07-25 | 東京エレクトロン株式会社 | Substrate defect inspection device, substrate defect inspection, and storage medium |
| WO2019190405A1 (en) * | 2018-03-29 | 2019-10-03 | Agency For Science, Technology And Research | Method and apparatus for detecting condition of a bolt on a bolted structure |
| JP2021015041A (en) * | 2019-07-12 | 2021-02-12 | Ｊｆｅエンジニアリング株式会社 | Bolt inspection device, bolt inspection system, bolt inspection method, and program |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113984315A (en) * | 2021-11-30 | 2022-01-28 | 东风商用车有限公司 | Method and system for detecting bolt in vibration simulation test |
| JP7381708B1 (en) * | 2022-12-23 | 2023-11-15 | 楽天グループ株式会社 | Information processing device, information processing method, and information processing program |
| JP7457784B1 (en) | 2022-12-23 | 2024-03-28 | 楽天グループ株式会社 | Information processing device, method and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7200955B2 (en) | 2023-01-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7200955B2 (en) | BOLT INSPECTION DEVICE, BOLT INSPECTION SYSTEM, BOLT INSPECTION METHOD AND PROGRAM | |
| JP7331509B2 (en) | BOLT INSPECTION DEVICE, BOLT INSPECTION SYSTEM, BOLT INSPECTION METHOD AND PROGRAM | |
| US10949676B2 (en) | Aerial monitoring system and method for identifying and locating object features | |
| CN112419299B (en) | Bolt missing detection method, device, equipment and storage medium | |
| FI3452959T3 (en) | Model construction in a neural network for object detection | |
| WO2019190405A1 (en) | Method and apparatus for detecting condition of a bolt on a bolted structure | |
| JP2017151813A (en) | Image processing device for displaying object detected from input image | |
| JP7217660B2 (en) | BOLT FASTENING STATE DETECTION DEVICE AND METHOD, AND PROGRAM | |
| CN110175609B (en) | Interface element detection method, device and equipment | |
| CN110032998A (en) | Character detecting method, system, device and the storage medium of natural scene picture | |
| JP7316731B2 (en) | Systems and methods for detecting and classifying patterns in images in vision systems | |
| US20210350521A1 (en) | Method for computer-implemented determination of blade-defects of a wind turbine | |
| CN113222913B (en) | Circuit board defect detection positioning method, device and storage medium | |
| US11315229B2 (en) | Method for training defect detector | |
| CN111311545A (en) | Container detection method, device and computer readable storage medium | |
| CN114429577B (en) | Flag detection method, system and equipment based on high confidence labeling strategy | |
| US11176419B1 (en) | Method for labeling image | |
| Kim et al. | Vision-based activity analysis framework considering interactive operation of construction equipment | |
| Salunke Purva et al. | PCB (printed circuit board) fault detection using machine learning | |
| Shao et al. | Damage Detection of the RC Building in TLS Point Clouds Using 3D Deep Neural Network PointNet++ | |
| Tan et al. | Research on YOLOv8 Application in Bolt and Nut Detection for Robotic Arm Vision | |
| Xie et al. | License Plate Automatic Recognition System Based on MATLAB-GUI | |
| TWI803756B (en) | Method for labeling image | |
| CN117710374B (en) | Method, device, equipment and medium for detecting running and leaking based on deep learning | |
| WO2022259910A1 (en) | Information processing device, information processing method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220217 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221114 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221122 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221205 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7200955 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |