JPH02311961A - 画像処理技術を利用した検査方法 - Google Patents
画像処理技術を利用した検査方法Info
- Publication number
- JPH02311961A JPH02311961A JP1135021A JP13502189A JPH02311961A JP H02311961 A JPH02311961 A JP H02311961A JP 1135021 A JP1135021 A JP 1135021A JP 13502189 A JP13502189 A JP 13502189A JP H02311961 A JPH02311961 A JP H02311961A
- Authority
- JP
- Japan
- Prior art keywords
- picture
- image
- feature quantity
- data
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000012545 processing Methods 0.000 title claims abstract description 26
- 230000007547 defect Effects 0.000 claims abstract description 12
- 238000007689 inspection Methods 0.000 claims description 16
- 238000005516 engineering process Methods 0.000 claims description 8
- 238000001514 detection method Methods 0.000 claims description 2
- 239000000284 extract Substances 0.000 claims description 2
- 230000008569 process Effects 0.000 abstract description 8
- 238000004458 analytical method Methods 0.000 abstract description 2
- 238000006243 chemical reaction Methods 0.000 abstract description 2
- 238000007429 general method Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 5
- 238000012937 correction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000001066 destructive effect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000011179 visual inspection Methods 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 230000001364 causal effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Processing (AREA)
Abstract
(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。
め要約のデータは記録されません。
Description
【発明の詳細な説明】
〔産業上の利用分野〕
本発明は、航空機の機体及び機械加工製品の外観検査と
非破壊検査に適用される画像理解技術に関する。
非破壊検査に適用される画像理解技術に関する。
従来の航空機用製品の外観検査又は非破壊検査における
検査判定は、直接的又は間接的(カメラ等の画像)に見
て、検査基準から検査員が得た知識・ノウハウを基に判
断し検査をしてい友、し次がって検査員の技量に左右さ
れる方法であっ九。
検査判定は、直接的又は間接的(カメラ等の画像)に見
て、検査基準から検査員が得た知識・ノウハウを基に判
断し検査をしてい友、し次がって検査員の技量に左右さ
れる方法であっ九。
従来方法には次の問題点がある。
直接的又は間接的に見ようが、もともと与えられた課題
に対する問題解決には、確立した理論体系がある訳でな
く、むしろ対象に応じた試行錯帆的な方法が採られてい
る。即ち、個々の技術者が持つ個人的な経験として蓄積
されているため自動化し九夾用的なシステムを構築する
場合、非常に困難を有する。
に対する問題解決には、確立した理論体系がある訳でな
く、むしろ対象に応じた試行錯帆的な方法が採られてい
る。即ち、個々の技術者が持つ個人的な経験として蓄積
されているため自動化し九夾用的なシステムを構築する
場合、非常に困難を有する。
したがりて、この無形の知的財産である検査員の知識と
考えを画像理解システムを使って検査にどのように反映
させるかが1問題である。
考えを画像理解システムを使って検査にどのように反映
させるかが1問題である。
本発明はこれらの問題を解決する方法を提供することを
目的とする。
目的とする。
この課趙を解決するために、検査員の目の役目をする画
像処理システムと判断を司る部分にAIシステムを用い
て解決する。
像処理システムと判断を司る部分にAIシステムを用い
て解決する。
まず検査基準からベテラン検査員が得た知識とこれまで
経験し九ノウハウを!I埋しシステムを構築してゆく。
経験し九ノウハウを!I埋しシステムを構築してゆく。
専門家が、そのデータを基に画像処理の概念で置換え、
目的とする画像を得るため。
目的とする画像を得るため。
例えは、2値化するか不明確な部分を取シ除くと言った
作業を行い大きなレベルで処理しさらに段階をおって具
体的に設定してゆく。
作業を行い大きなレベルで処理しさらに段階をおって具
体的に設定してゆく。
特に、油、ゴミ、汚れ、i6.色等の外乱に対するリス
クを減少するために#12図に示す様に、Im像理解シ
ステムにおける各工程で必蚤とされる要素技術の相互関
係を整理するものとして知識工学形式の推論機能をもた
せ低レベルの処理からあいまい性を取シ除き、理解に役
立つ情報として高レベルに送シ検査員の知識と考えをコ
/ピエータ自身で学習できる様にする。
クを減少するために#12図に示す様に、Im像理解シ
ステムにおける各工程で必蚤とされる要素技術の相互関
係を整理するものとして知識工学形式の推論機能をもた
せ低レベルの処理からあいまい性を取シ除き、理解に役
立つ情報として高レベルに送シ検査員の知識と考えをコ
/ピエータ自身で学習できる様にする。
尚初期レベルでは、第3図に示す様に、二次元画像の検
出を行う。まず個々の欠陥に対しエツジの連続性や清ら
かさ、領域の持つべき形状といりた一般的な物理的・幾
向学的な知識を知識工学流の形式で整理する手法をとる
aまた、外乱に対する因果関係についても明確にする。
出を行う。まず個々の欠陥に対しエツジの連続性や清ら
かさ、領域の持つべき形状といりた一般的な物理的・幾
向学的な知識を知識工学流の形式で整理する手法をとる
aまた、外乱に対する因果関係についても明確にする。
二次元画像で、要因を埋められない問題に対しては、中
間レベルにおいて三次元画像を得ることにより全て計算
しやすい記号データに置換え初期と同じ形式で整理する
。(第3図の入力設定手法を変える)。
間レベルにおいて三次元画像を得ることにより全て計算
しやすい記号データに置換え初期と同じ形式で整理する
。(第3図の入力設定手法を変える)。
最終レベルでは、二次元、三次元画像よシ得た知識を基
に、相互の接続関係を知識データとルールによシ構築し
てゆく、そのデータを基に推論し結果を導き出し、検査
員の出したデータと照合し、修正しながら決定してゆき
あいまい性を減少させていく。ま次、データを導き出せ
なかった場合は。
に、相互の接続関係を知識データとルールによシ構築し
てゆく、そのデータを基に推論し結果を導き出し、検査
員の出したデータと照合し、修正しながら決定してゆき
あいまい性を減少させていく。ま次、データを導き出せ
なかった場合は。
確信度(あいまい度)が、極端に変化したところまでも
どシ停止させ、後でモニターできるものとし、欠点を修
正できる手法とする。
どシ停止させ、後でモニターできるものとし、欠点を修
正できる手法とする。
画像処理・解析での画像データおよび色々な特徴量を持
つ記号データを各工程において知識工学を基に基礎手法
を繰り返し体系的に整理する。それによシ画像理解シス
テムを開発する上で、汎用的な手法として生かせる働き
を持つこととなる。
つ記号データを各工程において知識工学を基に基礎手法
を繰り返し体系的に整理する。それによシ画像理解シス
テムを開発する上で、汎用的な手法として生かせる働き
を持つこととなる。
又作業を単純に表現できることにもなる。
本発明の実施例をm1図〜#!5図に示す。
第1図は、不発間実施例(リベットかしめの検査)を示
す、第1図において1画像入力部1ではかしめられたリ
ベットを、カメラ/ライト/スリット等を使い画像デー
タを取り出す0画像処理部2ではその前処理部で、各欠
陥に対し、2値化/flk淡/色彩処理等の変侯処理を
tlどζし、特徴抽出部で、エツジ、色、領域等を強調
し、各欠陥の特徴を抽出する。1.+、寸法等の計測を
要する場合は、三角測量法、光レーデ切断法等を応用し
、次ステツプにおいて計算しやすい特徴量に変換して結
果を導き出す画像理解部3に送る。(第4図は上記作業
で実施したサンプルである。)画像理解部3では、まず
、41!微量を基にあらかじめ記憶してあるデータの・
母ターンと照合させ、大きなレベルでの欠陥項目別に区
別する1次に、各欠陥項目に対し特徴量を算出し、AI
技術を基にベテラン検査員の知識とノウハウを整理しル
ール化したプログラムに特徴量を取シ込み結果を導き出
す。
す、第1図において1画像入力部1ではかしめられたリ
ベットを、カメラ/ライト/スリット等を使い画像デー
タを取り出す0画像処理部2ではその前処理部で、各欠
陥に対し、2値化/flk淡/色彩処理等の変侯処理を
tlどζし、特徴抽出部で、エツジ、色、領域等を強調
し、各欠陥の特徴を抽出する。1.+、寸法等の計測を
要する場合は、三角測量法、光レーデ切断法等を応用し
、次ステツプにおいて計算しやすい特徴量に変換して結
果を導き出す画像理解部3に送る。(第4図は上記作業
で実施したサンプルである。)画像理解部3では、まず
、41!微量を基にあらかじめ記憶してあるデータの・
母ターンと照合させ、大きなレベルでの欠陥項目別に区
別する1次に、各欠陥項目に対し特徴量を算出し、AI
技術を基にベテラン検査員の知識とノウハウを整理しル
ール化したプログラムに特徴量を取シ込み結果を導き出
す。
また、AI技術の特徴でもある確信度を応用し。
各結果に対し重みをもたせる。ま九、油、ゴミ等の外乱
の影響に工)その確信度が、100%に近<ならない場
合、さらにブレークダウンしたサブプログラムから、結
果を導き出す。それでも、 100−に近くならない場
合には、“どうするかを考える“ことを主にした学習プ
ログラムを基に、入力部又は処理部への修正をほどこし
一再度同じグロセスを繰り返し結果を導き出す。どうし
ても、結来が不明な場合とか前工程で判定した欠陥内容
と極端に違っている場合には、エラーと判断しブザーを
鳴らし異常であることを第3者に知らせる様にする。
の影響に工)その確信度が、100%に近<ならない場
合、さらにブレークダウンしたサブプログラムから、結
果を導き出す。それでも、 100−に近くならない場
合には、“どうするかを考える“ことを主にした学習プ
ログラムを基に、入力部又は処理部への修正をほどこし
一再度同じグロセスを繰り返し結果を導き出す。どうし
ても、結来が不明な場合とか前工程で判定した欠陥内容
と極端に違っている場合には、エラーと判断しブザーを
鳴らし異常であることを第3者に知らせる様にする。
以上の様なプロセスを繰り返し検査判定する。
尚、本発明方法は、ハード面、ソフト面の構成をそれぞ
れ第1図及び第5図に示すように分けることにより、シ
ステム化している。すなわち。
れ第1図及び第5図に示すように分けることにより、シ
ステム化している。すなわち。
(蜀 ハード構成については1画像入力部1のカメラ/
ライトの構成により、画像を検出し1画像処理部2にデ
ータを送り画像処理装置により変換。
ライトの構成により、画像を検出し1画像処理部2にデ
ータを送り画像処理装置により変換。
計測を行い計算しやすい記号データに置換え、画像理解
部3でAI専用高速コンビエータを使い。
部3でAI専用高速コンビエータを使い。
検査員の知識を基にしてAI手法で判定手順をルール化
したプログラムにより結果を導き出す。その結果を受け
て制御装置部4では1次のステップへ移動するアクチム
エータ等を駆動させたり、エラーを知らせるブザーを鳴
らす一連したシステムを構築する。また1画像堰跡部3
は、データが不明確な場合、制御装置部4に、修正用デ
ータを送りアクチ為二一タ等を駆動させ入力設定をかえ
た〕、直接、画像処理部2に対し再設定を行う様にする
。
したプログラムにより結果を導き出す。その結果を受け
て制御装置部4では1次のステップへ移動するアクチム
エータ等を駆動させたり、エラーを知らせるブザーを鳴
らす一連したシステムを構築する。また1画像堰跡部3
は、データが不明確な場合、制御装置部4に、修正用デ
ータを送りアクチ為二一タ等を駆動させ入力設定をかえ
た〕、直接、画像処理部2に対し再設定を行う様にする
。
(B) ソフト構成については各セクタ!l/ごとの
モジエールプログラムとする。そして、光工学、センサ
ー工学を駆使した照明技術とカメラ/ライトのセツティ
ング技術にしi画像検出されたデータは、特徴抽出を行
うために2値化/濃淡処理等のどれを選択するかを1示
するサブプログラムに送り、変換処理専用のプログラム
の中で、具体的に処理し、また、計測等必要な場合、計
測専用プログラムを加味しながら特徴量として置換える
。
モジエールプログラムとする。そして、光工学、センサ
ー工学を駆使した照明技術とカメラ/ライトのセツティ
ング技術にしi画像検出されたデータは、特徴抽出を行
うために2値化/濃淡処理等のどれを選択するかを1示
するサブプログラムに送り、変換処理専用のプログラム
の中で、具体的に処理し、また、計測等必要な場合、計
測専用プログラムを加味しながら特徴量として置換える
。
その特徴量と人!技術を基に、ルール化したグログラム
を織込みながらある結果を推論する1次にその結果が、
外乱等によシネ明確で確信度があるし゛ペル以下であれ
は、4)いまいな部分を補うサブ知識ベースとメイン知
識ペースとのやりとりにニジ行う、そして、再に画像検
出、処理からやり直したプ、ある欠陥として回避判断す
る1考える”ことを主にした学資プログラムを基に、各
再設定を取り行う様にする。
を織込みながらある結果を推論する1次にその結果が、
外乱等によシネ明確で確信度があるし゛ペル以下であれ
は、4)いまいな部分を補うサブ知識ベースとメイン知
識ペースとのやりとりにニジ行う、そして、再に画像検
出、処理からやり直したプ、ある欠陥として回避判断す
る1考える”ことを主にした学資プログラムを基に、各
再設定を取り行う様にする。
本発明は前述のように構成されているので、以下に記載
するような効果を奏する。
するような効果を奏する。
(L) 本発明方法は、検査員の知識とノウノ〜つを
盛込み推論する機能を持てる。したがって、油。
盛込み推論する機能を持てる。したがって、油。
ゴミ、光等の外乱に左右されることなく形状特徴の計測
、姿勢、欠陥の判定を知的に与えられた制約下で解決可
能かどうか判定し、かつ解決策を見付は解決し1人間に
YESかNOかの結果を知らせることが可能となる。
、姿勢、欠陥の判定を知的に与えられた制約下で解決可
能かどうか判定し、かつ解決策を見付は解決し1人間に
YESかNOかの結果を知らせることが可能となる。
(2) また、知識工学を用ちいることによ91個個
の欠陥を七ノ為−ル系列(■処理手法選択のための知識
0画像を検出するための知識■画像の状態を評価するた
めの知識)に分割できるため、プランニングが容易にで
きる。また、修正においても同様に全体の流れを考えず
に行なうことができる。
の欠陥を七ノ為−ル系列(■処理手法選択のための知識
0画像を検出するための知識■画像の状態を評価するた
めの知識)に分割できるため、プランニングが容易にで
きる。また、修正においても同様に全体の流れを考えず
に行なうことができる。
第1図は本発明の実施例(リベットかしめ検査)を示す
図、第2図は本発明の画像処理のレベル段階を示す図、
第3図は本発明の画像処理の構築順序を示す図、第4図
は第1図で実施し九リベットの検査結果を示す図、第5
図は本発明のプログラム・フローチャートを示す図であ
る。 1・・・画像入力部、2・・・画像処理部、3・・・画
像理解部、4・・・システム制御部。
図、第2図は本発明の画像処理のレベル段階を示す図、
第3図は本発明の画像処理の構築順序を示す図、第4図
は第1図で実施し九リベットの検査結果を示す図、第5
図は本発明のプログラム・フローチャートを示す図であ
る。 1・・・画像入力部、2・・・画像処理部、3・・・画
像理解部、4・・・システム制御部。
Claims (1)
- 【特許請求の範囲】 画像入力部(1)と画像処理部(2)と画像理解部(3
)とシステム制御部(4)からなる外観検査方法におい
て、 前記画像処理部(2)では画像入力部(1)から入力し
た画像データを2値化、濃淡化および色彩処理のいずれ
かの変換を行ない、検査対象の特徴量抽出して画像理解
部(3)に出力し、 前記画像理解部(3)では予め記憶してあるデータのパ
ターンと画像処理部(2)から入力した検査対象の特徴
量と照合し、欠陥項目別に区分し、検査結果情報をシス
テム制御部(4)に出力し、前記システム制御部(4)
は入力した検査結果に基づきアクチュエータの駆動およ
びエラー発見ブザーの稼働のいずれかを行うことを特徴
とする画像処理技術を利用した検査方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP1135021A JPH02311961A (ja) | 1989-05-29 | 1989-05-29 | 画像処理技術を利用した検査方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP1135021A JPH02311961A (ja) | 1989-05-29 | 1989-05-29 | 画像処理技術を利用した検査方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JPH02311961A true JPH02311961A (ja) | 1990-12-27 |
Family
ID=15142080
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP1135021A Pending JPH02311961A (ja) | 1989-05-29 | 1989-05-29 | 画像処理技術を利用した検査方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JPH02311961A (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH03278224A (ja) * | 1990-03-28 | 1991-12-09 | Nec Corp | 画面設計システムの配色設計装置 |
JP2015506480A (ja) * | 2012-01-25 | 2015-03-02 | ザ・ボーイング・カンパニーTheBoeing Company | 目標物上の不具合を追尾し、検出するための自動システム及び方法 |
WO2018179559A1 (ja) * | 2017-03-27 | 2018-10-04 | 三菱重工業株式会社 | 航空機用部品の欠陥検出システム及び航空機用部品の欠陥検出方法 |
JP2021150230A (ja) * | 2020-03-23 | 2021-09-27 | 株式会社東芝 | 圧着判定方法 |
-
1989
- 1989-05-29 JP JP1135021A patent/JPH02311961A/ja active Pending
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH03278224A (ja) * | 1990-03-28 | 1991-12-09 | Nec Corp | 画面設計システムの配色設計装置 |
JP2015506480A (ja) * | 2012-01-25 | 2015-03-02 | ザ・ボーイング・カンパニーTheBoeing Company | 目標物上の不具合を追尾し、検出するための自動システム及び方法 |
WO2018179559A1 (ja) * | 2017-03-27 | 2018-10-04 | 三菱重工業株式会社 | 航空機用部品の欠陥検出システム及び航空機用部品の欠陥検出方法 |
JPWO2018179559A1 (ja) * | 2017-03-27 | 2020-03-05 | 三菱重工業株式会社 | 航空機用部品の欠陥検出システム及び航空機用部品の欠陥検出方法 |
JP2021150230A (ja) * | 2020-03-23 | 2021-09-27 | 株式会社東芝 | 圧着判定方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11494891B2 (en) | Method of inspecting and evaluating coating state of steel structure and system therefor | |
Chae et al. | Neuro-fuzzy approaches for sanitary sewer pipeline condition assessment | |
US11715190B2 (en) | Inspection system, image discrimination system, discrimination system, discriminator generation system, and learning data generation device | |
CN111899225A (zh) | 基于多尺度金字塔结构的核电管道缺陷检测方法 | |
JP7034840B2 (ja) | 外観検査装置および方法 | |
US11568208B2 (en) | Solution for machine learning system | |
JP2019200512A (ja) | 構造物劣化検出システム | |
US20220405586A1 (en) | Model generation apparatus, estimation apparatus, model generation method, and computer-readable storage medium storing a model generation program | |
EP3889588A1 (en) | Inspection assistance device, inspection assistance method, and inspection assistance program for concrete structure | |
WO2020217371A1 (ja) | 学習システム、データ生成装置、データ生成方法、及びデータ生成プログラム | |
WO2017221706A1 (ja) | 損傷図編集装置及び損傷図編集方法 | |
JP2021056677A (ja) | データ生成システム、学習装置、データ生成装置、データ生成方法及びデータ生成プログラム | |
JPH02311961A (ja) | 画像処理技術を利用した検査方法 | |
JP7298176B2 (ja) | 欠点検査装置および学習済みモデル | |
JP6786015B1 (ja) | 動作分析システムおよび動作分析プログラム | |
RU2559401C1 (ru) | Способ диагностирования технического состояния служебных систем летательного аппарата | |
WO2022259380A1 (ja) | 点検支援装置、点検支援システム、点検支援方法および点検支援プログラム | |
JP3194996B2 (ja) | 疵検査装置 | |
Jamrozik | Contextual reliability discounting in welding process diagnostic based on DSmT | |
KR20220144237A (ko) | 구름 이미지를 이용한 실시간 강수량 예측 장치, 이를 이용한 강수량 예측 방법 및 이를 제공하기 위한 컴퓨터 프로그램이 기록된 컴퓨터-판독가능매체 | |
Gros et al. | Fusion of multiprobe NDT data for ROV inspection | |
JP2021086219A (ja) | 協調作業システム、解析収集装置および解析プログラム | |
Choudhury | AProcess FOR COMPLETE AUTONOMOUS SOFTWARE DISPLAY VALIDATION AND TESTING (USING A CAR-CLUSTER) | |
JP7478000B2 (ja) | 3d画像データ解析装置 | |
US20240161259A1 (en) | Inference device, model generation device, inference method, and non-transitory computer storage media |