JP7356292B2 - 画像処理装置、画像処理方法及び画像処理プログラム - Google Patents
画像処理装置、画像処理方法及び画像処理プログラム Download PDFInfo
- Publication number
- JP7356292B2 JP7356292B2 JP2019155745A JP2019155745A JP7356292B2 JP 7356292 B2 JP7356292 B2 JP 7356292B2 JP 2019155745 A JP2019155745 A JP 2019155745A JP 2019155745 A JP2019155745 A JP 2019155745A JP 7356292 B2 JP7356292 B2 JP 7356292B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- label
- divided
- feature
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Analysis (AREA)
- Working Measures On Existing Buildindgs (AREA)
Description
本発明は、信頼性の高い構造物の劣化評価を可能にする画像処理装置、画像処理方法及び画像処理プログラムを提供することを目的とする。
(2)上記(1)において、前記特徴画像抽出部は、前記分割画像から局所的特徴を有する複数の特徴画像を抽出してよい。
(3)上記(1)又は(2)において、前記分割画像ラベル及び前記特徴画像ラベルは、異常を示す異常ラベルと、非異常を示す非異常ラベルと、を含んでよい。
(4)上記(1)から(3)のいずれかにおいて、前記分割画像ラベル及び前記特徴画像ラベルは、異常の度合いに応じた複数の異常ラベルを含んでよい。
(5)上記(1)から(4)のいずれかにおいて、前記分割画像分類部又は前記特徴画像分類部は、画像を入力することで前記分割画像ラベル又は前記特徴画像ラベルを出力する学習済みモデルを有してよい。
(6)上記(5)において、前記分割画像ラベル及び前記特徴画像ラベルは、異常であると誤分類される誤分類ラベルを含み、誤分類される画像と前記誤分類ラベルとのデータセットが、前記学習済みモデルに学習されていてよい。
(7)上記(1)から(6)のいずれかにおいて、前記ラベル補正部は、前記特徴画像ラベルを優先して選択して補正ラベルとして出力してよい。
(8)上記(1)から(7)のいずれかにおいて、前記メッシュ処理部は、前記撮像画像に写る締結具の配置間隔に基づく面積の分割画像に分割してよい。
(9)上記(1)から(8)のいずれかにおいて、前記分割画像ラベル及び前記補正ラベルに基づいて前記構造物の劣化評価を出力する出力部と、を備えてよい。
(10)上記(9)において、劣化評価は、前記構造物の全域の画像を複数の区画領域に区画し、前記区画領域ごとに、前記分割画像ラベル又は前記補正ラベルに基づく評価度合いを表示する評価分布画像であってよい。
(11)本発明の一態様は、画像処理方法であって、構造物の撮像画像を取得する撮像画像取得ステップと、前記撮像画像を複数の分割画像に分割するメッシュ処理ステップと、前記複数の分割画像のそれぞれに対して分割画像ラベルを出力する分割画像分類ステップと、前記撮像画像から局所的特徴を有する特徴画像を抽出する特徴画像抽出ステップと、前記特徴画像のそれぞれに対して特徴画像ラベルを出力する特徴画像分類ステップと、前記特徴画像と重なる前記分割画像に対応する分割画像ラベルを、前記分割画像ラベルと前記特徴画像ラベルとに基づいて補正して補正ラベルとして出力するラベル補正ステップと、を備える。
(12)本発明の一態様は、画像処理プログラムであって、コンピュータに、構造物の撮像画像を取得するステップと、前記撮像画像を複数の分割画像に分割するステップと、前記複数の分割画像のそれぞれに対して分割画像ラベルを出力するステップと、前記撮像画像から局所的特徴を有する特徴画像を抽出するステップと、前記特徴画像のそれぞれに対して特徴画像ラベルを出力するステップと、前記特徴画像と重なる前記分割画像に対応する分割画像ラベルを、前記分割画像ラベルと前記特徴画像ラベルとに基づいて補正して補正ラベルとして出力するステップと、を実行させる。
以下、図面を参照しながら実施形態について詳しく説明する。
図1は、実施形態に係る構造物の撮像状況を示す図である。
図1に示すように、画像処理装置300は、撮像装置210から撮像画像を取得し、撮像対象となった屋根110等の構造物100の劣化評価を示す情報を生成する。屋根110を撮像できる範囲には、撮像装置210が配置される。なお、構造物100は、使用環境によって劣化するようなものであれば、家屋、工場等の建造物又は建築物並びにアスファルト舗装等の道路構造であってよい。
撮像装置210は、CCDやCMOS等の撮像素子を用いた光学機器であり、例えば、飛翔体200に備えられている。なお、撮像装置210は、人間によって移動させてもよく、構造物等に固定されていてもよい。撮像装置210は、撮像した撮像画像を記憶するメモリ(不図示)と、撮像画像を出力装置350(図2参照)に出力可能な出力部(不図示)と、を有している。
飛翔体200は、例えば、ドローンであり、電池等の所望の駆動源による翼の回転で得られる揚力により飛行可能である。飛翔体200は、撮像対象となる屋根110の全体を撮像可能な空間において、指定の空間に飛行し、指定の空間で停止飛行させるように制御可能となっている。
図2は、実施形態に係る画像処理装置の構成を示す概略ブロック図である。
図2に示すように、画像処理装置300は、ストレージ360、プロセッサ320、メインメモリ330、インタフェース340、出力装置350を備える。
分割画像ラベルは、屋根110の異常を示す異常ラベル又は非異常を示す非異常ラベルを含んでいる。分割画像ラベルは、例えば、「孔」、「補修箇所」、「錆」、「塗装劣化」等の異常を示す異常ラベル、又は、「締結具」、「背景・ゴミ」、「チョーク」、「影」、「その他」等の非異常を示す非異常ラベルの中から選択される。なお、分割画像ラベルは、これらの異常ラベル又は非異常ラベルの全てを含んでもよい。「孔」の分割画像ラベルは、屋根110の分割画像の中に孔があることを示す。「補修箇所」の分割画像ラベルは、屋根110の分割画像の中に過去に補修した箇所があることを示す。「錆」の分割画像ラベルは、屋根110の分割画像の中に錆があることを示す。なお、「錆」の分割画像ラベルのような異常ラベルは、更に、「錆度合い低」、「錆度合い中」、「錆度合い高」のように、異常の度合いに応じて複数段階に細分化されてもよい。「塗装劣化」の分割画像ラベルは、屋根110の分割画像の中に塗装が劣化した部分があることを示す。「背景・ゴミ」の分割画像ラベルは、屋根110の分割画像の中に背景(屋根でない部分)又はゴミがあることを示す。「チョーク」の分割画像ラベルは、屋根110の分割画像の中にチョークによるマーキングがあることを示す。「影」の分割画像ラベルは、屋根110の分割画像の中に影があることを示す。「その他」の分割画像ラベルは、屋根110の分割画像の中に、上記分割画像ラベルのいずれにも当てはまらない箇所があることを示す。
ニューラルネットワーク30は、入力層31、1つ又は複数の中間層32(隠れ層)、及び出力層33を含む。入力層31、中間層32及び出力層33は、1又は複数のニューロンNを備えている。中間層32のニューロンNの数は、適宜設定することができる。出力層33は、ラベル(異常ラベル、非異常ラベル、誤分類ラベル)の数に応じて適宜設定することができる。
出力層33はラベルごとの確率を示すラベル確率分布を出力し、その値は、ラベル決定部Dに入力される。そして、ラベル決定部Dは、各異常ラベルに対応する確率の中から最も高い確率の異常ラベルを出力する。例えば、異常ラベルである「孔」の確率が80%で、異常ラベルである「塗装劣化」の確率が10%で、それら以外のラベルの確率がこれらより小さい場合、ラベル決定部Dは、最も高い確率の異常ラベルである「孔」を出力する。
評価モデルM1は、例えば、屋根110が写る撮像画像の分割画像を入力サンプルとし、その分割画像のラベルを出力サンプルとする学習用データセットを用いて訓練される。なお、本実施形態において「入力サンプル」とは、学習モデルの訓練時に入力層31に入力されるデータをいう。本実施形態において「出力サンプル」とは、ニューラルネットワーク30の出力層33の値と比較するための正解となるデータ(教師データ)である。本実施形態において「学習用データセット」とは、入力サンプルと出力サンプルの組み合わせをいう。学習によって得られた評価モデルM1の学習済みパラメータは、ストレージ360に記憶されている。学習済みパラメータは、例えば、ニューラルネットワーク30の層数、各層におけるニューロンの個数、ニューロン同士の結合関係、各ニューロン間の結合の重み、及び各ニューロンの閾値を含む。
図4は、実施形態に係る評価モデルの学習方法を示すフローチャートである。
(1)まず、データ取得部321は、図4に示すように、入力サンプルを取得する(ステップS101)。例えば、評価モデルM1における入力サンプルは、屋根110が写る画像である。入力サンプルは、撮像装置210が撮像した撮像画像から取得してもよい。また、他の撮像装置が撮像した画像から取得してもよい。なお、様々な種類の屋根が写る画像を入力サンプルとしてもよい。様々な種類の屋根を入力サンプルとすることで、屋根認識のロバスト性を向上することができる。
(2)次に、学習部328は、評価モデルM1(図3参照)の学習を行う。学習部328は、ステップS101で取得した入力サンプル(屋根110が写る画像)と、屋根110のラベルである出力サンプルとの組み合わせを学習用データセットとして、評価モデルM1の学習を行う(ステップS102)。例えば、学習部328は、入力サンプルを入力として用いて、ニューラルネットワーク30の順伝播方向の演算処理を行う。これにより、学習部328は、ニューラルネットワーク30の出力層33から出力される出力値を得る。なお、学習用データセットは、メインメモリ330又はストレージ360のいずれに記憶してもよい。出力層33からの出力値は、例えば、ラベルごとの確率を表すラベル確率分布である。出力サンプルは、教師データとなるラベルである。
(3)次に、学習部328は、出力層33からの出力値と、出力サンプルとの誤差を算出する。学習部328は、教師データとなるラベルと算出した出力値との誤差から、バックプロパゲーションにより、各ニューロン間の結合の重み、及び、各ニューロンの閾値のそれぞれの誤差を算出する。そして、学習部328は、算出した各誤差に基づいて、評価モデルM1のパラメータ、例えば、各ニューロン間の結合の重み、及び、各ニューロンの閾値の更新を行う(ステップS103)。
(4)学習部328は、学習の終了条件を満たすか否かを判定する(ステップS104)。学習の終了条件は、例えば、教師データとなるラベルと算出した出力値との誤差が所定の閾値未満である場合である。したがって、学習部328は、教師データとなるラベルと算出した出力値との誤差が所定の閾値以上である場合(ステップS104:NO)、ステップ101に戻り、教師データとなるラベルと算出した出力値との誤差が所定の閾値未満となるまで、上記のステップS101からステップS103の処理を繰り返す。それにより、評価モデルM1(学習モデル)のパラメータが最適化され、評価モデルM1を学習させることができる。
(5)学習の終了条件を満たす場合、例えば、教師データとなるラベルと算出した出力値との誤差が所定の閾値未満である場合(ステップS104:YES)、学習部328は、学習によって最適化されたパラメータを含む学習済みモデルである評価モデルM1を、ストレージ360に記憶する(ステップS105)。
次に、図5及び図6を用いて、画像処理装置を用いた画像処理方法を説明する。
図5は、実施形態に係る画像処理方法を示すフローチャートである。図6は、実施形態に係る撮像画像の一例を示す図である。なお、以下のステップ(手順)は、画像処理プログラムによって、コンピュータに実行させるものであってよい。
(1)まず、データ取得部321により、図6に一例として示すような、屋根110の撮像画像を取得する(撮像画像取得ステップS1)。なお、図6に示す撮像画像は、実際には、左下に孔があり、中央下に錆がある屋根を撮像した画像の例である。
(2)メッシュ処理部322により、撮像画像を複数の分割画像に分割する(メッシュ処理ステップS2)。この際、撮像画像に写る締結具の配置間隔に基づく面積の分割画像に分割してもよい。
(3)メッシュ処理ステップS2で得られた複数の分割画像に基づき、分割画像分類部323(図3参照)により、複数の分割画像のそれぞれに対して分割画像ラベルを出力する(分割画像分類ステップS3)。すなわち、一の分割画像を一の分割画像ラベルに対応付けるステップを、分割画像の数だけ繰り返す。
(4)メッシュ処理ステップS2と並行して、特徴画像抽出部324により、撮像画像から局所的特徴を有する特徴画像を抽出する(特徴画像抽出ステップS4)。
(5)特徴画像抽出ステップS4で抽出された特徴画像に基づき、特徴画像分類部325(図3参照)により、特徴画像のそれぞれに対して特徴画像ラベルを出力する(特徴画像分類ステップS5)。すなわち、一の特徴画像を一の特徴画像ラベルに対応付けるステップを、特徴画像の数だけ繰り返す。
(6)分割画像分類ステップS3で出力された分割画像ラベルと、特徴画像分類ステップS5で出力された特徴画像ラベルとに基づき、ラベル補正部326により、特徴画像と重なる分割画像に対応する分割画像ラベルを補正して補正ラベルとして出力する(ラベル補正ステップS6)。
ここで、ラベル補正ステップS6について、図7及び図8を用いて更に説明する。図7は、実施形態に係る複数の分割画像に分割された撮像画像の一部を抜き出した概念図である。図8は、実施形態に係る劣化評価画像の例を示す図である。
図7において、例えば、a列の13行目にある画像を分割画像a13と表す。図7に示すように、撮像画像の一部(a11~f16)には、分割画像a13、b13、b14に亘って実際には孔があっても、分割画像分類ステップS3において分割画像a11からf16までに対応する分割画像ラベルは、全て「影」であったとする。すなわち、分割画像a13、b13、b14について出力された分割画像ラベルは、それぞれ、非異常ラベルである、「影」、「影」、「影」であったとする。一方、特徴画像分類ステップS5において特徴画像SP1、SP2、SP3について出力された特徴画像ラベルは、それぞれ、異常ラベルである、「孔」、「孔」、「孔」であったとする(図7の上図参照)。この場合、ラベル補正ステップS6では、特徴画像SP1、SP2、SP3と重なる分割画像a12~a15及びb12~b15に対応する分割画像ラベルを、分割画像ラベルと特徴画像ラベルとに基づいて補正して補正ラベルとして出力する。ここでは、ラベル補正部326は、ラベル補正ステップS6において、異常ラベルである特徴画像ラベルを非異常ラベルである分割画像ラベルより優先的に選択して、分割画像a12~a15及びb12~b15に対応する分割画像ラベルを、全て「孔」として、補正ラベルとして出力する(図7の下図参照)。
(7)異常位置(領域)を特定する(異常位置特定ステップS7)。
具体的には、図8に示すように、撮像画像(図6参照)に重ねるようにして、例えば、「孔」、「締結具」、「錆度合い低」、「錆度合い中」又は「錆度合い高」の異常ラベル又は補正ラベルが付された分割画像の領域(「孔」:B9、B10、「締結具」:J4、M4、P4、C5、D5、F5、G5、I5、J5、M5、P5、F7、M7、E10、F10、M10、「錆度合い低」:H9、「錆度合い中」:H10、I9、I10、「錆度合い高」:I11、J11)を、ラベルの種類に応じて色分け、文字列等(図8においてはハッチング)の区別可能な方法で表示した劣化評価画像を、ディスプレイに表示する。
(8)劣化評価を出力する(評価ステップS8)。劣化評価の基準は、適宜設定可能である。例えば、撮像画像の屋根の面積に占める、異常位置に該当する分割画像(異常ラベル又は補正ラベルが付された分割画像の領域)の面積の合計の割合を算出し、所定の閾値を超える場合に、不良であると評価し、ディスプレイに表示する。なお、この劣化評価は、前述の劣化評価画像に付加してもよい。
劣化評価の出力は、前述の劣化評価画像(図8参照)とは異なる評価分布画像G(図9参照)としてよい。この場合、劣化評価は、撮像画像から推定する構造物(屋根等)の全域の画像を複数の区画領域Dに区画し、区画領域Dごとに、分割画像ラベル又は補正ラベルに基づく評価度合いを表示する評価分布画像Gである。なお、撮像画像から構造物(屋根等)の全域の画像は、上空から直接的に撮像した画像であってよく、その構造物の設計図面、撮像画像から抽出したボルト又はねじ等の締結具の配置間隔、撮像装置210の向き、撮像倍率等から間接的に推定した画像であってもよい。なお、撮像画像から構造物(屋根等)の全域の画像は、構造物の境界(例えば、構造物が屋根の場合、屋根の縁)又は地表のサイン(例えば、道路の白線等)を画像処理によって抽出した結果から推定した画像であってもよい。
図9は、実施形態に係る評価分布画像Gの例を示す図である。
図9に示すように、評価分布画像Gは、分割画像ラベル(異常ラベルを含む)又は補正ラベルが付された分割画像の領域Cを、ラベルの種類に応じて区別可能な方法で表示した劣化評価画像(図8参照)とは異なり、撮像画像における屋根の全域(又は屋根の縁を除いた略全域)を、例えば、一辺が構造物の柱間に相当する10mである正方形のような、所望の大きさの区画領域Dで、複数に区画している。区画領域Dは、分割画像の領域C(例えば、一辺が125mmの正方形)より大きい。なお、メッシュ状に配置された複数の分割画像の領域Cは、評価分布画像Gの全域にあるが、図9では、複数の区画領域Dのうちの一つである区画領域D1において、メッシュ状に配置された複数の分割画像の領域Cのうちの一部が代表して表されている。さらに、図9は、複数の区画領域Dのうちの一つである区画領域D1において、ラベルの種類が「錆度合い高」となる領域Cを比較的中程度の濃度のハッチングとし、ラベルの種類が「孔」となる領域Cを比較的高い濃度のハッチングとして表している。
そして、評価分布画像Gは、各区画領域Dに対して、評価度合いR(%、ランク等)に応じて色分け、文字列等(図9においては、評価度合いRの高い順に4段階でランク付けられた、I、II、III、IVの文字列)の区別可能な方法で表示するものである。
詳細には、まず、面積Aを有する区画領域Dにおいて、例えば、「孔」又は「錆度合い高」等の、同じ異常ラベル又は補正ラベルが付された面積Bを有する分割画像の領域Cの数nから、同じ異常ラベル又は補正ラベルが付された総面積ΣB(=nB)を求め、総面積ΣBを区画領域Dの面積Aで除した値を、区画領域Dにおける評価度合いRとする。すなわち、R=ΣB/Aとする。そして、図9に示すように、評価度合いRに応じた色分け、文字列等を、区画領域Dに対応させて表示する。
例えば、75%≦Rの場合、文字列「I」を、50%≦R<75%の場合、文字列「II」を、25%≦R<50%の場合、文字列「III」を、0%≦R<25%の場合、文字列「IV」を、それぞれの区画領域Dごとに対応させて表示する。
例えば、図9において、左下隅にある区画領域D1において、同じ「孔」又は「錆度合い高」の異常ラベルが付された125mm四方の正方形の面積Bを有する分割画像の領域Cの数nが5120であり、区画領域D1が10m四方の正方形の面積Aを有する場合、評価度合いR1は、80%であるので、文字列「I」を区画領域D1に対応させて表示する。
そして、図9に示すような評価分布画像Gをみれば、区画領域D1における評価度合いR1が、ランク「I」であることがわかるので、管理者は、評価度合いRが著しく高い、ランク「I」に属する箇所が、屋根の全域における特定の区画領域D1であること、及び、全12区画のうちの1区画であることを確認できる。
なお、区画領域Dごとに表示する評価度合いRは、上述のような、異常ラベルが付された分割画像の領域Cの面積の割合に限らず、区画領域Dにおいて、異常ラベルが付された分割画像がどのように分布しているかを、分散又は集中という観点から評価するような、平均最近隣距離法、K-関数法等によって算出された指標であってもよい。
なお、評価分布画像G(図9参照)は、適宜、前述の撮像画像(図6参照)又は前述の劣化評価画像(図8参照)と重ねるようにして、ディスプレイに表示されてよい。
このように、評価分布画像Gを表示することで、評価対象が構造物の屋根等の面積の広いものであっても、構造物の管理者は、複数に区画された区画領域Dごとの評価度合いRを把握できる。よって、評価対象の全域における評価度合いRの位置関係及び評価対象の全域における評価度合いRの分布を簡単に把握できる。
このように、本実施形態によれば、画像処理装置は、特徴画像と重なる分割画像に対応する分割画像ラベルを、分割画像ラベルと特徴画像ラベルとに基づいて補正して補正ラベルとして出力するラベル補正部を備える。これにより、実施形態に係る画像処理装置は、データ量の大きい撮像画像ではなくその撮像画像の分割画像を分類するので、一回の分類に関わる計算量を低減できるとともに、分類の精度を向上させられる。また、実施形態に係る画像処理装置は、分割画像ラベルと特徴画像ラベルのいずれか一方だけの分類に依らず、両方から分類できる。これにより、撮像画像の位置ごとに精度の高い分類ができ、信頼性の高い構造物の劣化評価ができる。そして、分割画像分類部による分類と特徴画像分類部による分類とを総合することで、劣化の種類とその位置(領域)とを精度良く認識できる。
また、実施形態に係る画像処理装置の特徴画像抽出部は、分割画像から局所的特徴を有する複数の特徴画像を抽出してもよい。これにより、撮像画像から局所的特徴を有する複数の特徴画像を抽出することに比べて、より精度良く異常箇所を特定し、分類できる。 また、実施形態に係る画像処理装置の分割画像ラベル及び特徴画像ラベルは、異常を示す異常ラベルと、非異常を示す非異常ラベルと、を含んでもよい。これにより、構造物に特有の異常箇所を特定し、異常及び非異常を分類できる。
また、実施形態に係る画像処理装置において、分割画像ラベル及び特徴画像ラベルは、異常の度合いに応じた複数のラベルを含んでもよい。これにより、構造物に特有の、例えば、屋根材の錆による異常箇所を特定し、錆の度合いに応じて分類できる。
また、実施形態に係る画像処理装置の分割画像分類部又は特徴画像分類部は、画像を入力することでラベルを出力する学習済みモデルを有してもよい。これにより、より精度良く異常箇所を特定し、分類できる。
また、実施形態に係る分割画像ラベル及び特徴画像ラベルは、異常であると誤分類される誤分類ラベルを含み、誤分類される画像と誤分類ラベルとのデータセットを、学習済みモデルに学習させてもよい。これにより、非異常であるのに異常であると誤分類される画像に対して、誤ったラベルが付されることを抑止できるので、より精度良く異常を分類できる。
また、実施形態に係る画像処理装置において、ラベル補正部は、特徴画像ラベルを優先して選択して補正ラベルとして出力する。これにより、分割画像ラベルに比べて、特徴点近傍における異常の分類について信頼性の高い特徴画像ラベルを優先するので、より精度よく異常を分類できる。
また、実施形態に係る画像処理装置のメッシュ処理部は、撮像画像に写る締結具の配置間隔に基づく面積の分割画像に分割してもよい。これにより、構造物の屋根に特有の、屋根材を固定するボルト又はねじ等の締結具を確実に特定でき、孔等他の異常箇所と誤分類することを低減できる。
また、実施形態に係る画像処理装置は、分割画像ラベル及び補正ラベルに基づいて構造物の劣化評価を出力する出力部を備える。これにより、分割画像ラベル又は特徴画像ラベルのいずれか一方のラベルによる分類に基づく劣化評価に比べて、精度良く構造物の劣化評価ができるとともに、その劣化評価を確認できる。
以上、図面を参照して一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、様々な設計変更等をすることが可能である。
例えば、上記実施形態に係る画像処理方法は、構造物の屋根が写る撮像画像を対象としたが、これに限らず、構造物の壁であってよい。
また、例えば、上記実施形態に係る画像処理方法は、構造物が写る撮像画像を対象としたが、これに限らず、道路のアスファルト等の舗装であってよい。対象が道路のアスファルト等の舗装が写る撮像画像である場合、ラベルは、「孔」、「補修箇所」、「わだち」、「影」、「その他」等であってよい。
31 入力層
32 中間層
33 出力層
100 構造物
110 屋根
200 飛翔体
210 撮像装置
300 画像処理装置
320 プロセッサ
321 データ取得部
322 メッシュ処理部
323 分割画像分類部
324 特徴画像抽出部
325 特徴画像分類部
326 ラベル補正部
327 出力制御部
328 学習部
330 メインメモリ
340 インタフェース
350 出力装置
360 ストレージ
A 区画領域の面積
B 分割画像の領域の面積
C 分割画像の領域
D 区画領域
G 評価分布画像
R 評価度合い
Claims (11)
- 画像処理装置であって、
構造物の撮像画像を取得するデータ取得部と、
前記撮像画像を複数の分割画像に分割するメッシュ処理部と、
前記複数の分割画像のそれぞれに対して分割画像ラベルを出力する分割画像分類部と、 前記撮像画像から局所的特徴を有する特徴画像を抽出する特徴画像抽出部と、
前記特徴画像のそれぞれに対して特徴画像ラベルを出力する特徴画像分類部と、
前記特徴画像と重なる前記分割画像に対応する分割画像ラベルを、前記分割画像ラベルと前記特徴画像ラベルとに基づいて補正して補正ラベルとして出力するラベル補正部と、を備え、
前記メッシュ処理部は、前記撮像画像に写る締結具の配置間隔に基づく面積の分割画像に分割する
ことを特徴とする画像処理装置。 - 前記特徴画像抽出部は、前記分割画像から局所的特徴を有する複数の特徴画像を抽出する
ことを特徴とする請求項1に記載の画像処理装置。 - 前記分割画像ラベル及び前記特徴画像ラベルは、異常を示す異常ラベルと、非異常を示す非異常ラベルと、を含む
ことを特徴とする請求項1又は請求項2に記載の画像処理装置。 - 前記分割画像ラベル及び前記特徴画像ラベルは、異常の度合いに応じた複数の異常ラベルを含む
ことを特徴とする請求項1から請求項3のいずれか1項に記載の画像処理装置。 - 前記分割画像分類部又は前記特徴画像分類部は、画像を入力することで前記分割画像ラベル又は前記特徴画像ラベルを出力する学習済みモデルを有する
ことを特徴とする請求項1から請求項4のいずれか1項に記載の画像処理装置。 - 前記分割画像ラベル及び前記特徴画像ラベルは、異常であると誤分類される誤分類ラベルを含み、
誤分類される画像と前記誤分類ラベルとのデータセットが、前記学習済みモデルに学習されている
ことを特徴とする請求項5に記載の画像処理装置。 - 前記ラベル補正部は、前記特徴画像ラベルを優先して選択して補正ラベルとして出力する
ことを特徴とする請求項1から請求項6のいずれか1項に記載の画像処理装置。 - 前記分割画像ラベル及び前記補正ラベルに基づいて前記構造物の劣化評価を出力する出力部と、を備える
ことを特徴とする請求項1から請求項7のいずれか1項に記載の画像処理装置。 - 前記劣化評価は、前記構造物の全域の画像を複数の区画領域に区画し、前記区画領域ごとに、前記分割画像ラベル又は前記補正ラベルに基づく評価度合いを表示する評価分布画像である
ことを特徴とする請求項8に記載の画像処理装置。 - 画像処理方法であって、
構造物の撮像画像を取得する撮像画像取得ステップと、
前記撮像画像を複数の分割画像に分割するメッシュ処理ステップと、
前記複数の分割画像のそれぞれに対して分割画像ラベルを出力する分割画像分類ステップと、
前記撮像画像から局所的特徴を有する特徴画像を抽出する特徴画像抽出ステップと、
前記特徴画像のそれぞれに対して特徴画像ラベルを出力する特徴画像分類ステップと、
前記特徴画像と重なる前記分割画像に対応する分割画像ラベルを、前記分割画像ラベルと前記特徴画像ラベルとに基づいて補正して補正ラベルとして出力するラベル補正ステップと、を備え、
前記メッシュ処理ステップでは、前記撮像画像に写る締結具の配置間隔に基づく面積の分割画像に分割する
ことを特徴とする画像処理方法。 - 画像処理プログラムであって、コンピュータに、
構造物の撮像画像を取得するステップと、
前記撮像画像を複数の分割画像に分割するステップと、
前記複数の分割画像のそれぞれに対して分割画像ラベルを出力するステップと、
前記撮像画像から局所的特徴を有する特徴画像を抽出するステップと、
前記特徴画像のそれぞれに対して特徴画像ラベルを出力するステップと、
前記特徴画像と重なる前記分割画像に対応する分割画像ラベルを、前記分割画像ラベルと前記特徴画像ラベルとに基づいて補正して補正ラベルとして出力するステップと、
を実行させ、
前記撮像画像を複数の分割画像に分割するステップでは、前記撮像画像に写る締結具の配置間隔に基づく面積の分割画像に分割する
ことを特徴とする画像処理プログラム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019049030 | 2019-03-15 | ||
JP2019049030 | 2019-03-15 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020155086A JP2020155086A (ja) | 2020-09-24 |
JP7356292B2 true JP7356292B2 (ja) | 2023-10-04 |
Family
ID=72559459
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019155745A Active JP7356292B2 (ja) | 2019-03-15 | 2019-08-28 | 画像処理装置、画像処理方法及び画像処理プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7356292B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022065273A1 (ja) | 2020-09-25 | 2022-03-31 | ファナック株式会社 | 外観検査のためのモデル作成装置及び外観検査装置 |
KR102458771B1 (ko) * | 2020-12-16 | 2022-10-25 | 세종대학교산학협력단 | Gnn을 이용한 교량 구조물의 모니터링 방법 및 장치 |
CN113409349B (zh) * | 2021-05-27 | 2022-04-19 | 拓微摹心数据科技(南京)有限公司 | 一种基于人工智能的主动脉结构图像自动分割方法 |
CN115717354B (zh) * | 2022-12-16 | 2023-08-15 | 中冶路桥建设有限公司 | 一种公路施工沥青混合设备及混合方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018198053A (ja) | 2017-05-22 | 2018-12-13 | キヤノン株式会社 | 情報処理装置、情報処理方法、及びプログラム |
JP2019016249A (ja) | 2017-07-10 | 2019-01-31 | 住友電気工業株式会社 | 判定装置、判定方法および判定プログラム |
-
2019
- 2019-08-28 JP JP2019155745A patent/JP7356292B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018198053A (ja) | 2017-05-22 | 2018-12-13 | キヤノン株式会社 | 情報処理装置、情報処理方法、及びプログラム |
JP2019016249A (ja) | 2017-07-10 | 2019-01-31 | 住友電気工業株式会社 | 判定装置、判定方法および判定プログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2020155086A (ja) | 2020-09-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7356292B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
TWI742382B (zh) | 透過電腦執行的、用於車輛零件識別的神經網路系統、透過神經網路系統進行車輛零件識別的方法、進行車輛零件識別的裝置和計算設備 | |
US8934709B2 (en) | Dynamic object classification | |
US6622135B1 (en) | Method for detecting and classifying anomalies using artificial neural networks | |
CN111191566A (zh) | 基于像素分类的光学遥感图像多目标检测方法 | |
US9183450B2 (en) | Inspection apparatus | |
CN110930454A (zh) | 一种基于边界框外关键点定位的六自由度位姿估计算法 | |
CN106529565A (zh) | 目标识别模型训练和目标识别方法及装置、计算设备 | |
CN113240688A (zh) | 一种一体化洪涝灾害精准监测预警方法 | |
CN110766058B (zh) | 一种基于优化rpn网络的战场目标检测方法 | |
CN110321811A (zh) | 深度逆强化学习的无人机航拍视频中的目标检测方法 | |
CN111612002A (zh) | 一种基于神经网络的多目标物体运动追踪方法 | |
US10861187B2 (en) | Method of processing object detection data | |
CN113971764B (zh) | 一种基于改进YOLOv3的遥感图像小目标检测方法 | |
JP5103665B2 (ja) | 物体追跡装置および物体追跡方法 | |
CN113239813A (zh) | 一种基于三阶级联架构的YOLOv3的远景目标检测方法 | |
US11790410B2 (en) | System and method for natural capital measurement | |
CN109087294A (zh) | 一种产品缺陷检测方法、***及计算机可读存储介质 | |
CN114821315B (zh) | 结合边缘检测和多任务学习的遥感影像耕地地块提取方法 | |
CN108320306A (zh) | 融合tld和kcf的视频目标跟踪方法 | |
CN114445309A (zh) | 深度学习用缺陷图像生成方法以及用于深度学习用缺陷图像生成方法的*** | |
CN114359631A (zh) | 基于编码-译码弱监督网络模型的目标分类与定位方法 | |
CN107423771B (zh) | 一种两时相遥感图像变化检测方法 | |
US20220189185A1 (en) | System and method for applying deep learning tools to machine vision and interface for the same | |
CN109242832B (zh) | 一种多时相多光谱遥感影像变化检测方法及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190927 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220622 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230509 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230516 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230607 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230912 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230922 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7356292 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |