JP6777150B2 - 劣化検出装置、劣化検出方法、及びプログラム - Google Patents

劣化検出装置、劣化検出方法、及びプログラム Download PDF

Info

Publication number
JP6777150B2
JP6777150B2 JP2018531022A JP2018531022A JP6777150B2 JP 6777150 B2 JP6777150 B2 JP 6777150B2 JP 2018531022 A JP2018531022 A JP 2018531022A JP 2018531022 A JP2018531022 A JP 2018531022A JP 6777150 B2 JP6777150 B2 JP 6777150B2
Authority
JP
Japan
Prior art keywords
region
momentum
sequence image
deterioration
coincidence point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018531022A
Other languages
English (en)
Other versions
JPWO2018025336A1 (ja
Inventor
シュボジト チャウダリー
シュボジト チャウダリー
中野　学
学 中野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2018025336A1 publication Critical patent/JPWO2018025336A1/ja
Application granted granted Critical
Publication of JP6777150B2 publication Critical patent/JP6777150B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/954—Inspecting the inner surface of hollow bodies, e.g. bores
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Description

本発明は、インフラ構造物等の動画像から、その劣化部分を検出するための、劣化検出装置、劣化検出方法に関し、更には、これらを実現するためのプログラムに関する。
従来から、トンネル、橋梁等のインフラ構造物の劣化検出は、検査員による目視検査又は打音検査によって行なわれているが、このような検査を行なう場合は、足場等を設置して検査が可能な環境を整備する必要がある。このため、従来からの劣化検出には、コストが掛かるという問題がある。また、状況によっては、交通規制等を行なう必要があり、経済的機会の損失が生じるという問題もある。
このため、近年においては、動画像を用いた劣化検出が提案されている（例えば、非特許文献１、非特許文献２、及び特許文献１）。具体的には、非特許文献１は、手動で抽出した部分的な画像の特徴を用い、これらの特徴に基づいたモデルを学習し、画像領域をクラック有とクラック無とに分類することによって、画像中のクラックを特定する、システムを開示している。図８は、非特許文献１に開示されたシステムにおける処理を概略的に示す図である。
図８に示すように、非特許文献１に開示されたシステムは、クエリ画像を受け取ると、部分窓をシフトしながら、モデルを用いて、予め設定された特徴を持つ領域を抽出する。そして、当該システムは、クエリ画像の部分毎に、クラックの有無を判定し、各部分を結合して、クエリ画像におけるクラックの位置を特定する。
更に、非特許文献２は、シーケンス画像を用いてクラックを検出するシステムを開示している。図９は、非特許文献２に開示されたシステムにおける処理を概略的に示す図である。
図９に示すように、非特許文献２に開示されたシステムは、予めクラックの位置が特定されているリファレンス画像と、検出対象のシークエンス画像とを取得する。そして、当該システムは、シークエンス画像を構成する画像毎に、リファレンス画像との相違点を特定し、特定された相違点を運動フィールドとして蓄積する。その後、当該システムは、蓄積された運動フィールドを用いて、各相違点について評価を行ない、最も信頼性の高い相違点をクラックに関連する部分（３次元相違点）と判断する。
また、特許文献１は、画像から、構造物上に設定された複数の測定点における振動波形を計測する、ことによって劣化を検出するシステムを提案している。図１０は、特許文献１に開示されたシステムにおける処理を概略的に示す図である。
図１０に示すように、特許文献１に開示されたシステムは、まず、クエリとして、シークエンス画像（動画像）を取得し、各画像の測定点毎の振動波形を測定し、測定した振動波形の特徴量、具体的には動作ベクトルを算出する。そして、当該システムは、算出した動作ベクトルに基づいて、動作の向きが異なる領域を特定して、シーケンス画像を構成する画像の領域を分割する。その後、当該システムは、分割された領域間の境界上から、クラックを検出する。
特開２０１５−１０２３６３号公報
Han Hu; Quanquan Gu; Jie Zhou, "HTF: a novel feature for general crack detection," in Image Processing (ICIP), 2010 17th IEEE International Conference on , vol., no., pp.1633-1636, 26-29 Sept. 2010 doi: 10.1109/ICIP.2010.5653171 Wang Zhen, et.al., "Crack opening displacement estimation method based on sequence of motion vector field images for civil infrastructure deterioration inspection," IMPS 2014, I-1-17
しかしながら、非特許文献１及び２に示したシステムは、部分的な画像の特徴を利用しており、構造物の表面にある目視可能なクラックの検出のみを目的としているので、構造物の内部の劣化検出、又は微少なクラックの検出に対して、適用が困難である。
一方、特許文献１に開示された方法では、構造物の内部の劣化した部分、又は微少なクラックであっても検出可能である。しかしながら、特許文献１に開示された方法では、検出時にノイズが発生しやすく、クラックが発生している領域とクラックが発生していない領域との分類に誤りが生じ易いという問題がある。
本発明の目的の一例は、上記問題を解消し、対象物の劣化した部分が外部から目視することが難しい場合であっても、高い精度で劣化した部分を検出し得る、劣化検出装置、劣化検出方法、及びプログラムを提供することにある。
本発明の一側面における劣化検出装置は、
前記シークエンス画像における一致点を特定する、一致点特定部と、
特定された一致点に基づいて、前記シークエンス画像を構成するフレーム毎に、当該フレームとその前のフレームとの間に生じた運動を特定して、前記一致点毎の運動量を時系列に沿って算出する、運動量算出部と、
時系列に沿って算出された前記一致点毎の運動量に基づいて、前記シークエンス画像における劣化が生じている可能性が高い領域を特定する、劣化領域候補特定部と、
を備えていることを特徴とする。
また、上記目的を達成するため、本発明の一側面における劣化検出方法は、
（ａ）検出対象物のシークエンス画像を取得する、ステップと、
（ｂ）前記シークエンス画像における一致点を特定する、ステップと、
（ｃ）特定された一致点に基づいて、前記シークエンス画像を構成するフレーム毎に、当該フレームとその前のフレームとの間に生じた運動を特定して、前記一致点毎の運動量を時系列に沿って算出する、ステップと、
（ｄ）時系列に沿って算出された前記一致点毎の運動量に基づいて、前記シークエンス画像における劣化が生じている可能性が高い領域を特定する、ステップと、
を有することを特徴とする。
更に、上記目的を達成するため、本発明の一側面におけるプログラムは、コンピュータに、
（ａ）検出対象物のシークエンス画像を取得する、ステップと、
（ｂ）前記シークエンス画像における一致点を特定する、ステップと、
（ｃ）特定された一致点に基づいて、前記シークエンス画像を構成するフレーム毎に、当該フレームとその前のフレームとの間に生じた運動を特定して、前記一致点毎の運動量を時系列に沿って算出する、ステップと、
（ｄ）時系列に沿って算出された前記一致点毎の運動量に基づいて、前記シークエンス画像における劣化が生じている可能性が高い領域を特定する、ステップと、
を実行させることを特徴とする。
以上のように、本発明によれば、対象物の劣化した部分が外部から目視することが難しい場合であっても、高い精度で劣化した部分を検出することができる。
図１は、本発明の実施の形態における劣化検出装置の概略構成を示すブロック図である。 図２は、本発明の実施の形態における劣化検出装置の構成を具体的に示すブロック図である。 図３は、本発明の実施の形態での劣化領域候補特定部による処理を説明する図である。 図４は、本発明の実施の形態で用いられる非線形時空間フィルタの特性を示す図ある。 図５は、本発明の実施の形態でのリファイン処理部による処理を説明する図である。 図６は、本発明の実施の形態における劣化検出装置の動作を示すフロー図である。 図７は、本発明の実施の形態における劣化検出装置を実現するコンピュータの一例を示すブロック図である。 図８は、非特許文献１に開示されたシステムにおける処理を概略的に示す図である。 図９は、非特許文献２に開示されたシステムにおける処理を概略的に示す図である。 図１０は、特許文献１に開示されたシステムにおける処理を概略的に示す図である。
（実施の形態）
以下、本発明の実施の形態における、劣化検出装置、劣化検出方法、及びプログラムについて、図１〜図７を参照しながら説明する。
［装置構成］
最初に、図１を用いて、本実施の形態における劣化検出装置の概略構成について説明する。図１は、本発明の実施の形態における劣化検出装置の概略構成を示すブロック図である。
図１に示す、本実施の形態における劣化検出装置１０は、コンクリートで形成されたインフラ構造物等における劣化を検出するための装置である。図１に示すように、劣化検出装置１０は、画像取得部１１と、一致点特定部１２と、運動量算出部１３と、劣化領域候補特定部１４とを備えている。
画像取得部１１は、検出対象物のシークエンス画像を取得する。また、一致点特定部１２は、画像取得部１１によって取得されたシークエンス画像における一致点を特定する。
運動量算出部１３は、特定された一致点に基づいて、シークエンス画像を構成するフレーム毎に、各フレームとその前のフレームとの間に生じた運動を特定し、それによって、一致点毎の運動量を時系列に沿って算出する。
また、劣化領域候補特定部１４は、時系列に沿って算出された一致点毎の運動量に基づいて、シークエンス画像における劣化が生じている可能性が高い領域（以下「劣化領域候補」と表記する。）を特定する。
このように、本実施の形態では、シークエンス画像から求められた特定の画素の運動量から、劣化領域候補が特定されるので、対象物の劣化した部分が外部から目視することが難しい場合であっても、高い精度で劣化した部分を検出することができる。
続いて、図２〜図５を用いて、本実施の形態における劣化検出装置１０の構成を更に具体的に説明する。図２は、本発明の実施の形態における劣化検出装置の構成を具体的に示すブロック図である。
図２に示すように、本実施の形態における劣化検出装置１０は、画像取得部１１、一致点特定部１２、運動量算出部１３、及び劣化領域候補特定部１４に加えて、領域分割部１５と、劣化領域決定部１６と、リファイン処理部１７とを更に備えている。領域分割部１５、劣化領域決定部１６、及びリファイン処理部１７の機能については後述する。
画像取得部１１は、本実施の形態では、例えば、デジタルカメラ、カムコーダといった撮像装置から、検出対象物のシークエンス画像を取得する。また、シークエンス画像は、設定されたフレームレートで連続して撮影された画像データの集合である。よって、画像取得部１１は、画像データをフレーム毎に取得し、取得した画像データを、取得した順に一致点特定部１２に入力する。
一致点特定部１２は、本実施の形態では、時系列が前後する２つの画像データそれぞれの特徴点を比較することで、一致点を特定する。具体的には、一致点特定部１２は、シークエンス画像から、画像データを取得すると、まず、取得した画像データの特徴点を抽出する。そして、一致点特定部１２は、抽出した特徴点と、その前に取得している画像データから抽出した特徴点とを対比して、一致点を特定する。
運動量算出部１３は、本実施の形態では、画像データ毎（フレーム毎）に、各一致点の前回のフレームからの移動量を特定し、特定した移動量から、各一致点の運動量を算出し、算出した運動量を時系列に沿って蓄積する。
ところで、検出対象物にひび等の劣化が生じると、検出対象物に生じた振動等によって、劣化した部分での一致点における運動量に乱れが発生すると考えられる。このため、劣化領域候補特定部１４は、本実施の形態では、特定の点の運動量とその周辺の画素の運動量との差が大きい程応答値が高くなる非線形時空間フィルタを用いて、劣化領域候補を特定する。
ここで、本実施の形態で用いられる非線形時空間フィルタについて、図３及び図４を用いて説明する。図３は、本発明の実施の形態での劣化領域候補特定部による処理を説明する図である。図４は、本発明の実施の形態で用いられる非線形時空間フィルタの特性を示す図である。
図３に示すように、劣化領域候補特定部１４は、特定の一致点の運動量Ｘ（ｉ，ｊ，ｔ）と、その周辺にある別の一致点の運動量Ｘ（ｉ＋ｋ，ｊ＋ｌ，ｔ）それぞれとの組み合わせ毎に、非線形時空間フィルタＨ（図３右側）を適用する。
図３において、ｔは時間を示している。但し、ｔは整数で表現されており、時系列に沿った各フレームに付与された番号に相当する。また、最初の一番目のフレームの時間がｔ＝０となる。そして、蓄積されているフレームの数をＮとすると、ｋ及びｌは、“−（Ｎ−１）／２”〜“＋（Ｎ−１）／２”の範囲で設定される。
従って、非線形時空間フィルタとしては、下記の数１で表現されるフィルタが挙げられる。下記の数１で表現されるフィルタは、特定の一致点の運動量Ｘ（ｉ，ｊ，ｔ）と、その周辺にある別の一致点の運動量Ｘ（ｉ＋ｋ，ｊ＋ｌ，ｔ）との差が大きい程、値が高い応答値Ｌｉ，ｊを出力する。応答値Ｌｉ，ｊは、劣化の可能性を示す尤度に相当する。なお、下記の数１において、関数ｆは、特定の一致点の運動量Ｘ（ｉ，ｊ，ｔ）と、その周辺にある別の一致点の運動量Ｘ（ｉ＋ｋ，ｊ＋ｌ，ｔ）との差を算出する関数である。
Figure 0006777150
そして、図４に示すように、非線形時空間フィルタによれば、線形フィルタ、ノルムフィルタを用いる場合に比べて、適用対象となる運動量Ｘが増加した場合のコストの上昇が抑えられる。結果、非線形時空間フィルタによれば、ノイズに対するロバスト性を向上させることが可能となるので、劣化領域候補の特定精度が高められる。
また、本実施の形態では、関数ｆは上述したものに限られない。関数ｆとしては、例えば、ロバスト推定手法の一種であるRedescending M-estimatorの任意の関数を用いることもできる。
また、領域分割部１５は、時系列に沿って算出された一致点毎の運動の方向に基づいて、シークエンス画像を複数の部分領域に分割する。具体的には、領域分割部１５は、フレーム毎に、各一致点の前回のフレームからの移動方向を特定し、特定した移動方向を一致点の運動の方向とする。そして、領域分割部１５は、運動の方向が相対し、且つ、隣接している、２つの一致点を特定し、特定した２つの一致点の間の位置を結ぶことによって、各フレームを分割する。
リファイン処理部１７は、劣化領域候補特定部１４によって特定された劣化領域候補、及び領域分割部１５によって分割された部分領域間の境界部分のうち、予め設定された条件を満たさないものを除去する。
具体的には、リファイン処理部１７は、図５に示すように、例えば、劣化領域候補及び部分領域間の境界部分を、予め登録されているひびの形状に照合する。そして、リファイン処理部１７は、照合の結果、一致しなかった劣化領域候補及び部分領域間の境界部分については、ノイズと判断し、これを除去する。図５は、本発明の実施の形態でのリファイン処理部による処理を説明する図である。
また、照合に用いられるひびの形状は、管理者等が過去のひびを参照して設定した形状であっても良いし、機械学習ツールによって学習された形状であっても良い。このように、リファイン処理部１７によれば、劣化した部分の検出精度がより向上されることになる。
また、本実施の形態では、リファイン処理部１７における処理は、上記の処理に限定されることはなく、当該処理として、画像処理による一般的なノイズ除去方法が用いられてもよい。例えば、リファイン処理部１７における処理としては、ノイズの振る舞いに関する事前知識を利用するノイズ除去方法が用いられてもよい。具体的には、このノイズ除去方法では、検出されたひびと事前知識とが照合され、事前知識と一致しないものはノイズと扱われて除去され、事前知識と一致するものはそのまま保持される。このような画像処理によるノイズ除去方法は、下記の参考文献１及び２に開示されている。
［参考文献１］J. Mairal, M. Elad and G. Sapiro, "Sparse Representation for Color Image Restoration," in IEEE Transactions on Image Processing, vol. 17, no. 1, pp. 53-69, Jan. 2008.
<http://www.cs.technion.ac.il/~elad/publications/journals/2006/KSVD_Color_IEEE_TIP.pdf>
［参考文献２］S. Roth and M. J. Black, "Fields of Experts: a framework for learning image priors," 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'05), 2005, pp. 860-867 vol. 2.
<http://cs.brown.edu/~roth/pubs/cvpr05roth.pdf>
劣化領域決定部１６は、劣化領域候補特定部１４によって特定された劣化領域候補と、領域分割部１５による分割によって得られた複数の部分領域とを対比し、対比結果に基づいて、シークエンス画像における劣化が生じている領域（以下「劣化領域」と表記する。）を決定する。
具体的には、劣化領域決定部１６は、例えば、リファイン処理部１７による処理後に、劣化領域候補と部分領域間の境界部分とを対比し、劣化領域候補のうち、部分領域間の境界部分を含むものを特定する。そして、劣化領域決定部１６は、特定した劣化領域候補を、劣化領域とする。
［装置動作］
次に、本発明の実施の形態における劣化検出装置１０の動作について図６を用いて説明する。図６は、本発明の実施の形態における劣化検出装置の動作を示すフロー図である。以下の説明においては、適宜図１〜図５を参酌する。また、本実施の形態では、劣化検出装置１０を動作させることによって、劣化検出方法が実施される。よって、本実施の形態における劣化検出方法の説明は、以下の劣化検出装置１０の動作説明に代える。
図６に示すように、最初に、画像取得部１１は、外部の撮像装置から、検出対象物のシークエンス画像を取得する（ステップＡ１）。具体的には、画像取得部１１は、設定されたフレームレートで送信されてくる画像データを順に取得し、取得した画像データを、取得した順に、一致点特定部１２に入力する。
次に、一致点特定部１２は、時系列が前後する２つの画像データそれぞれの特徴点を比較し、それによって、画像データ上の一致点を特定する（ステップＡ２）。また、一致点特定部１２は、特定した一致点の情報を、運動量算出部１３に入力する。
次に、運動量算出部１３は、本実施の形態では、フレーム毎に、各一致点の運動量を算出し、算出した運動量を時系列に沿って蓄積する（ステップＡ３）。
次に、劣化領域候補特定部１４は、蓄積されている各一致点の運動量を取得し、取得した各一致点の運動量に、非線形時空間フィルタを適用して、画像データ上から、劣化領域候補を特定する（ステップＡ４）。
次に、領域分割部１５は、時系列に沿って算出された一致点毎の運動の方向に基づいて、シークエンス画像を複数の部分領域に分割する（ステップＡ５）。具体的には、領域分割部１５は、各一致点の運動方向を特定し、そして、運動の方向が相対し、且つ、隣接している、２つの一致点を特定し、特定した２つの一致点の間の位置を結ぶことによって、各フレームを分割する。
次に、リファイン処理部１７は、劣化領域候補特定部１４によって特定された劣化領域候補、及び領域分割部１５によって分割された部分領域間の境界部分のうち、予め設定された条件を満たさないものを除去する（ステップＡ６）。
その後、劣化領域決定部１６は、ステップＡ４によって特定された劣化領域候補と、ステップＡ５による分割によって得られた部分領域とを対比して、劣化領域を決定する（ステップＡ７）
［実施の形態による効果］
以上のように本実施の形態では、画像に現われた特徴ではなく、画像上の一致点の運動量から、検出対象物の劣化している領域が特定される。従って、視覚性が乏しい微少なひびが生じていた場合であっても、精度良く、これを検出することが可能となる。
また、本実施の形態では、一致点の運動方向に基づいて、画像が複数の領域に分割され、分割によって得られた境界部分も参照されて、最終的な劣化領域が決定される。加えて、本実施の形態では、ノイズとなっている部分の除去も行なわれる。本実施の形態によれば、これらの点から、劣化領域の検出精度はよりいっそう向上されることになる。
［プログラム］
本実施の形態におけるプログラムは、コンピュータに、図６に示すステップＡ１〜Ａ７を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態における劣化検出装置と劣化検出方法とを実現することができる。この場合、コンピュータのＣＰＵ（Central Processing Unit）は、画像取得部１１、一致点特定部１２、運動量算出部１３、劣化領域候補特定部１４、領域分割部１５、劣化領域決定部１６、及びリファイン処理部１７として機能し、処理を行なう。
また、本実施の形態におけるプログラムは、複数のコンピュータによって構築されたコンピュータシステムによって実行されても良い。この場合は、例えば、各コンピュータが、それぞれ、画像取得部１１、一致点特定部１２、運動量算出部１３、劣化領域候補特定部１４、領域分割部１５、劣化領域決定部１６、及びリファイン処理部１７のいずれかとして機能しても良い。
［物理構成］
ここで、本実施の形態におけるプログラムを実行することによって、劣化検出装置１０を実現するコンピュータについて図７を用いて説明する。図７は、本発明の実施の形態における劣化検出装置を実現するコンピュータの一例を示すブロック図である。
図７に示すように、コンピュータ１１０は、ＣＰＵ１１１と、メインメモリ１１２と、記憶装置１１３と、入力インターフェイス１１４と、表示コントローラ１１５と、データリーダ／ライタ１１６と、通信インターフェイス１１７とを備える。これらの各部は、バス１２１を介して、互いにデータ通信可能に接続される。
ＣＰＵ１１１は、記憶装置１１３に格納された、本実施の形態におけるプログラム（コード）をメインメモリ１１２に展開し、これらを所定順序で実行することにより、各種の演算を実施する。メインメモリ１１２は、典型的には、ＤＲＡＭ（Dynamic Random Access Memory）等の揮発性の記憶装置である。また、本実施の形態におけるプログラムは、コンピュータ読み取り可能な記録媒体１２０に格納された状態で提供される。なお、本実施の形態におけるプログラムは、通信インターフェイス１１７を介して接続されたインターネット上で流通するものであっても良い。
また、記憶装置１１３の具体例としては、ハードディスクドライブの他、フラッシュメモリ等の半導体記憶装置が挙げられる。入力インターフェイス１１４は、ＣＰＵ１１１と、キーボード及びマウスといった入力機器１１８との間のデータ伝送を仲介する。表示コントローラ１１５は、ディスプレイ装置１１９と接続され、ディスプレイ装置１１９での表示を制御する。
データリーダ／ライタ１１６は、ＣＰＵ１１１と記録媒体１２０との間のデータ伝送を仲介し、記録媒体１２０からのプログラムの読み出し、及びコンピュータ１１０における処理結果の記録媒体１２０への書き込みを実行する。通信インターフェイス１１７は、ＣＰＵ１１１と、他のコンピュータとの間のデータ伝送を仲介する。
また、記録媒体１２０の具体例としては、ＣＦ（Compact Flash（登録商標））及びＳＤ（Secure Digital）等の汎用的な半導体記憶デバイス、フレキシブルディスク（Flexible Disk）等の磁気記録媒体、又はＣＤ−ＲＯＭ（Compact Disk Read Only Memory）などの光学記録媒体が挙げられる。
なお、本実施の形態における劣化検出装置１０は、プログラムがインストールされたコンピュータではなく、各部に対応したハードウェアを用いることによっても実現可能である。更に、劣化検出装置１０は、一部がプログラムで実現され、残りの部分がハードウェアで実現されていてもよい。
上述した実施の形態の一部又は全部は、以下に記載する（付記１）〜（付記１２）によって表現することができるが、以下の記載に限定されるものではない。
（付記１）
検出対象物のシークエンス画像を取得する、画像取得部と、
前記シークエンス画像における一致点を特定する、一致点特定部と、
特定された一致点に基づいて、前記シークエンス画像を構成するフレーム毎に、当該フレームとその前のフレームとの間に生じた運動を特定して、前記一致点毎の運動量を時系列に沿って算出する、運動量算出部と、
時系列に沿って算出された前記一致点毎の運動量に基づいて、前記シークエンス画像における劣化が生じている可能性が高い領域を特定する、劣化領域候補特定部と、
を備えていることを特徴とする、劣化検出装置。
（付記２）
前記劣化領域候補特定部は、特定の点の運動量とその周辺の画素の運動量との差が大きい程応答値が高くなる非線形時空間フィルタを用いて、前記領域を特定する、
付記１に記載の劣化検出装置。
（付記３）
時系列に沿って算出された前記一致点毎の運動の方向基づいて、前記シークエンス画像を複数の部分領域に分割する、領域分割部と、
前記劣化領域候補特定部によって特定された領域と、前記分割部による分割によって得られた前記複数の部分領域とを対比し、対比結果に基づいて、前記シークエンス画像における劣化が生じている領域を決定する、劣化領域決定部と、
を更に備えている、
付記１または２に記載の劣化検出装置。
（付記４）
前記劣化領域候補特定部によって特定された領域、及び前記領域分割部によって分割された領域間の境界部分のうち、予め設定された条件を満たさないものを除去する、リファイン処理部を更に備えている、
付記１〜３のいずれかに記載の劣化検出装置。
（付記５）
（ａ）検出対象物のシークエンス画像を取得する、ステップと、
（ｂ）前記シークエンス画像における一致点を特定する、ステップと、
（ｃ）特定された一致点に基づいて、前記シークエンス画像を構成するフレーム毎に、当該フレームとその前のフレームとの間に生じた運動を特定して、前記一致点毎の運動量を時系列に沿って算出する、ステップと、
（ｄ）時系列に沿って算出された前記一致点毎の運動量に基づいて、前記シークエンス画像における劣化が生じている可能性が高い領域を特定する、ステップと、
を有することを特徴とする、劣化検出方法。
（付記６）
前記（ｄ）のステップにおいて、特定の点の運動量とその周辺の画素の運動量との差が大きい程応答値が高くなる非線形時空間フィルタを用いて、前記領域を特定する、
付記５に記載の劣化検出方法。
（付記７）
（ｅ）時系列に沿って算出された前記一致点毎の運動の方向基づいて、前記シークエンス画像を複数の部分領域に分割する、ステップと、
（ｆ）前記（ｄ）のステップによって特定された領域と、前記（ｅ）のステップによって得られた前記複数の部分領域とを対比し、対比結果に基づいて、前記シークエンス画像における劣化が生じている領域を決定する、ステップと、
を更に有する、
付記５または６に記載の劣化検出方法。
（付記８）
（ｇ）前記（ｄ）のステップによって特定された領域、及び前記（ｅ）のステップによって分割された領域間の境界部分のうち、予め設定された条件を満たさないものを除去する、ステップを更に有する、
付記５〜７のいずれかに記載の劣化検出方法。
（付記９）
コンピュータに、
（ａ）検出対象物のシークエンス画像を取得する、ステップと、
（ｂ）前記シークエンス画像における一致点を特定する、ステップと、
（ｃ）特定された一致点に基づいて、前記シークエンス画像を構成するフレーム毎に、当該フレームとその前のフレームとの間に生じた運動を特定して、前記一致点毎の運動量を時系列に沿って算出する、ステップと、
（ｄ）時系列に沿って算出された前記一致点毎の運動量に基づいて、前記シークエンス画像における劣化が生じている可能性が高い領域を特定する、ステップと、
を実行させる、プログラム。
（付記１０）
前記（ｄ）のステップにおいて、特定の点の運動量とその周辺の画素の運動量との差が大きい程応答値が高くなる非線形時空間フィルタを用いて、前記領域を特定する、
付記９に記載のプログラム。
（付記１１）
前記コンピュータに、
（ｅ）時系列に沿って算出された前記一致点毎の運動の方向基づいて、前記シークエンス画像を複数の部分領域に分割する、ステップと、
（ｆ）前記（ｄ）のステップによって特定された領域と、前記（ｅ）のステップによって得られた前記複数の部分領域とを対比し、対比結果に基づいて、前記シークエンス画像における劣化が生じている領域を決定する、ステップと、
を更に実行させる、
付記９または１０に記載のプログラム。
（付記１２）
前記コンピュータに、
（ｇ）前記（ｄ）のステップによって特定された領域、及び前記（ｅ）のステップによって分割された領域間の境界部分のうち、予め設定された条件を満たさないものを除去する、ステップを更に実行させる、
付記９〜１１のいずれかに記載のプログラム。
以上、実施の形態を参照して本願発明を説明したが、本願発明は上記実施の形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
以上のように、本発明によれば、対象物の劣化した部分が外部から目視することが難しい場合であっても、高い精度で劣化した部分を検出することができる。本発明は、トンネル、橋梁等のインフラ構造物の劣化検出が必要な分野に有用である。
１０ 劣化検出装置
１１ 画像取得部
１２ 一致点特定部
１３ 運動量算出部
１４ 劣化領域候補特定部
１５ 領域分割部
１６ 劣化領域決定部
１７ リファイン処理部
１１０ コンピュータ
１１１ ＣＰＵ
１１２ メインメモリ
１１３ 記憶装置
１１４ 入力インターフェイス
１１５ 表示コントローラ
１１６ データリーダ／ライタ
１１７ 通信インターフェイス
１１８ 入力機器
１１９ ディスプレイ装置
１２０ 記録媒体
１２１ バス

Claims (9)

  1. 検出対象物のシークエンス画像を取得する、画像取得部と、
    前記シークエンス画像における一致点を特定する、一致点特定部と、
    特定された一致点に基づいて、前記シークエンス画像を構成するフレーム毎に、当該フレームとその前のフレームとの間に生じた運動を特定して、前記一致点毎の運動量を時系列に沿って算出する、運動量算出部と、
    時系列に沿って算出された前記一致点毎の運動量に基づいて、前記シークエンス画像における劣化が生じている可能性が高い領域を特定する、劣化領域候補特定部と、
    を備え、
    前記劣化領域候補特定部は、特定の点の運動量とその周辺の画素の運動量との差が大きい程応答値が高くなる非線形時空間フィルタを用いて、前記領域を特定する、
    ことを特徴とする、劣化検出装置。
  2. 時系列に沿って算出された前記一致点毎の運動の方向に基づいて、前記シークエンス画像を複数の部分領域に分割する、領域分割部と、
    前記劣化領域候補特定部によって特定された領域と、前記領域分割部による分割によって得られた前記複数の部分領域とを対比し、対比結果に基づいて、前記シークエンス画像における劣化が生じている領域を決定する、劣化領域決定部と、
    を更に備えている、
    請求項１に記載の劣化検出装置。
  3. 前記劣化領域候補特定部によって特定された領域、及び前記領域分割部によって分割された領域間の境界部分のうち、予め設定された条件を満たさないものを除去する、リファイン処理部を更に備えている、
    請求項２のいずれかに記載の劣化検出装置。
  4. （ａ）検出対象物のシークエンス画像を取得する、ステップと、
    （ｂ）前記シークエンス画像における一致点を特定する、ステップと、
    （ｃ）特定された一致点に基づいて、前記シークエンス画像を構成するフレーム毎に、当該フレームとその前のフレームとの間に生じた運動を特定して、前記一致点毎の運動量を時系列に沿って算出する、ステップと、
    （ｄ）時系列に沿って算出された前記一致点毎の運動量に基づいて、前記シークエンス画像における劣化が生じている可能性が高い領域を特定する、ステップと、
    を有し、
    前記（ｄ）のステップにおいて、特定の点の運動量とその周辺の画素の運動量との差が大きい程応答値が高くなる非線形時空間フィルタを用いて、前記領域を特定する、
    することを特徴とする、劣化検出方法。
  5. （ｅ）時系列に沿って算出された前記一致点毎の運動の方向に基づいて、前記シークエンス画像を複数の部分領域に分割する、ステップと、
    （ｆ）前記（ｄ）のステップによって特定された領域と、前記（ｅ）のステップによって得られた前記複数の部分領域とを対比し、対比結果に基づいて、前記シークエンス画像における劣化が生じている領域を決定する、ステップと、
    を更に有する、
    請求項４に記載の劣化検出方法。
  6. （ｇ）前記（ｄ）のステップによって特定された領域、及び前記（ｅ）のステップによって分割された領域間の境界部分のうち、予め設定された条件を満たさないものを除去する、ステップを更に有する、
    請求項５に記載の劣化検出方法。
  7. コンピュータに、
    （ａ）検出対象物のシークエンス画像を取得する、ステップと、
    （ｂ）前記シークエンス画像における一致点を特定する、ステップと、
    （ｃ）特定された一致点に基づいて、前記シークエンス画像を構成するフレーム毎に、当該フレームとその前のフレームとの間に生じた運動を特定して、前記一致点毎の運動量を時系列に沿って算出する、ステップと、
    （ｄ）時系列に沿って算出された前記一致点毎の運動量に基づいて、前記シークエンス画像における劣化が生じている可能性が高い領域を特定する、ステップと、
    を実行させ、
    前記（ｄ）のステップにおいて、特定の点の運動量とその周辺の画素の運動量との差が大きい程応答値が高くなる非線形時空間フィルタを用いて、前記領域を特定する、
    プログラム。
  8. 前記コンピュータに、
    （ｅ）時系列に沿って算出された前記一致点毎の運動の方向に基づいて、前記シークエンス画像を複数の部分領域に分割する、ステップと、
    （ｆ）前記（ｄ）のステップによって特定された領域と、前記（ｅ）のステップによって得られた前記複数の部分領域とを対比し、対比結果に基づいて、前記シークエンス画像における劣化が生じている領域を決定する、ステップと、
    を更に実行させる、
    請求項７に記載のプログラム。
  9. 前記コンピュータに、
    （ｇ）前記（ｄ）のステップによって特定された領域、及び前記（ｅ）のステップによって分割された領域間の境界部分のうち、予め設定された条件を満たさないものを除去する、ステップを更に実行させる、
    請求項８に記載のプログラム。
JP2018531022A 2016-08-02 2016-08-02 劣化検出装置、劣化検出方法、及びプログラム Active JP6777150B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/072700 WO2018025336A1 (ja) 2016-08-02 2016-08-02 劣化検出装置、劣化検出方法、及びコンピュータ読み取り可能な記録媒体

Publications (2)

Publication Number Publication Date
JPWO2018025336A1 JPWO2018025336A1 (ja) 2019-05-23
JP6777150B2 true JP6777150B2 (ja) 2020-10-28

Family

ID=61072906

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018531022A Active JP6777150B2 (ja) 2016-08-02 2016-08-02 劣化検出装置、劣化検出方法、及びプログラム

Country Status (3)

Country Link
US (1) US11138711B2 (ja)
JP (1) JP6777150B2 (ja)
WO (1) WO2018025336A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019053773A1 (ja) * 2017-09-12 2019-03-21 日本電気株式会社 状態判定装置、状態判定方法、及びコンピュータ読み取り可能な記録媒体
JP6918672B2 (ja) * 2017-10-11 2021-08-11 株式会社日立システムズ 劣化診断システム
JP7325020B2 (ja) * 2018-02-22 2023-08-14 パナソニックＩｐマネジメント株式会社 検査装置及び検査方法
JP7186054B2 (ja) * 2018-10-11 2022-12-08 神鋼検査サービス株式会社 欠陥検出支援装置、該方法および該プログラム
US11645766B2 (en) * 2020-05-04 2023-05-09 International Business Machines Corporation Dynamic sampling for object recognition

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2676040B2 (ja) 1989-01-28 1997-11-12 清水建設株式会社 コンクリート部材の面内変位計測方法
US5361105A (en) * 1993-03-05 1994-11-01 Matsushita Electric Corporation Of America Noise reduction system using multi-frame motion estimation, outlier rejection and trajectory correction
US8311129B2 (en) * 2005-12-16 2012-11-13 Lifesize Communications, Inc. Temporal video filtering
JP2008232998A (ja) * 2007-03-23 2008-10-02 Osaka Univ 構造物の応力変動分布の測定方法およびその測定装置、ならびに構造物の欠陥検出方法および構造物の危険性把握方法
WO2013020143A1 (en) * 2011-08-04 2013-02-07 University Of Southern California Image-based crack quantification
JP5813610B2 (ja) * 2012-09-28 2015-11-17 富士フイルム株式会社 画像評価装置、画像評価方法、及びプログラム
JP6379475B2 (ja) 2013-11-22 2018-08-29 日本電気株式会社 振動解析装置
JP6485454B2 (ja) * 2014-04-16 2019-03-20 日本電気株式会社 情報処理装置
JP6652060B2 (ja) 2014-09-25 2020-02-19 日本電気株式会社 状態判定装置および状態判定方法
JPWO2016142965A1 (ja) * 2015-03-10 2017-12-21 日本電気株式会社 映像処理装置、映像処理方法及び映像処理プログラムを記憶する記録媒体
US10257449B2 (en) * 2016-01-05 2019-04-09 Nvidia Corporation Pre-processing for video noise reduction

Also Published As

Publication number Publication date
JPWO2018025336A1 (ja) 2019-05-23
US20200184622A1 (en) 2020-06-11
US11138711B2 (en) 2021-10-05
WO2018025336A1 (ja) 2018-02-08

Similar Documents

Publication Publication Date Title
JP6777150B2 (ja) 劣化検出装置、劣化検出方法、及びプログラム
JP4429298B2 (ja) 対象個数検出装置および対象個数検出方法
KR101988384B1 (ko) 이미지 매칭 장치, 이미지 매칭 시스템 및 이미지 매칭 방법
JP2018018489A (ja) 顔検出追跡方法、顔検出追跡装置、ロボット頭部の回動制御方法及びロボット頭部の回動制御システム
JP6616521B2 (ja) 画像処理装置
KR101621370B1 (ko) 도로에서의 차선 검출 방법 및 장치
US9384419B2 (en) Image matching method, extracting features from model images applied different variation, image matching device, model template generation method, and model template generation device
KR101511146B1 (ko) 스마트 3차원 제스처 인식 장치 및 방법
JP6075190B2 (ja) 画像処理方法及び装置
US8724851B2 (en) Aerial survey video processing
JP2018185552A (ja) 画像解析装置および画像解析方法、ならびにプログラム
JP2007156655A (ja) 変動領域検出装置及びその方法
CN112329656B (zh) 一种视频流中人体动作关键帧的特征提取方法
KR20110128529A (ko) 형태와 특징 정보를 이용한 비정형 객체 추적 장치 및 그 방법
JP6813025B2 (ja) 状態判定装置、状態判定方法、及びプログラム
US9824462B2 (en) Method for detecting object and object detecting apparatus
CN114758268A (zh) 手势识别方法、装置及智能设备
JP7176590B2 (ja) 画像処理装置、画像処理方法、及びプログラム
KR101615479B1 (ko) 적응적 전/후처리 필터링을 이용하는 초해상도 영상 처리 방법
EP3156943A1 (en) Method and device for clustering patches of a degraded version of an image
Qiao et al. An adaptive algorithm for grey image edge detection based on grey correlation analysis
JP4918615B2 (ja) 対象個数検出装置および対象個数検出方法
Bhuyan et al. Finite state representation of hand gesture using key video object plane
JP6393495B2 (ja) 画像処理装置および物体認識方法
JP4674920B2 (ja) 対象個数検出装置および対象個数検出方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190118

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190118

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200218

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200415

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200908

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200921

R150 Certificate of patent or registration of utility model

Ref document number: 6777150

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150