JP7248149B2 - 異常判定装置、異常判定方法およびコンピュータプログラム - Google Patents

異常判定装置、異常判定方法およびコンピュータプログラム Download PDF

Info

Publication number
JP7248149B2
JP7248149B2 JP2021562241A JP2021562241A JP7248149B2 JP 7248149 B2 JP7248149 B2 JP 7248149B2 JP 2021562241 A JP2021562241 A JP 2021562241A JP 2021562241 A JP2021562241 A JP 2021562241A JP 7248149 B2 JP7248149 B2 JP 7248149B2
Authority
JP
Japan
Prior art keywords
displacement
measured
image
images
amount
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021562241A
Other languages
English (en)
Other versions
JPWO2021111533A5 (ja
JPWO2021111533A1 (ja
Inventor
浩 今井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2021111533A1 publication Critical patent/JPWO2021111533A1/ja
Publication of JPWO2021111533A5 publication Critical patent/JPWO2021111533A5/ja
Application granted granted Critical
Publication of JP7248149B2 publication Critical patent/JP7248149B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/89—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/89—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
    • G01N21/8901—Optical details; Scanning details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
    • Y02E10/00—Energy generation through renewable energy sources
    • Y02E10/70—Wind energy
    • Y02E10/72—Wind turbines with rotation axis in wind direction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Biochemistry (AREA)
  • Quality & Reliability (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Textile Engineering (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Description

本発明は、移動や回転などの運動を行う物体の表面における変位を遠隔から測定し、物体の異常を判定する技術に関する。
風力発電のプロペラ、タービンのブレード、走行中の車両の車輪というような移動や回転などの運動を行う物体（以下、運動物体とも記す）に、表面のひび割れや剥離や、内部空洞などの欠陥が生じると、当該運動物体を含む構造物の健全性に悪影響を及ぼし得る。このため、できるだけ早く正確に、それらの欠陥を異常として検出することが必要となる。
運動物体の検査手法としては、運動物体の運動を停止させ、検査員が目視検査や打音検査を行うことによって、運動物体の異常を検出する手法がある。この手法には、多大な人的コストがかかり、また検査中に、運動物体を含む構造物を使用することができないという問題がある。
そこで、運動物体の画像に基づいて、運動物体の運動を停止することなく当該運動物体の状態を判定する手法が開発されている。例えば、非特許文献１，２に開示されている技術では、運動物体がステレオカメラにより動画撮影され、動画を構成する時系列のフレーム画像から運動物体における複数の点の動きが求められ、運動物体の異常が検出される。
また、特許文献１，２における技術では、ステレオカメラではなく単一のカメラによる動画から、運動物体の表面における表面に沿う方向の変位量（面内変位とも称する）と、カメラの光軸方向に沿う方向の変位量（面外変位とも称する）とがそれぞれ検出される。さらに、特許文献１，２における技術では、検知された面外変位と面内変位に基づいて、ひび割れ、剥離、内部空洞などの運動物体の欠陥（異常）が検出される。
特許文献３には、３次元構造物にレーザ光を照射し、３次元構造物からのレーザ光の反射光を利用して３次元構造物の形状データを取得する技術が開示されている。
国際公開第２０１６／１５２０７５号 国際公開第２０１６／１５２０７６号 特開２００７－１２１１２６号公報
Hyoseong Lee et al., "Measurement of 3-D vibration by dynamic photogrammetry using least-square image matching for sub-pixel targeting", IEEE(Institute of Electrical and Electronics Engineers), 2015 Jan Winstroth and Joerg R. Seume, "Wind turbine rotor blade monitoring using digital image correlation: Assessment on a scaled model", 32nd ASME(American Society of Mechanical Engineers) Wind Energy Symposium, 2014
非特許文献１，２に記載されている技術では、ステレオカメラを用いて動画を撮影する必要があり、ステレオカメラの大きさに起因して装置が大型化するという課題がある。一方、特許文献１，２に記載されている技術を用いると、カメラが一つであり、ステレオカメラよりも大型化を抑えることができるため、ステレオカメラに起因した装置の大型化の問題が防止される。
しかしながら、特許文献１，２に記載された技術では、運動中の運動物体における面外変位と面内変位を測定すると、面外変位と面内変位に運動物体の運動による変位が加算された値が測定値として検出されてしまう。これに起因して、運動物体の異常に起因した面外変位と面内変位に表れる特徴が測定値から捉え難くなり、これにより、運動物体の異常の検出精度が低下するという問題が生じる。
本発明は上記課題に鑑みてなされたものであり、その主な目的は、装置の大型化を抑制しつつ、運動物体の異常を非接触で精度良く検出することを可能にすることにある。
上記目的を達成するために、本発明に係る異常判定装置は、その一様相として、
被測定物体の表面が時間の経過と共に撮影されている複数の撮影画像を含む時系列画像における前記撮影画像のそれぞれにおいて前記被測定物体の表面の像に基づいて定められた前記撮影画像における基準点が一致する方向に複数の前記撮影画像の向きを変化させることにより、複数の前記撮影画像における前記被測定物体の表面の像の位置と向きが合わせられている座標固定時系列画像を生成する座標系固定部と、
前記座標固定時系列画像から前記被測定物体の表面の変位の２次元空間分布を算出する変位算出部と、
算出された前記２次元空間分布の前記被測定物体の表面の変位と、前記２次元空間分布における前記被測定物体の表面の変位の中から基準として選択された変位との差分を表す２次元変位差分布を算出する変位差算出部と、
前記２次元変位差分布から前記被測定物体の表面の像に直交する法線方向の前記被測定物体の表面の移動量を奥行移動量として算出する奥行移動量算出部と、
前記２次元変位差分布から前記奥行移動量を差し引くことにより、前記被測定物体の表面での変位量を面内変位として算出する変位分離部と、
前記面内変位と前記奥行移動量との一方又は両方を利用して、前記被測定物体の異常を判定する判定部と、
を有する。
また、本発明の異常判定方法は、その一様相として、
被測定物体の表面が時間の経過と共に撮影されている複数の撮影画像を含む時系列画像における前記撮影画像のそれぞれにおいて前記被測定物体の表面の像に基づいて定められた前記撮影画像における基準点が一致する方向に複数の前記撮影画像の向きを変化させることにより、複数の前記撮影画像における前記被測定物体の表面の像の位置と向きが合わせられている座標固定時系列画像を生成し、
前記座標固定時系列画像から前記被測定物体の表面の変位の２次元空間分布を算出し、
算出された前記２次元空間分布の前記被測定物体の表面の変位と、前記２次元空間分布における前記被測定物体の表面の変位の中から基準として選択された変位との差分を表す２次元変位差分布を算出し、
前記２次元変位差分布から前記被測定物体の表面の像に直交する法線方向の前記被測定物体の表面の移動量を奥行移動量として算出し、
前記２次元変位差分布から前記奥行移動量を差し引くことにより、前記被測定物体の表面での変位量を面内変位として算出し、
前記面内変位と前記奥行移動量との一方又は両方を利用して、前記被測定物体の異常を判定する。
さらに、本発明に係るプログラム記憶媒体は、その一様相として、
被測定物体の表面が時間の経過と共に撮影されている複数の撮影画像を含む時系列画像における前記撮影画像のそれぞれにおいて前記被測定物体の表面の像に基づいて定められた前記撮影画像における基準点が一致する方向に複数の前記撮影画像の向きを変化させることにより、複数の前記撮影画像における前記被測定物体の表面の像の位置と向きが合わせられている座標固定時系列画像を生成する処理と、
前記座標固定時系列画像から前記被測定物体の表面の変位の２次元空間分布を算出する処理と、
算出された前記２次元空間分布の前記被測定物体の表面の変位と、前記２次元空間分布における前記被測定物体の表面の変位の中から基準として選択された変位との差分を表す２次元変位差分布を算出する処理と、
前記２次元変位差分布から前記被測定物体の表面の像に直交する法線方向の前記被測定物体の表面の移動量を奥行移動量として算出する処理と、
前記２次元変位差分布から前記奥行移動量を差し引くことにより、前記被測定物体の表面での変位量を面内変位として算出する処理と、
前記面内変位と前記奥行移動量との一方又は両方を利用して、前記被測定物体の異常を判定する処理と
をコンピュータに実行させるコンピュータプログラムを格納する。
本発明によれば、装置の大型化を抑制しつつ、運動物体の異常を非接触で精度良く検出することを可能にする。
本発明に係る第１実施形態の異常判定装置を利用して被測定物体の異常を判定する構成を説明する図である。 第１実施形態の異常判定装置の機能構成を説明するブロック図である。 第１実施形態の異常判定装置における判定部の機能構成の一例を表すブロック図である。 第１実施形態の異常判定装置が持つ機能部の一つである座標系固定部の機能を説明する図である。 座標系固定部の機能を図２Ａと共に説明する図である。 座標系固定部の機能を図２Ａ、図２Ｂと共に説明する図である。 座標固定時系列画像の生成手法の説明に利用する図である。 座標固定時系列画像の一例を表す図である。 不良な座標固定状態を説明する図である。 撮影画像から得られる被測定物体の表面の変位の時間変化例を示すグラフである。 被測定物体の表面の変位における誤差成分が除去された時間変化例を示すグラフである。 撮影画像を利用して算出される被測定物体の振動の周波数特性の一例を示す図である。 被測定物体の振動の周波数特性の一例を示す図である。 被測定物体の撮影における光軸を含むＸＺ平面での光学配置を示す図である。 被測定物体の撮影における光軸を含むＹＺ平面での光学配置を示す図である。 奥行移動量の算出手法の一例を説明する図である。 撮影画像における被測定物体の表面の面外変位ベクトルの一例を説明する図である。 面外変位ベクトルの長さと撮像中心からの距離との関係の一例を表す図である。 面外変位ベクトルの長さと撮像中心からの距離との関係の別の例を表す図である。 撮影画像における被測定物体の表面の面外変位ベクトルと面内変位ベクトルの関係を説明する図である。 面外変位ベクトルの長さと撮像中心からの距離との関係の一例を表す図である。 面外変位ベクトルの長さと撮像中心からの距離との関係のさらに別の例を表す図である。 被測定物体の固有振動の様子を説明する図である。 被測定物体の固有振動の周波数特性を説明する図である。 被測定物体の表面に亀裂がある場合の面内変位を図１２Ｂと共に説明する図である。 被測定物体の表面に亀裂がある場合の面内変位を図１２Ａと共に説明する図である。 被測定物体の表面に亀裂がある場合の面内変位の時間変化の一例を示す図である。 被測定物体の表面に亀裂がある場合において亀裂からの距離（位置）と面内変位との関係例を説明する図である。 異常判定装置が実行する異常判定処理の一例を示すフローチャートである。 本発明に係る第２実施形態の異常判定装置の機能構成を説明する図である。 異常判定装置のハードウェア構成例を示すブロック図である。
以下に、図面を参照しながら、本発明に係る実施形態を説明する。なお、以下に述べる実施形態はいずれも、本発明の範囲を限定するものではない。
＜第１実施形態＞
図１Ａは、本発明に係る第１実施形態の異常判定装置を利用して被測定物体の異常を判定する構成を説明する図である。第１実施形態の異常判定装置１００は、撮影装置１に接続され、当該撮影装置１により撮影された画像を撮影装置１から受信する機能を備える。
撮影装置１は、動画を撮影する機能を備え、第１実施形態では、撮影対象である被測定物体１０の表面を動画により撮影することによって、時系列のフレーム画像（以下、時系列画像と記す）を生成する。すなわち、時系列画像は、複数のフレーム画像で構成されている。時系列画像のフレームレートは、例えば、４００ｆｐｓ（frames per second（フレーム毎秒））である。なお、被測定物体１０は、ここでは、移動や回転等の運動を行う運動物体であり、時系列画像のフレームレートは、その被測定物体１０の固有振動数を考慮して適宜設定され、４００ｆｐｓに限定されない。
異常判定装置１００は、撮影装置１が生成した時系列画像におけるフレーム画像間での被測定物体１０の表面の差異を利用して、被測定物体１０の撮影された表面における変位を算出する機能を備える。異常判定装置１００は、例えば、ＰＣ（Personal Computer）やサーバなどの情報機器（信号処理装置）である。
第１実施形態では、図１Ｂに示すように、異常判定装置１００は、機能部として、座標系固定部２と、変位算出部３と、変位差算出部４と、奥行移動量算出部５と、変位分離部６と、判定部７とを備える。判定部７は、図１Ｃに示すように、３次元空間分布情報解析部８と、時間変化情報解析部９とを備える。異常判定装置１００の各機能部は、情報機器に備えられている演算資源であるＣＰＵ（Central Processing Unit）が、記憶資源であるメモリやＨＤＤ（Hard Disk Drive）に格納されているコンピュータプログラム（以下、プログラムとも記す）を実行することによって実現される。
異常判定装置１００における座標系固定部２は、撮影装置１から時系列画像を受信し、受信した時系列画像の複数のフレーム画像（撮影画像）を利用して、座標固定時系列画像を生成する機能を備える。座標固定時系列画像とは、次のような時系列の画像である。ここで、時系列画像の複数のフレーム画像のうち、基準として定めたフレーム画像において設定された基準点が、時系列の複数のフレーム画像において、被測定物体１０の運動による変位に応じて変位していくとする。それら時系列のフレーム画像における基準点の位置が一致するように各フレーム画像の向きを回転や変位させた時系列のフレーム画像をここでは座標固定時系列画像と称する。
図２Ａと図２Ｂと図２Ｃは、座標系固定部２の機能を具体例を用いて説明する図である。この具体例では、被測定物体１０は、図２Ａに示すような、回転軸２２を中心として回転するプロペラ状の１枚の羽根（被測定物体）２１である。また、時系列画像において基準として定めた図２Ａに示す第１フレーム画像において選択領域２３が設定されたとする。選択領域２３は、被測定物体２１の像を含む領域である。選択領域２３は、この例では、矩形状であり、当該矩形状の一つの角Ｐ１を基準点とする。さらに、フレーム画像上における位置を表す座標は、互いに直交するＸ軸とＹ軸による二次元直交座標系を用いて表すとし、第１フレーム画像における基準点Ｐ１の座標は（Ｘ１、Ｙ１）と表す。
図２Ｂは、図２Ａにおける選択領域２３を、基準点Ｐ１を中心にして角度θだけ回転させたものである。図２Ｃは、第１フレーム画像が含まれる時系列画像において、第１フレーム画像よりも後の時間に撮影された第２フレーム画像を表す。
座標系固定部２は、図２Ｂにおける角度θを１°刻みで０°から３６０°まで回転させた選択領域２３の各画像を、例えば図２Ｃの第２フレーム画像に照らし合わせ、照らし合わせた画像同士の相関値（画像の類似度）を画像相関法により算出する。また、座標系固定部２は、その相関値の算出処理により、相関値が最大になる角度θ（以下、類似大角度θｍとも記す）の値を取得する。かつ、座標系固定部２は、相関値が最大になるように選択領域２３の画像を第２フレーム画像に重畳した場合における基準点Ｐ１の位置の座標を取得する。つまり、相関値が最大になるように第２フレーム画像に重畳された選択領域２３は、図２Ｃでは、点線による領域２４として表されており、選択領域２３の基準点Ｐ１に相当する位置Ｐ２の座標は（Ｘ２、Ｙ２）として表されている。
なお、画像回転には、例えばアフィン変換を用い、回転角の刻みは必要精度や計算コスト（処理量）に応じて適宜設定してよく、１°刻みに限定されない。また、画像の類似度を算出する手法として、画像相関法以外の手法が用いられてもよい。さらに、画像回転において、画像補間処理が施されてもよい。さらにまた、画像の類似度を算出する処理と、画像回転の処理とにおいて、座標系固定部２が、画像の解像等を考慮して算出される計算コストに応じて処理方法を選択する機能を備えていてもよい。
図３Ａと図３Ｂは座標固定時系列画像を説明する図である。
図３Ａは図２Ａにおける選択領域２３に相当する画像である。図３Ｂは、図２Ｃにおける領域２４を類似大角度θｍだけ選択領域２３の向きに合わせる方向（換言すれば、選択領域２３の像が図２Ａの状態から図２Ｃの状態に変位した方向とは逆向き）に回転した画像である。図３Ｂにおける実線は第２フレーム画像における領域２４に映し出されている被測定物体２１の像（羽根の像）を示す。一点鎖線は第１フレーム画像における選択領域２３に映し出されている被測定物体２１の像（羽根の像（図３Ａに表されている被測定物体２１の像に相当する像）を示す。図３Ｂでは、図２Ａにおける選択領域２３において設定された基準点Ｐ１と、図２Ｃにおける領域２４において基準点Ｐ１に相当する点Ｐ２との位置が一致するように、領域２３，２４の像が重畳された状態で表されている。
時系列画像における各フレーム画像、又は、時系列画像から選択された複数のフレーム画像において、上記同様な、フレーム画像の変位（回転）の処理とフレーム画像の重畳処理とが実行されることにより、座標固定時系列画像が生成される。
なお、前述したように、基準のフレーム画像において設定された基準点Ｐ１と、他のフレーム画像における基準点Ｐ１に相当する点とが一致するようにフレーム画像が重畳されている図３Ｂに表されるような状態を、良好な座標固定状態であると称する。これに対し、基準のフレーム画像において設定された基準点Ｐ１と、他のフレーム画像における基準点Ｐ１に相当する点とがずれた状態でフレーム画像が重畳している状態を、良好でない（不良な）座標固定状態であると称する。不良な座標固定状態の一例が図４に表されている。
図３Ｂに表されているように、良好な座標固定状態で同じ被測定物体２１の像が重畳して表されているのにも拘わらず、像がずれて表されている場合がある。この像のずれは被測定物体２１自体の変形に因るものである。また、図４に表されるように、不良な座標固定状態で同じ被測定物体２１の像が重畳して表されている場合に生じる像のずれは、被測定物体２１自体の変形だけでなく、不良な座標固定状態（基準点のずれ）をも関与した原因に因るものである。
変位算出部３は、座標固定時系列画像から前記被測定物体の表面の変位の２次元空間分布を算出する機能を備える。第１実施形態では、変位算出部３は、座標系固定部２で生成された座標固定時系列画像における像の変位量を算出する機能を備える。
座標固定時系列画像における像の変位量について、具体例を挙げて説明する。図３Ｂにおける座標固定時系列画像において表されている被測定物体２１の像は四角形状であり、ここでは、４つの角のそれぞれをＡ，Ｂ，Ｃ，Ｄと表すこととする。座標固定時系列画像に表されている複数の被測定物体の像を時系列に並べると、被測定物体の変位（運動、回転）に応じて、被測定物体の像は拡大と縮小を繰り返す。これにより、座標固定時系列画像において、図３Ｂに表されるような被測定物体の像の角Ａ，Ｂ，Ｃ，Ｄを時系列に辿っていくと、角Ａ～Ｄは変位する。
図５Ａには、座標固定時系列画像において基準として定めた被測定物体２１の像における角Ａ～Ｄの位置を基準とした角Ａ～Ｄの変位量（Ｙ方向の変位）の一例が時系列に表されている。座標固定時系列画像が良好な座標固定状態である場合には、角Ａ～Ｄの変位は、図５Ａにおける実線Ａ１～Ｄ１に表されるような時間変化を表す。座標固定時系列画像が不良な座標固定状態である場合には、角Ａ～Ｄの変位は、図５Ａにおける点線Ａ２～Ｄ２に表されるような時間変化を表す。点線Ａ２～Ｄ２に表される角Ａ～Ｄの変位は、実線Ａ１～Ｄ１に表されるような角Ａ～Ｄの変位に、不良な座標固定状態に起因した誤差成分が加算されている変位である。
変位算出部３は、座標系固定部２で生成された座標固定時系列画像における像の変位量を、例えば被測定物体２１の基準とする像と撮影時点が異なる被測定物体２１の他の像との比較により算出する。なお、変位算出部３は、時系列画像におけるフレーム画像間の相関を画像相関法により算出することにより、被測定物体２１の角ではなく表面（羽根の面）の変位を算出してもよい。また、変位算出部３は、画像相関法を利用してフレーム画像間の相関を変位量として算出する場合に、二次曲線補間法をも利用することにより、撮影装置１における光学素子の画素ピッチの１００分の１レベルの変位量を算出することが可能となる。さらに、変位算出部３は、算出した変位量に基づいて、二次元空間における変位分布図を生成してもよい。さらに、変位算出部３は、撮影装置１のレンズの光軸に対して、被測定物体の表面の法線方向が傾いている場合には、透視投影変換処理を実行することにより、撮影装置１のレンズの光軸に対する被測定物体の表面の法線方向の傾きが補正された変位量を算出してもよい。
変位差算出部４は、変位算出部３により算出された変位量から、不良な座標固定状態に起因した誤差成分を除去する機能を備えている。具体例を挙げると、変位差算出部４は、変位算出部３により算出された被測定物体２１の角Ａ～Ｃの変位量から角Ｄの変位量を差し引く。ここで、被測定物体の運動時における当該被測定物体自体の変形が、不良な座標固定状態に起因した誤差成分の大きさに比べて十分に小さく被測定物体が剛体と見なせるとする。また、角Ａ～Ｄの変位量に含まれる不良な座標固定状態に起因した誤差成分は同様である。これらのことにより、角Ａ～Ｃの変位量から角Ｄの変位量を差し引くことにより、不良な座標固定状態に起因した誤差成分が除去された図５Ｂに表されるような角Ａ～Ｃの変位量が算出される。すなわち、変位差算出部４は、変位算出部３により算出された２次元空間分布の被測定物体の表面の変位と、２次元空間分布における被測定物体の表面の変位の中から基準として選択された変位との差分を表す２次元変位差分布を算出する。
変位差算出部４によって不良な座標固定状態に起因した誤差成分が除去された変位量が得られることにより、次のように、被測定物体２１の振動状態の評価性能を高めることが可能となる。すなわち、図２Ａに表される被測定物体２１は、プロペラ状の羽根であり、片持ち梁状であることから、その大きさと材質に応じた周波数でもって固有振動する。１次固有振動モード（基本モード）の振動に比べて、高次固有振動モードの振幅は小さい。このため、変位算出部３により算出された変位量に、不良な座標固定状態に起因した誤差成分が含まれている場合には、変位算出部３により算出された変位量を利用して得られる被測定物体２１の振動の周波数特性は、図６Ａのように表される。つまり、図６Ａは、変位算出部３により算出された変位量に基づいて得られる、図３Ｂに表される被測定物体２１の角Ａにおける振動の周波数特性を表すグラフである。この図６Ａでは、被測定物体２１の１次固有振動モードの固有周波数における振動は現れているが、高次固有振動モードの振動は、不良な座標固定状態に起因した誤差成分による雑音成分に埋もれて現れていない。
これに対し、変位差算出部４によって不良な座標固定状態に起因した誤差成分が除去された変位量を利用することにより、被測定物体２１の角Ａに関する図６Ｂに表されるような振動の周波数特性を得ることができる。つまり、図６Ｂでは、被測定物体２１の１次固有振動モードの固有周波数における振動だけでなく、２次モードや３次モードの高次モードの固有周波数での振動も現れている。このように、高次の固有振動モードでの被測定物体２１の振動状態を得ることが可能となるため、被測定物体２１の振動状態の評価性能を高めることが可能となる。
ここで、撮影装置１による被測定物体の撮影時における光学系について図７Ａと図７Ｂを利用して説明する。図７Ａと図７Ｂにおいて、撮影装置１のレンズ（図示せず）の光軸に対して撮像面Ｔは直交しており、光軸に沿う方向をＺ方向とし、当該Ｚ方向に互いに直交し、かつ、撮像面Ｔに平行な二方向をＸ方向とＹ方向とする。図７Ａには、光軸を含み、かつ、Ｘ方向とＺ方向に沿うＸＺ平面上における光学系が表され、図７Ｂには、光軸を含み、かつ、Ｙ方向とＺ方向に沿うＹＺ平面上における光学系が表されている。撮像面Ｔにおける位置を表す座標は、光軸との交点を原点とした二次元直交座標系を用いて表すとする。
さらに、図７Ａと図７Ｂにおいて、被測定物体２１の表面Ｑａにおける点Ｍが撮像面Ｔにおいて点Ｎに撮像されるとする。
ここで、被測定物体２１の表面ＱａがＺ方向に移動したことによる点Ｍの移動量をΔｚとする。この移動量を奥行移動量と称する。このように点Ｍが移動した場合、撮像面Ｔにおいて、点Ｍの像は、点Ｎから点Ｎｂの位置に移動する。このような移動による移動量を以下では面外変位と称する。また、点Ｎから点ＮｂまでのＸ方向の移動量をδＸiと表し、点Ｎから点ＮｂまでのＹ方向の移動量をδＹiと表すとする。
一方、被測定物体２１の移動により、表面Ｑａの歪み変形が生じたとする。この歪みによって表面Ｑａの点ＭがＸ方向とＹ方向に、それぞれ、ΔＸ、ΔＹだけ変位したとする。この変位により、撮像面Ｔにおいて、点Ｍの像は、点Ｎｃの位置に撮像される。点Ｎｂから点Ｎｃへの移動量を以下では面内変位と称する。また、点Ｎｂから点ＮｃまでのＸ方向の移動量をΔＸiと表し、点Ｎｂから点ＮｃまでのＹ方向の移動量をΔＹiと表すとする。
ここで、図７Ａと図７Ｂにおいて、レンズの主点と被測定物体２１の表面Ｑａとの間の距離を撮像距離Ｌとし、レンズの主点と撮像面Ｔとの間の距離を焦点距離ｆとする。また、撮像面Ｔにおいて、点Ｎと原点ＯとのＸ方向の距離をＸとし、点Ｎと原点ＯとのＹ方向の距離をＹとする。この場合、面外変位のＸ方向の移動量δＸiとＹ方向の移動量δＹiは、数式１により表すことができる。また、面内変位のＸ方向の移動量ΔＸｉとＹ方向の移動量ΔＹｉは、数式２により表すことができる。
（数式１）
Figure 0007248149000001

（数式２）
Figure 0007248149000002
異常判定装置１００の奥行移動量算出部５は、次のように被測定物体１０の奥行移動量（換言すれば面外変位）を算出する機能を備える。奥行移動量（面外変位）の算出手法を図８を利用して説明する。
図８に示すように、被測定物体２１の表面Ｑａの点Ｍ１，Ｍ２のそれぞれがΔＺだけ撮影装置１の光軸に沿うＺ方向に移動した場合、点Ｍ１，Ｍ２に関する面外変位はδＸ１ｉ、δＸ２ｉとなる。ここで、下記の数式３で示される面外変位δＸ１ｉ、δＸ２ｉの差分δｄを用いて、数式４から奥行移動量Δｚが求められる。なお、被測定物体２１の表面Ｑａにおける点Ｍ１，Ｍ２間の距離をαとした場合に、撮像面Ｔにおける点Ｍ１の像Ｎ１ａと点Ｍ２の像Ｎ２ａとの間の距離をβとする。数式４におけるβは、その像Ｎ１ａ，Ｎ２ａ間の距離βに相当する。また、そのような距離αと距離βとの間には、数式５に表されるような関係がある。さらに、差分δｄは、図５Ｂに表されるような誤差成分が除去された変位特性と同等なものであり、変位差算出部４により算出される。奥行移動量算出部５は、数式３、数式４に基づいて奥行移動量Δｚを算出する。
（数式３）
Figure 0007248149000003

（数式４）
Figure 0007248149000004

（数式５）
Figure 0007248149000005
ここで、面外変位ベクトルについて図９Ａ～図９Ｃを利用して説明する。
図７Ａに表されるように被測定物体２１の表面Ｑａが一様にΔＺだけ撮影装置１の光軸に沿うＺ方向に移動した場合、図９Ａに表されるように、撮像面Ｔにおける面外変位ベクトルＶｏは撮影装置１の光軸との交点Ｏ（換言すれば、撮像中心）を中心とした放射状のベクトル群となる。このような面外変位ベクトルＶｏにおいて、撮像面Ｔにおける面外変位ベクトルＶｏの長さは撮像中心Ｏからの距離に比例して長くなる（数式１参照）。このような場合には、例えば撮像中心ＯからのＸ方向の距離と、面外変位ベクトルの長さとの関係は、図９Ｂのグラフに表される直線Ｄ１のような関係となり、この直線Ｄ１の傾きが奥行移動量ΔＺに相当する。ところで、図９Ｃのグラフに表される線Ｄ２のように、区間によって線Ｄ２の傾きが異なる場合には、区間毎に奥行移動量ΔＺが異なる。このような場合は、例えば、数式１から区間毎に数式１を利用することにより、面外変位は算出される。
奥行移動量算出部５は、上記のようにしても奥行移動量Δｚ（面外変位）を算出することができる。なお、奥行移動量算出部５は、数式４、数式５に基づく方法以外に、図１０Ｂと図１０Ｃに表される変位について直線回帰計算を行うことにより、奥行移動量を算出してもよい。
変位分離部６は、面内変位を算出する機能を備える。図１０Ａ～図１０Ｃは面外変位ベクトルと面内変位ベクトルの関係を説明する図である。図１０Ａにおいて、点線Ｖｋは、座標固定時系列画像における変位量（以下、計測ベクトルＶｋ（Ｖｘｉ，Ｖｙｉ）と呼ぶ）を表す。計測ベクトルＶｋ（Ｖｘｉ，Ｖｙｉ）は、面外変位ベクトルδ（δｘｉ，δｙｉ）と面内変位ベクトルΔ（Δｘｉ，Δｙｉ）との合成ベクトルである。
図１０Ｂ，図１０Ｃに示される実線Ｄ１，Ｄ２は、面外変位ベクトルδのＸ成分を表し、これに面内変位ベクトルΔのＸ成分が加算されると、点線で表されるような計測ベクトルＶｋのＸ成分となる。面外変位の大きさに対して面内変位の大きさが十分小さい場合には、面内変位が考慮されていない数式４により得られるΔＺを奥行移動量と近似できる。このため、図１０Ｃにおける線Ｄ２の傾きが異なる区間ごとに、そのΔＺを数式１に代入することにより、面外変位が求められる。
一方、変位分離部６は、変位差算出部４により算出された各区間の各点における計測ベクトルＶｋのＸ成分から面外変位ベクトルδのＸ成分を減算することにより、面内変位ベクトルΔのＸ成分を計測ベクトルＶｋから分離する。なお、上記具体例では、座標固定時系列画像における像のＸ方向の面内変位を算出する方法について述べたが、Ｚ方向やＹ方向における面内変位に関しても、同様の方法で算出することができる。
判定部７は、被測定物体２１における表面の変位の時間変化に基づいて被測定物体２１の異常を検知する機能を備えている。この例では、判定部７は、３次元空間分布情報解析部８と時間変化情報解析部９を備えている。３次元空間分布情報解析部８は、着目した時点における被測定物体２１の３次元的な変位分布を解析する機能を備える。時間変化情報解析部９は、被測定物体２１の表面における着目した部分における３次元的な変位の時間変化を解析する機能を備える。
ここで、被測定物体２１の固有振動について説明する。図１１Ａには、被測定物体（プロペラ状の羽根）２１が回転軸２２を中心にして回転している場合に、被測定物体２１が正常に固有振動している場合の様子が実線により表され、また、被測定物体２１の振動に異常が生じている場合の様子が点線により表されている。ここでの例では、被測定物体２１は、長さ７００ｍｍ（ミリメートル）、幅１５０ｍｍ、厚さ３ｍｍの大きさを持ち、２００ｒｐｍ（rotations per minute；回転毎分）の速さで回転する鋼製の翼である。
このような被測定物体２１における羽根の面が撮影装置１により撮影され、これにより、撮影装置１に対して被測定物体２１の羽根が近付く、又は、遠ざかる方向の変位（つまり、面外変位）が奥行移動量算出部５により算出されるとする。このことを考慮し、図１１Ｂには、被測定物体２１の固有振動による面外変位の周波数特性が表されている。被測定物体２１は、正常に固有振動している場合には、図１１Ｂにおいて実線により表されるような振動の周波数特性を持ち、１次、２次、３次のそれぞれの固有振動数は、１０Ｈｚ、５０Ｈｚ、１５０Ｈｚである。このような正常な振動時における被測定物体２１の固有振動数は予め異常判定装置１００に備えられている記憶装置に記憶される。
これに対し、被測定物体２１に例えば内部空洞等の異常部分が存在することにより、被測定物体２１の振動に異常が生じている場合には、被測定物体２１は、図１１Ｂにおける点線に表されるような振動の周波数特性を持ち、正常時とは異なる周波数特性となる。図１１Ｂに表されるように、異常な振動状態での被測定物体２１の１次、２次、３次のそれぞれの固有振動数は、正常時よりも低下する傾向にある。
このように、被測定物体２１の面外変位の振動の周波数特性は、正常時と異常時とで差異が見られることから、この周波数特性を利用することにより、被測定物体２１の異常を検知することができる。このことを考慮し、被測定物体２１の面外変位の振動状態を検知するために、前述したように、第１実施形態では、撮影装置１の動画のフレームレートは、サンプリング定理を鑑み、３次の固有振動数１５０Ｈｚの２倍以上の４００ｆｐｓとしている。なお、フレームレートは、上述のように、被測定物体の振動の周波数特性を考慮して適宜設定してよいものであり、４００ｆｐｓに限定されない。
なお、撮像距離は５ｍ、撮影装置のレンズの焦点距離は２００ｍｍ、画素ピッチは４μｍで、１画素あたり０．１ｍｍの分解能を実現している。ここで、変位算出部３で前述の画像相関演算において２次曲線補間法を用いて１／１００画素まで変位を補間することにより、１μｍの変位計測分解能が実現される。
次に、上記のような被測定物体（プロペラ状の羽根）２１の表面に、図１２Ａに表されるように亀裂が生じている場合における面内変位について説明する。被測定物体２１の表面に亀裂が生じている場合には、図１２Ｂに表されるように、亀裂に起因した被測定物体２１の表面の開口部が被測定物体２１の回転運動に応じて開閉する。この亀裂に因る開口部の開閉によって被測定物体２１の表面における面内変位が生じる。
図１２Ｃは、点Ｊａと点Ｊｂにおける面内変位の時間変化を表す図であり、図１２Ｄは、点Ｊａと点Ｊｂを通る直線上の面内変位分布を示す図である。被測定物体２１の表面に亀裂が無い場合には、図１２Ｄにおいて実線で示される通り、空間的な面内変位分布は連続的となる。これに対し、亀裂が存在すると、図１２Ｄの点線で示される通り、空間的な面内変位分布は、点Ｊａと点Ｊｂの間で急激な断続的な変化を呈する。
したがって、このような面内変位の時間変化や空間的な面内変位分布に基づいて、被測定物体２１の表面における亀裂等に起因した被測定物体２１の異常が検知可能である。
上記のようなことを考慮し、判定部７の３次元空間分布情報解析部８は、着目した複数の時点における被測定物体の３次元的な変位分布を解析する。また、時間変化情報解析部９は、被測定物体の表面における複数の部分における３次元的な変位の時間変化を解析する。それら３次元空間分布情報解析部８と時間変化情報解析部９により得られた情報に基づいて、判定部７は、被測定物体２１の異常を判定する。この判定結果は、例えば報知装置に出力される。報知装置は、判定結果を、例えば画面表示により視覚的に、あるいは、スピーカーなどにより聴覚的に報知する。さらに、報知装置が出力する情報は、人が視覚的、聴覚的に認識できる形態の情報以外に、機械が読み込むための形態の情報でもよい。なお、上記例では、判定部７は、奥行移動量と面内変位の両方を利用して、被測定物体２１の異常を判定している。これに対し、判定部７は、奥行移動量と面内変位の一方を利用して、被測定物体２１の異常を判定してもよい。
次に、図１３を参照して、異常判定装置１００の動作フローの一例を説明する。図１３は、異常判定装置１００が実行する異常判定処理の一例を示すフローチャートである。
まず、異常判定装置１００は、撮影装置１から、被測定物体１０（２１）の表面が撮影されている時系列画像を取得する（Ｓ１）。その後、座標系固定部２は、時系列画像に含まれる第ｍ（ｍ＞１）枚目と第ｍ＋１枚目のフレーム画像の組を用いて被測定物体１０の表面内における変位量を算出する。また、座標系固定部２は、その算出した変位量を利用して、回転テンプレートマッチングにて、第ｍ枚目と第ｍ＋１枚目のフレーム画像間の回転角と平行移動変位を検出する（Ｓ２）。さらに、座標系固定部２は、第ｍ＋１枚目のフレーム画像を、検出した回転角分だけ逆回転、また、平行移動変位だけ逆変位させることにより、座標固定時系列画像を生成する（Ｓ３）。その後、変位算出部３が、座標固定時系列画像において被測定物体の表面の変位量を算出する（Ｓ４）。
そして、変位差算出部４が、座標固定時系列画像において算出された変位量から、同じ座標固定時系列画像において基準として選択された変位量を差し引くことにより、変位差（つまり、２次元変位差分布）を算出する（Ｓ５）。
その後、奥行移動量算出部５が、変位差算出部４により得られた変位差から奥行移動量（面外変位）を算出する（Ｓ６）。また、変位分離部６が、奥行移動量算出部５により得られた奥行移動量を、変位差算出部４により得られた変位差から減算することにより、面内変位を算出する（Ｓ７）。
然る後、座標系固定部２は、時系列画像に含まれる所定のｎ（＞１）枚のフレーム画像について、奥行移動量と面内変位を算出したか否かを判断する（Ｓ８）。ｎ枚のフレーム画像について、奥行移動量と面内変位の算出処理が終了していない場合（Ｓ８でＮｏ）、ステップＳ１に戻り、座標系固定部２は、時系列画像に含まれる次のフレーム画像の組、つまり、第ｍ＋１枚目と第ｍ＋２枚目のフレーム画像を用いて、座標固定時系列画像を生成する。
一方、ステップＳ８において、座標系固定部２が、ｎ枚のフレーム画像について、奥行移動量と面内変位の算出処理が終了したと判断した場合（Ｓ８でＹｅｓ）、判定部７が、判定処理を実行する。つまり、判定部７が、算出された奥行移動量と面内変位を解析し（Ｓ９）、解析結果を利用して、被測定物体１０の異常判定を行う（Ｓ１０）。なお、異常判定の後に、異常判定装置１００は、判定結果を報知装置に出力してもよい。報知装置の報知により、ユーザは、例えば、被測定物体１０の修理または精密調査の要否を判断することができる。
このように、異常判定装置１００は異常判定処理を実行する。
第１実施形態の構成によれば、ステレオカメラを用いることなく、単一の撮影装置の撮影画像を利用して、つまり、装置の大型化やコストを抑制しつつ、運動物体の異常を精度良く判定することが可能である。
＜第２実施形態＞
以下に、本発明に係る第２実施形態を説明する。なお、第２実施形態の説明において、第１実施形態の異常判定装置等を構成する構成部分と同一名称部分には同一符号を付し、その共通部分の重複説明は省略する。
図１４は、第２実施形態の異常判定装置の機能構成を説明する図である。第２実施形態では、撮影装置１の撮影方向を変化させる走査装置３１が備えられており、異常判定装置１００は、第１実施形態の構成に加えて、走査制御部１２が備えられている。この走査制御部１２はＣＰＵにより実現される。走査制御部１２は、被測定物体１０の移動に応じて撮影装置１の撮影方向が変化するように走査装置３１を制御する。具体的は、例えば、走査制御部１２は、変位算出部３が、座標固定時系列画像を生成する際に求めた角度情報等を取得し、この取得した情報に基づいて、撮影方向の移動量の情報を生成し、当該情報を走査装置３１に出力する。走査装置３１は、走査制御部１２からの情報を利用して、撮影装置１の撮影方向を変化させる。
第２実施形態における上記以外の構成は、第１実施形態の構成と同様であり、ここでは、その説明は省略する。
第２実施形態では、第１実施形態と同様の構成を備えていることにより、第１実施形態と同様の効果を得ることができる。その上、第２実施形態の異常判定装置１００は、走査制御部１２を備えているので、運動中の被測定物体１０が撮影装置１により追跡されて撮影されることとなる。これにより、被測定物体１０が撮影装置１の視野以上の範囲に移動する場合であっても、被測定物体１０を途切れることなく連続的に観測できて、異常判定装置１００は、広い領域に移動する被測定物体１０の異常判定も高精度に行うことができる。
なお、走査装置３１は、例えば、２軸のガルバノメータスキャナや、ポリゴンスキャナなどを用いた構造を有するものであってもよいし、電気光学効果を用いた素子を利用した構成を有するものであってもよい。
＜ハードウェア構成について＞
図１５は第１と第２の実施形態における異常判定装置１００のハードウェア構成例を示すブロック図である。
図１５に示すように、異常判定装置１００を構成する信号処理装置９００は、一例として、以下のような構成を含む。
・ＣＰＵ（Central Processing Unit）９０１
・ＲＯＭ（Read Only Memory）９０２
・ＲＡＭ（Random Access Memory）９０３
・ＲＡＭ９０３にロードされるプログラム９０４
・プログラム９０４を格納する記憶装置９０５
・記憶媒体９０６の読み書きを行うドライブ装置９０７
・通信ネットワーク９０９と接続する通信インターフェース９０８
・データの入出力を行う入出力インターフェース９１０
・各構成要素を接続するバス９１１
第１と第２の実施形態における異常判定装置１００の各機能部は、それらの機能を実現するプログラム９０４をＣＰＵ９０１が取得して実行することで実現される。プログラム９０４は、例えば、予め記憶装置９０５やＲＯＭ９０２に格納されており、必要に応じてＣＰＵ９０１がＲＡＭ９０３にロードして実行される。なお、プログラム９０４は、通信ネットワーク９０９を介してＣＰＵ９０１に供給されてもよいし、予め記憶媒体９０６に格納されており、ドライブ装置９０７が当該プログラムを読み出してＣＰＵ９０１に供給してもよい。
以上、第１と第２の実施形態を模範的な例として本発明を説明した。しかしながら、本発明は、上述した実施形態には限定されない。即ち、本発明は、本発明のスコープ内において、当業者が理解し得る様々な態様を適用することができる。
１ 撮影装置
２ 座標系固定部
３ 変位算出部
４ 変位差算出部
５ 奥行移動量算出部
６ 変位分離部
７ 判定部
８ ３次元空間分布情報解析部
９ 時間変化情報解析部
１０ 被測定物体
３１ 走査装置
１００ 異常判定装置

Claims (6)

  1. 被測定物体の表面が時間の経過と共に撮影されている複数の撮影画像を含む時系列画像における前記撮影画像のそれぞれにおいて前記被測定物体の表面の像に基づいて定められた前記撮影画像における基準点が一致する方向に複数の前記撮影画像の向きを変化させることにより、複数の前記撮影画像における前記被測定物体の表面の像の位置と向きが合わせられている座標固定時系列画像を生成する座標系固定手段と、
    前記座標固定時系列画像から前記被測定物体の表面の変位の２次元空間分布を算出する変位算出手段と、
    算出された前記２次元空間分布の前記被測定物体の表面の変位と、前記２次元空間分布における前記被測定物体の表面の変位の中から基準として選択された変位との差分を表す２次元変位差分布を算出する変位差算出手段と、
    前記２次元変位差分布から前記被測定物体の表面の像に直交する法線方向の前記被測定物体の表面の移動量を奥行移動量として算出する奥行移動量算出手段と、
    前記２次元変位差分布から前記奥行移動量を差し引くことにより、前記被測定物体の表面での変位量を面内変位として算出する変位分離手段と、
    前記面内変位と前記奥行移動量との一方又は両方を利用して、前記被測定物体の異常を判定する判定手段と、
    を有する異常判定装置。
  2. 前記判定手段は、前記面内変位の時間変化に基づいて、前記被測定物体の異常を判定する請求項１に記載の異常判定装置。
  3. 前記判定手段は、前記奥行移動量の時間変化に基づいて、前記被測定物体の異常を判定する請求項１に記載の異常判定装置。
  4. 前記被測定物体の表面を撮影する撮影装置の撮影方向を変化させる機能を持つ走査手段を、前記撮影装置の撮影方向が前記被測定物体の移動に応じて変化するように、制御する走査制御手段をさらに備える請求項１乃至請求項３の何れか一つに記載の異常判定装置。
  5. コンピュータによって、
    被測定物体の表面が時間の経過と共に撮影されている複数の撮影画像を含む時系列画像における前記撮影画像のそれぞれにおいて前記被測定物体の表面の像に基づいて定められた前記撮影画像における基準点が一致する方向に複数の前記撮影画像の向きを変化させることにより、複数の前記撮影画像における前記被測定物体の表面の像の位置と向きが合わせられている座標固定時系列画像を生成し、
    前記座標固定時系列画像から前記被測定物体の表面の変位の２次元空間分布を算出し、
    算出された前記２次元空間分布の前記被測定物体の表面の変位と、前記２次元空間分布における前記被測定物体の表面の変位の中から基準として選択された変位との差分を表す２次元変位差分布を算出し、
    前記２次元変位差分布から前記被測定物体の表面の像に直交する法線方向の前記被測定物体の表面の移動量を奥行移動量として算出し、
    前記２次元変位差分布から前記奥行移動量を差し引くことにより、前記被測定物体の表面での変位量を面内変位として算出し、
    前記面内変位と前記奥行移動量との一方又は両方を利用して、前記被測定物体の異常を判定する異常判定方法。
  6. 被測定物体の表面が時間の経過と共に撮影されている複数の撮影画像を含む時系列画像における前記撮影画像のそれぞれにおいて前記被測定物体の表面の像に基づいて定められた前記撮影画像における基準点が一致する方向に複数の前記撮影画像の向きを変化させることにより、複数の前記撮影画像における前記被測定物体の表面の像の位置と向きが合わせられている座標固定時系列画像を生成する処理と、
    前記座標固定時系列画像から前記被測定物体の表面の変位の２次元空間分布を算出する処理と、
    算出された前記２次元空間分布の前記被測定物体の表面の変位と、前記２次元空間分布における前記被測定物体の表面の変位の中から基準として選択された変位との差分を表す２次元変位差分布を算出する処理と、
    前記２次元変位差分布から前記被測定物体の表面の像に直交する法線方向の前記被測定物体の表面の移動量を奥行移動量として算出する処理と、
    前記２次元変位差分布から前記奥行移動量を差し引くことにより、前記被測定物体の表面での変位量を面内変位として算出する処理と、
    前記面内変位と前記奥行移動量との一方又は両方を利用して、前記被測定物体の異常を判定する処理と
    をコンピュータに実行させるコンピュータプログラム。
JP2021562241A 2019-12-04 2019-12-04 異常判定装置、異常判定方法およびコンピュータプログラム Active JP7248149B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/047311 WO2021111533A1 (ja) 2019-12-04 2019-12-04 異常判定装置、異常判定方法およびプログラム記憶媒体

Publications (3)

Publication Number Publication Date
JPWO2021111533A1 JPWO2021111533A1 (ja) 2021-06-10
JPWO2021111533A5 JPWO2021111533A5 (ja) 2022-06-27
JP7248149B2 true JP7248149B2 (ja) 2023-03-29

Family

ID=76222570

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021562241A Active JP7248149B2 (ja) 2019-12-04 2019-12-04 異常判定装置、異常判定方法およびコンピュータプログラム

Country Status (2)

Country Link
JP (1) JP7248149B2 (ja)
WO (1) WO2021111533A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023013058A1 (ja) * 2021-08-06 2023-02-09 日本電気株式会社 状態判定装置、状態判定方法、及び、コンピュータ読み取り可能な記録媒体

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009198452A (ja) 2008-02-25 2009-09-03 Osaka Prefecture Univ 複数画像を用いた変形計測装置
WO2016152076A1 (ja) 2015-03-20 2016-09-29 日本電気株式会社 構造物の状態判定装置と状態判定システムおよび状態判定方法
CN108460788A (zh) 2018-03-20 2018-08-28 西安新拓三维光测科技有限公司 一种用于大型风力叶片运动追踪的视频测量方法
CN109099852A (zh) 2018-07-11 2018-12-28 上海大学 一种测量风力机叶片相对变形的结构故障检测方法及***

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140000612A (ko) * 2012-06-22 2014-01-03 전자부품연구원 블레이드 검사 기능을 구비한 풍력 발전기 및 블레이드 검사 방법
JP2017090145A (ja) * 2015-11-06 2017-05-25 株式会社日立製作所 風車ブレード変形計測装置及び風車ブレード変形評価システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009198452A (ja) 2008-02-25 2009-09-03 Osaka Prefecture Univ 複数画像を用いた変形計測装置
WO2016152076A1 (ja) 2015-03-20 2016-09-29 日本電気株式会社 構造物の状態判定装置と状態判定システムおよび状態判定方法
CN108460788A (zh) 2018-03-20 2018-08-28 西安新拓三维光测科技有限公司 一种用于大型风力叶片运动追踪的视频测量方法
CN109099852A (zh) 2018-07-11 2018-12-28 上海大学 一种测量风力机叶片相对变形的结构故障检测方法及***

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HUANG et al.，Application of Image Analysis and Time-Frequency Analysis for Tracking the Rotating Blades Vibration，Proc. of SPIE，2014年，Vol. 9061，906111
ZHANG et al.，Monitoring the Rotation Status of Wind Turbine Blades Using High-speed Camera System，Proc. of SPIE，2013年，Vol. 8769，876916

Also Published As

Publication number Publication date
US20230003664A1 (en) 2023-01-05
JPWO2021111533A1 (ja) 2021-06-10
WO2021111533A1 (ja) 2021-06-10

Similar Documents

Publication Publication Date Title
Baqersad et al. Photogrammetry and optical methods in structural dynamics–A review
JP5624394B2 (ja) 位置姿勢計測装置、その計測処理方法及びプログラム
JP5297403B2 (ja) 位置姿勢計測装置、位置姿勢計測方法、プログラムおよび記憶媒体
Sładek et al. Development of a vision based deflection measurement system and its accuracy assessment
WO2016152076A1 (ja) 構造物の状態判定装置と状態判定システムおよび状態判定方法
Carr et al. Full-field dynamic strain on wind turbine blade using digital image correlation techniques and limited sets of measured data from photogrammetric targets
JP5388921B2 (ja) ３次元距離計測装置及びその方法
WO2013111229A1 (ja) カメラ校正装置、カメラ校正方法およびカメラ校正用プログラム
KR101293040B1 (ko) 1대의 진동 측정기를 이용한 3차원 진동 측정 방법 및 시스템
Li et al. Realtime in-plane displacements tracking of the precision positioning stage based on computer micro-vision
WO2016152075A1 (ja) 構造物の状態判定装置と状態判定システムおよび状態判定方法
WO2019097578A1 (ja) 変位成分検出装置、変位成分検出方法、及びコンピュータ読み取り可能な記録媒体
JP6813025B2 (ja) 状態判定装置、状態判定方法、及びプログラム
Sarrafi et al. Wind turbine blade damage detection via 3-dimensional phase-based motion estimation
JP7248149B2 (ja) 異常判定装置、異常判定方法およびコンピュータプログラム
US11846498B2 (en) Displacement amount measuring device, displacement amount measuring method, and recording medium
Qiu et al. A shape reconstruction and visualization method for a flexible hinged plate using binocular vision
Renaud et al. 3D vibrations reconstruction with only one camera
JP2016176806A (ja) 構造物の状態判定装置と状態判定システムおよび状態判定方法
Morlier et al. Virtual vibration measurement using KLT motion tracking algorithm
Jiang et al. A 6-DOF camera motion correction method using IMU sensors for photogrammetry and optical measurements
Sarrafi et al. Mapping motion-magnified videos to operating deflection shape vectors using particle filters
US12050183B2 (en) Abnormality determination device, abnormality determination method, and program storage medium
Winstroth et al. Wind turbine rotor blade monitoring using digital image correlation: assessment on a scaled model
Gao et al. Development of a high-speed videogrammetric measurement system with application in large-scale shaking table test

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220420

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220420

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230214

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230227

R151 Written notification of patent or utility model registration

Ref document number: 7248149

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151