JP7263983B2 - 撮影漏れ検出装置、及び、撮影漏れ検出方法 - Google Patents

撮影漏れ検出装置、及び、撮影漏れ検出方法 Download PDF

Info

Publication number
JP7263983B2
JP7263983B2 JP2019157868A JP2019157868A JP7263983B2 JP 7263983 B2 JP7263983 B2 JP 7263983B2 JP 2019157868 A JP2019157868 A JP 2019157868A JP 2019157868 A JP2019157868 A JP 2019157868A JP 7263983 B2 JP7263983 B2 JP 7263983B2
Authority
JP
Japan
Prior art keywords
image
imaging
omission
partial
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019157868A
Other languages
English (en)
Other versions
JP2021036213A (ja
Inventor
悠介 野中
英吾 瀬川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2019157868A priority Critical patent/JP7263983B2/ja
Priority to US16/990,353 priority patent/US11320386B2/en
Priority to EP20190708.6A priority patent/EP3786885B1/en
Priority to CN202010856494.9A priority patent/CN112444205B/zh
Publication of JP2021036213A publication Critical patent/JP2021036213A/ja
Application granted granted Critical
Publication of JP7263983B2 publication Critical patent/JP7263983B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8803—Visual inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/16—Image acquisition using multiple overlapping images; Image stitching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/993—Evaluation of the quality of the acquired pattern
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30132—Masonry; Concrete
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Analytical Chemistry (AREA)
  • Immunology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Multimedia (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

本発明は、撮影漏れ検出装置、及び、撮影漏れ検出方法に関する。
建築物及び橋梁などの損傷状態の画像を撮影し、記録することは、安全管理において重要である。損傷状態を記録する際には、詳細な損傷状態が判別できる定量的な情報、及び、損傷部分の位置の情報を取得することが望まれる。例えば、橋梁の床板１パネル（６ｍ×３ｍ）から０．１ｍｍの幅のひびわれを検出して記録する場合、１つの画像からこれら２つの情報を双方とも取得することは困難である。
床板全体を１つの画像に含むように撮影すると、０．１ｍｍの幅のひびわれを、当該画像において視認することはできないし、ひびわれを視認可能な画像から、ひびわれが床板全体のどの部分に存在するか知ることはできない。したがって、例えば、ひびわれを視認可能な画像を撮影する際に、ひびわれの位置を別途記録しておく、などの手間がかかる。
国際公開２０１８／１６８４０６号公報 特開２０１８－３６２２６号公報 特開２０１７－２１１９７６号公報
「画像特徴に基づくイメージモザイキング」、電子情報通信学会論文誌、Vol.J82-D-II、No.10、１９９９年１０月、pp.1581-1589
例えば、床板全体を含む広角画像と、ひびわれが視認可能な部分画像と、をコンピュータで制御される移動体を使用して取得する技術が存在する。当該技術では、部分画像を合成することで、ひびわれが視認可能な分解能を確保した合成画像を撮影する。当該技術では、まず、広角画像を撮影し、のりしろを考慮した部分画像の撮影計画を立案する。部分画像を取得する際には、広角画像との対応付けを行うことで、現在の移動体の位置を取得すると共に、移動体は、部分画像を撮影するために次に移動する位置に関する情報を取得する。当該技術では、これにより、適切な分解能で、漏れなく床板全体の部分画像を撮影することができる。
しかしながら、当該技術では、部分画像を取得する際に、コンピュータで制御される移動体を使用することが前提となる。
本発明は、１つの側面として、簡易な装置で撮影対象における損傷部分の撮影漏れを検出することを可能とすることを目的とする。
１つの実施形態では、撮影対象全体を撮影した広角画像、及び各々の撮影範囲をずらしながら撮影対象の一部分を順に撮影した複数の部分画像に基づいて、複数の部分画像各々の広角画像に対する位置を決定する。複数の部分画像の中から撮影した順が連続し、重複する部分を有さず、かつ少なくとも一方が損傷部分の画像を含む一対の部分画像を抽出する。抽出された一対の部分画像のうち損傷部分の画像を含む部分画像の外側に損傷部分が連続していると推定される場合、損傷部分が連続していると推定される部分画像の外側の位置を撮影漏れ候補領域として検出する。撮影漏れ候補領域が他の部分画像に含まれていない場合、撮影漏れ候補領域を撮影漏れ領域として検出する。決定された位置に基づいて、広角画像における撮影漏れ領域に対応する位置を報知する。
本発明は、１つの側面として、簡易な装置で撮影対象における損傷部分の撮影漏れを検出することを可能とする。
第１実施形態のシステム構成の一例を示すブロック図である。 重複している部分画像の一例を示す概念図である。 部分画像の撮影順序の一例を示す概念図である。 撮影漏れ候補領域の一例を示す概念図である。 撮影漏れ領域の報知の一例を示す概念図である。 撮影漏れ検出処理の対象となる複数の部分画像の一例を示す概念図である。 撮影漏れ検出処理の中間判定データの一例を示す表である。 本実施形態の一例を示すハードウェア構成図である。 第１実施形態の処理の流れの一例を示すフローチャートである。 第２実施形態のシステム構成の一例を示すブロック図である。 第２実施形態の処理の流れの一例を示すフローチャートである。
［第１実施形態］
以下、図面を参照して第１実施形態の一例を詳細に説明する。
図１に例示する画像処理システム１は、撮像装置１０、画像記憶装置２０、撮影漏れ検出装置３０及び表示装置４０を含む。撮像装置１０は、例えば、ユーザが手で保持して撮影する小型のデジタルカメラであってもよいし、スマートデバイスなどに内蔵されているカメラであってもよい。画像記憶装置２０は、撮像装置１０によって撮影される広角画像及び部分画像を記憶する。
撮影漏れ検出装置３０は、位置決定部３１、損傷検出部３２、撮影漏れ検出部３３、及び撮影漏れ報知部３４を含む。表示装置４０は、例えば、液晶ディスプレイなどであってよいし、撮像装置１０と一体化されている液晶ディスプレイであってもよい。画像記憶装置２０は、撮像装置１０及び撮影漏れ検出装置３０に接続されている代わりに、撮像装置１０に含まれていてもよいし、撮影漏れ検出装置３０に含まれていてもよい。また、撮像装置１０、画像記憶装置２０、撮影漏れ検出装置３０及び表示装置４０は、有線で接続されていてもよいし、無線で接続されていてもよい。
撮影漏れ検出装置３０の位置決定部３１は、広角画像における部分画像の各々の位置を決定する。広角画像は撮影対象全体を撮影した画像であり、撮影対象全体の範囲は、ユーザによって決定される。撮影対象は、例えば、橋梁の底部の所定の範囲の部分、ビルの壁部の所定の範囲の部分、及び、船舶の外装などであってよい。所定の部分画像は、撮影範囲をずらしながら撮影対象の一部分を順に撮影した画像である。一般に、損傷部分は、予め、目視で確認されており、部分画像は、損傷部分の詳細を知るためにユーザによって撮影される。
広角画像における部分画像の各々の位置を決定するために、例えば、部分画像の各々と広角画像との間の射影変換行列であるホモグラフィ行列を算出する。ホモグラフィはアフィン変換の拡張である。これにより、広角画像と部分画像の各々との位置の対応が判明し、広角画像における部分画像の各々の位置を決定することができる。損傷検出部３２は、部分画像の各々から損傷部分の画像の検出を行う。検出には、既存の手法を使用することができる。損傷は、例えば、ひびわれまたは汚損などであってよい。
撮影漏れ検出部３３は、（１）撮影した順序が連続する２つの部分画像に重複部分がなく、（２）損傷部分が部分画像の外側に延びており、（３）外側に延びている損傷部分を含む、当該２つの部分画像以外の部分画像が存在しない場合に、撮影漏れを検出する。部分画像の領域は矩形の領域となるので、矩形の４辺の各々に対応する４つの２変数１次連立不等式の解として、部分画像の領域を表すことができる。図２に例示するように、２つの部分画像ＢＧの各々の連立不等式に共通解が存在する場合は、（１）で重複部分が存在する、と判定する。
撮影した順序が連続する２つの部分画像に着目するのは、図３に例示するように、損傷部分ＤＭが連続する形状を有し、また、作業効率の観点からも、撮影漏れ防止の観点からも、近接領域は連続して（図２では、Ｐ１、Ｐ２、Ｐ３、Ｐ４の順で）撮影されるためである。近接領域を連続して撮影し、連続して撮影された２枚の画像が共通部分を含む場合、２枚の画像は重複している。一方、連続して撮影された２枚の画像が、共通部分を含まない場合、２枚の画像の間に撮影漏れ領域が存在するか、ユーザが意図的に撮影対象を変更した可能性がある。
撮影漏れ領域が存在する場合、連続して撮影された２つの部分画像の少なくとも一方で、図４に例示するように損傷部分ＤＭが部分画像ＢＧの外側に延びている可能性が高い。したがって、部分画像ＢＧの外側の損傷部分が延びていると推定される領域ＴＣを撮影漏れ候補領域とする。撮影漏れ候補領域の大きさ、及び、撮影漏れ領域の大きさは、部分画像と同様の大きさであってよい。
詳細には、例えば、部分画像ＢＧの画像端に、部分画像ＢＧの上下左右の辺に沿ったＮ画素（Ｎは、所定の整数）の幅をもつ画像端領域ＥＢを設ける。損傷部分の画像の少なくとも一部分が画像端領域ＥＢ内に存在する場合、（２）で当該損傷部分は部分画像の外側に延びている、と判定する。Ｎ画素は、例えば、部分画像の幅または高さの１／５０～１／７０程度の画素数であってよい。
撮影漏れ検出部３３は、撮影漏れ候補領域を含む部分画像の有無を調べる。詳細には、撮影漏れ候補領域の領域を表す連立不等式の解が、全ての部分画像の領域を表す連立不等式の解に含まれていない場合、当該撮影漏れ候補領域を撮影漏れ領域として検出する。
撮影漏れ報知部３４は、撮影漏れ領域をユーザに報知する。例えば、図５に例示するように、撮影装置４０の一例であるディスプレイ４０’の画面上に広角画像ＷＧを表示し、当該広角画像ＷＧ上に部分画像ＢＧの各々と検出した損傷部分の画像ＤＭと共に、撮影漏れ領域ＴＣを破線矩形で表示する。なお、撮影漏れ領域ＴＣの表示は一例であり、例えば、他の部分とは異なる色または明るさの矩形で撮影漏れ領域を表示するようにしてもよい。
図６に、損傷部分ＤＭ１、ＤＭ２、及びＤＭ３の順に、損傷部分に沿って撮影した部分画像Ｐ１～Ｐ１４を例示する。図７に、例示するように、部分画像Ｐ１及びＰ２、Ｐ２及びＰ３、Ｐ３及びＰ４、Ｐ４及びＰ５、Ｐ６及びＰ７、Ｐ８及びＰ９、Ｐ９及びＰ１０、Ｐ１０及びＰ１１、Ｐ１３及びＰ１４の組合せＡ、Ｂ、Ｃ、Ｄ、Ｆ、Ｈ、Ｉ、Ｊ、Ｍでは、重複がある。即ち、組み合わせに含まれる２つの部分画像は重複している。したがって、組み合わせＡ、Ｂ、Ｃ、Ｄ、Ｆ、Ｈ、Ｉ、Ｊ、Ｍでは、撮影漏れは存在しない。
部分画像Ｐ５及びＰ６、Ｐ７及びＰ８、Ｐ１１及びＰ１２、Ｐ１２及びＰ１３の組合せＥ、Ｇ、Ｋ、Ｌでは、重複がないため、即ち、組み合わせに含まれる２つの部分画像は重複していないため、撮影漏れが存在する可能性がある。また、組合せＥ、Ｇ、Ｋ、Ｌでは、部分画像の外側に延びる損傷部分が存在するため、まだ、撮影漏れが存在する可能性があり、部分画像の外側に延びる損傷部分の位置が撮影漏れ候補領域となる。
しかしながら、組合せＫ及びＬでは、撮影漏れ候補領域が他の部分画像の何れかに含まれているため、撮影漏れはない。一方、組合せＥでは、撮影漏れ候補領域が他の部分画像の何れにも含まれていないため、撮影漏れ候補領域は撮影漏れ領域として検出される。また、組み合わせＥにおいて、部分画像Ｐ５の外側に延びる損傷部分の位置、及び、部分画像Ｐ６の外側に延びる損傷部分の位置は、部分画像１つ分の大きさの領域、即ち、共通領域に存在する。この場合、撮影漏れ領域は、部分画像Ｐ５及びＰ６の双方に部分的に重複するように設定される。一方、組合せＧでは、部分画像Ｐ７の外側に延びる損傷部分の位置、及び、部分画像撮影漏れ候補領域が他の部分画像の何れにも含まれていないため、撮影漏れ候補領域は撮影漏れ領域として検出される。
撮影漏れ検出装置３０は、一例として、図８に示すように、ＣＰＵ（Central Processing Unit）５１、一次記憶部５２、二次記憶部５３、及び、外部インターフェイス５４を含む。ＣＰＵ５１は、ハードウェアであるプロセッサの一例である。ＣＰＵ５１、一次記憶部５２、二次記憶部５３、及び、外部インターフェイス５４は、バス５９を介して相互に接続されている。
一次記憶部５２は、例えば、ＲＡＭ（Random Access Memory）などの揮発性のメモリである。二次記憶部５３は、例えば、ＨＤＤ（Hard Disk Drive）、又はＳＳＤ（Solid State Drive）などの不揮発性のメモリである。
二次記憶部５３は、プログラム格納領域５３Ａ及びデータ格納領域５３Ｂを含む。プログラム格納領域５３Ａは、一例として、撮影漏れ検出プログラムなどのプログラムを記憶している。データ格納領域５３Ｂは、一例として、撮影漏れ検出プログラムを実行している間に生成される中間データなどを記憶する。
ＣＰＵ５１は、プログラム格納領域５３Ａから撮影漏れ検出プログラムを読み出して一次記憶部５２に展開する。ＣＰＵ５１は、撮影漏れ検出プログラムをロードして実行することで、図１の位置決定部３１、損傷検出部３２、撮影漏れ検出部３３、及び、撮影漏れ報知部３４として動作する。
なお、撮影漏れ検出プログラムなどのプログラムは、外部サーバに記憶され、ネットワークを介して、一次記憶部５２に展開されてもよい。また、撮影漏れ検出プログラムなどのプログラムは、ＤＶＤ（Digital Versatile Disc）などの非一時的記録媒体に記憶され、記録媒体読込装置を介して、一次記憶部５２に展開されてもよい。
外部インターフェイス５４には外部装置が接続され、外部インターフェイス５４は、外部装置とＣＰＵ５１との間の各種情報の送受信を司る。図８では、外部インターフェイス５４に、画像記憶装置２０の一例である外部記憶装置２０’及び表示装置の一例であるディスプレイ４０’が接続されている例を示している。また、外部記憶装置２０’には、撮像装置１０の一例であるカメラ１０’が接続されている。
しかしながら、外部記憶装置２０’及びディスプレイ４０’は、外部インターフェイス５４に接続されていなくてもよいし、これらの内、何れか１つが外部インターフェイス５４に接続されていてもよい。即ち、外部記憶装置２０’及びディスプレイ４０’の内、何れか１つまたは双方は、撮影漏れ検出装置３０に内蔵されていてもよいし、ネットワークを介して、撮影漏れ検出装置３０と離隔した位置に配置されていてもよい。
撮影漏れ検出装置３０は、パーソナルコンピュータ、ノートブックコンピュータ、タブレットなどであってもよいし、例えば、クラウド上に存在してもよく、ネットワーク経由で画像記録装置２０及び表示装置４０と通信してもよい。
図９に、撮影漏れ検出処理の流れの一例を示す。ＣＰＵ５１は、ステップ１０１で、外部記憶装置２０’から広角画像及び複数の部分画像を取得する。ＣＰＵ５１は、ステップ１０２で、広角画像における複数の部分画像の各々の位置を決定する。
ＣＰＵ５１は、ステップ１０３で、複数の部分画像の各々から損傷部分の画像を検出する。ＣＰＵ５１は、ステップ１０４で、連続して撮影された２つの部分画像の全ての組合せについて処理を完了したか否か判定する。ステップ１０４の判定が否定された場合、ＣＰＵ５１は、ステップ１０５で、２つの部分画像が重複しているか否か判定する。ステップ１０５の判定が否定された場合、ＣＰＵ５１は、ステップ１０６で、部分画像の外側に延びる損傷部分が存在するか否か判定する。
ステップ１０６の判定が肯定された場合、ＣＰＵ５１は、ステップ１０７で、損傷部分が延びる部分画像の外側の位置の撮影漏れ候補領域が他の部分画像の何れかに含まれているか否か判定する。ステップ１０７の判定が否定された場合、ＣＰＵ５１は、ステップ１０８で、撮影漏れ候補領域を撮影漏れ領域として記憶する。
ＣＰＵ５１は、ステップ１０４に戻り、ステップ１０４～ステップ１０８の処理を繰り返す。ステップ１０５及び１０７で判定が肯定された場合、及び、ステップ１０６で判定が否定された場合も、ステップ１０４に戻る。ステップ１０４の判定が肯定された場合、ＣＰＵ５１は、ステップ１０９で、撮影漏れ領域を報知し、処理を終了する。
コンピュータで制御された移動体を使用せずに、ユーザが損傷部分の詳細を表す部分画像を撮影する場合、撮影漏れが生じないように、画像を撮影することは困難である。撮影漏れが生じないように、撮影済みの画像を確認しながら、撮影を行うには長時間を要する。また、例えば、遠隔から焦点距離を長くして撮影する場合、カメラの向きが少しずれることにより、撮影範囲が大きくずれ、ユーザが意図した撮影位置が撮影されない。
本実施形態では、撮影対象全体を撮影した広角画像、及び各々の撮影範囲をずらしながら撮影対象の一部分を順に撮影した複数の部分画像に基づいて、複数の部分画像各々の広角画像に対する位置を決定する。複数の部分画像の中から撮影した順が連続し、重複する部分を有さず、かつ少なくとも一方が損傷部分の画像を含む一対の部分画像を抽出する。抽出された一対の部分画像のうち損傷部分の画像を含む部分画像の外側に損傷部分が連続していると推定される場合、損傷部分が連続していると推定される部分画像の外側の位置を撮影漏れ候補領域として検出する。撮影漏れ候補領域が他の部分画像に含まれていない場合、撮影漏れ候補領域を撮影漏れ領域として検出する。決定された位置に基づいて、広角画像における撮影漏れ領域に対応する位置を報知する。
本実施形態では、コンピュータで制御された移動体で移動するような特別な撮像装置を使用することなく、市販の安価なデジタルカメラなどの簡易な装置で、損傷部分の状態と当該損傷部分の位置との情報を含む画像を取得することを可能とする。これにより、本実施形態では、簡易な装置で撮影対象における損傷部分の撮影漏れを検出することを可能とする。
［第２実施形態］
以下、図面を参照して第２実施形態の一例を詳細に説明する。第１実施形態と同様の構成及び作用については、説明を省略する。
図１０に、第２実施形態の撮影漏れ検出システム２を例示する。第２実施形態の撮影漏れ検出システム２は、撮影漏れ検出装置３０が、特徴検出部３５を含む点で、第１実施形態の撮影漏れ検出システム１と相違する。
特徴検出部３５は、広角画像から人が容易に視認可能で、かつ、人が認識しやすい特徴的な可視特徴の画像を検出する。可視特徴は、ユーザが予め設定しておく。可視特徴は、例えば、損傷部分を目視で検査するユーザによってチョークで書かれた損傷部分の大きさを表す数字の画像、及び、損傷部分を検出する対象である橋梁に含まれるパネルの型枠の画像などであってよい。可視特徴の検出では、検出した可視特徴とその位置情報（例えば、可視特徴の外接矩形の４頂点）を記憶する。可視特徴の検出には既存の手法を使用することができる。
特徴検出部３５は、可視特徴と撮影漏れ領域との位置関係を求める。詳細には、まず、撮影漏れ領域から最も近い可視特徴を選択する。次に、例えば、撮影漏れ領域の重心と、選択した可視特徴の外接矩形の重心との距離が最短である可視特徴を選択する。次に、可視特徴に対する撮影漏れ領域の方向を求める。例えば、撮影漏れ領域の重心と選択された可視特徴の外接矩形の重心を結ぶ線分の画像上の傾きを算出する。
特徴検出部３５は、最後に、可視特徴と撮影漏れ領域との距離を求める。例えば、撮影漏れ領域の重心と選択された可視特徴の外接矩形の重心の画像上の距離を算出する。当該距離を可視特徴の外接矩形の幅で割り、当該距離が可視特徴の何倍であるかを算出してもよい。
撮影漏れ報知部３４は、全ての撮影漏れ領域をユーザに報知する。報知する際に、可視特徴との位置関係を併せて報知する。例えば、「チョーク文字『０．１』右側、『０．１』の幅×２離れた位置」、「右端からパネル型枠の１／４、上端からパネル型枠の１／３の位置」などと文字で表示してもよいし、簡単なイラストで表示してもよい。
図１１に、撮影漏れ検出処理の流れの一例を示す。ＣＰＵ５１は、ステップ１１０で、予め設定されている可視特徴を検出し、ステップ１１１で、撮影漏れ領域を報知する際に、可視特徴との位置の関連を併せて報知する。
本実施形態では、撮影対象全体を撮影した広角画像、及び各々の撮影範囲をずらしながら撮影対象の一部分を順に撮影した複数の部分画像に基づいて、複数の部分画像各々の広角画像に対する位置を決定する。複数の部分画像の中から撮影した順が連続し、重複する部分を有さず、かつ少なくとも一方が損傷部分の画像を含む一対の部分画像を抽出する。抽出された一対の部分画像のうち損傷部分の画像を含む部分画像の外側に損傷部分が連続していると推定される場合、損傷部分が連続していると推定される部分画像の外側の位置を撮影漏れ候補領域として検出する。撮影漏れ候補領域が他の部分画像に含まれていない場合、撮影漏れ候補領域を撮影漏れ領域として検出する。決定された位置に基づいて、広角画像における撮影漏れ領域に対応する位置を報知する。
また、本実施形態では、撮影漏れ領域の位置を可視特徴との関係で表す情報を付加して報知する。本実施形態によれば、これにより、報知された撮影漏れ領域に基づいて再撮影を行う際に、可視特徴に対応する特徴を確認することで、撮影位置の決定を容易に行うことが可能となる。
なお、図９及び図１１のフローチャートは一例であり、処理の順序は適宜変更可能である。
以上の各実施形態に関し、更に以下の付記を開示する。
（付記１）
撮影対象全体を撮影した広角画像、及び各々の撮影範囲をずらしながら前記撮影対象の一部分を順に撮影した複数の部分画像に基づいて、前記複数の部分画像各々の前記広角画像に対する位置を決定する位置決定部と、
前記複数の部分画像の中から撮影した順が連続し、重複する部分を有さず、かつ少なくとも一方が損傷部分の画像を含む一対の部分画像を抽出し、抽出された一対の部分画像のうち損傷部分の画像を含む部分画像の外側に前記損傷部分が連続していると推定される場合、前記損傷部分が連続していると推定される前記部分画像の前記外側の位置を撮影漏れ候補領域として検出し、前記撮影漏れ候補領域が他の部分画像に含まれていない場合、前記撮影漏れ候補領域を撮影漏れ領域として検出する撮影漏れ領域検出部と、
前記位置決定部で決定された位置に基づいて、前記広角画像における撮影漏れ領域に対応する位置を報知する撮影漏れ報知部と、
を含む撮影漏れ検出装置。
（付記２）
前記撮影漏れ報知部は、前記撮影漏れ領域の位置を前記広角画像内に矩形画像で表示する、
付記１の撮影漏れ検出装置。
（付記３）
前記部分画像の上下左右の辺に沿った所定幅の端部領域内に前記損傷部分の画像が存在する場合、前記部分画像の外側に前記損傷部分が連続していると推定する、
付記１または付記２の撮影漏れ検出装置。
（付記４）
所定の可視特徴の画像を検出する特徴検出部をさらに含み、
前記撮影漏れ報知部は、前記撮影漏れ領域の位置を前記可視特徴との関係で表す情報を付加して報知する、
付記１～付記３の何れかの撮影漏れ検出装置。
（付記５）
コンピュータが、
撮影対象全体を撮影した広角画像、及び各々の撮影範囲をずらしながら前記撮影対象の一部分を順に撮影した複数の部分画像に基づいて、前記複数の部分画像各々の前記広角画像に対する位置を決定し、
前記複数の部分画像の中から撮影した順が連続し、重複する部分を有さず、かつ少なくとも一方が損傷部分の画像を含む一対の部分画像を抽出し、抽出された一対の部分画像のうち損傷部分の画像を含む部分画像の外側に前記損傷部分が連続していると推定される場合、前記損傷部分が連続していると推定される前記部分画像の前記外側の位置を撮影漏れ候補領域として検出し、前記撮影漏れ候補領域が他の部分画像に含まれていない場合、前記撮影漏れ候補領域を撮影漏れ領域として検出し、
決定された前記複数の部分画像各々の前記広角画像に対する位置に基づいて、前記広角画像における撮影漏れ領域に対応する位置を報知する、
撮影漏れ検出方法。
（付記６）
前記撮影漏れ領域の位置を前記広角画像内に矩形画像で表示する、
付記５の撮影漏れ検出方法。
（付記７）
部分画像の上下左右の辺に沿った所定幅の端部領域内に前記損傷部分の画像が存在する場合、前記部分画像の外側に前記損傷部分が連続していると推定する、
付記５または付記６の撮影漏れ検出方法。
（付記８）
所定の可視特徴の画像を検出し、
前記撮影漏れ領域の位置を前記可視特徴との関係で表す情報を付加して報知する、
付記５～付記７の何れかの撮影漏れ検出方法。
（付記９）
撮影対象全体を撮影した広角画像、及び各々の撮影範囲をずらしながら前記撮影対象の一部分を順に撮影した複数の部分画像に基づいて、前記複数の部分画像各々の前記広角画像に対する位置を決定し、
前記複数の部分画像の中から撮影した順が連続し、重複する部分を有さず、かつ少なくとも一方が損傷部分の画像を含む一対の部分画像を抽出し、抽出された一対の部分画像のうち損傷部分の画像を含む部分画像の外側に前記損傷部分が連続していると推定される場合、前記損傷部分が連続していると推定される前記部分画像の前記外側の位置を撮影漏れ候補領域として検出し、前記撮影漏れ候補領域が他の部分画像に含まれていない場合、前記撮影漏れ候補領域を撮影漏れ領域として検出し、
決定された前記複数の部分画像各々の前記広角画像に対する位置に基づいて、前記広角画像における撮影漏れ領域に対応する位置を報知する、
撮影漏れ検出処理をコンピュータに実行させるプログラム。
（付記１０）
前記撮影漏れ領域の位置を前記広角画像内に矩形画像で表示する、
付記９のプログラム。
（付記１１）
部分画像の上下左右の辺に沿った所定幅の端部領域内に前記損傷部分の画像が存在する場合、前記部分画像の外側に前記損傷部分が連続していると推定する、
付記９または付記１０のプログラム。
（付記１２）
所定の可視特徴の画像を検出し、
前記撮影漏れ領域の位置を前記可視特徴との関係で表す情報を付加して報知する、
付記９～付記１１の何れかのプログラム。
１０ 撮像装置
３０ 撮影漏れ検出装置
３１ 位置決定部
３２ 損傷検出部
３３ 撮影漏れ検出部
３４ 撮影漏れ報知部
３５ 特徴検出部
４０ 表示装置
５１ ＣＰＵ
５２ 一次記憶部
５３ 二次記憶部

Claims (5)

  1. 撮影対象全体を撮影した広角画像、及び各々の撮影範囲をずらしながら前記撮影対象の一部分を順に撮影した複数の部分画像に基づいて、前記複数の部分画像各々の前記広角画像に対する位置を決定する位置決定部と、
    前記複数の部分画像の中から撮影した順が連続し、重複する部分を有さず、かつ少なくとも一方が前記撮影対象における損傷部分の画像を含む一対の部分画像を抽出し、抽出された一対の部分画像のうち前記撮影対象における損傷部分の画像を含む部分画像の外側に前記撮影対象における損傷部分が連続していると推定される場合、前記撮影対象における損傷部分が連続していると推定される前記部分画像の前記外側の位置を撮影漏れ候補領域として検出し、前記撮影漏れ候補領域が他の部分画像に含まれていない場合、前記撮影漏れ候補領域を撮影漏れ領域として検出する撮影漏れ領域検出部と、
    前記位置決定部で決定された位置に基づいて、前記広角画像における撮影漏れ領域に対応する位置を報知する撮影漏れ報知部と、
    を含む撮影漏れ検出装置。
  2. 前記撮影漏れ報知部は、前記撮影漏れ領域の位置を前記広角画像内に矩形画像で表示する、
    請求項１に記載の撮影漏れ検出装置。
  3. 前記部分画像の上下左右の辺に沿った所定幅の端部領域内に前記撮影対象における損傷部分の画像が存在する場合、前記部分画像の外側に前記撮影対象における損傷部分が連続していると推定する、
    請求項１または請求項２に記載の撮影漏れ検出装置。
  4. 所定の可視特徴の画像を検出する特徴検出部をさらに含み、
    前記撮影漏れ報知部は、前記撮影漏れ領域の位置を前記可視特徴との関係で表す情報を付加して報知する、
    請求項１～請求項３の何れか１項に記載の撮影漏れ検出装置。
  5. コンピュータが、
    撮影対象全体を撮影した広角画像、及び各々の撮影範囲をずらしながら前記撮影対象の一部分を順に撮影した複数の部分画像に基づいて、前記複数の部分画像各々の前記広角画像に対する位置を決定し、
    前記複数の部分画像の中から撮影した順が連続し、重複する部分を有さず、かつ少なくとも一方が前記撮影対象における損傷部分の画像を含む一対の部分画像を抽出し、抽出された一対の部分画像のうち前記撮影対象における損傷部分の画像を含む部分画像の外側に前記撮影対象における損傷部分が連続していると推定される場合、前記撮影対象における損傷部分が連続していると推定される前記部分画像の前記外側の位置を撮影漏れ候補領域として検出し、前記撮影漏れ候補領域が他の部分画像に含まれていない場合、前記撮影漏れ候補領域を撮影漏れ領域として検出し、
    決定された前記複数の部分画像各々の前記広角画像に対する位置に基づいて、前記広角画像における撮影漏れ領域に対応する位置を報知する、
    撮影漏れ検出方法。
JP2019157868A 2019-08-30 2019-08-30 撮影漏れ検出装置、及び、撮影漏れ検出方法 Active JP7263983B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2019157868A JP7263983B2 (ja) 2019-08-30 2019-08-30 撮影漏れ検出装置、及び、撮影漏れ検出方法
US16/990,353 US11320386B2 (en) 2019-08-30 2020-08-11 Apparatus and method for damage detection and image capture of damage without omission
EP20190708.6A EP3786885B1 (en) 2019-08-30 2020-08-12 Detection apparatus and detection method
CN202010856494.9A CN112444205B (zh) 2019-08-30 2020-08-24 检测设备和检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019157868A JP7263983B2 (ja) 2019-08-30 2019-08-30 撮影漏れ検出装置、及び、撮影漏れ検出方法

Publications (2)

Publication Number Publication Date
JP2021036213A JP2021036213A (ja) 2021-03-04
JP7263983B2 true JP7263983B2 (ja) 2023-04-25

Family

ID=72050739

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019157868A Active JP7263983B2 (ja) 2019-08-30 2019-08-30 撮影漏れ検出装置、及び、撮影漏れ検出方法

Country Status (4)

Country Link
US (1) US11320386B2 (ja)
EP (1) EP3786885B1 (ja)
JP (1) JP7263983B2 (ja)
CN (1) CN112444205B (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7263983B2 (ja) * 2019-08-30 2023-04-25 富士通株式会社 撮影漏れ検出装置、及び、撮影漏れ検出方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013105373A1 (ja) 2012-01-11 2013-07-18 ソニー株式会社 情報処理装置、撮像制御方法、プログラム、デジタル顕微鏡システム、表示制御装置、表示制御方法及びプログラム
WO2017110279A1 (ja) 2015-12-25 2017-06-29 富士フイルム株式会社 損傷情報処理装置及び損傷情報処理方法
WO2018168406A1 (ja) 2017-03-16 2018-09-20 富士フイルム株式会社 撮影制御装置、撮影システム、および撮影制御方法
JP6441421B1 (ja) 2017-07-28 2018-12-19 株式会社ＴｏｎＴｏｎ 外面材調査システム
WO2019150872A1 (ja) 2018-02-02 2019-08-08 富士フイルム株式会社 画像処理装置及び画像処理方法
EP3786885B1 (en) 2019-08-30 2022-04-13 Fujitsu Limited Detection apparatus and detection method

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10274627A (ja) * 1997-03-28 1998-10-13 Omron Corp 画像検出装置及び画像検出プログラムを記録した機械読み取り可能な記録媒体
JP2003154483A (ja) 2001-11-19 2003-05-27 Mitsubishi Heavy Ind Ltd 亀裂自動補修方法及びその装置
US7424218B2 (en) * 2005-07-28 2008-09-09 Microsoft Corporation Real-time preview for panoramic images
JP6280382B2 (ja) * 2013-03-08 2018-02-14 キヤノン株式会社 画像処理装置および画像処理方法
JP6126450B2 (ja) * 2013-04-25 2017-05-10 株式会社ブリヂストン 検査装置
CN104240182A (zh) * 2013-06-06 2014-12-24 富士通株式会社 图像处理装置、图像处理方法以及电子设备
CN103411533B (zh) * 2013-08-05 2015-10-14 上海交通大学 结构光自适应多次曝光法
JP6438216B2 (ja) * 2014-05-22 2018-12-12 キヤノン株式会社 画像生成装置および画像生成方法
JP6463047B2 (ja) * 2014-09-05 2019-01-30 キヤノン株式会社 眼科装置及び眼科装置の作動方法
JP6387782B2 (ja) * 2014-10-17 2018-09-12 ソニー株式会社 制御装置、制御方法及びコンピュータプログラム
JP6478639B2 (ja) 2015-01-06 2019-03-06 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
CA3006240C (en) * 2015-04-27 2022-12-13 Wuhan Wuda Zoyon Science And Technology Co., Ltd. A stepwise refinement detection method for pavement cracks
CN105654505B (zh) * 2015-12-18 2018-06-26 中山大学 一种基于超像素的协同跟踪算法和***
JP6607121B2 (ja) * 2016-03-30 2019-11-20 セイコーエプソン株式会社 画像認識装置、画像認識方法および画像認識ユニット
JP6818539B2 (ja) 2016-05-19 2021-01-20 日本放送協会 画像処理装置及び画像処理プログラム
US10753881B2 (en) * 2016-05-27 2020-08-25 Purdue Research Foundation Methods and systems for crack detection
JP6702097B2 (ja) 2016-09-02 2020-05-27 富士通株式会社 画像処理プログラム、画像処理方法および画像処理装置
CN109792543B (zh) * 2016-09-27 2022-01-14 深圳市大疆创新科技有限公司 根据可移动物捕获的图像数据创建视频抽象的方法和***
CN108647563A (zh) * 2018-03-27 2018-10-12 阿里巴巴集团控股有限公司 一种车辆定损的方法、装置及设备
CN108508023B (zh) * 2018-03-30 2021-06-04 苏州阚创检测有限公司 一种铁路接触网中接触端部顶紧螺栓的缺陷检测***

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013105373A1 (ja) 2012-01-11 2013-07-18 ソニー株式会社 情報処理装置、撮像制御方法、プログラム、デジタル顕微鏡システム、表示制御装置、表示制御方法及びプログラム
WO2017110279A1 (ja) 2015-12-25 2017-06-29 富士フイルム株式会社 損傷情報処理装置及び損傷情報処理方法
WO2018168406A1 (ja) 2017-03-16 2018-09-20 富士フイルム株式会社 撮影制御装置、撮影システム、および撮影制御方法
JP6441421B1 (ja) 2017-07-28 2018-12-19 株式会社ＴｏｎＴｏｎ 外面材調査システム
WO2019150872A1 (ja) 2018-02-02 2019-08-08 富士フイルム株式会社 画像処理装置及び画像処理方法
EP3786885B1 (en) 2019-08-30 2022-04-13 Fujitsu Limited Detection apparatus and detection method
US11320386B2 (en) 2019-08-30 2022-05-03 Fujitsu Limited Apparatus and method for damage detection and image capture of damage without omission

Also Published As

Publication number Publication date
JP2021036213A (ja) 2021-03-04
CN112444205A (zh) 2021-03-05
US20210063315A1 (en) 2021-03-04
US11320386B2 (en) 2022-05-03
CN112444205B (zh) 2022-07-08
EP3786885B1 (en) 2022-04-13
EP3786885A1 (en) 2021-03-03

Similar Documents

Publication Publication Date Title
JP4912117B2 (ja) 追跡機能付き撮像装置
JP6609057B2 (ja) 画像処理装置
JP2019109765A (ja) 物体追跡プログラム、物体追跡装置、及び物体追跡方法
US20100201880A1 (en) Shot size identifying apparatus and method, electronic apparatus, and computer program
JP6807459B2 (ja) 損傷図作成方法、損傷図作成装置、損傷図作成システム、及び記録媒体
BRPI1005534A2 (pt) aparelho e método para gerar uma imagem panorámica, e, meio legìvel por computador
US10762372B2 (en) Image processing apparatus and control method therefor
US20220136979A1 (en) Information processing apparatus, information processing method, and non- transitory computer-readable storage medium
JP6107372B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
US11423511B2 (en) Image composition method, image composition device, and recording medium
JP7263983B2 (ja) 撮影漏れ検出装置、及び、撮影漏れ検出方法
JP4821355B2 (ja) 人物追跡装置、人物追跡方法および人物追跡プログラム
WO2005096129A1 (ja) 撮像装置の指示位置検出方法および装置、撮像装置の指示位置検出用プログラム
JP5132705B2 (ja) 画像処理装置
JP2002027449A (ja) 移動物体識別方法および移動物体識別装置
JP4960442B2 (ja) アップショット検出装置及び方法、電子機器、並びにコンピュータプログラム
JP2006350642A (ja) 画像処理装置、及びプログラム
TWI803333B (zh) 圖像特徵匹配方法、電腦裝置及儲存介質
JP2005217721A (ja) 静止画像生成装置および生成方法
JP2017208733A (ja) 画像処理装置、画像処理方法及びプログラム
JP5636966B2 (ja) 誤差検出装置及び誤差検出プログラム
JP6525693B2 (ja) 画像処理装置及び画像処理方法
JP2023125589A (ja) 画像計測装置、画像計測方法、および、画像計測プログラム
JP2005275568A (ja) 撮像装置の指示位置検出方法および装置、撮像装置の指示位置検出用プログラム
JP2022039635A (ja) 画像計測装置、画像計測方法、および画像計測プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220517

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20230206

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20230206

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230228

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230306

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230314

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230327

R150 Certificate of patent or registration of utility model

Ref document number: 7263983

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150