JP2019518276A - 破損分析装置及び方法 - Google Patents

破損分析装置及び方法 Download PDF

Info

Publication number
JP2019518276A
JP2019518276A JP2018558772A JP2018558772A JP2019518276A JP 2019518276 A JP2019518276 A JP 2019518276A JP 2018558772 A JP2018558772 A JP 2018558772A JP 2018558772 A JP2018558772 A JP 2018558772A JP 2019518276 A JP2019518276 A JP 2019518276A
Authority
JP
Japan
Prior art keywords
image
failure
computing device
mobile computing
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018558772A
Other languages
English (en)
Inventor
ハンセン,マーク
ヘールズ,イアン
ファルーク,アブドゥル
スミス,メルヴィン
ダニエル,グウェン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Belron International Ltd
Original Assignee
Belron International Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Belron International Ltd filed Critical Belron International Ltd
Publication of JP2019518276A publication Critical patent/JP2019518276A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/95Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/958Inspecting transparent materials or objects, e.g. windscreens
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • G06F17/14Fourier, Walsh or analogous domain transformations, e.g. Laplace, Hilbert, Karhunen-Loeve, transforms
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/66Analysis of geometric attributes of image moments or centre of gravity
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/95Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/958Inspecting transparent materials or objects, e.g. windscreens
    • G01N2021/9586Windscreens
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20036Morphological image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20048Transform domain processing
    • G06T2207/20056Discrete and fast Fourier transform, [DFT, FFT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20092Interactive image processing based on input by user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30164Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Geometry (AREA)
  • Mathematical Physics (AREA)
  • Mathematical Optimization (AREA)
  • Computational Mathematics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Analysis (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Vehicle Cleaning, Maintenance, Repair, Refitting, And Outriggers (AREA)
  • Preparing Plates And Mask In Photomechanical Process (AREA)
  • Image Analysis (AREA)
  • Debugging And Monitoring (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Processing Of Solid Wastes (AREA)
  • Organic Low-Molecular-Weight Compounds And Preparation Thereof (AREA)

Abstract

技術者の同伴なしに乗物のグレージング・パネルにおける破損の分析を可能にする方法及び装置が開示され、本方法及び装置は、破損の画像をキャプチャーすること、及びグレージング・パネルの修理又は置換の適性が判断されることを可能にするように、破損の画像を処理することを利用する。

Description

本発明は一般に装置及び方法に関連する。排他的ではないが、特に、本発明は乗物のグレージング・パネル(vehicle glazing panels)における破損を分析するために使用される装置及び方法に関連する。排他的ではないが、更に、本発明はガラス(特に、車両のガラス・パネル又はグレージング・パネル)における亀裂を分析するために使用される方法及び装置に関連する。
運転時に、路上に瓦礫やその他の物質が存在すると、それらの物質が運行経路内に入り込み、そのような物質がウィンドスクリーン(windscreen)に衝突すると、そのようなウィンドスクリーンに亀裂、破損、クラック又はその他のダメージを生じさせ、その乗物のグレージング・パネルの修理又は交換の必要を余儀なくするかもしれない。
安全性の理由及び経済性の理由から、そのような作業は可能な限り速やかに実行されることが不可欠であり、なぜならこれらの亀裂は、亀裂の増長を引き起こし得る寒波(cold weather)の影響に起因して、ウィンドスクリーン内に更に伝播し得るからである。そのような伝播は、亀裂が、些細な修理を要するにすぎないものから、ウィンドスクリーンの全体的な交換を余儀なくするものへ、変わってしまうことを引き起こし得る。
乗物のグレージング・パネルに対するダメージが修理により治癒され得るか否かについて、判断することが必要とされる。その判断が、修理は現実的でないことを示す場合、グレージング・パネルの交換が必要とされることになる。
実施形態及び側面は上記の観点から把握されたものである。
第1側面から見ると、乗物のグレージング・パネルの破損を分析する破損分析方法が提供され、本方法は:乗物のグレージング・パネルにおける破損の画像をキャプチャーするステップ;破損の画像を処理するステップを含む。
第2側面から見ると、乗物のグレージング・パネルの破損を分析する破損分析装置が提供され、本装置は:乗物のグレージング・パネルにおける破損の画像をキャプチャーするように構成されるカメラ;破損の画像を処理するように動作する処理モジュールを有する。
選択的に、本装置はカメラを有するモバイル・コンピューティング・デバイスを含んでいてもよい。モバイル・コンピューティング・デバイスは、画像をキャプチャーするように構成される電子デバイスである。電子デバイスは、モバイル電話(例えば、スマート・フォン)、ラップトップ・コンピュータ、タブレット、ファブレット又はカメラを含んでよい。モバイル・コンピューティング・デバイスは、画像をキャプチャーするカメラを含む。
モバイル・コンピューティング・デバイスは処理モジュールも含んでいてよい。
第1及び第2側面による方法及び装置は、表面における破損の画像が、破損を分析するために使用されることを可能にする。これは、亀裂に関する何らかの分析を実行するために、技術者の実際の同伴の必要性を排除する。
グレージング・パネルの置換の必要性の判断は、画像の処理に基づいていてよい。即ち、本方法は、グレージング・パネルが置換される必要の有無、及び/又はグレージング・パネルが修理に相応しいか否かを、画像の処理に基づいて判断するステップを含んでよい。
破損の画像は、乗物のグレージング・パネルに対して傾斜した角度で取得されてもよい。
画像は、グレージング・パネルの表面との接触を維持したモバイル・コンピューティング・デバイスにより取得されてもよく、モバイル・コンピューティング・デバイスはカメラを含む。モバイル・コンピューティング・デバイスは、例えば、カメラを備えたスマートフォンのようなモバイル・フォンであってもよい。本発明は、破損が修復可能であるか又は置換が必要とされるかを判断するために、カメラからの画像データを処理するソフトウェア・コンポーネントにより実現されてもよい。ソフトウェア・コンポーネントは、例えば、スタンド・アローン・アプリケーション等のようにデバイスにダウンロードされてもよい。ソフトウェア・コンポーネントは、判断を行うためのアルゴリズムを含んでもよく、好ましくは、判断方法の実現の仕方に関するユーザー命令を表示してもよい。
他の側面によれば、本発明は、乗物のグレージング・パネルに存在する破損に関する技術的な情報を確認するためのコンピュータ実現方法を含み、本方法は、カメラを有するモバイル・コンピューティング・デバイスにソフトウェア・コンポーネントをダウンロードするステップを含み、ソフトウェア・コンポーネントは、破損は修理されてもよい或いは置換が好ましいか否かを判断するために、カメラによりキャプチャーされた画像情報を処理するように構成される。
モバイル・コンピューティング・デバイスは、カメラの視野の中の所定の位置で破損が見えるように、傾斜させられていてもよい。基準測位(A datum position)は、コンピューティング・デバイスは、パネルに接触する端部とともに、コンピューティング・デバイスがパネルに対して傾斜させられることを保証することによって達成される。
破損を見るためにモバイル・コンピューティング・デバイスが傾斜させられる所定の位置は、カメラ又はカメラを有するモバイル・コンピューティング・デバイスに表示される(例えば画面に表示される)「しるし(indicia)」により指示されてもよい。
追加的又は代替的に、「しるし」は、(例えば、画面中の)視野の中心を指示してもよい。
選択的に、カメラ又はモバイル・コンピューティング・デバイスは、始めに、グレージング・パネルの表面上で平らに寝かせられていてもよい。モバイル・コンピューティング・デバイスは、グレージング・パネルに関してピボット運動させされてもよいし、そこから離れるように傾斜させられていてもよく、その場合において、モバイル・コンピューティング・デバイスの少なくとも一部分は、グレージング・パネルに接触したままである。
選択的に、カメラは、モバイル・コンピューティング・デバイスがピボット運動させられる前に、破損に関して所定位置に配置される。例えば、本方法は、破損に関して所定位置にモバイル・コンピューティング・デバイスの主要部(a feature)を整合させることを含んでもよい。
何らかの実施形態において、上端部又はトップ・エッジ(the top edge)のような画像キャプチャー・モジュールの端部は、破損の最低地点に隣接して(又はその直下に)整合させられてもよい。これは、カメラと破損の最低地点との間の初期の距離が、モバイル・コンピューティング・デバイスの幾何学形状を利用して決定できることを意味する。
画像キャプチャー・モジュール又はモバイル・コンピューティング・デバイスは、グレージング・パネルから離れるようにピボット運動させられてもよく、その場合において、モバイル・コンピューティング・デバイスの底部端部は、グレージング・パネルに接触したままである。その後、破損の画像がキャプチャーされる。
本方法は、カメラの視野の中の所定位置で破損が見えるまで、モバイル・コンピューティング・デバイスをピボット運動又は傾斜させることを含んでもよい。
選択的に、本方法は、破損がカメラの視野の中央に来るまで、モバイル・コンピューティング・デバイスをピボット運動させることを含んでもよい。
本方法は、モバイル・コンピューティング・デバイスの幾何学的パラメータ及びカメラのレンズ・パラメータを利用して、破損のパラメータを推定することを含んでもよい。破損のパラメータは、破損のサイズを示す1つ以上の空間的な寸法を含む。
例えば、上記の方法を利用すると、モバイル・コンピューティング・デバイスの幾何学的パラメータ、及びカメラのレンズ・パラメータは、破損の1つ以上の亀裂(one or more legs of the break)の長さ、及び/又は破損の中央部のサイズ(例えば、幅/直径)を決定するために使用されてもよい。
モバイル・コンピューティング・デバイスの幾何学的パラメータは、モバイル・コンピューティング・デバイスとグレージング・パネルとの間の回転角度を決定するために使用されてもよい。
破損の推定サイズ(例えば、破損の1つの亀裂の長さ)が所与の閾値を超える場合、本方法は、グレージング・パネルは置換されなければならないと判断してもよい。破損の推定サイズ(例えば、破損のうちの1つの亀裂の長さ)が所与の閾値未満である場合、本方法は、グレージング・パネルは修理に相応しいと判断してもよい。
画像の処理は、破損の画像をキャプチャーするために、モバイル・コンピューティング・デバイスの幾何学的パラメータに基づいていてもよい。
画像の処理は、カメラ、及び/又はモバイル・コンピューティング・デバイスのチップ・パラメータに更に基づいていてもよい。
画像の処理は、破損の直径を決めるために使用される一群のデータ・ポイントを生成してもよく、破損の直径は、車両のグレージング・パネルの置換のための条件を決定するために使用されてよい。
本方法は、グレージング・パネルが修理又は置換の要否を示す信号又はインジケータを出力することを含んでもよい。
グレージング・パネルの破損は、中央部及び1つ以上の亀裂を含んでいるかもしれない。小さな石その他の物体がグレージング・パネルに衝突する場合、破損の生じ方は共通している。一般に、1つ以上の脚(又は亀裂)が破損の中央部から放射状に広がる。
破損の中央部は実質的に円形の形状であってもよい。
グレージング・パネルの置換又は修理の必要性の判断は、破損の中央部と、破損の1つ以上の亀裂とを示すデータを生成することを含んでよい。
本方法は、破損の中央部と、破損の1つ以上の亀裂とを識別することを含んでもよい。
本方法は、破損の中央部のサイズと比較した場合における破損の1つ以上の亀裂の相対的な長さを示すスケーリング因子を生成することを含んでもよい。破損の中央部のサイズは、破損の中央部の直径、幅、及び/又は長さであってもよい。
本方法は、スケーリング因子を利用して、破損の1つ以上の亀裂の長さ(即ち、cm又はmmによる絶対的な長さ)を推定することを含んでもよい。例えば、1つ以上の亀裂の長さは、スケーリング因子と所定値とを乗算することにより推定されてもよい。
所定値は、破損の中央部の実際の(絶対的な)サイズの推定値であってもよい。これは、校正用の対象物が不要であるという利点をもたらし、少なくともユーザーにとっていっそう便利である。
従って、本発明の方法は、破損の1つ以上の亀裂の長さを推定するために、画像のスケールを決定することを含んでもよい。
1つ以上の亀裂の推定長が所与の閾値を超えている場合、本方法は、グレージング・パネルは置換される必要があると判断することを含んでもよい。1つ以上の亀裂の推定長が所与の閾値未満である場合、本方法は、グレージング・パネルは修理に相応しいと判断することを含んでもよい。
本方法は、1つ以上の亀裂の推定長が所与の閾値未満である場合に、グレージング・パネルの修理が必要とされていることを指示する信号を出力することを含んでもよい。
本方法は、1つ以上の亀裂の推定長が所与の閾値を超えている場合に、グレージング・パネルの置換が必要とされていることを指示する信号を出力することを含んでもよい。
グレージング・パネルにおける様々な破損と比較した場合、破損の中央部のサイズは、一般に、破損の1つ以上の亀裂の長さより少なくしか変化しないことが、分かっている。従って、所定値は、グレージング・パネルにおける破損の中央部の測定されたサイズについての平均又はモード(mode)であってもよい。
選択的に、破損部の中央部の実際の幅(又は直径)の推定値(即ち、所定値)は、1mm及び3mmの間にあってもよい。破損の中央部のついての特に好ましい所定の幅(直径)は、2mmであってもよい。これらの範囲/値は、出願人により実行された破損についての研究から決定されている。
その効果は例えば次のようなものである:破損の中央部の推定直径のような破損の中央部の推定サイズは、破損の亀裂の長さを推定するために使用されることが可能であり、なぜなら、破損の中央部のサイズに対する1つ以上の亀裂の相対的な長さと、破損の1つ以上の亀裂の推定された実際の長さとの間のスケーリングのために、所定値が使用され得るからである。
例えば、破損の中央部が約2mmの幅(即ち、直径)になるまで常に進行し、且つ生成された画像データが、亀裂は破損の中央部の直径の長さの2倍であることを示している、ということが分かっている場合、本方法は2というスケーリング因子を2mmに乗算することを含んでもよい。これは、亀裂が4mmの長さであると推定する。この推定は、データにおける、破損の寸法についてのピクチャーを構築することを促す。
1つ以上の亀裂の生成された(又は推定された)長さは、破損の推定サイズを指し示すように生成されてもよい。破損のサイズは、グレージング・パネルの置換又は修理の必要性を判断するために、閾値パラメータと比較されてよい。
破損の推定サイズが所与の閾値を超えている場合、本方法は、グレージング・パネルは置換される必要があると判断してもよい。破損の推定サイズが所与の閾値未満である場合、本方法は、グレージング・パネルは修理に相応しいと判断してもよい。
比較は、破損閾値パラメータと破損が及ぶ最大距離との間で行われてもよい。
選択的に、破損の中央部のサイズの所定の推定値は、1つ以上のパラメータに依存していてもよい。パラメータは、ユーザーにより入力されてもよいし、及び/又はデバイス又は処理モジュールに予め設定されていてもよい。例えば、パラメータは:グレージング・パネルの1つ以上の特性(例えば、タイプ、サイズ等)、及び/又は破損が生じた際の、乗物が走行していた速度を含んでいてもよい。
画像の処理は、破損を識別するために背景部分を除去するように画像をフィルタリングすることを含んでもよい。
画像から何らかのノイズを除去し、且つグレージング・パネルの置換の要否を判断するための基礎として使用される画像データの品質を向上させるために、形態学的洗練化(Morphological refinement)が画像に適用されてもよい。
本方法は、破損の画像を取得することに先だって、グレージング・パネルを洗浄することを含んでもよい。この洗浄は、画像の処理に影響を及ぼし得る何らかの汚れ(dirt)を除去することを支援し得る。例えば、汚れが画像処理ソフトウェアによって破損として解釈されてしまう危険性がある。
本方法は、破損の画像をキャプチャーする前に、画像キャプチャリング・モジュール又はデバイスのフラッシュ機能をディセーブルにすることを含んでもよい。フラッシュ撮影写真が使用される場合、光が、画像処理ソフトウェアの精度に逆効果を及ぼすかもしれない。例えば、破損の識別又は分析に影響するかもしれないフラッシュが、グレージング・パネルで反射されるかもしれない。
本方法は、コンピュータ実現命令を利用して実現されてもよく、その命令は、メモリにインストールされると、上記のように規定される方法を実行するようにプロセッサを指示する。ダウンロード可能なソフトウェア・コンポーネント(例えば、アプリケーション)が好ましい。
本方法の任意の特徴は本発明の装置を利用して実行されてよいことが、認められるであろう。
本発明のこれら及び他の側面は、本願で説明される実施形態から明らかであり、それらを参照しながら明確にされる。
本発明の第1及び第2実施形態が、添付図面に関連して例示としてのみ説明される。
図1はクラックを伴うウィンドスクリーンを示す。 図2はクラックの画像をキャプチャーするためのカメラの使い方を示す。 図3は図1のウィンドスクリーンでクラックを分析するために使用されてよい処理モジュールを示す。 図4は図3のシステムを利用してウィンドスクリーンにおけるクラックを評価することに関連するステップの詳細なフローチャートを示す。 図5はクラックのフーリエ変換の画像を示す。 図6はクラックの輪郭画像を示す。 図7はクラック102をモデル化するために使用されてよい構成を示す。 図8は破損パラメータを生成することに関連するステップを示す。 図9aはウィンドスクリーンの鳥瞰図とともにカメラの視野を概略的に示す。 図9bはウィンドスクリーンの斜視図とともにカメラの視野を概略的に示す。 図10はカメラのパラメータを利用してクラックを分析するためにカメラがどのようにモデル化されるかを示す。 図11はウィンドスクリーンにおけるクラックのサイズを決定するためにシステムからの出力である画像を示す。
第1実施形態において、図1は、ウィンドスクリーン上にはじき飛ばされた石に起因するクラック102を伴うガラス・ウィンドスクリーン100を示す。ガラス・ウィンドスクリーン100が収容されている車両の運転手は、クラック102の画像をキャプチャーするために使用されるカメラ106を有する移動電話機104を利用して、クラック102の画像をキャプチャーする。この配置は図2の側面図に示されている。カメラ106の焦点距離は、カメラの焦点が短い距離に維持されるように、100ミリメートル未満に固定される。
ユーザー入力に応答して、クラック102の画像がキャプチャーされ、移動電話機104は、カメラ106から画像処理モジュール108へ画像が伝送されることをユーザー入力が示すようにリクエストするプロンプトをユーザーに提供するように構成され、この点については図3を参照しながら説明される。このステップは、ユーザーが画像の品質を自ら評価することを可能にし、それにより、例えば悪天候の状態により画像が鮮明であるとは思われない場合、カメラ106のレンズ上に凝結(condensation)が堆積しているような場合に、ユーザーは別の画像をキャプチャーすることを選択してよい。
カメラ106は、何らかの適切な方法を利用して、キャプチャーした画像を画像データのアレイに変換する。カメラ106は、エグジブ(an exchangeable image file:EXIF)のような画像データを保存してもよく、カメラのレンズ・パラメータも保存される。
即ち、カメラ106は画像キャプチャー・モジュールの一例であり、画像キャプチャー・モジュールは、クラック102の画像をキャプチャーし、キャプチャーした画像をキャプチャーした画像データの形式で画像処理モジュール108へ送信するように動作することが可能であり、画像データは、クラックの詳細を引き出すように更に処理される。
画像処理モジュール108は、移動電話機104の一部を形成していてもよいし、或いは移動電話機104に対して地理的に距離を隔てていてもよい。画像データは、例えばデータ・バス又はインターネットのような適切な任意の手段により、画像処理モジュール108へ送信されてもよい。
好ましい実施形態において、画像処理モジュール108は、モバイル・フォンへダウンロードされるソフトウェア・コンポーネントとして実現される。これは、アプリケーションとしてソフトウェア・コンポーネントをダウンロードすることにより、実現されてもよい。ソフトウェア・コンポーネントは、破損は修理の余地があるか否か、或いはグレージング・パネルの取り替えが好ましい解決手段として要求されてよいか否かを判断するために、カメラからの画像データを処理することが可能である。
破損分析モジュール12は、好ましくは画像処理モジュール108に組み込まれる1回のダウンロードでモバイル・フォンにダウンロードされるソフトウェア・コンポーネントであってよい。1回でダウンロードされるソフトウェア・コンポーネントは、好ましくは、電話機のカメラからの画像データを処理し、且つソフトウェアで実行される1つ以上のアルゴリズムを利用して破損を分析するように構成される。
一実施例では、キャプチャーされた画像データは、データ入力インターフェース110において、画像処理モジュール108により受信される。画像データは、ルーチン・ライブラリ114にアクセスするように構成される破損分析モジュール112へ送信され、ルーチン・ライブラリ114では、キャプチャーされた画像データの分析の際に、キャプチャーされたデータについて処理を実行するために、ルーチンが保存されていてもよい。
破損分析モジュール112は、移動電話機104に関連するパラメータが保存されているデバイス・パラメータ・データベース116にアクセスするようにも構成されている。
移動電話機104に関連するパラメータは、カメラ106の画像キャプチャー・パフォーマンスを規定するチップ・パラメータを含み、そのパラメータは、例えば、レンズの焦点距離、レンズのセンサー・サイズ、移動電話機104の寸法パラメータ(例えば、移動電話機104の長さ、移動電話機104の上端部とカメラ106の画像の中央部との間の距離)である。
破損分析モジュール112はディスプレイ・モジュール118とのインターフェースを為すように動作することも可能であり、ディスプレイ・モジュール118は、破損分析モジュール112から伝送される画像データをディスプレイで表示するように動作し、且つ破損分析モジュール112から伝送されるパラメータ・データをディスプレイで表示するように動作することが可能である。
図4を参照しながら、破損分析モジュール112を利用するクラック102の分析を説明する。
ステップS400において、破損分析モジュール112は画像データを受信する。そして、ステップS402において、破損分析モジュール112は、ルーチン・ライブラリ114からフーリエ変換ルーチンを呼び出し、フーリエ変換ルーチンを利用して、離散2次元フーリエ変換を画像データに適用し、図5aに示されるように変換画像を生成する。
図5aでは、変換された画像を眺めることができる。図5aは個々のフーリエ成分の大きさに対する空間周波数をプロットしている。低い空間周波数は、変換された画像の中央部を占め、より高い空間周波数は、変換された画像の中央部から遠ざかって動くように見えることが、理解されるであろう。
画像のフーリエ変換を行うことは、破損分析モジュール112が、画像のコンポーネントの空間周波数及び位相の観点から、画像の分析を実行することを可能にする。本願で説明されるように、それは、関心のない空間周波数の除去を可能にし、且つ関心のある空間周波数を維持することで関心のある画像を再構築することを可能にする。
その後、破損分析モジュール112により、ステップ404において、変換された画像にバタワース・バンドパス・フィルタが適用される。図5bには、バタワース・バンドパス・フィルタにより実現されるマスクが示されている。バタワース・バンドパス・フィルタは、図5aに示される変換された画像に関するマスクを実現し、(図5bの中央部にある黒いドットで示される)低い周波数成分と(図5bの画像における暗いボーダー(境界)のような)非常に高い空間周波数成分とを除去する(後者は、画像におけるほこりや汚れのしみ(specks)を表現する)。
ステップS406において、変換された画像データに関して2次元離散逆フーリエ変換を実行するために、ルーチン・ライブラリ114からフーリエ逆変換ルーチンを呼び出すことにより、画像データのフーリエ変換は逆変換される。
変換された画像データに関する逆フーリエ変換の実行は、変換された画像データを、フーリエ・ドメインからリアル・ドメインへ変換し、リアル・ドメインの画像データを生成する。その結果のリアル・ドメインの画像データは図6a及び6bに示されている。
図6bに示される画像を生成するためにフーリエ変換を利用することは、バックグランド(背景)からクラックを分離する効果を有する。
ステップS408において、関心のあるエリアの輪郭をより明確に描くために、リアル・ドメイン画像データは、「4」である閾値強度と比較される。
図6aはバタワース・バンドパス・フィルタを利用していないリアル・ドメイン画像データを示す。図6bは、図5aに示される変換データにバタワース・バンドパス・フィルタを適用し、4である閾値強度を利用してバイナリ画像を生成するために閾値処理を行った後のリアル・ドメイン画像データを示す。この例におけるバタワース・バンドパス・フィルタは「3」であるロールオフ値(a rolloff value of 3)を有する。
バタワース・バンドパス・フィルタの上方及び下方カットオフ周波数は、画像の最長辺のピクセル数(mとして標記される)に線形に依存するようにモデル化されることが可能であり、且つそれぞれ次式のように表現されることが可能である:
Figure 2019518276

この関係は標準的な試行及び数値実験を利用して変更されることが可能である。
図6bに示される画像は、クラック102そのもの以外を含む可能性のある画像である。その画像は、ステップS400ないしS408を通過しているが、ウィンドスクリーンにおける汚れのしみ、及び破損分析モジュール112により実行される処理のその他のアーチファクトに起因する画像データを含んでいるかもしれない。
図6bに示されるバイナリ画像を生成するために「4」である閾値強度を利用することは、関心のあるエリアを更に鮮明に示すことを支援する。図6bに示されるリアル・ドメインの画像データにより示される画像は、中央部のクラック・エリアを含むクラックを強調し、そのエリアは低い空間周波数のエリアである。
フーリエ・アプローチは、焦点が合っており且つバックグランドはそうではない(焦点は合ってない)と仮定すると、雑然としたバックグランドからクラック領域を分離する非常に巧妙な作業を行っていることが、理解できる。
ステップ410において、破損分析モジュール112は、図6bに示される画像から何らかのノイズ(any clutter)を除去するために、ルーチン・ライブラリ114から形態ルーチン(a morphology routine)を呼び出すことが可能である。
形態ルーチンは、図6bに示される画像に関して幾つかのオペレーションを実行する。この画像はバイナリ画像である。ブラックの領域はゼロの値にされ、ホワイトの領域は非ゼロの値にされる。ピクセル値は、破損分析モジュール112のメモリに保存され、またピクセル値はステップS400ないしS408の処理の結果である。
これらのオペレーションのうちの第1はフィル・イン・オペレーション(a fill-in operation)であり、このオペレーションは、例えば文献[1]で述べられているプロセスに従って、ゼロ値を非ゼロ値に置換することによって、ホワイトで囲まれるブラックのピクセル・サイズの領域をホワイトで埋めるために、形態再構築法(morphological reconstruction)を利用する。
これらのオペレーションのうちの第2は、非常に小さな非ゼロ値の領域を破棄するクリーン・アップ・オペレーションである。非常に小さな非ゼロ値領域とは、(画像/500である最大寸法)の平方より狭いエリアを占めるゼロ値領域として定義される。画像の最大寸法は、単に、画像の幅の長さを画像の長さと比較することで、破損分析モジュールにより決定されることが可能である。
その後、第2形態オペレーションにより生成されたホワイトの領域で囲まれるブラックの任意のピクセル・サイズ領域を埋めるために、第1形態オペレーションが反復される。これは第3形態オペレーションである。
そして、第4形態オペレーションは、クラック102の画像の中で、亀裂同士の間にギャップ(又は隙間)を有する任意の亀裂同士を結び付けるように実行される。これは、例えば文献[2]で説明されているような形態接近オペレーション(a morphological closing operation)を利用して実現される。浸食(An erosion)が実行され、(画像/5312である最大寸法)に20を乗算した半径を有する皿状の構造エレメントを利用することによる拡張(a dilation)が後続する。20という値は、経験的に決定されているに過ぎず、変更されてもよい。この値は、様々な画像解像度に関し、必要以上の如何なる負担もかけることなく決定されることが可能である。
そして、第4形態オペレーションにより生成されたホワイトの領域で囲まれるブラックの任意のピクセル・サイズの領域を埋めるために、第1形態オペレーションが反復される。これは第5形態オペレーションである。
任意の小さな非ゼロ領域をも破棄するために第6形態オペレーションが実行される。小さな領域とは、(画像/100である最大寸法)の平方に等しいエリアを有する領域として定義される。
そして、画像中の任意の非接続オブジェクト(any disconnected objects)を除去するために第7形態オペレーションが実行される。関心のある非接続オブジェクトは、画像の中央部に最も近い最大オブジェクトの半径の3/4より遠く離れているオブジェクトである。これは、未だ離れ離れであるクラックの複数の亀裂が含まれているが、余分なアーチファクトも含まれていることを意味する。第7形態オペレーションは、画像中の残りの領域の各々について、質量中心(即ち、画像の質量中心)と、領域の主軸の長さとを発見することにより実現される。質量中心が画像の中心にどの程度接近しているかに基づいて、各々の領域のエリアに、追加的な重み付けが指定される。
重み付け(ウェイト)は、w=1/d2であり、ここでdは質量中心と画像の中心との間のユークリッド距離である。画像の中心に最も近い最大領域が選択され、そして或る半径(又は質量中心から主軸の長さの3/4)を設定するために主軸の長さが使用され、その半径等の外側の如何なる領域も破棄される。即ち、画像中の最大オブジェクトの半径プラスその半径の半分のクラックの中心から或る距離に収まる全ての「ブロブ(blobs)」を維持し、クラック102の任意の不連続性が失われないことを保証するように、境界の計算に関する質量中心及び形態ルーチンが設定される。
画像データを精緻化するために形態ルーチンが適用された後に、画像データは、クラック102の寸法を決定する使用されることが可能である。
破損分析モジュール112は、クラック102の中心を決定するために、エッジ検出、形態(分析)、不鮮明化(blurring)、及び閾値処理を更に適用する。
クラックの中心は通常的には約2mmの直径であることが実験により観察されている。クラック102の中心の決定結果によるデータ及び精緻化された画像データを利用して、破損分析モジュール112は、クラック102の亀裂の長さを推定するように動作することが可能であり、且つクラック102の中央部の直径と比較した亀裂の長さを特徴付ける比率の値を決定するように動作することが可能であり、即ちその比率の値はクラック102の中心に対して比較した亀裂のスケーリング因子である。クラックの中心は通常的には2mmであるという観察を利用して、スケーリング因子は、亀裂の長さを決定するために使用されることが可能である。これは、クラック102のサイズの非校正分析(uncalibrated analysis)をもたらす。
亀裂の決定された長さは、クラック102のサイズを近似し、且つウィンドスクリーンの置換が必要になるか否か、或いは修理で足りるか否かについての判断を、破損分析モジュール112が出力できるようにし、なぜならその判断を行う際に重要なことはクラックのサイズだからであり、クラック102のサイズを修理/置換の閾値と比較することにより、破損分析モジュール112はこの判断を自動化することが可能である。破損分析モジュール112は、その判断をディスプレイ・モジュール118へ出力することになる。
その出力、即ちウィンドスクリーンの置換が必要であるか否かは、ステップS412においてディスプレイ・モジュール118を利用して表示される。
クラックの亀裂のサイズを推定するためにクラックの中心についての観察された推定値を利用することは、クラックの半径方向スパイキネス度(a degree of radial spikeyness in a crack)の仮定を当てにし、推定値を利用するということは、クラック102に関するスケールを提供するためにそのシーンで如何なる校正もすることなく、クラックの画像が取得されそれがクラックを分析するために使用されることを意味する。
この方法は、クラックの分析が、広範囲に及ぶ状況で、しかも技術者を伴わずに実行されることを可能にする。
第2実施形態では、移動電話機104及びカメラ106のレンズのパラメータを利用してクラック102のパラメータを如何にして導出するかを説明する。これは、画像に関してアングル(angle)がもたらす何らかの影響を補正することを支援できる。
第2実施形態は、本開示から逸脱することなく、第1実施形態と組み合わせられることが可能である。
図2に示される配置は、カメラ106のチップ・パラメータ及び移動電話機104の幾何学的パラメータを利用して、クラックの寸法が推定されることを可能にする。
ウィンドスクリーンに対する移動電話機104の回転角(ピボット・アングル又は傾斜角)を算出するために、移動電話機104の幾何学的パラメータを利用することが可能である。
カメラ106のレンズの視野の中央部にクラック102を配置する際に、その配置は直角三角形が描かれることを可能にする。これは図7に関連して説明される。
クラック102が発見された後に、移動電話機104は、そのトップ・エッジ(上端部)をクラック102の根元(the base of the crack 102)に合わせてウィンドスクリーン上に平らに寝かされる。これは、移動電話機104のボトム・エッジ(下端部)とクラックの根元との間の距離が、移動電話機104の長さに等しいことを意味する。そして、移動電話機104は、クラック102がカメラ106の視野の中央部に来るまで、移動電話機104のボトム・エッジから傾斜させられる。視野の中央部を指示するように、移動電話機104のディスプレイに「しるし(indicia)」が提供されてもよい。
移動電話機104のボトム・エッジとカメラ106のレンズとの間の距離は、デバイス・パラメータ・データベース116から引き出されることが可能である。従って、移動電話機104のボトム・エッジとウィンドスクリーン100との間の回転角;カメラ・レンズのZ軸;及びボトム・エッジとクラックの根元との間に形成される距離;により形成される直角三角形が存在する。
クラックのパラメータを推定するために、移動電話機104の幾何学的パラメータ及びレンズ・パラメータがどのように使用され得るかを説明する。
クラック102がカメラ106の視野の中央に来るまで移動電話機104が回転させられる上記のプロセスに従って、クラックの画像がキャプチャーされる。
これは、カメラ・レンズのZ軸と、ボトム・エッジ及びクラックの根元の間に形成される距離と、ボトム・エッジ及びカメラ・レンズの間の長さとにより、直角三角形が形成されることを可能にする。
図8を参照しながら、破損のパラメータを推定するために、移動電話機104の幾何学的パラメータ及びレンズ・パラメータがどのように使用され得るかを説明する。
ステップS800において、破損分析モジュール112は、移動電話機104のボトム・エッジ及びクラックの根元の間に形成される距離(即ち、移動電話機104の長さ)と、移動電話機104のボトム・エッジ及びカメラ・レンズの間の長さとを、デバイス・パラメータ・データベース116から取り出す。ステップS802において、ボトム・エッジ及びクラックの根元の間に形成される距離と、ボトム・エッジ及びカメラ・レンズの間の長さとの間の余弦関係(the cosine relationship)を利用して、移動電話機104の回転角が算出されることが可能である。
次に、カメラのピクセルと画像の現実世界の空間的な寸法との間の平面−平面の同型写像(plane-plane homographic mapping)を導出するために、カメラ・パラメータを利用する必要がある。平面−対−平面の同型写像ルーチンは、画像の現実世界の空間的寸法を導出するために、S804でルーチン・ライブラリ114から呼び出される。
画像の現実世界の空間的寸法を提供するための同型写像の導出は、「ピン・ホール・カメラ・モデル」に基づいており、その場合、カメラは、カメラの視野を、カメラ106のレンズに関して延びる四角錐であると想定する。これは図9a及び9bに概略的に示されている。
図9aは移動電話機104がウィンドスクリーン上に直接的に配置されている様子を単なる例示として示している。即ち、カメラ106はウィンドスクリーン100の鳥瞰図を提供する。この例では、視野域(the view area)A1が四角形であり、各ピクセルは、現実世界の空間のうちの同じ量(ミリメートル)を占める。
この例では、図9bに示されるように、移動電話機104はウィンドスクリーン100に対して或るアングル(又は角度)の位置にある。ステップS802において、このアングルが算出される。視野域A2は台形となり、台形になるということは、カメラに近いピクセルは、更に遠いピクセルよりも少ないミリメートル数を表すことを意味する。
面−対−面の同型写像がどのように導出されるかについての理論的基礎を説明するが、これは、ルーチン・ライブラリ114を利用して利用可能にされるルーチンを利用することにより、破損分析モジュール112にとって利用可能なルーチンを利用して数値的に実現されることが、理解されるであろう。
四角形の画像センサーがカメラ106の一部を形成し、センサーは或る回転角θだけ平坦面から傾斜しており、センサーにより観察されるエリアは二等辺の台形にマッピングされることを想定する。この台形の底の幅はθに直接的に依存する。面−対−面の同型写像ルーチンを利用すると、カメラ106におけるピクセルの情報を利用してクラック102のパラメータを数値的に推定するために、その原理を活用することが可能である。
θの関数としてx軸回りの3D回転行列を次のように決める:
Figure 2019518276

θはウィンドスクリーンに対する移動電話機104の角度であることが理解される。x,y,zのカーテシアン座標の原点を(0,0,0)(即ち、ワールド原点)に決めることが可能である。この原点は、x軸に整合する移動電話機104の底辺の中点である。従って、この座標系のy軸は電話機のベース(底部)からトップ(上部)へ垂直に方向付けられている。簡明化のため及び一般性を失うことなく、カメラは、電話機のベースから或る距離dcの位置でy軸上に横たわっているものと仮定する。従ってカメラの中心は次のように規定される:
Figure 2019518276

ステップS806において、カメラのレンズの焦点距離、垂直及び水平センサー・サイズは、デバイス・パラメータ・データベース116から引き出されることが可能である。これらのパラメータはチップ・パラメータ(chip parameters)と呼ばれてもよい。チップ・パラメータは、カメラからの視野域を算出できるようにする。視野域は、水平及び垂直視野角(the horizontal and vertical angle of view)と呼ばれる2つの量により規定され(それぞれ、OIH及びavとして記述される)、それらは以下の数式により規定される:
Figure 2019518276

ここで、sx及びsyは水平及び垂直センサー・サイズであり、fは焦点距離である。
水平及び垂直視野角を算出すると、ステップS808において、破損分析モジュール112は、面−対−面の同型写像ルーチンを利用して視界ピラミッドのエッジ又は辺(the edges)を算出し、ウィンドスクリーン100における視野を(我々に)提供する。これは、図9bに概略的に示される台形を提供し、即ちその台形は、レンズに近いピクセルに対して、レンズから遠いピクセルにより占められる相違する空間量の補償を修正するために必要とするものである。即ち、上記の計算が、各ピクセルに対して、現実の世界空間での等しい量に帰することを保証するために、台形をスケーリングする必要がある。
これは、或るライン(即ち、光線)により、破損分析モジュール112が使用する面−対−面の同型写像ルーチンでモデル化され、そのラインは、レンズから視線に沿ってレンズとクラック102との間で延びている。このラインは、ウィンドスクリーンにより表現される平面と交わり、即ち、面−対−面の同型写像ルーチンは平面としてモデル化される。
ステップS810において、面−対−面の同型写像ルーチンは、ウィンドスクリーンの平面と、レンズから視線に沿ってレンズ及びクラック102の間で延びるラインとを決定する連立方程式を解くために、ルーチン・ライブラリ114から数値計算ソルヴァー・ルーチン(a numeric solver routine)を呼び出す。ウィンドスクリーン100を規定する面は平坦であり、その面に対してカメラ106は傾斜しているという仮定の下で、面−対−面の同型写像がプログラムされる。これは、レンズから視線に沿って延びるラインとウィンドスクリーン100の平面との間の交点を提供する。
理論的には、これは、カメラの中心の地点から、センサー/画像平面のコーナーを通ってウィンドスクリーンに至る光線の計算として表現されることが可能であり、その光線は上記の台形を形成する。
先ず、所与の水平及び垂直視野角αh及びαvの下で(それぞれ上述のように規定される)、単位距離の位置で画像平面に平行な平面に対する光線の交点を求める。
四角形のセンサーの各コーナーにつき1つの4つの光線がある。最小及び最大のx値は次のように決定されることが可能である:
Figure 2019518276

同様に、最小及び最大のy値も決定することが可能である:
Figure 2019518276

そして、四角形のセンサーのコーナー(又は隅)を次のように決定することが可能である:
Figure 2019518276

各自の大きさでこれらの座標を正規化することは、4つの光線の方向を(我々に)提供する。これらの座標各々に対する光線方向は、次のように決定される:
Figure 2019518276

電話機がx軸においてθだけ回転させられるとすると、カメラの中心の位置は次のようにして計算することが可能である:
Figure 2019518276

これは、次のようにして、光線の方向を規定することを可能にする:
Figure 2019518276

これは、画像平面に平行な平面に対する既知の交点とともにカーテシアン座標で各光線を(我々に)提供し、この交点は1つだけ生じることが分かっている。これは、現実世界における視野を示す台形を提供する。
台形のコーナーは次のように決めることが可能である:
Figure 2019518276

例えば文献[3]に記載されているような直線平面交点の公式を利用して台形の頂点を算出することが可能である。
ウィンドスクリーンの平面に対する法線はベクトルn=(0,0,-1)であること、及びそれはワールド原点を通ることが分かっており、この知識は交点の公式を次のように簡略化できることを意味する:
Figure 2019518276

ここで、vi,i∈(tl,tr,br,bl)という各地点は台形の頂点を規定し、その台形は、台形の頂点と画像の座標との間の4点の対応関係を利用して、画像平面から現実世界平面への同型写像を規定するために必要なものである:
Figure 2019518276

ここで、wは画像の幅であり、hは画像の高さである。同型写像がどのようにして取得されるかについてのアルゴリズムは、例えば文献[4]で説明されている。
ウィンドスクリーン上のカメラの高さは、移動電話機104の底辺及びクラックの根元の間に形成される距離(即ち、移動電話機104の長さ)と、移動電話機104の底辺とカメラ・レンズとの間の長さとにより、ピタゴラスの定理を利用して破損分析モジュール112により算出されることが可能であり、距離等のパラメータは、ステップS800においてデバイス・パラメータ・データベース116から引き出されてもよいし、破損分析モジュール112についてのメモリに存在してもよい。
ステップS810からの出力は、現実世界で見える台形(X1,X2,X3,X4)である。パラメータ(X1,X2,X3,X4)とウィンドスクリーンでキャプチャーされる画像のコーナーとの(ステップS812において破損分析モジュール112により実行される)比較は、カメラ106のピクセルのロケーションを、ウィンドスクリーン100の視野におけるミリメートル数でのロケーションにマッピングするために必要とされるスケーリングをもたらす。これは、平面−対−面の同型写像を(我々に)提供する。スケーリングは、3×3行列の形式におけるものであり、カメラの視野とウィンドスクリーン100との間におけるスケール(scale)、ローテーション(rotation)、スキュー(skew)、及びトランスレーション(translation)を表現する。
平面−対−面の同型写像は、キャプチャーされた画像に対する見え方の影響の補正、及びピクセル寸法からミリメートル数への変換を可能にし、破損分析モジュール112がクラック102に対する寸法パラメータを導出することを可能にする。
平面−対−面の同型写像は、カメラ106の2次元画像平面を、ウィンドスクリーンを表現する平面へマッピングするマトリクスである。
平面−対−面の同型写像からの出力は、オルソ修正マスク(an orthorectified mask)をミリメートル数で提供し、クラックの位置及び形状を指示する。
平面−対−面の同型写像ルーチンからの出力として理解される平面−対−面の同型写像からのこの出力に応答して、破損分析モジュール112は、ルーチン・ライブラリ114から凸包計算ルーチン(a convex hull calculation routine)を呼び出す。ウィンドスクリーンの視野におけるミリメートル数での位置は、ルーチン・ライブラリ114からの凸包計算ルーチンへ提供される。
凸包は、要するに、視野におけるミリメートル数での場所それぞれをカバーする空間である。凸包計算ルーチンからの出力は、検出されたクラック102と同じサイズである「ブロブ」として簡易な項で表現されることが可能なデータである。これは、分析が、検出されたクラック102において、ブロブを利用して実行されることを可能にする。
破損分析モジュール112は、ルーチン・ライブラリ114から最小円ルーチンを呼び出し、最小円ルーチンは、凸包計算ルーチンからの出力である凸包に関する最小円問題(the smallest circle problem)に対する数値解法を実行する。このモジュールは、凸包内の点それぞれを囲む最小円を出力し、そして、クラック102に関する最小半径を提供する。
凸包を表現するデータ、凸包に関する最小円問題に対する解を表現するデータ、及びクラックに関して計算される半径は、それぞれ破損分析モジュール112によりストレージに保存され、ストレージは、処理モジュール108に対してローカルである、或いは処理モジュール108に対してリモートである。
即ち、破損分析モジュール112は、クラックの半径を生成するために、移動電話機104の幾何学的パラメータ、及びカメラ106のパラメータを使用している。
最小円ルーチンから出力される円及びパラメータは、以後、ステップS814においてディスプレイ・モジュール118を利用して表示されることが可能である。
図11には、ディスプレイ・モジュール118により提供されてもよい例示的な画像が示されている。この例では、最小円の直径が16mmとして示されており、これは8mmの半径を意味する。このケースで推定された最大クラックの直径は16mmである。その効果は、クラックの最小サイズが推定され、且つウィンドスクリーンの置換の必要性を判断するために使用できる、ということである。
推定された半径は、クラック102が置換を必要とするか否か、或いは修理で足りるか否かを判断するために、破損分析モジュール112により、置換/修理の閾値と比較されることが可能である。
移動電話機104上にケースが存在すると、それが移動電話機104の長さに加わるので、測定されるパラメータにエラーを導入してしまう傾向があるが、そのエラーは概して約3%である。3%のエラー・マージンが、破損分析モジュール112の計算に組み込まれ、ディスプレイ・モジュール118によりディスプレイで提供される。
移動電話機104のベース及びカメラ106の間の距離が、デバイス・パラメータ・データベース116から利用可能でない可能性もある。この場合、説明される方法の堅牢性を改善するように、パラメータを推定することが可能である。
クラック102の画像がキャプチャーされる場合に、移動電話機の角度を得るために、移動電話機104に内蔵されている傾斜計を利用することが可能である。これは、以下の数式を利用して高さhを算出するために使用されることが可能である:
h=l*sin(θ)
ここで、l(エル)は移動電話機104の長さであり、角度θは傾斜計により取得される角度である。
同様に、電話機の角度は、視野角、画像の解像度、及びセンサー・サイズを利用して推定されることが可能である。
第1実施形態の技術に関連して説明したように、好ましい実施形態では、画像処理モジュール108は、移動電話機にダウンロードされるソフトウェア・コンポーネントとして実現される。これは、アプリケーションとしてソフトウェア・コンポーネントをダウンロードすることにより実現されてもよい。ソフトウェア・コンポーネントは、破損が修理に弱いか否か、或いは好ましいソリューションとしてグレージング・パネルの置換が求められるか否かを判断するために、カメラからの画像データを処理することが可能である。
破損分析モジュール112は、好ましくは、画像処理モジュール108と組み合わせるシングル・ダウンロードとして移動電話機にダウンロードされるソフトウェア・コンポーネントであってもよい。シングル・ダウンロードのソフトウェアは、好ましくは、電話機のカメラからの画像データを処理し、ソフトウェアで実現される1つ以上のアルゴリズムを利用して破損を分析するように構成される。
破損分析モジュール112は、最小円の半径に基づいて、完全なウィンドスクリーンの置換が必要とされるか否かについてのアラート(警告)をディスプレイに提供するように動作する。クラック102が指定された閾値を上回る場合、破損分析モジュール112は、ウィンドスクリーンの置換の必要性を示してもよい。アラートは、移動電話機104のディスプレイに表示されてもよい。
上記の実施形態は本発明を限定するのではなく例示しているに過ぎないこと、及び当業者は、添付の特許請求の範囲により規定される本発明の範囲から逸脱することなく、多くの代替的な実施形態を設計できることに、留意すべきである。特許請求の範囲において、括弧内に配置される如何なる参照符号も特許請求の範囲を限定するように解釈されるべきではない。「有している」及び「有する」等の言葉は、全体として何らかの請求項又は明細書に列挙されているもの以外のエレメント又はステップの存在を排除していない。本明細書において、「〜を有する」は「〜を含む又は〜から構成される」を意味し、「〜を有している」は「〜を含んでいる又は〜から構成されている」を意味する。エレメントについての単独の言及は、複数のエレメントについての言及を排除しておらず、逆も成立する。本発明は、複数の個々のエレメントを有するハードウェアを利用することにより、及び適切にプログラムされたコンピュータを利用することにより実現されてもよい。複数の手段を列挙する装置の請求項において、それらの手段うちの幾つかは、ハードウェアである1つの同じアイテムにより具現化されてもよい。或る複数の事項が相互に異なる従属請求項で引用されているという単なるそれだけの事実は、それら複数の事項の組み合わせが有利に使用され得ないことを示してはいない。
http://www.mathworks.com/tagteam/64199_91822v00_eddins_final.pdf https://en.wikipedia.org/wiki/closing_(morphology) Joseph O'Rourke "Computational Geometry in C", Cambridge University Press, 2012 Richard Hartley and Andrew Zisserman "Multiple View Geometry in Computer Vision", Cambridge University Press, 2011.

Claims (31)

  1. 乗物のグレージング・パネルにおける破損を分析するための破損分析方法であって:
    乗物のグレージング・パネルにおける破損の画像をキャプチャーするステップ;
    前記破損の画像を処理するステップ;
    を含む破損分析方法。
  2. 前記画像の処理に基づいて、前記グレージング・パネルの置換又は修理の必要性を判断するステップ;
    を更に含む請求項1に記載の破損分析方法。
  3. 前記破損の画像が、前記乗物のグレージング・パネルに対して傾斜した角度でキャプチャーされる、請求項1又は2に記載の破損分析方法。
  4. 前記画像は、前記グレージング・パネルの表面に接触して保持されるモバイル・コンピューティング・デバイスによりキャプチャーされ、前記モバイル・コンピューティング・デバイスはカメラを含む、請求項1ないし3のうちの何れか一項に記載の破損分析方法。
  5. 前記モバイル・コンピューティング・デバイスは、前記カメラの視野の中の所定の位置で前記破損が見えるように傾斜させられる、請求項4に記載の破損分析方法。
  6. 前記所定の位置は、前記モバイル・コンピューティング・デバイスにおいて表示されるしるしによって指示される、請求項5に記載の破損分析方法。
  7. 前記モバイル・コンピューティング・デバイスを前記グレージング・パネルの表面に平らに配置するステップ;及び
    前記モバイル・コンピューティング・デバイスの少なくとも一部が前記グレージング・パネルに接触したまま、前記グレージング・パネルから遠ざかるように前記モバイル・コンピューティング・デバイスをピボット運動させるステップ;
    を有する請求項4ないし6のうちの何れか一項に記載の破損分析方法。
  8. 前記カメラは、前記モバイル・コンピューティング・デバイスがピボット運動させられる前に、前記破損に対して所定の位置に配置される、請求項7に記載の破損分析方法。
  9. 前記モバイル・コンピューティング・デバイスをピボット運動させる前に、前記モバイル・コンピューティング・デバイスの或る機能部を所定の位置に整合させるステップを有する請求項8に記載の破損分析方法。
  10. 前記モバイル・コンピューティング・デバイスをピボット運動させる前に、前記モバイル・コンピューティング・デバイスの一端を、前記破損の最下位位置に整合させるステップを有する請求項9に記載の破損分析方法。
  11. 前記破損が前記カメラの視野の中の所定の位置で見えるまで、前記モバイル・コンピューティング・デバイスをピボット運動させるステップを有する請求項7ないし10のうちの何れか一項に記載の破損分析方法。
  12. 前記所定の位置は前記カメラの視野の中心である、請求項11に記載の破損分析方法。
  13. 前記破損のサイズを推定するために、前記コンピューティング・デバイスの幾何学的パラメータと前記カメラのレンズ・パラメータとを使用するステップを含む請求項7ないし12のうちの何れか一項に記載の破損分析方法。
  14. 前記モバイル・コンピューティング・デバイスの前記幾何学的パラメータは、前記モバイル・コンピューティング・デバイスと前記グレージング・パネルとの間のピボット角を決定するために使用される、請求項13に記載の破損分析方法。
  15. 前記画像を処理するステップは、前記カメラ及び/又はモバイル・コンピューティング・デバイスのチップ・パラメータに更に基づいている、請求項13又は14に記載の破損分析方法。
  16. 前記画像を処理するステップは、前記破損又は前記破損内の或るゾーンの直径をもたらすために使用される一群のデータ点を生成する、請求項13ないし15のうち何れか一項に記載の破損分析方法。
  17. 乗物のグレージング・パネルの置換、又は前記グレージング・パネルの修理のための条件を、前記破損の推定されたサイズに基づいて判断するステップを更に含む、請求項13ないし16のうち何れか一項に記載の破損分析方法。
  18. 前記破損の中央部、及び前記破損の1つ以上の亀裂を確認するステップを含む、請求項1ないし17のうちの何れか一項に記載の破損分析方法。
  19. 前記破損の中央部のサイズと比較される場合の前記破損の1つ以上の亀裂の相対的な長さを示すスケーリング因子を生成するステップ;及び
    前記スケーリング因子を利用して前記1つ以上の亀裂の長さを推定するステップ;
    を含む請求項18に記載の破損分析方法。
  20. 前記破損の1つ以上の亀裂の長さを推定するステップが、前記スケーリング因子に所定値を乗算するステップを含む、請求項19に記載の破損分析方法。
  21. 前記所定値は、前記破損の中央部の実際のサイズの推定値であり、前記サイズは前記破損の中央部の直径、幅及び/又は長さである、請求項20に記載の破損分析方法。
  22. 前記1つ以上の亀裂の推定された長さは前記破損のサイズを示すために使用され、前記破損のサイズは、前記グレージング・パネルの修理の必要性の条件を判断するための閾値パラメータと比較される、請求項19ないし21のうちの何れか一項に記載の破損分析方法。
  23. 前記グレージング・パネルの置換又は修理の必要性を判断するステップは、前記1つ以上の亀裂の推定された長さが所与の閾値を超えるか否かを判断するステップを含む、請求項2に従属する場合の請求項19ないし22のうちの何れか一項に記載の破損分析方法。
  24. 前記画像を処理するステップは、前記破損を識別するために、背景部分を除去するように前記画像をフィルタリングするステップを含む、請求項1ないし23のうちの何れか一項に記載の破損分析方法。
  25. 前記画像をフィルタリングするステップは、前記画像に形態精緻化を適用するステップを含む、請求項24に記載の破損分析方法。
  26. ウィンドスクリーンが修理又は置換されることの要否を示す信号を出力するステップを含む請求項17又は請求項23に記載の破損分析方法。
  27. 乗物のグレージング・パネルにおける破損を分析する装置であって:
    乗物のグレージング・パネルにおける破損の画像をキャプチャーするように構成されるカメラ;
    前記破損の画像を処理するように動作することが可能な処理モジュール;
    を含む装置。
  28. 前記カメラを有するモバイル・コンピューティング・デバイスを含む請求項27に記載の装置。
  29. 前記モバイル・コンピューティング・デバイスは、前記処理モジュールを含む、請求項28に記載の装置。
  30. 前記処理モジュールは、請求項1ないし26のうちの何れか一項に記載の破損分析方法のステップを実行するように構成されている、請求項27ないし29のうち何れか一項に記載の装置。
  31. 乗物のグレージング・パネルに存在する破損に関する技術情報を確認するためのコンピュータ実現方法であって、カメラを有するモバイル・コンピューティング・デバイスにソフトウェア・コンポーネントをダウンロードするステップを有し、前記ソフトウェア・コンポーネントは、前記破損は修理されることが好ましいか或いは置換されることが好ましいかを判断するために、前記カメラによりキャプチャーされた画像情報を処理するように構成されている、コンピュータ実現方法。

JP2018558772A 2016-05-13 2017-05-11 破損分析装置及び方法 Pending JP2019518276A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GBGB1608455.0A GB201608455D0 (en) 2016-05-13 2016-05-13 Break analysis system, method and device
GB1608455.0 2016-05-13
PCT/GB2017/051316 WO2017194950A1 (en) 2016-05-13 2017-05-11 Break analysis apparatus and method

Publications (1)

Publication Number Publication Date
JP2019518276A true JP2019518276A (ja) 2019-06-27

Family

ID=56320372

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018558772A Pending JP2019518276A (ja) 2016-05-13 2017-05-11 破損分析装置及び方法

Country Status (28)

Country Link
US (3) US10852249B2 (ja)
EP (2) EP3783567B1 (ja)
JP (1) JP2019518276A (ja)
KR (1) KR20190007481A (ja)
CN (2) CN116205871A (ja)
AR (1) AR108460A1 (ja)
AU (2) AU2017263145B2 (ja)
BR (1) BR112018072977A2 (ja)
CA (1) CA3021030C (ja)
DK (2) DK3455825T3 (ja)
ES (2) ES2956878T3 (ja)
FI (1) FI3783567T3 (ja)
GB (3) GB201608455D0 (ja)
HR (2) HRP20231169T1 (ja)
HU (2) HUE053349T2 (ja)
LT (2) LT3455825T (ja)
MA (1) MA44971B1 (ja)
MX (2) MX2018013704A (ja)
PL (2) PL3783567T3 (ja)
PT (2) PT3455825T (ja)
RS (2) RS61389B1 (ja)
RU (1) RU2766420C2 (ja)
SG (1) SG11201809865RA (ja)
SI (2) SI3455825T1 (ja)
TN (1) TN2018000371A1 (ja)
TW (2) TW201839385A (ja)
WO (1) WO2017194950A1 (ja)
ZA (2) ZA201806995B (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201608455D0 (en) 2016-05-13 2016-06-29 Belron Internat Ltd Break analysis system, method and device
GB2585004A (en) 2019-06-24 2020-12-30 Belron Int Ltd Analysis of damage to vehicle glazing panels
CN112784626B (zh) * 2019-11-04 2022-07-01 广东新星源智能信息科技有限公司 基于移动终端的更换需求现场触发装置
CN111762181B (zh) * 2019-11-06 2021-06-04 嵊州市万智网络科技有限公司 汽车事故编号映射***以及方法
CN110893382B (zh) * 2019-11-09 2020-10-27 嵊州亿源投资管理有限公司 自动化细纹修补***
CN110907473B (zh) * 2019-11-29 2023-04-07 上海科世达-华阳汽车电器有限公司 光伏组件的检修方法、装置、设备以及存储介质
CN112906688A (zh) * 2019-12-04 2021-06-04 刘志方 基于视觉处理的信息解析平台
US20230384116A1 (en) * 2022-05-25 2023-11-30 Here Global B.V. Method and apparatus for determining window damage indicators

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6115118A (en) * 1997-08-25 2000-09-05 Northstar Automotive Glass, Inc. Vehicle windshield scanning system
GB2391784B (en) * 2002-08-02 2005-10-19 Carglass Luxembourg Sarl Zug Windscreen heater device particularly for windscreen repair
GB2415776B (en) 2004-06-28 2009-01-28 Carglass Luxembourg Sarl Zug Investigation of vehicle glazing panels
US7089099B2 (en) * 2004-07-30 2006-08-08 Automotive Technologies International, Inc. Sensor assemblies
RU2366933C2 (ru) * 2004-12-16 2009-09-10 Вольво Аэро Корпорейшн Способ и устройство для выявления трещин в объекте
CN101253515B (zh) * 2005-06-30 2012-09-26 北美Agc平板玻璃公司 单片图像感知器件和方法
US20070067075A1 (en) * 2005-09-16 2007-03-22 Mcmillan Michael W Quick automotive cosmetic repair
US20070245956A1 (en) * 2006-02-23 2007-10-25 Picodeon Ltd Oy Surface treatment technique and surface treatment apparatus associated with ablation technology
US8073196B2 (en) * 2006-10-16 2011-12-06 University Of Southern California Detection and tracking of moving objects from a moving platform in presence of strong parallax
GB2479489A (en) * 2007-04-23 2011-10-12 Belron Hungary Kft Zug Branch Optical investigation device
DE102007021181B3 (de) * 2007-05-05 2008-07-03 Dr.Ing.H.C. F. Porsche Ag Verfahren zur Reparatur eines beschädigten Fahrzeug-Trägers, insbesondere eines Seitenschwellers
KR101561913B1 (ko) 2009-04-17 2015-10-20 엘지전자 주식회사 이동 단말기의 영상 표시 방법 및 그 장치
WO2011022490A2 (en) * 2009-08-18 2011-02-24 Serious Materials, Inc. Method and systems for retrofitting glass or insulated glass units of existing curtain wall systems for improved thermal performance
CN104081192B (zh) * 2011-04-21 2017-02-22 艾悌亚信息技术(上海)有限公司 一种对玻璃多层面摄像的摄像装置及其方法
US20140247348A1 (en) * 2013-03-01 2014-09-04 Hertz System, Inc. Virtual rent-a-car system and method with in-car concierge device
JP6238569B2 (ja) * 2013-05-22 2017-11-29 キヤノン株式会社 画像処理装置、画像処理方法、及び、プログラム
US9113306B2 (en) * 2013-08-02 2015-08-18 Google Inc. Predictive assistance information
GB2526270B (en) 2014-05-16 2018-08-22 Pre Chasm Res Ltd Examining vehicle glass defects
JP2016095502A (ja) * 2014-11-11 2016-05-26 株式会社半導体エネルギー研究所 表示システム、表示装置
GB201608455D0 (en) 2016-05-13 2016-06-29 Belron Internat Ltd Break analysis system, method and device

Also Published As

Publication number Publication date
CA3021030C (en) 2024-02-27
GB201819662D0 (en) 2019-01-16
CA3021030A1 (en) 2017-11-16
PL3783567T3 (pl) 2023-12-11
LT3455825T (lt) 2021-02-25
TW201740102A (zh) 2017-11-16
HUE053349T2 (hu) 2021-06-28
GB2551894A (en) 2018-01-03
GB201707572D0 (en) 2017-06-28
FI3783567T3 (fi) 2023-09-08
HRP20231169T1 (hr) 2024-01-05
CN109155062A (zh) 2019-01-04
TN2018000371A1 (en) 2020-06-15
SI3783567T1 (sl) 2023-11-30
MA44971A (fr) 2019-03-20
AU2017263145A1 (en) 2018-11-08
CN116205871A (zh) 2023-06-02
EP3455825A1 (en) 2019-03-20
ZA202100372B (en) 2022-10-26
RU2766420C2 (ru) 2022-03-15
AR108460A1 (es) 2018-08-22
MX2018013704A (es) 2019-05-02
AU2022201019B2 (en) 2023-04-13
TW201839385A (zh) 2018-11-01
DK3783567T3 (da) 2023-09-18
RS64596B1 (sr) 2023-10-31
HUE063378T2 (hu) 2024-01-28
BR112018072977A2 (pt) 2019-03-06
US20210131979A1 (en) 2021-05-06
EP3783567A1 (en) 2021-02-24
LT3783567T (lt) 2023-10-10
WO2017194950A1 (en) 2017-11-16
SI3455825T1 (sl) 2021-04-30
SG11201809865RA (en) 2018-12-28
GB201608455D0 (en) 2016-06-29
RU2018140338A (ru) 2020-06-15
US20190170662A1 (en) 2019-06-06
AU2022201019A1 (en) 2022-03-10
AU2017263145B2 (en) 2021-12-23
GB2565500A (en) 2019-02-13
PL3455825T3 (pl) 2021-07-19
MX2022000529A (es) 2022-02-10
US11385189B2 (en) 2022-07-12
EP3783567B1 (en) 2023-07-05
PT3783567T (pt) 2023-08-18
ZA201806995B (en) 2023-09-27
DK3455825T3 (da) 2021-02-08
US20220326163A1 (en) 2022-10-13
KR20190007481A (ko) 2019-01-22
US10852249B2 (en) 2020-12-01
EP3455825B1 (en) 2020-11-11
RS61389B1 (sr) 2021-02-26
MA44971B1 (fr) 2021-03-31
ES2956878T3 (es) 2023-12-29
TWI647443B (zh) 2019-01-11
PT3455825T (pt) 2021-02-03
ES2848546T3 (es) 2021-08-10
RU2018140338A3 (ja) 2020-10-26
HRP20210174T1 (hr) 2021-04-02
US11692949B2 (en) 2023-07-04

Similar Documents

Publication Publication Date Title
US11692949B2 (en) Break analysis apparatus and method
CN110717942B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
US9959600B2 (en) Motion image compensation method and device, display device
US20190325610A1 (en) Crossing point detector, camera calibration system, crossing point detection method, camera calibration method, and recording medium
CN109479082B (zh) 图象处理方法及装置
CN112634173B (zh) 一种曲面屏图像校正方法及***
CN112270719B (zh) 相机标定方法、装置及***
JP6906177B2 (ja) 交点検出装置、カメラ校正システム、交点検出方法、カメラ校正方法、プログラムおよび記録媒体
JP4423347B2 (ja) 複眼測距装置の検査方法及び検査装置並びにそれに用いるチャート
CN116012322A (zh) 一种相机脏污检测方法、装置、设备及介质
CN117557619B (zh) 晶片图像尺寸的确定方法、装置、计算机设备及存储介质
NZ787611A (en) Break analysis apparatus and method
CN116503387B (zh) 图像检测方法、装置、设备、***及可读存储介质
CN116758422A (zh) 一种桥梁病害识别方法及***
CN116228683A (zh) 一种相机标定前图像检测方法、装置及介质