JP5844718B2 - 画像処理方法、画像処理装置、表面検査システム及びプログラム - Google Patents

Description

この発明は、ワークの内壁側面に対応する画像部位を含む広角画像に対して、所望の画像処理を施すための画像処理方法、画像処理装置、表面検査システム及びプログラムに関する。

従来から、被検査物であるワークの表面を撮像装置で撮像し、得られた撮像画像を解析することで、当該ワークの表面上に傷、凹み等の欠陥部位が存在するか否かを判別する表面検査システム及び方法が開発されている。ところが、表面形状の変形度がごく微小である欠陥部位を検出する際、撮像画像によってその形態が十分に表現（可視化）されず、欠陥部位の存在を見逃すおそれがある。そこで、欠陥部位の検出性又は視認性を一層向上させるための画像処理技術が種々提案されている。

特許文献１では、明度のグラデーションを有する拡散光をワークの表面に投光し、得られた撮像画像に対して微分処理及び２値化処理を順次施すことで、欠陥部位を自動的に抽出する装置が提案されている。

国際公開第２００８／１２３６０４号パンフレット

ところで、上記した表面検査方法は、車両のボディ等を含む比較的大きな面積を有する外表面のみならず、例えばエンジンのインジェクタ等のように、微細なノズル穴の内壁側面にも適用できる。この検査の際、細い管状の内視鏡を検査対象の位置周辺にアクセスさせ、当該内視鏡の先端部から発せられる補助光を利用した撮像が行われる。なお、補助光を利用する理由は、通常、内壁側面の周辺において外光が遮断されており、撮像のための露光量が不足しているからである。

この場合、光の拡散現象により、先端部から離れるにつれて補助光の光量が急激に減衰する傾向がみられる。つまり、得られた撮像画像上には、穴等の空間部の奥行き方向に沿って輝度（信号レベル）が急激に低下する輝度ムラが発生する。その結果、特に奥まった位置における欠陥部位の検出性又は視認性が低下するという問題があった。

しかし、特許文献１に記載された装置では、上記した検査形態を何ら考慮しておらず、奥行き方向に沿った輝度ムラに起因する問題が何ら解決されていない。

本発明は上記した問題を解決するためになされたもので、ワークの内壁側面を検査する場合であっても、奥まった位置における欠陥部位の検出性又は視認性を向上可能な画像処理方法、画像処理装置、表面検査システム及びプログラムを提供することを目的とする。

本発明に係る画像処理方法は、ワークに形成された空間部の奥行き方向に内視鏡を向けた状態下で撮像して得た、前記空間部周辺での前記ワークの内壁側面に対応する画像部位を含む広角画像を入力する入力工程と、入力された前記広角画像に対して幾何学変換を施すことで、前記内壁側面の周方向及び前記奥行き方向を座標軸とする前記内壁側面の展開画像を作成する作成工程と、作成された前記展開画像から、該展開画像に対して前記奥行き方向に沿った第１の平滑化処理及び前記周方向に沿った第２の平滑化処理を順次施して得たトレンドを除去する除去工程とを画像処理装置に実行させることを特徴とする。

このように、展開画像から、該展開画像に対して奥行き方向に沿った第１の平滑化処理及び周方向に沿った第２の平滑化処理を順次施して得たトレンドを除去する除去工程では、展開画像上での輝度の遷移方向に沿って、しかも輝度ムラの発生程度が相対的に大きい順に２種類の平滑化処理を施している。換言すれば、輝度ムラの発生傾向を踏まえてトレンドを作成・除去することで、展開画像上における輝度分布を大局的に均一化可能である。これにより、ワークの内壁側面を検査する場合であっても、奥まった位置における欠陥部位の検出性又は視認性を向上できる。

また、前記第１の平滑化処理は、前記奥行き方向に沿った画素値プロファイルの近似曲線を決定する処理を含むことが好ましい。第１の平滑化処理として近似曲線を用いることで、データの特異点に対する影響を受け難くなる。

更に、前記近似曲線は、指数関数であることが好ましい。指数関数を適用することで、実際の画素値プロファイルに精度よく適合できる。

更に、前記近似曲線は、前記画素値プロファイルとの残差絶対値の総和が最小になる前記指数関数であることが好ましい。これにより、データの特異点に対する影響を一層受け難くなり、フィッティング精度も向上する。

更に、前記展開画像の前記トレンドを除去して得たトレンド除去画像を前記トレンドに応じて調整する調整工程を更に実行させることが好ましい。これにより、調整後の画像における欠陥部位の検出性又は視認性を一層向上できる。

更に、前記除去工程は、前記展開画像に対して前記第１の平滑化処理を施した後に、前記第２の平滑化処理を更に施すことで前記展開画像のトレンド画像を生成する工程と、前記展開画像から、生成された前記トレンド画像を差し引く工程とを含むことが好ましい。

更に、前記除去工程は、前記展開画像から、該展開画像に対して前記第１の平滑化処理を施して得た第１平滑化画像を差し引くことで中間画像を生成する工程と、生成された前記中間画像から、該中間画像に対して前記第２の平滑化処理を施して得た第２平滑化画像を差し引く工程とを含むことが好ましい。

本発明に係る画像処理装置は、ワークに形成された空間部の奥行き方向に内視鏡を向けた状態下で撮像して得た、前記空間部周辺での前記ワークの内壁側面に対応する画像部位を含む広角画像を入力する広角画像入力部と、前記広角画像入力部により入力された前記広角画像に対して幾何学変換を施すことで、前記内壁側面の周方向及び前記奥行き方向を座標軸とする前記内壁側面の展開画像を作成する展開画像作成部と、前記展開画像作成部により作成された前記展開画像から、該展開画像に対して前記奥行き方向に沿った第１の平滑化処理及び前記周方向に沿った第２の平滑化処理を順次施して得たトレンドを除去するトレンド除去部とを有することを特徴とする。

本発明に係る表面検査システムは、上記した画像処理装置と、前記内視鏡を有し、該内視鏡を介した撮像により前記広角画像を取得する撮像装置とを備えることを特徴とする。

本発明に係るプログラムは、ワークに形成された空間部の奥行き方向に内視鏡を向けた状態下で撮像して得た、前記空間部周辺での前記ワークの内壁側面に対応する画像部位を含む広角画像を入力する入力工程と、入力された前記広角画像に対して幾何学変換を施すことで、前記内壁側面の周方向及び前記奥行き方向を座標軸とする前記内壁側面の展開画像を作成する作成工程と、作成された前記展開画像から、該展開画像に対して前記奥行き方向に沿った第１の平滑化処理及び前記周方向に沿った第２の平滑化処理を順次施して得たトレンドを除去する除去工程とをコンピュータに実行させることを特徴とする。

本発明に係る画像処理方法、画像処理装置、表面検査システム及びプログラムによれば、展開画像から、該展開画像に対して奥行き方向に沿った第１の平滑化処理及び周方向に沿った第２の平滑化処理を順次施して得たトレンドを除去する除去工程では、展開画像上での輝度の遷移方向に沿って、しかも輝度ムラの発生程度が相対的に大きい順に２種類の平滑化処理を施している。換言すれば、輝度ムラの発生傾向を踏まえてトレンドを作成・除去することで、展開画像上における輝度分布を大局的に均一化可能である。これにより、ワークの内壁側面を検査する場合であっても、奥まった位置における欠陥部位の検出性又は視認性を向上できる。

この実施形態に係る画像処理装置を組み込んだ表面検査システムの構成を示す概略斜視図である。 図１に示す画像処理装置の電気的なブロック図である。 図１の検査システムの動作説明に供されるフローチャートである。 図１に示す内視鏡及びワークの拡大断面図である。 図２の広角画像入力部から入力された広角画像を示す図である。 図５の広角画像における展開画像を示す図である。 図２に示すトレンド除去部の詳細ブロック図である。 図８Ａ及び図８Ｂは、図７の第１平滑化処理部の動作に関する概略説明図である。 図９Ａ及び図９Ｂは、図７の第１平滑化処理部の動作に関する概略説明図である。 図１０Ａ及び図１０Ｂは、図７の第２平滑化処理部の動作に関する概略説明図である。 図１１Ａ及び図１１Ｂは、図７の第２平滑化処理部の動作に関する概略説明図である。 図１２Ａは、元の展開画像における部分拡大図である。図１２Ｂは、従来例に係るトレンド処理を施した後の画像における部分拡大図である。図１２Ｃは、従来例に係る微分処理を施した後の画像における部分拡大図である。図１２Ｄは、本実施形態に係るトレンド除去処理を施した後の画像における部分拡大図である。 変形例に係るトレンド除去部の詳細ブロック図である。

以下、本発明に係る画像処理方法について、これを実施する画像処理装置、表面検査システム及びプログラムとの関係において好適な実施形態を挙げ、添付の図面を参照しながら説明する。

［表面検査システム１０の構成］
図１は、この実施形態に係る画像処理装置１４を組み込んだ表面検査システム１０の構成を示す概略斜視図である。

表面検査システム１０は、ワークＷの表面形状を撮像する撮像装置１２と、撮像装置１２から出力された撮像信号（図５の広角画像７２）に対して所望の画像処理を実行する画像処理装置１４とを基本的に備える。

画像処理装置１４は、本体部１６と、入力部１８と、表示部２０とから構成されたコンピュータである。撮像装置１２は、ケーブル２２を介して、画像処理装置１４の本体部１６と通信可能に接続されている。なお、撮像装置１２及び画像処理装置１４は、ケーブル２２での有線通信に代替して、無線により通信可能であってもよい。

撮像装置１２は、カメラ本体２４、導光ユニット２６、内視鏡２８、及び補助光源３０を備える。例えば、カメラ本体２４は、図示しないロボットのアームに把持されており、前記ロボットのアームの駆動に従って撮像装置１２の位置・姿勢の変更が自在である。

カメラ本体２４は、入力光像を電気信号に変換するイメージセンサ（撮像素子アレイ）を備える。撮像素子として、例えば、ＰＤ（PhotoDiode）、ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）等で構成される。カメラ本体２４から出力される撮像信号は、モノクロ画像であってもカラー画像であってもよく、解像度の高低（画素サイズの大小）は問わない。

導光ユニット２６は、補助光源３０と内視鏡２８との間、又は、内視鏡２８とカメラ本体２４との間を光学的に接続する。

内視鏡２８は、細い管形状を有しており、その内部に光学系が組み込まれた工業用ファイバースコープである。本図例では、ワークＷの一面３２に形成された概略円筒状の空間部３４に、内視鏡２８の少なくとも先端部３６が挿入されている。

補助光源３０は、内視鏡２８から光像７０（図４参照）を取得する際、先端部３６の周辺を照明するための補助光６６（同図参照）を発する光源である。補助光６６は、可視光、紫外線、赤外線のいずれでもよく、ワークＷの撮像に適した波長範囲の光であることが好ましい。換言すれば、検出対象に応じて、カメラ本体２４（イメージセンサの感度特性）及び補助光源３０を種々組み合わせてもよい。

なお、本図例での空間部３４は円筒形状の穴であるが、その形状（断面、深さ等）又はサイズは任意である。また、空間部３４の形態は穴に限られず、孔、凹部のいずれであってもよい。

図２は、図１に示す画像処理装置１４の電気的なブロック図である。本体部１６は、制御部４０と、通信Ｉ／Ｆ４２と、表示制御部４４と、メモリ４６（記憶媒体）とを備える。

通信Ｉ／Ｆ４２は、外部装置（図１例では撮像装置１２）に対して電気信号を送受信するインターフェースである。入力部１８は、マウス、トラックボール、キーボード等の種々の入力デバイスで構成される。

表示制御部４４は、制御部４０の制御に従って、表示部２０を駆動制御する制御回路である。表示制御部４４が、図示しないＩ／Ｆを介して、表示制御信号を表示部２０に出力することで、表示部２０が駆動する。これにより、表示部２０は各種画像を表示することができる。

メモリ４６は、制御部４０が各構成要素を制御するのに必要なプログラム及びデータ等を記憶している。メモリ４６は、不揮発性のメモリ、ハードディスク等を含む、非一過性であって且つコンピュータ読み取り可能な記憶媒体であってよい。

制御部４０は、ＣＰＵ（Central Processing Unit）等のプロセッサによって構成されている。制御部４０は、メモリ４６に格納されたプログラムを読み出し実行することで、広角画像入力部４８、展開画像作成部５０、トレンド除去部５２、欠陥判定部５４、及び表示用データ作成部５６（画像調整部５８を含む）の各機能を実現可能である。

［表面検査システム１０の動作］
続いて、図１に示す表面検査システム１０の動作について、図３のフローチャートを参照しながら詳細に説明する。

ステップＳ１において、被検査物としてのワークＷを準備する。この実施形態では、ワークＷの内壁側面３８における表面形状を検査する。例えば、ワークＷはインジェクタに相当すると共に、空間部３４がインジェクタのノズル穴に相当する。

ステップＳ２において、内視鏡２８及びワークＷを相対移動させることで、所定の位置・姿勢下に内視鏡２８をセットする。例えば、図示しないロボットのアームにカメラ本体２４を把持させ、当該ロボットのアームを駆動させることで内視鏡２８を移動させる。そして、空間部３４の奥行き方向に先端部３６側を向けた状態下に内視鏡２８を保持させる。図１例では、少なくとも先端部３６が空間部３４に挿入されているが、内壁側面３８の表面形状を撮像可能であれば、空間部３４の外側に内視鏡２８をセットしてもよい。

ステップＳ３において、撮像装置１２を用いて、内壁側面３８の表面形状を示す広角画像７２（図５参照）を撮像する。

図４は、図１に示す内視鏡２８及びワークＷの拡大断面図である。

内視鏡２８は、１本の光ファイバーケーブル等からなる第１ライトガイド６２と、広視野角に設計された対物レンズ６３（広角光学系）と、光ファイバーケーブルの束からなる第２ライトガイド６４を備える。

補助光源３０からの補助光６６は、導光ユニット２６及び第１ライトガイド６２を介して案内され、先端部３６側から外部（空間部３４）に放射される。その結果、光の拡散現象により、補助光６６の光量は、先端部３６周辺で最大になると共に、先端部３６からＺ軸（奥行き方向）に離れるにつれて急激に減衰する傾向がみられる。なお、参照符号６６を付した各矢印は、その幅が広いほど光量が多いことを模式的に示している。

一方、内視鏡２８の視野６８内に含まれる光は、先端部３６側から入射され、対物レンズ６３により集光される。ここで、対物レンズ６３は、例えば１００度以上の広い視野角を有するので、視野６８内には内壁側面３８の一部が含まれている。なお、対物レンズ６３として、視野角が１８０度前後である魚眼レンズを適用してもよい。

集光された光像は、第２ライトガイド６４及び導光ユニット２６を介して案内され、カメラ本体２４のイメージセンサにより電気信号に変換される。その後、この電気信号は、カメラ本体２４から撮像信号として出力され、ケーブル２２及び通信Ｉ／Ｆ４２を介して、メモリ４６に一時的に格納される（図２参照）。

例えば、ここで得られた広角画像７２はモノクロ画像であり、この画素値は８ビット（２５６階調）でそれぞれ定義される。そして、画素値が０である場合にその画素は最低レベルの輝度（明るさ）を示すと共に、画素値が２５５である場合にその画素は最高レベルの輝度（明るさ）を示す。

図５は、図２の広角画像入力部４８から入力された広角画像７２を示す図である。本図では、輝度のレベルが高い部位（画素値が大きい部位）を白色で表現すると共に、輝度のレベルが低い部位（画素値が小さい部位）を黒色で表現する。以下、図６、図９Ｂ、図１１Ｂ〜図１２Ｄに示す各画像についても同様に定義する。

本図から理解されるように、広角画像７２には、ワークＷの内壁側面３８に対応する画像部位（白色で描画された部位）が含まれている。図４において内視鏡２８の光軸６９が空間部３４の中心軸に一致する場合、内壁側面３８は環状の部位として描画される。

ところで、ｘ軸−ｙ軸は、広角画像７２の左上隅を原点とする直交座標軸である。また、ｚ軸−θ軸は、内壁側面３８上にある基準位置を原点とする座標軸である。より詳細には、ｚ軸は空間部３４の奥行き方向に沿った座標軸であり、θ軸は内壁側面３８の周方向に沿った座標軸である。

このようにして、広角画像入力部４８は、広角画像７２を示す撮像信号をメモリ４６から読み出して入力する（ステップＳ３）。

ステップＳ４において、展開画像作成部５０は、ステップＳ３で取得された広角画像７２から内壁側面３８の展開画像７４を作成する。具体的には、展開画像作成部５０は、所定の幾何学変換を施すことで、ｘ軸−ｙ軸座標系で定義された広角画像７２を、ｚ軸−θ軸座標系で定義された展開画像７４に変換する。この変換を行うため、ワークＷの内壁側面３８の形状、撮像装置１２の位置・姿勢に関する各情報（幾何学情報）を用いることで、広角画像７２及び展開画像７４の間で厳密にマッピングできる。なお、展開画像作成部５０は、図示しない計測手段による計測結果から幾何学情報を取得してもよいし、撮像条件が既知であるとして予め準備された固定値（デフォルト値）を使用してもよい。

図６は、図５の広角画像７２における展開画像７４を示す図である。展開画像７４は、空間部３４の奥行き方向（ｚ軸）を第１座標軸とし、内壁側面３８の周方向（θ軸）を第２座標軸とする二次元画像である。

本図から理解されるように、展開画像７４上には、ｚ軸に沿った輝度ムラが発生している。より詳細には、展開画像７４の上方（先端部３６の近方）ほど輝度が高くなると共に、展開画像７４の下方（先端部３６の遠方）ほど輝度が低くなる傾向にある。この輝度ムラは、上述した補助光６６の減衰に起因する。

また、展開画像７４上には、θ方向に対して僅かに傾いた筋状の輝度ムラも発生している。これは、内視鏡２８の光軸６９（図４参照）が、空間部３４の中心軸に対し傾いている場合に起こり得る。

ステップＳ５において、トレンド除去部５２は、ステップＳ４で作成された展開画像７４からトレンドを除去する。この「トレンド」は、画像上での大局的な変化傾向を意味し、具体的には、展開画像７４に対して平滑化処理を施すことで得られる。本明細書における「平滑化処理」には、展開画像７４に対して画像処理を施すことで平滑化する画像処理手法のみならず、展開画像７４を所定の近似曲線に適合させる最適化手法を用いてもよい。前者の画像処理手法として、例えば、移動平均、ガウシアンフィルタを含む畳み込み演算、メディアンフィルタ、最大値／最小値フィルタを含む統計的演算、モルフォロジ演算を含む公知の手法を種々適用できる。また、後者の最適化手法として、関数近似演算、フィッティング演算、補間演算、多変量解析を含む公知の手法を種々適用できる。

図７は、図２に示すトレンド除去部５２の詳細ブロック図である。トレンド除去部５２は、第１平滑化処理部１００と、第２平滑化処理部１０２と、減算器１０４とから構成される。以下、各構成要素の機能について、図８Ａ〜図１１Ｂを適宜参照しながら詳細に説明する。

図７の第１平滑化処理部１００は、入力された展開画像７４に対して、ｚ軸に沿った第１の平滑化処理を実行する。図８Ａ〜図９Ｂは、図７の第１平滑化処理部１００の動作に関する概略説明図である。

図８Ａに示すように、第１平滑化処理部１００は、先ず、画像領域７６内に存在する任意の画像列７８を抽出する。ここで、図８Ｂは、画像列７８における破線矢印方向に沿った画素値プロファイルの一例である。このグラフの横軸はｚ軸の位置（画素単位）であり、縦軸は輝度レベル（画素値）である。なお、破線矢印の基端側が「０」側の位置に相当し、先端側が「４００」側の位置に相当する。本グラフでは、ｚ軸に対して画素値が徐々に減少する傾向がみられ、図６に示された展開画像７４の濃淡の傾向と合致する。

第１平滑化処理部１００は、次いで、ｚ軸に沿った画像列７８における画素値プロファイルの近似曲線を決定する。本実施形態では、近似曲線として、実際の画素値プロファイルに精度よく適合可能な指数関数を用いる。また、最小にすべき近似誤差の評価値として、ＳＡＤ（Sum of Absolute Difference；残差絶対値の総和）、ＳＳＤ（Sum of Squared Difference；残差２乗の総和）等を用いてもよく、評価値はこれらに限られない。特に、データの特異点に対する影響を受け難くするためには、残差の次数が小さいＳＡＤを適用することが好ましい。

その結果、図９Ａに示すように、画素値プロファイルとのＳＡＤが最小になる指数関数が、近似曲線として作成される。以下同様に、第１平滑化処理部１００は、画像列の抽出及び近似関数の作成を遂次実行する。そうすると、図９Ｂに示すように、近似関数の集合体としての平滑化画像８０が得られる。なお、近似関数を作成する際の演算範囲は、図８Ａ例のように画像列毎であってもよいし、複数の画像列に及んでもよい。

図７の第２平滑化処理部１０２は、入力された平滑化画像８０に対して、θ軸に沿った第２の平滑化処理を実行する。図１０Ａ〜図１１Ｂは、図７の第２平滑化処理部１０２の動作に関する概略説明図である。

図１０Ａに示すように、第２平滑化処理部１０２は、先ず、画像領域７６内に存在する任意の画像列８２を抽出する。ここで、図１０Ｂは、画像列８２における破線矢印方向に沿った画素値プロファイルの一例である。このグラフの横軸はθ軸の位置（画素単位）であり、縦軸は輝度レベル（画素値）である。本グラフでは、θ軸に対して画素値が規則的（周期的）に変動する傾向がみられる。なお、このプロファイルの各値のばらつき程度は、展開画像７４の画像列８２におけるプロファイルと比べて大幅に低減されている。これは、輝度ムラの発生程度が相対的に大きいｚ軸に沿った平滑化処理を先に実行した効果による。

第２平滑化処理部１０２は、次いで、θ軸に沿った画像列８２における画素値プロファイルの平滑化曲線を決定する。本実施形態では、平滑化手法として３次スプラインフィッティングを用いる。その結果、図１１Ａに示す平滑化曲線が作成される。以下同様に、第２平滑化処理部１０２は、画像列の抽出及び平滑化曲線の作成を遂次実行する。そうすると、図１１Ｂに示すように、平滑化曲線の集合体としてのトレンド画像８４が生成される。なお、平滑化曲線を作成する際の演算範囲は、図１０Ａ例のように画像列毎であってもよいし、複数の画像列に及んでもよい。

図７の減算器１０４は、展開画像７４から、該展開画像７４に対して第１及び第２の平滑化処理を順次施して得たトレンド画像８４を差し引くことで、トレンド除去画像を生成・出力する。このトレンド除去画像は、ｚ軸及びθ軸における２次元トレンドが除去された画像であり、画素値の平均が概ね０である。このようにして、トレンド除去部５２は、展開画像７４からトレンドを除去する（ステップＳ５）。

ステップＳ６において、欠陥判定部５４は、ステップＳ５で作成されたトレンド除去画像に対して種々の画像処理を施し、内壁側面３８上に欠陥が存在するか否かを判定する。具体的には、欠陥判定部５４は、公知のパターン検知処理を用いて、擦り傷、巣穴を含む特定形状の存否及びその強度を判定する。判定基準として、形状、位置のみならず、面積、深さ又は輝度差の許容値を種々設定してもよい。

ステップＳ７において、画像調整部５８は、ステップＳ５で作成されたトレンド除去画像に対してブライトネス／コントラスト調整（以下、「Ｂ／Ｃ調整」という）を行う。具体的には、画像調整部５８は、トレンド除去画像の画素毎に、次の（１）式に従って演算することでＢ／Ｃ調整を行う。
Ｏ（ｚ，θ）＝Ｂ＋Ｃ・Ｒ（ｚ，θ）／Ｔ（ｚ，θ） ‥‥（１）

ここで、Ｏ（ｚ，θ）は、Ｂ／Ｃ調整後における可視化画像の画素値である。Ｂはブライトネスであり、可視化画像におけるオフセット値に相当する。Ｃはコントラストであり、可視化画像の強調度に相当する。Ｒ（ｚ，θ）は、トレンド除去画像の画素値である。Ｔ（ｚ，θ）は、トレンド画像８４の画素値である。すなわち、トレンド除去画像をトレンド画像８４（トレンド）に応じて調整することで、調整後の画像における欠陥部位の検出性又は視認性を一層向上できる。

ステップＳ８において、表示制御部４４は、ステップＳ７で調整された可視化画像を表示部２０に表示させる。表示に先立ち、表示用データ作成部５６は、画像の表示に供されるデータ（以下、表示用データ）を作成する。この表示用データには、可視化画像のみならず、欠陥判定部５４による判定結果（例えば、注釈情報）が含まれる。そして、表示用データ作成部５６は、作成した表示用データを表示制御部４４に供給する。これにより、ユーザとしての検査員は、表示部２０を視認することで、ワークＷの内壁側面３８の表面形状又はその自動判定結果を把握できる。

ステップＳ９において、ワークＷの表面形状の検査が終了したか否かを判別する。まだ終了していないと判別された場合、ステップＳ２に戻って、以下、ステップＳ２〜Ｓ８を順次繰り返す。一方、終了したと判別された場合、表面検査システム１０は、ワークＷの表面検査を終了した上で、必要に応じてワークＷの交換等を行う。

［本発明の効果］
本発明に係る画像処理方法によれば、ワークＷに形成された空間部３４の奥行き方向（ｚ軸）に内視鏡２８を向けた状態下で撮像して得た、空間部３４周辺でのワークＷの内壁側面３８に対応する画像部位を含む広角画像７２を入力する入力工程（ステップＳ３）と、広角画像７２に対して幾何学変換を施すことで、内壁側面３８の周方向（θ軸）及び奥行き方向（ｚ軸）を座標軸とする内壁側面３８の展開画像７４を作成する作成工程（ステップＳ４）と、展開画像７４から、該展開画像７４に対して奥行き方向（ｚ軸）に沿った第１の平滑化処理及び周方向（θ軸）に沿った第２の平滑化処理を順次施して得たトレンドを除去する除去工程（ステップＳ５）と、を画像処理装置１４に実行させる。

上記した除去工程では、展開画像７４上での輝度の遷移方向に沿って、しかも輝度ムラの発生程度が相対的に大きい順に２種類の平滑化処理を施している。換言すれば、輝度ムラの発生傾向を踏まえてトレンドを作成・除去することで、展開画像７４上における輝度分布を大局的に均一化可能である。これにより、ワークＷの内壁側面３８を検査する場合であっても、奥まった位置における欠陥部位の検出性又は視認性を向上できる。

以下、本発明の効果について、実際の可視画像を参照しながら説明する。

図１２Ａは、元の展開画像７４における部分拡大図である。ここで、白色で描画された箇所は、巣穴状の欠陥部位に該当する。

図１２Ｂは、従来例に係るトレンド除去処理を施した後の画像における部分拡大図である。ここでは、展開画像７４に対して２次元の移動平均マスクを施すことでトレンド画像を作成している。図１２Ａ及び図１２Ｂを対比すると、図１２Ｂでは、欠陥部位の周辺に白抜けのアーチファクトが多数発生している。その結果、欠陥部位のサイズを誤検出・誤認識するおそれが生じる。

図１２Ｃは、従来例に係る微分処理を施した後の画像における部分拡大図である。図１２Ａ及び図１２Ｃを対比すると、図１２Ｃでは、表面形状の変形度が十分に大きい欠陥部位の輪郭のみが抽出されている。その結果、許容範囲内である巣穴の存在を画像上で確認できない。

図１２Ｄは、本実施形態に係るトレンド除去処理を施した後の画像における部分拡大図である。図１２Ａ〜図１２Ｄを比較すると、図１２Ｄに示す画像の輝度ムラの発生程度が最も小さいので、欠陥部位の視認性が向上する。

［変形例］
図１３は、変形例に係るトレンド除去部１０６の詳細ブロック図である。トレンド除去部１０６は、第１平滑化処理部１００、第２平滑化処理部１０２の他、２つの減算器１０８、１１０を備える。以下、各構成要素の機能について詳細に説明する。

先ず、第１平滑化処理部１００は、入力された展開画像７４に対してｚ軸に沿った第１の平滑化処理を実行することで、平滑化画像８０（図９Ｂ参照；第１平滑化画像）を得る。第１の平滑化処理の具体的手法については、本実施形態と同様であるため説明を割愛する。

次いで、減算器１０８は、展開画像７４から、該展開画像７４に対して第１の平滑化処理を施して得た平滑化画像８０を差し引くことで、中間画像を生成・出力する。この中間画像は、ｚ軸における１次元トレンドが除去された画像である。

次いで、第２平滑化処理部１０２は、入力された中間画像に対してθ軸に沿った第２の平滑化処理を実行することで、第２平滑化画像を得る。第２の平滑化処理の具体的手法については、本実施形態と同様であるため説明を割愛する。

最後に、減算器１１０は、中間画像から、該中間画像に対して第２の平滑化処理を施して得た第２平滑化画像を差し引くことで、トレンド除去画像を生成・出力する。このトレンド除去画像は、ｚ軸及びθ軸における２次元トレンドが除去された画像である。

このように、展開画像７４のトレンドを２回に分けて除去するようにトレンド除去部１０６を構成しても、図７のトレンド除去部５２と同様の作用効果が得られる。

なお、この発明は、上述した実施形態に限定されるものではなく、この発明の主旨を逸脱しない範囲で自由に変更できることは勿論である。

１０…表面検査システム １２…撮像装置
１４…画像処理装置 １６…本体部
１８…入力部 ２０…表示部
２４…カメラ本体 ２６…導光ユニット
２８…内視鏡 ３４…空間部
３６…先端部 ３８…内壁側面
４０…制御部 ４６…メモリ
４８…広角画像入力部 ５０…展開画像作成部
５２、１０６…トレンド除去部 ５８…画像調整部
７２…広角画像 ７４…展開画像
７６…画像領域 ７８、８２…画像列
８０…平滑化画像 ８４…トレンド画像
１００…第１平滑化処理部 １０２…第２平滑化処理部
１０４、１０８、１１０…減算器

Claims (10)

1. ワークに形成された空間部の奥行き方向に内視鏡を向けた状態下で撮像して得た、前記空間部周辺での前記ワークの内壁側面に対応する画像部位を含む広角画像を入力する入力工程と、
   入力された前記広角画像に対して幾何学変換を施すことで、前記内壁側面の周方向及び前記奥行き方向を座標軸とする前記内壁側面の展開画像を作成する作成工程と、
   作成された前記展開画像から、該展開画像に対して前記奥行き方向に沿った第１の平滑化処理及び前記周方向に沿った第２の平滑化処理を順次施して得たトレンドを除去する除去工程と
   を画像処理装置に実行させることを特徴とする画像処理方法。
2. 請求項１記載の画像処理方法において、
   前記第１の平滑化処理は、前記奥行き方向に沿った画素値プロファイルの近似曲線を決定する処理を含むことを特徴とする画像処理方法。
3. 請求項２記載の画像処理方法において、
   前記近似曲線は、指数関数であることを特徴とする画像処理方法。
4. 請求項３記載の画像処理方法において、
   前記近似曲線は、前記画素値プロファイルとの残差絶対値の総和が最小になる前記指数関数であることを特徴とする画像処理方法。
5. 請求項１〜４のいずれか１項に記載の画像処理方法において、
   前記展開画像の前記トレンドを除去して得たトレンド除去画像を前記トレンドに応じて調整する調整工程を更に実行させることを特徴とする画像処理方法。
6. 請求項１〜５のいずれか１項に記載の画像処理方法において、
   前記除去工程は、
   前記展開画像に対して前記第１の平滑化処理を施した後に、前記第２の平滑化処理を更に施すことで前記展開画像のトレンド画像を生成する工程と、
   前記展開画像から、生成された前記トレンド画像を差し引く工程と
   を含むことを特徴とする画像処理方法。
7. 請求項１〜５のいずれか１項に記載の画像処理方法において、
   前記除去工程に替えて、
   前記展開画像から、該展開画像に対して前記第１の平滑化処理を施して得た第１平滑化画像を差し引くことで中間画像を生成する工程と、
   生成された前記中間画像から、該中間画像に対して前記第２の平滑化処理を施して得た第２平滑化画像を差し引く工程と
   を前記画像処理装置に実行させることを特徴とする画像処理方法。
   
8. ワークに形成された空間部の奥行き方向に内視鏡を向けた状態下で撮像して得た、前記空間部周辺での前記ワークの内壁側面に対応する画像部位を含む広角画像を入力する広角画像入力部と、
   前記広角画像入力部により入力された前記広角画像に対して幾何学変換を施すことで、前記内壁側面の周方向及び前記奥行き方向を座標軸とする前記内壁側面の展開画像を作成する展開画像作成部と、
   前記展開画像作成部により作成された前記展開画像から、該展開画像に対して前記奥行き方向に沿った第１の平滑化処理及び前記周方向に沿った第２の平滑化処理を順次施して得たトレンドを除去するトレンド除去部と
   を有することを特徴とする画像処理装置。
9. 請求項８記載の画像処理装置と、
   前記内視鏡を有し、該内視鏡を介した撮像により前記広角画像を取得する撮像装置と
   を備えることを特徴とする表面検査システム。
10. ワークに形成された空間部の奥行き方向に内視鏡を向けた状態下で撮像して得た、前記空間部周辺での前記ワークの内壁側面に対応する画像部位を含む広角画像を入力する入力工程と、
    入力された前記広角画像に対して幾何学変換を施すことで、前記内壁側面の周方向及び前記奥行き方向を座標軸とする前記内壁側面の展開画像を作成する作成工程と、
    作成された前記展開画像から、該展開画像に対して前記奥行き方向に沿った第１の平滑化処理及び前記周方向に沿った第２の平滑化処理を順次施して得たトレンドを除去する除去工程と
    をコンピュータに実行させることを特徴とするプログラム。

Images