以下、図面を参照し、本発明の実施形態を説明する。以下では、タービンブレードのバーニングを計測対象とする場合を例として、欠陥の計測機能について説明する。
(第1の実施形態)
まず、本発明の第1の実施形態を説明する。図1は、本実施形態による内視鏡装置の構成を示している。図1に示すように、内視鏡装置1は、内視鏡2と、コントロールユニット3と、リモートコントローラ4(入力装置)と、液晶モニタ5と、光学アダプタ7a,7b,7cと、内視鏡ユニット8と、カメラコントロールユニット9と、制御ユニット10とから構成されている。
計測対象物を撮像し撮像信号を生成する内視鏡2(電子内視鏡)は細長の挿入部20を備えている。挿入部20は、先端側から順に、硬質な先端部21と、例えば上下左右に湾曲可能な湾曲部22と、柔軟性を有する可撓管部23とを連設して構成されている。挿入部20の基端部は内視鏡ユニット8に接続されている。先端部21は、観察視野を2つ有するステレオ用の光学アダプタ7a,7b(以下、ステレオ光学アダプタと記載する)あるいは観察視野が1つだけの通常観察光学アダプタ7c等、各種の光学アダプタが例えば螺合によって着脱自在な構成になっている。
コントロールユニット3は、内視鏡ユニット8、画像処理手段であるカメラコントロールユニット(以下、CCUと記載する)9、および制御装置である制御ユニット10を内部に備えている。内視鏡ユニット8は、観察時に必要な照明光を供給する光源装置と、挿入部20を構成する湾曲部22を湾曲させる湾曲装置とを備えている。CCU9は、挿入部20の先端部21に内蔵されている固体撮像素子2aから出力された撮像信号を入力し、これをNTSC信号等の映像信号に変換して制御ユニット10に供給する。固体撮像素子2aは、光学アダプタを介して結像された被写体像を光電変換し、撮像信号を生成する。
制御ユニット10は、音声信号処理回路11と、映像信号処理回路12と、ROM13と、RAM14と、PCカードインターフェース(以下、PCカードI/Fと記載する。)15と、USBインターフェース(以下、USB I/Fと記載する。)16と、RS−232Cインターフェース(以下、RS−232C I/Fと記載する。)17と、計測処理部18とから構成されている。
マイク34によって集音された音声信号や、メモリカード等の記録媒体を再生して得られる音声信号、あるいは計測処理部18によって生成された音声信号が音声信号処理回路11に供給される。映像信号処理回路12は、CCU9から供給された内視鏡画像とグラフィックによる操作メニューとを合成した合成画像を表示するために、CCU9からの映像信号を、計測処理部18の制御により生成される操作メニュー等のためのグラフィック画像信号と合成する処理を行う。また、映像信号処理回路12は、液晶モニタ5の画面上に映像を表示するために合成後の映像信号に所定の処理を施して液晶モニタ5に供給する。
また、映像信号処理回路12は、CCU9からの映像信号に基づく画像データを計測処理部18へ出力する。計測時には先端部21にステレオ光学アダプタが装着されるため、映像信号処理回路12からの画像データに基づく画像には、計測対象である同一被写体に関する複数の被写体像が含まれる。本実施形態では、一例として、左右の一対の被写体像が含まれるものとする。
PCカードI/F15は、PCMCIAメモリカード32やフラッシュメモリカード33等のメモリカード(記録媒体)を自由に着脱できるようになっている。メモリカードを装着することにより、計測処理部18の制御に従って、このメモリカードに記憶されている制御処理情報や、画像情報、光学データ等を取り込んだり、制御処理情報や、画像情報、光学データ等をメモリカードに記録したりすることができる。
USB I/F16は、コントロールユニット3とパーソナルコンピュータ(PC)31とを電気的に接続するためのインターフェースである。このUSB I/F16を介してコントロールユニット3とPC31とを電気的に接続することにより、PC31側で内視鏡画像の表示の指示や計測時における画像処理等の各種の制御指示を行うことが可能となる。また、コントロールユニット3とPC31との間で各種の処理情報やデータを入出力することが可能となる。
RS−232C I/F17には、CCU9および内視鏡ユニット8が接続されると共に、これらCCU9や内視鏡ユニット8等の制御および動作指示を行うリモートコントローラ4が接続されている。ユーザがリモートコントローラ4を操作すると、その操作内容に基づいて、CCU9および内視鏡ユニット8を動作制御する際に必要な通信が行われる。
計測処理部18は、ROM13に格納されているプログラムを実行することによって、映像信号処理回路12から画像データを取り込み、画像データに基づいて計測処理を実行する。RAM14は、計測処理部18によって、データの一時格納用の作業領域として使用される。図2は計測処理部18の構成を示している。図2に示すように計測処理部18は、制御部18aと、基準点指定部18bと、基準線算出部18cと、座標算出部18dと、プロファイル算出部18e,18fと、欠陥診断部18gと、記憶部18hとから構成されている。
制御部18aは計測処理部18内の各部を制御する。また、制御部18aは、液晶モニタ5に計測結果や操作メニュー等を表示させるためのグラフィック画像信号を生成して映像信号処理回路12へ出力する機能も有している。
基準点指定部18bは、リモートコントローラ4あるいはPC31(入力部)から入力される信号に基づいて、計測対象物上の基準点を指定する。ユーザが、液晶モニタ5に表示された計測対象物の画像を見ながら所望の基準点を入力すると、その座標が基準点指定部18bによって算出される。以下の説明では、ユーザがリモートコントローラ4を操作することを想定しているが、ユーザがPC31を操作する場合も同様である。本実施形態では、画像上に2つの基準点が設定される。
基準線算出部18cは、基準点指定部18bによって指定された2つの基準点を通る基準線を設定し、その基準線を決定するための直線の式を算出する。本明細書では、液晶モニタ5に表示される画像上の2次元座標を画像座標と記載し、現実の空間上の3次元座標を空間座標と記載する。座標算出部18dは、欠陥診断に使用する画像の特徴を示す特徴情報(本実施形態では輝度)を抽出する位置の基準となる参照点(抽出点)を設定し、その画像座標を算出する。本実施形態では、基準線上に参照点が設定される。
プロファイル算出部18eは、参照点を基準とする位置における空間座標を算出し、被写体までの距離(物体距離)に相当する奥行き位置を算出する。この奥行き位置が計測結果である。また、プロファイル算出部18eは、基準線上に設定された参照点の各々の位置と、各位置における奥行き位置とを関連付けた奥行きプロファイルを生成する。奥行きプロファイルは、欠陥を含む被写体の表面形状を示す。
プロファイル算出部18fは、参照点を基準とする位置における画像の特徴情報である輝度情報を生成する。また、プロファイル算出部18fは、基準線上に設定された参照点の各々の位置と、各位置における輝度情報とを関連付けた輝度プロファイルを生成する。輝度プロファイルは、欠陥を含む被写体の表面の輝度分布を示す。
欠陥診断部18gは、奥行きプロファイルおよび輝度プロファイルが所定の基準を満たすか否かを判定することにより、欠陥に問題があるかどうかを診断する欠陥診断を行う。記憶部18hは、計測処理部18内で処理される各種情報を記憶する。記憶部18hに格納された情報は、適宜制御部18aによって読み出されて各部へ出力される。
次に、図21を参照し、ステレオ計測による計測点の3次元座標の求め方を説明する。左側および右側の光学系で撮像された画像に対して、三角測量の方法により、計測対象点60の3次元座標(X,Y,Z)が以下の(1)式〜(3)式で計算される。ただし、歪み補正が施された左右の画像上の計測点61、対応点62(左画像上の計測点61に対応する右画像上の点)の座標をそれぞれ(XL,YL)、(XR,YR)とし、左側と右側の光学中心63,64の距離をDとし、焦点距離をFとし、t=D/(XL−XR)とする。
X=t×XR+D/2 ・・・(1)
Y=t×YR ・・・(2)
Z=t×F ・・・(3)
上記のように計測点61および対応点62の座標が決定されると、パラメータDおよびFを用いて計測対象点60の3次元座標が求まる。いくつかの点の3次元座標を求めることによって、2点間の距離、2点を結ぶ線と1点の距離、面積、深さ、表面形状等の様々な計測が可能である。また、左側の光学中心63、または右側の光学中心64から被写体までの距離(物体距離)を求めることも可能となる。上記のステレオ計測を行うためには、先端部21とステレオ光学アダプタを含む光学系の特性を示す光学データが必要である。なお、光学データの詳細は、例えば特開2004−49638号公報に記載されているので、その説明を省略する。
次に、本実施形態における計測画面を説明する。本実施形態では、ステレオ計測による欠陥の計測が行われる。ステレオ計測においては、ステレオ光学アダプタを内視鏡2の先端部21に装着した状態で計測対象物を撮像するため、計測画面では計測対象物の画像が左右1対で表示される。
図3は計測開始前の計測画面を示している。計測情報として、左画面700には計測対象物の左画像が表示され、右画面710には計測対象物の右画像が表示される。また、左画面700および右画面710を除く計測画面上の領域には他の計測情報として、光学アダプタ名称情報720、時間情報721、メッセージ情報722、アイコン723a,723b,723c,723d,723e、およびズームウィンドウ724が表示される。
光学アダプタ名称情報720と時間情報721は共に計測条件を示す情報である。光学アダプタ名称情報720は、現在使用している光学アダプタの名称を示す文字情報である。時間情報721は現在の日付と時刻を示す文字情報である。メッセージ情報722は、ユーザへの操作指示を示す文字情報と、計測条件の1つである基準点の座標を示す文字情報とを含んでいる。
アイコン723a〜723eは、ユーザが計測モードの切替や計測結果のクリア等の操作指示を入力するための操作メニューを構成している。ユーザがリモートコントローラ4を操作し、カーソル725をアイコン723a〜723eのいずれかの上に移動させてクリック等の操作を行うと、その操作に応じた信号が計測処理部18に入力される。制御部18aは、その信号に基づいてユーザからの操作指示を認識し、計測処理を制御する。また、ズームウィンドウ724にはカーソル725の周囲に位置する計測対象物の拡大画像が表示される。
次に、本実施形態における計測の手順を説明する。図4は計測の手順を示している。ステップSAでは、液晶モニタ5に表示された計測画面上において、リモートコントローラ4の操作により、ユーザが基準点を2つ指定する。ユーザが基準点を指定する間、基準点指定部18bは、リモートコントローラ4からの信号に基づいて、カーソルの移動指示を検出し、カーソルの移動後の画像座標を算出する。制御部18aは、基準点指定部18bによって算出された画像座標にカーソルを表示するためのグラフィック画像信号を生成し、映像信号処理回路12へ出力する。これによって、ユーザによるカーソルの移動指示に応じて計測画面上でカーソルが移動する。
ユーザが基準点を指定する指示を入力すると、基準点指定部18bは現在のカーソルの画像座標を基準点の画像座標として認識する。基準点が指定されると、制御部18aは、基準点の画像座標に基準点を表示するためのグラフィック画像信号を生成し、映像信号処理回路12へ出力する。これによって、左画面上に基準点が表示される。
ステップSBでは、基準線算出部18cが、ステップSAで指定された2つの基準点を通る基準線を算出する。図5(a)に示すように、ユーザは基準点100a,100bを、欠陥110の周囲に位置するように指定する。基準点100a,100bを結ぶ直線120が本実施形態の基準線である。基準線は、欠陥110を2つに分割する直線となる。基準線が欠陥110の中央付近を通過することが好ましい。
ステップSCでは、座標算出部18dが、基準線上に位置する複数の参照点の画像座標を算出する。図5(b)に示すように、基準線において、2つの基準点の間に複数の参照点130が設定される。2つの基準点の位置に参照点を設定してもよい。ステップSDでは、座標算出部18dが、2つの基準点の中間に位置する中間点の画像座標を算出する。図5(c)に示すように、2つの基準点を通る基準線上に中間点140が設定される。
ステップSEでは、プロファイル算出部18eが奥行きプロファイルを算出する。前述したように、奥行きプロファイルは、参照点の各々の位置と、各位置における奥行き位置(物体距離)とを関連付けたプロファイルであり、欠陥およびその周囲の表面形状を示す。奥行きプロファイルの算出方法は、後述する。
図6は、奥行きプロファイルの例を示している。横軸は画像上の位置であり、左端が2つの基準点の一方、右端が2つの基準点の他方、中央が中間点の位置である。縦軸は奥行き位置(Z)である。プロファイル200は、プロファイル算出部18eによって算出された奥行きプロファイルのグラフデータである。図6のプロファイル200の形状は、2つの基準点の間に位置する点、すなわち参照点における欠陥の表面形状を示している。図6のグラフでは、2つの基準点の位置における奥行き位置に比べて、中間点の位置における奥行き位置が大きくなっていることから、欠陥の中央付近が凹んでいることがわかる。
ステップSFでは、プロファイル算出部18fが輝度プロファイルを算出する。前述したように、輝度プロファイルは、参照点の各々の位置と、各位置における輝度情報とを関連付けたプロファイルであり、欠陥およびその周囲の表面の輝度分布を示す。輝度プロファイルの算出方法は、後述する。
図7は、輝度プロファイルの例を示している。横軸は画像上の位置であり、左端が2つの基準点の一方、右端が2つの基準点の他方、中央が中間点の位置である。縦軸は輝度値である。プロファイル210は、プロファイル算出部18fによって算出された輝度プロファイルのグラフデータである。図7のプロファイル210の形状は、2つの基準点の間に位置する点、すなわち参照点における欠陥の表面の輝度分布を示している。図7のグラフでは、2つの基準点の位置における輝度に比べて、中間点の位置における輝度が小さくなっていることから、欠陥の中央付近が暗いことがわかる。
ステップSGでは、欠陥診断部18gが、奥行きプロファイルおよび輝度プロファイルに基づいて、欠陥診断を行う。図8に示すように、欠陥診断部18gは、奥行きプロファイルにおける2つの基準点の周辺におけるデータ(エリア220,221内のデータ)の平均と、中間点の周辺におけるデータ(エリア222内のデータ)の平均とを算出し、さらに各平均の差を算出する。欠陥診断部18gは、この差が所定値以上であれば、欠陥の中央付近が大きく凹んでいるとみなし、診断結果をNGとする。また、欠陥診断部18gは、この差が所定値未満であれば、欠陥の表面形状は滑らかであるとみなし、診断結果をOKとする。
また、図9に示すように、欠陥診断部18gは、輝度プロファイルにおける2つの基準点の周辺におけるデータ(エリア230,231内のデータ)の平均と、中間点の周辺におけるデータ(エリア232内のデータ)の平均とを算出し、さらに各平均の差を算出する。欠陥診断部18gは、この差が所定値以上であれば、欠陥の中央付近が暗くなっている、すなわち黒ずんでいるとみなし、診断結果をNGとする。また、欠陥診断部18gは、この差が所定値未満であれば、欠陥の表面の輝度分布は滑らかであるとみなし、診断結果をOKとする。欠陥診断部18gは、上記のようにして、奥行きプロファイルおよび輝度プロファイルの各々に基づいて、個別に診断結果を求める。なお欠陥診断部18gは、奥行きプロファイルおよび輝度プロファイルの両方に基づいて統合した診断結果を求めてもよい。例えば欠陥診断部18gは、診断結果がOKを0として、NGを1として、OKとNGの論理和の結果を、統合した診断結果として求めてもよい。
ステップSHでは、制御部18aが、左画面上に基準線および中間点を表示するためのグラフィック画像信号を生成し、映像信号処理回路12へ出力する。これによって、左画面上に基準線および中間点が表示される。なお、ステップSHは必ずしもステップSGの後に実行される必要はなく、ステップSDの後に実行されてもよい。ステップSIでは、制御部18aが、右画面上に結果ウィンドウを表示するためのグラフィック画像信号を生成し、映像信号処理回路12へ出力する。これによって、右画面上に結果ウィンドウが表示される。結果ウィンドウ上には、奥行きプロファイル、輝度プロファイル、および診断結果が表示される。結果ウィンドウに表示される内容の詳細は、後述する。
次に、ステップSE(奥行きプロファイル算出処理)の手順を説明する。図10はステップSEの手順を示している。ステップSE1では、座標算出部18dによって算出された参照点の画像座標がプロファイル算出部18eに入力される。ステップSE2では、プロファイル算出部18eが、左画面内の参照点に対応した右画面内のマッチング点の画像座標を算出する。より具体的には、プロファイル算出部18eは、参照点の画像座標に基づいてパターンマッチング処理を実行し、左右2画像の対応点であるマッチング点の画像座標を算出する。このパターンマッチング処理の方法は特開2004−49638号公報に記載されたものと同様である。
ステップSE3では、プロファイル算出部18eが、左画面内の参照点の画像座標と右画面内のマッチング点の画像座標とに基づいて空間座標を算出する。空間座標の計算方法は、図21を参照して説明した方法と同様である。この空間座標のZ座標が奥行き位置(物体距離)である。ステップSE4では、プロファイル算出部18eが、参照点の各々の位置と、各位置における奥行き位置とを関連付けた奥行きプロファイルを生成する。ステップSE5では、プロファイル算出部18eは奥行きプロファイルを制御部18aへ出力する。
次に、ステップSF(奥行きプロファイル算出処理)の手順を説明する。図11はステップSFの手順を示している。ステップSF1では、座標算出部18dによって算出された参照点の画像座標がプロファイル算出部18fに入力される。ステップSF2では、プロファイル算出部18fが、画像データから参照点上の各画素の輝度情報を取得する。このとき、各画素のRGBの各成分の値から各画素の輝度値Yが以下の(1)式により算出される。この輝度値Yが輝度情報である。
Y=0.299×R+0.587×G+0.114×B ・・・(1)
ステップSF3では、プロファイル算出部18fは、参照点の各々の位置と、各位置における輝度情報とを関連付けた輝度プロファイルを生成する。ステップSF4では、プロファイル算出部18fは輝度プロファイルを制御部18aへ出力する。
次に、欠陥の計測結果および診断結果の表示方法を説明する。図12は、欠陥の計測結果および診断結果が表示されたときの計測画面を示している。左画面上には、2つの基準点(×)、中間点(●)、および基準線が表示される。右画面上には、結果ウィンドウ300が表示される。結果ウィンドウ300の上部には、奥行きプロファイルのグラフ310、2つの基準点の周辺データの平均と中間点の周辺データの平均との差(Differ)、および診断結果(Result)が表示されている。結果ウィンドウ300の下部には、輝度プロファイルのグラフ320、2つの基準点の周辺データの平均と中間点の周辺データの平均との差(Differ)、および診断結果(Result)が表示されている。ユーザは、欠陥の計測結果および診断結果をもとに、欠陥に問題があるかどうかを確認することができる。
次に、本実施形態の第1の変形例を説明する。上記では、欠陥診断を行う際、特徴情報として輝度情報を用いたが、本変形例では、色情報を用いる。色情報として、xy色度図で用いられるxy値を使用する。RGB値とxy値との関係式は以下の(2)式および(3)式の通りである。
x=0.60×R−0.28×G−0.32×B ・・・(2)
y=0.20×R−0.52×G−0.31×B ・・・(3)
そして、色情報の差を表す値として、xy色度図における座標間の距離を使用する。2つの基準点の周辺エリアの色情報の平均をxa、yaとし、中間点の周辺エリアの色情報をxb、ybとすると、2つの色情報の差Dは、以下の(4)式となる。本変形例は、欠陥内部と周囲の間で、輝度の差が少なく、色差だけがある場合に有効である。
次に、本実施形態の第2の変形例を説明する。上記では、1本の直線(基準線)上における奥行きプロファイルおよび輝度プロファイルを算出していたが、本変形例では、複数の直線(基準線)上における奥行きプロファイルおよび輝度プロファイルを、一度に算出することができる。
まず、ユーザが1つ目の基準点を指定する。このとき、図13(a)に示すように、ユーザは基準点400を、欠陥410の中央に位置するように指定することが望ましい。ユーザが基準点を指定する指示を入力すると、基準点指定部18bは現在のカーソル420の画像座標を1つ目の基準点の画像座標として認識する。
続いて、ユーザがカーソルを移動させると、図13(b)に示すように、基準点とカーソルとの距離を半径とする円430(基準円)が表示される。このとき、基準点指定部18bは、基準点の画像座標とカーソルの画像座標に基づいて基準円を算出する。制御部18aは、左画面上に基準円を表示するためのグラフィック画像信号を生成し、映像信号処理回路12へ出力する。これによって、左画面上に基準円が表示される。
続いて、ユーザが2つ目の基準点を指定する。このとき、図13(c)に示すように、ユーザは基準点440を、欠陥の外側に位置するように指定することが望ましい。ユーザが基準点を指定する指示を入力すると、基準点指定部18bは現在のカーソルの画像座標を2つ目の基準点の画像座標として認識する。
図13(d)に示すように、基準点が指定されると、基準円上に所定の間隔で並んだ偶数個の点450(基準円構成点)が設定される。座標算出部18dは、基準円上の基準円構成点の画像座標を算出する。図13(d)では基準円構成点は8個であるが、より多いまたは少ない基準円構成点が設定されていてもよい。続いて、図13(e)に示すように、1つ目の基準点を中心に互いに対称な位置にある基準円構成点同士を結ぶ複数の直線460(基準線)が設定される。基準線算出部18cは、1つ目の基準点を中心に互いに対称な位置にある基準円構成点同士を結ぶ基準線を算出する。各基準線は、欠陥領域を2つに分割する直線となる。上記のようにして、ユーザは簡易な操作で複数の基準線を設定することができる。
これらの基準線上に複数の参照点が設定され、前述した処理により、基準線毎に奥行きプロファイルおよび輝度プロファイルが算出される。奥行きプロファイルおよび輝度プロファイルは基準線と対応させて(基準線を識別する情報と関連付けて)記憶部18hに格納される。
図14(a)は、欠陥の計測結果および診断結果を表示したときの計測画面を示している。左画面上には、2つの基準点(×)、基準円、基準線、基準円構成点(●)、および基準円構成点の番号が表示される。表示される基準円構成点の番号は、番号1の基準線を構成する基準円構成点の番号であれば、1および1’となる。番号2の基準線を構成する基準円構成点の番号であれば、2および2’となる。
右画面上には、結果ウィンドウ500が表示される。図12の結果ウィンドウ300と異なるのは、ウィンドウの最上部に表示切替ボタン510が配置されている点である。結果ウィンドウ500には、初期設定として、基準線1−1’における奥行きプロファイルおよび輝度プロファイルが表示されているが、図14(b)に示すように、ユーザがカーソルを移動させ、表示切替ボタン510を押下することで、表示される基準線の番号が切り替わり、基準線2−2’における奥行きプロファイルおよび輝度プロファイルが表示される。ユーザが表示切替ボタン510の右側の三角形ボタンを押下すると、表示される基準線の番号が1つ進み、表示切替ボタン510の左側の三角形ボタンを押下すると、表示される基準線の番号が1つ戻り、更新後の番号の基準線に対応する奥行きプロファイルおよび輝度プロファイルが表示される。
制御部18aは、リモートコントローラ4からの信号に基づいて、表示切替ボタン510の操作によりユーザが指定した基準線を認識する。続いて、制御部18aは、ユーザが指定した基準線に対応した奥行きプロファイルおよび輝度プロファイルを記憶部18hから読み出し、それらを表示するためのグラフィック画像信号を生成して映像信号処理回路12へ出力する。これによって、ユーザが指定した基準線における奥行きプロファイルおよび輝度プロファイルが表示される。
上述したように、本実施形態によれば、欠陥領域を2分する基準線上に設定された参照点における輝度情報の差と計測結果とが表示されるので、ユーザが計測対象物を目視して、欠陥に問題があるかどうかを判断する際に判断の補助となる情報をユーザに通知することができる。本実施形態は、バーニングのように、欠陥領域の内部と外部とで画像の特徴に差がある欠陥の診断を行う際に有効である。
また、輝度プロファイルを表示することによって、欠陥の状態(表面輝度)に関する詳細な情報をユーザに通知することができる。さらに、基準線毎の輝度プロファイルを切替可能に表示することによって、ユーザは各輝度プロファイルを比較しながら欠陥の判断を詳細に行うことができる。
また、画像の特徴情報が所定の基準を満たすか否か、具体的には輝度情報の差が所定値以上であるか否かを判定することにより、欠陥に問題があるか否かの判定を客観的な基準に基づいて行うことができる。さらに、この判定の結果を表示することによって、欠陥に対する客観的な判定結果をユーザに知らせることができる。
また、計測結果である奥行きプロファイルを表示することによって、欠陥の状態(表面形状)に関する詳細な情報をユーザに通知することができる。さらに、基準線毎の奥行きプロファイルを切替可能に表示することによって、ユーザは各奥行きプロファイルを比較しながら欠陥の判断を詳細に行うことができる。
また、計測結果が所定の基準を満たすか否か、具体的には奥行き位置の差が所定値以上であるか否かを判定することにより、欠陥に問題があるか否かの判定を客観的な基準に基づいて行うことができる。さらに、この判定の結果を表示することによって、欠陥に対する客観的な判定結果をユーザに知らせることができる。
また、画像の特徴情報として輝度情報を生成することによって、輝度に特徴がある(欠陥の内部と外部とで輝度に差がある)欠陥についての判断を行うのに適した情報を得ることができる。また、画像の特徴情報として色情報を生成することによって、色に特徴がある(欠陥の内部と外部とで色に差がある)欠陥についての判断を行うのに適した情報を得ることができる。本実施形態では、画像の特徴情報として輝度情報または色情報を使用しているが、特徴情報は欠陥の特徴が反映される情報であればよく、輝度情報または色情報に限ることはない。
(第2の実施形態)
次に、本発明の第2の実施形態を説明する。本実施形態による内視鏡装置の構成は図1に示した通りであるが、計測処理部18の構成が異なる。図15は本実施形態の計測処理部18の構成を示している。図15に示すように計測処理部18は、制御部18aと、基準点指定部18bと、基準線算出部18cと、座標算出部18dと、欠陥診断部18gと、記憶部18hと、欠陥サイズ算出部18iと、輝度取得部18jとから構成されている。図15に示す構成では、図2に示す構成と比較して、プロファイル算出部18e,18fが削除され、欠陥サイズ算出部18iおよび輝度取得部18jが追加されている点が異なる。欠陥サイズ算出部18iは、基準点の空間座標を算出し、欠陥のサイズを算出する。輝度取得部18jは、参照点における輝度情報を画像データから取得する。
次に、本実施形態における計測の手順を説明する。図16は計測の手順を示している。ステップSaでは、液晶モニタ5に表示された計測画面上において、リモートコントローラ4の操作により、ユーザが基準点を2つ指定する。このときの処理は、図4のステップSAにおける処理と同様である。
ステップSbでは、基準線算出部18cが、ステップSaで指定された2つの基準点を通る基準線を算出する。図17(a)に示すように、ユーザは基準点600a,600bを、欠陥610のエッジ上に位置するように指定する。基準点600a,600bを結ぶ直線が本実施形態の基準線である。基準線620は、欠陥610を2つに分割する直線となる。基準線620が欠陥610の中央付近を通過することが好ましい。
ステップScでは、座標算出部18dが、基準線上に位置する複数の参照点の画像座標を算出する。より具体的には、座標算出部18dは、図17(b)に示すように、基準線において、2つの基準点のそれぞれから所定の距離だけ欠陥領域の外側にある参照点630a,630bの画像座標を算出し、さらに2つの基準点の中間に位置する参照点630cの画像座標を算出する。続いて、座標算出部18dは、図17(c)に示すように、各参照点を中心とする、輝度情報を算出するための矩形の画像処理範囲である参照エリア640a,640b,640cの画像座標を算出する。さらに、座標算出部18dは各参照エリア内に複数の参照点を設定する。
ステップSdでは、欠陥サイズ算出部18iが欠陥のサイズを算出する。本実施形態における欠陥のサイズは欠陥の幅であり、ステップSaで指定された2つの基準点に対応する2つの空間座標間の空間距離(2点間距離)である。ステップSeでは、輝度取得部18jが、画像データから参照エリア内の参照点上の各画素の輝度情報を取得する。
ステップSfでは、欠陥診断部18gが、ステップSeで取得された輝度情報に基づいて、欠陥診断を行う。より具体的には、欠陥診断部18gは、各参照エリアの輝度情報を比較し、比較結果に基づいて欠陥の診断を行う。欠陥領域の外部の参照エリア(図17(c)の参照エリア640a,640b)の輝度情報の平均をYaとし、欠陥領域の内部の参照エリア(図17(c)の参照エリア640c)の輝度情報をYbとすると、2つの輝度情報の差である輝度差Dは、以下の(4)式で表される。
D=|Ya−Yb| ・・・(4)
欠陥診断部18gは、上記の輝度差Dが所定値以上であれば、欠陥の内部と周囲の間の輝度差は大きいとみなし、診断結果をNGとする。また、欠陥診断部18gは、上記の輝度差Dが所定値未満であれば、輝度差は小さいとみなし、診断結果をOKとする。
ステップSgでは、制御部18aが、左画面上に基準線を表示するためのグラフィック画像信号を生成し、映像信号処理回路12へ出力する。これによって、左画面上に基準線が表示される。ステップShでは、制御部18aが、右画面上に結果ウィンドウを表示するためのグラフィック画像信号を生成し、映像信号処理回路12へ出力する。これによって、右画面上に結果ウィンドウが表示される。結果ウィンドウ上には、欠陥の計測結果および診断結果が表示される。
図18は、欠陥の計測結果および診断結果を表示したときの計測画面を示している。左画面上には、2つの基準点(×)および基準線が表示される。右画面上には、結果ウィンドウ800が表示される。結果ウィンドウ800の上部には欠陥のイメージが表示されている。また、結果ウィンドウ800の下部には、欠陥の計測結果である2点間距離(W)に加えて、輝度情報の差(Differ)、および診断結果(Result)が表示されている。ユーザは、欠陥の計測結果および診断結果をもとに、欠陥に問題があるかどうかを確認することができる。
次に、本実施形態の変形例を説明する。上記では、1本の直線(基準線)を求めて欠陥のサイズおよび輝度差を算出していたが、本変形例では、複数の直線(基準線)を求めて欠陥のサイズおよび輝度差を、一度に算出することができる。
第1の実施形態における変形例と同様に、ユーザが、図19の欠陥領域のほぼ中央に位置する基準点900を指定すると、基準点900を中心とし、基準点900とカーソル910との距離を半径とする基準円920が表示される。続いて、ユーザが2つ目の基準点を指定する。このとき、第1の実施形態における変形例とは異なり、図19に示すように、ユーザは基準点930を、欠陥のエッジ上に位置するように指定することが望ましい。すなわち、ユーザは基準円が欠陥のエッジにできるだけ一致するように基準点930を指定することが望ましい。
2つの基準点が指定されると、基準円上に所定の間隔で並んだ偶数個の基準円構成点940が設定される。このとき、座標算出部18dは、基準円上の基準円構成点の画像座標を算出する。また、基準点900を中心に互いに対称な位置にある基準円構成点同士を結ぶ複数の基準線950が設定される。基準線算出部18cは、1つ目の基準点を中心に互いに対称な位置にある基準円構成点同士を結ぶ基準線を算出する。各基準線は、欠陥領域を2つに分割する直線となる。上記のようにして、ユーザは簡易な操作で複数の基準線を設定することができる。
続いて、図示していないが、各基準線において、基準円構成点から所定の距離だけ欠陥領域の外側にある参照点が設定される。このとき、座標算出部18dは、参照点の画像座標を算出する。続いて、座標算出部18dは、基準点および参照点を中心とする参照エリアの画像座標を算出し、各参照エリア内に複数の参照点を設定する。これら複数の参照点に基づいて、前述した処理により、基準線毎に輝度差が算出される。また、2つの基準点に対応する2つの空間座標間の空間距離が計測結果として算出される。計測結果および輝度差は基準線と対応させて(基準線を識別する情報と関連付けて)記憶部18hに格納される。
図20は、欠陥の計測結果および診断結果を表示したときの計測画面を示している。左画面上には、2つの基準点(×)、基準円、基準線、基準円構成点(●)、および基準円構成点の番号が表示される。右画面上には、結果ウィンドウ1000が表示される。図18の結果ウィンドウ800と異なるのは、ウィンドウの中央部に表示切替ボタン1010が配置されている点である。表示切替ボタン1010の機能は図14の表示切替ボタン510の機能と同様である。
制御部18aは、リモートコントローラ4からの信号に基づいて、表示切替ボタン1010の操作によりユーザが指定した基準線を認識する。続いて、制御部18aは、ユーザが指定した基準線に対応した計測結果および輝度差を記憶部18hから読み出し、それらを表示するためのグラフィック画像信号を生成して映像信号処理回路12へ出力する。これによって、ユーザが指定した基準線に対応する計測結果および輝度差が表示される。
上述したように、本実施形態によれば、第1の実施形態と同様に、ユーザが計測対象物を目視して、欠陥に問題があるかどうかを判断する際に判断の補助となる情報をユーザに通知することができる。また、基準線毎の計測結果および輝度差を切替可能に表示することによって、ユーザは各計測結果および輝度差を比較しながら欠陥の判断を詳細に行うことができる。
本実施形態では、画像の特徴情報として輝度情報を使用しているが、前述した色情報を使用することも可能であるし、特徴情報は欠陥の特徴が反映される情報であればよく、輝度情報または色情報に限ることはない。
以上、図面を参照して本発明の実施形態について詳述してきたが、具体的な構成は上記の実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。