<第1の実施形態>
以下、本発明の実施形態について、図面を参照して説明する。なお、以下の説明においては、本発明の内視鏡システムが、工業用の内視鏡装置である場合について説明する。図1は、本発明の第1の実施形態による内視鏡システムである工業用の内視鏡装置(以下、単に「内視鏡装置」という)の概略構成の一例を示した図である。図1に示した内視鏡装置1は、被検物の内部の観察や、通常の観察装置がアクセス困難な位置にある被検物の観察などに使用される。
内視鏡装置1は、長尺で軟性の挿入部3と、挿入部3の基端が接続された本体部2とを備えている。また、本体部2と接続された基端と反対側の挿入部3の先端に位置する先端部4には、被検物を撮影するための撮像部5と、撮像部が撮影する範囲に光を照射するための照明部6と、予め定めた周期で明暗に構造化した複数(種類)のパターンの光を被検物に投影するためのパターン投影部71との一部の構成要素が配置されている。先端部4の端面40には、撮像部5に外部からの光を入射させるための開口部45と、照明部6からの光を前面に照射するための照明窓46と、パターン投影部71が構造化したパターンの光を前面に照射するための投影窓47とが設けられている。
挿入部3は、図1に示したように、管状に形成されており、被検物の内部または被検物までのアクセス経路に挿入されて、先端部4を撮影する被検物の近傍に導く。なお、以下の説明においては、パターン投影部71が被検物に投影する光を構造化するパターンが、光の明暗、つまり、光の強度が水平方向の正弦波状に変化する縞状のパターン(縦縞のパターン)であるものとして説明する。
撮像部5は、本体部2内に配置された撮像制御部51と、先端部4内に配置された撮像素子52および対物光学系53とを含んで構成される。対物光学系53は、先端部4の端面40に設けられた開口部45に正対する所定の画角をもった光学レンズ群である。なお、図1に示した内視鏡装置1の構成では、対物光学系53が1つの光学レンズで構成されている場合を示しているが、対物光学系53は、複数の光学レンズで構成されてもよい。対物光学系53は、開口部45から入射された所定の画角によって規定される観察範囲内の被検物からの反射光を撮像素子52に入射させ、被検物の像を撮像素子52の撮像面に結像させる。なお、図1に示した内視鏡装置1の構成では、対物光学系53に、開口部45の開口を塞ぐための光の透過性を有するカバー部材54を備えている場合を示している。
撮像素子52は、2次元の行列状に画素が複数配置され、対物光学系53によって結像された被検物の映像を撮影し、撮影した映像に応じた画素信号を出力する、例えば、CCD(Charge Coupled Device:電荷結合素子)イメージセンサや、CMOS(Complementary Metal−Oxide Semiconductor:相補型金属酸化膜半導体)イメージセンサに代表されるイメージセンサである。撮像素子52は、挿入部3内に備えた信号線55を介して伝送された、本体部2内の撮像制御部51から出力された駆動信号によって駆動される。また、撮像素子52は、撮影した映像に応じたそれぞれの画素信号を映像信号として、信号線55を介して撮像制御部51に出力する。なお、撮像素子52は、イメージセンサを含む公知の技術を適宜選択して構成することができる。
撮像制御部51は、メイン制御部81からの制御に応じて、撮像素子52の駆動および映像信号を取得する際の設定など、種々の制御を行う。より具体的には、撮像制御部51は、挿入部3内の信号線55を介して先端部4内に配置された撮像素子52を駆動する。また、撮像制御部51は、撮像素子52が撮影した映像に応じた映像信号の信号線55への出力、つまり、映像信号の信号線55を介した伝送を制御する。また、撮像制御部51は、信号線55を介して撮像素子52から取得した映像信号を、本体部2内に配置された映像処理部86に出力する。
照明部6は、本体部2内に配置された照明光源61およびカップリングレンズ62と、挿入部3内を通るファイババンドル63と、先端部4内に配置された照明光学系64とを含んで構成される。照明光源61は、一般的な白色の光源である。照明光源61は、光源として、白色LEDやレーザーなどの発光素子、ハロゲンランプなどの電灯を用いることができる。
カップリングレンズ62は、照明光源61から発せられた光を、ファイババンドル63の径と同程度まで収束させる光学レンズである。カップリングレンズ62は、収束させた光をファイババンドル63に導入する。ファイババンドル63は、カップリングレンズ62から導入された光を、挿入部3を通して照明光学系64まで導く光ファイバである。なお、本発明においては、ファイババンドル63の構成や種類には、特に制限はなく、例えば、一般的なライトガイドなどをファイババンドル63として用いることもできる。
照明光学系64は、先端部4の端面40に設けられた照明窓46に正対する光学レンズ群である。なお、図1に示した内視鏡装置1の構成では、照明光学系64が1つの光学レンズで構成されている場合を示しているが、照明光学系64は、複数の光学レンズで構成されてもよい。照明光学系64は、照明光源61から発せられてファイババンドル63によって導かれた光を、対物光学系53における所定の画角によって規定される観察範囲にまで広げて照明窓46から出射させる。これにより、照明光源61から発せられた光が、先端部4の前面、つまり、内視鏡装置1における被検物の観察範囲にまんべんなく照射される。なお、照明光学系64には、照明窓46の開口を塞ぐため、光の透過性を有するカバー部材(不図示)を有していてもよい。
パターン投影部71は、本体部2内に配置されたパターン投影光源711a、パターン投影光源711b、カップリングレンズ712a、カップリングレンズ712b、およびパターン制御部716と、挿入部3内を通る光ファイバ713aおよび光ファイバ713bと、先端部4内に配置された縞生成部714a、縞生成部714b、投影光学系715a、および投影光学系715bとを含んで構成される。
パターン投影光源711aおよびパターン投影光源711bのそれぞれは、予め定めた特定の波長帯域の光源である。パターン投影光源711aおよびパターン投影光源711bのそれぞれは、光源として、レーザーや予め定めた色のLEDなどの発光素子を用いることができる。なお、パターン投影光源711aとパターン投影光源711bとのそれぞれが発光する光の波長帯域は、同じ波長帯域である。また、パターン投影光源711aとパターン投影光源711bとのそれぞれが発光する光の波長帯域は、可視光の波長帯域であっても赤外光の波長帯域であってもよい。例えば、パターン投影光源711aおよびパターン投影光源711bのそれぞれは、赤色の波長帯域のレーザー光源であってもよい。なお、以下の説明においてパターン投影光源711aとパターン投影光源711bとのそれぞれを区別しない場合には、「パターン投影光源711」という。
カップリングレンズ712aおよびカップリングレンズ712bのそれぞれは、対応するパターン投影光源711aまたはパターン投影光源711bから発せられた特定の波長帯域のレーザー光を、対応する光ファイバ713aまたは光ファイバ713bの径と同程度まで収束させる光学レンズである。カップリングレンズ712aは、対応するパターン投影光源711aが発光したレーザー光を収束させて、対応する光ファイバ713aに導入する。また、カップリングレンズ712bは、対応するパターン投影光源711bが発光したレーザー光を収束させて、対応する光ファイバ713bに導入する。なお、以下の説明においてカップリングレンズ712aとカップリングレンズ712bとのそれぞれを区別しない場合には、「カップリングレンズ712」という。
光ファイバ713aおよび光ファイバ713bのそれぞれは、対応するカップリングレンズ712aまたはカップリングレンズ712bから導入されたレーザー光を、挿入部3を通して、対応する縞生成部714aまたは縞生成部714bまで導く光ファイバである。光ファイバ713aは、対応するカップリングレンズ712aから導入されたレーザー光を、対応する縞生成部714aまで導く。また、光ファイバ713bは、対応するカップリングレンズ712bから導入されたレーザー光を、対応する縞生成部714bまで導く。なお、本発明においては、光ファイバ713aおよび光ファイバ713bのそれぞれの構成や種類も、ファイババンドル63と同様に、特に制限はない。なお、以下の説明において光ファイバ713aと光ファイバ713bとのそれぞれを区別しない場合には、「光ファイバ713」という。
縞生成部714aおよび縞生成部714bのそれぞれは、挿入部3内に備えた対応する信号線717aまたは信号線717bを介して伝送された、本体部2内のパターン制御部716から出力された制御信号に応じて、対応するパターン投影光源711から発せられて対応する光ファイバ713によって導かれたレーザー光から、被検物に投影するために予め定めた周期で構造化したパターンに変換した光(以下、「パターン光」という)を生成する縞生成デバイスである。このとき、縞生成部714aおよび縞生成部714bのそれぞれは、生成したパターン光に予め定めた位相差をもたせる。ここで、縞生成部714aおよび縞生成部714bのそれぞれが生成したパターン光にもたせる位相差は、縞生成部714aと縞生成部714bとで互いに異なる予め定めた固定の位相差、つまり、予め定めた互いに異なる位相シフト量である。そして、縞生成部714aおよび縞生成部714bのそれぞれは、互いに異なる位相シフト量のそれぞれのパターン光を、対応する投影光学系715aまたは投影光学系715bに出射する。なお、内視鏡装置1では、パターン投影部71が被検物に投影するために変換する構造化のパターンが、縦縞のパターンである。従って、縞生成部714aおよび縞生成部714bのそれぞれは、レーザー光を縦縞のパターン光に変換し、かつ予め定めた異なる位相シフトを行ったそれぞれのパターン光を、対応する投影光学系715aまたは投影光学系715bに出射する。なお、以下の説明において縞生成部714aと縞生成部714bとのそれぞれを区別しない場合には、「縞生成部714」という。
パターン制御部716は、メイン制御部81からの制御に応じて、縞生成部714aおよび縞生成部714bのそれぞれが対応する投影光学系715aまたは投影光学系715bに出射するパターン光の構造化パターンを制御する。より具体的には、パターン制御部716は、信号線717aまたは信号線717bを介して対応する縞生成部714aおよび縞生成部714bのそれぞれに出力する制御信号によって、縞生成部714aおよび縞生成部714bのそれぞれが生成する縦縞のパターンにおける縞の強度、つまり、レーザー光の強度を水平方向の正弦波状に変化させる際の位相を制御する。
投影光学系715aおよび投影光学系715bのそれぞれは、先端部4の端面40に設けられた投影窓47に正対する光学レンズ群である。なお、図1に示した内視鏡装置1の構成では、投影光学系715aおよび投影光学系715bのそれぞれが1つの光学レンズで構成されている場合を示しているが、投影光学系715aおよび投影光学系715bのそれぞれは、複数の光学レンズで構成されてもよい。投影光学系715aおよび投影光学系715bのそれぞれは、対応する縞生成部714aまたは縞生成部714bのそれぞれがレーザー光を変換して位相シフトした後に出射したパターン光を、対物光学系53における所定の画角によって規定される観察範囲にまで広げて投影窓47から出射させる。これにより、異なる位相シフトがされたそれぞれのパターン光が、先端部4の前面の内視鏡装置1における被検物の観察範囲にまんべんなく照射される。なお、投影光学系715aおよび投影光学系715bのそれぞれにも、照明光学系64と同様に、投影光学系715aおよび投影光学系715bのそれぞれの開口を塞ぐために、光の透過性を有するカバー部材(不図示)を有していてもよい。なお、以下の説明において投影光学系715aと投影光学系715bとのそれぞれを区別しない場合には、「投影光学系715」という。
その他、内視鏡装置1では、本体部2内に、光源制御部80と、映像処理部86と、操作部82と、モニタ87と、メイン制御部81と、主記憶装置(RAM)83と、補助記憶部84と、ROM85と、を備えている。
光源制御部80は、メイン制御部81からの制御に応じて、照明光源61、パターン投影光源711a、およびパターン投影光源711bのオン、オフを制御することによって光の発光、つまり、被検物への光の照射を制御する。なお、光源制御部80における照明光源61、パターン投影光源711a、およびパターン投影光源711bの発光制御の方法に関する詳細な説明は、後述する。
映像処理部86は、メイン制御部81からの制御に応じて、撮像制御部51から出力された映像信号に対して種々の処理を行い、映像信号に基づいた映像(画像)、すなわち、撮像部5に備えた撮像素子52が撮影した被検物の画像を生成する。そして、映像処理部86は、生成した被検物の画像をメイン制御部81に出力する。
操作部82は、内視鏡装置1の動作を制御するために使用者(ユーザ)によって操作されるユーザーインターフェースやコントローラである。ユーザは、操作部82を操作することによって、内視鏡装置1に所望の動作や処理を実行させる。例えば、操作部82の操作によって、ユーザは、挿入部3を被検物内に挿入する際に先端部4が向かう方向の変更や、被検物の撮影を指示する。また、操作部82の操作によって、ユーザは、3次元の計測を行う際の測定点の位置を、所望の位置に設定する。操作部82は、ユーザによって操作された内容を表す情報を、メイン制御部81に出力する。
モニタ87は、内視鏡装置1の動作や操作内容、撮影した被検物の画像を表示する表示部である。モニタ87は、メイン制御部81から入力された画像を表示する。ユーザは、モニタ87に表示された画像を確認しながら、操作部82を操作することによって、内視鏡装置1を使用した被検物の観察を行う。
メイン制御部81は、内視鏡装置1の構成要素、すなわち、内視鏡装置1全体を制御する。例えば、内視鏡装置1が被検物を観察する際の撮像部5による撮影動作や、被検物の画像のモニタ87への表示動作などに応じて、内視鏡装置1内の各構成要素の動作を制御する。メイン制御部81には、RAM83、補助記憶部84、およびROM85などの外部記憶部が接続されている。メイン制御部81は、接続されたRAM83、補助記憶部84、またはROM85に記憶されたデータに基づいて、種々の処理を行う。
RAM83は、例えば、DRAMなどの書き換え可能な揮発性メモリであり、メイン制御部81が処理を実行するために用いるデータや、処理の途中で生成したデータなどが、一時的に格納される。RAM83には、映像処理部86が生成してメイン制御部81に出力した被検物の画像が一時的に格納される。また、RAM83に格納された被検物の画像は、メイン制御部81によって読み出されて、モニタ87に出力される。
補助記憶部84は、例えば、書き換え可能な不揮発メモリを有する記憶装置や磁気記憶装置などの記憶装置であり、メイン制御部81が処理を実行した最終的な結果のデータなどを格納する。ROM85は、例えば、EPROMやEEPROMなどの書き換え可能な不揮発性メモリであり、内視鏡装置1(メイン制御部81)を起動するためのファームウェアなどのプログラムや、メイン制御部81が実行する処理のプログラムなどが格納されている。
また、メイン制御部81は、映像処理部86が生成した被検物の画像に基づいて、内視鏡装置1における3次元の計測の処理を行う。このとき、メイン制御部81は、3次元の計測を行う際の測定点を設定するための被検物の画像をモニタ87に表示させる。そして、メイン制御部81は、操作部82から入力された操作の内容を表す情報に含まれる、ユーザによって指定された測定点の位置の情報に基づいて、ユーザが所望する3次元の計測を行い、計測結果をモニタ87に表示させる。なお、メイン制御部81における3次元の計測の処理手順に関する詳細な説明は、後述する。
次に、パターン投影部71含まれる縞生成部714の構成について説明する。図2は、第1の実施形態の内視鏡システム(内視鏡装置1)に備えたパターン投影部71に含まれる縞生成部714の概略構成の一例を示した図である。縞生成部714は、光の入射端Inに光ファイバ713によって導かれたレーザー光を、2つの光路に分離してそれぞれの出射端Out1および出射端Out2に導いて放射させる。ここで、縞生成部714では、出射端Out1と出射端Out2とが、出射端Out1と出射端Out2との間の距離によって規定される分離幅dだけ離れて配置されている。縞生成部714では、出射端Out1と出射端Out2とのそれぞれから放射されたそれぞれのレーザー光が、互いに干渉することによって1つの縞状のパターンを形成するため、近似的に1つの光源から出射されたレーザー光であると見なすことができる。
なお、レーザー光の干渉によって形成される縞状のパターンの周期は、ヤングの干渉縞の原理に基づいて、入射端Inに導かれたレーザー光の波長帯域と、出射端Out1と出射端Out2との分離幅dに応じた周期になる。例えば、分離幅dが変わらない場合、入射端Inに導かれたレーザー光の波長帯域が低い帯域になる、つまり、レーザー光の波長が短くなると縞状のパターンの周期が短くなり、入射端Inに導かれたレーザー光の波長帯域が高い帯域になる、つまり、レーザー光の波長が高くなると縞状のパターンの周期が長くなる。また、例えば、入射端Inに導かれたレーザー光の波長帯域が変わらない場合、分離幅dが広くなる、つまり、出射端Out1と出射端Out2とが離れた位置になると縞状のパターンの周期が短くなり、分離幅dが狭くなる、つまり、出射端Out1と出射端Out2とが近い位置になると縞状のパターンの周期が長くなる。
また、縞生成部714は、上述したように、レーザー光の干渉によって形成される縞状のパターンに固定の位相差をもたせる(位相シフトする)。この縞生成部714において位相シフトを行う方法は、例えば、入射端Inに導かれたレーザー光を分離して放射させる出射端Out2側の光路の長さ(光路長)を、入射端Inに導かれたレーザー光を分離して放射させる出射端Out1側の光路長と異なる長さにすることによって、出射端Out2から放射するレーザー光の位相を変更(シフト)する方法などがある。これにより、位相がシフトされずに導かれて出射端Out1から放射されるレーザー光と、位相がシフトされて出射端Out2から放射されるレーザー光とが互いに干渉することによって形成される縞の位相も変更(シフト)される、つまり、縞生成部714から出射するパターン光が位相シフトされる。なお、縞生成部714においてパターン光の位相をシフトする方法は、それぞれのレーザー光の光路長を異ならせる方法に限定されるものではなく、固定の位相シフトを行って出射する方法であれば、いかなる方法であってもよい。
このような構成によって、縞生成部714は、光ファイバ713によって導かれたレーザー光を予め定めた周期の縞状のパターンに変換し、かつ予め定めた固定の位相シフトを行って出射する。
次に、内視鏡装置1の先端部4における投影光学系715の配置について説明する。図3は、第1の実施形態の内視鏡システム(内視鏡装置1)に備えたパターン投影部71に含まれる投影光学系715の先端部4における配置の一例を示した図である。図3には、内視鏡装置1が、位相シフトした4つのパターン光を被検物に照射することによって3次元の計測を行う内視鏡装置であり、パターン投影部71が4つの投影光学系715(以下、「投影光学系715a」,「投影光学系715b」,「投影光学系715c」,「投影光学系715d」という)を含んでいる構成である場合におけるそれぞれの投影光学系715の配置の一例を示している。
ところで、内視鏡装置1において3次元の計測を行う場合、被検物に照射するそれぞれのパターン光の基線長が同じにすることで、計算負荷の小さい後述する式(1)を使用することができる。つまり、3次元の計測において計測に用いるそれぞれのパターン光は、同じ位相シフト量ずつ位相シフトしたパターン光であり、それぞれのパターン光が同じ光路を通って被検物に到達することが望ましい。例えば、パターン光を4回照射することによって3次元の計測を行う場合には、90°(π/2)ずつ位相シフトしたそれぞれのパターン光が、同じ光路を通って被検物に到達することが望ましい。
内視鏡装置1では、パターン投影部71に含まれる4つの縞生成部714のそれぞれが、対応する光ファイバ713(以下、「光ファイバ713a」,「光ファイバ713b」,「光ファイバ713c」,「光ファイバ713d」という)のそれぞれによって導かれたレーザー光を縦縞のパターン光に変換し、かつ予め定めた異なる位相シフトを行って、対応する投影光学系715のそれぞれに出射する。このため、内視鏡装置1では、パターン光の形状、つまり、縦縞の形状に応じて、それぞれのパターン光を出射する出射端の組の並びが、垂直方向に近接して並ぶように先端部4に配置する。
より具体的には、内視鏡装置1では、それぞれのパターン光の基線長を同じにするため、図3に示したように、4つの投影光学系715(投影光学系715a〜投影光学系715d)のそれぞれを、垂直方向に近接して並ぶように、先端部4に配置する。つまり、撮像部5が撮影した被検物の画像における水平方向の中心位置を結ぶ中心線Aの方向と、先端部4に垂直方向に配置する投影光学系715a〜投影光学系715dのそれぞれの中心を結ぶ中心線Cの方向とが平行になるように、4つの投影光学系715のそれぞれを先端部4に近接して配置する。
これにより、内視鏡装置1が被検物を観察する観察範囲の光軸と、投影光学系715a〜投影光学系715dのそれぞれが被検物に照射するそれぞれのパターン光の中心とが一致し、同じ位相シフト量ずつ位相シフトしたそれぞれのパターン光が、被検物に到達することになる。なお、内視鏡装置1では、4つの投影光学系715のそれぞれを近接して配置することによって、それぞれの投影光学系715から出射される縦縞のパターン光は、近似的に1つの光源から出射されたパターン光であると見なすことができる。
なお、図3には、計測光の基線長が同じ例として、それぞれの投影光学系715を垂直方向に近接して並ぶように配置した場合を示した。しかし、計測光の基線長が同じである別の例として、縞生成部714によって変換する構造化パターンが、光の明暗(光の強度)が垂直方向の正弦波状に変化する縞状のパターン(横縞のパターン)である場合などにおいては、投影光学系715a〜投影光学系715dのそれぞれを、水平方向に近接して並ぶように先端部4に配置してもよい。つまり、図3に示した中心線Aの方向と、先端部4に配置する投影光学系715a〜投影光学系715dのそれぞれの中心を結ぶ中心線の方向とが垂直になるように、4つの投影光学系715のそれぞれを先端部4に配置してもよい。言い換えれば、撮像部5が撮影した被検物の画像における水平方向と、先端部4に水平方向に配置する投影光学系715a〜投影光学系715dのそれぞれの中心を結ぶ中心線の方向とが平行になるように、4つの投影光学系715のそれぞれを先端部4に近接して配置してもよい。
このような構成によって、内視鏡装置1では、パターン光を位相シフトして被検物に複数回照射し、それぞれの位相で撮影した複数の画像から3次元画像を生成して3次元の計測を行う。なお、内視鏡装置1には、内視鏡装置1のユーザがモニタ87に表示された画像を確認しながら操作部82を操作することによって先端部4を観察する被検物の近傍に導く観察モードと、モニタ87に表示された画像を確認しながら操作部82を操作して所望の測定点を設定して3次元の計測を行う計測モードとの2つの動作モードがある。この動作モードの切り替えは、例えば、ユーザが操作部82を操作することによって行う。
また、図1に示した内視鏡装置1の構成では、挿入部3の先端に位置する先端部4内に撮像部5と、照明部6と、パターン投影部71との一部の構成要素が配置されている構成を示した。しかし、内視鏡装置1は、先端部4内に備えた構成要素を交換可能な構成にすることもできる。例えば、撮像部5を構成する対物光学系53の一部と、照明部6を構成する照明光学系64の一部と、パターン投影部71を構成する縞生成部714および投影光学系715の一部とを、光学アダプタとして形成する。このとき、先端部4には、撮像部5を構成する撮像素子52および対物光学系53の他の一部と、照明部6を構成する照明光学系64の他の一部と、パターン投影部71を構成する投影光学系715の他の一部とを配置した構成にする。そして、先端部4と光学アダプタとを着脱可能な構成にする。このような構成にすることによって、観測する被検物に応じた適切な光学アダプタに交換することができる。
次に、内視鏡装置1の動作について説明する。まず、内視鏡装置1のそれぞれの動作モードにおいて被検物に照射する光の制御方法、つまり、光源制御部80における照明光源61およびパターン投影光源711の発光制御の方法について説明する。上述したように、光源制御部80は、メイン制御部81からの制御に応じて、照明光源61およびパターン投影光源711のオン、オフを制御することによって被検物への光の照射を制御する。
より具体的には、内視鏡装置1が観察モードの動作をしているとき、光源制御部80は、照明光源61のみオン状態に制御することによって、照明部6が白色の照明光(以下、「観察光」という)を被検物に照射するように制御する。これにより、撮像部5は、観察光が被検物に照射されたそれぞれのタイミングで撮影を行ったそれぞれの映像信号を映像処理部86に順次出力し、映像処理部86が、撮像部5から順次出力された映像信号に基づいた被検物の映像(画像)(以下、「観察モード画像」という)を順次生成する。そして、メイン制御部81が、映像処理部86から出力された観察モード画像を一旦RAM83に格納した後、再度読み出してモニタ87に表示させる。これにより、内視鏡装置1のユーザは、観察モードにおいてモニタ87に表示された観察モード画像を確認しながら操作部82を操作して、先端部4を観察する被検物の近傍に導くことができる。
一方、内視鏡装置1の動作モードが計測モードのとき、光源制御部80は、パターン投影光源711aとパターン投影光源711bとを順次オン状態に制御することによって、パターン投影部71が互いに異なる位相シフト量のそれぞれのパターン光(以下、「計測光」という)を被検物に照射するように制御する。これにより、撮像部5は、計測光が被検物に照射されたそれぞれのタイミングで撮影を行ったそれぞれの映像信号を映像処理部86に順次出力し、映像処理部86が、撮像部5から順次出力された映像信号に基づいた被検物の映像(画像)(以下、「計測モード画像」という)を順次生成する。そして、メイン制御部81が、映像処理部86から出力されたそれぞれの計測モード画像に基づいて、3次元の計測の処理を行う。これにより、内視鏡装置1のユーザは、設定した所望の測定点の位置での3次元の計測結果を確認することができる。
なお、図1に示した内視鏡装置1の構成では、3次元の計測を行うために、互いに異なる予め定めた位相シフト量で位相シフトした計測光を被検物に照射する構成要素群を2つ備えた構成を示した。より具体的には、図1に示した内視鏡装置1の構成では、パターン投影光源711a、カップリングレンズ712a、光ファイバ713a、縞生成部714a、および投影光学系715aから構成される構成要素群と、パターン投影光源711b、カップリングレンズ712b、光ファイバ713b、縞生成部714b、および投影光学系715bから構成される構成要素群とを備えた構成を示した。つまり、図1に示した内視鏡装置1の構成では、被検物に照射するそれぞれの計測光に1対1に対応した、異なる位相シフトを行う構成要素群(以下、「計測光生成部」という)を備えた構成を示した。
ところで、一般的に、3次元形状復元処理を行うために必要な計測モード画像の数は、3つ以上であればよい。このため、内視鏡装置1には、3次元形状復元処理を行うために使用する計測モード画像の数と同じ数、すなわち、3つ以上の計測光生成部を備えていることが望ましい。なお、内視鏡装置1において3次元形状復元処理を行うために用いる計測モード画像の数は、特に規定しない。従って、内視鏡装置1に備える計測光生成部の数も規定しない。以下の説明においては、内視鏡装置1に、4つの計測光生成部を備え、4つの計測モード画像に基づいて3次元形状復元処理を行う場合の動作について説明する。
まず、照明光源61およびパターン投影光源711が発光する光の制御について説明する。図4は、第1の実施形態の内視鏡システム(内視鏡装置1)における光の照射タイミングの一例を示したタイミングチャートである。なお、図4に示したタイミングチャートは、計測モードにおいて、90°(π/2)ずつ位相シフトしたパターン光(計測光)を被検物に4回照射して4つの計測モード画像を撮影する場合、つまり、内視鏡装置1が4つの計測モード画像から3次元画像を生成する動作を行う場合の一例を示している。
内視鏡装置1が観察モードの動作をしているとき、光源制御部80は、照明光源61のみオン状態に制御することによって、観察光のみを被検物に照射するように制御する。このとき、光源制御部80は、撮像部5が被検物を撮影するのに適した光量に、観察光の光量を調光する。例えば、被検物の像が暗い場合や被検物が遠くにある場合には観察光の光量を多くし、被検物の像が明るい場合や被検物が近くにある場合には観察光の光量を少なくするように調光する。なお、光源制御部80における観察光の調光方法は、光量と露光時間とに基づいた既存の方法を用いることができるため、詳細な説明は省略する。これにより、撮像部5は、観察光が被検物に照射されたそれぞれのタイミングで撮影を行った映像信号を映像処理部86に出力し、映像処理部86が生成した観察モード画像をモニタ87に表示させる。
また、内視鏡装置1が計測モードの動作をしているとき、光源制御部80は、パターン投影光源711を順次オン状態に制御することによって、それぞれの計測光生成部が計測光(計測光L1〜計測光L4)を被検物に順次照射するように制御する。このとき、光源制御部80は、観察光の調光方法と同様に、計測光の光量を調光する。図4に示したタイミングチャートでは、例えば、PWM(Pulse Width Modulation)制御によって、それぞれのパターン投影光源711が発光する時間、すなわち、計測光の照射時間を長くする調光を行っている場合を示している。これにより、撮像部5は、計測光L1〜計測光L4のそれぞれが被検物に照射されたそれぞれのタイミングで撮影を行ったそれぞれの映像信号を映像処理部86に出力し、メイン制御部81が、映像処理部86が生成した計測モード画像に基づいて、3次元の計測を行う。
次に、内視鏡装置1において計測モード画像に基づいて行う3次元計測の処理について説明する。この3次元計測の処理は、既存の技術を利用して被検物の3次元形状を復元する処理(以下、「3次元形状復元処理」という)である。なお、以下の説明においては、4つのパターン投影光源711が予め定めた特定の波長帯域のレーザー光源であり、メイン制御部81が、4つの計測モード画像に基づいて3次元形状復元処理を行う場合について説明する。
内視鏡装置1は、計測モードにおいて、位相を90°(π/2)ずつシフトした計測光を被検物に4回照射し、メイン制御部81が、計測光L1〜計測光L4のそれぞれの計測光の照射において被検物を撮影した4つの計測モード画像に基づいて、3次元形状復元処理を行う。計測モード画像は、予め定めた特定の波長帯域の光を反射した被検物の画像であり、計測光として照射された予め定めた位相の構造化パターン(縦縞のパターン)が含まれている画像である。メイン制御部81は、4つの計測モード画像に対して、例えば、下式(1)のような既存の3次元画像の演算を行って、計測モード画像に含まれるそれぞれの画素の位相φを高速に算出する。
φ(x,y) = tan−1((I3−I1)/(I0−I2)) ・・・(1)
上式(1)において、φ(x,y)は、撮像素子52に2次元の行列状に配置された画素の水平方向(列が並ぶ方向:列方向)x、垂直方向(行が並ぶ方向:行方向)yの座標位置に位置する画素(x,y)の位相を表す。また、上式(1)において、I0は計測光L1の照射によって得た1枚目の計測モード画像に含まれる画素(x,y)の輝度を表す。同様に、上式(1)において、I1は計測光L2の照射によって得た2枚目の計測モード画像に含まれる画素(x,y)の輝度を表し、I2は計測光L3の照射によって得た3枚目の計測モード画像に含まれる画素(x,y)の輝度を表し、I3は計測光L4の照射によって得た4枚目の計測モード画像に含まれる画素(x,y)の輝度を表す。
そして、メイン制御部81は、算出した位相φと相対関係がある高さを、計測モード画像に含まれるそれぞれの画素ごとに求める。これにより、メイン制御部81は、計測モード画像に含まれる全ての画素が、水平方向、垂直方向、および高さの座標で表された画素群のデータ(以下、「3次元点群データ」という)を生成する。
このようにして、メイン制御部81は、計測光L1〜計測光L4のそれぞれの照射によって得た4つの計測モード画像に基づいて3次元形状復元処理を行う。そして、メイン制御部81は、3次元形状復元処理によって生成した3次元点群データに基づいて、3次元の計測の処理を行う。
本第1の実施形態によれば、被検物を3次元で計測するために構造化したパターンの予め定めた波長帯域の計測光(縦縞のパターンのパターン光)を被検物に照射するパターン投影部(パターン投影部71)と、計測光を照射して得た被検物の計測画像(計測モード画像)に基づいて、指定された測定点に応じた被検物に対する3次元の計測を行う3次元計測部(メイン制御部81)と、を備えた内視鏡システム(内視鏡装置1)であって、パターン投影部71は、被検物に照射する複数の計測光の位相を互いに異なる位相にシフトし、位相をシフトした複数の計測光のそれぞれを、この内視鏡装置1の先端部(先端部4)に構造化したパターンの形状に応じて予め定めた方向に近接して並ぶように配置し、それぞれの計測光に対応する出射端から順次出射し、メイン制御部81は、それぞれの計測光の照射によって得たそれぞれの計測モード画像に基づいて、3次元の計測を行う内視鏡システム(内視鏡装置1)が構成される。
また、本第1の実施形態によれば、出射端のそれぞれは、それぞれの計測光の照射によって得る計測モード画像において予め定めた方向(中心線Aの方向)と、それぞれの出射端の中心を結ぶ中心線(中心線C)の方向とが平行で、それぞれの計測光の基線長が同じであるように配置する内視鏡装置1が構成される。
また、本第1の実施形態によれば、パターン投影部71は、計測光の強度が(水平方向の)正弦波状に変化する縞状の構造化パターン(縦縞のパターン)に変換する内視鏡装置1が構成される。
また、本第1の実施形態によれば、パターン投影部71は、予め定めた波長帯域の光を発光する投影光源(パターン投影光源711)と、入射した光を構造化したパターンの光に変換し、かつ予め定めた固定のシフト量だけ位相シフトして出射するパターン変換部(縞生成部714)と、を備え、光の干渉を利用してパターン投影光源711が発光した光を縞状の構造化パターンの光(パターン光)に変換し、かつ互いに異なる予め定めた固定のシフト量だけ位相シフトして、それぞれの計測光とする内視鏡装置1が構成される。
また、本第1の実施形態によれば、縞生成部714は、入射した光を2つの光路に分離し、それぞれの光路に対応する出射端(出射端Out1および出射端Out2)の組から放射する光(レーザー光)の干渉を利用して入射したレーザー光を縞状の構造化パターンに変換し、縞状の構造化パターンに変換したレーザー光の位相を予め定めた固定のシフト量だけ位相シフトして出射する縞生成デバイス(縞生成部714)で構成される内視鏡装置1が構成される。
また、本第1の実施形態によれば、パターン投影部71は、互いに異なるそれぞれの位相に対応する縞生成部714(本第1の実施形態では、縞生成部714aおよび縞生成部714b)を複数備え、それぞれの縞生成部714を、この内視鏡装置1の先端部4に配置する内視鏡装置1が構成される。
また、本第1の実施形態によれば、パターン投影部71は、それぞれの縞生成部714に対応する複数のパターン投影光源711(本第1の実施形態では、パターン投影光源711aおよびパターン投影光源711b)を備える内視鏡装置1が構成される。
また、本第1の実施形態によれば、パターン投影光源711は、可視光の波長帯域の光を発光する光源である内視鏡装置1が構成される。
また、本第1の実施形態によれば、パターン投影光源711は、レーザー光を発光する光源である内視鏡装置1が構成される。
また、本第1の実施形態によれば、パターン投影光源711は、この内視鏡装置1の本体部(本体部2)に配置される内視鏡装置1が構成される。
また、本第1の実施形態によれば、パターン投影部71は、互いに異なる位相の少なくとも3つの計測光を被検物に照射する内視鏡装置1が構成される。
上記に述べたように、内視鏡装置1では、3次元の計測を行うために被検物に照射する計測光に1対1に対応する、異なる位相シフトを行う構成要素群(計測光生成部)を備える。そして、それぞれの計測光生成部は、先端部4に配置された縞生成部714が、対応する光ファイバ713によって導かれた光を変換したパターン光(計測光)に、予め定めた固定の位相差をもたせる。このとき、内視鏡装置1では、ある計測光生成部が計測光にもたせる位相差は、他の計測光生成部とは異なる位相差である。このため、内視鏡装置1では、外部環境の変動や挿入部の屈曲などの外乱の影響によって、それぞれの計測光生成部において縞生成部714に導く光の位相が変動した場合でも、従来の内視鏡装置のように、被検物に照射する計測光における構造化パターンや位相が変動してしまうことがなく、予め定めた固定の位相シフト量の位相シフトを行うことができる。つまり、内視鏡装置1は、先端部4で互いに異なる位相シフトを行ったそれぞれの計測光を生成して被検物に照射するため、先端部4に配置された縞生成部714に導光する光の位相が外乱によって変動しても、その位相の変動の影響を受けない構成である。そして、内視鏡装置1では、それぞれの計測光を順次照射し、それぞれの計測光で撮影したそれぞれの計測モード画像に基づいて、ユーザによって設定された所望の測定点の位置での3次元の計測を行うことができる。このことにより、内視鏡装置1は、外乱に対して高い耐性(ロバスト性)を有し、正確に3次元の計測を行うことができる。
<第2の実施形態>
次に、本発明の第2の実施形態の内視鏡システムについて説明する。図5は、本発明の第2の実施形態による内視鏡システムである工業用の内視鏡装置の概略構成の一例を示した図である。図5に示した内視鏡装置12の構成は、図1に示した第1の実施形態の内視鏡装置1に備えたパターン投影部71が、パターン投影部72に代わった構成である。なお、内視鏡装置12に備えた他の構成要素は、図1に示した第1の実施形態の内視鏡装置1に備えた構成要素と同様である。従って、以下の説明においては、内視鏡装置12の構成要素において、図1に示した第1の実施形態の内視鏡装置1の構成要素と同様の構成要素には同一の符号を付与し、それぞれの構成要素に関する詳細な説明は省略する。
パターン投影部72は、図1に示した第1の実施形態の内視鏡装置1に備えたパターン投影部71と同様に、予め定めた周期で構造化したパターン光に予め定めた位相差をもたせたそれぞれの計測光を被検物に投影する構成のパターン投影部である。ただし、パターン投影部72では、パターン投影光源の構成が、第1の実施形態の内視鏡装置1に備えたパターン投影部71と異なる。より具体的には、第1の実施形態の内視鏡装置1に備えたパターン投影部71では、被検物に照射するそれぞれの計測光に1対1に対応した計測光生成部を備えていた、つまり、パターン投影部71では、3次元形状復元処理を行うために使用する計測モード画像の数と同じ数のパターン投影光源711を備えていた。これに対してパターン投影部72では、1つのパターン投影光源が発光した特定の波長帯域のレーザー光からそれぞれの計測光を生成して被検物に照射する。
パターン投影部72は、本体部2内に配置されたパターン投影光源721、カップリングレンズ722、光スイッチング素子728、およびパターン制御部716と、挿入部3内を通る光ファイバ713aおよび光ファイバ713bと、先端部4内に配置された縞生成部714a、縞生成部714b、投影光学系715a、および投影光学系715bとを含んで構成される。なお、パターン投影部72の構成要素にも、図1に示した第1の実施形態の内視鏡装置1に備えたパターン投影部71の構成要素と同様の構成要素を含んでいる。従って、以下の説明においては、パターン投影部72の構成要素において、図1に示した第1の実施形態の内視鏡装置1に備えたパターン投影部71の構成要素と同様の構成要素には同一の符号を付与し、それぞれの構成要素に関する詳細な説明は省略する。
パターン投影光源721は、第1の実施形態の内視鏡装置1に備えたパターン投影部71に含まれるパターン投影光源711のそれぞれと同様に、予め定めた特定の波長帯域の光源である。カップリングレンズ722は、第1の実施形態の内視鏡装置1に備えたパターン投影部71に含まれるカップリングレンズ712のそれぞれと同様に、パターン投影光源721から発せられた特定の波長帯域のレーザー光を収束させる光学レンズである。ただし、パターン投影部72では、カップリングレンズ712は、収束させたレーザー光を導く光スイッチング素子728の径と同程度まで収束させる。
光スイッチング素子728は、光源制御部80から出力された制御信号に応じて、カップリングレンズ712から導入されたレーザー光を導く光ファイバ713を切り替える。つまり、光スイッチング素子728は、カップリングレンズ712から導入されたレーザー光を導出する光ファイバ713を選択する。そして、光スイッチング素子728は、選択した光ファイバ713に、カップリングレンズ712から導入されたレーザー光を導く。これにより、選択された光ファイバ703は、光スイッチング素子728から導入されたレーザー光を、挿入部3を通して対応する縞生成部714まで導く。つまり、光スイッチング素子728は、光源制御部80から出力された制御信号に応じて、被写体に照射する計測光を生成する縞生成部714を選択する。
なお、光スイッチング素子728としては、例えば、光の干渉を利用したMZ(マッハツェンダ:Mach−Zehnder)干渉計型PLC(プレーナ光波回路:Planar Lightwave Circuit)光スイッチ素子などが考えられる。しかし、光スイッチング素子728は、導入された光の導出先を切り替える構成であれば、いかなる構成のものであってもよい。従って、内視鏡装置12に備えるパターン投影部72に含まれる光スイッチング素子728の構成は、特に規定しない。
パターン投影光源721から発せられたレーザー光が対応する光ファイバ713によって導かれた縞生成部714は、導入されたレーザー光を予め定めた周期で構造化したパターン光に変換し、かつ予め定めた固定の位相シフトを行って、対応する投影光学系715に出射する。これにより、縞生成部714によって生成された計測光は、対応する投影光学系715によって、被検物に照射される。
なお、光源制御部80によるレーザー光を導出する光ファイバ703の切り替え方法、つまり、光スイッチング素子728によって光ファイバ703の選択を制御する方法は、図4に示した第1の実施形態の内視鏡装置1における光の照射タイミングの一例と同様に考えることができる。より具体的には、図4に示した光の照射タイミングの一例において、計測光L1〜計測光L4を被検物に順次照射するようにパターン投影光源711を順次オン状態に制御するタイミングで、レーザー光を導出する光ファイバ703を順次切り替える。これにより、内視鏡装置12でも、第1の実施形態の内視鏡装置1と同様のタイミングで、計測光L1〜計測光L4を被検物に順次照射することができる。従って、光源制御部80によるレーザー光を導出する光ファイバ703の切り替え方法に関する詳細な説明は省略する。
なお、上述したように、3次元形状復元処理を行うために必要な計測モード画像の数は、一般的に3つ以上であればよい。このため、内視鏡装置12には、3次元形状復元処理を行うために使用する計測モード画像の数と同じ数、すなわち、3つ以上の光ファイバ713と、縞生成部714と、投影光学系715とから構成される構成要素群を備えていることが望ましい。なお、内視鏡装置12においても3次元形状復元処理を行うために用いる計測モード画像の数は、特に規定しない。従って、内視鏡装置12に備える構成要素群の数も規定しない。
本第2の実施形態によれば、 パターン投影部(パターン投影部72)は、それぞれのパターン変換部(本第1の実施形態では、縞生成部714aおよび縞生成部714b)に共通する1つの投影光源(パターン投影光源721)を備える内視鏡システム(内視鏡装置12)が構成される。
上記に述べたように、内視鏡装置12では、1つのパターン投影光源721が発光した特定の波長帯域のレーザー光を導出する光ファイバ713を切り替えることによって、3次元の計測を行うために被検物に照射する異なる位相シフトを行ったパターン光(計測光)を、1つのパターン投影光源721が発光したレーザー光から生成する。そして、内視鏡装置12でも、第1の実施形態の内視鏡装置1と同様に、先端部4に配置された縞生成部714が、対応する光ファイバ713によって導かれた光を変換した計測光に、予め定めた固定の位相差をもたせて被検物に照射する。つまり、内視鏡装置12も、第1の実施形態の内視鏡装置1と同様に、選択した縞生成部714に導光する光の位相が外乱の影響によって変動しても、その位相の変動の影響を受けずに異なる位相シフトを行ったそれぞれの計測光を生成して被検物に照射することができる構成である。これにより、内視鏡装置12も、第1の実施形態の内視鏡装置1と同様に、外乱に対して高い耐性(ロバスト性)を有し、ユーザによって設定された所望の測定点の位置での3次元の計測を正確に行うことができる。しかも、内視鏡装置12では、パターン投影部72に含まれる光源が1つのパターン投影光源721のみであるため、第1の実施形態の内視鏡装置1よりも本体部2を小型化することもできる。
<第3の実施形態>
次に、本発明の第3の実施形態の内視鏡システムについて説明する。図6は、本発明の第3の実施形態による内視鏡システムである工業用の内視鏡装置の概略構成の一例を示した図である。図6に示した内視鏡装置13の構成は、図5に示した第2の実施形態の内視鏡装置12に備えたパターン投影部72が、パターン投影部73に代わった構成である。なお、内視鏡装置13に備えた他の構成要素は、図5に示した第2の実施形態の内視鏡装置12に備えた構成要素と同様である。従って、以下の説明においては、内視鏡装置13の構成要素において、図5に示した第2の実施形態の内視鏡装置12の構成要素と同様の構成要素には同一の符号を付与し、それぞれの構成要素に関する詳細な説明は省略する。
パターン投影部73は、図5に示した第2の実施形態の内視鏡装置12に備えたパターン投影部72と同様に、1つのパターン投影光源が発光した特定の波長帯域のレーザー光を予め定めた周期で構造化したパターン光に予め定めた位相差をもたせたそれぞれの計測光を被検物に投影する構成のパターン投影部である。ただし、パターン投影部73では、縞生成部の構成が、第2の実施形態の内視鏡装置12に備えたパターン投影部72と異なる。より具体的には、第2の実施形態の内視鏡装置12に備えたパターン投影部72では、被検物に照射するそれぞれの計測光を、複数の縞生成部714が生成していた、つまり、パターン投影部72では、3次元形状復元処理を行うために使用する計測モード画像の数と同じ数の縞生成部714を備えていた。これに対してパターン投影部73では、1つの縞生成部が、3次元の計測を行うために被検物に照射する互いに異なる位相シフト量のそれぞれの計測光を生成して被検物に照射する。
パターン投影部73は、本体部2内に配置されたパターン投影光源721、カップリングレンズ722、およびパターン制御部716と、挿入部3内を通る光ファイバ733と、先端部4内に配置された縞生成部734および投影光学系735とを含んで構成される。なお、パターン投影部73の構成要素にも、図5に示した第2の実施形態の内視鏡装置12に備えたパターン投影部72の構成要素と同様の構成要素を含んでいる。従って、以下の説明においては、パターン投影部73の構成要素において、図5に示した第2の実施形態の内視鏡装置12に備えたパターン投影部72の構成要素と同様の構成要素には同一の符号を付与し、それぞれの構成要素に関する詳細な説明は省略する。
カップリングレンズ722は、第2の実施形態の内視鏡装置12に備えたパターン投影部72に含まれるカップリングレンズ722と同様の光学レンズである。ただし、パターン投影部73では、パターン投影光源721から発せられた特定の波長帯域のレーザー光を、光ファイバ733の径と同程度まで収束させる。
光ファイバ733は、第2の実施形態の内視鏡装置12に備えたパターン投影部72に含まれる光ファイバ713のそれぞれと同様に、カップリングレンズ722から導入されたレーザー光を、挿入部3を通して縞生成部734まで導く光ファイバである。なお、本発明においては、光ファイバ733の構成や種類も、光ファイバ713aおよび光ファイバ713bと同様に、特に制限はない。
縞生成部734は、第2の実施形態の内視鏡装置12に備えたパターン投影部72に含まれる縞生成部714のそれぞれと同様に、挿入部3内に備えた信号線737を介して伝送された、本体部2内のパターン制御部716から出力された制御信号に応じて、光ファイバ733によって導かれたレーザー光を予め定めた周期で構造化したパターン光に変換し、かつ予め定めた位相シフトを行って投影光学系735に出射する縞生成デバイスである。ただし、縞生成部734は、挿入部3内に備えた信号線739を介して伝送された、本体部2内の光源制御部80から出力された制御信号に応じて、上述したように、3次元の計測を行うために被検物に照射する、予め定めた互いに異なる位相シフト量のそれぞれの計測光を生成して投影光学系735に出射する。つまり、縞生成部734は、第2の実施形態の内視鏡装置12に備えたパターン投影部72に含まれる全ての縞生成部714をまとめたのと同様の構成の縞生成デバイスである。
ここで、縞生成部734の構成について説明する。図7は、第3の実施形態の内視鏡システム(内視鏡装置13)に備えたパターン投影部73に含まれる縞生成部734の概略構成の一例を示した図である。図7に示した縞生成部734は、光スイッチング素子7341および光スイッチング素子7342を含んで構成される。図7には、異なる位相シフトを行った3つの計測光を生成する構成の縞生成部734の構成を示している。
縞生成部734では、光源制御部80から信号線739を介して入力された制御信号に応じて、光の入射端Inに光ファイバ733によって導かれたレーザー光から生成した互いに異なる位相シフト量のそれぞれの計測光を出射する出射端の組を切り替えて出射する。より具体的には、縞生成部734では、第1の出射端の組OutA(以下、「第1の出射端組OutA」という)、第2の出射端の組OutB(以下、「第2の出射端組OutB」という)、および第3の出射端の組OutC(以下、「第3の出射端組OutC」という)のいずれか1つの出射端の組から、生成したそれぞれの計測光を順次出射する。
光スイッチング素子7341および光スイッチング素子7342のそれぞれは、第2の実施形態の内視鏡装置12に備えたパターン投影部72に含まれる光スイッチング素子728と同様に、導入された光の導出先を切り替える光スイッチング素子である。なお、図7においては、光スイッチング素子7341および光スイッチング素子7342のそれぞれが、MZ干渉計型PLC光スイッチ素子である場合を示している。しかし、光スイッチング素子7341および光スイッチング素子7342のそれぞれの構成は、第2の実施形態の内視鏡装置12に備えたパターン投影部72に含まれる光スイッチング素子728と同様に、特に規定しない。
縞生成部734では、光スイッチング素子7341と光スイッチング素子7342とによって、生成した計測光を出射する出射端の組を切り替える。より具体的には、光スイッチング素子7341が、光源制御部80から出力された制御信号に応じて、入射端Inに導入されたレーザー光の導出先を、光スイッチング素子7342および第3の出射端組OutC側の光路のいずれか一方に切り替える。また、光スイッチング素子7341が、光源制御部80から出力された制御信号に応じて、光スイッチング素子7341から導入されたレーザー光の導出先を、第1の出射端組OutA側の光路および第2の出射端組OutB側の光路のいずれか一方に切り替える。
そして、第1の出射端組OutA〜第3の出射端組OutC側のそれぞれの光路では、図2に示した縞生成部714と同様に、光スイッチング素子7341または光スイッチング素子7342から導入されたレーザー光を2つの光路に分離し、2つの出射端のそれぞれに導いて放射させる。ここで、縞生成部734では、第1の出射端組OutA〜第3の出射端組OutCのそれぞれを構成する2つの出射端は、それぞれ同じ分離幅dだけ離れて配置されている。従って、第1の出射端組OutA〜第3の出射端組OutCのそれぞれを構成する2つの出射端のそれぞれから放射されたレーザー光が互いに干渉することによって形成される縞状のパターンの周期は、いずれも同じ周期である。
ただし、縞生成部734は、上述したように、予め定めた互いに異なる位相シフト量のそれぞれの計測光を生成して投影光学系735に出射する。従って、縞生成部734でも、第2の実施形態の内視鏡装置12に備えたパターン投影部72に含まれるそれぞれの縞生成部714と同様に、第1の出射端組OutA〜第3の出射端組OutCのそれぞれで、互いに異なる予め定めた固定の位相差をもたせた(位相シフトした)それぞれの計測光を生成する。なお、縞生成部734において、互いに異なる予め定めた固定の位相差をもたせる(位相シフトする)方法は、第2の実施形態の内視鏡装置12に備えたパターン投影部72に含まれるそれぞれの縞生成部714と同様である。従って、縞生成部734において異なる位相シフトを行う方法に関する詳細な説明は省略する。
このような構成によって、縞生成部734では、図2に示した縞生成部714と同様に、第1の出射端組OutA〜第3の出射端組OutCのそれぞれを構成する2つの出射端から、光ファイバ733によって導かれたレーザー光を予め定めた周期の縞状のパターンに変換し、かつ予め定めた固定の位相シフトを行った縞状のパターンの計測光を、投影光学系735に出射する。
なお、図7に示した縞生成部734の構成では、第1の出射端組OutA〜第3の出射端組OutCのそれぞれから、異なる位相シフトが行われた同じ周期の縞状のパターンの計測光をそれぞれ出射する構成、つまり、内視鏡装置13が、3次元形状復元処理を行うために用いる3つの計測モード画像を取得することができる縞生成部734の構成を示した。しかし、縞生成部734が出射する異なる位相シフトを行った計測光の数は、図7に示した縞生成部734の構成において出射する計測光の数(3つ)に限定されるものではない。すなわち、縞生成部734を、内視鏡装置13が3次元形状復元処理を行うために使用する計測モード画像の数と同じ数、つまり、3つ以上の計測光を出射する構成にしてもよい。なお、内視鏡装置13においても3次元形状復元処理を行うために用いる計測モード画像の数は、特に規定しない。従って、縞生成部734に備える出射端の組の数も規定しない。
投影光学系735は、第2の実施形態の内視鏡装置12に備えたパターン投影部72に含まれる投影光学系715のそれぞれと同様の、先端部4の端面40に設けられた投影窓47に正対する光学レンズ群である。これにより、投影光学系735によって、縞生成部734が生成した異なる位相シフトが行われたそれぞれの計測光が、被検物に照射される。なお、内視鏡装置13の先端部4における投影光学系735の配置は、図3に示した第1の実施形態の内視鏡装置1における投影光学系715の先端部4における配置と同様である。従って、投影光学系735の先端部4における配置に関する詳細な説明は省略する。
なお、光源制御部80による縞生成部734が生成した異なる位相シフトが行われたそれぞれの計測光を出射する出射端の組の切り替え方法、つまり、光スイッチング素子7341と光スイッチング素子7342とによってレーザー光の導出先の切り替えを制御する方法は、図4に示した第1の実施形態の内視鏡装置1における光の照射タイミングの一例と同様に考えることができる。より具体的には、図4に示した光の照射タイミングの一例において、計測光L1〜計測光L4を被検物に順次照射するようにパターン投影光源711を順次オン状態に制御するタイミングで、レーザー光の導出先を順次切り替える。これにより、内視鏡装置13でも、第1の実施形態の内視鏡装置1および第2の実施形態の内視鏡装置12と同様のタイミングで、計測光L1〜計測光L4を被検物に順次照射することができる。従って、光源制御部80による縞生成部734の出射端の組の切り替え方法に関する詳細な説明は省略する。
本第3の実施形態によれば、パターン変換部(縞生成部734)は、入射した光を2つの光路に分離し、それぞれの光路に対応する出射端の組(第1の出射端組OutA〜第3の出射端組OutC)から放射する光(レーザー光)の干渉を利用して入射したレーザー光を縞状の構造化パターンに変換し、縞状の構造化パターンに変換したレーザー光の位相を互いに異なる予め定めた固定のシフト量だけそれぞれ位相シフトして出射する縞生成デバイス(縞生成部734)で構成される内視鏡システム(内視鏡装置13)が構成される。
また、本第3の実施形態によれば、パターン投影部(パターン投影部73)は、少なくとも1つの縞生成部734を備え、縞生成部734をこの内視鏡装置13の先端部(先端部4)に配置する内視鏡装置13が構成される。
また、本第3の実施形態によれば、パターン投影部73は、縞生成部734に対応する少なくとも1つの投影光源(パターン投影光源721)を備える内視鏡装置13が構成される。
上記に述べたように、内視鏡装置13では、1つの縞生成部734によって、3次元の計測を行うために被検物に照射する異なる位相シフトを行ったパターン光(計測光)を生成し、生成したそれぞれの計測光を切り替えて被検物に照射する。このとき、内視鏡装置13でも、第1の実施形態の内視鏡装置1および第2の実施形態の内視鏡装置12と同様に、先端部4に配置された縞生成部734が、光ファイバ733によって導かれた光を変換した計測光に、予め定めた固定の位相差をもたせて被検物に照射する。つまり、内視鏡装置13も、第1の実施形態の内視鏡装置1および第2の実施形態の内視鏡装置12と同様に、縞生成部734に導光する光の位相が外乱の影響によって変動しても、その位相の変動の影響を受けずに異なる位相シフトを行ったそれぞれの計測光を生成して被検物に照射することができる構成である。これにより、内視鏡装置13も、第1の実施形態の内視鏡装置1および第2の実施形態の内視鏡装置12と同様に、外乱に対して高い耐性(ロバスト性)を有し、ユーザによって設定された所望の測定点の位置での3次元の計測を正確に行うことができる。しかも、内視鏡装置13でも、パターン投影部73に含まれる光源が1つのパターン投影光源721のみであるため、第2の実施形態の内視鏡装置12と同様に、本体部2を小型化することもできる。また、内視鏡装置13では、第2の実施形態の内視鏡装置12に備えたパターン投影部72に含まれていた光スイッチング素子728が、パターン投影部73に含まれていないため、第2の実施形態の内視鏡装置12よりもさらに、本体部2を小型化することができる。また、内視鏡装置13では、パターン投影部73に含まれる1つの縞生成部が、異なる位相シフトが行われたそれぞれの計測光を生成する構成であるため、第1の実施形態の内視鏡装置1や第2の実施形態の内視鏡装置12よりも先端部4を小型化することができる。
なお、内視鏡装置13では、光源制御部80が、縞生成部734が生成した異なる位相シフトが行われたそれぞれの計測光を出射する出射端の組の切り替える構成を示した。しかし、内視鏡装置13では、第2の実施形態の内視鏡装置12のように、1つのパターン投影光源721が発光したレーザー光を導光する光ファイバ713を、本体部2に備えた光スイッチング素子728によって切り替えて、対応する縞生成部714が生成した計測光を被検物に照射する構成ではなく、先端部4に備えた縞生成部734によって、生成したそれぞれの計測光を切り替えて被検物に照射する構成である。このため、内視鏡装置13では、縞生成部734が生成したそれぞれの計測光を出射する出射端の組の切り替えの制御を、光源制御部80の代わりにパターン制御部716が行う構成にしてもよい。
なお、内視鏡装置13では、先端部4に1つの縞生成部734を備える構成を示した。しかし、例えば、被検物に照射する計測光の数を増やす場合には、縞生成部734と同様の構成で互いに異なる位相シフトを行う複数の縞生成部を先端部4に配置することによって、多くの計測光を被検物に照射する構成にしてもよい。つまり、第1の実施形態の内視鏡装置1に備えたパターン投影部71または第2の実施形態の内視鏡装置12に備えたパターン投影部72に含まれる縞生成部714の代わりに縞生成部734を配置した構成にすることによって、被検物に照射する計測光の数が多い場合に対応した内視鏡装置13を構成してもよい。
上記に述べたように、本発明を実施するための形態によれば、内視鏡システムに備えたパターン投影部が、予め定めた周期で構造化したパターン光に、互いに異なる予め定めた固定の位相差(位相シフト量)をもたせて、被検物に複数回投影する。このとき、本発明を実施するための形態では、内視鏡システムにおいて先端部に配置されるパターン投影部に含まれる縞生成部が、互いに異なる予め定めた固定の位相シフト量の位相シフトを行う。このため、本発明を実施するための形態では、内視鏡システムの外部環境の変動や挿入部の屈曲などの外乱の影響によって、縞生成部に導く光の位相が変動した場合でも、この位相の変動の影響を受けることなく、予め定めた固定の位相シフト量で位相シフトを行うことができる。つまり、本発明を実施するための形態では、外乱に対して高い耐性(ロバスト性)を確保することができる。このことにより、本発明を実施するための形態では、それぞれの位相の計測光を順次被検物に照射して撮影したそれぞれの計測モード画像に基づいて、例えば、ユーザによって設定された所望の測定点の位置での3次元の計測を行い、正確な3次元の計測結果を得ることができる。
なお、本実施形態においては、内視鏡装置に備えた縞生成部の構成が、入射端に入射した光を2つの光路に分離し、それぞれの光路に対応する2つの出射端から放射させることによって、それぞれの出射端から放射した互いの光の干渉で1つの縞状のパターンに構造化する、いわゆる、導波路を用いた構成である場合について説明した。しかし、出射する光の互いの干渉によって構造化したパターンに変換する縞生成部の構成は、本発明を実施するための形態で示した導波路を用いた構成に限定されるものではなく、種々の構成が存在する。例えば、フレネル鏡を用いた構成や、ロイド鏡を用いた構成など、他の構成であっても同様に、出射する光の互いの干渉によって構造化したパターンに変換することができる。このため、本発明の考え方は、構造化したパターンに変換する構成が、上述した一例のような構成であっても同様に適用することができ、本発明と同様の効果を得ることができる。
また、本実施形態においては、内視鏡装置に備えたパターン投影部を構成するパターン投影光源が、予め定めた特定の波長帯域のレーザー光源である、つまり、パターン光(計測光)がレーザー光である場合について説明した。しかし、光源の種類やパターン光の色(波長帯域)は、本発明を実施するための形態で示したものに限定されるものではなく、上述したように、予め定めた色(波長帯域)のLEDや赤外光であってもよい。
また、本実施形態においては、それぞれの位相の計測光を順次被検物に照射して撮影したそれぞれの計測モード画像に基づいて3次元の計測を行うための3次元点群データを生成する場合について説明した。しかし、3次元の計測を行うためのデータを生成する方法は、本発明を実施するための形態で示したパターン光を位相シフトする方法に限定されるものではなく、何らかの構造化したパターンの光を被写体に照射することによって3次元の計測を行うためのデータを生成する方法であれば同様に、本発明の考え方を適用することができる。
また、本実施形態においては、パターン光における構造化のパターンが、光の強度が水平方向の正弦波状に変化する縦縞のパターンである場合について説明した。しかし、パターン光における構造化のパターンは、本発明を実施するための形態で示した構造化のパターンに限定されるものではない。例えば、パターン光の構造化のパターンが、光の強度が垂直方向の正弦波状に変化する横縞のパターンである場合や、光の強度が水平方向および垂直方向のそれぞれに正弦波状に変化する格子状のパターンである場合であっても同様に、本発明の考え方を適用することができる。
また、本実施形態においては、メイン制御部81が、それぞれの計測モード画像に基づいて3次元の計測を行う処理を実行する場合について説明した。しかし、3次元の計測の処理を実行する構成要素は、本発明を実施するための形態で示した構成要素に限定されるものではない。例えば、映像処理部86や、3次元の計測を行うために専用に備えた不図示の構成要素が、メイン制御部81からの制御に応じて、3次元の計測の処理を実行する構成であってもよい。この場合、3次元の計測の処理を実行するために用いるデータを一時的に格納する記憶部は、本発明を実施するための形態で示したRAM83ではなく、映像処理部86や不図示の構成要素に内蔵または接続された他の記憶部であってもよい。
また、本実施形態においては、本発明の内視鏡システム(内視鏡装置)が、工業用の内視鏡装置である場合について説明した。しかし、本発明の考え方は、工業用の内視鏡装置への適用に限定されるものではなく、例えば、医療用の内視鏡装置にも適用することもできる。
また、本実施形態においては、本体部2内に操作部82とモニタ87とを備えた構成について説明した。しかし、操作部82やモニタ87は、本体部2内に備える構成に限定されるものではなく、例えば、本体部2の外部に配置され、本体部2と接続される構成であってもよい。
以上、本発明の実施形態について、図面を参照して説明してきたが、具体的な構成はこの実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲においての種々の変更も含まれる。