JP6210483B2

JP6210483B2 - 立体内視鏡画像からの３次元形状取得装置

Info

Publication number: JP6210483B2
Application number: JP2013093880A
Authority: JP
Inventors: 克章三島
Original assignee: NATIONAL UNIVERSITY CORPORATION YAMAGUCHI UNIVERSITY
Current assignee: NATIONAL UNIVERSITY CORPORATION YAMAGUCHI UNIVERSITY
Priority date: 2012-04-26
Filing date: 2013-04-26
Publication date: 2017-10-11
Anticipated expiration: 2033-04-26
Also published as: JP2013240590A

Description

本発明は、立体内視鏡画像からの３次元画像取得装置に関し、特に鼻咽腔等の医療検査に有効に適用されるパターン照射併用による立体内視鏡画像からの３次元画像取得装置に関する。

口蓋裂患者は乳児期に行う手術の後のリハビリテーションの過程で、鼻咽腔閉鎖機能を獲得することにより正常な言語を習得していくが、この鼻咽腔閉鎖機能の獲得状況によって言語治療のアプローチが大きく異なるため、言語治療を効果的に行う上では、正確に鼻咽腔閉鎖機能を評価することが重要になる。臨床では、鼻咽腔の閉鎖状態を判断するために内視鏡を用いて鼻咽腔の動きを観察するのであるが、定性的評価にとどまるものであり、この評価手法では客観性を欠き、詳細な分析ができないという問題がある。

鼻咽腔の動きを解析するためにＣＴやＭＲによる画像を用いることも考えられ、高速撮影可能なＣＴ、ＭＲの開発が進められているが、鼻咽腔の場合には歯の金属や矯正装置の金属によるアーチファクトのために鼻咽腔領域の画像が的確に得られないことが多い。そのため、現状では実際上内視鏡を用いるアプローチに限られる。

従来技術における立体内視鏡に関して、特許文献１〜３に示されるようなものがあり、特許文献１に示される内視鏡は、内視鏡の先端構成部に左右像を結像する撮像手段を有し、映像切替手段により左右画像を切替えて表示し立体画像を得るものであり、特許文献２に示される内視鏡は、内視鏡の先端部に配置される左右像の撮像ユニットについて、一方側の撮像ユニットの撮像素子及び基板を他方側の撮像素子及び基板に対して上下方向の反対側に向けて配置する構成として、両ユニットにおける対物レンズの間隔を最適間隔となるように調整可能にするものである。また、特許文献３に示される内視鏡は、２つの視点から被写体を撮像して得られた画像について画像変換を行い、光学系の特性を示す光学データと画像データに基づいて被写体の空間特性を計測するようにしたものである。

特許文献１においては、外径が制限される内視鏡において立体視のための撮像素子の配置の好適化がなされ、特許文献２においては、左右像の撮像ユニットの対物レンズ間隔を最適間隔に調整できるようにされ、また、特許文献３においては、三角測量によるステレオ計測を行うために必要な光学系の空間特性についての光学データの計測を必要とせずに被写体の空間特性を計測することができるようにするものであるが、被写体が凹凸のある奥行きを有する形状であり、また動きのある場合に、被写体を的確に、精度よく観察する上では特に有効に対応できなるものではない。

特許文献４に示される内視鏡は、複数の計測点を有するパターン像を観察対象に投影し、これを異なる位置から複数撮影手段により撮影して得られた画像に基づいて各計測点の位置座標を演算して観察対象の立体形状を計測するものである。この内視鏡では、観察対象の立体形状を高速、高精度に計測できるが、観察対象が凹凸を有する場合にその奥行きの範囲内でパターンが鮮明に結像することが保証されないことから、立体形状の計測も精度よくなされるとは限らないものになる。

特開平７−１６３５１７号公報特開１１−５６７５７号公報特開２００８−２９４９７号公報特開２００５−２８７９００号公報

被検査体を立体内視鏡で観察し３次元形状を取得する際に、被検査体として例えば鼻咽腔の閉鎖状況を把握する場合において、被検査体面には模様のような濃淡の変化が少ないことにより指標となるような特徴点がないために、鮮明な画像ないし判別し易い画像が得られないものであった。それに対処する手法として、画像における被検査体の３次元形状取得のためにパターン像を投影し、投影パターンを合わせた被検査体について３次元形状を取得することが行われる。
ところが、鼻咽腔のように被検査体が凹凸形状をなし、加えて大きな動きをとる場合に、被検査体の観察対象範囲内で投影パターンが全体としては鮮明にならず、被検査体の観察、３次元形状の取得が精度よくなされなかった。そのようなことから、凹凸があり、動きの大きな被検査体に対しパターン像を投影して立体内視鏡により画像を生成し、精度よく３次元形状を取得することが求められていた。

本発明は、前述した課題を解決すべくなしたものであり、本発明による立体内視鏡画像からの３次元形状取得装置は、先端側に１対の撮影レンズ及び撮像素子を配設したカメラと取得された画像信号を伝送する配線とを有する画像取得部と、先端側に投影レンズを有しその背後に光伝送用イメージファイバを有するパターン投影部とを備え被検査体に向けて挿入されるように細長形状に形成された挿入部と、前記挿入部の先端から離れた位置の後端側に連接された投影パターン収容部と、前記挿入部及び投影パターン収容部と配線を介して連結された制御処理部と、からなる立体内視鏡画像からの３次元形状取得装置であって、前記投影パターン収容部は投影パターン及び該投影パターンをその後方の位置において照明する投影用の光源を備えており、該光源により照射された投影パターンからの像光を前記挿入部における光伝送用ファイバを介して先端側に伝送し、伝送された像光を先端側の前記投影レンズにより被検査体の位置に投影して投影パターンの像を形成するものであり、前記制御処理部は投影パターン像が投影された被検査体を１対の撮像素子を有するカメラで撮影して得られた画像についてステレオマッチング処理を行い被検査体の３次元形状を取得するものであり、前記投影レンズは１５ｍｍ以上の結像深度を有するＦ値及び焦点距離のものであって、投影パターン像が投影される被検査体面において少なくとも２０ｍｍ以上の大きさのパターン像を投影するものである。

前記投影パターン収容部において投影パターンを交換可能に収容配置可能にしてもよく、また、前記投影パターン像が投影された被検査体を１対の撮像素子を有するカメラで撮影して得られた画像について、前記制御処理部において被写体に向いた１対の撮像素子の視線軸による画像を仮想的な平行な視線軸による画像に変換するレクティファイ処理を行った後にステレオマッチング処理を行い被検査体の３次元形状を取得するようにしてもよい。

本発明では、投影パターン像を投影した被検査体を１対のカメラで撮影し得られた画像から３次元形状を取得するに際し、立体内視鏡の挿入部の先端から離れた後方の位置において投影パターンを配置し、イメージファイバにより投影パターン像を伝送し投影レンズにより被検査体の位置に投影パターンの像を投影し、投影レンズの結像深度を大きくすることにより、凹凸や動きのある被検査体においても鮮明な投影パターンを結像することができる。投影パターンを挿入部の先端から離れた位置に配置することにより、投影パターンの寸法を大きくし、投影用光源として胃内視鏡用などの輝度の高いものを使用することにより、被検査体の位置の広い範囲に明るい投影パターン像を生成することができる。それにより、鼻咽腔のような凹凸や動きのある被検査体についての３次元形状の取得を精度よく行うことが可能になる。

本発明によるパターン照射併用による立体内視鏡画像からの３次元形状取得装置を概略的に示す図である。内視鏡先端部を示す斜視図である。パターン投影部の構成を断面図として示す図である。画像取得部により画像を取得する状況を示す図である。（ａ）投影パターンの一例を示す図であり、（ｂ）他の投影パターンの例を示す図である。画像における視差を用いた奥行きの求め方を説明する図である。左右の画像から３次元形状を求める演算処理のフローを示す図である。

本発明によるパターン照射併用による立体内視鏡画像からの３次元形状取得装置の具体的な形態について以下説明する。
図１は立体内視鏡画像からの３次元形状取得装置の全体的構成を示しており、内視鏡の挿入部１は画像取得部１０とパターン投影部２０とを一体化して有する。画像取得部１０は挿入部先端側に撮影レンズを介して被検査体の画像を撮像する撮像素子が配設され、撮像素子への動作信号、撮像された画像信号を伝送する配線が画像取得部１０とこれに連接された連結部３０内を通り制御処理部４０に接続されている。

パターン投影部２０は画像取得部１０と先端が同じ位置になるようにして一体的に配設されており、２０Ａは投影パターン収容部であり、パターン投影部を動作させる電力を供給する配線が連結部３０内を通って制御処理部に接続されるように設けられている。なお、内視鏡が視向角を有する場合、パターン投影部２０の先端は、内視鏡の視野全体にパターン像が投影されるように、視向角に応じて、画像取得部１０の先端より適宜後退させてもよい。このとき、画像取得部１０の先端（即ち、後述の撮影レンズ１１Ｌ．１１Ｒ）は、画像取得部１０にパターン投影部２０が連設されている側と同じ方向又はそれとは逆の方向に、内視鏡がその視向角を有することができるように設置される。例えば、図２であれば、画像取得部１０の下側にパターン投影部２０が適宜後退して連設され、画像取得部１０の先端（撮影レンズ１１Ｌ．１１Ｒ）は、画像取得部１０の下方向（パターン投影部２０の連設側と同方向）又は上方向（パターン投影部２０の連設側とは逆方向）に、内視鏡がその視向角を有することができるように設置される。

図２は画像取得部１０、パターン投影部２０を先端側から見た様子を示しており、画像取得部１０の先端には左右１対の撮像素子に結像する撮影レンズ１１Ｌ，１１Ｒが取り付けられ、その背後の結像位置に撮像素子が配設されている。パターン投影部２０の先端側には投影レンズ２１が取り付けられており、その背後には光伝送用イメージファイバが設けられている。

図３はパターン投影部２０のみの構成を断面図で示している。被検査体の３次元形状を精度よく再現するには、もとになる左右の画像が極力鮮明なものとして取得されることが重要である。被検査体が鼻咽腔等の場合に、動きがあるとともに、凹凸が大きい形状になっており、鼻咽腔の粘膜表面の性状は画像上での特徴が乏しいため、正確な３次元形状取得が難しい。そのため、被検査体上にパターン像を投影し、パターン像が形成された被検査体を撮像して得られた画像をもとに３次元形状を取得するアクティブステレオ法を用いる。

図３において、パターン投影部２０の後部に連接して設けられた投影パターン収容部２０Ａ内に光源Ｌ、透過型の投影パターンＰ、結像レンズ２２が配設されており、パターン投影部２０の筒状部内で結像レンズ２２と先端側の投影レンズ２１との間にイメージファイバ２３が配置されている。被検査体の検査の際には、投影パターンＰは背後から集光レンズ２４を介して光源Ｌにより照射され、結像レンズ２２によりイメージファイバ２３の入射端に結像し、イメージファイバ２３の出射端から先端側の投影レンズ２１を介して投影パターンＰの像が被検査対象部に投影される。光源Ｌは配線２５を介して電力を供給される。

投影パターンは被検査体Ｓの面上の略正方形の一辺がａの大きさの範囲の像として投影され、この範囲ではパターン像が投影されて明るくなり、観察、撮影がなされるようになる。また、被検査体は内視鏡の光軸方向に最大ｄの凹凸を有するものとし、このような凹凸の高低の範囲において被検査体の面上に鮮明なパターン像を投影する。

投影パターン像が投影された被検査体について、撮影レンズを介して内視鏡先端側の１対の撮像素子により被検査体の画像を取得し、画像信号は画像取得部内から連結部を通して設けられた伝送線を介して制御処理部４０における画像信号処理部に伝送される。画像信号処理部においては、取得された左右の画像をもとに画像解析処理を行い、被検査体の３次元形状データを生成する。

図４は投影パターン像が投影された被検査体Ｓを画像取得部１０により撮影する状況を示しており、画像取得部１０の先端側の１対の撮影レンズ１１Ｌ，１１Ｒによりそれぞれの撮像素子１２Ｌ，１２Ｒ上に視差のある画像が形成される。１３Ｌ，１３Ｒは画像信号を伝送する配線である。

投影パターンはその被検査体面上に形成された画像をもとに３次元形状の取得に用いるものであり、基本的には図５（ａ）に示すような格子状の規則的、周期的な形状とし、あるいは、同形の点形状を格子状に配置した図５（ｂ）のようなものとし、透過型投影パターンとして作製する。被検査体面上に鮮明な画像が投影されるために、投影パターンはある程度の大きさをもつように作製するのがよく、また被検査体の種類に応じて投影パターンを交換して用いられるようにするのがよい。

鼻咽腔のような凹凸や動きがある表面形状の被検査体上の検査範囲にわたって鮮明な投影パターンの画像を形成するには投影光学系の結像深度を深くすることが重要になる。また、内視鏡先端部側は被検査体側への挿入部であり、寸法が限られるものでもあることから、図３のパターン投影部の構成において、先端側の投影レンズ２１は径の小さいものを用い、Ｆ値が小さく、投影像の結像深度が深くなるようにする。被検査体を鼻咽腔とした場合、凹凸の程度は１０ｍｍ以上、あるいは２０ｍｍ程度に及ぶものであり、また、この動きは内視鏡と平行に３０ｍｍ程度に及ぶものであり、このような凹凸のある動きの大きな被検査体に対して投影パターン像が鮮明になるようにする必要がある。

イメージファイバ２３の径は２ｍｍ程度であり、パターン投影部２０の先端部における投影レンズ２１の径も同程度である。投影レンズ２１の有効径としては１．５ｍｍ程度にし、Ｆ値（焦点距離／有効径）を５．６程度の値にすることにより、イメージファイバ２３の出射端面におけるパターン像を投影レンズ２１で１０倍程度に拡大し、かつ結像深度が１５ｍｍ以上、好ましくは２０ｍｍ以上、更に好ましくは２０以上から３０ｍｍ程度の範囲になるようにする形で投影することができる。被検査体画像の観察、３次元形状の取得を的確に行う上では、このような投影光学系により凹凸のある被検査体面上において、２０ｍｍ以上、好ましくは３０ｍｍ以上の大きさ範囲にわたり鮮明な投影パターンの像が形成されるようにするのがよい。

先端側の投影レンズの有効径を小さく、Ｆ値を大きくすることから、投影光量が少なくなるので、その分投影パターンを大きくし、投影光源の輝度を高いものにすることが、投影像の鮮明化とともに、投影光量の面からも必要になる。そのため、例えば内視鏡の先端から１５ｍｍの位置に被検査体がある場合に、２０ｍｍ程度の寸法の範囲に明るい投影パターン像を形成し得るように、光源の発光輝度が十分に高いものを備えるようにすることが必要である。

〔被検査体画像の撮影、３次元形状の取得〕
本発明によるパターン像投影手段を有する立体内視鏡を用いたパターン像を投影した被検査体を撮影し、３次元形状を取得する過程について説明する。
立体内視鏡は画像取得部１０の先端における１対のレンズ１１Ｌ，１１Ｒにより結像した像を撮影する撮像素子を備えており、立体内視鏡の先端を被検査体に対向する位置に設定し、パターン投影部２０によりパターンが投影された状態の被検査体を撮影して左右の画像を生成する。

撮影された左右１対の被検査体の画像について、ステレオマッチング・アルゴリズムを用いて３次元形状の取得を行う。ステレオマッチングにおいては、処理時間を短縮するために３次元復元の前処理としてレクティファイの処理を行う。レクティテァイ処理は、被写体に向いた１対の撮像素子の視線軸による画像を仮想的な平行な視線軸による画像に変換する処理である。レクティファイ処理を行うことで、ステレオマッチングとしては２つの画像の同一水平操作線上の探索問題に単純化され、演算時間が短縮される。

レクティファイ処理により補正された平行ステレオ視の画像からステレオ視による視差を求める。これにはいくつかの手法があるが、ここではバーチフィールドの方法を用いる。バーチフィールドの方法では、次の２つの段階の処理を行う。
（１）左右の画像について一致するスキャンラインのペアを対象にマッチング処理を行う。このとき隣接するスキャンラインの影響は受けない。
（２）各スキャンラインで行われたマッチング処理により得られた視差の分布について、視差の信頼度の高い区域から信頼度の低い区域に情報を伝播することで画面全体の視差を整理する。

これにより、左右の撮像素子の画像から視差が求められ、これを距離に変換し、奥行きを求める。図６は視差と奥行きの関係を示している。図６において、被検査体上の１点を注視点とし、ＶＰ−Ｌ，ＶＰ−Ｒがそれぞれ結像面におけるカメラの左右の撮像素子の中心位置（視点）であるとする。カメラの撮影レンズの主面を射影面とし、左右の撮像素子の中心間の距離をｄｃ、視点から射影面までの距離をｆｌ、実際の奥行きをｌとする。視差は、両視点間の距離と射影面における視点から注視点へ向かう視線間距離との差として、射影面上のｄｓで表される。
と、視差から実際の奥行きは次の式で求められる。
ｌ＝ｄｃ／ｄｓ×ｆｌ

左右画像のマッチング処理により視差、奥行きを求め、被検査体についての３次元座標を求めて３Ｄモデルを生成することができる。３Ｄモデル生成のフローを示すと図７のようになる。左右の撮像素子で得られた画像について画像の歪み補正を行った後、左右の画像それぞれについてレクティファイ処理により平行化を行う。平行化した左右の画像のマッチング処理により奥行き座標を計算し、さらに３次元座標値から３Ｄモデルを生成する。

本発明による立体内視鏡画像からの３次元形状取得においては、鼻咽腔のような凹凸があり、動きの大きな被検査体に対し、投影パターン像を投影して、左右の撮像素子により撮影して得られた画像についてステレオマッチング処理を行って３次元形状を取得する。鼻咽腔のような被検査体の場合、凹凸があり、動きが大きいことが特徴であり、この動きは内視鏡挿入方向と同じ方向、すなわち、内視鏡先端に「近づく・遠ざかる」の前後方向の動きが少なくとも２０ｍｍというように大きいものである。本発明においては、投影パターンの投影光学系の結像深度を１５ｍｍ以上になるようにしており、それにより鼻咽腔のような凹凸や動きがあり、動きの大きな被検査体に対し、内視鏡先端の前後方向に３０ｍｍ程度になる運動する被検査体について鮮明なパターン像を投影して、ステレオマッチング処理により３次元形状を正確に取得することができる。

１挿入部
１０画像取得部
１１Ｌ，１１Ｒ撮影レンズ
１２Ｌ，１２Ｒ撮像素子
１３Ｌ，１３Ｒ配線
２０パターン投影部
２０Ａ投影パターン収容部
２１投影レンズ
２２結像レンズ
２３イメージファイバ
２４集光レンズ
２５配線
３０連結部
４０制御処理部
Ｌ光源
Ｐ投影パターン
Ｓ被検査体

Claims

先端側に１対の撮影レンズ及び撮像素子を配設したカメラと取得された画像信号を伝送する配線とを有する画像取得部と、先端側に投影レンズを有しその背後に光伝送用イメージファイバを有するパターン投影部とを備え被検査体に向けて挿入されるように細長形状に形成された挿入部と、
前記挿入部の先端から離れた位置の後端側に連接された投影パターン収容部と、
前記挿入部及び投影パターン収容部と配線を介して連結された制御処理部と、
からなる立体内視鏡画像からの３次元形状取得装置であって、前記投影パターン収容部は投影パターン及び該投影パターンをその後方の位置において照明する投影用の光源を備えており、該光源により照射された投影パターンからの像光を前記挿入部における光伝送用ファイバを介して先端側に伝送し、伝送された像光を先端側の前記投影レンズにより被検査体の位置に投影して投影パターンの像を形成するものであり、前記制御処理部は投影パターン像が投影された被検査体を１対の撮像素子を有するカメラで撮影して得られた画像についてステレオマッチング処理を行い被検査体の３次元形状を取得するものであり、前記投影レンズは１５ｍｍ以上の結像深度を有するＦ値及び焦点距離のものであって、投影パターン像が投影される被検査体面において少なくとも２０ｍｍ以上の大きさのパターン像を投影するものであることを特徴とする立体内視鏡画像からの３次元形状取得装置。
前記投影パターン収容部において投影パターンを交換可能に収容配置可能にしたことを特徴とする請求項１に記載の立体内視鏡画像からの３次元形状取得装置。
前記投影パターン像が投影された被検査体を１対の撮像素子を有するカメラで撮影して得られた画像について、前記制御処理部において被写体に向いた１対の撮像素子の視線軸による画像を仮想的な平行な視線軸による画像に変換するレクティファイ処理を行った後にステレオマッチング処理を行い被検査体の３次元形状を取得するようにしたことを特徴とする請求項１ないし２のいずれかに記載の立体内視鏡画像からの３次元形状取得装置。