JP6825625B2 - 画像処理装置および画像処理装置の作動方法、並びに医療用撮像システム - Google Patents

Description

本開示は、画像処理装置および画像処理装置の作動方法、並びに医療用撮像システムに関し、特に、内視鏡装置等における画像を術者に視聴し易い画像にできるようにした画像処理装置および画像処理装置の作動方法、並びに医療用撮像システムに関する。

内視鏡装置により撮像された内視鏡画像を視聴しながら実施される内視鏡手術が一般に普及している。

内視鏡装置により撮像される画像は、特殊な環境下で撮像される画像であるため、手術を行う術者にとって、視聴し易い画像へのニーズが高まっている。

そこで、近年においては、内視鏡画像を解析し、２値化や３次元表示だけでは抽出しにくい部分を分類し、視覚的に分かり易く表示する技術が提案されている（特許文献１参照）。

特開平７−２８４０９０号公報

ところで、内視鏡装置により撮像される内視鏡画像は、一般的な撮像と比べて特殊な環境下で撮像された画像であるため、内視鏡画像を用いて、例えば、AE（自動露出調整）やAF（自動焦点調整）を実行しようとすると適切な処理ができないことがあった。

すなわち、内視鏡画像において、金属製の術具、ガーゼ、および体内の生体組織による壁面などは、光反射物であり、例えば、白飛びするといった現象が発生するため、適切にAEやAFを実現できない恐れがあった。

また、術具、糸、針、臓器、指といったものが画像内に含まれるような場合、表示される術野内を頻繁に出入りすることにより、適切にAEやAFを実現できない恐れがあった。

さらに、照明に近い糸、映り込み、術具のキズ、および被写体の凹凸などは高輝度エッジとして検出されることがあり、また、脂肪などの組織、煙、レンズの汚れ等はローコントラストになりがちなため、いずれにおいてもAFを適切に実現できない恐れがあった。

また、同様に、内視鏡画像における術具やガーゼなどは、ブレ補正に不要な動き検出結果を生じさせることになるので、ブレ補正などを適切に実現できない恐れがあった。

本開示は、このような状況に鑑みてなされたものであり、特に、内視鏡画像に対して適切にAE、AF、およびブレ補正を掛けることにより、術者に視聴し易い内視鏡画像を提示できるようにするものである。

本開示の一側面の画像処理装置は、医療用撮像装置により生体組織を含む生体内を撮像して生成された生体画像を平滑化する平滑化部と、前記平滑化部により前記生体画像が平滑化された平滑化画像に基づいて、前記生体画像内の各領域に含まれる各被写体を分類する分類部と、前記平滑化画像の各画素の画素値より明度、色度、および輝度に変換する変換部と、前記平滑化画像における各画素の輝度の傾斜方向および傾斜強度を求める輝度傾斜計算部とを含み、前記分類部は、前記生体画像における所定サイズのブロック単位で、前記明度、前記色度、並びに、前記傾斜方向および前記傾斜強度に基づいて、前記各領域に含まれる前記各被写体を前記生体組織又は前記生体組織以外のものに分類するを含む画像処理装置である。

前記所定サイズのブロックは、前記所定サイズよりも小さいサイズの複数の小ブロックから構成されるようにすることができ、前記小ブロック単位の傾斜強度のヒストグラムの移動加算を求め前記移動加算となるヒストグラムを前記小ブロック単位の傾斜偏り特徴量として求める傾斜偏り計算部をさらに含ませるようにすることができる。

前記傾斜偏り計算部には、前記ブロック単位で、複数の前記小ブロック単位の傾斜強度のヒストグラムの移動加算を求め前記移動加算となるヒストグラムの上位の傾斜強度を前記所定サイズのブロック単位の傾斜偏り特徴量として計算させるようにすることができ、前記分類部には、ブロック単位の前記明度、前記色度、並びに、前記傾斜偏り特徴量に基づいて、前記生体画像内の被写体を分類させるようにすることができる。

前記傾斜偏り計算部には、前記移動加算となるヒストグラムの所定の上位順位までの傾斜強度の和を前記所定サイズのブロック単位の傾斜偏り特徴量として計算させるようにすることができる。

前記分類部には、前記生体組織以外のものとして、前記生体画像内の術具、ガーゼ、マスク外、血だまり、又は高輝度部のうちのいずれかに分類させるようにすることができる。

前記分類部には、前記生体画像内の前記各領域に含まれる前記各被写体を生体組織以外の術具、ガーゼ、マスク外、血だまり、又は高輝度部のうちのいずれかに分類させるようにすることができ、いずれのものにも分類されない領域の被写体を生体組織として分類させるようにすることができる。

前記分類部は、ニューラルネットワークを用いた分類器より構成されるようにすることができる。

前記分類部は、ブースティングを用いた機械学習を用いた分類器より構成されるようにすることができる。

前記生体画像のうち、前記生体組織として分類された前記領域の輝度の情報に基づいて、前記医療用撮像装置における露出を調整する露出調整部をさらに含ませるようにすることができる。

前記生体画像内において、前記生体組織として分類された前記領域の情報のみに基づいて、前記医療用撮像装置における焦点を調整する焦点調整部をさらに含ませるようにすることができる。

前記生体画像のうち、前記生体組織として分類された前記領域の動きの情報に基づいて、前記生体画像のブレを補正するブレ補正部をさらに含ませるようにすることができる。

前記分類部の分類結果に基づいて、分類された被写体の種別に対応する、前記生体画像上の位置にハッチングを付するように画像を処理する画像処理部と、前記画像処理部により処理がなされた生体画像の表示を制御する表示制御部とをさらに含ませるようにすることができる。

前記表示された生体画像上に、再学習が必要とされる再学習範囲を指定すると共に正解の被写体を示す正解ラベルを指定する操作部をさらに含ませるようにすることができ、前記分類部には、前記再学習範囲において、前記正解ラベルに対応する被写体を分類するように再学習させるようにすることができる。

前記生体画像は、内視鏡装置により撮像される内視鏡画像とすることができる。

本開示の一側面の画像処理装置の作動方法は、画像を平滑化し、医療用撮像装置により生体組織を含む生体内を撮像して生成された生体画像を平滑化し、前記生体画像が平滑化された平滑化画像に基づいて、前記生体画像内の各領域に含まれる各被写体を分類する前記分類ステップと、前記平滑化画像の各画素の画素値より明度、色度、および輝度に変換する変換ステップと、前記平滑化画像における各画素の輝度の傾斜方向および傾斜強度を求める輝度傾斜計算ステップとを含み、前記分類ステップの処理は、前記生体画像における所定サイズのブロック単位で、前記明度、前記色度、並びに、前記傾斜方向および前記傾斜強度に基づいて、前記各領域に含まれる前記各被写体を前記生体組織又は前記生体組織以外のものに分類する画像処理装置の作動方法である。

本開示の一側面の医療用撮像システムは、医療用撮像装置により生体組織を含む生体内を撮像して生成された生体画像を平滑化する平滑化部と、前記平滑化部により前記生体画像が平滑化された平滑化画像に基づいて、前記生体画像内の各領域に含まれる各被写体を分類する分類部と、前記平滑化画像の各画素の画素値より明度、色度、および輝度に変換する変換部と、前記平滑化画像における各画素の輝度の傾斜方向および傾斜強度を求める輝度傾斜計算部とを含み、前記分類部は、前記生体画像における所定サイズのブロック単位で、前記明度、前記色度、並びに、前記傾斜方向および前記傾斜強度に基づいて、前記各領域に含まれる前記各被写体を前記生体組織又は前記生体組織以外のものに分類するを含む画像処理装置と、前記生体画像を撮像する撮像部を含む医療用撮像装置とからなる医療用撮像システムである。

本開示の一側面においては、医療用撮像装置により生体組織を含む生体内を撮像して生成された生体画像が平滑化され、前記生体画像が平滑化された平滑化画像に基づいて、前記生体画像内の各領域に含まれる各被写体が分類され、前記平滑化画像の各画素の画素値が明度、色度、および輝度に変換され、前記平滑化画像における各画素の輝度の傾斜方向および傾斜強度が求められ、前記生体画像における所定サイズのブロック単位で、前記明度、前記色度、並びに、前記傾斜方向および前記傾斜強度に基づいて、前記各領域に含まれる前記各被写体が前記生体組織又は前記生体組織以外のものに分類される。

本開示の一側面によれば、視聴し易い内視鏡画像を提示することが可能となる。

本開示の内視鏡システムの構成例を説明する図である。 図１の内視鏡システムによる表示処理を説明するフローチャートである。 BOXフィルタの例を説明する図である。 小ブロック単位での４次元特徴量を求める例を説明する図である。 ブロック単位での４次元特徴量を求める例を説明する図である。 ブロック単位での傾斜偏り特徴量を求める例を説明する図である。 ニューラルネットワークを用いた分類器の構成例を説明する図である。 TanhおよびReLuの特性を説明する図である。 画像表示部に表示される内視鏡画像の表示例を説明する図である。 画像表示部に表示される内視鏡画像の表示例を説明する図である。 画像表示部に表示される内視鏡画像の表示例を説明する図である。 画像表示部に表示される内視鏡画像の表示例を説明する図である。 本開示の画像処理装置による画像処理を説明する図である。 再学習処理を説明するフローチャートである。 再学習処理を説明する図である。 汎用のパーソナルコンピュータの構成例を示す図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、以下の順序で説明を行う。
１．本開示の画像処理装置の概要
２．本開示の画像処理装置を用いた内視鏡システムの構成例
３．応用例

＜＜１．本開示の画像処理装置の概要＞＞
内視鏡装置により撮像される内視鏡画像に対してAE（Auto Exporsure）、AF（Auto Focus）、およびブレ補正といった処理を施すには、内視鏡画像の特徴に適した処理が必要となる。

すなわち、内視鏡装置により撮像される内視鏡画像は、撮像面と被写体との距離が比較的近く、また、高強度の照明を用いた極狭い空間内で撮像される。

このため、術具の柄や腔内壁面などが照明に近くなる、照明の投光方向が撮像方向であるとき、その正面に正対するように腔内壁面が存在する、または、白色のガーゼなどが強い照明に照らされるといった条件が揃うと、術具、腔内壁面、およびガーゼなどが照明の光を強く反射するといったことが生じてしまう。結果として、いわゆる、白飛びといわれる現象が生じて、明るさを適切に認識することができず、AEを適切に機能させることができなくなることがあった。

また、腔内壁面、縫合糸、術具などは、局部的な範囲でコントラストが極度に強くなることがあるため、その部位に合焦してしまうことがあり、適切にAFを機能させることができないことがあった。また、電気メスなどの使用に伴った煙などが発生すると、その煙により被写体が低コントラストとなり、合焦できないことがあり、やはり、適切にAFを機能させることができなくなることがあった。

さらに、術具やガーゼは、ブレ補正が必要とされる患部とは異なる動きをするため、ブレ補正には不要な動き検出をさせてしまうことがあり、結果として、術者である医師が視聴したい患部の撮像に対して適切なブレ補正を実現させることができないことがあった。

また、術者である医師は、内視鏡画像を視聴する際、一般に、視聴対象である内視鏡画像内における患部となる生体組織を視聴したいという要求がある。

このような要求から、一般的には、内視鏡画像に対してエンハンス処理などを施して、患部を検出できるような高画質化処理を施して、物体検出および物体識別により、患部を検出してAE、AF、およびブレ補正を行うといったことが考えられる。

ところで、内視鏡手術を実施している状態で内視鏡画像を表示する上では、低遅延で内視鏡画像を提示することが必須となる。しかしながら、内視鏡画像に対してエンハンス処理を施した上で、物体検出および物体識別を実施するのは演算処理負荷が高く、内視鏡画像の提示を低遅延で実現するのは現実的ではない。

内視鏡画像に対して、低遅延を維持しつつ、AE、AF、およびブレ補正を適切に施す技術を考える上では、まず、処理負荷の低いパラメータを選択する必要がある。

より具体的には、AE、AF、およびブレ補正を実現する上で調整に利用できそうな内視鏡画像のパラメータとして、例えば、輝度情報、色度情報、ラベリング（面積・形状）、輪郭モデル（Snake等）、直線エッジ（HOUGH変換など）、パターン（HAA/LBP特徴量等）、画像勾配（傾斜）（HOG特徴量等）、ヒストグラム、および、テクスチャ等が考えられる。

上述したパラメータのうちラベリング（面積・形状）、輪郭モデル（Snake等）、直線エッジ（HOUGH変換など）、パターン（HAA/LBP特徴量等）については、逐次演算や繰り返し演算が必要とされるため、処理負荷が大きく、内視鏡画像に対する処理に適したパラメータとは言えない。また、ヒストグラムについては、被写体の大きさが激しく変化する中で使用すると処理負荷が大きくなり得る。また、テクスチャについては、焦点が合っていない画像が多く、検出すること自体が困難であることが多いため、適切な処理を施すには遅延が生じる恐れがある。

そこで、本開示の画像処理装置においては、AEの連動性が高い輝度情報、演算量が少量で、かつ、認識性能を学習により比較的高めることができる色度情報、および合焦に影響されることなく術具を検出できる画像勾配（傾斜）を用いてAE、AF、およびブレ補正を行う。

ただし、これらのパラメータでは、高精度に生体組織を識別することは困難である。そこで、本開示の画像処理装置では、目的となる生体組織を直接検出、および識別するのではなく、比較的検出が容易な術具、ガーゼ、マスク外、血だまり、および高輝度領域といった視聴対象となる生体組織以外の領域を検出、および識別し、それら以外の領域を視聴対象となる生体組織の領域であるものとみなすようにする。

この際、本開示の画像処理装置は、内視鏡装置により撮像された内視鏡画像に対してLPF（Low Pass Filter）を掛けて平滑化することにより、内視鏡画像の焦点が合っていない状態でも、術具部分等の生体組織以外の領域に対して画像傾斜に強い偏りが出るようにする。さらに、本開示の画像処理装置は、この画像傾斜の偏りを特徴量として抽出すると共に、特徴量の次元を縮退することにより、演算量を低減させて、処理負荷を低減しつつ、処理精度を向上させ、術者の視聴対象である内視鏡画像内の生体組織を低遅延で提示できるようにする。

＜＜２．本開示の画像処理装置を用いた内視鏡システムの構成例＞＞
図１を参照して、本開示の画像処理装置を用いた内視鏡システムの構成例について説明する。

図１の内視鏡システムは、画像処理装置１１、内視鏡装置１２、および画像表示部１３から構成される。内視鏡装置１２の先端部には、撮像素子６２設けられている。すなわち、内視鏡装置１２は、その先端部が患者１４の体内に挿入された状態で、体内の内視鏡画像を撮像し、画像処理装置１１に供給する。画像処理装置１１は、内視鏡装置１２より供給されてきた内視鏡画像を処理して、術者に対して視聴し易い内視鏡画像を提示する。

より詳細には、内視鏡装置１２は、棒状の装置であり、その先端部に設けられた複数のレンズ等からなる光学ブロック６１により撮像素子６２上で結像される像を、撮像素子６２が撮像する。

より具体的には、内視鏡装置１２は、例えば、体内の画像を内視鏡画像として撮像し、2K画像（例えば、1920×1080程度）、4K画像（例えば、4096×2160程度、若しくは、3840×2160程度）、または、8K画像（例えば、7680×4320程度）といった高解像度画像として画像処理装置１１に出力する。

尚、図示しないが、撮像素子６２には信号処理部が設けられており、所定の信号処理がなされて、画像が生成されて、生成された画像が出力される。また、内視鏡装置１２により撮像される画像の解像度は、これ以外の解像度の画像もよいものである。また、本実施の形態においては、特に断りがない限り、内視鏡装置１２により撮像される内視鏡画像は、4K画像であるものとして説明を進めるものとする。

画像処理装置１１は、内視鏡装置１２より供給されてくる患者１４の体内の内視鏡画像を処理して、ユーザである術者に対して視聴し易い内視鏡画像を提示する。

より詳細には、画像処理装置１１は、画像縮小化部３１、画像平滑化部３２、輝度色度変換部３３、輝度傾斜計算部３４、傾斜偏り計算部３５、特徴量生成部３６、正規化調整部３７、画像分類部３８、画像処理部３９、表示制御部４０、操作部４１、AE（Auto Exposure）制御部４２、AF（Auto Focus）制御部４３、およびブレ補正部４４を備えている。

画像縮小化部３１は、内視鏡装置１２により撮像された、例えば、4K画像からなる高解像度の入力画像を、例えば、1024×540程度の解像度の画像に縮小化して画像平滑化部３２に供給する。

画像平滑化部３２は、画像縮小化部３１により縮小された画像を、例えば、LPF（Low Pass Filter）をかけることにより平滑化して、後述する処理により、画像傾斜を取得し易い画像に変換し、輝度色度変換部３３に供給する。

輝度色度変換部３３は、平滑化された画像に基づいて、各画素の値を明度I、輝度Yおよび色度r，gに変換して輝度傾斜計算部３４、および特徴量生成部３６に供給する。

輝度傾斜計算部３４は、ソーベルオペレータを掛けることにより各画素における傾斜の方向（勾配方向）と傾斜強度を算出し、算出した傾斜強度で荷重した、勾配方向のヒストグラムHsbを生成して、傾斜偏り計算部３５に供給する。

傾斜偏り計算部３５は、小ブロック単位で求められた勾配方向のヒストグラムHsbを移動加算して、複数の小ブロックからなるブロック単位の勾配方向の傾斜強度で荷重したヒストグラムHbを求める。さらに、傾斜偏り計算部３５は、ブロック単位のヒストグラムHbを用いて、上位2位までの傾斜強度で荷重した傾斜強度（勾配強度）を加算して、ブロック単位の傾斜偏り特徴量Bbとして特徴量生成部３６に供給する。

特徴量生成部３６は、上述した小ブロック単位の明度Isb、および色度rsb，gsbを演算する。また、特徴量生成部３６は、小ブロック単位の明度Isb、および色度rsb，gsbより、複数の小ブロックからなるブロック単位の明度Ib、および色度rb，gbを演算する。また、特徴量生成部３６は、このブロック単位の傾斜偏り特徴量Bb、明度Ib、および色度rb，gbと共に４次元特徴量を構成して正規化調整部３７に供給する。

正規化調整部３７は、４次元特徴量を正規化して調整し、画像分類部３８に供給する。

画像分類部３８は、４次元特徴量に基づいて画像における被写体を分類する分類器５１を備えており、４次元特徴量に基づいて分類器５１により画像内の被写体を分類させ、分類結果を画像処理部３９に供給する。また、画像分類部３８は、表示された画像内における画像分類に誤りがある場合、ユーザの操作に応じて再学習するためのラベル等の入力を受け付けて、分類器５１に供給し、再学習させる。

画像処理部３９は、内視鏡装置１２より供給されてくる画像に対して、画像分類部３８より供給されてくる分類結果に応じた画像処理を施し、表示制御部４０に供給すると共に、その画像をAE制御部４２、AF制御部４３、およびブレ補正部４４に供給する。表示制御部４０は、LCD（Liquid Crystal Display）等からなる画像表示部１３を制御して、供給された画像を、内視鏡画像として表示させる。

すなわち、例えば、画像分類部３８は、例えば、画像内における術具、ガーゼ、マスク外、血だまり、および高輝度部をそれぞれ画像内の所定のブロック単位で分類する。そこで、画像処理部３９は、分類結果に基づいて、それぞれの分類結果対応する領域については、それぞれ対応する対象物毎に色分けしてハッチングを付すなどして視聴対象外であることを明示的に表示する。また、結果として、ハッチングが付されていない範囲が生体組織のみの画像として表示される。

AE制御部４２は、内視鏡画像のうちの生体組織のみの領域の画像に基づいて、明るさを適切に制御して、内視鏡装置１２における、例えば、CMOS（Complementary Metal Oxide Semiconductor）イメージセンサなどからなる撮像素子６２のAEを制御する。これにより、適切なAEが実現される。尚、図１におけるAE制御部４２乃至撮像素子６２までの点線については、現実には、例えば、内視鏡装置１２から画像処理装置１１に内視鏡画像を送信する伝送ケーブルと同様の配線により実現される。

AF制御部４３は、内視鏡画像のうちの生体組織のみの領域の画像に基づいて、内視鏡装置１２において、入射光を適切に撮像素子６２上に合焦させるように、複数のレンズ等からなる光学ブロック６１を制御して、AFを制御する。これにより、適切なAFが実現される。尚、図１におけるAF制御部４３乃至光学ブロック６１までの点線については、現実には、例えば、内視鏡装置１２から画像処理装置１１に内視鏡画像を送信する伝送ケーブルと同様の配線により実現される。

ブレ補正部４４は、内視鏡画像のうちの生体組織のみの領域の画像に基づいて、動き検出し、検出した動きに応じて、ブレ補正を制御する。これにより、適切なブレ補正が実現される。

＜表示処理＞
次に、図２のフローチャートを参照して、内視鏡システムによる表示処理について説明する。

ステップＳ１１において、内視鏡装置１２の撮像素子６２が、光学ブロック６１により結像される像を、例えば、4K画像からなる内視鏡画像として撮像し、画像処理装置１１に供給する。

より詳細には、撮像素子６２は、撮像したRAW画像に簡易的な現像処理を施す、または、既に現像処理されたRGB画像をそのまま使用する。また、現像処理が必要な場合、ベイヤ構造のイメージセンサのとき、撮像素子６２は、デモザイク処理、ゲイン調整およびホワイトバランス処理、欠陥画素補正、リニアマトリクスによる色補正、信号の値を有効範囲内に収めるクリップ処理、並びにガンマ補正を施す。

ステップＳ１２において、画像縮小化部３１は、内視鏡装置１２により撮像された内視鏡画像を縮小化する。より詳細には、画像縮小化部３１は、後段の平滑化処理において、タップ数の大きなBOXフィルタからなるLPFを4K画像に直接施すと演算量が大きくなるので、4K画像からなる内視鏡画像を、例えば、1024×540の解像度に縮小して、画像平滑化部３２に供給する。

ステップＳ１３において、画像平滑化部３２は、所定のサイズのBOXフィルタからなるLPFを内視鏡画像の各画素に対して施して、内視鏡画像を平滑化し、輝度色度変換部３３に供給する。BOXフィルタとは、例えば、図３で示されるようなフィルタであり、図３の場合、5画素×5画素のフィルタの例が示されており、図中において色が付された中心の注目画素に対して、その周辺の5画素×5画素のそれぞれの各画素に対して係数1/25が乗じられ、それらの積和が求められることで、平滑化される。

ステップＳ１４において、輝度色度変換部３３は、平滑化された内視鏡画像の各画素の画素値を明度、色度、および輝度に変換し、輝度を、輝度傾斜計算部３４に供給し、明度、および色度を特徴量生成部３６に供給する。

より詳細には、輝度色度変換部３３は、画素(x,y)における画素値RGBを用いて、例えば、以下の式（１）乃至式（４）を演算することで、明度、色度、および輝度に変換する。

ここで、RGBは、赤色、緑色、青色の画素値であり、画素(x,y)のI(x,y)は明度であり、r(x,y)，g(x,y)は色度であり、Y(x,y)は輝度である。

ステップＳ１５において、輝度傾斜計算部３４は、画素毎の輝度Yを用いて、画素単位の傾斜方向と傾斜強度とを算出し、傾斜偏り計算部３５に供給する。

より具体的には、輝度傾斜計算部３４は、以下の式（５），式（６）で表されるような係数のSobelオペレータを施す。

ここで、Sx，Syは、それぞれ座標(x,y)における画素の輝度Yに、それぞれ式（５），式（６）のSobelオペレータが掛けられた輝度である。

さらに、輝度傾斜計算部３４は、以下の式（７），式（８）で表されるような演算により、各画素(x,y)の傾斜（勾配）方向ang(x,y)、および傾斜強度g(x,y)を演算する。

ここで、fx(x,y)，fy(x,y)は、それぞれ座標(x,y)の画素に上述した式（５），式（６）のSobelオペレータが掛けられたSx(x,y)，Sy(x,y)である。また、d(x,y)は、傾斜（勾配）角度（ラジアン）であり、ang(x,y)は、傾斜角度d(x,y)に基づいて割り付けられる傾斜（勾配）方向であり、整数精度に丸められた値である。さらに、BINは方向数であり、例えば、12である。

ステップＳ１６において、傾斜偏り計算部３５は、小ブロック単位の上記傾斜強度で荷重した勾配方向のヒストグラムを計算する。

より具体的には、図４で示されるように平滑化された内視鏡画像を、例えば、M画素×N画素の小ブロックに分割し、各小ブロックについて、以下の式（９）を演算する。

ここで、(sx,sy)は、小ブロックの座標を表している。Hsb(sx,sy)は、小ブロック単位の傾斜強度g(x,y)で重み付けした傾斜方向ang(x,y)のヒストグラムからなる特徴量である。すなわち、式（９）は、傾斜強度g(x,y)で重み付けした傾斜方向ang(x,y)の頻度を個別に算出することで、結果としてヒストグラムを生成することを表しており、生成されたヒストグラムの集合そのものが特徴量となる。この特徴量は、一般にHOG（Histograms of Oriented Gradients）と呼ばれるものである。

尚、上述したように、内視鏡画像が、例えば、1024×540の解像度である場合、例えば、M＝８、N＝６であるときには、内視鏡画像は128×90個の小ブロックに分割されることになる。

ステップＳ１７において、傾斜偏り計算部３５は、複数の小ブロックからなるブロック単位で、小ブロック単位の傾斜強度で荷重した勾配方向のヒストグラムHsb(sx,sy)を用いて、傾斜偏り特徴量Bbを計算し、計算結果を特徴量生成部３６に供給する。

より具体的には、図５の太線枠で示されるように平滑化された内視鏡画像を、例えば、M小ブロック×N小ブロックのブロックに分割し、各ブロックについて、以下の式（１０）を演算する。

ここで、(bx,by)は、ブロックの座標を表している。Hb(bx,by)は、傾斜強度で荷重した勾配方向のヒストグラムあり、傾斜方向毎の傾斜強度の加算結果となるヒストグラムからなる特徴量である。

さらに、傾斜偏り計算部３５は、ブロック単位の傾斜強度のヒストグラムHb(bx,by)に基づいて、以下の式（１１）を演算することにより、傾斜偏り特徴量Bbを算出する。

ここで、Bbは、傾斜偏り特徴量であり、maxQ(bx,by)は、ブロック(bx,by)における傾斜強度のヒストグラムのQ位を表している。すなわち、式（１１）は、実質的に、上位２位までの傾斜強度の和が、ブロック毎の傾斜偏り特徴量Bbとなる。

所定のブロックにおいて、例えば、図６で示されるような傾斜強度のヒストグラムが求められている場合、傾斜強度（勾配強度）が最上位となる傾斜（勾配）方向Aの傾斜強度と、２位となる傾斜（勾配）方向Bの傾斜強度との和が、所定のブロックにおける傾斜偏り特徴量Bbとなる。

尚、上述したように、内視鏡画像が、例えば、1024×540の解像度である場合、例えば、M＝４、N＝４であるときには、内視鏡画像は125×87個のブロックに分割されることになる。

ステップＳ１８において、特徴量生成部３６は、図５のブロック単位の明度Ib、および色度rb，gbを算出し、傾斜偏り特徴量と併せて４次元特徴量を生成する。

より詳細には、特徴量生成部３６は、まず、以下の式（１２）乃至式（１４）を演算して、上述した図４の小ブロック単位の明度Isb、および色度rsb，gsbを算出する。

ここで、Isbは、小ブロック単位の明度の特徴量であり、rsb，gsbは、小ブロック単位の色度の特徴量である。

次に、特徴量生成部３６は、以下の式（１５）乃至式（１７）を演算して、上述した図５のブロック単位の明度Ib、および色度rb，gbを算出する。

ここで、(bx,by)は、ブロックの座標を表している。Ibは、ブロック単位の明度の特徴量であり、rb，gbは、ブロック単位の色度の特徴量である。

そして、特徴量生成部３６は、明度Ib(bx,by)、色度rb(bx,by)，gb(bx,by)、および傾斜偏り特徴量Bb(x,y)からなる４次元特徴量を生成して正規化調整部３７に供給する。

尚、特徴量Bb(x,y)については、上位２位の２種類の方向が隣接していることが前提となるが、上述したステップＳ１３の処理により内視鏡画像は平滑化されており、傾斜偏りが強く表れる画像となっているので、上位の傾斜方向は隣接した方向となる。また、２位の傾斜方向については、傾斜強度が所定値よりも大きい場合に採用するようにしてもよく、この場合、２位の傾斜方向の傾斜強度が所定値よりも小さい場合には、最上位の傾斜方向の傾斜強度のみを採用するようにしてもよい。さらに、所定値よりも大きな傾斜方向に傾斜強度を全て足し合わせて採用するようにしてもよい。

ステップＳ１９において、正規化調整部３７は、４次元特徴量を、後述する分類器５１に受け付けられる、例えば、０乃至１，−１乃至＋１の様な信号レベルに収めるために正規化すると共に、後述する分類器５１の効き方を調整したり、現像パラメータに合わせこむために調整し、画像分類部３８に供給する。より具体的には、正規化調整部３７は、例えば、以下の式（１８）乃至式（２１）を演算することにより、４次元特徴量を正規化すると共に調整する。

ここで、Ib'(bx,by)，rb'(bx,by)，gb'(bx,by)，Bb'(bx,by)は、正規化され、かつ、調整された明度、色度、および傾斜偏り特徴量であり、iOffset，rOffset，gOffset，bOffsetは、明度、色度、および傾斜偏り特徴量のオフセット量であり、iGain，rGain，gGain，bGainは、ゲイン制御係数である。

ステップＳ２０において、画像分類部３８は、分類器５１を制御して、正規化され、かつ、調整された４次元特徴量を用いて、画像内の被写体を分類し、分類結果を画像処理部３９に供給する。

分類器５１は、例えば、ニューラルネットワークを用いた構成とするようにしてもよい。図７は、ニューラルネットワークを用いて構成された分類器５１の構成例を示している。図７の分類器５１は、入力層７１、ReLu７２、tanh７３、およびDropout+softmax７４より構成されている。

入力層７１は、４次元特徴量を受け付けてランプ関数（ReLu）７２に供給する。

ランプ関数（ReLu）７２は、例えば、図８の右部で示されるような関数であり、４次元特徴量に対して、この関数を用いた処理を施し、tanh７３に供給する。

tanh７３は、例えば、図８の左部で示されるような関数であり、ランプ関数７２による処理が施された４次元特徴量に対して、図８の左部で示されるような関数による処理を施し、Dropout+softmax７４に供給する。

Dropout+softmax７４は、Dropoutとsoftmaxとからなり、このうち、Dropoutは、学習時にネットワークの過学習を防ぐための関数であり、例えば、単純に素子の出力を半分にするといった処理を施す。また、softmaxは、主に分類機能を持ったニューラルネットワークの出力値を正規化するために用いられ、例えば、以下の式（２２）で表される。

これらの構成により、分類器５１は、４次元特徴量に基づいて、例えば、生体組織、術具、ガーゼ、マスク外、血だまり、および高輝度部を分類する。より詳細には、分類器５１は、４次元特徴量により、術具、ガーゼ、マスク外、血だまり、および高輝度部となる領域を分類し、それらに分類されない領域を生体組織であるものとして分類する。

より具体的には、例えば、術具、ガーゼ、マスク外、血だまり、高輝度部、および生体組織を分類するような場合、分類器５１は、枠Ｆ１１単位で被写体を分類し、例えば、術具およびガーゼについては、マスク外と分類された図５のブロックが含まれず、ガーゼと判定されたブロックよりも、術具と判定されたブロックの方が多ければ術具であるものとみなし、その逆であればガーゼであるものとみなす。

また、分類器５１は、例えば、各枠Ｆ１１のうち、マスク外、血だまり、および高輝度部と分類された図５のブロックが所定の割合以上であれば、それぞれマスク外、血だまり、および高輝度部であるものとみなす。そして、分類器５１は、術具、ガーゼ、マスク外、血だまり、および高輝度部のいずれにもみなされなかった枠Ｆ１１については、生体組織であるものとみなす。

このような分類により、分類器５１の分類精度がそれほど高いものではなくても検出可能な術具、ガーゼ、マスク外、血だまり、および高輝度部を検出し、それ以外を生体組織として認識することで、類似に係る処理負荷を低減しつつ、高い精度で生体組織を分類することが可能となる。

また、分類器５１の分類結果については、枠Ｆ１１毎に、術具、ガーゼ、マスク外、血だまり、高輝度部、および生体組織といった分類対象毎のスコアを計算して、スコアに応じて分類結果を決定するようにしてもよい。この場合、スコアが最上位の分類対象を分類結果とするようにしてもよいし、上位２位までの分類結果を提示して選択できるようにしてもよい。さらに、上位２位までの分類結果を提示するときには、２位となるスコアの分類対象については、所定のスコア以上であるときにのみ、上位２位までを提示して選択できるようにしてもよい。尚、本開示においては、ガーゼ、マスク外、血だまり、高輝度部、および生体組織を分類する例について説明してきたが、それ以外の被写体を分類するようにしてもよい。ただし、生体組織の分類に際しては、それ以外の被写体として分類されていない範囲であることは同様である。

ステップＳ２１において、画像処理部３９は、分類結果に基づいて、撮像された内視鏡画像に画像処理を施し、処理結果をAE制御部４２、AF制御部４３、およびブレ補正部４４に供給する。

より具体的には、例えば、図９で示されるように、画像処理部３９は、鉗子Ｋが存在する範囲が、術具として検出された場合、内視鏡画像の対応する範囲を、分類された術具であることを示す色や模様等でハッチングする。この他にも、AE、AF、およびブレ補正等に影響を及ぼす可能性があり、かつ、生体組織以外の領域を分類結果に応じた色や模様等でハッチングする。

例えば、この他にもガーゼ、マスク外、血だまり、および高輝度部など、AE、AF、およびブレ補正等に影響を及ぼす可能性があり、かつ、生体組織以外の領域について、分類結果に応じた色や模様等でハッチングする。尚、生体組織の範囲は、ガーゼ、マスク外、血だまり、および高輝度部として認識された範囲外であるものとみなされる。

尚、図９において、格子状に設けられた枠Ｆ１１は、AE制御部４２およびブレ補正部４４により、AEおよびブレ補正を制御するためのブロックであり、太線からなる単独の枠Ｆ１は、AF制御部４３によりAFが制御される範囲を示している。枠Ｆ１，Ｆ１１のいずれにおいても、AE制御、AF制御、およびブレ補正のそれぞれの制御に適したサイズに設定されていると共に、上述した図５のブロックよりも大きな範囲である。すなわち、図５のブロックは、枠Ｆ１，Ｆ１１を用いたAE、およびAFの処理における最小処理単位となる。

例えば、枠Ｆ１１のサイズが、内視鏡画像に対して、例えば、１２個×５個分割するサイズの場合、ハッチングの範囲は、図１０の上段で示されるようなものとなるが、内視鏡画像に対して、例えば、４０個×３０個に分割するサイズの場合、ハッチングの範囲は、図１０の下段で示されるようなものとなる。すなわち、枠Ｆ１１のサイズは、図１０の下段で示されるようなより小さなサイズである場合、図１０の上段で示されるような大きなサイズであるよりも、より高い解像度で範囲を設定することが可能となる。

尚、以上においては、分類器５１は、ニューラルネットワークにより構成する例について説明してきたが、分類器５１として機能すれば、他の構成でもよく、例えば、ブースティング（Boosting）などに代表される機械学習を用いたものでもよい。

ステップＳ２２において、AE制御部４２は、生体組織であるものとみなされた範囲内における枠Ｆ１１単位の輝度情報を用いてAEを制御する。すなわち、このような処理により、金属製の術具などに反射した光で色飛びしてしまうような画素をも用いたAE制御とならないため、適切なAE制御を実現することが可能となる。

すなわち、図１０の上段、または下段で示されるように、術具が撮像された範囲と、ガーゼが撮像された範囲が、それぞれ区別された色または模様等でハッチングされ、それ以外の範囲の枠Ｆ１１における輝度情報が利用されて、AEが実現される。結果として、生体組織が撮像された範囲の輝度情報のみが用いられた状態でAEが実現されるので、適切なAEを実現することが可能となる。尚、必要とされる輝度は、術式や診療科などにより異なる場合があるので、それぞれに適した輝度となるようにAEが制御される。

ステップＳ２３において、AF制御部４３は、生体組織であるとみなされた範囲の画像を利用してAFを実現する。より詳細には、AF制御部４３は、内視鏡画像内の中心付近において、生体組織のみが含まれる位置になるまで、所定サイズの枠Ｆ１を画像内で移動させて、注目領域を探索する。このとき、もし、注目領域を検索できない場合、枠Ｆ１のサイズをより小さくして、注目領域が探索できるまで、繰り返し枠Ｆ１により注目領域を探索する。

そして、注目領域が探索できたとき、AF制御部４３は、注目領域における画像を用いてAF制御を実現する。より具体的には、例えば、エッジ検出により焦点が合った状態を探索することで、AFの制御を実現する。

すなわち、図１０の上部で示されるように、AF制御部４３は、ハッチングされた領域を含まない位置まで枠Ｆ１を移動させる。

枠Ｆ１により注目領域が特定できたとき、AF制御部４３は、エッジが十分に検出されるように光学ブロック６１を制御することで、AF制御を実現する。このように生体組織のみからなる枠Ｆ１で特定される注目領域のエッジを検出することでAFを実現することにより、適切なAFの制御を実現することができる。

ステップＳ２４において、ブレ補正部４４は、生体組織であるものとみなされた範囲内の動き情報を用いてブレを補正する。

すなわち、ブレ補正部４４は、図１１で示されるように、術具が撮像された範囲と、ガーゼが撮像された範囲を検索すると、図１２で示されるように白色にハッチングする。そして、ブレ補正部４４は、ハッチングされた範囲以外の範囲の枠Ｆ２１における動き情報を利用して、ブレ補正を実現する。結果として、生体組織が撮像された範囲の動き情報のみが用いられた状態でブレが補正されるので、適切なブレ補正を実現することが可能となる。

ステップＳ２５において、画像処理部３９は、処理を施した画像を表示制御部４０に供給し、画像表示部１３への表示を制御させる。ここで表示される画像については、AE、AF、およびブレ補正が施された状態の画像が表示されることになる。すなわち、以上のような処理により、適切なAE、AF、およびブレ補正が施された内視鏡画像を提示することが可能となり、術者である医師に対して、視聴対象となる生体組織を見易く提示することが可能となる。

ステップＳ２６において、画像分類部３８は、操作部４１が操作されて再学習が指示されたか否かを判定し、再学習が指示された場合、処理は、ステップＳ２７に進む。

ステップＳ２７において、画像分類部３８は、再学習処理を実行して、分類器５１を再学習させる。尚、再学習処理については、図１４のフローチャートを参照して、後述する。

尚、ステップＳ２６において、再学習が指示されていない場合、ステップＳ２７の処理がスキップされる。

ステップＳ２８において、画像処理装置１１は、終了が指示されたか否かを判定し、終了が指示されていない場合、処理は、ステップＳ１１に戻り、以降の処理が繰り返される。そして、ステップＳ２８において、終了が指示された場合、処理は終了する。

ここで、図１３を参照して、以上の処理をまとめる。

すなわち、術具である鉗子が生体組織の前に映し出された図１３の画像Ｐ１のような場合、ステップＳ１６において、一般的なHOGが、小ブロック単位の画像勾配方向のヒストグラムの集合として求められることになる。

このため、図１３の画像Ｐ１の方形状の枠で示されるように、例えば、４ブロック×４ブロックの範囲について、各ブロックで１２方向の傾き方向別のヒストグラムを持つと、その情報は、４×４×１２の１９２次元の情報となる。

ところが、本開示の画像処理装置１１においては、元の内視鏡画像に対してLPFを掛けて平滑化した上で、HOGを求めるようにすることで、広い範囲で強い傾きが生じるようにすることが可能となる。さらに、平滑化された画像内において、４ブロック×４ブロックの範囲の、それぞれのブロックの傾斜方向に対する傾斜強度（頻度）ヒストグラムを加算して、その上位２位までの傾斜強度の和のみからなる１次元の情報を傾斜偏り特徴量とすることで、図１３の画像Ｐ２で示されるような傾斜の偏りとして表現させることが可能となる。このため、少ない次元数の特徴量で分類することが可能となるので、分類に係る演算量を低減することが可能となる。尚、図１３の画像Ｐ１，Ｐ２においては、各ブロックにおける傾斜方向と傾斜強度が画像上において、棒状のゲージの太さ、および長さ、並びに、傾いた方向で表現されている。また、画像Ｐ２においては、鉗子Ｋの部分に術具が検出されていることを示すハッチングが施されている。さらに、画像Ｐ１上の方形状の枠より矢印で示される画像Ｐ２上の棒状のゲージが枠内の１９２次元の傾斜偏り特徴量を１次元で表現した例であることを示している。

さらに、生体組織の範囲については、分類が比較的容易な術具、およびガーゼ等を分類し、分類が困難な生体組織については、分類が容易な範囲以外とすることで、内視鏡装置１２により撮像される内視鏡画像において、演算量を低減しつつ、生体組織となる範囲を低遅延で分類して、提示することが可能となる。

＜再学習処理＞
次に、図１４のフローチャートを参照して、再学習処理について説明する。

ステップＳ４１において、画像分類部３８は、操作部４１が操作されて、画像表示部１３上における再学習領域の入力が受け付ける。

ステップＳ４２において、画像分類部３８は、再学習領域に属するブロックにおける４次元特徴量を読み出す。

ステップＳ４３において、画像分類部３８は、正解ラベルの入力を受け付ける。

ステップＳ４４において、画像分類部３８は、分類器５１を制御して、４次元特徴量を分類し、必要に応じて追加し、正解ラベルが求められるように学習する。

ステップＳ４５において、画像分類部３８は、再学習が完了した分類器５１を制御して、再学習領域として受け付けられた４次元特徴量を用いて、画像を分類し、分類結果を画像処理部３９に供給する。

ステップＳ４６において、画像処理部３９は、分類結果に基づいて、画像を処理する。

ステップＳ４７において、画像処理部３９は、画像処理結果を表示制御部４０に供給し、画像表示部１３への表示を制御させる。

ステップＳ４８において、画像分類部３８は、再学習処理が終了か否かを判定する。例えば、分類に誤りがあり、再び再学習が必要であり、操作部４１が操作されて、その旨が指示されると、処理は、ステップＳ４１に戻り、以降の処理が繰り返される。そして、ステップＳ４８において、終了が指示されると、処理は、終了する。

すなわち、図１５の画像Ｐ１１で示されるように、鉗子Ｋが存在する範囲Ｚ１がハッチングされておらず、術具として分類されていないような場合、術者である医師が、例えば、画像Ｐ１２で示されるように、分類による認識ミスであるものとして、再学習領域として範囲Ｚ１１が指定されるものとする。すると、通常の表示が停止されて、対応する範囲のブロックの４次元特徴量が選別され、また、必要に応じて追加されるといった処理により再学習がなされた後、画像Ｐ１３の範囲Ｚ２１で示されるように、術具として分類されてハッチングさせるようにすることが可能となる。

尚、以上においては、内視鏡画像のAE、AF、およびブレ補正について説明してきたが、内視鏡画像と同様の条件で撮像されるような画像であれば、内視鏡画像に限らず、その他の画像であっても同様の効果を奏することができ、例えば、顕微鏡画像などであっても同様の効果を奏することができる。

以上の如く、本開示によれば、内視鏡画像における視聴対象に焦点が合っていない、いわゆるピンボケの画像や露出不良状態であっても、術具やガーゼといった、AE、AF、およびブレ補正といった撮像制御の精度を低下させるような物体の位置を特定することが可能となる。

これにより、物体の位置が特定された範囲以外を生体組織として分類することが可能となり、生体組織を対象にした、適切なAE、AFおよびブレ補正を実現することが可能となる。結果として、術者にとって視聴し易い内視鏡画像を低遅延で提示することが可能となる。

また、分類に失敗が生じた場合については、その都度、再学習処理を実行させることで、正解ラベルに基づいた再学習させることが可能となるので、視聴し難い状態を迅速に解消させて、視聴し易い内視鏡画像を提示することが可能となる。

＜＜３．応用例＞＞
＜ソフトウェアにより実行させる例＞
ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。

図１６は、汎用のパーソナルコンピュータの構成例を示している。このパーソナルコンピュータは、CPU(Central Processing Unit)１００１を内蔵している。CPU１００１にはバス１００４を介して、入出力インタ-フェイス１００５が接続されている。バス１００４には、ROM(Read Only Memory)１００２およびRAM(Random Access Memory)１００３が接続されている。

入出力インタ-フェイス１００５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部１００６、処理操作画面や処理結果の画像を表示デバイスに出力する出力部１００７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部１００８、LAN（Local Area Network）アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部１００９が接続されている。また、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリなどのリムーバブルメディア１０１１に対してデータを読み書きするドライブ１０１０が接続されている。

CPU１００１は、ROM１００２に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブルメディア１０１１から読み出されて記憶部１００８にインストールされ、記憶部１００８からRAM１００３にロードされたプログラムに従って各種の処理を実行する。RAM１００３にはまた、CPU１００１が各種の処理を実行する上において必要なデータなども適宜記憶される。

以上のように構成されるコンピュータでは、CPU１００１が、例えば、記憶部１００８に記憶されているプログラムを、入出力インタフェース１００５及びバス１００４を介して、RAM１００３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（CPU１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

コンピュータでは、プログラムは、リムーバブルメディア１０１１をドライブ１０１０に装着することにより、入出力インタフェース１００５を介して、記憶部１００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１００９で受信し、記憶部１００８にインストールすることができる。その他、プログラムは、ROM１００２や記憶部１００８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

なお、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、本開示は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

尚、本開示は、以下のような構成も取ることができる。
＜１＞ 医療用撮像装置により生体組織を含む生体内を撮像して生成された生体画像を平滑化する平滑化部と、
前記平滑化部により前記生体画像が平滑化された平滑化画像に基づいて、前記生体画像内の各領域に含まれる各被写体を分類する分類部とを含む
画像処理装置。
＜２＞ 前記分類部は、前記平滑化画像に基づいて、前記各領域に含まれる前記各被写体を前記生体組織又は前記生体組織以外のものに分類する
＜１＞に記載の画像処理装置。
＜３＞ 前記分類部は、前記平滑化画像の明度、色度、および輝度に基づいて、前記各領域に含まれる前記各被写体を分類する
＜２＞に記載の画像処理装置。
＜４＞ 前記平滑化画像の各画素の画素値より明度、色度、および輝度に変換する変換部と、
前記平滑化画像における各画素の輝度の傾斜方向および傾斜強度を求める輝度傾斜計算部とをさらに含み、
前記分類部は、前記生体画像における所定サイズのブロック単位で、前記明度、前記色度、並びに、前記傾斜方向および前記傾斜強度に基づいて、前記生体画像内の被写体を分類する
＜３＞に記載の画像処理装置。
＜５＞ 前記所定サイズのブロックは、前記所定のサイズよりも小さいサイズの複数の小ブロックから構成され、
前記小ブロック単位の傾斜強度のヒストグラムの移動加算を求め前記移動加算となるヒストグラムを前記小ブロック単位の傾斜偏り特徴量として求める傾斜偏り計算部をさらに含む
＜４＞に記載の画像処理装置。
＜６＞ 前記傾斜偏り計算部は、前記ブロック単位で、複数の前記小ブロック単位の傾斜強度のヒストグラムの移動加算を求め前記移動加算となるヒストグラムの上位の傾斜強度を前記所定サイズのブロック単位の傾斜偏り特徴量として計算し、
前記分類部は、ブロック単位の前記明度、前記色度、並びに、前記傾斜偏り特徴量に基づいて、前記生体画像内の被写体を分類する
＜５＞に記載の画像処理装置。
＜７＞ 前記傾斜偏り計算部は、前記移動加算となるヒストグラムの所定の上位順位までの傾斜強度の和を前記所定サイズのブロック単位の傾斜偏り特徴量として計算する
＜６＞に記載の画像処理装置。
＜８＞ 前記分類部は、前記生体組織以外のものとして、前記生体画像内の術具、ガーゼ、マスク外、血だまり、又は高輝度部のうちのいずれかに分類する
＜２＞に記載の画像処理装置。
＜９＞ 前記分類部は、前記生体画像内の前記各領域に含まれる前記各被写体を生体組織以外の術具、ガーゼ、マスク外、血だまり、又は高輝度部のうちのいずれかに分類し、いずれのものにも分類されない領域の被写体を生体組織として分類する
＜８＞に記載の画像処理装置。
＜１０＞ 前記分類部は、ニューラルネットワークを用いた分類器より構成される
＜１＞に記載の画像処理装置。
＜１１＞ 前記分類部は、ブースティングを用いた機械学習を用いた分類器より構成される
＜１＞に記載の画像処理装置。
＜１２＞ 前記生体画像のうち、前記生体組織として分類された前記領域の輝度の情報に基づいて、前記医療用撮像装置における露出を調整する露出調整部をさらに含む
＜２＞に記載の画像処理装置。
＜１３＞ 前記生体画像内において、前記生体組織として分類された前記領域の情報のみに基づいて、前記医療用撮像装置における焦点を調整する焦点調整部をさらに含む
＜２＞に記載の画像処理装置。
＜１４＞ 前記生体画像のうち、前記生体組織として分類された前記領域の動きの情報に基づいて、前記生体画像のブレを補正するブレ補正部をさらに含む
＜２＞に記載の画像処理装置。
＜１５＞ 前記分類部の分類結果に基づいて、分類された被写体の種別に対応する、前記生体画像上の位置にハッチングを付するように画像を処理する画像処理部と、
前記画像処理部により処理がなされた生体画像の表示を制御する表示制御部とをさらに含む
＜１＞に記載の画像処理装置。
＜１６＞ 前記表示された生体画像上に、再学習が必要とされる再学習範囲を指定すると共に正解の被写体を示す正解ラベルを指定する操作部をさらに含み、
前記分類部は、前記再学習範囲において、前記正解ラベルに対応する被写体を分類するように再学習する
＜１５＞に記載の画像処理装置。
＜１７＞ 前記生体画像は、内視鏡装置により撮像される内視鏡画像である
＜１＞に記載の画像処理装置。
＜１８＞ 画像を平滑化し、
医療用撮像装置により生体組織を含む生体内を撮像して生成された生体画像を平滑化し、
前記生体画像が平滑化された平滑化画像に基づいて、前記生体画像内の各領域に含まれる各被写体を分類するステップを含む
画像処理方法。
＜１９＞ 医療用撮像装置により生体組織を含む生体内を撮像して生成された生体画像を平滑化する平滑化部と、
前記平滑化部により前記生体画像が平滑化された平滑化画像に基づいて、前記生体画像内の各領域に含まれる各被写体を分類する分類部とを含む
画像処理装置と、
前記画像を撮像する撮像部を含む
医療用撮像装置とからなる
医療用撮像システム。

１１ 画像処理装置， １２ 内視鏡装置， １３ 画像表示部， １４ 患者， ３１ 画像縮小化部， ３２ 画像平滑化部， ３３ 輝度色度変換部， ３４ 輝度傾斜計算部， ３５ 傾斜偏り計算部， ３６ 特徴量生成部， ３７ 正規化調整部， ３８ 画像分類部， ３９ 画像処理部， ４０ 表示制御部， ４１ 操作部， ４２ AE制御部， ４３ AF制御部， ４４ ブレ補正部， ５１ 分類器， ７１ 入力層， ７２ ReLu， ７３ tanh， ７４ Dropout＋softmax

Claims (16)

1. 医療用撮像装置により生体組織を含む生体内を撮像して生成された生体画像を平滑化する平滑化部と、
   前記平滑化部により前記生体画像が平滑化された平滑化画像に基づいて、前記生体画像内の各領域に含まれる各被写体を分類する分類部と、
   前記平滑化画像の各画素の画素値より明度、色度、および輝度に変換する変換部と、
   前記平滑化画像における各画素の輝度の傾斜方向および傾斜強度を求める輝度傾斜計算部とを含み、
   前記分類部は、前記生体画像における所定サイズのブロック単位で、前記明度、前記色度、並びに、前記傾斜方向および前記傾斜強度に基づいて、前記各領域に含まれる前記各被写体を前記生体組織又は前記生体組織以外のものに分類する
   画像処理装置。
2. 前記所定サイズのブロックは、前記所定サイズよりも小さいサイズの複数の小ブロックから構成され、
   前記小ブロック単位の傾斜強度のヒストグラムの移動加算を求め前記移動加算となるヒストグラムを前記小ブロック単位の傾斜偏り特徴量として求める傾斜偏り計算部をさらに含む
   請求項１に記載の画像処理装置。
3. 前記傾斜偏り計算部は、前記ブロック単位で、複数の前記小ブロック単位の傾斜強度のヒストグラムの移動加算を求め前記移動加算となるヒストグラムの上位の傾斜強度を前記所定サイズのブロック単位の傾斜偏り特徴量として計算し、
   前記分類部は、ブロック単位の前記明度、前記色度、並びに、前記傾斜偏り特徴量に基づいて、前記生体画像内の被写体を分類する
   請求項２に記載の画像処理装置。
4. 前記傾斜偏り計算部は、前記移動加算となるヒストグラムの所定の上位順位までの傾斜強度の和を前記所定サイズのブロック単位の傾斜偏り特徴量として計算する
   請求項３に記載の画像処理装置。
5. 前記分類部は、前記生体組織以外のものとして、前記生体画像内の術具、ガーゼ、マスク外、血だまり、又は高輝度部のうちのいずれかに分類する
   請求項１に記載の画像処理装置。
6. 前記分類部は、前記生体画像内の前記各領域に含まれる前記各被写体を生体組織以外の術具、ガーゼ、マスク外、血だまり、又は高輝度部のうちのいずれかに分類し、いずれのものにも分類されない領域の被写体を生体組織として分類する
   請求項５に記載の画像処理装置。
7. 前記分類部は、ニューラルネットワークを用いた分類器より構成される
   請求項１に記載の画像処理装置。
8. 前記分類部は、ブースティングを用いた機械学習を用いた分類器より構成される
   請求項１に記載の画像処理装置。
9. 前記生体画像のうち、前記生体組織として分類された前記領域の輝度の情報に基づいて、前記医療用撮像装置における露出を調整する露出調整部をさらに含む
   請求項１に記載の画像処理装置。
10. 前記生体画像内において、前記生体組織として分類された前記領域の情報のみに基づいて、前記医療用撮像装置における焦点を調整する焦点調整部をさらに含む
    請求項１に記載の画像処理装置。
11. 前記生体画像のうち、前記生体組織として分類された前記領域の動きの情報に基づいて、前記生体画像のブレを補正するブレ補正部をさらに含む
    請求項１に記載の画像処理装置。
12. 前記分類部の分類結果に基づいて、分類された被写体の種別に対応する、前記生体画像上の位置にハッチングを付するように画像を処理する画像処理部と、
    前記画像処理部により処理がなされた生体画像の表示を制御する表示制御部とをさらに含む
    請求項１に記載の画像処理装置。
13. 前記表示された生体画像上に、再学習が必要とされる再学習範囲を指定すると共に正解の被写体を示す正解ラベルを指定する操作部をさらに含み、
    前記分類部は、前記再学習範囲において、前記正解ラベルに対応する被写体を分類するように再学習する
    請求項１２に記載の画像処理装置。
14. 前記生体画像は、内視鏡装置により撮像される内視鏡画像である
    請求項１に記載の画像処理装置。
15. 医療用撮像装置により生体組織を含む生体内を撮像して生成された生体画像を平滑化し、
    前記生体画像が平滑化された平滑化画像に基づいて、前記生体画像内の各領域に含まれる各被写体を分類する分類ステップと、
    前記平滑化画像の各画素の画素値より明度、色度、および輝度に変換する変換ステップと、
    前記平滑化画像における各画素の輝度の傾斜方向および傾斜強度を求める輝度傾斜計算ステップとを含み、
    前記分類ステップの処理は、前記生体画像における所定サイズのブロック単位で、前記明度、前記色度、並びに、前記傾斜方向および前記傾斜強度に基づいて、前記各領域に含まれる前記各被写体を前記生体組織又は前記生体組織以外のものに分類する
    画像処理装置の作動方法。
16. 医療用撮像装置により生体組織を含む生体内を撮像して生成された生体画像を平滑化する平滑化部と、
    前記平滑化部により前記生体画像が平滑化された平滑化画像に基づいて、前記生体画像内の各領域に含まれる各被写体を分類する分類部と、
    前記平滑化画像の各画素の画素値より明度、色度、および輝度に変換する変換部と、
    前記平滑化画像における各画素の輝度の傾斜方向および傾斜強度を求める輝度傾斜計算部とを含み、
    前記分類部は、前記生体画像における所定サイズのブロック単位で、前記明度、前記色度、並びに、前記傾斜方向および前記傾斜強度に基づいて、前記各領域に含まれる前記各被写体を前記生体組織又は前記生体組織以外のものに分類する
    画像処理装置と、
    前記生体画像を撮像する撮像部を含む
    医療用撮像装置とからなる
    医療用撮像システム。

Images