JP6960773B2

JP6960773B2 - 撮像画像処理システム

Info

Publication number: JP6960773B2
Application number: JP2017104206A
Authority: JP
Inventors: 杏菜田嶋; 賢一西澤; 治小沢; 泉西舘
Original assignee: NATIONAL UNIVERSITY CORPORATION TOKYO UNIVERSITY OF AGRICULUTURE & TECHNOLOGY; Ikegami Tsushinki Co Ltd
Current assignee: NATIONAL UNIVERSITY CORPORATION TOKYO UNIVERSITY OF AGRICULUTURE & TECHNOLOGY; Ikegami Tsushinki Co Ltd
Priority date: 2017-05-26
Filing date: 2017-05-26
Publication date: 2021-11-05
Anticipated expiration: 2037-05-26
Also published as: JP2018198703A

Description

本発明は、特に、ヘモグロビンを含む生体組織の酸素指標分布を可視化することで、使用者、例えば、医師が、局所的な生体組織の酸素欠乏と、その程度に関する情報を認識しやすくする撮像画像処理システムに関するものである。

従来から、ヘモグロビンの酸化還元による吸光度の変化の大きい波長に着目し、分光的なアプローチにより、該当する波長の分光感度を高めるような照明及び撮像素子を組み合わせることで、酸素飽和度の２次元分布を画像化（以下、特殊撮影とする。）することがなされている。

何れも、白色光照明下で、観察される生体組織のカラー画像も撮影（以下、通常撮影とする。）できるような工夫がなされているが、特殊な分光感度との切り替えのために、光学的、機械的、或いは、電気的な構造が必要となっている。

例えば、特許文献１に開示されている技術は、回転する色フィルタにＲＧＢの３バンド及び特殊な狭帯域の３バンドのフィルタを並べており、所望の画像を得るために、必要なフィルタが光源を通過するタイミングに合わせて光源を明滅させる構造が必要となる。

また、特許文献２に開示されている技術は、回転する色フィルタにＲＧＢの３バンド及び特殊な狭帯域の３バンドのフィルタが、それぞれ外径側、又は、内径側に配置されており、所望の画像を得るために必要なフィルタが光源を通過するように、フィルタの回転軸を移動させる構造が必要となる。

さらに、特許文献３に開示されている技術は、通常撮影及び特殊撮影のための白色光と、特殊撮影だけのための狭帯域の青色光を時分割で照射するもので、照明光学系を２系統必要としている。そして、本文献中の実施形態２及び４において、特殊撮影のための狭帯域の青色光に加えて緑と赤色光の感度を実現する光を補完することで、１系統の照明光学系のみで、通常撮影及び特殊撮影を実現することができるとしている。

特許第２６４８４９４号公報特許第２８１０７１８号公報特許第５９１４４９６号公報

しかしながら、上記特許文献３に開示されている技術では、可視光線の限定されたスペクトルのみの利用となるために、通常撮影における色再現性に問題があるとされている。また、上記の従来技術において、通常撮影において用いられている分光感度は、人の目の分光感度とは異なっており、対象物を撮影した画像をディスプレイに表示したときの色再現性が、人の目で直接対象物を観察したときのものとは、異なった印象を受けてしまう。

本発明は、上述の課題を解決するためのもので、ヘモグロビンを含む生体組織の酸素指標分布を可視化することで、使用者が、局所的な生体組織の酸素欠乏と、その程度に関する情報を認識しやすくするとともに、通常撮影においても、色再現性が極めて良好な撮像画像処理システムを提供することにある。

上述の課題に対応するため、本発明は、以下の技術的手段を講じている。
即ち、請求項１記載の発明は、ヘモグロビンを含む対象物を当該対象物の表面側又は裏面側から照明する照明装置と、前記照明装置により照明された前記対象物を光学系を介して撮像する撮像装置と、前記撮像装置に接続され、前記撮像装置により撮像することで得られる撮像画像の画像補正を行う画像補正部と、前記画像補正部により画像補正された撮像画像を記録及び再生する画像記録部と、前記画像補正部により画像補正された標準色空間に基づく撮像画像、又は、前記画像記録部により再生される標準色空間に基づく撮像画像の色を所定の色域に変換することで、色再現画像を生成する色再現部と、前記画像補正部により画像補正された撮像画像、又は、前記画像記録部により再生される撮像画像の各画素値に対応して、前記対象物の指標に応じた指標画素値に変換することで、指標画像を生成する指標画像変換部と、カラーテーブルに基づいて、前記指標画像の画素値に任意の色を割り当てて、指標表示画像を生成する色割当部と、前記色再現画像と、前記指標表示画像とにより、画面構成情報を生成する画面構成部とを有する画像処理装置と、前記画像処理装置に接続され、前記画面構成部により生成される画面構成情報に基づいた画面を出力表示する表示装置とを具備し、前記所定の色域は、前記表示装置の色域に応じたものであり、前記色再現部は、前記標準色空間が、ＸＹＺ表示系でない場合は、当該標準色空間を３行３列の行列により、ＸＹＺ色空間に変換処理を行い、続いて、ＸＹＺ色空間に変換した画像を表示色空間に変換する処理を行うものであり、前記撮像装置は、撮像した前記対象物のＮチャネル（Ｎは、３以上の整数）の撮像画像を出力するものであり、且つ、各チャネルの分光感度の線形結合が、人の目の感度を表す等色関数に一致するものであることを特徴とする撮像画像処理システムである。

次に、請求項２記載の発明は、ヘモグロビンを含む対象物を当該対象物の表面側又は裏面側から照明する照明装置と、前記照明装置により照明された前記対象物を光学系を介して撮像する撮像装置と、前記撮像装置により撮像することで得られる撮像画像を記録及び再生する画像記録装置と、前記撮像装置と、前記画像記録装置に接続され、前記撮像装置により撮像することで得られる標準色空間に基づく撮像画像、又は、前記画像記録装置により再生される標準色空間に基づく撮像画像の画像補正を行う画像補正部と、前記画像補正部により画像補正された撮像画像の色を所定の色域に変換することで、色再現画像を生成する色再現部と、前記画像補正部により画像補正された撮像画像の各画素値に対応して、前記対象物の指標に応じた指標画素値に変換することで、指標画像を生成する指標画像変換部と、カラーテーブルに基づいて、前記指標画像の画素値に任意の色を割り当てて、指標表示画像を生成する色割当部と、前記色再現画像と、前記指標表示画像とにより、画面構成情報を生成する画面構成部とを有する画像処理装置と、前記画像処理装置に接続され、前記画面構成部により生成される画面構成情報に基づいた画面を出力表示する表示装置とを具備し、前記所定の色域は、前記表示装置の色域に応じたものであり、前記色再現部は、前記標準色空間が、ＸＹＺ表示系でない場合は、当該標準色空間を３行３列の行列により、ＸＹＺ色空間に変換処理を行い、続いて、ＸＹＺ色空間に変換した画像を表示色空間に変換する処理を行うものであり、前記撮像装置は、撮像した前記対象物、又は、前記対象物のＮチャネル（Ｎは、３以上の整数）の撮像画像を出力するものであり、且つ、各チャネルの分光感度の線形結合が、人の目の感度を表す等色関数に一致するものであることを特徴とする撮像画像処理システムである。

また、請求項３記載の発明は、請求項１記載の撮像画像処理システムであって、前記画像記録部は、前記画像補正部により画像補正された撮像画像を任意期間における動画像、及び、間欠動画像、並びに、任意時刻のフレームを静止画像として記録することができるとともに、前記動画像、及び、前記間欠動画像を再生、又は、前記任意時刻のフレームを静止画像として再生する機能を有することを特徴としている。

そして、請求項４記載の発明は、請求項２記載の撮像画像処理システムであって、前記画像記録装置は、前記撮像装置により撮像することで得られる撮像画像を任意期間における動画像、及び、間欠動画像、並びに、任意時刻のフレームを静止画像として記録することができるとともに、前記動画像、及び、前記間欠動画像を再生、又は、前記任意時刻のフレームを静止画像として再生する機能を有することを特徴としている。

さらに、請求項５記載の発明は、請求項１又は３記載の撮像画像処理システムであって、前記画像記録部は、前記画像補正部により画像補正された撮像画像、前記画像記録部により再生される動画像、及び、間欠動画像について、任意時刻のフレームを静止画像として記録し、当該静止画像を再生する機能を有することを特徴としている。

そして、請求項６記載の発明は、請求項２又は４記載の撮像画像処理システムであって、前記画像記録装置は、前記撮像装置により撮像することで得られる撮像画像、前記画像記録装置により再生される動画像、及び、間欠動画像について、任意時刻のフレームを静止画像として記録し、当該静止画像を再生する機能を有することを特徴としている。

またさらに、請求項７記載の発明は、請求項１〜６何れか１項記載の撮像画像処理システムであって、前記画像補正部は、前記照明装置の経年変化や、当該照明装置と、前記対象物との位置関係の変動により生じる撮像画像上の輝度変化を一定に補正する画像レベル補正機能、及び、前記照明装置の空間照度分布、及び、光学系の作用により生じる撮像画像上の面内輝度、及び、色のむらを均一に補正する、むら補正機能を有しており、前記画像レベル補正機能は、既知の反射率の白色板を撮像することにより、画像レベル補正係数を求め、当該画像レベル補正係数を前記各チャネル全ての全画素に乗じる処理を行うことで、前記輝度変化を一定に補正し、前記むら補正機能は、均一照度面を撮像することによって、むら画像を取得し、当該むら画像の各画素値の逆数に、当該むら画像の中心座標における画像レベルを乗じることで、むら補正係数画像を求め、さらに、当該むら補正係数画像を前記撮像画像に乗じる処理を行うことで、前記面内輝度、及び、色のむらを均一に補正することを特徴としている。

そして、請求項８記載の発明は、請求項１〜７何れか１項記載の撮像画像処理システムであって、前記色割当部は、指標の種類によって、異なるカラーテーブルを選択し、当該カラーテーブルに基づいて、前記指標画像の画素値に任意の色を割り当て可能であることを特徴としている。

また、請求項９記載の発明は、請求項１〜８何れか１項記載の撮像画像処理システムであって、前記画面構成部は、前記画像処理装置に接続される入力装置を用いて任意形状の関心領域が設定されると、前記表示装置の画面上に表示された前記色再現画像、及び、前記指標表示画像に、設定された前記関心領域を描画表示し、前記画像処理装置は、前記表示装置の画面上に表示された前記色再現画像、及び、前記指標表示画像に描画表示された前記関心領域に含まれる前記指標表示画像の画素値から、指標値の統計量を計算する関心領域処理部を有していることを特徴としている。

さらに、請求項１０記載の発明は、請求項９記載の撮像画像処理システムであって、前記画面構成部は、前記画像処理装置に接続される入力装置を用いて前記指標の許容範囲が設定されると、前記指標値の統計量が、前記許容範囲を逸脱した際には、前記表示装置の画面上に表示された前記色再現画像、及び、前記指標表示画像に描画表示されている関心領域を所定の色に変更、又は、所定のパターンに変更、或いは、点滅させることを特徴としている。

そして、請求項１１記載の発明は、請求項９記載の撮像画像処理システムであって、前記画面構成部は、前記画像処理装置に接続される入力装置を用いて前記指標の許容範囲が設定されると、前記指標値の統計量が、前記許容範囲を逸脱した際には、前記画像処理装置に接続される音声再生装置により、警告音を発生させることを特徴としている。

また、請求項１２記載の発明は、請求項１〜１１何れか１項記載の撮像画像処理システムであって、前記画面構成部に対し、前記表示装置に、前記色再現画像と、前記指標表示画像の、何れか一方を出力表示させる画面構成情報を生成する指令、又は、前記色再現画像と、前記指標表示画像とを並べて出力表示させる画面構成情報を生成する指令を切り替えて送ることができる切替器が、前記画像処理装置に接続されていることを特徴としている。

本発明によれば、例えば、外科手術の際に、生体組織の酸素飽和度が局所的に低下した場合、撮像により得られる画像を処理して、酸素飽和度の分布を可視化することで、医師が、局所的な生体組織の酸欠と、その程度に気づきやすくなり、生体組織の損傷を防止することが可能となる。また、通常撮影においても、色再現性の良い画像を得ることができる。

本発明に係る撮像画像処理システムの第１の実施形態を示したブロック図である。本発明に係る撮像画像処理システムの第１の実施形態における画像補正部による処理フローを示したものである。本発明に係る撮像画像処理システムの第１の実施形態における画面構成部による画面構成情報を示したもので、（ａ）は色再現画像のみ、（ｂ）は指標表示画像のみ、（ｃ）は色再現画像と指標表示画像の併置、（ｄ）は色再現画像と複数種類の指標表示画像の併置を表している。本発明に係る撮像画像処理システムの第１の実施形態において、関心領域の境界線が、表示装置の画面上に表示される色再現画像又は、指標表示画像上に重畳して描画されている状態を示したものである。モル濃度２．３×１０^−３mol/litter、厚さ０．１mmの血液層に標準イルミナントであるＤ６５の光を当てて透過した光について、血液層の酸化ヘモグロビンの総ヘモグロビンの割合の変化に対する三刺激値ＸＹＺの変化を表したグラフである。本発明に係る撮像画像処理システムの第２の実施形態を示したブロック図である。

本発明に係る撮像画像処理システムの第１の実施形態について図面を参照しながら説明する。図１は、本発明に係る撮像画像処理システムの第１の実施形態を示したブロック図である。なお、符号については、１０が撮像画像処理システム、１２が照明装置、１４が撮像装置、１６が画像補正部、１８が画像記録部、２０が色再現部、２２が指標画像変換部、２４が色割当部、２６が画面構成部、２８が画像処理装置、３０が表示装置、３２が入力装置、３４は関心領域処理部を示している。

本実施形態における撮像画像処理システム１０は、図１に示すように、まず、ヘモグロビンを含む対象物を表面又は裏面から照明する照明装置１２と、照明装置１２により照明された対象物を光学系を介して撮像する撮像装置１４と、撮像装置１４に接続される画像処理装置２８を備えている。

そして、画像処理装置２８は、撮像装置１４により撮像することで得られる撮像画像の画像補正を行う画像補正部１６と、画像補正部１６により画像補正された撮像画像を記録及び再生する画像記録部１８と、画像補正部１６により画像補正された撮像画像、又は、画像記録部１８により再生される撮像画像の色を所定の色域に変換することで、色再現画像を生成する色再現部２０を有している。

さらに、画像処理装置２８は、画像補正部１６により画像補正された撮像画像、又は、画像記録部１８により再生される撮像画像の各画素値に対応して、対象物の指標に応じた指標画素値に変換することで、指標画像を生成する指標画像変換部２２と、カラーテーブルに基づいて、指標画像の画素値に任意の色を割り当てて、指標表示画像を生成する色割当部２４と、色再現画像と、指標表示画像とにより、画面構成情報を生成する画面構成部２６を有している。

続いて、本実施形態における撮像画像処理システム１０は、画像処理装置２８に接続され、画面構成部２６により生成される画面構成情報に基づいた画面を出力表示する表示装置３０を具備している。そして、本実施形態における撮像画像処理システム１０では、色再現部２０により、撮像画像の色が変換される際の所定の色域は、表示装置３０の色域に応じたものであり、撮像装置１４は、撮像した対象物のＮチャネル（Ｎは、３以上の整数）の撮像画像（カラー動画像）を出力するものであり、且つ、各チャネルの分光感度の線形結合が、人の目の感度を表す等色関数に一致するものである。

ここで、生体組織の酸素飽和度の変化は、色の変化として人の目で認識することができるものである。例えば、図５にあるモル濃度２．３×１０^−３mol/litter、厚さ０．１mmの血液層に標準イルミナントであるＤ６５の光を当てて透過した光について、血液層の酸化ヘモグロビンの総ヘモグロビンの割合の変化に対する三刺激値ＸＹＺの変化を表したグラフに示すように、三刺激値に変化が生じることから、酸素飽和度の変化を人の目で認識することができる。

本実施形態では、演色性の高い照明と、Ｎチャネル（Ｎは、３以上の整数）の分光感度の線形結合が、人の目の感度を表す等色関数に一致するように設計された分光感度をもつカメラ（撮像装置１４）を採用することで、ＸＹＺ画像など、人の目に忠実な数値からなる画像を得ることで、ディスプレイモニタ（表示装置３０）での色再現性をＲＧＢカメラよりも高められることを保証するとともに、得られた画像の色の変化から酸素飽和度を推定することができるわけである。

つまり、単純な照明・光学系だけで撮像された画像から、ディスプレイモニタ（表示装置３０）上に忠実に色再現した画像を表示することと、酸素飽和度の分布を表示することとを両立し、同時に処理することができるものである。

これは、例えば、画像を遠隔地に伝送したり、録画して後から確認する場合に、撮像した画像のみ伝送及び録画するだけで、観察者が、任意に色再現画像と、酸素飽和度分布画像の表示を切り替えたり、各画像を同時に観察することができるようになるというメリットが生じる。

続いて、本実施形態における撮像画像処理システム１０について、より詳細に説明していく。本実施形態において、対象物は、ヘモグロビンを含む生体組織、又は、生体組織を模したヘモグロビンを含む物体を意味していて、生体組織酸素指標には、例えば、組織酸素飽和度や、総血流量、ヘモグロビン濃度といったものを想定している。

また、照明装置１２は、可視光線の波長の範囲で、分光放射強度の変化の小さい演色性の高い白色光を照射する光源を採用する。さらに、照明装置１２の形態には、表面から照明するものには、例えば、リングライト、無影灯、実体顕微鏡に内蔵された同軸落射照明などがあり、裏面から照明するものには、例えば、ライトボックス、透過型顕微鏡の照明などがある。なお、表面から照明するものには、生体組織表面での照明光の鏡面反射成分の除去のために、偏光板を挿入する場合がある。

続いて、撮像装置１４には、生体組織をレンズ、プリズム、ミラーなどから構成される光学系を介して撮像し、Ｎチャネルの撮像画像（カラー動画像）を出力できるカメラで、光学系の分光透過率と、撮像センサの分光感度の積で表されるＮチャネルの分光感度の線形結合が、人の目の感度を表す等色関数に一致するように設計され、視覚に忠実なカラー動画像を出力できるものを用いる。例として、分光感度に等色関数を採用した３チャネル出力のカメラや、多チャネル出力のマルチスペクトルカメラを用いるのが好ましい。なお、撮像装置１４が出力するＮチャネルのカラー画像の色空間を以下、撮像色空間と呼ぶ。

そして、画像補正部１６は、撮像装置１４から送られてきたＮチャネル（Ｎは、３以上の整数）の撮像画像（カラー動画像）に対して、照明装置１２の経年変化（光源、電源、光学系等の経年変化）や、照明装置１２と、対象物との位置関係の変動により生じる撮像画像上の輝度変化を一定に補正する画像レベル補正処理、そして、照明装置１２の空間照度分布、光学系の作用により生じる撮像画像上の面内輝度や色のむらを均一にするむら補正処理（照明のむらの分布を保持し、その分布が平坦になるように、画像の輝度や、色のむらを除去する）を行う。

また、画像補正部１６は、画像のシャープネスを調整や、ノイズを低減などを行うフィルタ処理、光学系の結像に伴う画像の幾何学的歪みや、倍率色収差を除去する幾何学的補正処理、撮像色空間からＸＹＺ表色系などの標準色空間に変換する色空間変換処理を行うことができる。なお、撮像色空間画像に適用されているガンマが、１．０でない場合は、画像レベル補正処理の前に、ガンマが１．０となるように変換しておく。

上記、画像レベル補正処理は、既知の反射率の白色板を撮像装置１４で撮像することにより、画像レベル補正係数を求め、この画像レベル補正係数を各チャネル全ての全画素に乗じる処理を行うことで、輝度変化を一定に補正するというもので、具体的には、撮像装置１４で、仮に、反射率１００％の完全拡散反射板を撮像したときの、特定のチャネル（i_base)の画像レベル（S_ref, _{i_base}）が、規定の値（S_perfect, _{i_base}）となるように画像レベルを規格化する処理を行う。

なお、本処理の校正のために、反射率１００％の完全拡散反射板の代替として、反射率Refの白色板を撮像し、次式（数１）で示される画像レベル補正係数C_levelを求めておく。

画像レベル補正処理においては、次式（数２）に示すように、画像の全チャネルの全画素に画像レベル補正係数C_levelを乗じる。対象物上の照度変化が見込まれるたびに、白色板を撮像して、校正することで、常に一定のレベルの画像が得られることになる。

続いて、むら補正処理は、均一照度面を撮像装置１４により撮像することにより、むら画像を取得し、このむら画像の各画素値の逆数に、むら画像の中心座標における画像レベルを乗じることで、むら補正係数画像を求め、さらに、むら補正係数画像を撮像画像に乗じる処理を行うことで、面内輝度、及び、色のむらを均一に補正するものである。

具体的には、事前の校正として、反射率が一様な面を撮像装置１４で、画角全体が面で満たされるように撮像しておいたむら画像S_shade,_i(x,y)をもとに、むら画像の各画素値の逆数に、むら画像の中心座標(xc,yc)における画像レベルS_shade,_i(xc,yc)を乗じたむら補正係数画像C_shade,_i(x,y)を用意しておく（次式（数３）参照）。

ここで、S_shade,_i(x,y)は、(xc,yc)を中心とする複数画素の平均画素値としても良い。そして、むら補正処理は、補正前の画像に対して、むら補正係数画像を乗じることで実施される（次式（数４）参照）。

ここで、標準色空間は、ＸＹＺ表色系など、視覚で認識できる全ての色を包含する３チャネルの色空間とする。また、撮像色空間から標準色空間への変換は、次式（数５）に示すように、３行Ｎ列の行列［a_ij］との積で表される。

次に、フィルタ処理、幾何学的補正処理を加えた処理手順は、例えば、図２のようになる。そして、画像補正部１６において補正された画像は、画像記録部１８、色再現部２０及び、指標画像変換部２２に送られることになる。

画像記録部１８は、磁気テープ、磁気ディスク、光学ディスク、半導体メモリなどの記録媒体を有し、この記録媒体に、任意期間の動画像、及び、間欠動画像、又は、任意時刻のフレームを静止画像として圧縮、又は、非圧縮形式で記録できるものを用いる。

そして、記録された動画像、及び、間欠動画像の任意期間、又は、静止画像は、再生させることで、色再現部２０、及び、指標画像変換部２２に送られる。また、動画像、及び、間欠動画像の再生時に、これらの任意時刻のフレームを静止画像として、再び、画像記録部１８に記録することができるようになっている。

続いて、色再現部２０は、画像補正部１６、又は、画像記録部１８から送られてきた標準色空間に基づく画像について、表示装置３０の表示色空間に適合するように色変換を行う。標準色空間が、ＸＹＺ表色系でない場合は、標準色空間は、色再現部２０の内部にて、一旦、３行３列の行列により、ＸＹＺ色空間に変換処理される。また、標準色空間が、ＸＹＺ表色系の場合には、この変換処理は行われない。

次に、ＸＹＺ色空間に変換された画像は、色再現部２０の内部にて表示色空間に変換される。ＸＹＺ色空間から、表示色空間に変換するパラメータは、１つの方法では、例えば、表示装置３０が、ＲＧＢ三原色のカラーディスプレイの場合には、三原色、及び、白色の色度座標と、ＲＧＢの逆ガンマ値で表される。

三原色、及び、白色の色度座標により、ＸＹＺ色空間から、各チャネルの最大値が１．０に規格化された規格化ＲＧＢ色空間に変換する３行３列の行列が求められ、この行列によって、ＸＹＺ色空間から、規格化ＲＧＢ色空間に変換された画素値を逆ガンマ処理した上で、２４ビットＲＧＢ値へと変換される。

ここで、２４ビットＲＧＢ値は、表示色空間の各チャネルＲ、Ｇ、Ｂをそれぞれ、８ビット整数値で表したものとする。さらに、もう１つの方法では、ＸＹＺ色空間から、２４ビットＲＧＢ値に対応付けられたルックアップテーブルで表される。そして、これらのパラメータは、色再現部２０に保持される。

このようにして色変換された画像は、対象物を目で見たときと同じ色で表示装置３０上に再現されるため、色再現画像と呼ばれ、この色再現画像は、色再現部２０から、画面構成部２６へと送られる。

続いて、指標画像変換部２２は、画像補正部１６、又は、画像記録部１８から送られてきた標準色空間に基づく画像について、指標毎に規定された多項式に基づき、画素単位で各生体組織酸素指標値を求めた複数の指標画像に変換する。

標準色空間画像上の、ある座標（x,y）のチャネルiの画素値をS_i(x,y)とすると、該当座標における生体組織酸素指標値I(x,y)は、例えば、１次多項式ならば、次式（数６）で表される。

また、２次多項式ならば、次式（数７）で表される。

なお、これらの多項式には、次式（数８）で表される色度s_iの項を加えても良い。

これらの多項式の係数a₀〜a₃、a₁₁〜a₃₁は、別途求めた数値、又は、数値をまとめたファイルをタッチパネルや、キーボードなどの入力装置３２を用いて直接設定する。多項式の係数は、変換する指標の種類毎に用意されるものである。また、異なる種類の指標同士の四則演算により、別の指標を計算することもできる。このようにして得られる指標画像の画素値は、固定小数点数、或いは、浮動小数点数で表現される。そして、複数の指標画像は、色割当部２４、及び関心領域処理部３４に送られる。

色割当部２４は、指標画像の各画素値を０から２５５の８ビット整数値に変換し、各８ビット整数に２４ビットＲＧＢ値を割り当てるカラーテーブルを指標の種類によって選択参照して、指標値を擬似カラーに変換した指標表示画像に変換する。ここで、24ビットＲＧＢ値は、表示色空間の各チャネルＲ、Ｇ、Ｂをそれぞれ８ビット整数値で表したものとする。

指標画像において、擬似カラーに変換する画素値Iの最小値I_minと、最大値I_maxを指定し、次式（数９）によって８ビット整数値I_8bitに変換する。なお、式中のroundは、四捨五入を意味している。

変換された８ビット整数値をカラーテーブルに則り、２４ビットＲＧＢ値に置換する。カラーテーブルは、生体組織酸素指標の種類によって異なるものを選択可能とする。そして、色割当部２４から出力される指標表示画像は、画面構成部２６へと送られる。

次に、関心領域処理部３４は、色再現画像、及び、指標表示画像上に設定される複数の関心領域の座標情報を保持し、指標画像上の関心領域内における生体組織酸素指標値の統計量を計算する。

この関心領域は、表示装置３０と一体化されたタッチパネル、又は、画面上にカーソルを表示して座標を指定するマウスなどのポインティングデバイスといった入力装置３２を用いて、表示装置３０の画面上の色再現画像、又は、指標表示画像上に重畳するように、領域の境界線を描画することで、色再現画像に対応した座標が設定される。

続いて、指標画像変換部２２から送られてきた指標表示画像上に、設定された複数の関心領域に含まれる全ての画素値から、各関心領域における生体組織酸素指標値の統計量を計算する。この統計量は、例えば、平均値や、中央値がある。そして、各関心領域の座標情報と、生体組織酸素指標値の統計量は、画面構成部２６に送られる。

次に、画面構成部２６は、表示装置３０で表示する画面の描画、及び、レイアウトを実施する。対象物の色再現画像、又は、指標表示画像の他に、関心領域の境界線、及び、関心領域内の生体組織酸素指標値の統計量の数値やグラフ、パラメータ設定メニュー、数値入力用キーパッドなどを必要に応じて、描画、及び、レイアウトする。

また、タッチパネル、又は、マウスなどのポインティングデバイスといった入力装置３２を用いて、色再現画像、又は、指標表示画像上に関心領域を設定する際に、カーソルと、設定途中の関心領域の境界線を描画し、カーソルの移動に応じて、描画を更新する。なお、ポインティングデバイスにより操作されるカーソルの座標は、画面構成部２６により管理される。

対象物の画像については、図３（ａ）の色再現画像のみ、又は、図３（ｂ）の１つの指標表示画像のみ、図３（ｃ）の色再現画像と指標表示画像の併置、或いは、図３（ｄ）の色再現画像と複数種類の指標画像の併置の何れかとなり、その切り替えは、タッチパネルや、キーボードなどのボタン・フットスイッチを用いて随時可能な構成とする。

また、本実施形態では、これらの画像は、画像の任意の領域を任意の倍率で画面上に表示することができ、タッチパネル、又は、マウスなどのポインティングデバイスといった入力装置３２を用いてズームや、スクロールを可能とする。

関心領域の設定については、ポインティングデバイスといった入力装置３２を用いて色再現画像、又は、指標表示画像上に領域の境界線を描画することで、画像に対応した座標が設定される。１つの領域の描画が完了した時点で、描画された境界線の画面上座標から色再現画像、又は、指標表示画像のズーム・スクロール情報を勘案し、画像上の領域境界線座標を求め、この座標を関心領域処理部３４に設定する。

関心領域の描画については、関心領域処理部３４から送られてきた関心領域の座標情報を元に、図４に示すように、各関心領域の境界線を色再現画像、又は、指標表示画像上に重畳するように描画表示する。また、描画表示された関心領域に隣接するように、関心領域の番号、及び、関心領域内の生体組織酸素指標値の統計量を表示可能とする。

また、関心領域の境界線・番号・領域内の生体組織酸素指標値の統計量を領域内の生体組織酸素指標値の統計量に対応する擬似カラーで描画することも選択可能とすることが好ましい。さらに、関心領域内の生体組織酸素指標値の統計量が、入力装置３２を用いて設定された正常値の範囲（許容範囲）を逸脱すると、該当関心領域について、境界線を警告色として設定された色に変更、又は、領域内を警告テクスチャで塗りつぶしたり、点滅表示、音声再生装置を用いて、警告音を発したりすることにより、観察者の注意を喚起する構成とするのが良い。

さらに、画面構成部２６は、必要に応じて動画、及び、静止画表示ボタン、画像記録再生ボタン、パラメータ設定メニュー、数値入力用キーパッドをレイアウトし、必要でないときは、画面上に現れないような構成とするのも良い。そして、これらの要素が、レイアウトされた画面を表示装置３０に送り、表示装置３０は、この画面を表示するようになっている。

また、画面構成部２６に対して、表示装置３０に色再現画像と、指標表示画像の何れか一方を出力表示させる指令、又は、色再現画像と、指標表示画像とを並べて出力表示させる指令を切り替えて送ることができる切替器を画像処理装置２８に接続する構成を採用しても良い。

続いて、本発明に係る撮像画像処理システムの第２の実施形態について図面を参照しながら説明する。図６は、本発明に係る撮像画像処理システムの第２の実施形態を示したブロック図である。なお、符号については、画像記録装置が３６、画像分配装置が３８である以外は、図１と同様である。

本実施形態における撮像画像処理システム１０は、図６に示すように、まず、ヘモグロビンを含む対象物を表面又は裏面から照明する照明装置１２と、照明装置１２により照明された対象物を光学系を介して撮像する撮像装置１４と、撮像装置１４により撮像することで得られる撮像画像を記録及び再生する画像記録装置３６と、撮像装置１４に接続される画像処理装置２８を備えている。

そして、画像処理装置２８は、撮像装置１４により撮像することで得られる撮像画像、又は、画像記録装置３６により再生される撮像画像の画像補正を行う画像補正部１６と、画像補正部１６により画像補正された撮像画像の色を所定の色域に変換することで、色再現画像を生成する色再現部２０を有している。

さらに、画像処理装置２８は、画像補正部１６により画像補正された撮像画像に対応して、対象物の指標に応じた指標画素値に変換することで、指標画像を生成する指標画像変換部２２と、カラーテーブルに基づいて、指標画像の画素値に任意の色を割り当てて、指標表示画像を生成する色割当部２４と、色再現画像と、指標表示画像とにより、画面構成情報を生成する画面構成部２６を有している。

続いて、本実施形態における撮像画像処理システム１０は、画像処理装置２８に接続され、画面構成部２６により生成される画面構成情報に基づいた画面を出力表示する表示装置３０を具備している。そして、本実施形態における撮像画像処理システム１０では、色再現部２０により、撮像画像の色が変換される際の所定の色域は、表示装置３０の色域に応じたものであり、撮像装置１４は、撮像した対象物のＮチャネル（Ｎは、３以上の整数）のカラー動画像を出力するものであり、且つ、各チャネルの分光感度の線形結合が、人の目の感度を表す等色関数に一致するものである。

本実施形態における撮像画像処理システム１０は、第１の実施形態とは異なり、画像記録装置３６を画像記録部１８として画像処理装置２８内に持たず、外部の記録装置として接続するものである。この場合、撮像装置１４と、画像補正部１６との間に画像分配装置３８が挿置され、画像記録装置３６は、画像分配装置３８を介して、画像の記録、及び、再生を行う。なお、画像記録装置３６が、撮像色空間の画像を記録、及び、再生することや、画面構成部２６により、画像記録再生ボタンの画面情報がなくなる以外は、第１の実施形態の機能、効果において異なる点はない。

本発明に係る撮像画像処理システムは、撮像により得られる画像を処理して、酸素飽和度の分布を可視化することができるため、特に、医師が、外科手術の際に、局所的な生体組織の酸欠と、その程度に気づきやすくなることから、生体組織の損傷を防止するという面で、極めて有用なシステムとなる。

１０撮像画像処理システム
１２照明装置
１４撮像装置
１６画像補正部
１８画像記録部
２０色再現部
２２指標画像変換部
２４色割当部
２６画面構成部
２８画像処理装置
３０表示装置
３２入力装置
３４関心領域処理部
３６画像記録装置
３８画像分配装置

Claims

ヘモグロビンを含む対象物を当該対象物の表面側又は裏面側から照明する照明装置と、
前記照明装置により照明された前記対象物を光学系を介して撮像する撮像装置と、
前記撮像装置に接続され、
前記撮像装置により撮像することで得られる撮像画像の画像補正を行う画像補正部と、
前記画像補正部により画像補正された撮像画像を記録及び再生する画像記録部と、
前記画像補正部により画像補正された標準色空間に基づく撮像画像、又は、前記画像記録部により再生される標準色空間に基づく撮像画像の色を所定の色域に変換することで、色再現画像を生成する色再現部と、
前記画像補正部により画像補正された撮像画像、又は、前記画像記録部により再生される撮像画像の各画素値に対応して、前記対象物の指標に応じた指標画素値に変換することで、指標画像を生成する指標画像変換部と、
カラーテーブルに基づいて、前記指標画像の画素値に任意の色を割り当てて、指標表示画像を生成する色割当部と、
前記色再現画像と、前記指標表示画像とにより、画面構成情報を生成する画面構成部と、
を有する画像処理装置と、
前記画像処理装置に接続され、前記画面構成部により生成される画面構成情報に基づいた画面を出力表示する表示装置と、
を具備し、
前記所定の色域は、前記表示装置の色域に応じたものであり、
前記色再現部は、前記標準色空間が、ＸＹＺ表示系でない場合は、当該標準色空間を３行３列の行列により、ＸＹＺ色空間に変換処理を行い、続いて、ＸＹＺ色空間に変換した画像を表示色空間に変換する処理を行うものであり、
前記撮像装置は、撮像した前記対象物のＮチャネル（Ｎは、３以上の整数）の撮像画像を出力するものであり、且つ、各チャネルの分光感度の線形結合が、人の目の感度を表す等色関数に一致するものであることを特徴とする撮像画像処理システム。
ヘモグロビンを含む対象物を当該対象物の表面側又は裏面側から照明する照明装置と、
前記照明装置により照明された前記対象物を光学系を介して撮像する撮像装置と、
前記撮像装置により撮像することで得られる撮像画像を記録及び再生する画像記録装置と、
前記撮像装置と、前記画像記録装置に接続され、
前記撮像装置により撮像することで得られる標準色空間に基づく撮像画像、又は、前記画像記録装置により再生される標準色空間に基づく撮像画像の画像補正を行う画像補正部と、
前記画像補正部により画像補正された撮像画像の色を所定の色域に変換することで、色再現画像を生成する色再現部と、
前記画像補正部により画像補正された撮像画像の各画素値に対応して、前記対象物の指標に応じた指標画素値に変換することで、指標画像を生成する指標画像変換部と、
カラーテーブルに基づいて、前記指標画像の画素値に任意の色を割り当てて、指標表示画像を生成する色割当部と、
前記色再現画像と、前記指標表示画像とにより、画面構成情報を生成する画面構成部と、
を有する画像処理装置と、
前記画像処理装置に接続され、前記画面構成部により生成される画面構成情報に基づいた画面を出力表示する表示装置と、
を具備し、
前記所定の色域は、前記表示装置の色域に応じたものであり、
前記色再現部は、前記標準色空間が、ＸＹＺ表示系でない場合は、当該標準色空間を３行３列の行列により、ＸＹＺ色空間に変換処理を行い、続いて、ＸＹＺ色空間に変換した画像を表示色空間に変換する処理を行うものであり、
前記撮像装置は、撮像した前記対象物、又は、前記対象物のＮチャネル（Ｎは、３以上の整数）の撮像画像を出力するものであり、且つ、各チャネルの分光感度の線形結合が、人の目の感度を表す等色関数に一致するものであることを特徴とする撮像画像処理システム。
前記画像記録部は、前記画像補正部により画像補正された撮像画像を任意期間における動画像、及び、間欠動画像、並びに、任意時刻のフレームを静止画像として記録することができるとともに、前記動画像、及び、前記間欠動画像を再生、又は、前記任意時刻のフレームを静止画像として再生する機能を有することを特徴とする請求項１記載の撮像画像処理システム。
前記画像記録装置は、前記撮像装置により撮像することで得られる撮像画像を任意期間における動画像、及び、間欠動画像、並びに、任意時刻のフレームを静止画像として記録することができるとともに、前記動画像、及び、前記間欠動画像を再生、又は、前記任意時刻のフレームを静止画像として再生する機能を有することを特徴とする請求項２記載の撮像画像処理システム。
前記画像記録部は、前記画像補正部により画像補正された撮像画像、前記画像記録部により再生される動画像、及び、間欠動画像について、任意時刻のフレームを静止画像として記録し、当該静止画像を再生する機能を有することを特徴とする請求項１又は３記載の撮像画像処理システム。
前記画像記録装置は、前記撮像装置により撮像することで得られる撮像画像、前記画像記録装置により再生される動画像、及び、間欠動画像について、任意時刻のフレームを静止画像として記録し、当該静止画像を再生する機能を有することを特徴とする請求項２又は４記載の撮像画像処理システム。
前記画像補正部は、前記照明装置の経年変化や、当該照明装置と、前記対象物との位置関係の変動により生じる撮像画像上の輝度変化を一定に補正する画像レベル補正機能、及び、前記照明装置の空間照度分布、及び、光学系の作用により生じる撮像画像上の面内輝度、及び、色のむらを均一に補正する、むら補正機能を有しており、
前記画像レベル補正機能は、既知の反射率の白色板を撮像することにより、画像レベル補正係数を求め、当該画像レベル補正係数を前記各チャネル全ての全画素に乗じる処理を行うことで、前記輝度変化を一定に補正し、
前記むら補正機能は、均一照度面を撮像することによって、むら画像を取得し、当該むら画像の各画素値の逆数に、当該むら画像の中心座標における画像レベルを乗じることで、むら補正係数画像を求め、さらに、当該むら補正係数画像を前記撮像画像に乗じる処理を行うことで、前記面内輝度、及び、色のむらを均一に補正することを特徴とする請求項１〜６何れか１項記載の撮像画像処理システム。
前記色割当部は、指標の種類によって、異なるカラーテーブルを選択し、当該カラーテーブルに基づいて、前記指標画像の画素値に任意の色を割り当て可能であることを特徴とする請求項１〜７何れか１項記載の撮像画像処理システム。
前記画面構成部は、前記画像処理装置に接続される入力装置を用いて任意形状の関心領域が設定されると、前記表示装置の画面上に表示された前記色再現画像、及び、前記指標表示画像に、設定された前記関心領域を描画表示し、
前記画像処理装置は、前記表示装置の画面上に表示された前記色再現画像、及び、前記指標表示画像に描画表示された前記関心領域に含まれる前記指標表示画像の画素値から、指標値の統計量を計算する関心領域処理部を有していることを特徴とする請求項１〜８何れか１項記載の撮像画像処理システム。
前記画面構成部は、前記画像処理装置に接続される入力装置を用いて前記指標の許容範囲が設定されると、前記指標値の統計量が、前記許容範囲を逸脱した際には、前記表示装置の画面上に表示された前記色再現画像、及び、前記指標表示画像に描画表示されている
前記関心領域を所定の色に変更、又は、所定のパターンに変更、或いは、点滅させることを特徴とする請求項９記載の撮像画像処理システム。
前記画面構成部は、前記画像処理装置に接続される入力装置を用いて前記指標の許容範囲が設定されると、前記指標値の統計量が、前記許容範囲を逸脱した際には、前記画像処理装置に接続される音声再生装置により、警告音を発生させることを特徴とする請求項９記載の撮像画像処理システム。
前記画面構成部に対し、前記表示装置に、前記色再現画像と、前記指標表示画像の、何れか一方を出力表示させる画面構成情報を生成する指令、又は、前記色再現画像と、前記指標表示画像とを並べて出力表示させる画面構成情報を生成する指令を切り替えて送ることができる切替器が、前記画像処理装置に接続されていることを特徴とする請求項１〜１１何れか１項記載の撮像画像処理システム。