JP2021112220A - 画像処理システム、画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】手術時における術部の出血箇所をより正確に把握することが可能な、画像処理システム、画像処理装置、画像処理方法及びプログラムを提案する。【解決手段】本開示に係る画像処理システムは、白色光を照射する白色光源を少なくとも有し、手術が行われている生体の一部である術部に対し前記白色光を照射する光源装置と、光源装置により白色光が照射された術部の白色光画像を取得する手術用カメラと、異なる時点で取得された複数の前記白色光画像を用い、この複数の白色光画像間における術部の時間変化に基づいて、術部における出血位置を特定する画像処理装置と、を備える。【選択図】図８

Description

本開示は、画像処理システム、画像処理装置、画像処理方法及びプログラムに関する。

医療現場において、生体内部を観察するための機器である内視鏡や顕微鏡等に対して装着が可能な手術用カメラが普及するのに伴い、医師が生体内部の患部を直接肉眼で確認するのではなく、手術用カメラを用いて取得された映像により患部を確認しながら患部を治療する場面が増加している。近年、手術用カメラで取得された画像に対して目的に応じた画像処理を施すことで手術の支援を行う技術が、数多く提案されている。

上記のような手術支援技術の一つとして、例えば、以下の特許文献１には、奥行情報を用いることで立体的な構造や物体間の位置関係の情報を得られやすくする技術が開示されている。この特許文献１では、出血により生じた血溜まりの厚さを解析し、得られた厚さが所定の厚さ以上となった位置を、出血位置として検出する旨が開示されている。

特開２０１６−９３２１０号公報

しかし、血溜まりの下部に存在する臓器表面は平面ではなく、凹凸がある場合が多い。そのため、特許文献１に開示された技術では、出血位置ではない箇所を出血位置であると判断する可能性がある。医療現場において出血位置の正確な特定は、場合によっては患者の生命にも関わる重要な問題であり、出血位置の正確な特定には、なお改善の余地がある。

そこで、本開示では、上記事情に鑑みて、手術時における術部の出血箇所をより正確に把握することが可能な、画像処理システム、画像処理装置、画像処理方法及びプログラムを提案する。

本開示によれば、白色光を照射する白色光源を少なくとも有し、手術が行われている生体の一部である術部に対し前記白色光を照射する光源装置と、前記光源装置により前記白色光が照射された前記術部の白色光画像を取得する手術用カメラと、異なる時点で取得された複数の前記白色光画像を用い、当該複数の白色光画像間における前記術部の時間変化に基づいて、前記術部における出血位置を特定する画像処理装置と、を備える、画像処理システムが提供される。

また、本開示によれば、白色光を照射する白色光源を少なくとも有する光源装置からの前記白色光により照明されている、手術が行われている生体の一部である術部を、手術用カメラにより異なる時点で撮像することで得られる複数の白色光画像を用い、当該複数の白色光画像間における前記術部の時間変化に基づいて、前記術部における出血位置を特定する特定部、を備える、画像処理装置が提供される。

また、本開示によれば、白色光を照射する白色光源を少なくとも有する光源装置からの前記白色光により照明されている、手術が行われている生体の一部である術部を、手術用カメラにより異なる時点で撮像することで得られる複数の白色光画像を用い、当該複数の白色光画像間における前記術部の時間変化に基づいて、前記術部における出血位置を特定すること、を含む画像処理方法が提供される。

また、本開示によれば、白色光を照射する白色光源を少なくとも有し、手術が行われている生体の一部である術部に対し前記白色光を照射する光源装置、及び、前記光源装置により前記白色光が照射された前記術部の白色光画像を取得する手術用カメラの双方と相互に通信が可能なコンピュータを、前記手術用カメラによって異なる時間で取得された複数の前記白色光画像を用い、当該複数の画像間における前記術部の時間変化に基づいて、前記術部における出血位置を特定する特定部、として機能させるための、プログラムが提供される。

本開示によれば、手術用カメラは、術部の白色光画像を異なる時点で取得し、画像処理装置は、異なる時点で取得された複数の白色光画像間における術部の時間変化に基づいて、術部における出血位置を特定する。

以上説明したように本開示によれば、手術時における術部の出血箇所をより正確に把握することが可能となる。

なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、又は、上記の効果に代えて、本明細書に示されたいずれかの効果、又は、本明細書から把握され得る他の効果が奏されてもよい。

本開示に係る技術思想を用いた内視鏡手術システムの一例を示す図である。 本開示の実施形態に係る画像処理システムの構成を示すブロック図である。 カメラの撮影画像から抽出された特徴点を説明するための説明図である。 同実施形態に係る特徴点の出現位置の予測方法を説明するための模式図である。 同実施形態に係る位置及び姿勢が推定された手術用カメラにより画像を取得する方法を説明するための説明図である。 同実施形態に係る位置及び姿勢が推定された手術用カメラにより画像を取得する方法を説明するための説明図である。 同実施形態に係る血液を検出する方法の一例を説明するための説明図である。 同実施形態に係る血液を検出するために作成された特徴量平面の一例を示す模式図である。 同実施形態に係る血液の分布が表示された画像を示す模式図である。 同実施形態に係る出血を判定する方法の一例を説明するための説明図である。 同実施形態に係る出血位置を特定する方法の一例を説明するための説明図である。 同実施形態に係る出血量を算出する方法の一例を説明するための説明図である。 同実施形態に係る出血量を算出する方法の一例を説明するための説明図である。 同実施形態に係る出血量を算出する方法の一例を説明するための説明図である。 同実施形態に係る出血量を算出する方法の一例を説明するための説明図である。 同実施形態に係る白色光画像を用いて得られた血液の分布が表示された画像を示す模式図である。 同実施形態に係る近赤外光画像を用いて得られた血液の分布が表示された画像を示す模式図である。 同実施形態に係る出力方法の一例を説明するための説明図である。 同実施形態に係る出力方法の一例を説明するための説明図である。 同実施形態に係る制御システムのハードウェア構成例を示す図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。

なお、説明は以下の順序で行うものとする。
＜１．構成＞
＜１−１．内視鏡手術システム１の構成＞
＜１−２．画像処理システム１０の構成＞
＜２．動作＞
＜３．ハードウェア構成＞
＜４．結び＞

＜１．構成＞
＜１−１．内視鏡手術システム１の構成＞
まず、本開示に係る技術が適用され得る内視鏡手術システム１の概略構成を説明する。図１は、本開示に係る技術が適用され得る内視鏡手術システム１の概略的な構成の一例を示す図である。内視鏡手術システム１は、医療現場において開腹手術に代わって行われる内視鏡下手術に用いられる。

内視鏡手術では、腹壁を切って開腹する代わりに、トロッカ２００ａ〜２００ｄと称される開孔器具が患部２３０の腹壁に取り付けられる。トロッカ２００ａ〜２００ｄから手術用カメラ１１０、エネルギ処置具２１０や鉗子２２０が患者の体腔内に挿入される。手術用カメラ１１０によって撮像された患部２３０の画像をリアルタイムで見ながら、エネルギ処置具２１０等によって、例えば、患部２３０を切除する等の処置が行われる。なお、図示は省略しているが、手術用カメラ１１０、エネルギ処置具２１０や鉗子２２０は、術中に、術者、助手、スコピスト又はロボット等によって支持される。

内視鏡下手術が行われる手術室内には、内視鏡手術のための装置類を搭載するカート１９０、患者が横たわるベッド２４０、フットスイッチ２５０が配置される。カート１９０は、医療機器として、例えば、カメラコントロールユニット（Ｃａｍｅｒａ Ｃｏｎｔｒｏｌ Ｕｎｉｔ：ＣＣＵ）１００、光源装置１３０、出力装置１４０、処置具制御装置１５０、気腹装置１６０、レコーダ１７０及びプリンタ１８０の装置を載置している。

（手術用カメラ１１０）
手術用カメラ１１０は、手術が行われている術部の画像を取得する機能を有する。手術用カメラ１１０は、後述する光源装置１３０から術部に照射される光の種類に応じた画像を取得する。手術用カメラ１１０は、例えば、白色光が照射された術部の画像である白色光画像や、近赤外光帯に属する波長を有する近赤外光が照射された術部の画像である近赤外光画像、所定の波長を有するレーザ光が術部に照射されたレーザ光画像等を取得する。白色光画像及び近赤外光画像は、手術用カメラ１１０に複数の撮像素子を備えさせ、白色光画像と近赤外光画像とで異なる撮像素子により撮像されてもよいし、光源装置１３０の光源を切り替えて、単一のイメージャで白色光画像と近赤外光画像とが撮像されてもよい。手術用カメラ１１０により撮像された患部２３０の画像信号は、カメラケーブルを介してＲＡＷデータとしてＣＣＵ１００に伝送される。取得された画像は、レコーダ１７０や、ＣＣＵ１００が有する図２に示すような記憶部１２５０に保存されてもよい。手術用カメラ１１０とＣＣＵ１００とは、カメラケーブルの他、無線による通信方法で接続されてもよい。手術用カメラ１１０としては、例えば、内視鏡や手術用顕微鏡が用いられてよい。なお、図示する例では、硬性の鏡筒を有するいわゆる硬性鏡として構成される手術用カメラ１１０を図示しているが、手術用カメラ１１０は、軟性の鏡筒を有するいわゆる軟性鏡として構成されてもよい。カメラケーブルとしては、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブル等の有線の伝送ケーブルが用いられてもよい。

手術用カメラ１１０には光源装置１３０が接続されており、当該光源装置１３０によって生成された光が、手術用カメラ１１０の先端に設けられた鏡筒の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者の体腔内の観察対象に向かって照射される。

（ＣＣＵ１００）
ＣＣＵ１００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等によって構成され、手術用カメラ１１０及び出力装置１４０の動作を統括的に制御する。具体的には、ＣＣＵ１００は、手術用カメラ１１０から受け取った画像信号に対して、例えば現像処理（デモザイク処理）等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。ＣＣＵ１００は、当該画像処理を施した画像信号を出力装置１４０に提供する。また、ＣＣＵ１００は、手術用カメラ１１０に対して制御信号を送信し、その駆動を制御する。当該制御信号には、倍率や焦点距離等、撮像条件に関する情報が含まれ得る。

（光源装置１３０）
光源装置１３０は、白色光を照射する白色光源を有する。光源装置１３０は、必要に応じて、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。光源装置１３０は、白色光源に加えて、例えば、近赤外光帯に属する波長を有する近赤外光を照射する近赤外光源及び所定の波長を有するレーザ光を照射するレーザ光源の少なくともいずれかを備えることが好ましい。また、光源装置１３０は、異なる波長の近赤外光を照射する近赤外光光源を複数有してもよい。光源装置１３０は、術部を撮影する際の照射光を手術用カメラ１１０に供給する。特殊光観察では、後述するように、術部の出血位置の特定や、出血量の算出等が行われてもよい。また、特殊鋼観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光（すなわち、白色光）に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察（Ｎａｒｒｏｗ Ｂａｎｄ Ｉｍａｇｉｎｇ：ＮＢＩ）が行われてもよい。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察するもの（自家蛍光観察）、又はインドシアニングリーン（ＩＣＧ）等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得るもの等が行われ得る。光源装置１３０は、このような特殊光観察に対応した狭帯域光及び／又は励起光を供給可能に構成され得る。

（出力装置１４０）
出力装置１４０は、ＣＣＵ１００からの制御により、当該ＣＣＵ１００によって画像処理が施された画像信号に基づく画像を表示する。また、出力装置は、ＣＣＵ１００からの制御により所定の音声を発する。

（処置具制御装置１５０）
処置具制御装置１５０は、組織の焼灼、切開又は血管の封止等のためのエネルギ処置具２１０の駆動を制御する。処置具制御装置１５０は、例えば、患部２３０を切断するエネルギ処置具２１０に対して高周波電流を出力する高周波出力装置である。

（気腹装置１６０）
気腹装置１６０は、送気、吸気手段を備え、患者体内、例えば腹部領域に空気を送気して患者の体腔を膨らませる装置である。気腹装置１６０により患者の体腔が膨らむことで、手術用カメラ１１０による視野の確保及び術者の作業空間の確保が可能となる。

（レコーダ１７０）
レコーダ１７０は、手術に関する各種の情報を記録可能な装置である。レコーダ１７０は、手術用カメラ１１０により取得された画像が記録されてもよいし、後述するＣＣＵ１００が有する特徴点検出部１２１０や特徴量検出部１２２０が取得した各種の情報が履歴情報として記録されていてもよい。更に、レコーダ１７０には、本実施形態に係る画像処理システム１０が何らかの処理を行う際に保存する必要が生じた様々なパラメータや処理の途中経過等が適宜記録されてもよい。

（プリンタ１８０）
プリンタ１８０は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。

（フットスイッチ２５０）
フットスイッチ２５０は、術者や助手等の操作をトリガ信号として、ＣＣＵ１００や処置具制御装置１５０を制御する。なお、ＣＣＵ１００や処置具制御装置１５０の制御は、フットスイッチ２５０限られず、タッチパネルや音声入力等によって行われてもよい。

以上、本開示に係る技術が適用され得る内視鏡手術システム１の概略構成について説明した。なお、本開示に係る技術は、上記のような内視鏡手術システムのみならず、顕微鏡を用いた手術に使用される顕微鏡手術システムに対しても適用が可能である。

＜１−２．画像処理システム１０の構成＞
次に、本開示の実施形態に係る画像処理システム１０の構成例について説明する。図２は、本開示の実施形態に係る画像処理システム１０の構成例を示す図である。本開示の実施形態に係る画像処理システム１０は、例えば図１に示したような内視鏡手術システム１等の一機能として実装されることが可能である。以下では、内視鏡手術システム１に、以下で詳述する画像処理システム１０が実装される場合を例に挙げて、詳細な説明を行うものとする。本開示の実施形態に係る画像処理システム１０は、図２に示したように、画像処理装置１２０を備える。この画像処理装置１２０は、例えば、先だって説明したＣＣＵ１００に実装される。この場合に、本開示の実施形態に係る画像処理装置１２０は、内視鏡手術システム１に実装されている手術用カメラ１１０、光源装置１３０、及び、出力装置１４０と相互に連携を取りながら、各種の処理を実施する。また、本開示の実施形態に係る画像処理装置１２０は、図１に示したような内視鏡手術システム１における手術用カメラ１１０、光源装置１３０、及び、出力装置１４０ではなく、これら手術用カメラ１１０、光源装置１３０及び出力装置１４０と同様の機能を有するものと相互に連携を取りながら、各種の処理を実施することも可能である。

本開示の実施形態に係る画像処理装置１２０は、手術用カメラ１１０によって、異なる時点で取得された、白色光源を少なくとも有する光源装置により照明された、手術が行われている生体の一部である術部の複数の画像を用い、当該複数の白色光画像間における術部の時間変化に基づいて、術部における出血位置を特定する。また、画像処理装置１２０は、手術用カメラ１１０によって異なる時点で取得された、白色光画像以外の画像（例えば、近赤外光画像又はレーザ光画像の少なくとも何れかを更に用いて、術部における出血位置等を特定することも可能である。以下では、手術用カメラ１１０によって異なる時点で取得された、様々な種類（白色光画像、近赤外光画像、レーザ光画像など）の複数の画像を、まとめて「複数の画像」と称することとする。本開示の実施形態に係る画像処理装置１２０は、図２に示したように、特徴点検出部１２１０と、特徴量検出部１２２０と、出力制御部１２３０と、光源切替部１２４０と、記憶部１２５０とを備える。

（特徴点検出部１２１０）
本開示の実施形態に係る特徴点検出部１２１０は、手術用カメラ１１０が取得した複数の白色光画像を用い、これら複数の白色光画像をそれぞれ解析することで、白色光画像を特徴づける点である「特徴点」を複数の白色光画像のそれぞれから検出する。本開示の実施形態に係る特徴点検出部１２１０は、図２に示したように、三次元情報取得部１２１１及び血液検出部１２１２を有する。三次元情報取得部１２１１は、手術用カメラ１１０で取得された白色光画像に表示された領域の三次元情報を取得する。血液検出部１２１２は、白色光画像に表示された領域に存在しうる血液を検出し、血液の分布に関する血液分布情報を取得する。三次元情報とは、手術用カメラ１１０で取得された画像領域の位置に関する位置情報、及び、当該画像に表示された領域の立体形状に関する形状情報をいう。特徴点検出部１２１０は、取得した三次元情報や血液の位置情報を特徴量検出部１２２０に送信する。

（三次元情報取得部１２１１）
三次元情報取得部１２１１は、手術用カメラ１１０で取得された白色光画像を解析することで、手術用カメラ１１０の位置や姿勢を推定し、白色光画像に表示された部分の三次元空間での位置を把握して、三次元情報を取得する。このような手術用カメラ１１０の位置や姿勢の推定、白色光画像上に表示された部分の位置の把握等は、ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）等の公知の自己位置推定技術で行うことができる。図３は、カメラの撮影画像から抽出された特徴点を説明するための説明図である。例えば、図３に示すように、術部を撮像した画像を含め、一般的な画像の中には、画像の中に存在する各種の物体の構造や位置関係等を特徴づけるような、様々な特徴点が存在する。そこで、三次元情報取得部１２１１は、画像中に存在する特徴となる点（特徴点ＦＰ）を検出し、この特徴点ＦＰの時間経過を追跡することで、カメラの位置や姿勢の推定、及び、画像上に表示された部分に関する位置の把握等を行うことができる。このような方法を用いて、三次元情報取得部１２１１は、手術用カメラ１１０の位置や姿勢の推定、及び、画像上に表示された部分に関する位置の把握等を行うことができる。上記のような自己位置推定技術を利用することで、三次元情報取得部１２１１は、術中の患者の体動や術者による操作等により手術用カメラ１１０が移動した場合にも、画像に表示された領域の位置を把握することができ、三次元情報を取得することが可能となる。

また、上記のような自己位置推定技術を本開示の技術に適用することで、手術用カメラ１１０の動きについて何らかの仮説が得られる場合には、仮説に基づいた将来の手術用カメラ１１０の位置及び姿勢を用い、それまでに推定されている特徴点の位置を画像上に投影し、特徴点ＦＰの出現位置を予測することができる。図４は、特徴点ＦＰの出現位置の予測方法を説明するための模式図である。位置Ｃ_１に位置する手術用カメラ１１０が物体Ｐを撮像し、領域Ａ_１の画像を取得すると、取得された画像の表示領域Ａ_１から、物体Ｐに関する特徴点ＦＰ_１が抽出される。その後、手術用カメラ１１０が位置Ｃ_１から位置Ｃ_２に移動すると、手術用カメラ１１０は、位置Ｃ_２の位置から表示される表示領域Ａ_２に存在する、物体Ｐに関する特徴点ＦＰ_２を抽出する。さらに、手術用カメラ１１０が位置Ｃ_２から位置Ｃ_３に移動すると、手術用カメラ１１０は、位置Ｃ_３の位置から表示される表示領域Ａ_３に存在する、物体Ｐに関する特徴点ＦＰ_３を抽出する。ここで、手術用カメラ１１０が続いて位置Ｃ_４に移動することが予測されるとき、表示領域Ａ_１における特徴点ＦＰ_１の位置、表示領域Ａ_２における特徴点ＦＰ_２の位置、及び、表示領域Ａ_３における特徴点ＦＰ_３の位置からそれぞれ推定される物体Ｐの位置と、位置Ｃ_３と位置Ｃ_４との位置関係と、に基づき、推定される特徴点ＦＰ_４の位置を表示領域Ａ_４に投影することで、表示領域Ａ_４における特徴点の出現位置を予測することができる。

三次元情報取得部１２１１は、上記の自己位置推定技術を用いて手術用カメラ１１０の位置や姿勢を推定することができる。これにより、三次元情報取得部１２１１は、術中の患者の体動により手術用カメラ１１０が移動して術部が出力装置１４０に表示されていない場合にも、推定した位置をある程度の期間随時保存しておくことで、術部の位置を把握することができる。図５Ａ及び図５Ｂは、位置及び姿勢が推定された手術用カメラ１１０による術部の画像を取得する方法を説明するための説明図である。例えば、手術用カメラ１１０により撮像された画像が術部からずれており、ユーザが把握したい血液Ｂの領域が出力装置１４０に表示されていない場合でも、三次元情報取得部１２１１は、血液Ｂの領域の位置を予測できる。そのため、ユーザは、手術用カメラ１１０を所望の位置に移動させ、出力装置１４０に血液Ｂの領域を表示させることができるし、例えば図５Ｂに示すように、画像の表示領域の位置を把握しながら特定の部分を拡大表示することができる。

（血液検出部１２１２）
血液検出部１２１２は、手術用カメラ１１０により取得された白色光画像を構成する色情報と、三次元情報取得部１２１１により取得された三次元情報とに基づいて、白色光画像に表示された領域における血液を検出し、血液分布情報を取得する。詳細には、白色光画像の中から白色光画像中に存在する血液を識別する識別器を予め作成しておき、作成した識別器を手術用カメラ１１０で取得された白色光画像に適用することで、血液分布情報が得られる。ここで、図６Ａ〜図６Ｃを参照しながら、血液分布情報の取得方法について説明する。図６Ａは、血液を検出する方法の一例を説明するための説明図である。図６Ｂは、血液を検出するために作成された特徴量平面の一例を示す模式図である。図６Ｃは、血液の分布が表示された画像を示す模式図である。

まず、識別器を作成するための学習画像を用いて、血液領域を画像処理装置１２０に学習させる。図６Ａは、学習画像の一例を示す図である。図６Ａでは、学習画像として、臓器表面の一部に血液Ｂが存在する画像を示している。図６Ａでは、点Ｐ１は血液として学習させた部分を示し、点Ｐ２は、臓器領域であると学習させた部分を示している。識別器は、例えば、学習画像に表示された血液領域及び血液領域以外の領域のＲＧＢ等の色情報、並びに、血液領域の三次元情報、及び、臓器表面が表示された臓器領域の三次元情報から算出された表面粗さや表面粗さの標準偏差等に基づいて作成される。図６Ａに示したような学習画像を複数用いて、上記のように血液領域と臓器領域とを学習させ、学習結果データを作成する。学習結果データとして、例えば、図６Ｂに示すように、縦軸を色情報をとし、横軸を表面粗さをとした特徴量平面を作成して、血管領域が示す色情報と表面粗さとの組み合わせが占める特徴量領域と、臓器領域が示す色情報と表面粗さとの組み合わせが占める特徴量領域と、の境界を示す識別面ｆを特定する。例えばこのようにして、画像の中から画像中に存在する血液を識別する識別器を構築すればよいその後、血液検出部１２１２は、構築した識別器（例えば、図６Ｂに示したような特徴量平面における識別面ｆ）を用いて、手術用カメラ１１０により取得された画像において血液が存在する箇所を特定する。具体的には、血液検出部１２１２は、手術用カメラ１１０により取得された画像を所定のサイズに分割し、三次元情報取得部１２１１で取得された三次元情報から、画像の分割された範囲毎にＲＧＢ及び表面粗さを算出する。その後、血液検出部１２１２は、上記の識別面ｆに関する情報に基づき、それぞれの分割された範囲について、得られたＲＧＢと表面粗さの組み合わせが上記の特徴量平面上のいずれの領域にプロットされるかを判断して、画像の分割されたそれぞれの範囲が血液であるかどうか判断する。上記のようにして、図６Ｃに示すように、手術用カメラ１１０で取得された画像における血液Ｂの分布に関する血液分布情報を取得することができる。

また、血液検出部１２１２は、上記の方法により異物の存在を検出することも可能である。例えば、術部に術具を放置した場合、術具が表示された領域の色情報及び表面粗さは、血液領域の色情報及び表面粗さ並びに臓器領域の色情報及び表面粗さと大きく相違する。従って、術具が表示された領域に対応して上記特徴量平面においてプロットされる位置は、血液領域及び臓器領域としてプロットされる位置と著しく異なる。よって、血液検出部１２１２は、異物の存在を検出することが可能となる。また、異物の存在は、上記のような識別器を用いた手法ではなく、公知の各種の物体認識技術を用いて検出することも可能であり、例えば、手術に用いられる様々な術具を物体認識することで、術具の放置を検出することもできる。

（特徴量検出部１２２０）
本開示の実施形態に係る特徴量検出部１２２０は、特徴点検出部１２１０から取得した三次元情報と血液分布情報とを少なくとも用いて、画像に表示されたそれぞれの領域における、血液に関する特徴量を検出する。本開示の実施形態に係る特徴量検出部１２２０は、図２に示したように、出血判定部１２２１、出血位置特定部１２２２及び血液量算出部１２２３を有する。出血判定部１２２１は、手術用カメラ１１０で取得された画像に表示された領域において出血の発生の有無を判定する。出血位置特定部１２２２は、異なる時点で取得された複数の画像を用い、当該複数の画像間における術部の時間変化に基づいて、前記術部における出血位置を特定する機能を有する。血液量算出部１２２３は、手術用カメラ１１０で取得された画像に表示された血液の血液量を算出する。

（出血判定部１２２１）
出血判定部１２２１は、異なる時刻で取得された複数の白色光画像の血液分布情報に基づいて、画像に表示された領域において出血が発生したか否かを判定する。詳細には、出血判定部１２２１は、各時点における白色光画像の血液分布情報に基づいて、血液が存在する領域の面積及び当該面積の変化量を算出し、血液が存在する領域の面積の変化量が所定の閾値を超えたときに、出血が発生したと判定することができる。また、出血判定部１２２１は、後述する血液量算出部１２２３により算出された血液量の変化量に基づいて出血の発生の有無を判定することができる。ここで、血液領域の面積は、取得された白色光画像における血液領域の画素数と表示された白色光画像の倍率とから算出することができ、面積の変化量は、算出された血液領域の面積の時間変化から算出することができる。

ここで、図７を参照して、出血の発生の有無の判定方法を具体的に説明する。図７は、出血の発生の有無の判定方法を説明するための説明図である。図７上段に示すグラフは、縦軸を血液領域の面積とし、横軸を時刻として、取得された白色光画像上の血液領域の面積の推移を示すグラフである。図７中段に示すグラフは、縦軸を血液領域の面積の変化量とし、横軸を時刻として、取得された白色光画像上の血液領域の面積の変化量の推移を示すグラフである。図７下段には、各時刻ｔ_１〜ｔ_６で取得された白色光画像を示している。ここで、各時刻ｔ_１〜ｔ_６は、例えば、それぞれ１０フレームずつ時間が経過した時刻となっている。図７中段に示すように、血液領域の面積の変化量について予め閾値Ｔ（かかる閾値Ｔは、予め第三者によって設定されたものであってもよいし、ユーザによって設定されたものであってもよい。）が設定され、血液領域の面積の変化量が閾値Ｔを超えたときに、出血判定部１２２１は、出血が発生したと判定することができる。図７では、時刻ｔ_２の時点で出血が発生したと判定される。出血判定部１２２１は、各時点の白色光画像について画像処理を施し、各時点の画像間の血液領域の面積の差分を算出する。血液領域の面積の変化量は、図８下段に示すように、各時点の画像間の血液領域の面積の差分である。そのため、手術用カメラ１１０の位置が直前の時点の位置からずれた場合は、そのずれに応じて画像に表示される血液分布が変化するため、所定の術部における血液領域の面積および血液領域の面積の変化量の算出が正確にできなくなる可能性がある。その場合、三次元情報取得部１２１１により取得された三次元情報を基に位置のずれを補正することで、正確に血液領域の面積を算出することが可能となる。

（出血位置特定部１２２２）
出血位置特定部１２２２は、複数の白色光画像が取得された各時点における血液分布情報に基づいて、血液の分布の状態の推移を遡ることで出血位置を特定する。図８は、出血位置を特定する方法を説明するための説明図である。図８上段に示すグラフは、縦軸を血液領域の面積とし、横軸を時刻として、取得された白色光画像上の血液領域の面積を示すグラフである。図８中段には、各時刻ｔ_１〜ｔ_６で取得された白色光画像を示している。ここで、各時刻ｔ_１〜ｔ_６は、例えば、それぞれ１０フレームずつ時間が経過した時刻となっている。図８下段は、図８中段に示した各白色光画像の差分を示した図である。例えば、図８下部の左図は、時刻ｔ_３の時点で取得された白色光画像と時刻ｔ_２の時点で取得された白色光画像の差分を示している。図８下部の左から２番目の図は、時刻ｔ_４の時点で取得された白色光画像と時刻ｔ_３の時点で取得された白色光画像の差分を示している。同様に、図８下部の左から３番目の図及び図８下部の左から４番目の図は、それぞれ時刻ｔ_５の時点で取得された白色光画像と時刻ｔ_４の時点で取得された白色光画像の差分、及び時刻ｔ_６の時点で取得された白色光画像と時刻ｔ_５の時点で取得された白色光画像の差分を示している。白色光画像に表示された領域における血液領域の面積が増加するに伴って、図８中段の図に示すように、表示された血液領域が拡大している。血液領域は、出血位置を起点として拡大するため、出血位置特定部１２２２は、各時点の白色光画像に表示された血液領域を時間方向に遡ることで、出血位置を特定することが可能である。例えば、図８下段に示すように、血液領域の差分が生じる時刻ｔ_２の時点で出血が発生したことを確認することができる。そして、時刻ｔ_３の時点で取得された白色光画像と時刻ｔ_２の時点で取得された白色光画像の差分を示した画像から、出血位置を特定することができる。これにより、従来の技術と比較してより正確に出血位置をユーザは認識することができる。

また、出血位置特定部１２２２は、上記したように、時間の経過に伴って血液の分布の推移を把握することができる。従って、出血位置特定部１２２２は、過去の時点の白色光画像に表示された血液領域と最新の時点の白色光画像に表示された血液領域とを比較し、血液領域が拡大する方向及び拡大する血液領域の変化量を算出することで、将来の血液の分布を推定することが可能である。出血位置特定部１２２２は、例えば、図８上段のグラフに示すように、今度の時刻ｔ_７の時点における血液領域面積を推定することができるし、図８中段右図に示すように、今後の時刻ｔ_７における血液分布を推定することができる。なお、各時点の白色光画像について画像処理及び各時点の白色光画像間の血液領域の面積の差分を算出は、出血位置特定部１２２２が行ってもよい。

また、出血位置特定部１２２２は、光源装置１３０から術部に対して所定の波長を有するレーザ光が照射され、異なる時点でレーザ光が照射されて取得された複数のレーザ光画像を用いて出血位置を特定することも可能である。例えば、光源装置１３０が干渉性の高いレーザ光を発生するレーザ光源を有し、当該レーザ光が血液に照射されると血液によりレーザ光が散乱する。散乱した光はそれぞれ位相が異なるため、手術用カメラ１１０の結像面において散乱光がランダムに干渉し、斑点模様の光強度分布のパターン（いわゆる、スペックルパターン）が得られる。光強度分布のパターンは、物体の動きに応じて動的に変化するため、この光強度分布のパターンを血液流動情報として利用することができる。出血位置では、血液の流出に伴い動きが大きい領域となるため、上記のようなスペックルパターンにおいて、出血位置に近い領域ほど、スペックルパターンから得られるスペックル画像では、その輝度値が大きなものとなるはずである。そこで、出血位置特定部１２２２は、スペックル画像を公知の各種の方法により算出し、算出したスペックル画像における輝度値の分布に基づき、出血位置を特定することができる。

更に、出血位置特定部１２２２は、上記のような各種の方法を用いてそれぞれ出血位置を特定し、各種の方法から得られた出血位置に関する情報を統合的に判断することで、より正確な出血位置を特定することも可能である。

（出血量算出部１２２３）
血液量算出部１２２３は、手術用カメラ１１０で取得された画像に表示された血液の体積を算出する。血液量の算出には、白色光が照射された術部の画像である白色光画像又は、白色光画像と近赤外光画像が用いられる。白色光画像が用いられる場合、血液量算出部１２２３は、例えば、白色光画像に表示された血液の厚みが一定であると仮定し、その血液の厚みと白色光画像に表示された血液領域の面積との積を表示された領域における血液量とすることができる。

また、血液量算出部１２２３は、近赤外光が照射された術部の画像である近赤外光画像を用いて血液量を算出することもできる。この場合、血液量の算出には、複数の近赤外光画像が用いられてもよい。図９Ａ〜図９Ｄ、図１０Ａ及び図１０Ｂを参照して、近赤外光画像を用い血液の体積の算出方法を説明する。図９Ａ左図は、上方から白色光が照射された術部を側面から示した模式図である。図９Ｂ左図、図９Ｃ左図及び図９Ｄ左図は、それぞれ、波長λ_１、波長λ_２及び波長λ_３を有する近赤外光が照射された術部を側面から示した模式図である。図９Ａ右図は、手術用カメラ１１０により取得された白色光が照射された術部の画像を示す模式図である。図９Ｂ右図、図９Ｃ右図及び図９Ｄ右図は、それぞれ、手術用カメラ１１０により取得された、波長λ_１、波長λ_２及び波長λ_３を有する近赤外光が照射された術部の画像を示した模式図である。ここで、波長λ_１、波長λ_２及び波長λ_３は、λ_１＜λ_２＜λ_３の関係が成立するものとする。図１０Ａ左図は、白色光画像を示した模式図であり、図１０Ａ右図は、当該白色光画像を用いて血液検出部１２１２により検出された血液領域を示した模式図である。図１０Ｂ左図は、図１０Ａ左側の図に示された画像と同一の領域の近赤外光画像を示した模式図であり、図１０Ｂ右図は、当該近赤外光画像を用いて血液検出部１２１２により検出された血液領域を示した模式図である。

白色光ＷＬは、物質の表面で赤色に相当する波長の光が反射されるため、図９Ａに示すように、それぞれ厚さの異なる血液Ｂ１、血液Ｂ２及び血液Ｂ３の表面で反射される。そのため、取得される白色光画像には、血液Ｂ１、血液Ｂ２及び血液Ｂ３が映し出される。一方で、近赤外光は血液中のヘモグロビンにより吸収される。波長が短い近赤外光ほど血液中のヘモグロビンによる吸収の程度は大きく、波長が長い近赤外光ほど血液中のヘモグロビンによる吸収の程度は小さい。そのため、図９Ｂに示すように、波長λ_１の近赤外光が照射されて取得された近赤外光画像において、厚みの小さい血液Ｂ１では、波長λ_１の近赤外光の多くは透過して血液の下部の臓器表面で反射されるため、手術用カメラ１１０では血液Ｂ１は認識されない。また、血液Ｂ１より厚みの大きい血液Ｂ２及び血液Ｂ３では、波長λ_１の近赤外光の多くは吸収される。そのため、波長λ_１の近赤外光が照射されて取得された近赤外光画像では、血液Ｂ２及び血液Ｂ３は、血液Ｂ２及び血液Ｂ３以外の部分と区別して表示される。波長λ_２の近赤外光が照射されて取得された近赤外光画像においては、図９Ｃに示すように、血液Ｂ１及び血液Ｂ２では、波長λ_２の近赤外光の多くは透過して血液の下部の臓器表面で反射される。そのため、血液Ｂ１及び血液Ｂ２は手術用カメラ１１０では認識されない。また、血液Ｂ１及び血液Ｂ２より厚みの大きい血液Ｂ３では、波長λ_２の近赤外光の多くは吸収される。そのため、波長λ_２の近赤外光が照射されて取得された近赤外光画像では、血液Ｂ３は、血液Ｂ３以外の部分と区別して表示される。また、波長λ_３の近赤外光が照射されて取得された近赤外光画像においては、図９Ｄに示すように、厚みの大きい血液Ｂ３でも波長λ_３の近赤外光の多くは透過して血液の下部の臓器表面で反射される。そのため、血液Ｂ１、血液Ｂ２及び血液Ｂ３はいずれも表示されない。よって、図１０Ａ左図に示すように、白色光画像では血液Ｂ１と血液Ｂ２はいずれも表示されるため、図１０Ａ右図に示すように、血液検出部１２１２は血液Ｂ１及び血液Ｂ２のいずれも検出することができる。一方で、図１０Ｂ左図に示すように、波長λ_１を有する近赤外光を照射した近赤外光画像では、厚みが小さい血液Ｂ１は表示されないため、図１０Ｂ右図に示すように、血液検出部１２１２は血液Ｂ２のみを検出することができる。

上記のように、近赤外光画像に表示される血液は、照射される近赤外光の波長によって異なる。よって、光源装置１３０から術部に対して異なる波長の近赤外光を照射して得られる複数の近赤外光画像の差分を取ることで、波長と血液の厚みとを対応付けることが可能となり、血液の厚みを算出することが可能となる。以上のようにして、算出された血液の厚みと、その厚みを有する血液領域の面積との積を求め、その積の合計を表示された領域における血液量とすることができる。

このように、近赤外光画像を用いた血液量の算出方法は、白色光画像を用いた上記の血液量の算出方法と比較してより正確に血液量を算出することが可能となる。そして、血液量算出部１２２３は、複数の時点で取得された近赤外光画像について上記の処理を行うことで、血液量の変化量を算出することが可能となる。なお、白色光は血液の表面で反射されるため、ある波長の近赤外光が照射されて得られた近赤外光画像に替えて、白色光画像を使用してもよい。このように、血液量算出部１２２３は、複数の近赤外光画像及び白色光画像のうちの少なくとも２以上の画像で算出された血液量を比較し、近赤外光画像又は白色光画像に表示された領域おける血液量の変化量を算出することができる。

（出力制御部１２３０）
出力制御部１２３０は、出力装置１４０が出力する情報の内容及び出力方法を制御する。例えば、出力制御部１２３０は、手術用カメラ１１０により取得された画像、当該画像の三次元情報、出血発生をユーザに対して知らせる表示もしくは音声による通知、出血位置に関する表示、出血量等の情報を出力装置１４０に出力させる。出力制御部１２３０が出力装置１４０に出力させる情報の種類は、予めユーザによって設定されていてもよい。また、出力制御部１２３０が、手術用カメラ１１０により取得された画像情報、三次元情報、出血位置に関する情報、血液量に関する情報等を受信したときに、出力装置１４０に出力指示を送信してもよい。

図１１及び図１２を参照して、出力制御部１２３０が出力装置１４０に出力させる情報について説明する。図１１は、出力装置１４０に表示された情報の一例を示す模式図である。図１２は、出力装置１４０に出力された情報の他の一例を示す模式図である。

例えば、図１１には、手術用カメラ１１０により取得されたリアルタイムの画像（ＭＯＮＩＴＯＲ １）、リアルタイムの画像に出血位置を示す表示が重畳された画像（ＭＯＮＩＴＯＲ ２）、出血前後の動画像（ＭＯＮＩＴＯＲ ３）、出血位置の拡大画像（ＭＯＮＩＴＯＲ ４）、及び出血量のグラフが出力装置１４０に表示されている。出力制御部１２３０は、上記以外にも、近赤外光画像、レーザ光が照射された術部の画像であるレーザ光画像を出力装置１４０に表示させてもよい。また、出力制御部１２３０は、血液領域を示す表示を白色光画像に重畳して出力装置１４０に表示させてもよい。出力制御部１２３０は、出血量が所定の値を超えたときに、表示や警告音を出力装置１４０に出力させてもよい。また、出力制御部１２３０は、出血位置特定部１２２２により推定された将来の血液の分布を出力装置１４０に表示させてもよい。

リアルタイムの画像に出血位置を示す表示が重畳された画像、又は出血前後の動画像が出力装置１４０に表示されることで、従来では厚く溜まった血液に覆われるために発見することが困難であった出血箇所をユーザは容易に認識することができ、より迅速に止血作業に着手することが可能となる。出血量のグラフが出力装置１４０に表示されることで、ユーザは、バイタルの確認、内視鏡手術から開腹手術への移行や輸血開始のタイミング等の判断を行うことが可能となる。将来の血液分布が出力装置１４０に表示されることで、ユーザは血液が溜まる前の術部の様子を認識することが可能となる。

また、出力制御部１２３０は、表示された画像中に複数の出血位置が存在する場合は、出血位置近傍の血液領域の変化の程度又は血液の移動速度に応じて、異なる態様の出血位置を示す表示が重畳された画像を表示させてもよい。例えば、血液領域の変化の程度又は移動速度が大きい血液付近に存在する出血位置を示す表示が強調表示されてもよい。血液領域の変化の程度または移動速度が大きい血液付近の出血位置ほど、優先して処置すべき出血位置であることが多い。そのため、出力制御部１２３０が、上記のように血液領域の変化の程度又は移動速度が大きい血液付近に存在する出血位置を出力装置１４０に強調表示させることで、ユーザは迅速に止血などの処置を行うことができる。

また、出力制御部１２３０は、図１２に示すように、手術用カメラ１１０により取得されたリアルタイムの画像に表示された領域から、過去に特定された出血位置が外れた場合、出血位置の方向を示す表示ｄをリアルタイムの画像に重畳して表示させることができる。これにより、出血後に手術用カメラ１１０がぶれて出血位置が取得された画像に表示されなくなった場合でも、ユーザは迅速に出血位置を認識して、処置を行うことができる。

上記の出力される画像や音声等は、ユーザが予め出力内容を設定することにより、リアルタイムの画像と併せて選択的に出力されてもよい。また、リアルタイムの画像に出血位置を示す表示が重畳された画像、出血前後の動画像や出血位置の拡大画像等は、出血判定部１２２１によって出血が発生したと判定されたときに、出力制御部１２３０が出力指示を出力装置１４０に送信することによって、表示されてもよい。出血関連情報は、上記のような、出血の発生に関する情報、血液領域の面積、当該面積の変化量、血液量、血液量の変化量、出血位置の表示、出血発生前後の動画像、出血位置の方向を示す表示等、術部の出血に関連するあらゆる情報を含むものである。

（光源切替部１２４０）
光源切替部１２４０は、光源装置１３０から照射される光を切り替える。例えば、ユーザにより操作される入力装置から切替指示が光源切替部１２４０に送信される。かかる切替指示により、光源装置１３０は、白色光光源、近赤外光光源及びレーザ光源を切り替え、ユーザ所望の光を術部に照射する。

（記憶部１２５０）
記憶部１２５０には、手術用カメラ１１０により取得された画像が記録されている。記憶部１２５０には、画像処理装置１２０が上記のような各種の処理を実施する際に利用する各種のプログラムやデータベース等が適宜記録されている。また、記憶部１２５０には、上記のような特徴点検出部１２１０や特徴量検出部１２２０が取得した各種の情報が履歴情報として記録されていてもよい。更に、記憶部１２５０には、例えば、血液検出部１２１２、出血判定部１２２１、出血位置特定部１２２２及び血液量算出部１２２３のそれぞれがそれぞれの処理を行う際に、保存する必要が生じた様々なパラメータや処理の途中経過等が適宜記録されてもよい。血液検出部１２１２、出血判定部１２２１、出血位置特定部１２２２及び血液量算出部１２２３が実行する処理に限られず、本実施形態に係る画像処理システム１０が何らかの処理を行う際に保存する必要が生じた様々なパラメータや処理の途中経過等が適宜記録されてもよい。この記憶部１２５０は、通信部１２６０、特徴点検出部１２１０、特徴量検出部１２２０等が、自由にリード／ライト処理を実施することが可能である。記憶部１２５０は、画像を保存、上書きして予めユーザが設定した時間の画像を保存してもよい。また、記憶部１２５０は、出血判定部１２２１により出血が発生したと判定された時点の前後の、予めユーザが設定した時間の画像は上書きされないように保存されてもよい。

（通信部１２６０）
通信部１２６０は、ネットワークを介して、手術用カメラ１１０との情報通信を行う機能を有する。具体的には、通信部１２６０は、手術用カメラ１１０から画像を受信する。また、通信部１２６０は、手術用カメラ１１０に対して制御信号を送信し、その駆動を制御する機能を有する。当該制御信号には、倍率や焦点距離等、撮像条件に関する情報が含まれ得る。

＜２．動作＞
続いて、本開示の実施形態に係る画像処理システム１０の動作の一例について詳細に説明する。

まず、光源切替部１２４０により、光源装置１３０の光源が白色光光源に設定され、手術が行われている術部に対して白色光が照射される。手術用カメラ１１０は、術部の白色光画像を取得する。取得された白色光画像は、画像処理装置１２０の通信部１２６０を介して特徴点検出部１２１０、出力制御部１２３０及び記憶部１２５０に送信される。ここで出力制御部１２３０は、受信した白色光画像を出力装置１４０に送信し、出力装置１４０は、受信した白色光画像をリアルタイム画像として表示する。また、記憶部１２５０に送信された白色光画像は、ユーザに予め設定された時間だけ記録される。

次いで、特徴点検出部１２１０に備えられた三次元情報取得部１２１１は、取得された白色光画像に表示された領域の位置や形状に関する三次元情報を取得する。特徴点検出部１２１０に備えられた血液検出部１２１２は、手術用カメラ１１０により取得された白色光画像を構成する色情報及び三次元情報取得部１２１１で取得された三次元情報に基づいて、画像に表示された領域における血液を検出し、血液分布情報を生成する。詳細には、手術用カメラ１１０により取得された画像を所定のサイズに分割し、三次元情報取得部１２１１で取得された三次元情報から、画像の分割された範囲毎に表面粗さを算出する。画像の分割された範囲毎のＲＧＢと算出された表面粗さを、縦軸を色情報をとし、横軸を表面粗さをとした特徴量平面上にプロットして、画像の分割されたそれぞれの範囲が血液領域であるか否かを判断する。三次元情報と血液分布情報は、特徴量検出部１２２０及び記憶部１２５０に送信される。記憶部１２５０に記録された血液分布情報は、記憶部１２５０に記録された白色光画像とともに出力制御部１２３０に送信される。血液分布情報は白色光画像に適用され、血液領域を示す表示が当該白色光画像に重畳して表示された画像として出力制御部１２３０により出力される。

続いて、特徴量検出部１２２０に備えられた血液量算出部１２２３は、近赤外光画像を用いて血液量を算出する。光源切替部１２４０は、光源装置１３０の光源を白色光源から近赤外光光源に切り替える。光源の切り替えは、例えば、ユーザのフットスイッチ２５０の操作によって行われる。光源装置１３０は、術部に対して波長の異なる近赤外光を照射する。血液量算出部１２２３は、術部に対して異なる波長の近赤外光を照射して得られる複数の近赤外光画像の差分を取り、血液の厚みを算出する。算出された血液の厚みと、その厚みを有する血液領域の面積との積を求め、その積の合計を表示された領域における血液量とする。血液量算出部１２２３は、２枚以上の画像で算出された血液量を比較し、近赤外光画像又は白色光画像に表示された領域おける血液量の変化量を算出する。

出血判定部１２２１は、血液量算出部１２２３により算出された血液量の変化量から出血の発生を判定する。具体的には、血液量の変化量についてユーザにより閾値が設定され、血液量の変化量が閾値を超えたときに、出血判定部１２２１は、出血が発生したと判定する。また、出血判定部１２２１は、血液領域の面積の変化量に基づいて出血の発生の有無を判定してもよい。詳細には、出血判定部１２２１は、各時点の白色光画像について画像処理を施し、各時点の画像間の血液領域の面積の差分を算出する。血液領域の面積の変化量についてユーザにより閾値が予め設定され、血液領域の面積の変化量が閾値を超えたときに、出血判定部１２２１は、出血が発生したと判定してもよい。

続いて、出血位置特定部１２２２は、記憶部１２５０に保存された複数の白色光画像及び当該白色光画像が取得された各時点における血液分布情報読み出す。読み出された白色光画像及び血液分布情報を利用して、血液の分布の状態の推移を把握する。この血液の分布の状態を遡り、血液が生じた位置を出血位置を特定する。

血液量算出部により算出された血液量、出血が発生した時刻や特定された出血位置等の情報は、出力制御部１２３０又は記憶部１２５０の少なくともいずれかに送信される。

そして、出力制御部１２３０は、手術用カメラ１１０から送信されたリアルタイムの画像、血液量算出部から送信された出血量、出血位置特定部により特定された出血位置が表示された画像等を、適宜出力装置１４０に出力させる。出血位置が表示された画像は、記憶部１２５０から読み出される。上記の処理は随時実行される。

＜３．ハードウェア構成＞
以上、本開示に係る実施形態について説明した。上述した画像処理は、ソフトウェアと、以下に説明する情報処理装置のハードウェアとの協働により実現される。

次に、本開示の一実施形態に係る画像処理装置１２０のハードウェア構成例について説明する。図１３は、本開示の一実施形態に係る画像処理装置１２０のハードウェア構成例を示すブロック図である。図１３を参照すると、画像処理装置１２０は、例えば、ＣＰＵ１２７０と、ＲＯＭ１２７１と、ＲＡＭ１２７２と、ホストバス１２７３と、ブリッジ１２７４と、外部バス１２７５と、インタフェース１２７６と、入力装置１２７７と、表示装置１２７８と、音声出力装置１２７９と、ストレージ装置１２８０と、ドライブ１２８１と、接続ポート１２８２と、リムーバブル記憶媒体１２８３と、を有する。なお、ここで示すハードウェア構成は一例であり、構成要素の一部が省略されてもよい。また、ここで示される構成要素以外の構成要素をさらに含んでもよい。

（ＣＰＵ１２７０）
ＣＰＵ１２７０は、例えば、演算処理装置又は制御装置として機能し、ＲＯＭ１２７１、ＲＡＭ１２７２、ストレージ装置１２８０、又はリムーバブル記憶媒体１２８３に記録された各種プログラムに基づいて各構成要素の動作全般又はその一部を制御する。

（ＲＯＭ１２７１、ＲＡＭ１２７２）
ＲＯＭ１２７１は、ＣＰＵ１２７０に読み込まれるプログラムや演算に用いるデータ等を格納する手段である。ＲＡＭ１２７２には、例えば、ＣＰＵ１２７０に読み込まれるプログラムや、そのプログラムを実行する際に適宜変化する各種パラメータ等が一時的又は永続的に格納される。

（ホストバス１２７３、ブリッジ１２７４、外部バス１２７５、インタフェース１２７６）
ＣＰＵ１２７０、ＲＯＭ１２７１、ＲＡＭ１２７２は、例えば、高速なデータ伝送が可能なホストバス１２７３を介して相互に接続される。一方、ホストバス１２７３は、例えば、ブリッジ１２７４を介して比較的データ伝送速度が低速な外部バス８７６に接続される。また、外部バス１２７５は、インタフェース１２７６を介して種々の構成要素と接続される。

（入力装置１２７７）
入力装置１２７７には、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、及びレバー等が用いられ得る。さらに、入力装置１２７７としては、赤外線やその他の電波を利用して制御信号を送信することが可能なリモートコントローラが用いられることもある。また、入力装置１２７７には、マイクロフォンなどの音声入力装置が含まれる。本開示の技術が適用され得る内視鏡手術システム１では、フットスイッチ２５０が入力装置１２７７として用いられることが好ましい。

（表示装置１２７８、音声出力装置１２７９）
表示装置１２７８は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）、ＬＣＤ、又は有機ＥＬ等のディスプレイ装置、プリンタ等であり、音声出力装置１２７９は、スピーカー、ヘッドホン等のオーディオ出力装置等である。表示装置１２７８及び音声出力装置１２７９は、いずれも取得した情報を利用者に対して視覚的又は聴覚的に通知することが可能な装置である。

（ストレージ装置１２８０）
ストレージ装置１２８０は、各種のデータを格納するための装置である。ストレージ装置１２８０としては、例えば、ハードディスクドライブ（ＨＤＤ）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイス等が用いられる。

（ドライブ１２８１）
ドライブ１２８１は、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記憶媒体１２８３に記録された情報を読み出し、又はリムーバブル記憶媒体１２８３に情報を書き込む装置である。

（リムーバブル記憶媒体１２８３）
リムーバブル記憶媒体１２８３は、例えば、ＤＶＤメディア、Ｂｌｕ−ｒａｙ（登録商標）メディア、ＨＤ ＤＶＤメディア、各種の半導体記憶メディア等である。もちろん、リムーバブル記憶媒体１２８３は、例えば、非接触型ＩＣチップを搭載したＩＣカード、又は電子機器等であってもよい。

（接続ポート１２８２）
接続ポート１２８２は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ Ｃｏｍｐｕｔｅｒ Ｓｙｓｔｅｍ Ｉｎｔｅｒｆａｃｅ）、ＲＳ−２３２Ｃポート、又は光オーディオ端子等のような外部接続機器９０２を接続するためのポートである。

＜４．結び＞
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

本開示の技術によれば、手術時における術部の出血箇所をより正確に把握することが可能となる。また、患者の体動があった場合でも安定した出血位置の推定が可能となる。また、出血量の推移をユーザが認識することが可能となる。上記により、ユーザは迅速に止血作業に取り掛かることが可能となり、手術時間が短縮され、出血量を抑制できる。また、出血量をユーザが認識できることで、バイタルの確認、内視鏡手術から開腹手術への移行や輸血開始のタイミング等の判断を行うことが可能となる。その結果、患者の術後の回復を早めることが可能となる。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、又は、上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
白色光を照射する白色光源を少なくとも有し、手術が行われている生体の一部である術部に対し前記白色光を照射する光源装置と、
前記光源装置により前記白色光が照射された前記術部の白色光画像を取得する手術用カメラと、
異なる時点で取得された複数の前記白色光画像を用い、当該複数の白色光画像間における前記術部の時間変化に基づいて、前記術部における出血位置を特定する画像処理装置と、
を備える、
画像処理システム。
（２）
前記画像処理装置は、前記白色光画像に表示された領域の三次元情報を取得し、
前記白色光画像を構成する色情報及び前記三次元情報に基づいて、前記白色光画像に表示された領域に存在する血液を検出して、前記血液の分布に関する血液分布情報を取得し、
前記複数の前記白色光画像が取得された各時点における前記血液分布情報に基づいて、前記血液の分布の状態の推移を遡ることで前記出血位置を特定する、
（１）に記載の画像処理システム。
（３）
前記画像処理装置は、前記各時点における前記血液分布情報に基づいて、前記血液が存在する領域の面積の変化量、前記白色光画像に表示された領域に存在する血液量及び前記血液量の変化量の少なくともいずれかを算出する、
（１）又は（２）に記載の画像処理システム。
（４）
前記画像処理装置は、前記面積の変化量が所定の閾値を超えたときに、前記白色光画像に表示された領域において出血が発生したと判定する、
（１）〜（３）のいずれか１項に記載の画像処理システム。
（５）
前記画像処理装置は、前記血液量の変化量が所定の閾値を超えたときに、前記白色光画像に表示された領域において出血が発生したと判定する、
（１）〜（３）のいずれか１項に記載の画像処理システム。
（６）
前記画像処理装置は、複数の前記各時点における前記血液の分布の推移に基づいて、将来の前記血液の分布を推定する、 前記光源装置は、近赤外光帯に属する波長を有する近赤外光を照射する近赤外光源を備え、
前記手術用カメラは、前記近赤外光が前記術部に照射された複数の近赤外光画像を更に取得し、
前記画像処理装置は、複数の前記近赤外光画像及び前記白色光画像のうちの少なくとも２以上の画像に基づいて、前記近赤外光画像又は前記白色光画像に表示された領域おける前記血液量及び前記血液量の変化量を算出する、
（５）に記載の画像処理システム。
（７）
前記画像処理装置は、複数の異なる時点における前記血液の分布の推移に基づいて、将来の前記血液の分布を推定する、
（１）〜（３）のいずれか１項に記載の画像処理システム。
（８）
前記画像処理装置は、前記三次元情報に基づいて、前記白色光画像に表示された領域に存在する異物の存在を検出する、
（１）又は（２）に記載の画像処理システム。
（９）
前記光源装置は、所定の波長を有するレーザ光を照射するレーザ光源を備え、
前記手術用カメラは、前記レーザ光が照射された前記術部のレーザ光画像を更に取得し、
前記画像処理装置は、前取得した前記レーザ光画像を用いて血液の流動に関する血液流動情報を取得し、前記血液流動情報に基づいて前記出血位置を特定する、
（１）に記載の画像処理システム。
（１０）
前記画像処理装置は、前記白色光画像に表示された領域において出血が発生したと判定したときに、前記出血に関する出血関連情報を出力する、
（１）に記載の画像処理システム。
（１１）
前記画像処理装置は、特定した前記出血位置を所定の方法で出力する、
（１）に記載の画像処理システム。
（１２）
前記画像処理装置は、出血が発生したと判定された前記白色光画像が取得された時点から所定の時間遡った時点を起点として、前記起点から所定の時間経過するまでの前記白色光画像を出力する、
（１）に記載の画像処理システム。
（１３）
前記画像処理装置は、前記血液量又は前記血液量の変化量の少なくともいずれかが所定の閾値を超えたときに、出血の発生を喚起する所定の信号を出力する、
（１）〜（３）のいずれか１項に記載の画像処理システム。
（１４）
前記画像処理装置は、前記出血位置を示す表示を最新の前記時点の前記白色光画像に重畳して表示する、
（１）に記載の画像処理システム。
（１５）
前記画像処理装置は、前記白色光画像に表示された領域において、前記血液量の変化量又は前記血液が存在する領域の面積の変化量に応じて、前記出血位置を示す表示を変化させる、
（１）〜（３）のいずれか１項に記載の画像処理システム。
（１６）
前記画像処理装置は、前記出血位置が前記手術用カメラにより取得される前記白色光画像に表示された領域から外れた場合に、前記出血位置の方向を示す表示を出力する、
（１）に記載の画像処理システム。
（１７）
前記画像処理装置は、前記白色光画像に表示された領域における出血量の変化を出力する、
（１）に記載の画像処理システム。
（１８）
前記画像処理装置は、複数の前記異なる時点における前記血液の分布の推移に基づいて、推定された将来の前記血液の分布を出力する、
（１）又は（２）に記載の画像処理システム。
（１９）
白色光を照射する白色光源を少なくとも有する光源装置からの前記白色光により照明されている、手術が行われている生体の一部である術部を、手術用カメラにより異なる時点で撮像することで得られる複数の白色光画像を用い、当該複数の白色光画像間における前記術部の時間変化に基づいて、前記術部における出血位置を特定する特定部、を備える、
画像処理装置。
（２０）
白色光を照射する白色光源を少なくとも有する光源装置からの前記白色光により照明されている、手術が行われている生体の一部である術部を、手術用カメラにより異なる時点で撮像することで得られる複数の白色光画像を用い、当該複数の白色光画像間における前記術部の時間変化に基づいて、前記術部における出血位置を特定すること、を含む
画像処理方法。
（２１）
白色光を照射する白色光源を少なくとも有し、手術が行われている生体の一部である術部に対し前記白色光を照射する光源装置、及び、前記光源装置により前記白色光が照射された前記術部の白色光画像を取得する手術用カメラの双方と相互に通信が可能なコンピュータを、
前記手術用カメラによって異なる時間で取得された複数の前記白色光画像を用い、当該複数の画像間における前記術部の時間変化に基づいて、前記術部における出血位置を特定する特定部、として機能させるための、
プログラム。

１ 内視鏡手術システム
１０ 画像処理システム
１００ ＣＣＵ
１１０ 手術用カメラ
１２０ 画像処理装置
１３０ 光源装置
１４０ 出力装置
１２１０ 特徴点検出部
１２１１ 三次元情報取得部
１２１２ 血液検出部
１２２０ 特徴量検出部
１２２１ 出血判定部
１２２２ 出血位置特定部
１２２３ 血液量算出部
１２３０ 出力制御部
１２４０ 光源切替部
１２５０ 記憶部
１２６０ 通信部

Claims (21)

1. 白色光を照射する白色光源を少なくとも有し、手術が行われている生体の一部である術部に対し前記白色光を照射する光源装置と、
   前記光源装置により前記白色光が照射された前記術部の白色光画像を取得する手術用カメラと、
   異なる時点で取得された複数の前記白色光画像を用い、当該複数の白色光画像間における前記術部の時間変化に基づいて、前記術部における出血位置を特定する画像処理装置と、
   を備える、
   画像処理システム。
2. 前記画像処理装置は、前記白色光画像に表示された領域の三次元情報を取得し、
   前記白色光画像を構成する色情報及び前記三次元情報に基づいて、前記白色光画像に表示された領域に存在する血液を検出して、前記血液の分布に関する血液分布情報を取得し、
   前記複数の前記白色光画像が取得された各時点における前記血液分布情報に基づいて、前記血液の分布の状態の推移を遡ることで前記出血位置を特定する、
   請求項１に記載の画像処理システム。
3. 前記画像処理装置は、前記各時点における前記血液分布情報に基づいて、前記血液が存在する領域の面積の変化量、前記白色光画像に表示された領域に存在する血液量及び前記血液量の変化量の少なくともいずれかを算出する、
   請求項２に記載の画像処理システム。
4. 前記画像処理装置は、前記面積の変化量が所定の閾値を超えたときに、前記白色光画像に表示された領域において出血が発生したと判定する、
   請求項３に記載の画像処理システム。
5. 前記画像処理装置は、前記血液量の変化量が所定の閾値を超えたときに、前記白色光画像に表示された領域において出血が発生したと判定する、
   請求項３に記載の画像処理システム。
6. 前記光源装置は、近赤外光帯に属する波長を有する近赤外光を照射する近赤外光源を備え、
   前記手術用カメラは、前記近赤外光が前記術部に照射された複数の近赤外光画像を更に取得し、
   前記画像処理装置は、複数の前記近赤外光画像及び前記白色光画像のうちの少なくとも２以上の画像に基づいて、前記近赤外光画像又は前記白色光画像に表示された領域おける前記血液量及び前記血液量の変化量を算出する、
   請求項５に記載の画像処理システム。
7. 前記画像処理装置は、複数の異なる時点における前記血液の分布の推移に基づいて、将来の前記血液の分布を推定する、
   請求項３に記載の画像処理システム。
8. 前記画像処理装置は、前記三次元情報に基づいて、前記白色光画像に表示された領域に存在する異物の存在を検出する、
   請求項２に記載の画像処理システム。
9. 前記光源装置は、所定の波長を有するレーザ光を照射するレーザ光源を備え、
   前記手術用カメラは、前記レーザ光が照射された前記術部のレーザ光画像を更に取得し、
   前記画像処理装置は、取得した前記レーザ光画像を用いて血液の流動に関する血液流動情報を取得し、前記血液流動情報に基づいて前記出血位置を特定する、
   請求項１に記載の画像処理システム。
10. 前記画像処理装置は、前記白色光画像に表示された領域において出血が発生したと判定したときに、前記出血に関する出血関連情報を出力する、
    請求項１に記載の画像処理システム。
11. 前記画像処理装置は、特定した前記出血位置を所定の方法で出力する、
    請求項１に記載の画像処理システム。
12. 前記画像処理装置は、出血が発生したと判定された前記白色光画像が取得された時点から所定の時間遡った時点を起点として、前記起点から所定の時間経過するまでの前記白色光画像を出力する、
    請求項１に記載の画像処理システム。
13. 前記画像処理装置は、前記血液量又は前記血液量の変化量の少なくともいずれかが所定の閾値を超えたときに、出血の発生を喚起する所定の信号を出力する、
    請求項３に記載の画像処理システム。
14. 前記画像処理装置は、前記出血位置を示す表示を最新の前記時点の前記白色光画像に重畳して表示する、
    請求項１に記載の画像処理システム。
15. 前記画像処理装置は、前記白色光画像に表示された領域において、前記血液量の変化量又は前記血液が存在する領域の面積の変化量に応じて、前記出血位置を示す表示を変化させる、
    請求項３に記載の画像処理システム。
16. 前記画像処理装置は、前記出血位置が前記手術用カメラにより取得される前記白色光画像に表示された領域から外れた場合に、前記出血位置の方向を示す表示を出力する、
    請求項１に記載の画像処理システム。
17. 前記画像処理装置は、前記白色光画像に表示された領域における出血量の変化を出力する、
    請求項１に記載の画像処理システム。
18. 前記画像処理装置は、複数の前記異なる時点における前記血液の分布の推移に基づいて、推定された将来の前記血液の分布を出力する、
    請求項２に記載の画像処理システム。
19. 白色光を照射する白色光源を少なくとも有する光源装置からの前記白色光により照明されている、手術が行われている生体の一部である術部を、手術用カメラにより異なる時点で撮像することで得られる複数の白色光画像を用い、当該複数の白色光画像間における前記術部の時間変化に基づいて、前記術部における出血位置を特定する特定部、を備える、
    画像処理装置。
20. 白色光を照射する白色光源を少なくとも有する光源装置からの前記白色光により照明されている、手術が行われている生体の一部である術部を、手術用カメラにより異なる時点で撮像することで得られる複数の白色光画像を用い、当該複数の白色光画像間における前記術部の時間変化に基づいて、前記術部における出血位置を特定すること、を含む
    画像処理方法。
21. 白色光を照射する白色光源を少なくとも有し、手術が行われている生体の一部である術部に対し前記白色光を照射する光源装置、及び、前記光源装置により前記白色光が照射された前記術部の白色光画像を取得する手術用カメラの双方と相互に通信が可能なコンピュータを、
    前記手術用カメラによって異なる時間で取得された複数の前記白色光画像を用い、当該複数の画像間における前記術部の時間変化に基づいて、前記術部における出血位置を特定する特定部、として機能させるための、
    プログラム。
    

Images