JP2017164007A

JP2017164007A - 医療用画像処理装置、医療用画像処理方法、プログラム

Info

Publication number: JP2017164007A
Application number: JP2016049232A
Authority: JP
Inventors: 一木　洋; Hiroshi Ichiki; 洋一木
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2016-03-14
Filing date: 2016-03-14
Publication date: 2017-09-21
Also published as: US20190083180A1; WO2017159335A1

Abstract

【課題】術具を正確に検出する。【解決手段】発光マーカが配置されている物体を撮像する撮像部と、撮像部で撮像された画像を処理する処理部とを備え、処理部は、画像から、発光マーカが発光した色を抽出し、抽出された色が分布する画像内の領域を、物体が位置する領域として検出する。また処理部は、画像内の画素毎に色度を算出し、発光マーカの発光色に該当する色度を有している画素を抽出し、抽出された画素を、物体が存在する領域として検出する。本技術は、例えば、内視鏡システムや外科手術システム、外科手術システム、顕微鏡下手術システムなどに適用できる。【選択図】図３

Description

本技術は医療用画像処理装置、医療用画像処理方法、プログラムに関し、例えば、手術時に用いる術具の検出を精度良く行えるようにした医療用画像処理装置、医療用画像処理方法、プログラムに関する。

手術前に撮影されたＣＴ（computerized tomography）や、ＭＲＩ（magnetic resonance imaging ）などによる断層像をコンピュータで合成してモニタなどの表示部に断層もしくは立体表示すると共に、手術に使用する処置具や、内視鏡などの処置用機器の形状を予めキャリブレーションしておき、それらの機器に位置検出用のマーカを取り付け、外部から赤外線などによる位置検出を行うことにより、前述の生体画像情報上に使用している機器の位置を表示したり、特に脳外科などでは顕微鏡像に脳腫瘍の位置を合成して表示したりすることにより、手術を進める方向をナビゲートする機器が開発されている（例えば、特許文献１，２参照）。

特開平５−３０５０７３号公報特開２００１−２０４７３８号公報

例えば、人工関節などのインプラント手術のナビゲーションなどでは、位置決め（計測手段）として専用の位置計測プローブが用いられていた。位置決めの方法としては、特許文献１，２などに提案されているように、事前にＸ線などによる３ＤＣＴ計測を行い、コンピュータ内に３Ｄ位置情報を用意しておき、手術時に、３Ｄ位置情報と位置合わせするために、患者に位置決め治具が取り付けられる。そして、手術中の位置測定には、専用のプローブが用いられる。

手術中に、治具と術具を持ち替えないと位置測定が行えないと手術時間が増し、患者への負担が増えてしまう可能性があった。

本技術は、このような状況に鑑みてなされたものであり、位置計測を手術時間が短くなり、かつ精度良く行えるようにするものである。

本技術の一側面の医療用画像処理装置は、発光マーカが配置されている物体を撮像する撮像部と、前記撮像部で撮像された画像を処理する処理部とを備え、前記処理部は、前記画像から、前記発光マーカが発光した色を抽出し、前記抽出された色が分布する前記画像内の領域を、前記物体が位置する領域として検出する。

本技術の一側面の医療用画像処理方法は、発光マーカが配置されている物体を撮像する撮像部と、前記撮像部で撮像された前記画像を処理する処理部とを備える医療用画像処理装置の画像処理方法において、前記処理は、前記画像から、前記発光マーカが発光した色を抽出し、前記抽出された色が分布する前記画像内の領域を、前記物体が位置する領域として検出するステップを含む。

本技術の一側面のプログラムは、発光マーカが配置されている物体を撮像する撮像部と、前記撮像部で撮像された前記画像を処理する処理部とを備える医療用画像処理装置を制御するコンピュータに、前記画像から、前記発光マーカが発光した色を抽出し、前記抽出された色が分布する前記画像内の領域を、前記物体が位置する領域として検出するステップを含む処理を実行させる。

本技術の一側面の医療用画像処理装置、医療用画像処理方法、並びにプログラムにおいては、発光マーカが配置されている物体が撮像され、撮像された画像が処理される。その処理は、画像から、発光マーカが発光した色が抽出され、抽出された色が分布する画像内の領域が、物体が位置する領域として検出される。

本技術の一側面によれば、位置計測を手術時間が短くなり、かつ精度良く行える。

なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

本技術を適用した内視鏡手術システムの一実施の形態の構成を示す図である。カメラヘッド及びＣＣＵの機能構成の一例を示すブロック図である。発光マーカの配置について説明するための図である。発光マーカの配置について説明するための図である。発光マーカの配置について説明するための図である。発光マーカの配置について説明するための図である。発光マーカの配置について説明するための図である。術具の検出について説明するための図である。術具の検出について説明するための図である。術具の検出時の汚れによる影響について説明するための図である。術具の色領域について説明するための図である。術具の形状認識に係わる処理について説明するための図である。処理対象の画素について説明するための図である。術具の色領域について説明するための図である。術具の先端の存在確認に係わる処理について説明するための図である。汚れ度合いの推定に係わる処理について説明するための図である。発光マーカの光量と術具の検出面積との関係を説明するための図である。術具の色領域の調整について説明するための図である。三角測量について説明するための図である。三角測量について説明するための図である。ステレオカメラを用いた術具の位置推定について説明するための図である。形状マッチングによる推定に係わる処理について説明するための図である。術中の処理について説明するための図である。位置測定センサとの組み合わせについて説明するための図である。記録媒体について説明するための図である。

以下に、本技術を実施するための形態（以下、実施の形態という）について説明する。なお、説明は、以下の順序で行う。
１．内視鏡システムの構成
２．発光マーカ
３．発光色について
４．術具の形状を認識する処理
５．術具先端の存在確認処理
６．汚れ度合いの推測処理
７．術具の先端位置の推定
８．形状マッチングによる術具の先端位置推定処理
９．術中の処理
１０．３次元計測用のアンテナを追加した実施の形態
１１．記録媒体について

＜内視鏡システムの構成＞
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、内視鏡手術システムに適用されてもよい。またここでは、内視鏡手術システムを例に挙げて説明をするが、本技術は、外科手術システム、顕微鏡下手術システムなどにも適用できる。

図１は、本開示に係る技術が適用され得る内視鏡手術システム１０の概略的な構成の一例を示す図である。図１では、術者（医師）７１が、内視鏡手術システム１０を用いて、患者ベッド７３上の患者７５に手術を行っている様子が図示されている。図示するように、内視鏡手術システム１０は、内視鏡２０と、その他の術具３０と、内視鏡２０を支持する支持アーム装置４０と、内視鏡下手術のための各種の装置が搭載されたカート５０と、から構成される。

内視鏡手術では、腹壁を切って開腹する代わりに、トロッカ３７ａ〜３７ｄと呼ばれる筒状の開孔器具が腹壁に複数穿刺される。そして、トロッカ３７ａ〜３７ｄから、内視鏡２０の鏡筒２１や、その他の術具３０が患者７５の体腔内に挿入される。図示する例では、その他の術具３０として、気腹チューブ３１、エネルギー処置具３３及び鉗子３５が、患者７５の体腔内に挿入されている。また、エネルギー処置具３３は、高周波電流や超音波振動により、組織の切開及び剥離、又は血管の封止等を行う処置具である。ただし、図示する術具３０はあくまで一例であり、術具３０としては、例えば攝子、レトラクタ等、一般的に内視鏡下手術において用いられる各種の術具が用いられてよい。

内視鏡２０によって撮影された患者７５の体腔内の術部の画像が、表示装置５３に表示される。術者７１は、表示装置５３に表示された術部の画像をリアルタイムで見ながら、エネルギー処置具３３や鉗子３５を用いて、例えば患部を切除する等の処置を行う。なお、気腹チューブ３１、エネルギー処置具３３及び鉗子３５は、手術中に、術者７１又は助手等によって支持される。

（支持アーム装置）
支持アーム装置４０は、ベース部４１から延伸するアーム部４３を備える。図示する例では、アーム部４３は、関節部４５ａ、４５ｂ、４５ｃ、及びリンク４７ａ、４７ｂから構成されており、アーム制御装置５７からの制御により駆動される。アーム部４３によって内視鏡２０が支持され、その位置及び姿勢が制御される。これにより、内視鏡２０の安定的な位置の固定が実現され得る。

（内視鏡）
内視鏡２０は、先端から所定の長さの領域が患者７５の体腔内に挿入される鏡筒２１と、鏡筒２１の基端に接続されるカメラヘッド２３と、から構成される。図示する例では、硬性の鏡筒２１を有するいわゆる硬性鏡として構成される内視鏡２０を図示しているが、内視鏡２０は、軟性の鏡筒２１を有するいわゆる軟性鏡として構成されてもよい。

鏡筒２１の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡２０には光源装置５５が接続されており、当該光源装置５５によって生成された光が、鏡筒２１の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者７５の体腔内の観察対象に向かって照射される。なお、内視鏡２０は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。

カメラヘッド２３の内部には光学系及び撮像素子が設けられており、観察対象からの反射光（観察光）は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、ＲＡＷデータとしてカメラコントロールユニット（ＣＣＵ：Camera Control Unit）５１に送信される。なお、カメラヘッド２３には、その光学系を適宜駆動させることにより、倍率及び焦点距離を調整する機能が搭載される。

なお、例えば立体視（３Ｄ表示）等に対応するために、カメラヘッド２３には撮像素子が複数設けられてもよい。この場合、鏡筒２１の内部には、当該複数の撮像素子のそれぞれに観察光を導光するために、リレー光学系が複数系統設けられる。

（カートに搭載される各種の装置）
ＣＣＵ５１は、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）等によって構成され、内視鏡２０及び表示装置５３の動作を統括的に制御する。具体的には、ＣＣＵ５１は、カメラヘッド２３から受け取った画像信号に対して、例えば現像処理（デモザイク処理）等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。ＣＣＵ５１は、当該画像処理を施した画像信号を表示装置５３に提供する。また、ＣＣＵ５１は、カメラヘッド２３に対して制御信号を送信し、その駆動を制御する。当該制御信号には、倍率や焦点距離等、撮像条件に関する情報が含まれ得る。

表示装置５３は、ＣＣＵ５１からの制御により、当該ＣＣＵ５１によって画像処理が施された画像信号に基づく画像を表示する。内視鏡２０が例えば４Ｋ（水平画素数３８４０×垂直画素数２１６０）又は８Ｋ（水平画素数７６８０×垂直画素数４３２０）等の高解像度の撮影に対応したものである場合、及び／又は３Ｄ表示に対応したものである場合には、表示装置５３としては、それぞれに対応して、高解像度の表示が可能なもの、及び／又は３Ｄ表示可能なものが用いられ得る。４Ｋ又は８Ｋ等の高解像度の撮影に対応したものである場合、表示装置５３として５５インチ以上のサイズのものを用いることで一層の没入感が得られる。また、用途に応じて、解像度、サイズが異なる複数の表示装置５３が設けられてもよい。

光源装置５５は、例えばＬＥＤ（light emitting diode）等の光源から構成され、術部を撮影する際の照射光を内視鏡２０に供給する。

アーム制御装置５７は、例えばＣＰＵ等のプロセッサによって構成され、所定のプログラムに従って動作することにより、所定の制御方式に従って支持アーム装置４０のアーム部４３の駆動を制御する。

入力装置５９は、内視鏡手術システム１０に対する入力インタフェースである。ユーザは、入力装置５９を介して、内視鏡手術システム１０に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、入力装置５９を介して、患者の身体情報や、手術の術式についての情報等、手術に関する各種の情報を入力する。また、例えば、ユーザは、入力装置５９を介して、アーム部４３を駆動させる旨の指示や、内視鏡２０による撮像条件（照射光の種類、倍率及び焦点距離等）を変更する旨の指示、エネルギー処置具３３を駆動させる旨の指示等を入力する。

入力装置５９の種類は限定されず、入力装置５９は各種の公知の入力装置であってよい。入力装置５９としては、例えば、マウス、キーボード、タッチパネル、スイッチ、フットスイッチ６９及び／又はレバー等が適用され得る。入力装置５９としてタッチパネルが用いられる場合には、当該タッチパネルは表示装置５３の表示面上に設けられてもよい。

あるいは、入力装置５９は、例えばメガネ型のウェアラブルデバイスやＨＭＤ（Head Mounted Display）等の、ユーザによって装着されるデバイスであり、これらのデバイスによって検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。また、入力装置５９は、ユーザの動きを検出可能なカメラを含み、当該カメラによって撮像された映像から検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。

更に、入力装置５９は、ユーザの声を収音可能なマイクロフォンを含み、当該マイクロフォンを介して音声によって各種の入力が行われる。このように、入力装置５９が非接触で各種の情報を入力可能に構成されることにより、特に清潔域に属するユーザ（例えば術者７１）が、不潔域に属する機器を非接触で操作することが可能となる。また、ユーザは、所持している術具から手を離すことなく機器を操作することが可能となるため、ユーザの利便性が向上する。

処置具制御装置６１は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具３３の駆動を制御する。気腹装置６３は、内視鏡２０による視野の確保及び術者の作業空間の確保の目的で、患者７５の体腔を膨らめるために、気腹チューブ３１を介して当該体腔内にガスを送り込む。レコーダ６５は、手術に関する各種の情報を記録可能な装置である。プリンタ６７は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。

以下、内視鏡手術システム１０において特に特徴的な構成について、更に詳細に説明する。

（支持アーム装置）
支持アーム装置４０は、基台であるベース部４１と、ベース部４１から延伸するアーム部４３と、を備える。図示する例では、アーム部４３は、複数の関節部４５ａ、４５ｂ、４５ｃと、関節部４５ｂによって連結される複数のリンク４７ａ、４７ｂと、から構成されているが、図１では、簡単のため、アーム部４３の構成を簡略化して図示している。

実際には、アーム部４３が所望の自由度を有するように、関節部４５ａ〜４５ｃ及びリンク４７ａ、４７ｂの形状、数及び配置、並びに関節部４５ａ〜４５ｃの回転軸の方向等が適宜設定され得る。例えば、アーム部４３は、好適に、６自由度以上の自由度を有するように構成され得る。これにより、アーム部４３の可動範囲内において内視鏡２０を自由に移動させることが可能になるため、所望の方向から内視鏡２０の鏡筒２１を患者７５の体腔内に挿入することが可能になる。

関節部４５ａ〜４５ｃにはアクチュエータが設けられており、関節部４５ａ〜４５ｃは当該アクチュエータの駆動により所定の回転軸まわりに回転可能に構成されている。当該アクチュエータの駆動がアーム制御装置５７によって制御されることにより、各関節部４５ａ〜４５ｃの回転角度が制御され、アーム部４３の駆動が制御される。これにより、内視鏡２０の位置及び姿勢の制御が実現され得る。この際、アーム制御装置５７は、力制御又は位置制御等、各種の公知の制御方式によってアーム部４３の駆動を制御することができる。

例えば、術者７１が、入力装置５９（フットスイッチ６９を含む）を介して適宜操作入力を行うことにより、当該操作入力に応じてアーム制御装置５７によってアーム部４３の駆動が適宜制御され、内視鏡２０の位置及び姿勢が制御されてよい。当該制御により、アーム部４３の先端の内視鏡２０を任意の位置から任意の位置まで移動させた後、その移動後の位置で固定的に支持することができる。なお、アーム部４３は、いわゆるマスタースレイブ方式で操作されてもよい。この場合、アーム部４３は、手術室から離れた場所に設置される入力装置５９を介してユーザによって遠隔操作され得る。

また、力制御が適用される場合には、アーム制御装置５７は、ユーザからの外力を受け、その外力にならってスムーズにアーム部４３が移動するように、各関節部４５ａ〜４５ｃのアクチュエータを駆動させる、いわゆるパワーアシスト制御を行ってもよい。これにより、ユーザが直接アーム部４３に触れながらアーム部４３を移動させる際に、比較的軽い力で当該アーム部４３を移動させることができる。従って、より直感的に、より簡易な操作で内視鏡２０を移動させることが可能となり、ユーザの利便性を向上させることができる。

ここで、一般的に、内視鏡下手術では、スコピストと呼ばれる医師によって内視鏡２０が支持されていた。これに対して、支持アーム装置４０を用いることにより、人手によらずに内視鏡２０の位置をより確実に固定することが可能になるため、術部の画像を安定的に得ることができ、手術を円滑に行うことが可能になる。

なお、アーム制御装置５７は必ずしもカート５０に設けられなくてもよい。また、アーム制御装置５７は必ずしも１つの装置でなくてもよい。例えば、アーム制御装置５７は、支持アーム装置４０のアーム部４３の各関節部４５ａ〜４５ｃにそれぞれ設けられてもよく、複数のアーム制御装置５７が互いに協働することにより、アーム部４３の駆動制御が実現されてもよい。

（光源装置）
光源装置５５は、内視鏡２０に術部を撮影する際の照射光を供給する。光源装置５５は、例えばＬＥＤ、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成される。このとき、ＲＧＢレーザ光源の組み合わせにより白色光源が構成される場合には、各色（各波長）の出力強度及び出力タイミングを高精度に制御することができるため、光源装置５５において撮像画像のホワイトバランスの調整を行うことができる。

また、この場合には、ＲＧＢレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド２３の撮像素子の駆動を制御することにより、ＲＧＢそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。

また、光源装置５５は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド２３の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。

また、光源装置５５は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光（すなわち、白色光）に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察（Narrow Band Imaging）が行われる。

あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察するもの（自家蛍光観察）、又はインドシアニングリーン（ICG）等の試薬を体組織に局注すると共に当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得るもの等が行われ得る。光源装置５５は、このような特殊光観察に対応した狭帯域光及び／又は励起光を供給可能に構成され得る。

（カメラヘッド及びＣＣＵ）
図２を参照して、内視鏡２０のカメラヘッド２３及びＣＣＵ５１の機能についてより詳細に説明する。図２は、図１に示すカメラヘッド２３及びＣＣＵ５１の機能構成の一例を示すブロック図である。

図２を参照すると、カメラヘッド２３は、その機能として、レンズユニット２５、撮像部２７、駆動部２９、通信部２６、およびカメラヘッド制御部２８を有する。また、ＣＣＵ５１は、その機能として、通信部８１、画像処理部８３、および制御部８５を有する。カメラヘッド２３とＣＣＵ５１とは、伝送ケーブル９１によって双方向に通信可能に接続されている。

まず、カメラヘッド２３の機能構成について説明する。レンズユニット２５は、鏡筒２１との接続部に設けられる光学系である。鏡筒２１の先端から取り込まれた観察光は、カメラヘッド２３まで導光され、当該レンズユニット２５に入射する。レンズユニット２５は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。レンズユニット２５は、撮像部２７の撮像素子の受光面上に観察光を集光するように、その光学特性が調整されている。また、ズームレンズ及びフォーカスレンズは、撮像画像の倍率及び焦点の調整のため、その光軸上の位置が移動可能に構成される。

撮像部２７は撮像素子によって構成され、レンズユニット２５の後段に配置される。レンズユニット２５を通過した観察光は、当該撮像素子の受光面に集光され、光電変換によって、観察像に対応した画像信号が生成される。撮像部２７によって生成された画像信号は、通信部２６に提供される。

撮像部２７を構成する撮像素子としては、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）タイプのイメージセンサであり、Ｂａｙｅｒ配列を有するカラー撮影可能なものが用いられる。なお、当該撮像素子としては、例えば４Ｋ以上の高解像度の画像の撮影に対応可能なものが用いられてもよい。術部の画像が高解像度で得られることにより、術者７１は、当該術部の様子をより詳細に把握することができ、手術をより円滑に進行することが可能となる。

また、撮像部２７を構成する撮像素子は、３Ｄ表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための１対の撮像素子を有するように構成される。３Ｄ表示が行われることにより、術者７１は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部２７が多板式で構成される場合には、各撮像素子に対応して、レンズユニット２５も複数系統設けられる。

また、撮像部２７は、必ずしもカメラヘッド２３に設けられなくてもよい。例えば、撮像部２７は、鏡筒２１の内部に、対物レンズの直後に設けられてもよい。

駆動部２９は、アクチュエータによって構成され、カメラヘッド制御部２８からの制御により、レンズユニット２５のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部２７による撮像画像の倍率及び焦点が適宜調整され得る。

通信部２６は、ＣＣＵ５１との間で各種の情報を送受信するための通信装置によって構成される。通信部２６は、撮像部２７から得た画像信号をＲＡＷデータとして伝送ケーブル９１を介してＣＣＵ５１に送信する。この際、術部の撮像画像を低レイテンシで表示するために、当該画像信号は光通信によって送信されることが好ましい。

手術の際には、術者７１が撮像画像によって患部の状態を観察しながら手術を行うため、より安全で確実な手術のためには、術部の動画像が可能な限りリアルタイムに表示されることが求められるからである。光通信が行われる場合には、通信部２６には、電気信号を光信号に変換する光電変換モジュールが設けられる。画像信号は当該光電変換モジュールによって光信号に変換された後、伝送ケーブル９１を介してＣＣＵ５１に送信される。

また、通信部２６は、ＣＣＵ５１から、カメラヘッド２３の駆動を制御するための制御信号を受信する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに／又は撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。通信部２６は、受信した制御信号をカメラヘッド制御部２８に提供する。

なお、ＣＣＵ５１からの制御信号も、光通信によって伝送されてもよい。この場合、通信部２６には、光信号を電気信号に変換する光電変換モジュールが設けられ、制御信号は当該光電変換モジュールによって電気信号に変換された後、カメラヘッド制御部２８に提供される。

なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、取得された画像信号に基づいてＣＣＵ５１の制御部８５によって自動的に設定される。つまり、いわゆるＡＥ（Auto Exposure）機能、ＡＦ（Auto Focus）機能及びＡＷＢ（Auto White Balance）機能が内視鏡２０に搭載される。

カメラヘッド制御部２８は、通信部２６を介して受信したＣＣＵ５１からの制御信号に基づいて、カメラヘッド２３の駆動を制御する。例えば、カメラヘッド制御部２８は、撮像画像のフレームレートを指定する旨の情報及び／又は撮像時の露光を指定する旨の情報に基づいて、撮像部２７の撮像素子の駆動を制御する。また、例えば、カメラヘッド制御部２８は、撮像画像の倍率及び焦点を指定する旨の情報に基づいて、駆動部２９を介してレンズユニット２５のズームレンズ及びフォーカスレンズを適宜移動させる。カメラヘッド制御部２８は、更に、鏡筒２１やカメラヘッド２３を識別するための情報を記憶する機能を備えてもよい。

なお、レンズユニット２５や撮像部２７等の構成を、気密性及び防水性が高い密閉構造内に配置することで、カメラヘッド２３について、オートクレーブ滅菌処理に対する耐性を持たせることができる。

次に、ＣＣＵ５１の機能構成について説明する。通信部８１は、カメラヘッド２３との間で各種の情報を送受信するための通信装置によって構成される。通信部８１は、カメラヘッド２３から、伝送ケーブル９１を介して送信される画像信号を受信する。この際、上記のように、当該画像信号は好適に光通信によって送信され得る。この場合、光通信に対応して、通信部８１には、光信号を電気信号に変換する光電変換モジュールが設けられる。通信部８１は、電気信号に変換した画像信号を画像処理部８３に提供する。

また、通信部８１は、カメラヘッド２３に対して、カメラヘッド２３の駆動を制御するための制御信号を送信する。当該制御信号も光通信によって送信されてよい。

画像処理部８３は、カメラヘッド２３から送信されたＲＡＷデータである画像信号に対して各種の画像処理を施す。当該画像処理としては、例えば現像処理、高画質化処理（帯域強調処理、超解像処理、ＮＲ（Noise reduction）処理及び／又は手ブレ補正処理等）、並びに／又は拡大処理（電子ズーム処理）等、各種の公知の信号処理が含まれる。また、画像処理部８３は、ＡＥ、ＡＦ及びＡＷＢを行うための、画像信号に対する検波処理を行う。

画像処理部８３は、ＣＰＵやＧＰＵ等のプロセッサによって構成され、当該プロセッサが所定のプログラムに従って動作することにより、上述した画像処理や検波処理が行われ得る。なお、画像処理部８３が複数のＧＰＵによって構成される場合には、画像処理部８３は、画像信号に係る情報を適宜分割し、これら複数のＧＰＵによって並列的に画像処理を行う。

制御部８５は、内視鏡２０による術部の撮像、及びその撮像画像の表示に関する各種の制御を行う。例えば、制御部８５は、カメラヘッド２３の駆動を制御するための制御信号を生成する。この際、撮像条件がユーザによって入力されている場合には、制御部８５は、当該ユーザによる入力に基づいて制御信号を生成する。あるいは、内視鏡２０にＡＥ機能、ＡＦ機能及びＡＷＢ機能が搭載されている場合には、制御部８５は、画像処理部８３による検波処理の結果に応じて、最適な露出値、焦点距離及びホワイトバランスを適宜算出し、制御信号を生成する。

また、制御部８５は、画像処理部８３によって画像処理が施された画像信号に基づいて、術部の画像を表示装置５３に表示させる。この際、制御部８５は、各種の画像認識技術を用いて術部画像内における各種の物体を認識する。

例えば、制御部８５は、術部画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具３３使用時のミスト等を認識することができる。制御部８５は、表示装置５３に術部の画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させる。手術支援情報が重畳表示され、術者７１に提示されることにより、より安全かつ確実に手術を進めることが可能になる。

カメラヘッド２３及びＣＣＵ５１を接続する伝送ケーブル９１は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。

ここで、図示する例では、伝送ケーブル９１を用いて有線で通信が行われていたが、カメラヘッド２３とＣＣＵ５１との間の通信は無線で行われてもよい。両者の間の通信が無線で行われる場合には、伝送ケーブル９１を手術室内に敷設する必要がなくなるため、手術室内における医療スタッフの移動が当該伝送ケーブル９１によって妨げられる事態が解消され得る。

以上、本開示に係る技術が適用され得る内視鏡手術システム１０の一例について説明した。

なお、ここでは、一例として内視鏡手術システム１０について説明したが、本開示に係る技術が適用され得るシステムはかかる例に限定されない。例えば、本開示に係る技術は、検査用軟性内視鏡システムや顕微鏡手術システムに適用されてもよい。

＜発光マーカ＞
上記したように、制御部８５は、各種の画像認識技術を用いて術部画像内における各種の物体を認識する。例えば、制御部８５は、術部画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具３３使用時のミスト等を認識することができる。

しかしながら、術部画像に含まれる物体、例えば、鉗子３５などの術具３０のエッジの形状を検出するとき、出血により術具３０に血が付着し、汚れている場合など、正確に術具３０のエッジの形状を検出することができないことがある。また、正確に術具３０の形状（先端部分の形状）を検出できなければ、術具３０の位置の推定も正確にできない可能性がある。

また、術具３０の所定の位置にマーカ（以下に説明する発光するマーカではない）を付け、外部のカメラで撮影し、術具３０の位置を計測する方法もあるが、上記した場合と同様に、術具３０に血が付着し、汚れている場合など、正確に術具３０の位置を検出できないことがある。

また、そのようなことを回避するために、血が付着しない部分、例えば術具３０の端部にマーカを取り付けて術具３０の位置を計測することも考えられるが、端部に付けられたマーカで、高い精度で術具３０の先端部分の位置を推定することは困難であった。

また、術具３０の先端にマーカを付ける場合、施術の邪魔にならないような形状、位置、大きさなどにしなくてはならず、高い精度で先端部分の位置を推定するための形状、位置、大きさなどでマーカを付けるのは困難であった。

以下に説明する本技術によれば、出血により術具３０に血が付着し、汚れている場合などでも、正確に術具３０のエッジの形状を検出し、術具３０の先端部分を検出できるようになる。また、その検出精度を向上させることができる。また検出された術具３０の先端部分から、術具３０の位置推定を，精度良く行うことが可能となる。

図３に、本技術を適用した術具３０を示す。図３に示した術具３０の先端部分には、発光マーカ２０１−１と発光マーカ２０１−２が装着されている。以下、発光マーカ２０１−１と発光マーカ２０１−２を個々に区別する必要が無い場合、単に、発光マーカ２０１と記述する。他の部分も同様に記述する。

発光マーカ２０１は、点灯、点滅するマーカである。また発光マーカ２０１は、所定の色、例えば青色や緑色で発光する。

図３に示した例では、発光マーカ２０１は、術具３０の先端に配置されている。また、術具３０は、先端部分が２箇所あり、発光マーカ２０１は、それぞれの先端部分に配置されている。図３に示した術具３０のように、先端部分が２箇所あるような術具３０の場合、それぞれの先端に発光マーカ２０１が配置されるようにしても良いし、どちらか一方のみに配置されるようにしても良い。換言すれば、複数の先端がある術具３０の場合、それぞれの先端に発光マーカ２０１が配置されても良いし、複数の先端のうちの所定数の先端にのみ発光マーカ２０１が配置されているようにしても良い。

また図４に示すように、術具３０の先端部分ではない部分に、発光マーカ２０１が配置されても良い。図４に示した例では、術具３０の枝の部分（先端部分が稼働するのに対して、稼働しない部分）に、発光マーカ２０１−３と発光マーカ２０１−４が配置されている。

図４に示した例では、２個の発光マーカ２０１が配置されている例を示したが、１個、又は３個などの複数個配置されていても良い。例えば、枝を一周するように、複数の点形状の発光マーカ２０１が配置されても良い。

図４に示したように、術具３０の先端部分以外の部分に発光マーカ２０１が配置される場合、できる限り、術部３０の先端部分に近い位置に発光マーカ２０１は配置される。

図３や図４では、点形状（円形状）の発光マーカ２０１を示したが、図５に示すように、枝の部分に巻き付けられたような形で、発光マーカ２０１が取り付けられていても良い。図５に示した例では、発光マーカ２０１−５が、術具３０の枝の部分に所定の幅を有する形状（四角形状）で、枝を一周するように配置されている。

図３乃至図５に示したように、発光マーカ２０１を、点発光式のデバイスとして、１又は複数個配置されるようにしても良いし、面発光式のデバイスとして配置されるようにしても良い。

図４又は図５に示したように、術具３０の先端部分以外の部分に、発光マーカ２０１を配置する場合であっても、できる限り先端に近い部分に配置される。

また図６に示すように、発光マーカ２０１−６を、スポットライト状の発光マーカとすることも可能である。スポットライト状の発光マーカ２０１を用いた場合、そのスポットライトの光は、術具３０の先端部分に照射されるように、発光マーカ２０１は配置される。

スポットライト状の発光マーカ２０１を、図６に示したように１個配置しても良いし、図示はしないが複数個配置しても良い。スポットライト状の発光マーカ２０１の形状は、点形状であっても良いし、面形状であっても良い。

また図７に示すように、術具３０が整形外科手術などで用いられるドリルであるような場合、術具３０の先端部分に発光マーカ２０１を配置することはできないため、できる限り先端に近い部分に、スポットライト状の発光マーカ２０１が配置される。

図３乃至図５に示した発光マーカ２０１と、図６,７に示したスポットライト状の発光マーカ２０１が、１つの術具３０に配置されても良い。

このように、本技術を適用した術具３０には、点灯、点滅する発光マーカ２０１が配置されている。またその発光マーカ２０１は、術具３０の先端部分、又は先端部分にできる限り近い位置に配置されている。また発光マーカ２０１は、スポットライト状のマーカとし、術具３０の先端部分に光を照射する位置に配置されるようにしても良い。

図８に示すように、発光マーカ２０１が配置されている術具３０は、撮像部２７（図２）により撮像される。例えば、図９Ａに示すような画像が撮像される場合を考える。図９Ａに示したように、棒状の術具３０が画面右側から中央部分付近まで存在する状態が、撮像部２７により撮像され、表示装置５３に表示されている。

このような画像を解析し術具３０の形状を認識した結果を図９Ｂに示す。図９Ｂに示したように、術具３０の形状が認識できれば、ステレオ解析や形状データベースとのマッチングにより、位置、特に、術具３０の先端の位置を推定することができる。

図９Ａと図９Ｂを参照するに、図９Ａに示した術具３０は、図９Ｂに示したように、術具３０’として認識されている。また、認識結果である術具３０’は、図９Ａに示した実際の術具３０と、ほぼ同じ形状、位置に認識されている。

しかしながら、術具３０が、血などにより汚れていると、図１０に示すような認識結果が得られてしまう可能性がある。術具３０に汚れがあると、その認識結果は、図１０に示すように、汚れの部分が認識されず、所々欠けたような術具３０”となる。特に、術具３０の先端部分は、汚れることが多く、欠けたような状態で認識される可能性が高い。すなわち、術具３０を認識し、その認識結果を用いて位置や角度を精度良く検出することが困難であった。

本技術によれば、図３乃至図７を参照して説明したように、術具３０に発光マーカ２０１が配置され、その発光マーカ２０１の発光を撮像することで、術具３０が汚れていているような場合でも、図９Ｂに示したように精度良く検出できるようになる。そして、高い精度で術具３０の位置や角度を検出できるようになる。

＜発光色について＞
ここで、図１１を参照し、発光マーカ２０１の発光色について説明する。図１１は、横軸が赤の色度を表し、縦軸が緑の色度を表している。図１１は、手術中の画像、例えば、図９Ａに示したような術具３０で術部を手術しているときに撮像された画像を解析した色分布の結果を表している。

術具３０が汚れていないときに術具３０を撮像し、解析した場合、図１１中の領域Ａ内に、色分布は集中する。また血を含む生体組織を撮像し、解析した場合、図１１中の領域Ｂ内に、色分布は集中する。血などで汚れている術具３０を撮像し、解析した場合、図１１中の領域Ｃ内に、色分布は集中する。

すなわち、本来、領域Ａ内に分布する術具３０の色は、血で汚れて赤味が増すと、領域Ｃ内に移動してしまう。血の赤色が、術具３０の鏡面反射により反射されたり、術具３０に自体に血が付着したりすることで、術具３０の色分布が血の色分布の方に近づいてしまう。

このように、術具３０の色分布が、領域Ｃ内に存在すると、術具３０と生体（血）との区別がつかなくなり、術具３０を認識しづらくなってしまう。

発光マーカ２０１を青色で点灯させることで、図１１中の領域Ｄ内に、術具３０の色分布を移動させることができる。領域Ｄには、汚れていない術部３０の色分布（領域Ａ）や、生体の色分布（領域Ｂ）とは重なりがない領域である。このような領域Ｄに、術具３０の色分布を移動させることで、術具３０を検出できるようになる。

発光マーカ２０１が、青色で発光することで、その青色が撮像部２７で撮像される。そして撮像された画像を解析すると、色分布として、青色の領域、すなわち図１１中の領域Ｄ内に発光マーカ２０１の色が分布することになる。発光マーカ２０１は、上記したように、術具３０の先端部分（先端部分の近傍）に配置されているため、術具３０の先端部分を、発光マーカ２０１の発光により検出することが可能となる。

発光マーカ２０１の発光色は、このように、術具３０の色や、生体の色が分布しない領域内の色とすれば良い。

このように、発光マーカ２０１の発光により、血で汚れた術具３０の色味を生体細胞が存在しない色領域に移動させることができ、画像処理で、容易に、かつ安定して、術部３０の色情報を、生体細胞の色情報から分離、抽出することが可能となる。

発光マーカ２０１を点灯させることで（常に発光させておくことで）、常時、術具３０を、良好に検出することができる。

発光マーカ２０１を点滅させることで（必要に応じ発光させたり、所定の間隔で発光させたりすることで）、例えば、撮像部２７で撮像されている画像内に、術具３０があるか否かを確認することが可能となる。発光マーカ２０１が点滅することで、術具３０の色分布は、領域Ｃと領域Ｄを行き来することになる。

発光マーカ２０１を点滅することで、発光マーカ２０１が発光しているときには図１０Ｂに示したような認識結果が得られ、発光マーカ２０１が消灯しているときには、図９Ｂに示したような認識結果が得られる。このように、異なる認識結果が得られることで、画像内の術具３０がある部分を、点灯させたような画像を術者７１に見せることが可能となる。よって、画像内に術具３０があるか否かを簡便に術者７１に確認させることが可能となる。

このように、発光マーカ２０１の点灯により、血で汚れた術具３０の色味を生体細胞が存在しない色領域と交互に変化させることで、画像処理で、容易に、かつ安定して、術部３０の色情報を、生体細胞の色情報から分離、抽出することが可能となる。

発光マーカ２０１の発光色を緑色としても良い。再度図１１を参照する。発光マーカ２０１を緑色で発光させることで、術部３０の色分布を、緑色の領域にすることができる。すなわち、図１１中において、緑色の領域は、領域Ａであり、領域Ａは、汚れがないときの術部３０の色が分布する領域（本来の術部３０の色が分布する領域）である。

術部３０が血で汚れ、術部３０の色分布が領域Ｃにあったとしても、発光マーカ２０１を緑色で発光させることで、術部３０の色分布を、領域Ａ、すなわち、術部３０の本来の色分布に移動させることができる。

このように、発光マーカ２０１の発光により、血で汚れた術具３０の色味を、本来の術部３０の色領域に移動させることができ、画像処理で、容易に、かつ安定して、術部３０の色情報を、生体細胞の色情報から分離、抽出することが可能となる。

なお、ここでは、発光マーカ２０１の発光色は、青または緑であるとして説明を続けるが、術具３０の本来の色（領域Ａに該当する色領域）や、生体細胞の色が分布していない色領域（領域Ｂに該当する色領域以外の色領域）に、術部３０の色情報を移動させることができる色であればよい。

＜術具の形状を認識する処理＞
次に、発光マーカ２０１が配置された術具３０の形状の認識に係わる処理について説明する。図１２に示したフローチャートを参照し、画像処理部８３（図２）で行われる術具３０の形状の認識に係わる処理について説明する。図１２に示したフローチャートの処理は、撮像部２７や制御部８５（図２）で撮像された画像に対して画像処理部８３により行われる処理である。なお、以下に説明する処理は、予め縮小した画像に対して行われるようにすることも可能である。

ステップＳ１０１において、取得された画像内の各画素を対象とし、各画素の輝度（Ｉ）と色度（ｒ、ｇ、ｂ）が計算される。ステップＳ１０２において、所定の画素を処理対象とし、その画素の近傍に位置する画素の色度を用いて、処理対象とされた画素の色度を設定する。

例えば、図１３に示したように、処理対象とされている画素が、画素３０１−５である場合、その画素３０１−５と、その画素３０１−５の近傍に位置する画素３０１−１乃至３０１−９の色度が用いられ、画素３０１−５の色度が設定される。

具体的には、以下のようにして処理対象とされている画素の色度が設定される。以下の式において、ｒは、処理対象とされている画素の赤色の色度、ｇは、処理対象とされている画素の緑色の色度、ｂは、処理対象とされている画素の青色の色度を示す。また、ｒ’は、近傍画素の赤色の色度、ｇ’は、近傍画素の緑色の色度、ｂ’は、近傍画素の青色の色度を示す。
ｒ＝ｍｉｎ（ｒ，ｒ’）
ｇ＝ｍａｘ（ｇ，ｇ’）
ｂ＝ｍａｘ（ｂ，ｂ’）

すなわち、処理対象とされている画素の色度のうち、赤色（ｒ）の色度は、処理対象とされている画素の色度と隣接する複数の画素の赤色の色度（ｒ’）のうちの最小の色度に設定される。例えば、図１３に示したような状況の場合、画素３０１−５の赤色の色度は、画素３０１−１乃至３０１−９の赤色の色度のうちの最小の色度に設定される。

処理対象とされている画素の色度のうち、緑色（ｇ）の色度は、処理対象とされている画素の色度と隣接する複数の画素の緑色の色度（ｇ’）のうちの最大の色度に設定される。例えば、図１３に示したような状況の場合、画素３０１−５の緑色の色度は、画素３０１−１乃至３０１−９の緑色の色度のうちの最大の色度に設定される。

処理対象とされている画素の色度のうち、青色（ｂ）の色度は、処理対象とされている画素の色度と隣接する複数の画素の青色の色度（ｂ’）のうちの最大の色度に設定される。例えば、図１３に示したような状況の場合、画素３０１−５の青色の色度は、画素３０１−１乃至３０１−９の青色の色度のうちの最大の色度に設定される。

このように、処理対象とされている画素の色度が設定される。このように、処理対象とされている画素の色度が設定されることで、赤色の影響を小さくし、緑色と青色の影響を大きくすることができる。換言すれば、血の色（赤）による影響を小さくし、術具３０の色（緑）による影響を大きくし、発光マーカ２０１の色（青）による影響を大きくすることができる。

なお、発光マーカ２０１の発光色が青色ではなく、緑色であった場合、青色による影響を小さくするようにしても良い。例えば、青色も赤色と同じく、ｂ＝ｍｉｎ（ｂ，ｂ’）で求められるようにしても良い。また、ここでは、図１３に示したように、近傍を、対象画素を中心とした３×３の領域として説明したが、５×５、７×７等の、より広い領域として計算が行われるようにしても良い。

ステップＳ１０３（図１２）において、輝度が一定値以上、かつ色度が「術具の色領域」に含まれる画素が選択され、ラベル付けが行われる。輝度が一定値以上とは、例えば、２５５階調であった場合、３５階調以上の輝度であるか否かが判定される。

「術具の色領域」とは、図１４に示す領域である。図１４は、図１１と同じ図であり。色分布を示した図である。図１４中に縦線を図示したが、縦線の左側の領域が、「術具の色領域」とされる。「術具の色領域」は、本来の術具３０の色が分布する領域Ａと、発光マーカ２０１の発光により術具３０の色が分布する領域Ｄを含む領域である。換言すれば、「術具の色領域」は、血の色が分布する領域Ｂと、血による影響を受けた術具３０の色が分布する領域Ｃを除外した領域である。

ステップＳ１０３における処理では、まず、輝度が一定値以上の画素が選択される。この処理により、輝度が低い、すなわち暗い画素は除去される。換言すれば、所定の明るさ以上の画素を残す処理が、ステップＳ１０３において実行される。

さらにステップＳ１０３における処理では、術具の色領域に含まれる画素が選択される。この処理により、本来の術具３０の色が分布する領域Ａと、発光マーカ２０１の発光により術具３０の色が分布する領域Ｄに含まれる画素が選択される。換言すれば、血の色が分布する領域Ｂと、血による影響を受けた術具３０の色が分布する領域Ｃにある画素が除外される。

そして、輝度が一定値以上の画素であり、かつ術具の色領域に含まれる画素に対してラベル付けが行われる。

ステップＳ１０４において、一定面積以上の各ラベルの周長（ｌ）と外接する矩形の短辺（ａ）と長辺（ｂ）が計算される。例えば、ステップＳ１０３におけるラベル付けは、選択された画素同士が近接しているときには同じラベルが付けられるようにし、ステップＳ１０４においては、同一ラベルが付けられている画素が、一定面積以上、例えば、２５００画素以上であるか否かが判定される。

一定面積以上であると判定された画素（画素が集合している領域）の周長（ｌ）が計算される。また、周長（ｌ）が計算された領域に外接する矩形の短辺（ａ）と長辺（ｂ）が計算される。なお、ここでは、矩形の辺を区別するために、短辺と長辺との記載をしたが、計算時に、長辺と短辺が区別（特定）されて計算される必要はない。

ステップＳ１０５において、比率が算出され、その比率が所定の範囲内であるか否かが判定される。比率としては以下のｒａｔｉｏ１とｒａｔｉｏ２が算出される。
ｒａｔｉｏ１＝ｍａｘ（ａ，ｂ）／ｍｉｎ（ａ，ｂ）
ｒａｔｉｏ２＝Ｉ／（２（ａ＋ｂ））

ｒａｔｉｏ１は、外接する矩形の短辺（ａ）と長辺（ｂ）のうちの大きい値と小さい値との比（大きい値を小さい値で除算した値）である。ｒａｔｉｏ２は、外接する矩形の短辺（ａ）と長辺（ｂ）を加算した値を二倍し、その値で、周長（ｌ）を除算した値である。

このｒａｔｉｏ１とｒａｔｉｏ２が、以下の値の範囲内であるか否かが判定される。
１．２４＜ｒａｔｉｏ１＆＆ｒａｔｉｏ２＜１．３５
ｒａｔｉｏ１とｒａｔｉｏ２が共に、１．２４以上であり、１．３５以下であるか否かが判定される。そして、この条件が満たされる領域（画素，その画素に付けられたラベル）は、術具３０であると判定される。

ステップＳ１０４とステップＳ１０５おける処理は小さい領域を処理対象（術具３０であるか否かの判定を行う対象）から除外するための処理である。また、例えば照明などによる反射による領域を、術具３０であるか否かの判定を行う対象から除外するための処理である。このように、小さい領域や反射による影響がある領域を除外するための処理であれば、上記したステップＳ１０４、ステップＳ１０５以外の処理が行われるようにしても良い。

また、ステップＳ１０４、ステップＳ１０５の処理、例えば、数式や数値は一例であり、限定を示す記載ではない。

このような処理が行われることで、例えば、図９Ａに示したような画像から、図９Ｂに示したような画像（認識結果）を生成することができる。すなわち、血などの汚れがある術部３０であっても、その形状を正確に検出することが可能となる。

＜術具先端の存在確認処理＞
次に、図１５のフローチャートを参照し、術具３０の先端の存在を確認するときの処理について説明する。

ステップＳ２０１において、発光マーカ２０１が点灯される。例えば、術者７１が術具３０の先端部分が、画像内のどこにあるのかを知りたいときなど、所定の操作、例えば、発光マーカ２０１を点灯させるためのボタンが操作されることで、発光マーカ２０１が点灯される。

ステップＳ２０２において、各画素の輝度（Ｉ）と色度（ｒ、ｇ、ｂ）が計算される。そして、ステップＳ２０３において、輝度が一定値以上、かつ色度が術具の色領域に含まれる画素が選択され、選択された画素にラベルが付けられる。このステップＳ２０２とステップＳ２０３の処理は、図１２のステップＳ１０１とステップＳ１０２の処理と同様に行われる。

ステップＳ２０４において、一定面積以上のラベルが術具３０と判定される。一定面積以上とは、例えば、５００画素以上とされる。

ステップＳ２０５において、術具が見つかったか否か、および発光マーカ２０１の光量が最大光量であるか否かが判定される。ステップＳ２０５において、術具３０は見つかっていない（検出されていない）と判定された場合、又は、発光マーカ２０１の光量が最大光量ではないと判定された場合、ステップＳ２０６に処理が進められる。

ステップＳ２０６において、発光マーカ２０１の光量が上げられる。発光マーカ２０１の光量が上げられた後、処理は、ステップＳ２０２に戻され、それ以降の処理が繰り返される。

一方、ステップＳ２０５において、術具３０は見つかった（検出された）と判定された場合、又は、発光マーカ２０１の光量が最大光量であると判定された場合、ステップＳ２０７に処理が進められる。

ステップＳ２０７において、発光マーカ２０１の光量が標準状態に戻される。このようにして、術部３０の先端部分の存在確認が行われる。

なおここでは、発光マーカ２０１の光量を徐々に上げ、術部３０の先端部分を検出するようにしたが、発光マーカ２０１の光量を初めから最大光量として術部３０の先端部分を検出するようにしても良い。このようにした場合、ステップＳ２０１において最大光量で発光マーカ２０１が発光される。またステップＳ２０５、ステップＳ２０６の処理は省略された処理フローとされる。

なお、図１５に示したフローチャートにおいては、ステップＳ２０４において、一定面積以上のラベルを術具３０と判定するという処理で術部３０（の先端部分）を検出する場合を例に挙げて説明したが、図１２に示したフローチャートにおけるステップＳ１０３乃至Ｓ１０５の処理が行われることで、術部３０が検出されるようにしても良い。

＜汚れ度合いの推測処理＞
次に、図１６のフローチャートを参照し、術具３０の汚れを推測するときの処理について説明する。

ステップＳ３０１乃至Ｓ３０４の処理は、基本的に、図１５に示したフローチャートのステップＳ２０１乃至Ｓ２０４と同様に行うことが可能なため、その説明は省略する。ステップＳ３０５において、検出された面積が保持される。ステップＳ３０６において、発光マーカ２０１の光量は最大光量であるか否かが判定される。

ステップＳ３０６において、発光マーカ２０１の光量は最大光量ではないと判定された場合、ステップＳ３０７に処理は進められ、発光マーカ２０１の光量が上げられる。その後、ステップＳ３０２に処理が戻され、それ以降の処理が繰り返される。

ステップＳ３０２乃至Ｓ３０７の処理が繰り返されることで、発光マーカ２０１の光量が徐々に上げられ、光量毎に、術具３０として判定された領域（検出面積）が保持される。そして、ステップＳ３０６において、発光マーカ２０１の光量は、最大光量であると判定された場合、ステップＳ３０８に処理が進められ、発光マーカ２０１の光量が標準状態に戻される。

ステップＳ３０９において、汚れ度合いが算出される。ここで汚れ度合いの算出の仕方について一例を示す。図１７は、発光マーカ２０１の光量と検出面積との関係を示す図である。図１７において、横軸は、発光マーカ２０１の光量の制御値を表し、縦軸は、術具３０の検出面積を表している。

術具３０に汚れが少ない場合、図１７に示したように、発光マーカ２０１の光量が多くなると、比例して術具３０の検出面積が増える。しかしながら、その増加は急激ではない。換言すれば一次関数で近似したとき、その傾きは小さい値となる。

これに対して、術具３０に汚れが多い場合、図１７に示したように、発光マーカ２０１の光量がある程度増加したときに、急激に術具３０の検出面積が増える。発光マーカ２０１の光量が小さいときには、汚れによる影響が大きく、術具３０が検出されづらい状態であるが、所定の光量以上になると、汚れによる影響が除去され、術具３０の検出面積が増加する。

図１６に示したフローチャートの処理が実行されることで、発光マーカ２０１の光量毎の術具３０の検出面積が取得することができる。その取得された発光マーカ２０１の光量毎の術具３０の検出面積から、図１７に示したようなグラフ（汚れ大のようなグラフ）が得られる。得られたグラフを一次関数に近似し、その傾きを求める。

例えば、図１７に示したような汚れ大のときのグラフが得られた場合、点線に示すような一次関数の直線に近似される。点線で示した一次関数は、光量をｘ、検出面積をｙ、傾きをａ、定数をｂとすると、ｙ＝ａｘ＋ｂで表される。この傾きａが汚れの度合いaとして用いられる。

すなわち、図１７に示したように、汚れが小さいときには、傾きａは小さくなり、汚れが大きいときには、傾きａは大きくなる。よって、傾きａを術具３０の汚れの度合いaとして用いることができる。

なお、ここでは、発光マーカ２０１の光量を徐々に大きくし、複数の光量を設定し、光量毎に、術具３０の検出面積を取得し、それらのデータから近似した一次関数を生成し、傾きａを求めるとして説明した。このような方法に限らず、傾きａが求められるようにしても良い。

例えば、発光マーカ２０１の光量が小さいときの術具３０の検出面積と、大きいときの術具３０の検出面積の２点から、一次関数が生成され、傾きａが算出されるようにしても良い。

このような汚れ度合いを検出するようにした場合、「術具の色領域」を補正することができる。図１５のフローチャートを参照したようにして、術具３０の存在が確認され、図１６に示したフローチャートを参照して説明したように汚れ度合いが算出され、その汚れ度合いが大きな値となるような場合、汚れの度合いが酷いか、ホワイトバランスが狂っている可能性がある。

そのような状態で、例えば、図１６のステップＳ３０３で画素を選択するときに参照される色領域である「術具の色領域」を参照して画素を選択した場合、誤った画素を選択してしまう可能性がある。そこで、図１８に示すように、「術具の色領域」の赤の色度軸の境界を赤方向に変更することで、適切な状態に調整することができる。

赤の色度軸の境界の変更量は、例えば、Ｃ×ａとすることができる。ここで、Ｃは定数であり、ａは、汚れの度合いを表す傾きａである。定数Ｃに傾きａ（汚れの度合い）を乗算した値を赤の色度軸の境界の変更量とされ、その変更量分だけ、図１８に示すように、赤方向に赤の色度軸の境界がずらされる。このように赤の色度軸の境界が変更されることで、「術具の色領域」を適切な領域に調整することができる。

なお、赤の色度軸の境界の変更量は、上記したように定数と汚れ度合いを乗算した値としても良いが、これは一例であり、他の変更量が算出されるようにしても良い。

＜術具の先端位置の推定＞
上述したような処理により、術具３０の画像内での位置や形状を検出することができる。さらに、ステレオカメラを用いて、術具３０の位置を立体的に計測できるようにすることも可能である。図１９と図２０を参照して、三角測量の原理を用いた、術具３０の先端の位置の算出方法について説明する。

いま、撮像部２７ａと撮像部２７ｂが、図１９に示されるように、距離Ｔの間隔を開けて、横方向に並んで配置されており、撮像部２７ａと撮像部２７ｂのそれぞれが、実世界上の物体Ｐ（例えば、術部３０）を撮像しているものとする。

撮像部２７ａと撮像部２７ｂの垂直方向の位置は同一であり、水平方向の位置だけが異なるので、撮像部２７ａと撮像部２７ｂにより得られるR画像とL画像の画像内における物体Ｐの位置は、ｘ座標位置のみが異なることとなる。

そこで、例えば、撮像部２７ａにより得られるR画像では、R画像内に映る物体Ｐのｘ座標がｘ^rであり、撮像部２７ｂにより得られるL画像では、L画像内に映る物体Ｐのｘ座標がｘ^lであるとする。

三角測量の原理を用いると、図２０に示されるように、R画像中の物体Ｐのｘ座標＝ｘ^rは、撮像部２７ａの光学中心Ｏ_rと物体Ｐとを結んだ直線上の位置に相当する。また、L画像中の物体Ｐのｘ座標＝ｘ^lは、撮像部２７ｂの光学中心Ｏ_lと物体Ｐとを結んだ直線上の位置に相当する。

ここで、光学中心Ｏ_r又はＯ_lから、R画像又はL画像の撮像平面までの距離をｆ、実世界の物体Ｐまでの距離（奥行き）をＺとすると、視差ｄは、ｄ＝（ｘ^l−ｘ^r）で表される。

また、Ｔ，Ｚ，ｄ，ｆには、

の関係が成り立つ。

従って、物体Ｐまでの距離Ｚは、式（１）を変形して、次式（２）により求めることができる。

このような三角測量の原理が用いられて、例えば、術部画像の奥行き情報（術具３０の奥行き情報）を用いて、術部画像内に映された術具３０の位置、特に先端部分が検出されるようにしても良い。

例えば、撮像部２７ａで撮像された画像が、図２１Ａに示したような画像（Ｒ画像）であるとき、上記した処理、例えば、図１２に示したフローチャートの処理が実行されることで、図２１Ｃに示したような認識結果が得られる。

同様に、撮像部２７ｂで撮像された画像が、図２１Ｂに示したような画像（Ｌ画像）であるとき、上記した処理、例えば、図１２に示したフローチャートの処理が実行されることで、図２１Ｄに示したような認識結果が得られる。

図２１Ｃおよび図２１Ｄに示した認識結果が得られると、例えば、術具３０と術野との境界部分（エッジ）が検出される。術具３０は、基本的に直線的な形状をしているため、直線的なエッジが検出される。検出されたエッジから、撮像画像内における３次元空間上の術具３０の位置が推定される。

具体的には、検出された直線的なエッジから、術具３０に対応する線分（直線）４０１が算出される。線分４０１は、例えば、検出された２本の直線的なエッジの中間線などで求めることができる。図２１Ｃに示した認識結果から線分４０１ｃが算出され、図２１Ｄに示した認識結果から線分４０１ｄが算出される。

そして、算出された線分４０１と、術具３０として認識されている部分との交点が算出される。図２１Ｃに示した認識結果から交点４０２ｃが算出され、図２１Ｄに示した認識結果から交点４０２ｄが算出される。このようにして、術具３０の先端が検出される。このようにして交点４０２ｃ、交点ｄと、上記した三角測量の原理により、術具３０の先端の奥行き情報を得ることができ、術具３０の３次元的な位置を検出することができる。

このように、ステレオカメラの構成とし、ステレオカメラからの術具３０の形状認識結果を用いて、術具３０の先端位置が、３次元的に検出されるようにすることも可能である。また、術具３０の位置を検出するとき、本技術によれば、術具３０が汚れていても精度良く検出することができる。

本技術によれば、術具３０の先端の位置を、精度良く検出することが可能となる。また、術具３０の先端の位置が検出できることで、術具３０の先端から患部までの距離を正確に把握したり、どの程度削ったか、切ったかなどを正確に把握したりすることが可能となる。このような把握は、専用のプローブに持ち替えることなく行うことが可能であるため、手術時間を短くすることが可能となり、患者の負担を減少させることが可能となる。

また、術具３０の位置を、術中常に計測することが可能であるため、過剰な切削や、切除を防ぐことが可能となる。

＜形状マッチングによる術具の先端位置推定処理＞
次に形状マッチングによる術具の先端位置推定処理について、図２２のフローチャートを参照して説明する。術具３０は、同じ術具３０、例えば、鉗子３５であっても、モデルにより形状が異なるため、モデルが特定されれば、より詳細に術具３０の位置を推定することができる。

ステップＳ４０１において、位置推定の処理対象とされている術具３０の３次元的な形状モデルが選択される。例えば、術具３０の３次元的な形状モデルに関するデータベースが予め用意されており、そのデータベースが参照されることで選択される。

ステップＳ４０２において、形状モデルの位置、方向、操作状態を変更し、術具領域認識結果と比較する。上記、例えば、図１２を参照して説明した処理が実行されることで、術具３０の形状が認識されている。その認識されている形状（術具領域認識結果）と、形状モデルの位置、方向、操作状態を変更し、比較し、比較する毎にマッチング度を算出する処理がステップＳ４０２において実行される。

ステップＳ４０３において、最も一致する位置、方向、操作状況が選ばれる。例えば、マッチング度が最も高い形状モデルの位置、方向、操作状態が選択される。ここでは、マッチング度を算出し、そのマッチング度が高いものが選択されるとして説明したが、マッチグ度を算出する以外の方法で、術具領域認識結果に合う形状モデルの位置、方向、操作状態が選択されるようにしても良い。

術具領域認識結果に合う形状モデルの位置、方向、操作状態が選択されることで、例えば、術具３０が上を向いているのか、下を向いているのか、先端部分は開いているのか、閉じているのかといったようなことまで、精度良く検出することが可能となる。すなわち、術具３０の位置、方向、操作状態を、精度良く検出することが可能となる。

本技術によれば、上記したように、術具領域認識結果を、術具３０が汚れているような場合であっても、精度良く検出することができるため、そのような術具領域認識結果を用いて検出される術具３０の位置、方向、操作状態も、精度良く検出することが可能となる。
本技術によれば、術具３０の先端の位置を、精度良く検出することが可能となる。また、術具３０の先端の位置が検出できることで、術具３０の先端から患部までの距離を正確に把握したり、どの程度削ったか、切ったかなどを正確に把握したりすることが可能となる。このような把握は、専用のプローブに持ち替えることなく行うことが可能であるため、手術時間を短くすることが可能となり、患者の負担を減少させることが可能となる。

＜術中の処理＞
上述した処理は、必要に応じて実行されたり、組み合わせたりして行われようにすることも可能である。ここで、上記した処理を組み合わせて行う場合の一例の流れを、図２３のフローチャートを参照して説明する。

ステップＳ５０１において、発光マーカ２０１の発光強度の制御と術具３０の先端が画像内に存在するか否かの存在確認が開始される。この処理は、図１５に示したフローチャートの処理を実行することで行われる。

ステップＳ５０２において、術具３０は、画像内に存在しているか否かが判定される。ステップＳ５０２において、術具３０が、画像内に存在していると判定されるまで、ステップＳ５０１とステップＳ５０２の処理が繰り返され、術具３０が、画像内に存在していると判定されると、ステップＳ５０３に処理は進められる。

ステップＳ５０３において、発光マーカ２０１の発光強度の制御と，血による汚れ度合いの推測が行われる。この処理は、図１６に示したフローチャートの処理を実行することで行われる。この処理が実行されることで、汚れの度合いａ（傾きａ）が算出される。

ステップＳ５０４において、汚れ度合いａに応じて「術具の色領域」が変更される。この処理は図１８を参照して説明したように、汚れの度合いが酷い場合やホワイトバランスが狂っている可能性がある場合に、術部３０を検出するために参照される色分布の「術具の色領域」を調整するための処理である。

ステップＳ５０５において、術具３０の先端の形状が認識される。この処理は、図１２に示したフローチャートの処理を実行することで行われる。この処理が実行されることで、画像内で、術具３０が存在する領域（術具３０の形状、特に先端部分の形状）が確定される。

ステップＳ５０６において、術具３０の先端の位置が推定される。この処理は、図２１を参照して説明したように、ステレオカメラで撮像された画像を用いて３次元的に位置が推定されるようにしても良い。また、図２２を参照して説明したように、データベースが参照され、マッチング度が算出されることで、術具３０の位置、方向、操作状況までも含めた推定が行われるようにしても良い。また、ステレオカメラで撮像された画像を用いて３次元的な推定と、データベースを用いた推定の両方が組み合わされて行われるようにしても良い。

このような処理が術中、繰り返し行われることで、精度良く、術具３０、特に術具３０の先端の部分の検出（位置、方向、操作状況などの検出）が行われる。

＜３次元計測用のアンテナを追加した実施の形態＞
上述した実施の形態においては、発光マーカ２０１を術具３０に配置し、術具３０の位置測定を行う場合を例に挙げて説明したが、さらに、術具３０に発光マーカ２０１とは異なるマーカを付け、そのマーカを用いて３次元計測が行われ、その計測結果も用いられて、術具３０の位置測定が行われるようにしても良い。

図２４に、発光マーカ２０１と他のマーカを付けた術具３０の構成を示す。術具３０は、先端、又は先端に近い部分に発光マーカ２０１が配置され、その発光マーカ２０１が配置されている逆側（端部）に、マーカ５０１が配置されている。マーカ５０１は、発光マーカ２０１と異なり、術部３０の先端とは遠い側に配置される。

内視鏡手術システム１０（図１）には、マーカ５０１の位置を検出する位置検出センサ５０２も含まれる構成とされる。マーカ５０１は、赤外線などの所定の光や電波を発するタイプであっても良いし、突起などの所定の形状で構成された部分であっても良い。

マーカ５０１が光や電波など発するタイプで構成されている場合、位置検出センサ５０２は、その光や電波を受信することで、マーカ５０１が存在する位置を推定する。またマーカ５０１が突起や所定の形状で構成されている場合、位置検出センサ５０２は、その形状を撮像することで、マーカ５０１が存在する位置を推定する。この推定には、例えば、上記したような三角測量の原理を用いることができる。

マーカ５０１の位置が推定されることで、術具３０の先端部分の位置を推定することができる。例えば、マーカ５０１が取り付けられている位置から、術具３０の先端までの距離は、事前に、術具３０の種類などにより取得しておくことができる。よって、マーカ５０１の位置から、事前に取得されている距離を加算することで、術具３０の先端の位置を推定することができる。

さらに本技術によれば、発光マーカ２０１が、術具３０の先端部分（先端付近）に配置され、術具３０が汚れているような場合であっても、術具３０の形状を検出し、その先端を検出することができる。この発光マーカ２０１を用いた位置推定と、マーカ５０１を用いた位置推定を合わせて行うことで、より精度良く推定を行うことが可能となる。

例えば、マーカ５０１を用いた位置推定で推定された位置を、発光マーカ２０１を用いた位置推定で推定された位置を用いて補正することで、精度を高めた推定が行えるようにしても良い。

上記した実施の形態においては、内視鏡手術システムを例に挙げて説明したが、本技術は、外科手術システム、顕微鏡下手術システムなどにも適用できる。

また本技術は、手術システムに適用範囲が限定されるわけではなく、他のシステムに対しても適用できる。例えば、所定の色で発光するマーカを撮像し、色分布で画像解析することで、所定の物体の形状や位置を計測するシステムに適用できる。

発光マーカ２０１が発光する所定の色としては、上記したように、手術システムに適用する場合には、生体細胞が存在しない色領域に存在する色とすることができる。また、他のシステムに適用する場合、位置を推定したい物体（物体Ａとする）を、その物体Ａの周りに位置する物体Ｂから抽出する必要があるため、物体Ｂが存在しない色領域に存在する色が、発光マーカ２０１が発光する色とされる。

＜記録媒体について＞
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

図２５は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。コンピュータにおいて、ＣＰＵ（Central Processing Unit）１００１、ＲＯＭ（Read Only Memory）１００２、ＲＡＭ（Random Access Memory）１００３は、バス１００４により相互に接続されている。バス１００４には、さらに、入出力インタフェース１００５が接続されている。入出力インタフェース１００５には、入力部１００６、出力部１００７、記憶部１００８、通信部１００９、及びドライブ１０１０が接続されている。

入力部１００６は、キーボード、マウス、マイクロフォンなどよりなる。出力部１００７は、ディスプレイ、スピーカなどよりなる。記憶部１００８は、ハードディスクや不揮発性のメモリなどよりなる。通信部１００９は、ネットワークインタフェースなどよりなる。ドライブ１０１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア１０１１を駆動する。

以上のように構成されるコンピュータでは、ＣＰＵ１００１が、例えば、記憶部１００８に記憶されているプログラムを、入出力インタフェース１００５及びバス１００４を介して、ＲＡＭ１００３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（ＣＰＵ１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線又は無線の伝送媒体を介して提供することができる。

コンピュータでは、プログラムは、リムーバブルメディア１０１１をドライブ１０１０に装着することにより、入出力インタフェース１００５を介して、記憶部１００８にインストールすることができる。また、プログラムは、有線又は無線の伝送媒体を介して、通信部１００９で受信し、記憶部１００８にインストールすることができる。その他、プログラムは、ＲＯＭ１００２や記憶部１００８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。

なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。

なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

なお、本技術は以下のような構成も取ることができる。
（１）
発光マーカが配置されている物体を撮像する撮像部と、
前記撮像部で撮像された画像を処理する処理部と
を備え、
前記処理部は、
前記画像から、前記発光マーカが発光した色を抽出し、
前記抽出された色が分布する前記画像内の領域を、前記物体が位置する領域として検出する
医療用画像処理装置。
（２）
前記処理部は、
前記画像内の画素毎に色度を算出し、
前記発光マーカの発光色に該当する色度を有している画素を抽出し、
抽出された前記画素を、前記物体が存在する領域として検出する
前記（１）に記載の医療用画像処理装置。
（３）
処理対象とされた第１の画素と、前記第１の画素の近傍に位置する複数の第２の画素のそれぞれの色度のうち、前記発光マーカの発光色に該当する色度が最も高い色度を、前記第１の画素の色度に設定し、
設定後の色度を参照して、前記発光マーカの発光色に該当する色度を有している画素を抽出し、
抽出された前記画素を、前記物体が存在する領域として検出する
前記（２）に記載の医療用画像処理装置。
（４）
処理対象とされた第１の画素と、前記第１の画素の近傍に位置する複数の第２の画素のそれぞれの色度のうち、前記物体を表す色の色度が最も高い色度を、前記第１の画素の色度に設定し、
設定後の色度を参照して、前記物体の色度を有している画素を抽出し、
抽出された前記画素を、前記物体が存在する領域として検出する
前記（２）に記載の医療用画像処理装置。
（５）
前記発光マーカの発光強度と前記物体として検出された面積とから、前記物体の汚れ度合いを算出する
前記（１）乃至（４）のいずれかに記載の医療用画像処理装置。
（６）
前記汚れ度合いにより、前記物体を検出する色領域の調整を行う
前記（５）に記載の医療用画像処理装置。
（７）
所定の間隔を有して配置されている２個の前記撮像部からそれぞれ前記画像を取得し、
取得された２つの画像から、それぞれ前記物体を検出し、
前記検出された物体の先端部分の位置を推定する
前記（１）乃至（６）のいずれかに記載の医療用画像処理装置。
（８）
前記物体の形状に関するデータベースを参照し、検出された前記物体とのマッチングを行うことで、前記物体の位置、方向、または操作状況のいずれかを推定する
前記（１）乃至（７）に記載の医療用画像処理装置。
（９）
前記物体は、術具であり、
前記発光マーカは、生体が色分布として存在しない色分布の領域内の色で発光する
前記（１）乃至（８）のいずれかに記載の医療用画像処理装置。
（１０）
前記物体は、術具であり、
前記発光マーカは、生体が付着していないときに前記術具の色として分布する色分布の領域内の色で発光する
前記（１）乃至（９）のいずれかに記載の医療用画像処理装置。
（１１）
前記発光マーカは、青または緑で発光する
前記（１）乃至（１０）のいずれかに記載の医療用画像処理装置。
（１２）
前記物体は、術具であり、
前記発光マーカは、前記術具の先端または先端近傍に配置され、点発光する
前記（１）乃至（１２）のいずれかに記載の医療用画像処理装置。
（１３）
前記物体は、術具であり、
前記発光マーカは、前記術具の先端または先端近傍に配置され、面発光する
前記（１）乃至（１２）のいずれかに記載の医療用画像処理装置。
（１４）
前記物体は、術具であり、
前記発光マーカは、スポットライト状に発光し、その発光が前記術具の先端部分に対して照射される位置に配置されている
前記（１）乃至（１２）のいずれかに記載の医療用画像処理装置。
（１５）
発光マーカが配置されている物体を撮像する撮像部と、
前記撮像部で撮像された前記画像を処理する処理部と
を備える医療用画像処理装置の画像処理方法において、
前記処理は、
前記画像から、前記発光マーカが発光した色を抽出し、
前記抽出された色が分布する前記画像内の領域を、前記物体が位置する領域として検出する
ステップを含む医療用画像処理方法。
（１６）
発光マーカが配置されている物体を撮像する撮像部と、
前記撮像部で撮像された前記画像を処理する処理部と
を備える医療用画像処理装置を制御するコンピュータに、
前記画像から、前記発光マーカが発光した色を抽出し、
前記抽出された色が分布する前記画像内の領域を、前記物体が位置する領域として検出する
ステップを含む処理を実行させるためのプログラム。

１０内視鏡手術システム，２７撮像部，３０術部，８３画像処理部，８５制御部, ２０１発光マーカ

Claims

発光マーカが配置されている物体を撮像する撮像部と、
前記撮像部で撮像された画像を処理する処理部と
を備え、
前記処理部は、
前記画像から、前記発光マーカが発光した色を抽出し、
前記抽出された色が分布する前記画像内の領域を、前記物体が位置する領域として検出する
医療用画像処理装置。
前記処理部は、
前記画像内の画素毎に色度を算出し、
前記発光マーカの発光色に該当する色度を有している画素を抽出し、
抽出された前記画素を、前記物体が存在する領域として検出する
請求項１に記載の医療用画像処理装置。
処理対象とされた第１の画素と、前記第１の画素の近傍に位置する複数の第２の画素のそれぞれの色度のうち、前記発光マーカの発光色に該当する色度が最も高い色度を、前記第１の画素の色度に設定し、
設定後の色度を参照して、前記発光マーカの発光色に該当する色度を有している画素を抽出し、
抽出された前記画素を、前記物体が存在する領域として検出する
請求項２に記載の医療用画像処理装置。
処理対象とされた第１の画素と、前記第１の画素の近傍に位置する複数の第２の画素のそれぞれの色度のうち、前記物体を表す色の色度が最も高い色度を、前記第１の画素の色度に設定し、
設定後の色度を参照して、前記物体の色度を有している画素を抽出し、
抽出された前記画素を、前記物体が存在する領域として検出する
請求項２に記載の医療用画像処理装置。
前記発光マーカの発光強度と前記物体として検出された面積とから、前記物体の汚れ度合いを算出する
請求項１に記載の医療用画像処理装置。
前記汚れ度合いにより、前記物体を検出する色領域の調整を行う
請求項５に記載の医療用画像処理装置。
所定の間隔を有して配置されている２個の前記撮像部からそれぞれ前記画像を取得し、
取得された２つの画像から、それぞれ前記物体を検出し、
前記検出された物体の先端部分の位置を推定する
請求項１に記載の医療用画像処理装置。
前記物体の形状に関するデータベースを参照し、検出された前記物体とのマッチングを行うことで、前記物体の位置、方向、または操作状況のいずれかを推定する
請求項１に記載の医療用画像処理装置。
前記物体は、術具であり、
前記発光マーカは、生体が色分布として存在しない色分布の領域内の色で発光する
請求項１に記載の医療用画像処理装置。
前記物体は、術具であり、
前記発光マーカは、生体が付着していないときに前記術具の色として分布する色分布の領域内の色で発光する
請求項１に記載の医療用画像処理装置。
前記発光マーカは、青または緑で発光する
請求項１に記載の医療用画像処理装置。
前記物体は、術具であり、
前記発光マーカは、前記術具の先端または先端近傍に配置され、点発光する
請求項１に記載の医療用画像処理装置。
前記物体は、術具であり、
前記発光マーカは、前記術具の先端または先端近傍に配置され、面発光する
請求項１に記載の医療用画像処理装置。
前記物体は、術具であり、
前記発光マーカは、スポットライト状に発光し、その発光が前記術具の先端部分に対して照射される位置に配置されている
請求項１に記載の医療用画像処理装置。
発光マーカが配置されている物体を撮像する撮像部と、
前記撮像部で撮像された前記画像を処理する処理部と
を備える医療用画像処理装置の画像処理方法において、
前記処理は、
前記画像から、前記発光マーカが発光した色を抽出し、
前記抽出された色が分布する前記画像内の領域を、前記物体が位置する領域として検出する
ステップを含む医療用画像処理方法。
発光マーカが配置されている物体を撮像する撮像部と、
前記撮像部で撮像された前記画像を処理する処理部と
を備える医療用画像処理装置を制御するコンピュータに、
前記画像から、前記発光マーカが発光した色を抽出し、
前記抽出された色が分布する前記画像内の領域を、前記物体が位置する領域として検出する
ステップを含む処理を実行させるためのプログラム。