JP2016013233A - 出力制御方法、画像処理装置、出力制御プログラムおよび情報処理装置 - Google Patents

Abstract

【課題】生体画像に医用情報を重畳表示すること。
【解決手段】記憶部１ａは、第１の撮像方法により取得した生体についての生体情報に対応づけて当該生体について第２の撮像方法により取得した第１の生体画像を記憶する。表示制御部１ｂは、ある生体について第１の撮像方法により取得した生体情報が、記憶部１ａに記憶された生体情報に対応すると判定すると、該生体について第３の撮像方法により取得した第２の生体画像と第１の生体画像の全部又は一部とを重ね合わせて表示する。
【選択図】図１

Description

本発明は出力制御方法、画像処理装置、出力制御プログラムおよび情報処理装置に関する。

医療の現場では、医師による手術を支援する技術が利用されている。例えば、臓器全体の生理学的パラメータの値の分布（例えば、心臓の内表面全域にわたる局部電位の分布）を規定するマップを取得し、マップおよび臓器の３次元画像を同時に表示する提案がある。この提案では、臓器外部の解剖学的ランドマークを用いた幾何学変換により生理学的パラメータの値を３次元画像に重ね合わせ、重ね合わせた値および３次元画像を表示する。

また、内視鏡や処置具を挿通するトラカールに、トラカールの腹部領域への挿入角度などの情報を検出するセンサを装着し、センサの検出結果に基づいてバーチャル画像データを生成する提案もある。更に、内視鏡画像に対応したリアルタイムで変遷するバーチャル画像をバーチャル画像用モニタに表示すると共に、手技の進行に応じた術者の指示に基づいて、例えば臓器切除を行う場合に、切除面マーキング画像をバーチャル画像上に重畳させる提案もある。

特開２００７−２６８２５９号公報 特開２００５−２１１５３１号公報 特開２００５−２７８８８８号公報

医用情報（例えば、臓器の裏側に隠れた血管や患部病巣の情報など）を術野に重ねてモニタなどに表示させることで、執刀医の視覚的情報を補完することが考えられる。ここで、臓器や病巣の配置は患者や臓器毎に異なる。このため、多数の患者に対して医用情報が管理され得る。また、１人の患者に対して種々の臓器の医用情報が管理され得る。出力される医用情報に誤りがあると（例えば、他の患者や他の臓器の医用画像を出力してしまうなど）、却って手術の妨げになるおそれがある。そこで、術野に対して、適正な医用情報を出力する仕組みをどのようにして実現するかが問題となる。

１つの側面では、本発明は、特定の生体の特定の部位に対応する医用情報を出力できる出力制御方法、出力制御プログラムおよび情報処理装置を提供する。
また、１つの側面では、本発明は、生体画像に医用情報を重畳表示することができる画像処理装置を提供することを目的とする。

１つの態様では、出力制御方法が提供される。この出力制御方法では、コンピュータが、撮像された生体画像を取得する取得処理と、取得した生体画像が、特定の生体の特定の部位の生体情報に対応することを検出すると、該特定の生体の特定の部位に対応づけて登録された医用情報を出力する出力処理と、を行う。

また、１つの態様では、画像処理装置が提供される。この画像処理装置は、記憶部と表示制御部とを有する。記憶部は、第１の撮像方法により取得した生体についての生体情報に対応づけて生体について第２の撮像方法により取得した第１の生体画像を記憶する。表示制御部は、ある生体について第１の撮像方法により取得した生体情報が、記憶部に記憶された生体情報に対応すると判定すると、該ある生体について第３の撮像方法により取得した第２の生体画像と第１の生体画像の全部又は一部とを重ね合わせて表示する。

また、１つの態様では、画像処理装置が提供される。この画像処理装置は、記憶部と表示制御部とを有する。記憶部は、第１の撮像方法により取得した生体の一部についての生体情報に対応づけて生体の一部について第２の撮像方法により取得した第１の生体画像を記憶する。表示制御部は、ある生体の一部について第１の撮像方法により取得した生体情報が、記憶部に記憶された生体情報に対応すると判定すると、該ある生体の一部について第３の撮像方法により取得した第２の生体画像と第１の生体画像の全部又は一部とを重ね合わせて表示する。

１つの側面では、特定の生体の特定の部位に対応する医用情報を出力することができる。又、１つの側面では、生体画像に医用情報を重畳表示することができる。

第１の実施の形態の画像処理装置を示す図である。 第２の実施の形態の画像処理システムの例を示す図である。 実施の形態の画像処理装置のハードウェア例を示す図である。 画像処理装置の機能例を示す図である。 医用画像テーブルの例を示す図である。 静脈紋パターンの例を示す図である。 静脈紋パターンテーブルの例を示す図である。 静脈紋パターンの対比例を示す図である。 映像フレームバッファの例を示す図である。 医用画像の登録例を示すフローチャートである。 ３次元モデルに対するバーチャルカメラの配置例を示す図である。 静脈紋の撮像例（その１）を示す図である。 静脈紋の撮像例（その２）を示す図である。 画像処理例を示すフローチャートである。 撮像された画像の例を示す図である。 静脈紋の解析例を示す図である。 特徴点座標の例を示す図である。 バウンディングボックスの例を示す図である。 画像変換用のパラメータの取得例を示す図である。 医用画像の画像変換の例を示す図である。 画像処理システムの他の例（その１）を示す図である。 画像処理システムの他の例（その２）を示す図である。 表示例（その１）を示す図である。 表示例（その２）を示す図である。 表示例（その３）を示す図である。 表示例（その４）を示す図である。 表示例（その５）を示す図である。

以下、本実施の形態を図面を参照して説明する。
［第１の実施の形態］
図１は、第１の実施の形態の画像処理装置を示す図である。画像処理装置１は、生体の画像に対し、医用情報を重ねた画像情報を生成する。例えば、画像処理装置１は、医師による手術支援に用いられる。画像処理装置１は、撮像装置２および表示装置３に接続されている。撮像装置２は、生体の画像を撮像する。表示装置３は、画像処理装置１から取得した画像情報に基づいて、画像を表示する。

画像処理装置１は、記憶部１ａおよび表示制御部１ｂを有する。記憶部１ａは、ＲＡＭ（Random Access Memory）などの揮発性記憶装置でもよいし、ＨＤＤ（Hard Disk Drive）やフラッシュメモリなどの不揮発性記憶装置でもよい。表示制御部１ｂは、ＣＰＵ（Central Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）などを含み得る。表示制御部１ｂはプログラムを実行するプロセッサであってもよい。ここでいう「プロセッサ」には、複数のプロセッサの集合（マルチプロセッサ）も含まれ得る。

記憶部１ａは、複数の生体情報および複数の医用情報を記憶する。記憶部１ａは、生体情報と医用情報とを対応付けて記憶する。１つの生体情報が複数の医用情報に対応付けられてもよい。生体情報は、生体の部位を示す情報である。例えば、生体情報は静脈紋の情報（例えば、静脈紋の特徴を示す情報）でもよい。記憶部１ａは、１つの生体に対して複数の部位に対応する生体情報を記憶し得る。医用情報は、医師による手術を視覚的に支援するために用いられる情報である。医用情報は、臓器の裏側に隠れた血管や臓器内外の患部病巣などを示す画像の情報でもよい。

例えば、記憶部１ａは、予め取得された複数の生体情報および複数の医用情報を記憶する。記憶部１ａは、生体情報の１つとして、患者４の部位４ａを示す生体情報５を記憶する。記憶部１ａは、医用情報の１つとして、臓器４ｂにおける病巣の画像を示す医用情報６を記憶する。記憶部１ａは、生体情報５と医用情報６とを対応付けて記憶する。

生体情報５および医用情報６は、所定の撮像方法を用いて術前に取得され、記憶部１ａに格納される。例えば、画像処理装置１は、コンピュータ断層撮影法（ＣＴ：Computed Tomography）、核磁気共鳴画像法（ＭＲＩ：Magnetic Resonance Imaging）および血管造影法などを用いて、患者４の臓器４ｂや臓器４ｂの周辺の他の臓器などの表層や内部の病巣、臓器および血管などの３次元モデルを術前に取得し得る。画像処理装置１は、臓器４ｂの表層又は臓器４ｂ内部の病巣の画像や、臓器４ｂの周辺の他の臓器や血管の画像などの医用情報６を、３次元モデルから取得できる。

このとき、画像処理装置１は、例えば、近赤外線により撮像する近赤外線カメラを用いて、体表付近の静脈紋を示す生体情報５も取得し、生体情報５と医用情報６とを対応付けて記憶部１ａに格納することが考えられる。

より具体的には、画像処理装置１は、患者４の体外の所定のポイントから体内の臓器４ｂの方向へ近赤外線カメラの撮像面を向けたときに近赤外線によって撮像される体表付近の静脈紋の情報を、生体情報５として取得する。画像処理装置１は、同じ方向から見たときの病巣などの画像を示す医用情報６（３次元モデルから取得された医用情報）に当該生体情報５を対応付けて記憶部１ａに格納しておく。例えば、近赤外線による撮像を第１の撮像方法と呼べる。また、３次元モデルによる医用画像の撮像を第２の撮像方法と呼べる。

あるいは、画像処理装置１は、血管造影などにより静脈紋の撮像を行うこともできる。すなわち、画像処理装置１は、前述の３次元モデルから患者４の体内深部の静脈紋を示す生体情報５を取得してもよい。例えば、画像処理装置１は、医用情報６で示される病巣付近の静脈紋の情報を、３次元モデルから取得してもよい。記憶部１ａに格納された情報は、以下に示すように、医用情報の出力制御に利用される。

表示制御部１ｂは、撮像された生体画像を取得する。表示制御部１ｂは、当該取得機能を担う取得処理部を含むと考えてもよい。表示制御部１ｂは、取得した生体画像が特定の生体の特定の部位の生体情報に対応することを検出する。すると、表示制御部１ｂは、当該特定の生体の特定の部位に対応付けて記憶部１ａに登録された医用情報を出力する。表示制御部１ｂは、当該出力機能を担う出力処理部を含むと考えてもよい。

例えば、表示制御部１ｂは、患者４の手術中に、撮像装置２を用いて、可視光により撮像された生体画像を取得する。可視光による撮像を第３の撮像方法と呼べる。また、表示制御部１ｂは、撮像装置２を用いて、近赤外光により撮像された静脈紋の情報を取得する。表示制御部１ｂは、取得した静脈紋の情報と、記憶部１ａに予め格納された複数の生体情報（登録済の静脈紋の情報）とを照合することで、取得した生体画像が特定の生体の特定の部位の生体情報に対応することを検出できる。例えば、表示制御部１ｂは、手術中に取得した静脈紋の情報が生体情報５に一致すると判定すると、生体情報５に対応付けて記憶部１ａに登録された医用情報６を出力する。

表示制御部１ｂは、撮像された生体画像、又は、別途撮像された生体画像に対応付けて、医用情報６を表示装置３に出力する。より具体的には、表示制御部１ｂは、生体画像と医用情報６とを重畳した画像情報を生成し、表示装置３に出力する。表示装置３は、表示制御部１ｂから入力された画像情報に対応する画像７を表示する。画像７は医用情報６で示される画像を含む。表示制御部１ｂは、画像７を表示させることで、臓器内の病巣、当該臓器内外の血管および周辺の他の臓器の位置などの医師による把握を支援できる。

画像処理装置１によれば、撮像された生体画像が取得される。そして、画像処理装置１により、取得した生体画像が、特定の生体の特定の部位４ａの生体情報５に対応することが検出される。すると、画像処理装置１により、該特定の生体の特定の部位４ａ（すなわち、生体情報５）に対応づけて登録された医用情報６が出力される。これにより、生体画像に医用情報を重畳表示することができる。

例えば、文字列などで表された患者の識別コードと医用情報６とを対応付けて記憶部１ａに格納することも考えられる。しかし、この場合、画像処理装置１に入力される識別コードに誤りがあると、他の患者や他の臓器の医用情報が出力されてしまうおそれがある。また、識別コードが患者毎、臓器毎に適切に管理されていない場合にも、他の患者や他の臓器の医用情報が出力されてしまうおそれがある。医用情報の出力の誤りは、医療ミスの要因になるおそれもある。

そこで、画像処理装置１は、生体情報を用いた生体認証により認証が成功した部位に対応する医用情報を出力する。生体情報は、生体に固有の情報である。このため、識別コードなどの他の情報を用いるよりも、生体を適正に識別できる。また、識別コードなどの新たな情報を人為的に付加するものではないので、間違いが起こりにくい。このように、画像処理装置１によれば、例えば手術対象の患者の手術対象の臓器に対する適正な医用情報を出力できる。

生体情報として、静脈紋の情報を用いてもよい。例えば、静脈紋は同じパターンがないため、臓器の特定に利用できる。また、全方位３６０度の臓器画像（医用情報）と静脈紋の情報とを対応づけて記憶部１ａに登録しておくことで、撮像装置２により様々な方向から臓器を撮像したとしても、当該方向に応じた医用情報を出力し得る。画像処理装置１は、前述のように、医用情報を取得する際に、近赤外光により撮像するカメラや血管造影法などを用いて、静脈紋の情報を容易に取得できる。また、画像処理装置１は、例えば手術中でも、当該カメラを用いて術野における静脈紋の情報を容易に取得できる。

更に、画像情報と医用情報とを重畳する際の位置合わせに静脈紋の情報を用いることも考えられる（この場合、生体情報５と医用情報６との相対的な位置関係を示す情報も記憶部１ａに保持される）。ここで、例えば、位置合わせのために位置を測位するための基準点（マーカー）を、術野に対して設ける方法も考えられる。しかし、この方法では術野に対してマーカーを設けるという手間が生じる。これに対し、静脈紋の情報を位置合わせに利用すれば、術野に対してマーカーを予め設ける手間を省ける。よって、患者の負担を軽減できる。また、医師の作業を省力化できる。更に、人為的に付したマーカーを用いるよりも、高い精度で位置合わせを行える。よって、手術時などの支援をより適切に行える。

［第２の実施の形態］
図２は、第２の実施の形態の画像処理システムの例を示す図である。第２の実施の形態の画像処理システムは、病院や診療所などの医療施設に設けられ、医師による手術の支援に用いられる。第２の実施の形態の画像処理システムは、画像処理装置１００およびストレージ装置２００を含む。画像処理装置１００およびストレージ装置２００は、ネットワーク１０に接続されている。ネットワーク１０は、例えばＬＡＮ（Local Area Network）である。

画像処理装置１００は、モニタ１１、近赤外線カメラ２１および術野撮影カメラ２２に接続されている。モニタ１１は、画像処理装置１００が出力した画像情報に応じた画像を表示する表示装置である。近赤外線カメラ２１は、近赤外光により術野を撮像する撮像装置である。術野撮影カメラ２２は、可視光により術野を撮像する撮像装置である。近赤外線カメラ２１および術野撮影カメラ２２は、１台のカメラでもよい。例えば、透過させる光を選択するフィルタを１台のカメラに設ける。そして、当該１台のカメラで、近赤外光および可視光による撮像を切り替えて行うことも考えられる。

ライト３０は、可視光や近赤外光を術野に照射する。例えば、医師４０が患者５０の手術を行っているとき、手術による処置が行われている箇所と当該箇所の周辺が術野となる。例えば、処置対象の臓器が患者５０の心臓５１であれば、心臓５１および心臓５１の周辺が術野である。皮膚を切開する前であれば、皮膚の切開対象部分とその周辺を術野と考えることができる。術野には、患者５０の静脈５２も存在している。例えば、静脈５２は、心臓５１の静脈、又は、心臓５１の周辺臓器の静脈である。皮膚を切開する前であれば、静脈５２は皮膚の内側に存在する静脈である。

近赤外線カメラ２１は、ライト３０により術野から反射した近赤外光を感知して撮像する。近赤外線カメラ２１は、撮像により静脈５２の画像情報を生成し、画像処理装置１００に出力する。術野撮影カメラ２２は、ライト３０により術野から反射した可視光を感知して撮像する。術野撮影カメラ２２は、撮像により術野の画像情報を生成し、画像処理装置１００に出力する。

画像処理装置１００は、近赤外線カメラ２１から取得した画像情報および術野撮影カメラ２２から取得した画像情報を画像処理するコンピュータである。画像処理装置１００は、近赤外線カメラ２１から取得した画像情報に基づいて、ストレージ装置２００から医用情報を取得する。医用情報の一例として、病巣や患部周辺の臓器の画像の情報などが考えられる。以下の説明では、医用情報の一例としての画像を指して、医用画像と称することがある。画像処理装置１００は、術野撮影カメラ２２から取得した画像情報に、医用画像を重ねた画像情報を生成し、モニタ１１に出力する。撮影中の画像に、別の画像を重畳して表示させる画像処理技術を、ＡＲ（Augmented Reality）と呼ぶことがある。

モニタ１１は、画像処理装置１００から取得した画像情報に応じた画像１１ａを表示する。画像１１ａには、例えば、心臓５１の病巣を示す医用画像１１ｂも含まれる。医師４０は、医用画像１１ｂを視認することで、心臓５１の病巣の位置を把握できる。以下では、このような画像処理システムによる処理を具体的に説明する。

図３は、実施の形態の画像処理装置のハードウェア例を示す図である。画像処理装置１００は、プロセッサ１０１、ＲＡＭ１０２、ＨＤＤ１０３、画像入力インタフェース１０４、画像信号処理部１０５、入力信号処理部１０６、読み取り装置１０７および通信インタフェース１０８を有する。各ユニットは画像処理装置１００のバスに接続されている。

プロセッサ１０１は、画像処理装置１００の情報処理を制御する。プロセッサ１０１は、マルチプロセッサであってもよい。プロセッサ１０１は、例えばＣＰＵ、ＤＳＰ、ＡＳＩＣ又はＦＰＧＡなどである。プロセッサ１０１は、ＣＰＵ、ＤＳＰ、ＡＳＩＣ、ＦＰＧＡなどのうちの２以上の要素の組み合わせであってもよい。

ＲＡＭ１０２は、画像処理装置１００の主記憶装置である。ＲＡＭ１０２は、プロセッサ１０１に実行させるＯＳ（Operating System）のプログラムやアプリケーションプログラムの少なくとも一部を一時的に記憶する。また、ＲＡＭ１０２は、プロセッサ１０１による処理に用いる各種データを記憶する。

ＨＤＤ１０３は、画像処理装置１００の補助記憶装置である。ＨＤＤ１０３は、内蔵した磁気ディスクに対して、磁気的にデータの書き込みおよび読み出しを行う。ＨＤＤ１０３には、ＯＳのプログラム、アプリケーションプログラム、および各種データが格納される。画像処理装置１００は、フラッシュメモリやＳＳＤ（Solid State Drive）などの他の種類の補助記憶装置を備えてもよく、複数の補助記憶装置を備えてもよい。

画像入力インタフェース１０４は、近赤外線カメラ２１および術野撮影カメラ２２と接続する。画像入力インタフェース１０４は、近赤外線カメラ２１および術野撮影カメラ２２により撮像された画像情報を、近赤外線カメラ２１および術野撮影カメラ２２から受信し、ＲＡＭ１０２やＨＤＤ１０３に格納する。

画像信号処理部１０５は、プロセッサ１０１からの命令に従って、画像処理装置１００に接続されたモニタ１１に画像を出力する。モニタ１１としては、ＣＲＴ（Cathode Ray Tube）ディスプレイや液晶ディスプレイなどを用いることができる。あるいは、後述するように、画像信号処理部１０５は、スクリーンなどに画像を投影するプロジェクタに画像を出力することもできる。

入力信号処理部１０６は、画像処理装置１００に接続された入力デバイス１２から入力信号を取得し、プロセッサ１０１に出力する。入力デバイス１２としては、例えば、マウスやタッチパネルなどのポインティングデバイス、キーボードなどを用いることができる。

読み取り装置１０７は、記録媒体１３に記録されたプログラムやデータを読み取る装置である。記録媒体１３として、例えば、フレキシブルディスク（ＦＤ：Flexible Disk）やＨＤＤなどの磁気ディスク、ＣＤ（Compact Disc）やＤＶＤ（Digital Versatile Disc）などの光ディスク、光磁気ディスク（ＭＯ：Magneto-Optical disk）を使用できる。また、記録媒体１３として、例えば、フラッシュメモリカードなどの不揮発性の半導体メモリを使用することもできる。読み取り装置１０７は、例えば、プロセッサ１０１からの命令に従って、記録媒体１３から読み取ったプログラムやデータをＲＡＭ１０２又はＨＤＤ１０３に格納する。

通信インタフェース１０８は、ネットワーク１０を介して他の装置と通信を行う。通信インタフェース１０８は、有線通信インタフェースでもよいし、無線通信インタフェースでもよい。

図４は、画像処理装置の機能例を示す図である。画像処理装置１００は、記憶部１１０、登録部１２０および表示制御部１３０を有する。登録部１２０および表示制御部１３０は、プロセッサ１０１がプログラムを実行することで実現されてもよい。

記憶部１１０は、医用画像テーブル、映像フレームバッファ、静脈紋パターンテーブルを含む情報を記憶する。記憶部１１０は、ＲＡＭ１０２やＨＤＤ１０３などに確保された記憶領域として実現できる。

医用画像テーブルは、医用画像の情報と静脈紋の情報との対応関係を管理するためのテーブルである。医用画像テーブルには、医用画像を撮像したときの撮像領域と同じ撮像領域に存在する静脈紋の画像（静脈紋画像）も、当該医用画像に対応付けて登録される。対応関係にある医用画像および静脈紋画像は、医用画像における被写体（病巣や他の臓器）と静脈との、同一撮像領域における相対的な位置関係が反映された画像となる。

静脈紋パターンテーブルは、静脈紋の特徴パターンを示す情報である。映像フレームバッファは、術野撮影カメラ２２から取得した画像情報およびモニタ１１に出力する画像情報を一時的に記憶しておくバッファである。

登録部１２０は、術前に撮像された医用画像および静脈紋の情報を対応付けて医用画像テーブルに登録する。登録部１２０は、近赤外線カメラ２１により撮像された静脈紋画像に基づいて静脈紋パターンテーブルを生成し、記憶部１１０に格納する。

表示制御部１３０は、モニタ１１による画像表示を制御する。表示制御部１３０は、静脈紋検索部１３１、画像変換部１３２および合成部１３３を有する。
静脈紋検索部１３１は、近赤外線カメラ２１から取得した静脈紋の情報と、記憶部１１０に記憶された複数の静脈紋の情報とを照合する。そして、静脈紋検索部１３１は、記憶部１１０に記憶された複数の静脈紋の情報のうち、近赤外線カメラ２１から取得した静脈紋の情報に最もよく一致する静脈紋の情報を検索する。

画像変換部１３２は、静脈紋検索部１３１によって検索された静脈紋の情報に対応する医用画像を、記憶部１１０に記憶された医用画像テーブルから取得する。画像変換部１３２は、医用画像テーブルから検索された静脈紋の第１の画像と、近赤外線カメラ２１から取得した静脈紋の第２の画像とを対比して、第１の画像に対する第２の画像のサイズ比を求める。画像変換部１３２は、求めたサイズ比に応じて医用画像の拡縮を行う。

また、画像変換部１３２は、術野撮影カメラ２２により撮像された画像内の領域のうち、拡縮後の医用画像を重畳する位置を決定する。画像変換部１３２は、医用画像を重畳する位置の決定に静脈紋の情報を用いる。

ここで、前述のように、医用画像テーブルに登録される医用画像と静脈紋画像とは、医用画像における被写体および静脈の相互の相対的な位置関係を保持している。画像変換部１３２は、医用画像テーブルにおける静脈紋画像が、近赤外線カメラ２１による撮像領域の静脈紋画像に重なるよう、医用画像の回転角、拡縮率および平行移動の方向／距離を算出する。例えば、画像変換部１３２は、医用画像に対する回転、拡縮および平行移動などの画像変換を、アフィン変換により一括して実行し得る。

合成部１３３は、画像変換部１３２による変換後の医用画像を、術野撮影カメラ２２により撮像された画像に重畳した画像情報を生成し、モニタ１１に出力する。モニタ１１は、合成部１３３が出力した画像情報に応じた画像を表示する。

図５は、医用画像テーブルの例を示す図である。医用画像テーブル１１１は、記憶部１１０に記憶される。医用画像テーブル１１１は、管理番号、医用画像、サイズ、タイプ、静脈紋画像および静脈紋パターンの項目を含む。

管理番号の項目には、レコードを識別するための番号が登録される。医用画像の項目には、医用画像が登録される。サイズの項目には、医用画像のサイズが登録される。タイプの項目には、タイプの情報が登録される。タイプは、医用画像を撮像した手段（ＣＴ、ＭＲＩおよび血管造影など）を示す。タイプは、撮像対象の臓器の名称などの情報を含んでもよい。

静脈紋画像の項目には、医用画像とともに取得された静脈紋画像が登録される。静脈紋パターンの項目には、静脈紋の特徴を示す静脈紋パターンの情報が登録される。ここで、医用画像テーブル１１１には、１つの静脈紋画像に対して、複数の医用画像が対応付けて登録され得る。

例えば、医用画像テーブル１１１には、管理番号が“１”、医用画像が“医用ｘｘｘｘ０１．ｊｐｇ”、サイズが“４０００×３０００”、タイプが“血管造影”、静脈紋画像が“静脈ｘｘｘｘ０１．ｐｎｇ”、静脈紋パターンが“ＩＤｘｘｘｘ０１”（ＩＤは“IDentifier”の略）という情報が登録される。

これは、医用画像“医用ｘｘｘｘ０１．ｊｐｇ”と、静脈紋画像“静脈ｘｘｘｘ０１．ｊｐｇ”と、静脈紋パターン“ＩＤｘｘｘｘ０１”との情報が対応付けられていることを示す。また、医用画像のサイズが４０００×３０００ピクセルであることを示す。更に、医用画像が血管造影法によって撮像された血管の画像であることを示す。また、当該レコードは、管理番号“１”で識別されることを示す。

登録部１２０は、医用画像、静脈紋画像および静脈紋パターンの情報を、術前に予め取得し、医用画像テーブル１１１に登録する。医用画像を撮像する手段としては、例えば、ＣＴ、ＭＲＩ、ポジトロン断層法（ＰＥＴ：Positron Emission Tomography）、血管造影、磁気共鳴血管画像（ＭＲＡ：Magnetic Resonance angiography）および非造影ＭＲＡなどが考えられる。登録部１２０は、処置の対象となる臓器や病巣などを、３６０度全方位から撮像した医用画像を予め取得し、医用画像テーブル１１１に登録しておく。その際、登録部１２０は、撮像する方向毎の静脈紋画像を近赤外線カメラ２１から取得し、当該方向から撮像した医用画像に対応付けて医用画像テーブル１１１に登録する。静脈紋パターンは、静脈紋画像から生成される静脈紋の特徴を表す情報である。登録部１２０は、血管造影などを用いて静脈を撮像することで、医用画像に対応する静脈紋画像を取得することもできる。

図６は、静脈紋パターンの例を示す図である。静脈は、血管が複雑に分岐した構造をもつ。ある分岐点は、血管により他の分岐点と接続している（ある分岐点は、他の分岐点とリンクしているともいえる）。

静脈紋パターンは、血管の分岐点に着目した情報である。静脈紋パターンは、分岐点における分岐数（リンク数と称する）と分岐点間の距離とを静脈紋の特徴として表す。ここで、分岐点は、静脈紋画像で示される血管の構造（単純化した構造でよい）のうち、次の（１）〜（３）で示される条件の何れかに合致する箇所である。

（１）３以上に枝分かれしている箇所。（２）血管が所定の角度範囲内（例えば、１６０度以下など）で曲がっている箇所。（３）血管の末端の箇所。
（１）に該当する分岐点では、実際の枝の数をリンク数とする。（２）に該当する分岐点では、リンク数を２とする。（３）に該当する分岐点では、リンク数を１とする。

図６の静脈紋パターンの例では、分岐点ｐ−００１，ｐ−００２，・・・，ｐ−０１８が示されている。例えば、分岐点ｐ−００１は上記（２）に該当する分岐点である。よって、分岐点ｐ−００１のリンク数は２である。分岐点ｐ−００２は上記（３）に該当する分岐点である。よって、分岐点ｐ００２のリンク数は１である。分岐点ｐ−０１８は上記（１）に該当する分岐点である。分岐点ｐ−０１８における枝の数は５である。よって、分岐点ｐ−０１８のリンク数は５である。

画像処理装置１００は、静脈紋パターンテーブルにより静脈紋パターンを管理する。画像処理装置１００は、静脈紋パターンテーブルを静脈紋画像毎に生成する。
図７は、静脈紋パターンテーブルの例を示す図である。静脈紋パターンテーブル１１２は、記憶部１１０に記憶される。静脈紋パターンテーブル１１２は、図６で例示した静脈紋パターンを管理するための情報である。例えば、静脈紋パターンテーブル１１２は、識別情報“ＩＤｘｘｘｘ０１”の静脈紋パターンに相当する。静脈紋パターンテーブル１１２は、ＩＤ、リンク数、座標値およびリンク先ＩＤの項目を含む。

ＩＤの項目には、分岐点を識別するための識別子（ＩＤ）が登録される。リンク数の項目には、リンク数が登録される。座標値の項目には、分岐点の座標値が登録される。リンク先ＩＤの項目には、当該分岐点と血管で結ばれている別の分岐点（リンク先の分岐点）のＩＤが登録される。リンク先ＩＤの項目には、複数のＩＤが登録され得る。複数のＩＤが登録される場合、着目する分岐点との距離が近い分岐点の順に、ＩＤを並べる。ここで、「分岐点間の距離」は、静脈紋画像（２次元画像）において各分岐点の間を直線で結んだ距離である。リンク先ＩＤの項目では、設定なしを“−”（ハイフン）で示す。

例えば、静脈紋パターンテーブル１１２には、ＩＤが“ｐ−００１”、リンク数が“２”、座標値が“（ｘ１，ｙ１）”、リンク先ＩＤが“ｐ−００４，ｐ−０１２”という情報が登録される。

これは、分岐点ｐ−００１のリンク数が２であること、静脈紋画像における分岐点ｐ−００１の座標が（ｘ１，ｙ１）であることを示す。また、分岐点ｐ−００１は、分岐点ｐ−００４，ｐ−０１２に隣接していることを示す。例えば、分岐点ｐ−００１，ｐ−００４の距離は、座標（ｘ１，ｙ１）と座標（ｘ４，ｙ４）との間の距離である。リンク先ＩＤは、分岐点ｐ−００４，ｐ−０１２の順番に設定されている。これは、分岐点ｐ−００１，ｐ−００４間の距離は、分岐点ｐ−００１，ｐ−０１２間の距離よりも短いことを示している。

登録部１２０は、静脈紋パターンテーブル１１２と同様の情報を、静脈紋画像毎に生成する。静脈紋検索部１３１は、静脈紋パターンテーブル１１２に基づいて、近赤外線カメラ２１から取得した静脈紋画像が、登録済みの静脈紋に一致するか否かを判断できる。

図８は、静脈紋パターンの対比例を示す図である。静脈紋検索部１３１は、静脈紋パターンテーブル１１２に基づいて量子化パターン１１２ａを生成する。具体的には、静脈紋検索部１３１は、着目する１つの分岐点におけるリンク数および当該分岐点に対するリンク先の分岐点でのリンク数を、静脈紋パターンテーブル１１２のリンク先ＩＤに対応する順序で並べることで数列を生成する。静脈紋検索部１３１は、静脈紋パターンテーブル１１２に登録された複数の分岐点それぞれについて当該数列を生成し、量子化パターン１１２ａとする。

静脈紋パターンテーブル１１２のＩＤ“ｐ−００１”のレコード例でいえば、分岐点ｐ−００１のリンク数は２、リンク先である分岐点ｐ−００４のリンク数は３、同リンク先である分岐点ｐ−０１２のリンク数は２（図７参照）である。よって、静脈紋検索部１３１は、当該レコードに対して、“２−３−２”という数列を生成する。

静脈紋検索部１３１は、近赤外線カメラ２１により撮像された静脈紋画像に基づいて、量子化パターン１１２ａと同様の方法により、量子化パターン１１２ｂを生成する。
静脈紋検索部１３１は、記憶部１１０に記憶された複数の静脈紋パターンテーブルに対応する複数の量子化パターンと、量子化パターン１１２ｂとを対比することで、静脈紋を照合する。このとき、静脈紋検索部１３１は、数列における数値の並びも含めて一致を判断する。例えば、数列“１−２−３”と数列“１−２−３”とは一致する。一方、数列“１−２−３”と数列“１−３−２”とは一致しない。

静脈紋検索部１３１は、術中に得られた量子化パターン１１２ｂと一致する数列の数の割合（一致度）が最大である量子化パターンを、登録された静脈紋に対する量子化パターンの中から検索する。例えば、量子化パターン１１２ａ，１１２ｂは、何れも数列“４−３−３−３−４”、“１−４”、“３−２−４−２”、“４−３−１−４−３”などの数列を含む。この場合、静脈紋検索部１３１は、量子化パターン１１２ａ，１１２ｂでは、これらの数列が一致していると判断する。

例えば、量子化パターン１１２ｂに含まれる全数列が、量子化パターン１１２ａに含まれていれば、１００％の一致度である。量子化パターン１１２ｂに含まれる全数列のうちの半分が、量子化パターン１１２ａに含まれていれば、５０％の一致度である。

静脈紋検索部１３１は、記憶部１１０に記憶された複数の静脈紋パターンテーブルそれぞれに対して、量子化パターンを生成する。静脈紋検索部１３１は、登録済の静脈紋パターンのうち、術中に得た静脈紋パターンに最もよく一致するもの（一致度の最も大きくなるもの）を、上記の比較により、検索する。

図９は、映像フレームバッファの例を示す図である。映像フレームバッファ１１３は、記憶部１１０に格納される。映像フレームバッファ１１３には、フレーム番号、映像フレーム画像、サイズ、タイムスタンプ、静脈紋画像、静脈紋パターン、相対位置、回転角、拡縮率、移動量および出力医用画像の項目が含まれる。

フレーム番号の項目には、フレーム番号が登録される。フレーム番号は、術野撮影カメラ２２から画像を取得するごとに、１ずつインクリメントされる。ここで、術野撮影カメラ２２は、例えば、３０ｆｐｓ（frames per second）のフレームレートで術野を撮像する。

映像フレームバッファ１１３は、３つの画像を記憶し得る。画像処理装置１００は、新たなフレームの画像を取得すると、映像フレームバッファ１１３内の最古の情報を消去し、映像フレームバッファ１１３に新たなフレームの画像の情報を追加する。

例えば、フレーム番号ｋ（ｋは３以上の整数）の画像は、術野撮影カメラ２２から取得した最新の画像であり、画像処理装置１００による画像処理が未だ行われていない画像である。このとき、フレーム番号ｋの画像を格納する記憶領域を、映像フレーム画像や静脈紋画像の読み込み用のバッファと呼ぶこともできる。

フレーム番号ｋ−１の画像は、フレーム番号ｋよりも１フレームだけ前に撮像された画像であり、画像処理装置１００による画像処理が行われている画像である。このとき、フレーム番号ｋ−１の画像を格納する記憶領域を、画像処理用のバッファと呼ぶこともできる。

フレーム番号ｋ−２の画像は、フレーム番号ｋよりも２フレームだけ前に撮像された画像であり、画像処理装置１００からモニタ１１への出力用の画像である。このとき、フレーム番号ｋ−２の画像を格納する記憶領域を、出力用のバッファと呼ぶこともできる。

映像フレーム画像の項目には、術野撮影カメラ２２によって生成された術野の画像（術野画像）の情報が登録される。サイズの項目には、画像のサイズが登録される。タイムスタンプの項目には、画像を取得した時刻を示すタイムスタンプが登録される。静脈紋画像の項目には、術野画像とともに、近赤外線カメラ２１によって生成された静脈紋画像の情報が登録される。静脈紋パターンの項目には、当該静脈紋画像に対応する静脈紋パターンの情報が登録される。

相対位置の項目には、静脈紋画像のうち静脈紋が検出された領域を示す矩形の位置を示す座標（原点に最も近い頂点の座標）が登録される。回転角の項目には、術野画像に医用画像を重畳させる際の、医用画像の回転角の情報が登録される。拡縮率の項目には、術野画像に医用画像を重畳させる際の、医用画像の拡縮率の情報が登録される。移動量の項目には、術野画像に医用画像を重畳させる際の、医用画像の平行移動の方向と量とを示すベクトルの情報が登録される。出力医用画像の項目には、術野画像に重畳するための変換（上記回転、拡縮および平行移動）を行った後の、医用画像が登録される。

例えば、映像フレームバッファ１１３には、フレーム番号が“ｋ”、映像フレーム画像が“フレーム００６．ｒａｗ”、サイズが“１９２０×１０８０”、タイムスタンプが“１２：０１：００．１００００”、静脈紋画像が“静脈１００６．ｐｎｇ”、静脈紋パターン、相対位置、回転角、拡縮率、移動量および出力医用画像が設定なし（“−”）という情報が登録される。

これは、フレーム番号ｋに対応する“フレーム００６．ｒａｗ”という映像フレーム画像が取得されていることを示す。また、当該映像フレーム画像のサイズが１９２０×１０８０ピクセルであること、１２時１分０秒１の時刻に撮像された画像であることを示す。更に、当該映像フレーム画像とともに、“静脈１００６．ｐｎｇ”で示される静脈紋画像が取得されていることを示す。なお、図９に示す映像フレームバッファ１１３の内容が取得されているタイミングにおいて、フレーム番号ｋに対する画像処理は行われていない。このため、静脈紋パターン、相対位置、回転角、拡縮率、移動量および出力医用画像の項目は、設定なし（“−”）となる。

また、映像フレームバッファ１１３には、フレーム番号が“ｋ−１”、映像フレーム画像が“フレーム００５．ｒａｗ”、サイズが“１９２０×１０８０”、タイムスタンプが“１２：０１：００．０６６６７”、静脈紋画像が“静脈１００５．ｐｎｇ”、静脈紋パターンが“ＩＤｘｘｘｘ０２”、相対位置が“（２００，２３０）”、回転角が“３０．２２°”、拡縮率が“１．２３”、移動量が“（２０，１２）”、出力医用画像が“Ｏｘｘｘ０２−０８．ｊｐｇ”という情報が登録される。

この情報は、次の内容を示す。フレーム番号ｋ−１に対応する“フレーム００５．ｒａｗ”という映像フレーム画像が取得されている。当該映像フレーム画像のサイズが１９２０×１０８０ピクセルであり、１２時１分０秒０６６６７の時刻に撮像された画像である。当該映像フレーム画像とともに、“静脈１００５．ｐｎｇ”で示される静脈紋画像が取得されている。更に、当該静脈紋画像に対して“ＩＤｘｘｘｘ０２”で示される静脈紋パターンの情報が取得されている。術野画像のうち静脈紋が検出された領域を示す矩形の原点に最も近い座標が（２００，２３０）である。映像フレーム画像“フレーム００５．ｒａｗ”に重畳させる出力医用画像“Ｏｘｘｘ０２−０８．ｊｐｇ”を生成済みである。当該出力医用画像は、回転角３０．２２度、拡縮率１．２３、平行移動を示すベクトル（２０，１２）を用いて、元の医用画像をアフィン変換することで生成されたものである。

次に、第２の実施の形態の画像処理システムにおける処理手順を説明する。まず、記憶部１１０に医用画像を登録する手順を説明する。前述のように、医用画像は、ＣＴやＭＲＩなどの方法を用いて、術前に取得される。

図１０は、医用画像の登録例を示すフローチャートである。以下、図１０に示す処理をステップ番号に沿って説明する。
（Ｓ１１）登録部１２０は、手術の対象となる臓器の３次元モデルデータを取得する。画像処理装置１００が、ＣＴなどによって取得されたデータから３次元モデルデータを生成してもよいし、他の装置が生成した３次元モデルデータを取得してもよい。３次元モデルデータは、臓器の表層および臓器の内部構造の情報を含む。

（Ｓ１２）登録部１２０は、３次元モデルデータに対する所謂バーチャルカメラの位置決めを行う。バーチャルカメラは、登録部１２０によって実現される１つの機能であり、３次元モデルデータを全方位から撮像可能な仮想的なカメラである。バーチャルカメラは、例えばＣＴなどによって取得された３次元モデルデータに基づき、一又は複数の臓器表面や臓器断面の画像情報を生成する。例えば、医師が３次元モデルデータに対する角度（撮影方向）を指定すると、バーチャルカメラは、指定の角度から見たときの画像情報を生成することができる。

（Ｓ１３）登録部１２０は、医用画像を撮影する。具体的には、登録部１２０は、バーチャルカメラの機能を用いて、３次元モデルデータにより示される臓器の表面や臓器の内部構造のうち、オペレータにより指定された箇所を撮像し、医用画像を生成する。

（Ｓ１４）登録部１２０は、静脈紋画像を撮影する。具体的には、登録部１２０は、ステップＳ１３における撮像方向と同じ方向から、近赤外線カメラ２１を用いて、患者５０の表層の静脈紋を撮像する。あるいは、登録部１２０は、血管造影などを用いて取得された３次元モデルデータにより示される臓器の内部又は外部の静脈紋を、ステップＳ１３における撮像方向と同じ方向から、バーチャルカメラの機能を用いて撮像してもよい。登録部１２０は、ある方向から患者５０を見たときの同じ範囲（例えば、所定の誤差内で一致する範囲）について、医用画像および静脈紋画像を取得する。このため、医用画像および静脈紋画像には、医用画像の被写体（例えば、病巣や他の臓器など）と、静脈紋との相対的な位置関係が保持される。

（Ｓ１５）登録部１２０は、ステップＳ１４において撮像した静脈紋画像に基づいて、静脈紋パターンテーブルを生成する。登録部１２０は、静脈紋画像を参照して、リンク数、座標値およびリンク先ＩＤを分岐点毎に取得し、静脈紋パターンテーブルに登録する。

（Ｓ１６）登録部１２０は、ステップＳ１３，Ｓ１４で撮像した医用画像と静脈紋の情報（静脈紋画像および静脈紋パターンテーブル）とを対応付けて、医用画像テーブル１１１に登録する。

（Ｓ１７）登録部１２０は、被写体（例えば、病巣や他の臓器など）に対して全方向から医用画像を撮影したか否かを判定する。全方向から撮影済みの場合、処理を終了する。未撮影の方向がある場合、処理をステップＳ１２に進める。以降のステップＳ１２では、登録部１２０は、未選択の方向から撮影するようにバーチャルカメラの位置決めを行う。

このようにして、画像処理装置１００は、被写体を撮像した医用画像と、静脈紋の情報とを対応付ける。画像処理装置１００は、撮影した方向毎に、医用画像と静脈紋の情報とを対応付けて取得する。また、画像処理装置１００は、静脈紋画像毎に、静脈紋パターンテーブルを生成する。

なお、ステップＳ１４において、近赤外線カメラ２１を用いて静脈紋画像を取得する場合、例えば、ＣＴなどによる患者５０全体のデータ取得が完了した後に、患者５０を検査台に乗せた状態で、上記ステップＳ１１〜Ｓ１７の手順を行うことが考えられる。

ステップＳ１４において、バーチャルカメラの機能を用いて、静脈紋画像を取得する場合、ＣＴや血管造影などによる患者５０全体のデータ取得が完了した後の任意のタイミングで、上記ステップＳ１１〜Ｓ１７の手順を行える（バーチャルカメラの機能により静脈の情報も取得可能なため）。

図１１は、３次元モデルに対するバーチャルカメラの配置例を示す図である。直交するＸ，Ｙ，Ｚ軸を次のように定義する。図１１において、Ｘ軸は患者５０の横方向である（右腕側から左腕側へ向かう方向を正とする）。Ｙ軸は患者５０の身長方向である（足側から頭側へ向かう方向を正とする）。Ｚ軸は患者５０の正面／背面方向である（背面側から正面側へ向かう方向を正とする）。

例えば、登録部１２０は、ＣＴなどを用いて取得されたデータに基づき、患者５０の心臓５１を表す３次元モデル６０を取得する。登録部１２０は、３次元モデル６０に対してバーチャルカメラの位置決めを行う。

例えば、バーチャルカメラ７１は、正面側（Ｚ軸の正の側）の所定の位置から３次元モデル６０を撮像するよう配置されている。バーチャルカメラ７１が３次元モデル６０を撮像する方向（観察方向）は、Ｚ軸の正側から負側へ向かう方向である。

バーチャルカメラ７２は、３次元モデル６０の中心（重心でもよい）を通るＹ軸と同じ方向の軸に関して、３次元モデル６０をＹ軸の正側から眺めたときの時計周り（以下同様）に９０度だけ、バーチャルカメラ７１を回転させた結果である。バーチャルカメラ７２の観察方向は、Ｘ軸の負側から正側へ向かう方向である。

バーチャルカメラ７３は、３次元モデル６０の中心を通るＹ軸と同じ方向の軸に関して、時計周りに９０度だけ、バーチャルカメラ７２を回転させた結果である。バーチャルカメラ７３の観察方向は、Ｚ軸の負側から正側へ向かう方向である。

バーチャルカメラ７４は、３次元モデル６０の中心を通るＹ軸と同じ方向の軸に関して、時計周りに９０度だけ、バーチャルカメラ７３を回転させた結果である。バーチャルカメラ７４の観察方向は、Ｘ軸の正側から負側へ向かう方向である。

上記の例では、バーチャルカメラの配置を９０度刻みで４箇所例示したが、登録部１２０は、例えば、０．５度刻み、１度刻みなど（これらより大きい値（５度刻みや１０度刻みなど）でもよい）でバーチャルカメラの配置を変更しながら、医用画像を取得できる。また、３次元モデル６０の中心を通るＹ軸と同じ方向の軸に関する回転により、バーチャルカメラの位置決めを行うものとしたが、３次元モデル６０の中心を通るＸ軸やＺ軸と同じ方向の軸に関して回転させることも考えられる。２以上の軸に関する回転角の組合せに対して、医用画像を取得してもよい。更に、バーチャルカメラを回転させるものとしたが、バーチャルカメラの位置を固定した上で、３次元モデル６０を回転させて、医用画像を取得することも考えられる。

図１２は、静脈紋の撮像例（その１）を示す図である。例えば、登録部１２０は、医用画像を撮像したバーチャルカメラの複数の観察方向それぞれについて、近赤外線カメラ２１を用いて静脈紋画像を取得する。例えば、登録部１２０は、バーチャルカメラを用いて、ある観察方向から３次元モデル６０を撮影し、３次元モデル６０の表層又は内部の病巣Ｎの画像を含む医用画像Ｐ１１を取得する。このとき、登録部１２０は、近赤外線カメラ２１を当該バーチャルカメラと同じ配置にして、患者５０の皮膚から反射した近赤外光を、近赤外線カメラ２１を用いて撮像し、静脈紋画像Ｐ２１を得る。

例えば、バーチャルカメラ７１に対し、近赤外線カメラ２１をバーチャルカメラ７１と同じ配置にして、患者５０の静脈紋を撮像する。このとき、近赤外線カメラ２１と心臓５１との距離は、バーチャルカメラ７１と３次元モデル６０との距離に一致する（所定の誤差内で一致していればよい）。また、近赤外線カメラ２１の観察方向も、バーチャルカメラ７１の観察方向と同じになる。なお、登録部１２０は、患者５０の体内の心臓５１の位置を、ＣＴなどの結果から得ることができるので、術前でも、心臓５１の位置に対する近赤外線カメラ２１の配置を決定できる。

そして、登録部１２０は、患者５０の表層に存在する静脈５３に対応する静脈紋Ｍを含む静脈紋画像Ｐ２１を近赤外線カメラ２１から取得する。このとき、医用画像Ｐ１１および静脈紋画像Ｐ２１は、ある観察方向から患者５０を眺めたときの、病巣Ｎと静脈紋Ｍとの相対的な位置関係が反映された画像となる。

同様にして、登録部１２０は、観察方向を変えながら、病巣Ｎの画像を含む医用画像Ｐ１２および静脈紋Ｍを含む静脈紋画像Ｐ２２の組を取得する。図１２では、その他にも、医用画像Ｐ１３および静脈紋画像Ｐ２３の組、医用画像Ｐ１４および静脈紋画像Ｐ２４の組、医用画像Ｐ１５および静脈紋画像Ｐ２５の組が例示されている。

図１３は、静脈紋の撮像例（その２）を示す図である。前述のように、血管造影などにより、患者５０の血管のデータも得られていることも考えられる。その場合、登録部１２０は、血管の３次元モデルデータに基づいて、バーチャルカメラにより医用画像Ｐ１１および静脈紋画像Ｐ２１を取得してもよい。

具体的には、登録部１２０は、血管造影などにより、静脈５３に対応する３次元モデル６０ａを取得し、３次元モデル６０とともに患者５０の体内の配置を再現する。登録部１２０は、ある観察方向からバーチャルカメラで病巣Ｎを撮像したときに、３次元モデル６０ａが撮像範囲に含まれるなら、当該３次元モデル６０ａを撮像した静脈紋Ｍの静脈紋画像Ｐ２１を取得できる。この場合、３次元モデル６０ａは、患者５０の表層に存在する静脈５３に限らず、患者５０の体内深部の静脈に対応するものでもよい（例えば、心臓５１あるいは他の臓器の表面や内部の静脈を示す３次元モデルでもよい）。

登録部１２０は、図１２，１３で例示した方法を用いて、医用画像と静脈紋画像との組を観察方向毎に取得し、医用画像と静脈紋画像とを対応付けて記憶部１１０に格納する。例えば、登録部１２０は、医用画像Ｐ１１と静脈紋画像Ｐ２１とを対応付けて、記憶部１１０に格納する。更に、登録部１２０は、静脈紋画像Ｐ２１を参照して、静脈紋パターンテーブルを生成し、医用画像に対応付けて記憶部１１０に格納する。登録部１２０は、角度に応じて異なる箇所の静脈に対する静脈紋画像を取得して、医用画像と対応付けてもよい。

画像処理装置１００は、上記のようにして登録した情報を用いて、医師４０による患者５０の手術を支援する。次に、画像処理装置１００による手術中の画像処理の手順を説明する。

図１４は、画像処理例を示すフローチャートである。以下、図１４に示す処理をステップ番号に沿って説明する。
（Ｓ２１）静脈紋検索部１３１は、現フレーム（例えば、フレーム番号ｋ）の術野画像を術野撮影カメラ２２から取得し、映像フレームバッファ１１３に格納する。

（Ｓ２２）静脈紋検索部１３１は、現フレーム（例えば、フレーム番号ｋ）の同術野（術野撮影カメラ２２が撮像した術野と同じ術野）の静脈紋画像を近赤外線カメラ２１から取得し、映像フレームバッファ１１３に格納する。以下、当該フレーム（例えば、フレーム番号ｋ）の術野画像および静脈紋画像に対して、画像処理が行われる。

（Ｓ２３）静脈紋検索部１３１は、静脈紋画像を参照して、被写体相対座標値を取得し、映像フレームバッファ１１３の相対位置の項目に設定する。被写体相対座標値は、静脈紋画像の原点に対し、静脈紋が検出された領域を示す矩形の位置を示す座標であり、矩形の４つの頂点のうち、原点に最も近い頂点の座標である。

（Ｓ２４）静脈紋検索部１３１は、ステップＳ２２で取得した静脈紋画像から静脈紋パターン（撮像パターンと称する）を計算する。
（Ｓ２５）静脈紋検索部１３１は、医用画像テーブル１１１に登録された複数の静脈紋パターン（登録パターンと称する）のうち、ステップＳ２４で取得した撮像パターンと最もよく一致するものを検索する。検索の方法は、図８で例示した通りである。具体的には、静脈紋検索部１３１は、複数の登録パターンから得られる複数の量子化パターンと、撮像パターンから得られる量子化パターンとを比較する。そして、静脈紋検索部１３１は、複数の登録静脈紋パターンに対応する複数の量子化パターンのうち、撮像パターンから得られる量子化パターンとの一致度が、指定閾値以上で最大となるものを特定する。指定閾値は、記憶部１１０に予め格納される。指定閾値は、例えば８０％〜９５％など、運用に応じた値が設定される。静脈紋検索部１３１は、特定した量子化パターンに対応する登録パターンを、ステップＳ２５の検索結果とする。

（Ｓ２６）画像変換部１３２は、静脈紋検索部１３１から、ステップＳ２５の検索結果を取得する。画像変換部１３２は、撮像パターンから複数の特徴点の座標を取得する。画像変換部１３２は、静脈紋検索部１３１により検索された登録パターンから複数の特徴点の座標を取得する。ここで、特徴点の座標は、例えば分岐点の座標である。

（Ｓ２７）画像変換部１３２は、撮像パターンの複数の特徴点の座標から、第１のバウンディングボックスを取得する。バウンディングボックスとは、着目する複数の特徴点座標が全て収まる最小の矩形である。画像変換部１３２は、静脈紋検索部１３１により検索された登録パターンの複数の特徴点の座標から、第２のバウンディングボックスを取得する。画像変換部１３２は、第２のバウンディングボックスを、第１のバウンディングボックスに一致させるための、第２のバウンディングボックスに対する回転角、拡縮率および平行移動ベクトルを算出する。画像変換部１３２は、算出した情報を、映像フレームバッファ１１３に登録する。

（Ｓ２８）画像変換部１３２は、静脈紋検索部１３１により検索された登録パターンに対応する医用画像を、医用画像テーブル１１１から取得する。
（Ｓ２９）画像変換部１３２は、ステップＳ２８で取得した医用画像に対してアフィン変換を実行する。具体的には、医用画像の元の座標値（ｘ，ｙ）を、式（１）により、術野画像における座標値（ｘ’，ｙ’）に変換する。

ここで、パラメータα１１，α１２，α２１，α２２は回転と拡縮率とを示す成分である。画像変換部１３２は、ステップＳ２７で算出した回転角および拡縮率の情報に応じてパラメータα１１，α１２，α２１，α２２を決定する。α１３，α２３は、平行移動の成分である。画像変換部１３２は、ステップＳ２７で算出した平行移動ベクトルに応じてパラメータα１３，α２３を決定する。画像変換部１３２は、アフィン変換後の医用画像を、出力医用画像として、映像フレームバッファ１１３に登録する。

（Ｓ３０）合成部１３３は、術野画像（映像フレーム画像）およびアフィン変換後の医用画像を映像フレームバッファ１１３から取得し、アフィン変換後の医用画像を術野画像に重畳させた画像情報を生成する。合成部１３３は、生成した画像情報をモニタ１１に出力する。

このようにして、画像処理装置１００は、術野画像に医用画像を重畳する。モニタ１１は、画像処理装置１００から取得した画像情報に基づいて、画像を表示する。医師４０は、モニタ１１に表示された画像を参照して、病巣や着目している臓器周辺の他の臓器／血管などの配置を確認できる。上記の説明は、フレーム番号ｋに着目して説明したが、表示制御部１３０は、フレーム毎に、図１４で示した手順を実行する。

なお、画像変換部１３２は、ステップＳ２６〜Ｓ２９の処理を、映像フレームバッファ１１３に登録された相対位置の情報に基づいて簡便に行うことも考えられる。例えば、画像変換部１３２は、ステップＳ２６において、現在処理対象となっているフレームに対して検索された静脈紋パターンが、直前のフレームの静脈紋パターンと同一であることを検出する。すると、画像変換部１３２は、今回および直前のフレームとで、映像フレームバッファ１１３の相対位置の項目に登録された座標値の差分を計算する。そして、画像変換部１３２は、直前のフレームの出力医用画像を差分の分だけ平行移動させた画像を、現在処理対象のフレームの出力医用画像とする。以後は、ステップＳ３０と同様である。

このように、画像変換部１３２によるステップＳ２６〜Ｓ２９の手順を簡易化することで、画像処理装置１００の負荷を軽減できる。また、出力医用画像を表示させるための遅延を軽減し得る。

また、上記の手順では、画像処理装置１００は、撮像した静脈紋画像に対応する医用画像を、同じタイミング（同一フレーム）で撮像された術野画像に重畳するものとしたが、異なるタイミングで撮像された術野画像に重畳することを妨げるものではない。近赤外線カメラ２１や術野撮影カメラ２２および患者５０が、定位置にあれば、１〜数フレーム分のタイミング差があっても撮像される術野はほぼ一致していると考えられるからである。

更に、後述するように、プロジェクタを用いて医用画像を体表などに投影することも考えられる。その場合、ステップＳ２１を省略してもよい。
図１５は、撮像された画像の例を示す図である。図１５（Ａ）は、術野撮影カメラ２２によって撮像された術野画像８０を例示している。術野画像８０は長方形である。術野画像８０の４つの頂点のうち、紙面に向かって左下の頂点を原点Ｏ’とする。また、原点Ｏ’から紙面右方向をＸ’軸、原点から紙面上方向をＹ’軸とする。術野画像８０は、臓器Ａの画像８１、臓器Ｂの画像８２および臓器Ｃの画像８３を含む。

図１５（Ｂ）は、近赤外線カメラ２１によって撮像された静脈紋画像９０を例示している。静脈紋画像９０は、術野画像８０と同じ領域を近赤外線により撮像したものである。静脈紋画像９０の座標系も術野画像８０と同様である。静脈紋画像９０は、臓器Ａの静脈紋画像９１、臓器Ｂの静脈紋画像９２および臓器Ｃの静脈紋画像９３を含む。

図１５（Ｃ）は、静脈紋画像９０のうち、静脈紋画像９１が検出された領域９１ａを示している。静脈紋検索部１３１は、静脈紋画像９０を解析して、複数検出した静脈紋画像９１，９２，９３のうち、最も大きな領域で検出された静脈紋画像９１に対し、検出領域を囲う矩形の領域９１ａを特定する。静脈紋検索部１３１は、領域９１ａの原点に最も近い頂点の座標Ｖ１（当該頂点の位置ベクトルＶ１ともいえる）を被写体相対座標値とする。

図１６は、静脈紋の解析例を示す図である。静脈紋検索部１３１は、静脈紋画像９１における静脈の分岐点の座標値を検出する。例えば、静脈紋検索部１３１は、分岐点ｂ１，ｂ２，ｂ３，ｂ４，ｂ５，ｂ６，ｂ７を、静脈紋画像９１から検出する。そして、静脈紋検索部１３１は、分岐点毎に分岐数を求める。分岐点および分岐数を求める方法は、図６で例示した通りである。

例えば、分岐点ｂ１の分岐数は３である。分岐点ｂ２の分岐数は４である。分岐点ｂ３の分岐数は１である。分岐点ｂ４の分岐数は４である。分岐点ｂ５の分岐数は３である。分岐点ｂ６の分岐数は３である。分岐点ｂ７の分岐数は３である。

そして、静脈紋検索部１３１は、静脈紋画像９１の静脈紋パターン（撮像パターン９１ｂ）の情報を生成し、記憶部１１０に予め登録された複数の静脈紋パターン（登録パターン）と照合する。例えば、静脈紋検索部１３１は、撮像パターン９１ｂに対して最もよく一致するもの（一致度が指定閾値以上で最大のもの）として、登録パターンＲ１を特定する。

なお、静脈紋検索部１３１は、臓器Ａにおける静脈紋画像９１の全部を解析対象としてもよいし、静脈紋画像９１の一部のみを解析対象としてもよい。静脈紋画像９１の一部のみを解析対象とする場合、例えば、静脈紋検索部１３１は、静脈紋画像９１のうち、特徴点（分岐点）が所定数以上含まれる任意の領域を選択し得る。

図１７は、特徴点座標の例を示す図である。画像変換部１３２は、登録パターンＲ１に対応する静脈紋画像Ｒ２の特徴点座標を検出する。画像変換部１３２は、撮像パターン９１ｂに対応する静脈紋画像９１の特徴点座標を検出する。特徴点座標としては、例えば、分岐点の座標が考えられる。ただし、他の種類の点を特徴点としてもよい。例えば、分岐数がある数以上である分岐点に限定して特徴点としてもよいし、静脈の末端の点のみを特徴点としてもよい。

なお、座標軸について、静脈紋画像９１に関しては図１５で例示したＸ’Ｙ’座標を考えることができる。同様に、静脈紋画像Ｒ２に関しても、矩形の画像領域の４つの頂点のうち、静脈紋画像９１の原点Ｏ’である頂点に対応する頂点を原点Ｏとする。そして、Ｘ’軸と同じ方向にＸ軸を、Ｙ’軸と同じ方向にＹ軸を考えることができる。なお、医用画像の画像領域も矩形であり、当該矩形の画像領域の４つの頂点のうち、静脈紋画像Ｒ２と同じ頂点を原点とした同様の座標軸を考えることができる。

静脈紋画像、医用画像の画像領域の形状は矩形（長方形）以外でもよく、直交する座標軸や基準となる原点も任意に決定してよい。ただし、登録された静脈紋画像と医用画像とにおける原点および座標軸は、一致させる。

図１８は、バウンディングボックスの例を示す図である。画像変換部１３２は、静脈紋画像Ｒ２から検出した複数の特徴点座標に基づいて、当該複数の特徴点座標を囲むバウンディングボックスＣ１を検出する。図１８（Ａ）は、バウンディングボックスＣ１を例示している。

画像変換部１３２は、静脈紋画像９１から検出した複数の特徴点座標に基づいて、当該複数の特徴点座標を囲むバウンディングボックスＣ２を検出する。図１８（Ｂ）は、バウンディングボックスＣ２を例示している。

図１９は、画像変換用のパラメータの取得例を示す図である。画像変換部１３２は、静脈紋画像９１の原点に静脈紋画像Ｒ２の原点を重ねた際に、バウンディングボックスＣ１の１つの頂点と、バウンディングボックスＣ２の１つの頂点とが一致するようなバウンディングボックスＣ１の平行移動ベクトルＶを計算する。バウンディングボックスＣ１を平行移動ベクトルＶで移動させた後のバウンディングボックスをバウンディングボックスＣ１ａとする。

バウンディングボックスＣ１ａの１つの頂点と、バウンディングボックスＣ２の１つの頂点とは重なっている。画像変換部１３２は、当該重なる頂点を中心にしたバウンディングボックスＣ１ａの回転角θを計算する。回転角θは、バウンディングボックスＣ１ａの少なくとも２つの辺と、バウンディングボックスＣ２の２つの辺とが重なるように上記重なる頂点を軸にバウンディングボックスＣ１ａを回転させたときの回転角である。バウンディングボックスＣ１ａを回転角θで回転させた後のバウンディングボックスをバウンディングボックスＣ１ｂとする。

画像変換部１３２は、バウンディングボックスＣ１ｂをバウンディングボックスＣ２に一致させるための拡縮率ｒを計算する。画像変換部１３２は、バウンディングボックスＣ１ｂ，Ｃ２の辺の比などから拡縮率ｒを求めることができる。

図２０は、医用画像の画像変換の例を示す図である。画像変換部１３２は、静脈紋画像Ｒ２に対応する医用画像Ｒ３を、医用画像テーブル１１１から取得する。ここで、図２０では、静脈紋画像Ｒ２および医用画像Ｒ３が、静脈紋画像９１に対して傾いていることが分かり易いよう、画像領域を示す矩形を傾けて表している。また、静脈紋画像Ｒ２および医用画像Ｒ３のＸＹ座標および原点Ｏも例示している。

医用画像Ｒ３は、例えば病巣Ｎ１の画像を含む。画像変換部１３２は、図１９で求めた拡縮率ｒ、回転角θおよび平行移動ベクトルＶを用いて、医用画像Ｒ３に対するアフィン変換を実行し、出力医用画像Ｒ４を生成する。出力医用画像Ｒ４は、病巣Ｎ１の画像に対応する病巣Ｎ１ａの画像を含む。

合成部１３３は、術野画像８０および出力医用画像Ｒ４を重畳させた術野画像８０ｂの画像情報を生成し、モニタ１１に出力する。術野画像８０ｂは、術野画像８０に含まれる臓器Ａの画像８１に、出力医用画像Ｒ４に含まれる病巣Ｎ１ａの画像が重畳されている。モニタ１１は、術野画像８０ｂを表示する。医師４０は、術野画像８０ｂを閲覧することで、病巣Ｎ１ａの位置を把握できる。

なお、医用画像Ｒ３に、複数の病巣や臓器などの画像が含まれていることもある。その場合、画像処理装置１００は、出力対象とする病巣や臓器などの指定（例えば、ユーザによる入力デバイス１２の操作入力）を受け付けてもよい。画像処理装置１００は、指定された病巣や臓器などのみを出力することも考えられる。このように、画像処理装置１００は、医用画像Ｒ３の全部又は一部を出力し得る。すなわち、画像処理装置１００は、術野画像８０に医用画像Ｒ３の全部又は一部を重ね合わせて表示させることができる。

図２１は、画像処理システムの他の例（その１）を示す図である。医師４０は、腹腔鏡手術を行うこともある。腹腔鏡手術において、内視鏡３００が利用され得る。その場合、内視鏡３００に各種カメラを設けることが考えられる。より具体的には、内視鏡３００は、近赤外線カメラ３１０、術野撮影カメラ３２０およびライト３３０を有する。近赤外線カメラ３１０は、近赤外線カメラ２１に相当する。術野撮影カメラ３２０は、術野撮影カメラ２２に相当する。ライト３３０は、ライト３０に相当する。

画像処理装置１００は、内視鏡３００によって撮像された静脈５２の静脈紋画像に基づいて、医用画像を術野画像に重畳した画像情報をモニタ１１に出力する。モニタ１１は、病巣の医用画像１１ｂを含む画像１１ａを表示する。

図２２は、画像処理システムの他の例（その２）を示す図である。例えば、モニタ１１の代わりに、プロジェクタ１４を設けてもよい。プロジェクタ１４は、術野（例えば、患者５０の皮膚や臓器など）に医用画像１４ａを投影する。この場合、術野撮影カメラ２２を設けなくてよい。

画像処理装置１００は、近赤外線カメラ２１によって撮像された静脈５２の静脈紋画像に基づいて、出力医用画像の情報をプロジェクタ１４に出力する。プロジェクタ１４は、前述の術野撮影カメラ２２による撮像領域と同じ領域に、画像を投影するよう予め配置されている。プロジェクタ１４は、画像処理装置１００から取得した出力医用画像の情報に基づいて、医用画像１４ａを術野に投影する。

図２３は、表示例（その１）を示す図である。図２３では、モニタ１１を用いて、肝臓Ｋ１の周辺臓器や血管を、肝臓Ｋ１に重ねて表示する例を示している。図２３の例では、モニタ１１は、周辺臓器として、膵臓Ｋ２および胆嚢Ｋ３を表示している。また、モニタ１１は、血管として、大動脈Ｋ４、下大静脈Ｋ５および肝臓Ｋ１の内部血管Ｋ６を表示している。

図２４は、表示例（その２）を示す図である。図２４では、周辺臓器画像を肝臓Ｋ１に重ねて表示する例を示している。例えば、画像処理装置１００は、術野撮影カメラ２２から術野画像Ｐ１を取得する。術野画像Ｐ１は可視光で撮像されたものである。術野画像Ｐ１は、肝臓Ｋ１、大動脈Ｋ４および下大静脈Ｋ５を含む。術野画像Ｐ１は、肝臓Ｋ１の裏側や内部に存在する他の臓器や血管の画像を含んでいない。このため、術野画像Ｐ１を参照しても、他の臓器や血管の配置を把握することはできない。

画像処理装置１００は、近赤外線カメラ２１から取得した静脈紋画像に基づいて、医用画像テーブル１１１から医用画像Ｐ２を取得する。医用画像Ｐ２は、肝臓Ｋ１の周囲に存在する膵臓Ｋ２および胆嚢Ｋ３の画像を含む。また、医用画像Ｐ２は、肝臓Ｋ１の内部に存在する内部血管Ｋ６ａの画像を含む。

画像処理装置１００は、術野画像Ｐ１および医用画像Ｐ２を重畳することで、表示画像Ｐ３の画像情報を生成する。画像処理装置１００は、現在の視界では肝臓Ｋ１に隠れている膵臓Ｋ２、胆嚢Ｋ３および内部血管Ｋ６ａが肝臓Ｋ１の裏側又は内部に存在していることが分かるよう、肝臓Ｋ１を透かして裏側や内部を見ているような視覚効果を表示画像Ｐ３に施してもよい。

図２５は、表示例（その３）を示す図である。図２５では、肝臓Ｋ１内部の血管および肝臓Ｋ１周辺の血管を、肝臓Ｋ１の画像に重ねて表示する例を示している。例えば、画像処理装置１００は、術野撮影カメラ２２から術野画像Ｐ１を取得する。

画像処理装置１００は、近赤外線カメラ２１から取得した静脈紋画像に基づいて、医用画像テーブル１１１から医用画像Ｐ４，Ｐ５を取得する。なお、前述のように、医用画像テーブル１１１には、静脈紋画像に対応付けて、複数の医用画像が登録され得る。医用画像Ｐ４は、肝臓Ｋ１の裏側に存在する大動脈Ｋ４ａおよび下大静脈Ｋ５ａの画像を含む。医用画像Ｐ５は、肝臓Ｋ１の内部に存在する内部血管Ｋ６ｂ（動脈や静脈）の画像を含む。

画像処理装置１００は、大動脈Ｋ４および下大静脈Ｋ５の肝臓Ｋ１の陰に隠れている部分の画像を、大動脈Ｋ４ａおよび下大静脈Ｋ５ａの画像により補える。画像処理装置１００は、現在の視界では肝臓Ｋ１に隠れている大動脈Ｋ４ａ、下大静脈Ｋ５ａおよび内部血管Ｋ６ｂの画像を、肝臓Ｋ１を透かして見えているような視覚効果を表示画像Ｐ６に施してもよい。

図２６は、表示例（その４）を示す図である。図２６では、皮下にある臓器を、プロジェクタ１４を用いて皮膚表面５４に投影する例を示している。例えば、図２６の例では、患部臓器Ｋ７に加え、周辺臓器Ｋ８，Ｋ８ａ，Ｋ８ｂが皮膚表面５４に投影されている。

この場合、画像処理装置１００は、皮膚表面５４に対して近赤外線を照射し、皮膚表層の静脈の静脈紋画像を得ることで、登録された静脈紋との照合を行える。
図２７は、表示例（その５）を示す図である。図２７では、肝臓Ｋ１内部の病巣を示す医用画像を、プロジェクタ１４を用いて肝臓Ｋ１の表面に投影する例を示している。

画像処理装置１００は、近赤外線カメラ２１から取得した静脈紋画像（例えば、肝臓Ｋ１表層あるいは内部の静脈や肝臓Ｋ１周辺の静脈の静脈紋画像）に基づいて、医用画像テーブル１１１から医用画像Ｐ８を取得する。医用画像Ｐ８は、肝臓Ｋ１の内部に存在する病巣Ｋ９，Ｋ９ａの画像を含む。画像処理装置１００は、肝臓Ｋ１の表面に対して区別し易い色を、病巣Ｋ９，Ｋ９ａの画像に付与し、出力医用画像を生成する。

画像処理装置１００は、出力医用画像をプロジェクタ１４に出力する。プロジェクタ１４は、肝臓Ｋ１の表面に病巣Ｋ９，Ｋ９ａを示す医用画像を投影する。
第２の実施の形態の画像処理装置１００によれば、生体画像に医用画像を重畳表示することができる。例えば、文字列などで表された患者の識別コードと医用画像とを対応付けて記憶部１１０に格納することも考えられる。しかし、この場合、画像処理装置１００に入力される識別コードに誤りがあると、他の患者や他の臓器の医用画像が出力されてしまうおそれがある。また、識別コードが患者毎、臓器毎に適切に管理されていない場合にも、他の患者や他の臓器の医用画像が出力されてしまうおそれがある。医用画像の出力の誤りは、医療ミスの要因になるおそれもある。

そこで、画像処理装置１００は、静脈紋画像を用いた生体認証により認証が成功した部位に対応する医用画像を出力する。静脈紋は、生体に固有の情報である。このため、識別コードなどの他の情報を用いるよりも、生体を適正に識別できる。また、識別コードなどの新たな情報を人為的に付加するものではないので、間違いが起こりにくい。このように、画像処理装置１００によれば、手術対象の患者の手術対象の臓器に対する適正な医用画像を出力できる。特に、画像処理装置１００は、医用画像とともに、近赤外線カメラ２１を用いて、患者に負担をかけずに容易に静脈紋画像を取得できる。同じ観察方向から患者を観察したときの静脈紋画像と医用画像との組を容易に対応付けて事前登録できる。

事前登録される静脈紋画像と医用画像との組は、同じ観察方向から患者を観察したときの画像である。したがって、静脈紋を照合に用いることで、手術中の術野の観察方向に対し、当該観察方向から眺めたときの医用画像を適正に出力可能となる。

更に、画像処理装置１００は、画像情報と医用情報とを重畳する際の位置合わせに静脈紋画像を用いる。ここで、例えば、位置合わせのために位置を測位するための基準点（マーカー）を、術野に対して設ける方法も考えられる。しかし、この方法では術野に対してマーカーを設けるという手間が生じる。これに対し、静脈紋画像を位置合わせに利用することで、術野に対してマーカーを予め設ける手間を省ける。

また、医用画像は大量に管理され得る。マーカーと医用画像とを１つ１つ対応付ける作業をユーザに強いるのは現実的ではない。画像処理装置１００では、静脈紋を位置合わせに用いるので、マーカーと医用画像とを１つ１つ対応付ける作業をユーザに強いずに済む。よって、患者の負担を軽減できる。また、医師の作業を省力化できる。

更に、静脈紋を位置合わせに用いることで、マーカーを人為的に付与して位置合わせするよりも、精度良く位置合わせを行える。よって、手術時の支援をより適切に行える。
ここで、開腹手術の場合、切開周辺部の皮膚面に、マーカーとなる印をマジックで記載したり、シールなどを張り付けたりすることも考えられる。しかし、一般に開腹手術の場合、開腹部分のみを露出し、開腹部分周辺の皮膚部分は、手術布や鉗子などの術具や術者の手首などで遮られることが多く、これらの皮膚部分に設置したマーカーを常時画像認識させることは不便であった。

これに対し、画像処理装置１００では、術野に存在する静脈紋に応じて医用画像を出力できるので、術具や術野の手首などに遮られる可能性が低い。このため、比較的高い位置精度で、医用画像を継続的に表示させることが可能となる。

腹腔鏡手術（内視鏡手術）の場合、体内の臓器などにマーカーを予め付与することが困難である。また、臓器の一部分を撮影しながら手術を行うため、臓器全体像が表示されることは少なく、表示される臓器の形状を抽出してマーカーに変換する処理も困難である。

これに対し、画像処理装置１００では、臓器の一部分における静脈紋や体表の静脈紋に応じて医用画像を出力できるので、腹腔鏡手術の場合にも、術野画像に対して医用画像を容易に重畳表示可能となる。

なお、第１の実施の形態の情報処理は、表示制御部１ｂとして機能するプロセッサにプログラムを実行させることで実現できる。また、第２の実施の形態の情報処理は、プロセッサ１０１にプログラムを実行させることで実現できる。プログラムは、コンピュータ読み取り可能な記録媒体１３に記録できる。

例えば、プログラムを記録した記録媒体１３を配布することで、プログラムを流通させることができる。また、プログラムを他のコンピュータに格納しておき、ネットワーク経由でプログラムを配布してもよい。コンピュータは、例えば、記録媒体１３に記録されたプログラム又は他のコンピュータから受信したプログラムを、ＲＡＭ１０２やＨＤＤ１０３などの記憶装置に格納し（インストールし）、当該記憶装置からプログラムを読み込んで実行してもよい。

以上の第１，第２の実施の形態を含む実施形態に関し、更に以下の付記を開示する。
（付記１） コンピュータが、
撮像された生体画像を取得する取得処理と、
取得した前記生体画像が、特定の生体の特定の部位の生体情報に対応することを検出すると、該特定の生体の前記特定の部位に対応づけて登録された医用情報を出力する出力処理と、
を含むことを特徴とする生体情報を用いた出力制御方法。

（付記２） 前記出力処理は、前記撮像された生体画像、又は、別途撮像された生体画像に対応づけて前記医用情報を表示する処理である、ことを特徴とする付記１記載の出力制御方法。

（付記３） 前記生体情報は、前記生体の静脈紋の情報である、ことを特徴とする付記１又は２記載の出力制御方法。
（付記４） 前記出力処理では、前記静脈紋の情報を用いて、前記撮像された生体画像、又は、別途撮像された生体画像に前記医用情報を重ね合わせる位置を決定する、ことを特徴とする付記３記載の出力制御方法。

（付記５） 前記出力処理では、撮像された第１の静脈紋の情報および前記医用情報に対応付けて登録された第２の静脈紋の情報に基づいて、前記医用情報の表示用の画像を生成する、ことを特徴とする付記４記載の出力制御方法。

（付記６） 前記出力処理では、前記第１および前記第２の静脈紋の情報に基づいて画像変換用のパラメータを決定し、前記パラメータを用いて前記医用情報で示される画像を変換することで、前記表示用の画像を生成する、ことを特徴とする付記５記載の出力制御方法。

（付記７） 前記医用情報は、前記生体の病巣、血管又は臓器の画像の情報である、ことを特徴とする付記１又は２記載の出力制御方法。
（付記８） 第１の撮像方法により取得した生体についての生体情報に対応づけて前記生体について第２の撮像方法により取得した第１の生体画像を記憶する記憶部と、
ある生体について前記第１の撮像方法により取得した生体情報が、前記記憶部に記憶された前記生体情報に対応すると判定すると、該ある生体について第３の撮像方法により取得した第２の生体画像と前記第１の生体画像の全部又は一部とを重ね合わせて表示する表示制御部、
を備えたことを特徴とする画像処理装置。

（付記９） 第１の撮像方法により取得した生体の一部についての生体情報に対応づけて前記生体の一部について第２の撮像方法により取得した第１の生体画像を記憶する記憶部と、
ある生体の一部について前記第１の撮像方法により取得した生体情報が、前記記憶部に記憶された前記生体情報に対応すると判定すると、該ある生体の前記一部について第３の撮像方法により取得した第２の生体画像と前記第１の生体画像の全部又は一部とを重ね合わせて表示する表示制御部、
を備えたことを特徴とする画像処理装置。

（付記１０） 前記生体情報は、前記生体の静脈紋の情報である、ことを特徴とする付記８又は９記載の画像処理装置。
（付記１１） 前記表示制御部は、前記静脈紋の情報を用いて、前記第２の生体画像に前記第１の生体画像を重ね合わせる位置を決定する、ことを特徴とする付記１０記載の画像処理装置。

（付記１２） 前記表示制御部は、前記第１の撮像方法により取得した第１の静脈紋の情報および前記第１の生体画像に対応付けて登録された第２の静脈紋の情報に基づいて、前記第１の生体画像の表示用の画像を生成する、ことを特徴とする付記１１記載の画像処理装置。

（付記１３） 前記表示制御部は、前記第１および前記第２の静脈紋の情報に基づいて画像変換用のパラメータを決定し、前記パラメータを用いて前記第１の生体画像を変換することで、前記表示用の画像を生成する、ことを特徴とする付記１２記載の画像処理装置。

（付記１４） 前記第１の生体画像は、前記生体の病巣、血管又は臓器の画像である、ことを特徴とする付記８又は９記載の画像処理装置。
（付記１５） コンピュータに、
撮像された生体画像を取得する取得処理と、
取得した前記生体画像が、特定の生体の特定の部位の生体情報に対応することを検出すると、該特定の生体の前記特定の部位に対応づけて登録された医用情報を出力する出力処理と、
を実行させることを特徴とする出力制御プログラム。

（付記１６） 撮像された生体画像を取得する取得処理部と、
取得した前記生体画像が、特定の生体の特定の部位の生体情報に対応することを検出すると、該特定の生体の前記特定の部位に対応づけて登録された医用情報を出力する出力処理部と、
を含むことを特徴とする生体情報を用いる情報処理装置。

１ 画像処理装置
１ａ 記憶部
１ｂ 表示制御部
２ 撮像装置
３ 表示装置
４ 患者
４ａ 部位
４ｂ 臓器
５ 生体情報
６ 医用情報
７ 画像

Claims (8)

1. コンピュータが、
   撮像された生体画像を取得する取得処理と、
   取得した前記生体画像が、特定の生体の特定の部位の生体情報に対応することを検出すると、該特定の生体の前記特定の部位に対応づけて登録された医用情報を出力する出力処理と、
   を含むことを特徴とする生体情報を用いた出力制御方法。
2. 前記出力処理は、前記撮像された生体画像、又は、別途撮像された生体画像に対応づけて前記医用情報を表示する処理である、ことを特徴とする請求項１記載の出力制御方法。
3. 前記生体情報は、前記生体の静脈紋の情報である、ことを特徴とする請求項１又は２記載の出力制御方法。
4. 第１の撮像方法により取得した生体についての生体情報に対応づけて前記生体について第２の撮像方法により取得した第１の生体画像を記憶する記憶部と、
   ある生体について前記第１の撮像方法により取得した生体情報が、前記記憶部に記憶された前記生体情報に対応すると判定すると、該ある生体について第３の撮像方法により取得した第２の生体画像と前記第１の生体画像の全部又は一部とを重ね合わせて表示する表示制御部、
   を備えたことを特徴とする画像処理装置。
5. 第１の撮像方法により取得した生体の一部についての生体情報に対応づけて前記生体の一部について第２の撮像方法により取得した第１の生体画像を記憶する記憶部と、
   ある生体の一部について前記第１の撮像方法により取得した生体情報が、前記記憶部に記憶された前記生体情報に対応すると判定すると、該ある生体の前記一部について第３の撮像方法により取得した第２の生体画像と前記第１の生体画像の全部又は一部とを重ね合わせて表示する表示制御部、
   を備えたことを特徴とする画像処理装置。
6. 前記生体情報は、前記生体の静脈紋の情報である、ことを特徴とする請求項４又は５記載の画像処理装置。
7. コンピュータに、
   撮像された生体画像を取得する取得処理と、
   取得した前記生体画像が、特定の生体の特定の部位の生体情報に対応することを検出すると、該特定の生体の前記特定の部位に対応づけて登録された医用情報を出力する出力処理と、
   を実行させることを特徴とする出力制御プログラム。
8. 撮像された生体画像を取得する取得処理部と、
   取得した前記生体画像が、特定の生体の特定の部位の生体情報に対応することを検出すると、該特定の生体の前記特定の部位に対応づけて登録された医用情報を出力する出力処理部と、
   を含むことを特徴とする生体情報を用いる情報処理装置。

Images