JP2014198144A - 画像処理装置、画像処理方法、情報処理プログラム、蛍光観察システム、および蛍光ナビゲーション・サージェリー・システム - Google Patents

Abstract

【課題】適切に蛍光画像を撮像・表示・記録できる画像処理装置、画像処理方法、情報処理プログラム、蛍光観察システム、および蛍光ナビゲーション・サージェリー・システムを提供する。【解決手段】生体の、観察すべき対象領域であって、蛍光試薬が予め投入された当該観察すべき対象領域に励起光を照射して得られる蛍光像を、第１の解像度により撮像した画像を当該観察すべき対象領域の蛍光画像として、記録媒体に保存する保存部と、前記蛍光画像の少なくとも一部の領域をユーザに選択させ、前記選択された領域をＲＯＩ領域の蛍光画像として切り出す切り出し部と、前記ＲＯＩ領域の蛍光画像を前記第１の解像度より低い第２の解像度により表示部に表示させる表示制御部とを具備する。【選択図】図１

Description

本技術は、外科手術として蛍光ナビゲーション・サージェリーを行うための蛍光ナビゲーション・サージェリー・システム、および当該システムに用いられる画像処理装置、画像処理方法、情報処理プログラム、および蛍光観察システムに関する。

従来より、乳がんの切除手術において、がんの転移が疑われるセンチネルリンパ節の廓清が行われてきた。目視による同定が容易ではないセンチネルリンパ節の廓清に際して、蛍光試薬であるインドシアニングリーン（ＩＣＧ）を用いたセンチネルリンパ節の同定が行われている。

ＩＣＧを用いたセンチネルリンパ節の同定方法の１つとして、近赤外波長帯域の励起光を観察領域に照射し、ＩＣＧから発せられた、同じく近赤外波長帯域の蛍光を撮像して観察する方法がある（例えば、特許文献１参照）。

センチネルリンパ節の同定を行うためのＩＣＧ試薬の蛍光観察用のシステムとして製品化されたものに、pde-neo（浜松ホトニクス株式会社、特許文献２参照）、HyperEye Medical System（瑞穂医科工業株式会社）、mini-FLARE（Beth Israel病院、非特許文献１参照）などがある。

HyperEye Medical Systemおよびmini-FLAREでは、内蔵されている可視光観察ビデオカメラにより撮影された可視光観察画像に蛍光観察画像を重畳させて表示を行うなどの機能がある。画像の重畳を適切に行うために、例えば、mini-FLAREシステムでは、可視光画像観察用ビデオカメラと蛍光画像観察用ビデオカメラとで撮像に用いるズームレンズを共有することにより、両方の画像の視野が一致するように構成されており、２つのビデオカメラには同じ画素数の撮像素子が用いられている。

また、近年の癌遺伝子研究および試薬研究の進展により、癌細胞を選択的に染色することが可能となってきている（例えば、小林久隆氏の研究、非特許文献２参照）。例えば、スプレーするだけでがん細胞が光り出す蛍光試薬が開発されている（非特許文献３参照）。

また、従来から、医療現場において、手術時にその手術の様子をビデオカメラで撮影して記録を残すことにより、医療過誤訴訟に備える仕組みが考えられてきている。そして、手技を撮影するために術野の高解像度画像（High Definition(HD)解像度）の取得と、全体の様子を撮影するために手術台とその周辺の画像（Standard Definition(SD)またはＨＤ解像度）の取得が行われている（例えば特許文献３参照）。

特開２００１−２９９６７６号公報 特許第４７４５０５９号公報 特開２００５−３４６５５２号広報

Annals of Surgical Oncology 2009 October; 16(10): 2943?2952、インターネット<URL:http://www.ncbi.nlm.nih.gov/pmc/articles/PMC2772055/> Nature Medicine 15, 104 - 109 (2009) プレスリリース"スプレーするだけでがん細胞が光り出す蛍光試薬を開発"、[online]、平成23年11月24日、科学技術振興機構、[平成25年3月18日検索]、インターネット<URL:http://www.jst.go.jp/pr/announce/20111124-2/index.html>

上記のがん細胞を選択的に染色する試薬を用いてがん細胞を検出する場合、術者が施術中に注目する領域、すなわち、メスなどを用いて切除を行っている領域だけでなく、術者が注目する領域以外の領域を含んだ術野全体にわたって広く観察することが重要である。その理由は、がん細胞の取り残しが無いか否かを手術時や手術後に確認する為である。

しかし、pde-neo、HyperEye Medical System、mini-FLAREなどの上記システムでは、撮影を行っているビデオカメラのズームレンズを用いて術者の視野の大きさを調整することを前提にしている。すなわち、手術時に撮影される蛍光観察画像は、術野のうち術者の興味がある領域のみであった。そのため、これらのシステムにより撮影された蛍光観察画像は、がん細胞の取り残しが無いことを証明するために用いることは出来なかった。

その他、これまでのシステムでは、蛍光画像が適切に撮影・表示・記録できているとは言えなかった。

以上のような事情に鑑み、本技術の目的は、適切に蛍光画像を撮像・表示・記録できる画像処理装置、画像処理方法、情報処理プログラム、蛍光観察システム、および蛍光ナビゲーション・サージェリー・システムを提供することにある。

上記目的を達成するため、本技術の一形態に係る画像処理装置は、生体の、観察すべき対象領域であって、蛍光試薬が予め投入された当該観察すべき対象領域に励起光を照射して得られる蛍光像を、第１の解像度により撮像した画像を当該観察すべき対象領域の蛍光画像として、記録媒体に保存する保存部と、前記蛍光画像の少なくとも一部の領域をユーザに選択させ、前記選択された領域をＲＯＩ領域の蛍光画像として切り出す切り出し部と、前記ＲＯＩ領域の蛍光画像を前記第１の解像度より低い第２の解像度により表示部に表示させる表示制御部とを具備する。

本技術では、観察すべき対象領域全体の蛍光画像を第１の解像度で記録に残した上、施術のために、ユーザが選択したＲＯＩ領域の蛍光画像を第２の解像度で表示部に表示させる。それ故、記録と観察という２つの目的に対応でき、適切に蛍光画像を撮像・表示・記録できる。

上記目的を達成するため、本技術の一形態に係る画像処理装置では、前記保存部は、前記観察すべき対象領域の蛍光画像をＲＡＷ画像データのまま保存する構成でもよい。

上記目的を達成するため、本技術の一形態に係る画像処理方法は、生体の、観察すべき対象領域であって、蛍光試薬が予め投入された当該観察すべき対象領域に励起光を照射して得られる蛍光像を、第１の解像度により撮像した画像を当該観察すべき対象領域の蛍光画像として、記録媒体に保存し、前記蛍光画像の少なくとも一部の領域をユーザに選択させ、前記選択された領域をＲＯＩ領域の蛍光画像として切り出し、前記ＲＯＩ領域の蛍光画像を前記第１の解像度より低い第２の解像度により表示部に表示させる。

上記目的を達成するため、本技術の一形態に係る情報処理プログラムは、生体の、観察すべき対象領域であって、蛍光試薬が予め投入された当該観察すべき対象領域に励起光を照射して得られる蛍光像を、第１の解像度により撮像した画像を当該観察すべき対象領域の蛍光画像として、記録媒体に保存する保存部、前記蛍光画像の少なくとも一部の領域をユーザに選択させ、前記選択された領域をＲＯＩ領域の蛍光画像として切り出す切り出し部、および前記ＲＯＩ領域の蛍光画像を前記第１の解像度より低い第２の解像度により表示部に表示させる表示制御部としてコンピュータを機能させる。

上記目的を達成するため、本技術の一形態に係る蛍光観察システムは、生体の、観察すべき対象領域であって、蛍光試薬が予め投入された当該対象領域に励起光を照射する励起光源と、前記観察すべき対象領域から発せられた蛍光像を、前記観察すべき対象領域の蛍光画像として、第１の解像度により撮像する撮像部と、前記観察すべき対象領域の蛍光画像を記録媒体に保存する保存部と、前記蛍光画像の少なくとも一部の領域をユーザに選択させ、前記選択された領域をＲＯＩ領域の蛍光画像として切り出す切り出し部と、前記ＲＯＩ領域の蛍光画像を前記第１の解像度より低い第２の解像度により表示する表示部とを具備する。

上記目的を達成するため、本技術の一形態に係る蛍光ナビゲーション・サージェリー・システムは、生体の、観察すべき対象領域であって、蛍光試薬が予め投入された当該対象領域に励起光を照射する励起光源と、前記観察すべき対象領域から発せられた蛍光像を、前記観察すべき対象領域の蛍光画像として、第１の解像度により撮像する蛍光撮像部と、前記観察すべき対象領域の蛍光画像を記録媒体に保存する保存部と、前記蛍光画像の少なくとも一部の領域をユーザに選択させ、前記選択された領域をＲＯＩ領域の蛍光画像として切り出す切り出し部と、前記ＲＯＩ領域の蛍光画像を前記第１の解像度より低い第２の解像度により表示する蛍光画像表示部と、前記観察すべき対象領域の少なくとも一部の領域をユーザに選択させ、選択された領域を、可視光画像として撮像する可視光撮像部と、前記可視光画像を表示する可視光画像表示部とを具備する。

上記目的を達成するため、本技術の一形態に係る蛍光ナビゲーション・サージェリー・システムは、生体の、観察すべき対象領域であって、蛍光試薬が予め投入された当該対象領域に励起光を照射する励起光源と、前記観察すべき対象領域から発せられた蛍光像を、前記観察すべき対象領域の蛍光画像として、第１の解像度により撮像する蛍光撮像部と、前記観察すべき対象領域の蛍光画像を記録媒体に保存する保存部と、ユーザが入力した位置選択情報に基づき、前記観察すべき対象領域の少なくとも一部の領域をＲＯＩ領域として選択し、当該ＲＯＩ領域の可視光画像を撮像する可視光撮像部と、前記位置選択情報に基づき、前記観察すべき対象領域の蛍光画像から、前記ＲＯＩ領域の蛍光画像を切り出す切り出し部と、前記可視光画像と前記切り出した蛍光画像との位置を合わせ重畳して重畳画像を生成する重畳部と、前記重畳画像を前記第１の解像度より低い第２の解像度により表示する重畳画像表示部とを具備する。

上記目的を達成するため、本技術の一形態に係る蛍光ナビゲーション・サージェリー・システムは、生体の、観察すべき対象領域であって、蛍光試薬が予め投入された当該対象領域に励起光を照射する励起光源と、前記観察すべき対象領域から発せられた蛍光像を、前記観察すべき対象領域の蛍光画像として、第１の解像度により撮像する蛍光撮像部と、前記観察すべき対象領域の蛍光画像を記録媒体に保存する保存部と、前記観察すべき対象領域の少なくとも一部の領域をユーザに選択させ、前記選択された領域をＲＯＩ領域として、当該ＲＯＩ領域の可視光画像を撮像する可視光撮像部と、前記可視光画像に含まれるエッジ情報に基づき、前記観察すべき対象領域の蛍光画像から、前記ＲＯＩ領域の蛍光画像を切り出す切り出し部と、前記可視光画像と前記切り出した蛍光画像との位置を合わせ重畳して重畳画像を生成する重畳部と、前記重畳画像を前記第１の解像度より低い第２の解像度により表示する重畳画像表示部とを具備する。

以上のように、本技術によれば、適切に蛍光画像を撮像・表示・記録することが出来る。

第１の実施形態に係る蛍光ナビゲーション・サージェリー・システム１００の全体構成図である。 術野ＳＡ全体を撮影した中で、蛍光領域ＦＡのみが光っている画像を示す図である。 変形例の画像処理装置１０Ｂに対応した機能ブロックを示す図である。 第２の実施形態に係る蛍光ナビゲーション・サージェリー・システム１００Ｂの全体構成図である。 第３の実施形態に係る蛍光ナビゲーション・サージェリー・システム１００Ｃの全体構成図である。

以下、本技術に係る実施形態を、図面を参照しながら説明する。
＜第１の実施形態＞
［全体構成］
最初に、本実施形態に係る蛍光ナビゲーション・サージェリー・システムの全体構成について説明する。図１は、本実施形態に係る蛍光ナビゲーション・サージェリー・システム１００の全体構成図である。

蛍光ナビゲーション・サージェリー・システム１００は、大きく分けて、術者が術野ＳＡを観察するための可視光撮影システム３００と、蛍光画像を撮影・記録・表示する蛍光撮影システム２００とに大別される。蛍光ナビゲーション・サージェリー・システム１００は、可視光撮影システム３００と蛍光撮影システム２００とに分かれているので、上述したmini-FLAREシステム等のような両者でズームレンズを共用するシステムとは異なり、両者のズームレンズを独立して操作することが出来る。

（可視光撮影システム）
可視光撮影システム３００は、術野観察用ビデオカメラ１、光学ズームレンズ２、および術野観察用モニタ３を含んで構成される。術野観察用ビデオカメラ１は、術野ＳＡの全体を撮影することも出来るし、撮影方向を振ることでパンを行ったり、光学ズームレンズ２により光学ズームを行ったりして、術者の興味がある領域ＲＯＩのみを撮影することも出来る。術野観察用ビデオカメラ１では、術者の運針の様子を的確に撮影する必要があるので、高フレームレートでの画像出力が求められる。なお、術者の興味がある領域ＲＯＩとは、術者が切除作業を進めたいと考えている領域や切除作業を行った領域のことである。

術野観察用モニタ３はＨＤ解像度の画像表示を行うものであり、図の示すように、術野観察用モニタ３上には、例えば、術野ＳＡの全体が表示される。蛍光の波長が可視光帯域ではない近赤外の波長である場合、術野観察用モニタ３上には、蛍光領域ＦＡは示されない。なお、可視光撮影システム３００は、主に内視鏡手術の場合に用いられ、一般的な開腹手術、開胸手術では用いない事もある。

（蛍光撮影システム）
一方、蛍光撮影システム２００は、ＬＥＤ４、レンズ５、エキサイトフィルタ６、２４Ｍピクセルカメラ７、光学ズームレンズ８、エミッションフィルタ９、画像処理装置１０、および蛍光画像観察用モニタ１６を含んで構成される。ＬＥＤ４、レンズ５、およびエキサイトフィルタ６により励起光源が構成される。なお、蛍光撮影システム２００は、一般的な開腹手術や開胸手術においては、上記pde-neoやmini-FLAREと同様のサイズ・形状でもよいし、腹腔鏡手術や内視鏡手術においては、腹腔鏡や内視鏡に組み込まれるサイズにしてもよい。

また、画像処理装置１０は、欠陥補正・現像部１１、画像圧縮部１２、画像保存部１３、デジタルズーム・パン部１４、およびグラフィックボード１５を含んで構成される。

画像処理装置１０は、例えば、ＣＰＵ（Central Processing Unit）と、ＲＯＭ（Read Only Memory）と、ＲＡＭ（Random Access Memory）とを含むパーソナルコンピュータ（ＰＣ）のハードウェア要素で構成される。あるいはＦＰＧＡ（Field Programmable Gate Array）などの専用ＩＣによって構成されてもよい。

画像処理装置１０は、欠陥補正・現像部１１、画像圧縮部１２、画像保存部１３、デジタルズーム・パン部１４、およびグラフィックボード１５の間で各種信号をやりとりして、蛍光画像を処理するための様々な演算処理を実行する。ＲＡＭには、そのための各種のプログラムおよびデータがロードされ、ＣＰＵはＲＡＭにロードされたプログラムを実行する。ＲＯＭには、ＲＡＭにロードされるプログラムやデータなどが格納される。

なお、欠陥補正・現像部１１、画像圧縮部１２、画像保存部１３、およびデジタルズーム・パン部１４は、ＲＯＭなどからＲＡＭにロードされたプログラムがＣＰＵにより実行されることで実現される機能ブロックである。

［構成要素の詳細と処理の流れ］
最初に、蛍光撮影システム２００では、ＬＥＤ４、レンズ５、およびエキサイトフィルタ６からなるＬＥＤ照明により、励起光が術野ＳＡに照射される。

術野ＳＡには、予めＩＣＧなどの蛍光造影剤が局注またはスプレーされており、蛍光造影剤は目的の場所に集まっている。術野ＳＡに照射された励起光により、蛍光造影剤は蛍光を発する。（以下、蛍光造影剤が集まり蛍光を発する領域を蛍光領域ＦＡと呼ぶ。）

蛍光領域ＦＡから発せられた蛍光は、エミッションフィルタ９を透過し、光学ズームレンズ８により拡大され、２４Ｍピクセルカメラ７により撮像される。エミッションフィルタ９は、目的とする蛍光以外の波長の光を遮断する役割を持つ。光学ズームレンズ８は、２４Ｍピクセルカメラ７により、手術を行う可能性がある領域である画像記録領域ＲＡ全体が撮像されるように視野を調整する役目を持つ。

２４Ｍピクセルカメラ７は、本技術における最も重要な構成要素であり、２４メガ・ピクセルの画素を持ち、例えば６ｋ×４ｋサイズの超高解像度の画像を撮像出来る撮像素子を有している。この撮像素子からは、例えば最大６．３ｆｐｓのレートで画像を出力することが出来る。２４Ｍピクセルカメラ７は、上記の術野観察用ビデオカメラ１とは異なり、運針のような動きのあるものを撮影するのではなく、蛍光を発するがん細胞など動きの無い対象物を撮影するので、１ｆｐｓから３ｆｐｓ程度のフレームレートがあれば十分である。

２４Ｍピクセルカメラ７から出力された蛍光画像は、画像処理装置１０に入力される。画像処理装置１０に入力された蛍光画像は、最初に、欠陥補正・現像部１１において、欠陥補正処理や、デモザイク処理などの現像処理が行われる。現像処理の後、蛍光画像は、画像圧縮部１２とデジタルズーム・パン部１４とに出力される。

画像圧縮部１２に入力された蛍光画像は、画像圧縮処理により画像圧縮が行われ画像サイズが縮小された後、画像保存部１３に出力される。

画像圧縮の後、画像保存部１３に入力された蛍光画像は、画像保存部１３において保存される。画像保存部１３は、例えば、ＨＤＤ（ハードディスクドライブ）等の記憶媒体を有しており、圧縮された蛍光画像は、記憶媒体に保存される。記憶媒体に保存された画像は、例えば、図２に示すような、術野ＳＡ全体を撮影した中で、蛍光領域ＦＡのみが光っている画像となる。

現像処理の後、デジタルズーム・パン部１４に出力された蛍光画像に対して、デジタルズーム・パン部１４は、術者の興味がある領域ＲＯＩのみを拡大表示するために、デジタルズーム処理やパニング処理を行う。

デジタルズーム・パン部１４では、更に、蛍光画像観察用モニタ１６上で術者の興味がある領域ＲＯＩのみに絞られた蛍光画像を鮮明に表示するピクセル・バイ・ピクセル表示を行うために、小ピクセル化処理が行われてもよい。

デジタルズーム・パン部１４における処理が終了した蛍光画像は、グラフィックボード１５を経由して、蛍光画像観察用モニタ１６上に表示される。蛍光画像観察用モニタ１６は、ＨＤ解像度の画像を表示するものであり、図に示すように、蛍光画像観察用モニタ１６上には、例えば、蛍光領域ＦＡを含む、術者の興味がある領域ＲＯＩが拡大して表示される。

［保存する蛍光画像と表示する蛍光画像について］
本技術では、医療過誤訴訟などに対応するために記録する画像と、術者が施術時に参照するために蛍光画像観察用モニタ１６上に表示される画像とが異なる点が特徴の一つとなる。すなわち、蛍光画像観察用モニタ１６上には、術者の興味がある領域ＲＯＩが表示されるが、画像記録部１３に記録される画像は、光学ズームレンズ８により視野が調整された術野ＳＡ全体を撮像したものである。

画像記録部１３に記録される画像は、手術を進める上で術者がその時点で興味のあった領域ＲＯＩのみを記録したものではなく、術野ＳＡ全体の蛍光画像を撮影したものである。そのため、手術後に、手術において蛍光標識されたがんなどの部位に切除し残した箇所が有るか否かを確認することが出来る。

［典型的な技術との比較］
上述した典型的な技術では、画像を撮像するカメラが有する撮像素子の画素数は、高解像度であってもＨＤ解像度の２メガ・ピクセル相当であった。そのため、本技術のように、術野ＳＡ全体を撮像した画像をデジタルズームにより拡大して術者の興味がある領域ＲＯＩのみを取りだしても画質が劣化し、実用的ではなかった。従って、施術の際に撮影する画像は、術者の興味がある領域のみを撮影するしかなく、手術後にがん等の取り残しが有るか否かを確認するための術野ＳＡ全体の画像を撮影することは出来なかった。

また、２メガ・ピクセル程度の画素数の撮像素子を用いて例えば１５ｃｍ×１０ｃｍ程度の大きさの術野ＳＡを撮像する場合、この撮像素子のピクセル解像度は７５μｍ程度となる。つまり、細胞の数倍の大きさの解像度となるので、がん細胞の取り残しを確認する作業においては、がん細胞を見落とす可能性が高い解像度となってしまう。

しかし、本技術で用いる２４メガ・ピクセルの撮像素子を用いて１５ｃｍ×１０ｃｍ程度の大きさの術野ＳＡを撮像する場合、この撮像素子のピクセル解像度は２５μｍ程度となる。がん細胞とほぼ等しい大きさの解像度が得られるので、蛍光標識されたがん細胞などの見逃しが起こりにくくなる解像度にて、蛍光画像の記録を行うことが出来る。

また、本技術では、２４メガ・ピクセルの撮像素子を用いて撮像した、例えば１５ｃｍ×１０ｃｍ程度の大きさの術野ＳＡの画像に対してデジタルズーム処理を行い、例えば５ｃｍ×２．５ｃｍ程度の大きさの術者が興味のある領域ＲＯＩを拡大して表示する。この場合でも、ピクセル・バイ・ピクセル以上の解像度で蛍光画像観察用モニタ１６上に表示できるので、術者に対して良好な画質の蛍光画像を提供することが出来る。

［術野の大きさと撮像素子の画素数について］
ここでは、撮影する術野ＳＡの大きさと蛍光画像を撮像する撮像素子の画素数の関係について説明を行う。

例えば、産科婦人科における腹腔鏡を用いた卵巣摘出手術などにおいては、運針を行う鉗子と針が視野からはずれないように観察視野を調整するので、撮影される視野は７−８ｃｍ四方程度か、あるいはそれを少し上回る視野に設定されることが一般的である。

そして、１００μｍ程度の大きさの腫瘍を見逃さないようにするためには、例えばピクセル解像度が５０μｍ程度か、それ以下となるような光学システムを用いて蛍光画像を撮影することが望ましい。

一辺の長さが７ｃｍの術野ＳＡにおいて、ピクセル解像度５０μｍにて撮影を行う場合、撮像素子の画素数は１４００ピクセルに対応する。従って、一辺の長さが１０ｃｍ程度ある術野ＳＡに対応させて、上述した本技術による効果を得る為には、撮像素子として、短辺２０００ピクセル以上の画素数を有する撮像素子を用いることが望ましい。

［本技術の奏する効果について］
本技術に係る蛍光ナビゲーション・サージェリー・システムは、術者の要求に応じて術者の興味のある領域ＲＯＩをデジタルズームにより拡大して表示することが出来、かつ、術野ＳＡ全体を腫瘍の見逃しが無い程度のピクセル解像度で撮影・記録することが出来る。そのため、典型的なシステムでは撮影されていなかった術者が興味の無かった領域についても撮影・記録することが出来る。それ故、医療過誤訴訟への対策などのマーケットにも対応することが出来る。

［変形例（蛍光画像保存時に圧縮しない構成について）］
次に、２４Ｍピクセルカメラ７により撮像した蛍光画像の画像保存部１３への保存方法の変形例について説明する。

上記の実施形態では、欠陥補正・現像部１１において蛍光画像を現像した後で、画像圧縮部１２において蛍光画像の圧縮を行った。しかし、圧縮による画像劣化を避けたいという要望がある場合は、圧縮無しに蛍光画像を保存する事になる。そこで、本変形例では、２４Ｍピクセルカメラ７から出力されたＲＡＷ画像データを圧縮せずに画像保存部１３へ保存する。

一般的に、単板でＲＧＢ各色のカラーフィルタがベイヤ配列として形成されているカラー撮像素子では、ＲＡＷ画像データが出力され、出力されたＲＡＷ画像データを現像することにより、最終的なカラー画像を得ることが出来る。現像行程を経ることにより、得られたカラー画像のサイズは、元のＲＡＷ画像データに比べ膨大なサイズになってしまう。

例えば、２４メガ・ピクセルを有する撮像素子から出力されるＲＡＷ画像データのサイズは、輝度情報が１４ｂｉｔの場合、約５０ＭＢである。このＲＡＷ画像データを輝度情報が１６ｂｉｔのカラー画像に現像すると、そのサイズは約１４７ＭＢとなってしまう。そして、この現像されたカラー画像の輝度情報を８ｂｉｔに減らしても、依然として約７３ＭＢのデータサイズを有したままである。

このように、輝度情報を１６ｂｉｔから８ｂｉｔに減らしたカラー画像よりも元のＲＡＷ画像データのほうが、データサイズが小さい。それ故、画像を圧縮せずに保存する場合は、現像前のＲＡＷ画像データをそのまま保存するほうが小さいデータサイズで画像保存部１３に保存することが出来る。そして、画像保存部１３では、蛍光画像を保存するために必要な記憶媒体の容量を削減出来るので、システム運用コストの観点から効率的である。

図３に本変形例の画像処理装置１０Ｂに対応した機能ブロックを示す。図に示すように、画像処理装置１０Ｂは、欠陥補正部１１Ｂ、画像保存部１３、現像部１１Ｃ、デジタルズーム・パン部１４、グラフィックスボード１５を含んで構成される。

欠陥補正部１１Ｂおよび現像部１１Ｃは、上記実施形態の欠陥補正・現像部１１の機能を欠陥補正処理と現像処理の２つに分けたものである。画像処理装置１０Ｂでは、画像圧縮部１２が無くなっている。

処理の流れとしては、まず、画像処理装置１０Ｂが、２４Ｍピクセルカメラ７から出力された蛍光画像を受け付ける。

画像処理装置１０Ｂに入力された蛍光画像は、欠陥補正部１１Ｂにおいて、欠陥補正処理が行われる。欠陥補正処理の後、蛍光画像は、画像保存部１３と現像部１１Ｃとに出力される。

画像保存部１３に入力された蛍光画像は、画像保存部１３において保存される。画像保存部１３の機能と構成は、上述の実施形態のものと同じである。

現像部１１Ｃに入力された蛍光画像に対しては、デモザイク処理などの現像処理が施される。その後、現像された蛍光画像は、デジタルズーム・パン部１４に出力される。

現像処理の後、デジタルズーム・パン部１４に出力された蛍光画像に対して、デジタルズーム・パン部１４は、術者の興味がある領域ＲＯＩのみを拡大表示するために、デジタルズーム処理やパニング処理を行う。デジタルズーム・パン部１４の機能と構成は、上述の実施形態のものと同じである。

デジタルズーム・パン部１４における処理が終了した蛍光画像は、グラフィックボード１５を経由して、蛍光画像観察用モニタ１６上に表示される。

＜第２の実施形態＞
次に、第２の実施形態について説明する。第１の実施形態との大きな違いは、第１の実施形態では、術野観察用モニタ３と、蛍光画像観察用モニタ１６が分かれていたのに対し、第２の実施形態では、２つの画像が重畳され１つのモニタで観察される点である。なお、術者が興味のある領域ＲＯＩがモニタ上に表示される点と、手術を行う可能性がある領域である画像記録領域ＲＡ全体が画像として保存される点は、第１の実施形態と同じである。

図４に、本実施形態に係る蛍光ナビゲーション・サージェリー・システム１００Ｂの全体構成を示す。なお、第１の実施形態と同じ機能の構成要素には同じ符号を付け、説明を省略する。

蛍光ナビゲーション・サージェリー・システム１００Ｂは、大きく分けて、術者が術野ＳＡを観察するための可視光撮影システム３００Ｂと、蛍光画像を撮影・記録する蛍光撮影システム２００Ｂとからなる。そして、可視光撮影システム３００Ｂにより撮影された術野観察用画像を見ながら手術を行う事を前提とした手術用システムを想定している。そのため、蛍光撮影システム２００Ｂにより撮影された蛍光画像の表示範囲を、術野観察用画像の表示範囲と位置合わせし重畳する画像処理装置１０Ｄと、重畳された画像を表示する重畳画像観察用モニタ１６Ｂを更に備えている。

（可視光撮影システム）
可視光撮影システム３００Ｂは、術野観察用ビデオカメラ１、および光学ズームレンズ２を含んで構成される。術野観察用ビデオカメラ１は、術野ＳＡの全体を撮影することも出来るし、撮影方向を振ることでパンを行ったり、光学ズームレンズ２により光学ズームを行ったりして、術者の興味がある領域ＲＯＩのみを撮影することも出来る。術野観察用ビデオカメラ１により撮影された画像は、画像処理装置１０Ｄに出力される。

（蛍光撮影システム）
一方、蛍光撮影システム２００Ｂは、ＬＥＤ４、レンズ５、エキサイトフィルタ６、２４Ｍピクセルカメラ７、光学ズームレンズ８、エミッションフィルタ９、および画像処理装置１０Ｃを含んで構成される。

また、画像処理装置１０Ｃは、機能ブロックとして、欠陥補正・現像部１１、画像圧縮部１２、および画像保存部１３を含んで構成される。

欠陥補正・現像部１１において欠陥補正処理および現像処理が終了した蛍光画像は、画像圧縮部１２に出力されると共に、画像処理装置１０Ｄのデジタルズーム・パン部１４に出力される。

（画像処理装置１０Ｄの構成と処理の流れ）
画像処理装置１０Ｄは、デジタルズーム・パン部１４および位置合わせ・画像合成部１７の機能ブロックと、グラフィックボード１５とを含んで構成される。なお、画像処理装置１０Ｃおよび１０Ｄは、第１の実施形態の画像処理装置１０と同じく、ＰＣやＦＰＧＡなどの専用ＩＣにより構成されてもよい。

画像処理装置１０Ｄでは、まず、デジタルズーム・パン部１４が、欠陥補正・現像部１１から供給された蛍光画像と、術野観察用ビデオカメラ１から供給された、術野観察用ビデオカメラ１の光学ズームおよびパニング情報（位置選択情報）とを受け付ける。デジタルズーム・パン部１４は、術野観察用ビデオカメラ１からの画像に適切に重畳するために、受け付けた光学ズームおよびパニング情報に基づき、蛍光画像に対してデジタルズーム処理およびデジタルパニング処理を行う。ズームおよびパン処理後の蛍光画像は、位置合わせ・画像合成部１７に出力される。

次に、位置合わせ・画像合成部１７が、術野観察用ビデオカメラ１から供給された術野観察用画像と、デジタルズーム・パン部１４から供給された蛍光画像とを重畳させ合成する。合成された重畳画像は、グラフィックボード１５を介して重畳画像観察用モニタ１６Ｂに出力され画面上にＨＤ解像度で表示される。

なお、上記の説明では、術野観察用ビデオカメラ１から供給された、術野観察用ビデオカメラ１の光学ズームおよびパニング情報に基づいて位置合わせを行う構成を説明したが、これに限らず、エッジ検出などの画像解析処理により画像を重ね合わせるべき位置を求め、重畳処理を行ってもよい。

以上、第２の実施形態の構成について説明した。なお、上記では１つの重畳画像観察用モニタ１６に術野観察用画像と蛍光画像を重ね合わせて表示する構成を示した。しかし、術者の好みによっては、施術時に術野観察用画像と蛍光画像とを分けてモニタ上に表示させたいという要望もある。そのため、第２の実施形態の構成でも、術野観察用ビデオカメラ１から出力された術野観察用画像を別途取り出して術野観察用モニタ３に出力させ、また、デジタルズーム・パン部１４から出力された蛍光画像を別途取り出して蛍光画像観察用モニタ１６に出力させることも可能である。

＜第３の実施形態＞
次に、第３の実施形態について説明する。第２の実施形態との大きな違いは、第２の実施形態では、術野観察用ビデオカメラ１と２４Ｍピクセルカメラ７とが、異なる方向から画像記録領域ＲＡや術者の興味がある領域ＲＯＩを撮影していたのに対し、第３の実施形態では、両者が同じ光軸で撮影する点である。

図５に、本実施形態に係る蛍光ナビゲーション・サージェリー・システム１００Ｃの全体構成を示す。なお、第１の実施形態および第２の実施形態と同じ機能の構成要素には同じ符号を付け、説明を省略する。

蛍光ナビゲーション・サージェリー・システム１００Ｃでは、上述のとおり、可視光撮影システムと蛍光撮影システムが統合され、光学系の一部が共用された撮影システムとなっている。

［構成と撮影の流れ］
この撮影システムは、術野観察用ビデオカメラ１、光学ズームレンズ２Ｂ、レンズ駆動部２１、パニング・ステージ２０、ＬＥＤ４、レンズ５、エキサイトフィルタ６、２４Ｍピクセルカメラ７、光学ズームレンズ８Ｃ、エミッションフィルタ９、ダイクロイックミラー９Ｂ、ズームレンズ８Ｂ、可視光ＬＥＤ３０、レンズ３１、可視光フィルタ３２を含んで構成される。

まず、可視光による撮影について説明する。可視光ＬＥＤ３０、レンズ３１、可視光フィルタ３２から構成される可視光照明が、画像記録領域ＲＡに可視光を照射する。画像記録領域ＲＡからの反射光はズームレンズ８Ｂに入射する。ズームレンズ８Ｂは、２４Ｍピクセルカメラ７において、画像記録領域ＲＡ全体が撮影されるように視野が調整される。ズームレンズ８Ｂを通過した可視光は、ダイクロイックミラー９Ｂに入射する。ダイクロイックミラー９Ｂは、蛍光領域ＦＡからの蛍光のみを反射し、可視光を透過させるものである。ダイクロイックミラー９Ｂを透過した可視光は、ズームレンズ２Ｂに入射する。このズームレンズ２Ｂは、ズーム駆動機構２１により駆動され、術野観察用ビデオカメラ１に撮影される視野が、術者の興味がある領域ＲＯＩを撮影するのに必要な倍率に拡大される。また、術野観察用ビデオカメラ１に撮影される視野は、パニング・ステージ２０により、術野観察用ビデオカメラ１をパンすることにより、術者の興味がある領域ＲＯＩに合わせられる。

以上により、術野観察用ビデオカメラ１において、術者の興味がある領域ＲＯＩの画像が撮影される。撮影された可視光画像は、位置合わせ・画像合成部１７に出力される。また、撮影する視野を術者の興味がある領域ＲＯＩに限定するために、レンズ駆動部２１により行われたズーミングと、パニング・ステージ２０により行われたパニングの情報は、光学ズームおよびパニング情報（位置選択情報）としてデジタルズーム・パン部１４に出力される。

次に、蛍光の撮影について説明する。ＬＥＤ４、レンズ５、エキサイトフィルタ６により構成される励起光源から射出された励起光により、蛍光領域ＦＡが蛍光を発する。蛍光領域ＦＡから発された蛍光は、画像記録領域ＲＡ全体が撮影されるように視野が調整されたズームレンズ８Ｂを通過し、ダイクロイックミラー９Ｂにより反射され、エミッションフィルタ９およびレンズ８Ｃを通過して、２４Ｍピクセルカメラ７に入射し、撮影される。

以上により、２４Ｍピクセルカメラ７において、画像記録領域ＲＡ全体の蛍光画像が撮影される。撮影された蛍光画像は、欠陥補正・現像部１１に出力される。

上記の構成とすることにより、撮影される可視光画像と蛍光画像とで、同じ方向からの画像を撮影することが出来る。そのため、位置合わせ・画像合成部１７における位置合わせが容易となり、正確に２種類の画像の位置合わせを行い、重畳させることが出来る。
以上、第３の実施形態について説明した。

［補足事項］
その他、本技術は、上述の実施形態にのみ限定されるものではなく、本技術の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。

１ … 術野観察用ビデオカメラ
２ … 光学ズームレンズ
２Ｂ… 光学ズームレンズ
３ … 術野観察用モニタ
４ … ＬＥＤ
５ … レンズ
６ … エキサイトフィルタ
７ … ２４Ｍピクセルカメラ
８ … 光学ズームレンズ
８Ｂ… 光学ズームレンズ
８Ｃ… レンズ
９ … エミッションフィルタ
９Ｂ… ダイクロイックミラー
１０〜１０Ｄ … 画像処理装置
１１ … 欠陥補正・現像部
１１Ｂ … 欠陥補正部
１１Ｃ … 現像部
１２ … 画像圧縮部
１３ … 画像保存部
１４ … デジタルズーム・パン部
１５ … グラフィックボード
１６ … 蛍光画像観察用モニタ
１７ … 位置合わせ・画像合成部
２０ … パニング・ステージ
２１ … レンズ駆動部
３０ … 可視光ＬＥＤ
３１ … レンズ
３２ … 可視光フィルタ
１００〜１００Ｂ … 蛍光ナビゲーション・サージェリー・システム
２００〜２００Ｂ … 蛍光撮影システム
３００〜３００Ｂ … 可視光撮影システム
ＦＡ … 蛍光領域
ＲＡ … 画像記録領域
ＲＯＩ … 術者の興味がある領域
ＳＡ … 術野

Claims (8)

1. 生体の、観察すべき対象領域であって、蛍光試薬が予め投入された当該観察すべき対象領域に励起光を照射して得られる蛍光像を、第１の解像度により撮像した画像を当該観察すべき対象領域の蛍光画像として、記録媒体に保存する保存部と、
   前記蛍光画像の少なくとも一部の領域をユーザに選択させ、前記選択された領域をＲＯＩ領域の蛍光画像として切り出す切り出し部と、
   前記ＲＯＩ領域の蛍光画像を前記第１の解像度より低い第２の解像度により表示部に表示させる表示制御部と
   を具備する画像処理装置。
2. 請求項１に記載の画像処理装置であって、
   前記保存部は、
   前記観察すべき対象領域の蛍光画像をＲＡＷ画像データのまま保存する
   画像処理装置。
3. 生体の、観察すべき対象領域であって、蛍光試薬が予め投入された当該観察すべき対象領域に励起光を照射して得られる蛍光像を、第１の解像度により撮像した画像を当該観察すべき対象領域の蛍光画像として、記録媒体に保存し、
   前記蛍光画像の少なくとも一部の領域をユーザに選択させ、前記選択された領域をＲＯＩ領域の蛍光画像として切り出し、
   前記ＲＯＩ領域の蛍光画像を前記第１の解像度より低い第２の解像度により表示部に表示させる
   画像処理方法。
4. 生体の、観察すべき対象領域であって、蛍光試薬が予め投入された当該観察すべき対象領域に励起光を照射して得られる蛍光像を、第１の解像度により撮像した画像を当該観察すべき対象領域の蛍光画像として、記録媒体に保存する保存部、
   前記蛍光画像の少なくとも一部の領域をユーザに選択させ、前記選択された領域をＲＯＩ領域の蛍光画像として切り出す切り出し部、および
   前記ＲＯＩ領域の蛍光画像を前記第１の解像度より低い第２の解像度により表示部に表示させる表示制御部
   としてコンピュータを機能させるための情報処理プログラム。
5. 生体の、観察すべき対象領域であって、蛍光試薬が予め投入された当該対象領域に励起光を照射する励起光源と、
   前記観察すべき対象領域から発せられた蛍光像を、前記観察すべき対象領域の蛍光画像として、第１の解像度により撮像する撮像部と、
   前記観察すべき対象領域の蛍光画像を記録媒体に保存する保存部と、
   前記蛍光画像の少なくとも一部の領域をユーザに選択させ、前記選択された領域をＲＯＩ領域の蛍光画像として切り出す切り出し部と、
   前記ＲＯＩ領域の蛍光画像を前記第１の解像度より低い第２の解像度により表示する表示部と
   を具備する蛍光観察システム。
6. 生体の、観察すべき対象領域であって、蛍光試薬が予め投入された当該対象領域に励起光を照射する励起光源と、
   前記観察すべき対象領域から発せられた蛍光像を、前記観察すべき対象領域の蛍光画像として、第１の解像度により撮像する蛍光撮像部と、
   前記観察すべき対象領域の蛍光画像を記録媒体に保存する保存部と、
   前記蛍光画像の少なくとも一部の領域をユーザに選択させ、前記選択された領域をＲＯＩ領域の蛍光画像として切り出す切り出し部と、
   前記ＲＯＩ領域の蛍光画像を前記第１の解像度より低い第２の解像度により表示する蛍光画像表示部と、
   前記観察すべき対象領域の少なくとも一部の領域をユーザに選択させ、選択された領域を、可視光画像として撮像する可視光撮像部と、
   前記可視光画像を表示する可視光画像表示部と
   を具備する蛍光ナビゲーション・サージェリー・システム。
7. 生体の、観察すべき対象領域であって、蛍光試薬が予め投入された当該対象領域に励起光を照射する励起光源と、
   前記観察すべき対象領域から発せられた蛍光像を、前記観察すべき対象領域の蛍光画像として、第１の解像度により撮像する蛍光撮像部と、
   前記観察すべき対象領域の蛍光画像を記録媒体に保存する保存部と、
   ユーザが入力した位置選択情報に基づき、前記観察すべき対象領域の少なくとも一部の領域をＲＯＩ領域として選択し、当該ＲＯＩ領域の可視光画像を撮像する可視光撮像部と、
   前記位置選択情報に基づき、前記観察すべき対象領域の蛍光画像から、前記ＲＯＩ領域の蛍光画像を切り出す切り出し部と、
   前記可視光画像と前記切り出した蛍光画像との位置を合わせ重畳して重畳画像を生成する重畳部と、
   前記重畳画像を前記第１の解像度より低い第２の解像度により表示する重畳画像表示部と
   を具備する蛍光ナビゲーション・サージェリー・システム。
8. 生体の、観察すべき対象領域であって、蛍光試薬が予め投入された当該対象領域に励起光を照射する励起光源と、
   前記観察すべき対象領域から発せられた蛍光像を、前記観察すべき対象領域の蛍光画像として、第１の解像度により撮像する蛍光撮像部と、
   前記観察すべき対象領域の蛍光画像を記録媒体に保存する保存部と、
   前記観察すべき対象領域の少なくとも一部の領域をユーザに選択させ、前記選択された領域をＲＯＩ領域として、当該ＲＯＩ領域の可視光画像を撮像する可視光撮像部と、
   前記可視光画像に含まれるエッジ情報に基づき、前記観察すべき対象領域の蛍光画像から、前記ＲＯＩ領域の蛍光画像を切り出す切り出し部と、
   前記可視光画像と前記切り出した蛍光画像との位置を合わせ重畳して重畳画像を生成する重畳部と、
   前記重畳画像を前記第１の解像度より低い第２の解像度により表示する重畳画像表示部と
   を具備する蛍光ナビゲーション・サージェリー・システム。

Images