JP6745508B2 - 画像処理システム、画像処理装置、投影装置、及び投影方法 - Google Patents

Description

本発明は、画像処理システム、画像処理装置、投影装置、及び投影方法に関する。

医療などの分野において、組織上に画像を投影する技術が提案されている（例えば、下記の特許文献１参照）。例えば、特許文献１に係る装置は、赤外線を身体組織に照射し、身体組織で反射した赤外線に基づいて皮下血管の映像を取得する。この装置は、皮下血管の可視光像を身体組織の表面に投影する。これにより、医師や看護師は、目視で見えにくい血管であっても注射を穿刺する部分の血管を可視的に確認し、両手操作で注射をすることができるようになる。

特開２００６−１０２３６０号公報

しかしながら、例えば特許文献１のように特定の部位の映像を単に身体組織に投影するのみの技術では、手術や病理検査等におけるユーザ（例、医師や検査技師）に対する支援技術としては十分ではない場合がある。

第１の実施形態によれば、生物組織に赤外光を照射する赤外光照射装置と、赤外光が照射されている生物組織から放射される検出光を検出する光検出部と、光検出部の検出結果を用いて生成された生物組織の画像を表示する表示装置と、生物組織に第一光を照射する投影装置と、生物組織の画像を表示する表示装置に対する入力に基づいて、生物組織に対して入力の内容を反映するように投影装置による第一光の照射を制御する制御装置と、を備える画像処理システムが提供される。

また、第２の実施形態によれば、生物組織に赤外光を照射する赤外光照射装置と、赤外光が照射されている生物組織から放射される検出光を検出する光検出部と、光検出の検出結果を用いて生成された生物組織の画像を表示する表示装置と、生物組織に光を照射する投影装置と、光検出部の検出結果を解析して生物組織の患部を特定し、患部の情報と生物組織の画像とを重ねて表示装置に表示させるとともに、投影装置による生物組織に対する患部の情報の照射を制御する制御装置と、を備える画像処理システムが提供される。

第３の実施形態によれば、赤外光が照射される生物組織から放射される検出光を検出する光検出部による検出結果を用いて生物組織の画像を生成し、当該生成された画像を表示するように表示装置に送信する制御部を備え、制御部は、生物組織の画像を表示する表示装置に対する入力に基づいて、生物組織に対して入力の内容を反映するように生物組織に光を照射する投影部による照射を制御する、画像処理装置が提供される。

第４の実施形態によれば、赤外光が照射される生物組織から放射される検出光を検出する光検出部による検出結果を用いて生物組織の画像を生成し、当該生成された画像を表示するように表示装置に送信する制御部を備え、制御部は、光検出部の検出結果を解析して生物組織の患部を特定し、患部の情報と生物組織の画像とを重ねて表示装置に表示させるとともに、生物組織に光を照射する投影部による生物組織に対する患部の情報の照射を制御する、画像処理装置が提供される。

第５の実施形態によれば、生物組織に赤外光を照射することと、赤外光が照射されている生物組織から放射される検出光を検出することと、検出光の検出結果を用いて生物組織の画像を生成することと、生物組織の画像を表示装置に表示することと、生物組織の画像を表示する表示装置に対する入力に基づいて、生物組織に対して入力の内容を反映するように投影装置による光の照射を制御することと、を含む、投影方法が提供される。

第６の実施形態によれば、生物組織に赤外光を照射することと、赤外光が照射されている生物組織から放射される検出光を検出することと、検出光の検出結果を用いて生物組織の画像を生成することと、生物組織の画像を表示装置に表示することと、検出結果を解析して生物組織の患部を特定し、患部の情報と生物組織の画像とを重ねて表示装置に表示させることと、生物組織に光を照射する投影装置による生物組織に対する患部の情報の照射を制御することと、を含む、投影方法が提供される。

第７の実施形態によれば、生物組織に第一光を照射する投影部と、赤外光が照射される生物組織から放射される検出光を検出する光検出部による検出結果を用いて生成された生物組織の画像を表示する表示装置に対する入力に基づいて、生物組織に対して入力の内容を反映するように投影部による第一光の照射を制御する制御部と、を備える投影装置が提供される。

第８の実施形態によれば、生物組織に光を照射する投影部と、赤外光が照射される生物組織から放射される検出光を検出する光検出部による検出結果を解析して生物組織の患部を特定し、患部の情報と生物組織の画像とを重ねて表示装置に表示させるとともに、投影部による生物組織に対する患部の情報の照射を制御する制御部と、を備える投影装置が提供される。

本実施形態による画像処理システム１の概略構成例を示す図である。 本実施形態による画像の画素配列の一例を示す図である。 本実施形態による近赤外波長領域における吸光度の分布の一例を示す図である。 本実施形態による機能１における処理内容を説明するためのフローチャートである。 本実施形態による機能２の動作概要を説明するための図である。 本実施形態による機能２における処理内容を説明するためのフローチャートである。 本実施形態による機能３の動作概要を説明するための図である。 本実施形態による機能３における処理内容を説明するためのフローチャートである。 本実施形態による機能４の動作概要を説明するための図である。 本実施形態による機能４における処理内容を説明するためのフローチャートである。 本実施形態による機能５を説明するための図であり、手術室で使用される場合の画像処理システム１の概略構成例を示す図である。 本実施形態による手術室で使用される場合の画像処理システム１の概略構成例を示す図である。 本実施形態による機能６の動作概要を説明するための図である。 本実施形態による液晶シャッタメガネ８１の液晶シャッタの開閉の切り替えタイミングと、手術用無影灯７１の点灯タイミングと、ガイド光照射（投影）のタイミングを示すタイミングチャートである。 本実施形態の変形例による照射部２の構成を示す図である。 本実施形態の変形例による光検出部３の構成を示す図である。 本実施形態の変形例による投影部５の構成を示す図である。 本実施形態の変形例による画像処理システム１の構成を示す図である。 本実施形態の変形例による照射部２および投影部５の動作の一例を示すタイミングチャートである。 本実施形態の、組織ＢＴを蛍光観察する機能を有する画像処理システム１の概略構成例を示す図である。 本実施形態の、マルチモダリティー画像を処理する機能を有する画像処理システム１の概略構成例を示す図である。

以下、添付図面を参照して本実施形態について説明する。添付図面では、機能的に同じ要素は同じ番号で表示される場合もある。なお、添付図面は本発明の原理に則った実施形態と実装例を示しているが、これらは本発明の理解のためのものであり、決して本発明を限定的に解釈するために用いられるものではない。本明細書の記述は典型的な例示に過ぎず、本発明の特許請求の範囲又は適用例を如何なる意味においても限定するものではない。

本実施形態では、当業者が本発明を実施するのに十分詳細にその説明がなされているが、他の実装・形態も可能で、本発明の技術的思想の範囲と精神を逸脱することなく構成・構造の変更や多様な要素の置き換えが可能であることを理解する必要がある。従って、以降の記述をこれに限定して解釈してはならない。

更に、本実施形態は、後述されるように、汎用コンピュータ上で稼動するソフトウェアで実装しても良いし専用ハードウェア又はソフトウェアとハードウェアの組み合わせで実装しても良い。

＜画像処理システムの構成＞
図１は、本実施形態による画像処理システム（医療支援システム、或いは投影システムとも称することも可能である。）の構成を示す図である。画像処理システム１は、生物（例えば、動物など）の組織（被照射体）ＢＴ（例えば、臓器：図１には組織ＢＴの例として臓器が示されている）に赤外光（以下、本明細書では、「赤外光」と称した場合には「近赤外光」をも含む概念とする）を照射し、組織ＢＴから放射される光を検出し、その検出結果を使って組織ＢＴに関する情報（例、画像）を表示装置の画面に表示する。例えば、画像処理システム１は、組織ＢＴに関する画像を組織ＢＴ上に直接投影する機能を有している。生物の組織ＢＴから放射される光は、例えば、赤外光（例、波長帯が８００ｎｍから２４００ｎｍなどの光）を組織ＢＴに照射して得られる光（例、赤外光）、や蛍光色素などの発光物質でラベル化された組織ＢＴに励起光を照射して発光される蛍光、などを含む。なお、投影する組織ＢＴに関する情報（例、画像）は組織ＢＴ上に２つ以上あっても良い。

画像処理システム１は、例えば外科的手術の開腹手術に利用することができる。例えば、本実施形態における画像処理システム１は、手術支援用画像処理システム又は医用画像処理システムである。画像処理システム１は、赤外光を照射して撮影された画像を表示装置に表示する、或いは、光（例、可視光、赤外光）を照射して得られた撮影画像と赤外光を用いて解析された患部の情報とを表示装置の画面上に表示すると共に、当該患部の情報を組織ＢＴの患部の上に直接的又は間接的に投影する。画像処理システム１は、組織ＢＴに関する画像として、組織ＢＴの成分を示す画像を表示可能である。画像処理システム１は、組織ＢＴに関する画像として、組織ＢＴのうち特定の成分を含む領域を強調した画像を表示可能である。このような画像は、例えば、組織ＢＴにおける脂質の分布、水分の分布などを示す画像である。画像処理システム１は、患部に関する画像を患部の少なくとも一部に重ねて表示することも可能であり、手術者は、画像処理システム１によって患部に表示された情報を直接的に見ながら手術等を行うことができる。手術者は、表示装置の画面上に表示された組織ＢＴの撮影画像、或いは患部の情報が合成された合成画像を見ながら手術を行うこともできる。なお、画像処理システム１の操作者（オペレータ：単に「ユーザ」と言うことも可能である）は、手術者（オペレータ）と同じ人でもよいし、別の人（サポート担当者や監療従事者など）でもよい。

画像処理システム１は、一例として、照射部（赤外光照射装置）２と、光検出部３と、投影部（投影装置、情報照射部）５と、制御装置６と、表示装置３１と、入力装置３２と、を備えている。制御装置（画像処理装置）６は、ＣＰＵ（プロセッサ）やコンピュータで構成され、画像生成部４を含む制御部、及び記憶部１４を備えるとともに、画像処理システム１の各部の動作を制御する。以下、各部の動作概略及び構成について説明する。

（i）照射部２
照射部２は、生物の組織ＢＴに検出光Ｌ１を照射する。照射部２は、一例として、赤外光を射出する光源１０を備える。光源１０は、例えば赤外ＬＥＤ（赤外発光ダイオード）を含み、検出光Ｌ１として赤外光を射出する。光源１０は、レーザー光源と比較して、波長帯が広い赤外光を射出する。光源１０は、一例として、第１波長、第２波長、及び第３波長を含む波長帯の赤外光を射出する。各波長帯の赤外光の射出は、例えば制御装置６によって制御される。第１波長、第２波長、および第３波長については後述するが、組織ＢＴにおける特定の成分の情報を算出するのに使われる波長である。光源１０は、ＬＥＤ以外の固体光源を含んでいてもよいし、ハロゲンランプなどのランプ光源を含んでいてもよい。

光源１０は、例えば、検出光が照射される領域（検出光の照射領域）が移動しないように固定される。組織ＢＴは、検出光の照射領域に配置される。例えば、光源１０と組織ＢＴとは、相対位置が変化しないように配置される。本実施形態において、光源１０は、光検出部３から独立して支持され、投影部５から独立して支持される。光源１０は、光検出部および投影部５の少なくとも一方と一体的に固定されていてもよい。

（ii）光検出部３
光検出部３は、検出光Ｌ１が照射されている組織ＢＴから放射される光（放射光、検出光）を検出する。組織ＢＴを経由した光は、組織ＢＴで反射した光、組織ＢＴを透過した光、及び組織ＢＴで散乱した光の少なくとも一部を含む。本実施形態において、光検出部３は、一例として、組織ＢＴで反射、散乱した赤外光を検出する赤外光センサーである。光検出部３は、赤外光以外の光を検出するセンサーであっても良い。

本実施形態において、光検出部３は、一例として、第１波長の赤外光と、第２波長の赤外光と、第３波長の赤外光とを分離して検出する。光検出部３は、一例として、撮影光学系（検出光学系）１１と、赤外フィルター１２と、イメージセンサー１３と、を備える。

撮影光学系１１は、一例として、１または２以上の光学素子（例、レンズ）、を含み、検出光Ｌ１が照射されている組織ＢＴの像（撮影画像）を形成することができる。赤外フィルター１２は、一例として、撮影光学系１１を通った光のうち所定の波長帯の赤外光を通すとともに、所定の波長帯以外の赤外光を遮断する。イメージセンサー１３は、一例として、組織ＢＴから放射された赤外光の少なくとも一部を、撮影光学系１１および赤外フィルター１２を介して検出する。

イメージセンサー１３は、例えばＣＭＯＳセンサーあるいはＣＣＤセンサーのように、二次元的に配列された複数の受光要素（受光素子）を有する。この受光要素は、画素あるいはサブ画素と呼ばれることがある。イメージセンサー１３は、一例として、フォトダイオード、読出回路、Ａ／Ｄ変換器などを備える。フォトダイオードは、受光要素ごとに設けられ、受光要素に入射した赤外光により電荷が発生する光電変換素子である。読出回路は、フォトダイオードに蓄積された電荷を受光要素ごとに読み出し、電荷量を示すアナログ信号を出力する。Ａ／Ｄ変換器は、読出回路によって読み出されたアナログ信号をデジタル信号に変換する。なお、イメージセンサー１３としては、赤外光のみを検出する受光要素を有するものであっても良いし、赤外光だけでなく可視光をも検出することができる受光要素を有するものであっても良い。前者の場合には組織ＢＴ全体の撮影画像としては赤外画像として表示装置３１に表示され、後者の場合には組織ＢＴ全体の撮影画像としては可視画像及び赤外画像の何れか１つ（操作者によって選択可能としても良い）が表示装置３１に表示される。

赤外フィルター１２は、一例として、第１フィルターと、第２フィルターと、第３フィルターと、を備える。第１フィルター、第２フィルター、及び第３フィルターは、透過する赤外光の波長が互いに異なる。第１フィルターは、第１波長の赤外光を通すとともに第２波長および第３波長の赤外光を遮断する。第２フィルターは、第２波長の赤外光を通すとともに第１波長および第３波長の赤外光を遮断する。第３フィルターは、第３波長の赤外光を通すとともに第１波長および第２波長の赤外光を遮断する。

第１フィルター、第２フィルター、及び第３フィルターは、各受光要素に入射する赤外光が第１フィルターと第２フィルターと第３フィルターとのいずれか１つを通るように、受光要素の配列に応じて配置されている。例えば、第１フィルターを通った第１波長の赤外光は、イメージセンサー１３の第１受光要素に入射する。第２フィルターを通った第２波長の赤外光は、第１受光要素の隣の第２受光要素に入射する。第３フィルターを通った第３波長の赤外光は、第２受光要素の隣の第３受光要素に入射する。このように、イメージセンサー１３は、隣り合う３つの受光要素によって、組織ＢＴ上の一部分から放射された第１波長の赤外光、第２波長の赤外光、及び第３波長の赤外光の光強度を検出する。

本実施形態において、光検出部３は、イメージセンサー１３による検出結果を、画像形式のデジタル信号（以下、撮影画像データという）で出力する。以下の説明において、イメージセンサー１３が撮影した画像を、適宜、撮影画像という。撮影画像のデータを撮影画像データという。ここでは、説明の便宜上、撮影画像がフルスペックハイビジョン形式（ＨＤ形式）であるものとするが、撮影画像の画素数、画素配列（アスペク卜比）、画素値の階調などについて限定はない。

図２は、画像の画素配列の例を示す概念図である。ＨＤ形式の画像において、水平走査方向には１９２０個の画素が並び、垂直走査方向には１０８０個の画素が並ぶ。水平走査方向に一列に並ぶ複数の画素は、水平走査線と呼ばれることがある。各画素の画素値は、例えば８ビットのデータで表され、十進数では０から２５５の２５６階調で表される。

上述のように、イメージセンサー１３の各受光要素が検出する赤外光の波長は、受光要素の位置によって定まっていることから、撮影画像データの各画素値は、イメージセンサー１３が検出した赤外光の波長と関連付けられる。ここで、撮影画像データ上の画素の位置を（ｉ，ｊ）で表し、（ｉ，ｊ）に配置されている画素をＰ（ｉ，ｊ）で表す。ｉは、水平走査方向の一端の画素を０とし、他端へ向かう順に１、２、３と昇順する画素の番号である。ｊは、垂直走査方向の一端の画素を０とし、他端へ向かう順に１、２、３と昇順する画素の番号である。ＨＤ形式の画像において、ｉは０から１９１９までの正の整数をとり、ｊは０から１０７９までの正の整数をとる。

第１波長の赤外光を検出するイメージセンサー１３の受光要素に対応する第１画素は、例えば、正の整数Ｎに対してｉ＝３Ｎを満たす画素群である。第２波長の赤外光を検出する受光要素に対応する第２画素は、例えば、ｉ＝３Ｎ＋１を満たす画素群である。第３波長の赤外光を検出する受光要素に対応する第３画素は、ｉ＝３Ｎ＋２を満たす画素群である。

（iii）制御装置６
制御装置６は、例えば、光検出部３による撮影処理の条件を設定する。制御装置６は、例えば、撮影光学系１１に設けられる絞りの開口率を制御する。制御装置６は、例えば、イメージセンサー１３に対する露光が開始するタイミング、及び露光が終了するタイミングを制御する。このように、制御装置６は、光検出部３を制御して、検出光Ｌ１が照射されている組織ＢＴを撮影させる。制御装置６は、例えば、光検出部３による撮影結果を示す撮影画像データを、光検出部３から取得するデータ取得部（データ受信部と称しても良い）を備える。制御装置６は、記憶部１４を備え、撮影画像データを記憶部１４に記憶させる。記憶部１４は、撮影画像データの他に、画像生成部４が生成したデータ（投影画像データ）、画像処理システム１の設定を示すデータなど各種情報を記憶する。

制御装置６内に設けられた画像生成部４は、データ取得部によって取得された光検出部３の検出結果を使って、組織ＢＴに関する画像のデータを生成する。組織ＢＴに関する画像のデータには、例えば、組織ＢＴの全体についての撮影画像のデータ、及び患部に対応する成分画像（例えば、水分量が多い箇所の画像）のデータが含まれる。組織ＢＴ上に投影される投影画像は、後述するように、制御部の画像生成部４が光検出部３の検出結果を演算処理することによって生成される。

画像生成部４は、一例として、算出部１５と、データ生成部１６と、を備える。算出部１５は、光検出部３が検出した光（例、赤外光や蛍光など）の波長に対する光強度の分布を使って、組織ＢＴの成分に関する情報を算出する。ここで、組織ＢＴの成分に関する情報を算出する方法を説明する。図３は、近赤外波長領域における第１物質の吸光度の分布Ｄ１、及び第２物質の吸光度の分布Ｄ２を示すグラフである。図３において、例えば、第１物質は脂質であり、第２物質は水である。図３のグラフの縦軸は吸光度であり、横軸は波長［ｎｍ］である。

第１波長λ１は、任意の波長に設定可能であるが、例えば、近赤外波長領域における第１物質（脂質）の吸光度の分布のうち相対的に吸光度が小さく、かつ、近赤外波長領域における第２物質（水）の吸光度の分布のうち相対的に吸光度が小さい波長に設定される。第１波長λ１の赤外光は、脂質に吸収されるエネルギーが少なく、脂質から放射される光強度が強い。また、第１波長λ１の赤外光は、水に吸収されるエネルギーが少なく、水から放射される光強度が強い。

第２波長λ２は、第１波長λ１と異なる任意の波長に設定可能である。第２波長λ２は、例えば、第１物質（脂質）の吸光度が第２物質（水）の吸光度よりも高い波長に設定される。第２波長λ２の赤外光は、物体（例、組織）に照射された際に、この物体に含まれる水に対する脂質の割合が大きいほど、物体に吸収されるエネルギーが多く、この物体から放射される光強度が弱くなる。例えば、組織の第１部分に含まれる脂質の割合が水より大きい場合、第２波長λ２の赤外光は、組織の第１部分に吸収されるエネルギーが多く、この第１部分から放射される光強度が弱くなる。また、例えば、組織の第２部分に含まれる脂質の割合が水より小さい場合、第２波長λ２の赤外光は、組織の第２部分に吸収されるエネルギーが少なく、この第２部分から放射される光強度が第１部分と比べて強くなる。

第３波長λ３は、第１波長λ１と第２波長λ２のいずれとも異なる任意の波長に設定可能である。第３波長λ３は、例えば、第２物質（水）の吸光度が第１物質（脂質）の吸光度よりも高い波長に設定される。第３波長λ３の赤外光は、物体に照射された際に、この物体に含まれる脂質に対する水の割合が大きいほど、物体に吸収されるエネルギーが多く、この物体から放射される光強度が弱くなる。上述の第２波長λ２の場合と反対に、例えば、例えば、組織の第１部分に含まれる脂質の割合が水より大きい場合、第３波長λ３の赤外光は、組織の第１部分に吸収されるエネルギーが少なく、この第１部分から放射される光強度が強くなる。例えば、組織の第２部分に含まれる脂質の割合が水より小さい場合、第３波長λ３の赤外光は、組織の第２部分に吸収されるエネルギーが多く、この第２部分から放射される光強度が第１部分と比べて弱くなる。

算出部１５は、光検出部３から出力された撮影画像データを使って、組織ＢＴの成分に関する情報を算出する。本実施形態において、イメージセンサー１３の各受光要素が検出する赤外光の波長は、各受光要素と赤外フィルター１２（第１から第３フィルター）との位置関係によって定まる。算出部１５は、撮影画素（図２参照）のうち、第１波長の赤外光を検出した受光要素の出力に対応する画素値Ｐ１と、第２波長の赤外光を検出した受光要素の出力に対応する画素値Ｐ２と、第３波長の赤外光を検出した受光要素の出力に対応する画素値Ｐ３とを使って、組織ＢＴに含まれる脂質の分布および水分の分布を算出する。

ここで、図２の画素Ｐ（ｉ，ｊ）は、イメージセンサー１３において第１波長λ１の赤外光を検出する受光要素に対応する画素（画素値Ｐ１）とする。また、画素Ｐ（ｉ＋１，ｊ）は、第２波長λ２の赤外光を検出する受光要素に対応する画素（画素値Ｐ２）とする。画素Ｐ（ｉ＋２，ｊ）は、イメージセンサー１３において第３波長λ３の赤外光を検出する受光要素に対応する画素（画素値Ｐ３）とする。

算出部１５は、これら画素値を使って、指標Ｑ（ｉ，ｊ）を算出する。

例えば、算出される指標Ｑは、組織ＢＴのうち画素Ｐ（ｉ，ｊ）、画素Ｐ（ｉ＋１，ｊ）、画素Ｐ（ｉ＋２，ｊ）により撮影された部分において、脂質の量と水の量との比率を示す指標である。例えば、指標Ｑ（ｉ，ｊ）が大きいことは脂質の量が多いことを示し、指標Ｑ（ｉ，ｊ）が小さいことは水の量が多いことを示す。

このように算出部１５は、画素Ｐ（ｉ，ｊ）における指標Ｑ（ｉ，ｊ）を算出する。算出部１５は、ｉ、ｊの値を変化させながら、他の画素における指標を算出し、指標の分布を算出する。例えば、画素Ｐ（ｉ＋３，ｊ）は、画素Ｐ（ｉ，ｊ）と同様に、イメージセンサー１３において第１波長の赤外光を検出する受光要素に対応するので、算出部１５は、画素Ｐ（ｉ，ｊ）の画素値の代わりに画素Ｐ（ｉ＋３，ｊ）の画素値を使って、他の画素における指標を算出する。例えば、算出部１５は、第１波長の赤外光の検出結果に相当する画素Ｐ（ｉ＋３，ｊ）の画素値、第２波長の赤外光の検出結果に相当する画素Ｐ（ｉ＋４，ｊ）の画素値、及び第３波長の赤外光の検出結果に相当する画素Ｐ（ｉ＋５，ｊ）の画素値を使って、指標Ｑ（ｉ＋１，j ）を算出する。

そして、算出部１５は、複数の画素に関して、各画素の指標Ｑ（ｉ，ｊ）を算出することにより、指標の分布を算出する。算出部１５は、指標Ｑ（ｉ，ｊ）の算出に必要とされる画素値が撮影画素データに含まれる範囲において、全ての画素に関する指標Ｑ（ｉ，ｊ）を算出してもよい。算出部１５は、一部の画素に関する指標Ｑ（ｉ，ｊ）を算出し、算出した指標Ｑ（ｉ，ｊ）を使って補間演算をすることにより指標Ｑ（ｉ，ｊ）の分布を算出してもよい。

なお、算出部１５が算出した指標Ｑ（ｉ，ｊ）は、一般的に正の整数にならない。そこで、図１のデータ生成部１６は、適宜、数値の丸めを行って、指標Ｑ（ｉ，ｊ）を所定の画像形式のデータに変換する。例えば、データ生成部１６は、算出部１５が算出した結果を使って、組織ＢＴの成分に関する画像のデータを生成する。以下の説明において、組織ＢＴの成分に関する画像を、適宜、成分画像（又は投影画像）という。成分画像のデータを成分画像データ（又は投影画像データ）という。

ここでは、説明の便宜上、成分画像は、図２に示したようなＨＤ形式の成分画像であるものとするが、成分画像の画素数、画素配列（アスペクト比）、画素値の階調などについて限定はない。成分画像は、撮影画像と同じ画像形式であってもよいし。撮影画像と異なる画像形式であってもよい。データ生成部１６は、撮影画像と異なる画像形式の成分画像のデータを生成する場合に、適宜、補間処理を行う。

データ生成部１６は、成分画像の画素Ｐ（ｉ，ｊ）の画素値として、指標Ｑ（ｉ，ｊ）を例えば８ビット（２５６階調）のデジタルデータに変換した値を算出する。例えば、データ生成部１６は、画素値の１階調に相当する指標を変換定数として、指標Ｑ（ｉ，ｊ）を変換定数で除算し、その除算値の小数点以下を四捨五入することによって、指標Ｑ（ｉ，ｊ）を画素Ｐ（ｉ，ｊ）の画素値に変換する。この場合に、画素値は、指標と概ね線形な関係を溝たすように算出される。

上述のように、撮影画像の３つの画素の画素値を使って１つの画素に関する指標を算出すると、撮影画像の端の画素に関する指標を算出するのに必要な画素が不足する場合がある。その結果、成分画像の端の画素の画素値を算出するのに必要な指標が不足する。このように、成分画像の画素の画素値を算出するのに必要な指標が不足する場合に、データ生成部１６は、補間などにより成分画像の画素の画素値を算出してもよい。このような場合に、データ生成部１６は、指標の不足により算出できない成分画像の画素の画素値を、予め定められた値（例えば、０）にしてもよい。

なお、指標Ｑ（ｉ，ｊ）を画素値に変換する方法は、適宜変更できる。例えば、データ生成部１６は、画素値と指標とが非線形な関係になるように、成分画像データを算出してもよい。データ生成部１６は、撮影画像の画素Ｐ（ｉ，ｊ）の画素値、画素Ｐ（ｉ＋１，ｊ）の画素値、及び画素Ｐ（ｉ＋２，ｊ）の画素値を使って算出した指標を画素値に換算した値を、画素Ｐ（ｉ＋１，ｊ）の画素値としてもよい。

データ生成部１６は、指標Ｑ（ｉ，ｊ）の値が所定の範囲の下限値未満である場合に、指標Ｑ（ｉ，ｊ）に対する画素値を一定値にしてもよい。この一定値は、画素値の最小階調（例えば、０）であってもよい。指標Ｑ（ｉ，ｊ）の値が所定の範囲の上限値を超える場合に指標Ｑ（ｉ，ｊ）に対する画素値を一定値にしてもよい。この一定値は、画素値の最大階調（例えば、２５５）であってもよいし、画素値の最小階調（例えば、０）であってもよい。

算出される指標Ｑ（ｉ，ｊ）は、脂質の量が多い部位であるほど大きくなることから、画素Ｐ（ｉ，ｊ）の画素値は、脂質の量が多い部位であるほど大きくなる。例えば、画素値が大きいことは、一般的に画素が明るく表示されることに対応することから、脂質の量が多い部位であるほど明るく強調されて表示されることになる。

一方、水の量が多い部位を明るく表示したいというオペレータの要望もありえる。そこで、画像処理システム１は、一例として、第１物質（脂質）の量に関する情報を明るく強調して表示する第１モードと、第２物質（水）の量に関する情報を明るく強調して表示する第２モードとを有する。画像処理システム１が第１モードと第２モードのいずれのモードに設定されているかを示す設定情報は、記憶部１４に記憶されている。

モードが第１モードに設定されている場合に、データ生成部１６は、指標Ｑ（ｉ，ｊ）を画素Ｐ（ｉ，ｊ）の画素値に変換した第１の成分画像データを生成する。指標Ｑ（ｉ，ｊ）の逆数を画素Ｐ（ｉ，ｊ）の画素値に変換した第２の成分画像データを生成する。組織において水の量が多いほど、指標Ｑ（ｉ，ｊ）の値が小さくなり、指標Ｑ（ｉ，ｊ）の逆数の値が大きくなる。そのため、第２の成分画像データにおいて、水の量が多い部位に対応する画素の画素値（階調）が高くなる。

なお、モードが第２モードに設定されている場合に、一例として、データ生成部１６は、指標Ｑ（ｉ，ｊ）から換算された画素値を所定の階調から差し引いた差分値を、画素Ｐ（ｉ，ｊ）の画素値として算出してもよい。例えば、指標Ｑ（ｉ，ｊ）から換算された画素債が５０である場合に、データ生成部１６は、画素値の最大階調（例えば、２５５）から５０を差し引いた２０５を、画素Ｐ（ｉ，ｊ）の画素値として算出してもよい。

そして、画像生成部４は、生成した成分画像データを記憶部１４に記憶する。制御装置６は、画像生成部４が生成した成分画像データを投影部５に供給し、組織ＢＴの特定部分（例、上記の第１部分や第２部分など）を強調させるために投影部５に成分画像を組織ＢＴ上に投影させる。制御装置６は、投影部５が成分画像を投影するタイミングを制御する。制御装置６は、投影部５が投影する成分画像の明るさを制御する。制御装置６は、投影部５に画像の投影を停止させることができる。制御装置６は、組織ＢＴの特定部分を強調させるために、成分画像が組織ＢＴ上で点滅して表示されるように、成分画像の投影の開始と停止とを制御できる。

（iv）投影部５
投影部５は、このデータに基づいて組織ＢＴを可視光Ｌ２で走査する投影光学系７を含み、可視光Ｌ２の走査によって組織ＢＴ上に画像（投影画像）を投影する。投影部５は、投影装置として独立した装置で構成しても良い。

投影部５は、例えば、組織ＢＴ上に光（例、第一光、投影光）を走査させる走査投影式であって、一例として、光源２０と、投影光学系（照射光学系）７と、投影部コントローラ２１と、を備える。例えば、光源２０は、検出光Ｌ１とは異なる所定波長の可視光を射出する。光源２０は、レーザーダイオードを含み、可視光としてレーザー光を射出する。光源２０は、外部から供給される電流に応じた光強度のレーザー光を射出する。なお、例えば、投影部５は、第一光（例、可視光、赤外光）の照射によって組織ＢＴ上に画像や図形等の組織ＢＴに関する情報を投影し、第一光を照射させながら第一光とは別の第二光（例、可視光、赤外光）によって別の組織ＢＴに関する情報（例、画像や図形等）を組織ＢＴ上に投影するようにしても良い。また、例えば、投影部５は、第一波長の第一光（例、可視光、赤外光）の照射によって組織ＢＴ上に組織ＢＴに関する情報を投影し、第一光を照射させながら第一光とは別の第二波長の第二光によって別の組織ＢＴに関する情報（例、画像や図形等）を組織ＢＴ上に投影するようにしても良い。

投影光学系７は、光源２０から射出されたレーザー光を組織ＢＴ上に導くとともに、このレーザー光で組織ＢＴを走査する。投影光学系７は、一例として、走査部２２と、波長選択ミラー２３を備える。走査部２２は、光源２０から射出されたレーザー光を２方向において偏向可能である。例えば、走査部２２は、反射系の光学系である。走査部２２は、第１走査ミラー２４と、第１走査ミラー２４を駆動する第１駆動部２５と、第２走査ミラー２６と、第２走査ミラー２６を駆動する第２駆動部２７と、を備える。例えば、第１走査ミラー２４及び第２走査ミラー２６のそれぞれは、ガルバノミラー、ＭＥＭＳミラー、又はポリゴンミラー等である。

第１走査ミラー２４および第１駆動部２５は、例えば、光源２０から射出されたレーザー光を水平走査方向において偏向させる水平走査部である。第１走査ミラー２４は、光源２０から射出されたレーザー光が入射する位置に配置されている。第１駆動部２５は、投影部コントローラ２１に制御されて、投影部コントローラ２１から受信する駆動信号に基づいて第１走査ミラー２４を回動する。光源２０から射出されたレーザー光は、第１走査ミラー２４で反射し、第１走査ミラー２４の角度位置に応じた方向に偏向する。第１走査ミラー２４は、光源２０から射出されるレーザー光の光路に配置される。

第２走査ミラー２６および第２駆動部２７は、例えば、光源２０から射出されたレーザー光を垂直走査方向において偏向させる垂直走査部である。第２走査ミラー２６は、第１走査ミラー２４で反射したレーザー光が入射する位置に配置されている。第２駆動部２７は、投影部コントローラ２１に制御されて、投影部コントローラ２１から受信する駆動信号に基づいて第２走査ミラー２６を回動する。第１走査ミラー２４で反射したレーザー光は、第２走査ミラー２６で反射し、第２走査ミラー２６の角度位置に応じた方向に偏向する。第２走査ミラー２６は、光源２０から射出されるレーザー光の光路に配置される。

水平走査部および垂直走査部のそれぞれは、例えばガルバノスキャナー等である。垂直走査部は、水平走査部と同様の構成であってもよいし、異なる構成であってもよい。例えば、本実施形態における走査部を用いた走査方法は、水平走査と垂直走査とを組み合わせて画面領域全体を走査するラスタースキャン方式でも良いし、必要な線描だけを行うベクタスキャン方式でも良い。ラスタースキャン方式では、水平方向走査は垂直方向の走査よりも高周波数で行われる。そのため、垂直走査方向の走査にガルバノミラーを用いるとともに、水平走査方向の走査に、ガルバノミラーよりも高周波数で動作するＭＥＭＳミラーあるいはポリゴンミラーを用いてもよい。

波長選択ミラー（波長選択部）２３は、走査部２２によって偏向されたレーザー光を、組織ＢＴ上に導く光学部材である。第２走査ミラー２６で反射したレーザー光は、波長選択ミラー２３で反射し、組織ＢＴに照射される。本実施形態において、波長選択ミラー２３は、例えば、組織ＢＴと光検出部３との間の光路に配置されている。波長選択ミラー２３は、例えば、ダイクロイックミラーあるいはダイクロイックプリズムである。例えば、波長選択ミラー２３は、照射部２の光源１０から射出される検出光が透過し、かつ投影部５の光源２０から射出される可視光が反射する特性を有する。例えば、波長選択ミラー２３は、赤外領域の光が透過し、かつ可視領域の光が反射する特性を有する。

本実施形態において、投影光学系７の光軸７ａは、投影光学系７がレーザー光を走査する走査範囲ＳＡの中心を通るレーザー光と同軸の軸（同一の光軸）であるとする。一例として、投影光学系７の光軸７ａは、第１走査ミラー２４および第１駆動部２５による水平走査方向の中心を通り、かつ第２走査ミラー２６および第２駆動部２７による垂直走査方向の中心を通るレーザー光と同軸である。例えば、投影光学系７の光射出側の光軸７ａは、投影光学系７のうち最もレーザー光の照射対象物に近い側に配置される光学部材と照射対象物（例、組織ＢＴ）との間の光路において、走査範囲ＳＡの中心を通るレーザー光と同軸である。本実施形態において、投影光学系７の光軸のうち少なくとも投影光学系７の光射出側の光軸７ａは、波長選択ミラー２３と組織ＢＴとの間の光路において、走査範囲ＳＡの中心を通るレーザー光と同軸である。

本実施形態において、撮影光学系１１の光軸１１ａは、例えば、撮影光学系１１に含まれるレンズの回転中心軸と同軸である。本実施形態において、撮影光学系１１の少なくとも一部の光軸と投影光学系７の少なくとも一部の光軸とは所定の光路（或いは少なくとも一部の光路）において互いに同軸になるように構成されている。例えば、撮影光学系１１の光軸１１ａと投影光学系７の光出射側の光軸７ａとは同軸に設定されている。また、例えば、撮影光学系１１の光路を通過する光（例、組織ＢＴから放射される光）の光軸と投影光学系７の光路を通過する光（例、第一光）の光軸とは、少なくとも互いの光（組織ＢＴから放射される光と組織ＢＴに照射される光）が通過する共通の光路において同軸に構成されている。したがって、本実施形態における画像処理システム１を用いて組織ＢＴに対する撮影位置がユーザによって変えられた場合であっても、組織ＢＴ上に投影する上記成分画像を位置ずれなく投影できる。本実施形態において、光検出部３および投影部５は、それぞれ、筐体３０に収容されている。光検出部３および投影部５は、それぞれ、筐体３０に固定されている。そのため、光検出部３と投影部５との位置ずれが抑制され、撮影光学系１１の光軸７ａと投影光学系７の光軸との位置ずれが抑制される。

投影部コントローラ２１は、画素値に応じて光源２０に供給する電流を制御する。例えば、投影部コントローラ２１は、成分画像のうち画素（ｉ，ｊ）を表示する際に、画素（ｉ，ｊ）の画素値に応じた電流を光源２０に供給する。一例として、投影部コントローラ２１は、光源２０に供給される電流を、画素値に応じて振幅変調する。投影部コントローラ２１は、第１駆動部２５を制御することにより、走査部２２によるレーザー光の走査範囲の水平走査方向において、各時刻にレーザー光が入射する位置を制御する。投影部コントローラ２１は、第２駆動部２７を制御することにより、走査部２２によるレーザー光の走査範囲の垂直走査方向において、各時刻にレーザー光が入射する位置を制御する。一例として、投影部コントローラ２１は、光源２０から射出されるレーザー光の光強度を画素（ｉ，ｊ）の画素値に応じて制御するとともに、レーザー光が走査範囲上で画素（ｉ，ｊ）に相当する位置に入射するように第１駆動部２５および第２駆動部２７を制御する。

（v）表示装置３１
表示装置３１は、制御装置６に接続されており、例えば、液晶ディスプレイなどのフラットパネルディスプレイで構成される。制御装置６は、撮影画像や画像処理システム１の動作の設定などを、表示装置３１に表示させることができる。制御装置６は、光検出部３が撮影した撮影画像、あるいは撮影画像を画像処理した画像を表示装置３１に表示可能である。制御装置６は、画像生成部４が生成した成分画像（例えば、水分が多く含まれる箇所（患部）を示す画像）、あるいは成分画像を画像処理した画像を表示装置３１に表示可能である。さらに、制御装置６は、成分画像を撮影画像とともに合成処理した合成画像を、表示装置３１に表示可能である。

撮影画像と成分画像の少なくとも一方を表示装置３１に表示させる場合に、そのタイミングは、投影部５によって成分画像を投影するタイミングと同じであってもよいし、異なるタイミングであってもよい。例えば、制御装置６は、記憶部１４に成分画像データを記憶させ、表示装置３１に表示させる旨の入力信号を入力装置３２が受信した場合に、記憶部１４に記憶されている成分画像データを表示装置３１に供給してもよい。

制御装置６は、可視光の波長帯に感度を有する撮影装置で組織ＢＴを撮影した画像を表示装置３１に表示させてもよいし、このような画像とともに、成分画像と撮影画像の少なくとも一方を表示装置３１に表示させてもよい。

（vi）入力装置３２
入力装置３２は、制御装置６に接続されており、例えば、切替スイッチ、マウス、キーボート、タッチパネル式ポインティングデバイス（スタイラスペンや指で操作）などで構成される。入力装置３２は、画像処理システム１の動作を設定する設定情報を入力可能である。制御装置６は、入力装置３２が操作されたことを検出可能である。制御装置６は、入力装置３２を介して入力された情報（入力情報）に応じて、画像処理システム１の設定を変更すること、画像処理システム１の各部に処理を実行させること等ができる。

例えば、脂質の量に関する情報を投影部５により明るく表示する第１モードを指定する入力がユーザによって入力装置３２になされた場合に、制御装置６は、データ生成部１６を制御して、第１モードに応じた成分画像データを生成させる。水の量に関する情報を投影部５により明るく表示する第２モードを指定する入力がユーザによって入力装置３２になされた場合に、制御装置６は、データ生成部１６を制御して、第２モードに応じた成分画像データを生成させる。このように、画像処理システム１は、投影部５によって投影される成分画像を強調して表示するモードとして、第１モードと第２モードとを切替可能である。

制御装置６は、例えば、入力装置３２を介した入力信号に従って投影部コントローラ２１を制御し、投影部５による成分画像の表示を開始、中止、あるいは再開させることができる。制御装置６は、例えば、入力装置３２を介した入力信号に従って投影部コントローラ２１を制御し、投影部５により表示される成分画像の色と明るさとの少なくとも一方を調整可能である。例えば、組織ＢＴは血液などに由来して赤みが強い色彩である場合があり、このような場合に成分画像を組織ＢＴと補色の関係になる色（例えば緑色）で表示すると、組織ＢＴと成分画像とを視覚的に識別しやすい。

＜機能１：基本的な画像表示機能＞
本実施形態における機能１は、画像処理システム１における基本的な画像表示機能であり、組織ＢＴ全体の撮影画像を表示装置３１の画面上に表示したり、或いは成分画像（水分を多く含む患部箇所を示す画像）を撮影画像に合成して得られる合成画像を表示装置３１の画面上に表示すると共に成分画像を組織ＢＴ上に投影したりする機能である。図４は、本実施形態による機能１における処理内容を説明するためのフローチャートである。

（i）ステップ４０１
制御装置６からの組織ＢＴに対する撮影動作開始の命令に応答して、照射部２は、組織ＢＴに検出光（例、赤外光）を照射する。

（ii）ステップ４０２
光検出部３は、検出光が照射されている組織ＢＴから放射される光（例、赤外光）を検出する。光検出部３のイメージセンサー１３が可視光をも検出可能な場合には、赤外光及び可視光が検出される。検出された光から組織ＢＴ全体の撮影画像が形成され、制御装置６によって記憶部１４に当該撮影画像のデータが格納される。

（iii）ステップ４０３
制御装置６は、成分画像の生成が必要か否か判断する。成分画像生成の要否は、例えば、操作者（手術者）が入力装置３２を用いて生成の要否が入力される。成分画像を生成する必要がないと判断された場合（ステップ４０３でＮＯの場合）、処理はステップ４０４に移行する。成分画像を生成する必要があると判断された場合（ステップ４０３でＹＥＳの場合）、処理はステップ４０５に移行する。

（iv）ステップ４０４
制御装置６は、記憶部１４から組織ＢＴの撮影画像を読み込み、表示装置３１に送信し、撮影画像の画面上での表示を指示する。表示装置３１は、当該指示に応答して、受信した撮影画像を画面上に表示する。表示される撮影画像は、赤外画像であっても良いし、可視画像であっても良い。

（v）ステップ４０５
制御装置６は、画像生成部４に含まれる算出部１５を用いて、組織ＢＴの脂質量、及び水分量に関する成分情報（組織ＢＴの成分に関する情報）を算出する。例えば、上述したように、算出部１５は、複数の画素について、各画素の指標Ｑ（ｉ，ｊ）を算出し、指標の分布を算出する。そして、算出部１５は、指標Ｑ（ｉ，ｊ）を画素Ｐ（ｉ，ｊ）の画素値に変換する。指標Ｑ（ｉ，ｊ）は脂質の量が多い部位であるほど大きくなるため、画素Ｐ（ｉ，ｊ）の画素値は脂質の量が多い部位であるほど大きくなる。一方、水分量が多い部位については脂質とは逆になる。

従って、成分画像としては、一般的に脂質の量が多い部位は明るく表示され、水分量が多い部位は暗く表示されることになる。なお、上述したように、所定の演算を行えば、水分量が多い部位を明るく表示することも可能である。

（vi）ステップ４０６
制御装置６は、撮影画像が赤外画像の場合、成分画像を赤外画像に反映して表示装置３１に送信し、表示装置３１は受信した画像を画面に表示する。一方、撮影画像が可視画像の場合には、制御装置６は、成分画像を可視画像に合成し、合成画像を表示装置に送信し、表示装置３１は受信した合成画像を画面に表示する。

（vii）ステップ４０７
制御装置６は、ステップ４０５で生成した成分画像データを投影部５に送信し、組織ＢＴ上に当該成分画像を投影するように指示する。投影部５は、当該成分画像データに基づいて組織ＢＴ上を可視光で走査し、成分画像を組織ＢＴ上に投影する。上述したように、例えば、画像処理システム１では、成分画像データに基づいて２つの走査ミラー（例、第１走査ミラー２４及び第２走査ミラー２６）を用いて可視光を２次元（２方向）に順次走査することによって、組織ＢＴ上に成分画像を投影することができる。

＜機能１による作用効果等＞
本実施形態による画像処理システム１は、例えば、走査部２２を用いてレーザー光で組織ＢＴ上を走査することによって、組織ＢＴに関する情報を示す画像（例えば成分画像）を組織ＢＴ上に直接的に投影（描画）する。レーザー光は、一般的に平行度が高く、光路長の変化に対してスポットサイズの変化が小さい。そのため、画像処理システム１は、組織ＢＴの凹凸に関わらずボケの少ない鮮明な画像を組織ＢＴ上に投影できる。

画像処理システム１は、撮影光学系１１の光軸１１ａと投影光学系７の光軸７ａとが同軸とに設定されている。そのため、組織ＢＴと光検出部３との相対位置が変化した場合であっても、組織ＢＴのうち光検出部３が撮影した部分と、投影部５によって画像が投影される部分との位置ずれが低減される。例えば、投影部５が投影する画像と組織ＢＴとに視差が生じることが低減される。

画像処理システム１では、組織ＢＴに関する情報を示す画像として、組織ＢＴの特定部位が強調された成分画像を投影する。そのため、オペレータは、組織ＢＴ上に投影された成分画像を見ながら、特定部位に切開、切除、薬物投与などの処置を施すことができる。画像処理システム１では、成分画像の色と明るさを変えることができるので、成分画像を組織ＢＴと視覚的に識別することが容易なように表示できる。本実施形態のように、投影部５がレーザー光を直接的に組織ＢＴに照射する場合、組織ＢＴ上に投影される成分画像に視認しやすいスペックルと呼ばれるちらつきが生じるため、ユーザはこのスペックルによって成分画像を組織ＢＴと容易に識別することができる。

画像処理システム１では、成分画像の１フレームを投影する期間を可変にしてもよい。例えば、投影部５は、６０フレーム毎秒で画像を投影可能であって、画像生成部４は、成分画像と次の成分画像との開に、全画素が暗表示の全黒画像を含むように、画像のデータを生成してもよい。この場合、成分画像は、ちらついて視認されやすく、組織ＢＴと識別しやすい。

なお、表示装置３１の画面における成分画像の表示、及び組織ＢＴ上への成分画像の投影は、リアルタイムで実行されるようにしても良い。例えば、操作者（手術者や検査者等）が組織ＢＴへの医療行為を遂行している状態で、リアルタイムで成分画像の表示及び投影が実行される。操作者（手術者や検査者等）は対象となる特定部位を処置できたか確認することができるようになる。

＜機能２：モニター上の入力図形を可視光レーザーで組織ＢＴ上に投射する機能＞
本実施形態における機能２は、画像処理システム１における特殊機能の１つであり、表示装置３１の画面上に表示された組織ＢＴ全体の撮影画像に対して入力された図形と同一の図形を組織ＢＴ上に投影する機能である。また、画像処理システム１は、組織ＢＴの撮影画像又は成分画像を撮影画像に合成して得られる合成画像を表示装置３１の画面上に表示する共に入力装置３２に入力されたマーキング情報（図形、線や文字等の入力の内容）を組織ＢＴに光を用いて投射する（照射する）機能である。図５は、当該機能２の概要を説明するための図である。図５に示される画像処理システム１の構成は図１のそれと同一であるため、構成についての詳細な説明は省略する。

本実施形態による画像処理システム１では、まず表示装置３１の画面上に組織ＢＴ全体の撮影画像が表示される。この際、成分画像を撮影画像に反映して画面上に表示しても良いし、撮影画像のみを画面上に表示しても良い。撮影画像としては赤外画像でもよいし、可視画像でもよい。組織ＢＴ上に成分画像を投影しても良いし、投影しなくても良い。

表示装置３１の画面上に組織ＢＴの撮影画像（静止画、動画など）が表示された状態で、操作者（例えば、手術者）が入力装置３２を用いて手術や検査に係る箇所（例、患部、強調する部分）にマーキング（任意の図形など）４１を入力（描画）すると、制御装置６は当該入力を検知し、それに応答して投影部５の制御を開始し、マーキング４１と同じ図形４２をマーキング４１が入力された位置と同一の組織ＢＴ上の位置に可視光で投影する。また、例えば、表示装置３１の画面上に組織ＢＴの撮影画像（静止画、動画など）が表示されている間に、操作者が入力装置３２を用いて撮影画像にマーキング４１を入力すると、制御装置６は当該入力を検知し、その入力に基づき投影部５の光照射の動作（投影動作）を制御する。そして、制御装置６は、撮影画像に入力されたマーキング４１と同じマーキング（例、図形４２）をマーキング４１が入力された位置に対応する組織ＢＴ上の位置に光を照射させる。このように表示画面上で入力された図形と同一の図形を組織ＢＴ上のほぼ同じ位置に投影することにより、操作者は画面上で確認した箇所に対応する組織ＢＴ上の箇所を適切、かつ容易に処置（手術や検査等）することが可能となる。制御装置６は、一例として、操作者によって入力された第一マーキング（任意の線や図形など）を第一光（例、可視光、赤外光）で組織ＢＴ上に投影（照射）するように、さらに、操作者によって入力された第二マーキング（任意の線や図形など）を第二光（例、可視光、赤外光）で組織ＢＴ上に投影（照射）するように、投影部５を制御しても良い。照射光の数は２つ（２種）に限られず、それ以上であっても良い。

図６は、本実施形態による機能２における処理内容を説明するためのフローチャートである。

（i）ステップ６０１
ステップ６０１の処理は、図４のフローチャートで示される、撮影画像を表示装置の画面上に表示、成分画像を撮影画像に反映して画面上に表示する処理と同一である。また、この場合、組織ＢＴ上に成分画像を投影させても良いし、成分画像の表示は画面上でのみ行うようにしても良い。ステップ６０１の詳細説明は省略する。

（ii）ステップ６０２
表示装置３１のプロセッサ（図示せず）は、操作者が表示された撮影画像に対して図形（マーキング４１）の入力を検知するまで待機する。当該図形の入力を検知すると処理はステップ６０３に移行する。表示装置３１のプロセッサは、入力された図形（マーキング４１）の位置の情報（座標情報）及び画素値をメモリ（図示せず）に保持する。図形（マーキング４１）の画素値（明るさ）及び色については予め設定することができるようになっている。図形は、例えば、操作者がスタイラスペンや指などを用いて入力したり（タッチ入力）、音声によって入力したりしても良い。

なお、ここでは、一例として、表示装置３１のプロセッサが図形の入力を検知するとして説明をしたが、制御装置６が表示装置３１の画面に対する入力を検知するようにしても良い。

（iii）ステップ６０３
表示装置３１は、入力図形（マーキング４１）を撮影画像に重畳して表示する。

（iv）ステップ６０４
制御装置６は、操作者が表示装置３１に図形を入力したことにより発生する信号（入力信号）を表示装置３１から受信し（上述のように、制御装置６が操作者の図形入力によって発生する信号を直接検知する場合もある）、入力された図形（マーキング４１）の位置情報及び画素値の情報を取得し、組織ＢＴ上に投影するための図形データを生成する。なお、組織ＢＴ上に投影される図形（マーク４２）の画素値については、表示装置３１の画面上に表示された図形（マーキング４１）と同一でなくても良く、操作者（手術者）によって適宜調整可能としても良い。例えば、手術室においては、組織ＢＴは手術用無影灯によって非常に明るく照らされており、画面上で表示された図形（マーキング４１）と同一の画素値であると組織ＢＴ上に投影しても見にくい可能性があるからである。

（v）ステップ６０５
制御装置６は、ステップ６０４で生成した入力図形データを投影部５に送信し、組織ＢＴ上に当該図形を投影するように指示する。投影部５は、制御装置６から図形投影の指示及び投影すべき入力画像データを受信し、当該入力図形データの撮影画像における位置情報を用いて特定した組織ＢＴ上の可視光の照射位置（投影位置）及び当該撮影画像における画素値の情報に基づいて組織ＢＴ上を可視光で走査し、図形４２を組織ＢＴ上に投影する。投影動作については上述した通りであり、ここでは詳細な説明は省略する。

＜機能３：患部箇所を自動的に輪郭線で囲む機能（患部箇所輪郭表示機能）＞
機能３は、画像処理システム１における特殊機能の１つであり、表示装置３１の画面上に表示された組織ＢＴ全体の撮影画像において患部箇所（例、患部の全部又は一部など）を自動的に輪郭線で囲んで表示すると共に、患部箇所を示す当該輪郭線を組織ＢＴ上にも自動的に投影する機能である。図７は、当該機能３の概要を説明するための図である。図７に示される画像処理システム１の構成は図１のそれと同一であるため、構成についての詳細な説明は省略する。

本実施形態による画像処理システム１では、表示装置３１の画面上に組織ＢＴ全体の撮影画像が表示される。この際、成分画像を撮影画像に反映して画面上に表示しても良いし、撮影画像のみを画面上に表示しても良い。撮影画像としては赤外画像でもよいし、可視画像でもよい。また、組織ＢＴ上に成分画像を投影しても良いし、投影しなくても良い。

当該画像処理システム１では、制御装置６のデータ生成部１６が、成分画像データに基づいて成分画像の輪郭の位置情報を取得し、輪郭線データを生成する。輪郭線は所定の幅を持たせて表示するため、当該所定の幅に含まれる画素の位置情報が取得される。生成された輪郭線データは表示装置３１に送信され、画面上に患部箇所を囲む輪郭線が表示される。

制御装置６は、生成された輪郭線データを投影部５に送信する。そして、投影部５は、受信した輪郭線データに基づいて、患部箇所を囲むように輪郭線を組織ＢＴ上に可視光で描画（投影）する。このように患部箇所を所定の太さの輪郭線で囲んで画面上に自動的に表示すると共に、当該輪郭線を組織ＢＴにも自動的に投影することにより、患部箇所をより強調することができ、操作者（例えば、手術者や検査者等）は手術すべき部分や検査すべき部分をより適切に、かつ容易に認識することができる。

図８は、本実施形態による機能３における処理内容を説明するためのフローチャートである。

（i）ステップ８０１
制御装置６からの組織ＢＴに対する撮影動作開始の命令に応答して、照射部２は、組織ＢＴに検出光（赤外光）を照射する。

（ii）ステップ８０２
光検出部３は、検出光が照射されている組織ＢＴから放射される光（赤外光）を検出する。光検出部３のイメージセンサー１３が可視光をも検出可能な場合には、赤外光及び可視光が検出される。検出された光から組織ＢＴ全体の撮影画像が形成され、制御装置６によって記憶部１４に当該撮影画像が格納される。

（iii）ステップ８０３
制御装置６は、一例として、記憶部１４から組織ＢＴの撮影画像を読み込み、表示装置３１に送信し、撮影画像の画面上での表示を指示する。表示装置３１は、当該指示に応答して、受信した撮影画像を画面上に表示する。表示される撮影画像は、赤外画像であっても良いし、可視画像であっても良い。

（iv）ステップ８０４
制御装置６は、例えば、画像生成部４に含まれる算出部１５を用いて、組織ＢＴの脂質量、及び水分量に関する成分情報（組織ＢＴの成分に関する情報）を算出する。上述したように、算出部１５は、複数の画素について、各画素の指標Ｑ（ｉ，ｊ）を算出し、指標の分布を算出する。そして、算出部１５は、指標Ｑ（ｉ，ｊ）を画素Ｐ（ｉ，ｊ）の画素値に変換する。指標Ｑ（ｉ，ｊ）は脂質の量が多い部位であるほど大きくなるため、画素Ｐ（ｉ，ｊ）の画素値は脂質の量が多い部位であるほど大きくなる。水分量が多い部位については脂質とは逆になる。

以上のようにして、水分量が多い部分が検出され、当該部分が患部箇所として検出される。患部箇所のデータは、上述の成分画像データに対応するものである。

（v）ステップ８０５
制御装置６は、データ生成部１６を用いて、患部箇所データに基づいて患部箇所の輪郭の位置情報を取得し、輪郭線データを生成する。輪郭線は所定の幅を持たせて表示するため、当該所定の幅に含まれる画素の位置情報が取得される。輪郭線データは、表示装置３１及び投影部５に送信される。

（vi）ステップ８０６
表示装置３１は、患部箇所の輪郭線データを撮影画像上に重畳表示する。

（vii）ステップ８０７
投影部５は、受け取った輪郭線データに基づいて、組織ＢＴ上に患部箇所の輪郭線を可視光で投影する。投影動作については上述した通りであり、ここでは詳細な説明は省略する。

＜機能４：複数の患部候補箇所を輪郭線で囲んで画面表示し、選択された箇所を組織ＢＴ上に投影する機能＞
機能４は、画像処理システム１における特殊機能の１つであり、表示装置３１の画面上に表示された組織ＢＴ全体の撮影画像において複数の患部候補のそれぞれを自動的に輪郭線で囲んで表示し、操作者の選択（操作者の入力）に応答して、選択された患部候補以外の輪郭線を消去すると共に、当該選択された患部候補の輪郭線を組織ＢＴ上にも自動的に投影する機能である。図９は、当該機能４の概要を説明するための図である。図９に示される画像処理システム１の構成は図１のそれと同一であるため、構成についての詳細な説明は省略する。

本実施形態による画像処理システム１では、表示装置３１の画面上に組織ＢＴ全体の撮影画像が表示される。この際、成分画像を撮影画像に反映して画面上に表示しても良いし、撮影画像のみを画面上に表示しても良い。撮影画像としては赤外画像でもよいし、可視画像でもよい。また、組織ＢＴ上に成分画像を投影しても良いし、投影しなくても良い。

画像処理システム１では、一例として、制御装置６の算出部１５が、成分情報を算出し、所定量以上の水分量を含む箇所を特定する。そして、この所定量以上の水分量を含む箇所が患部候補の箇所として検出される。なお、ここでは、複数の患部候補箇所が検出されたものとする。

制御装置６のデータ生成部１６は、所定量以上の水分量を含む箇所の成分画像データを算出部１５から取得する。そして、データ生成部１６は、例えば、当該成分画像データに基づいて複数の患部候補箇所の輪郭の位置情報を取得し、輪郭線データを生成する。輪郭線は所定の幅を持たせて表示するため、当該所定の幅に含まれる画素の位置情報が取得される。生成された輪郭線データは表示装置３１に送信され、画面上に患部箇所を囲む輪郭線が表示される。

表示装置３１は、操作者（例えば、手術者や検査者等：単に「ユーザ」と言うことも可能である）が複数の患部候補箇所の何れか少なくとも１つを選択したことに応答して、選択された患部候補箇所以外の輪郭線を消去する。選択された輪郭線の情報は制御装置６に送信される。

一方、制御装置６は、選択された輪郭線に対応する輪郭線データを投影部５に送信する。そして、投影部５は、受信した輪郭線データに基づいて、患部箇所を囲むように輪郭線を組織ＢＴ上に可視光で描画（投影）する。このように複数の患部候補箇所を撮影画像上に画面表示し、操作者の選択に基づいて選択された輪郭線のみを残してそれ以外の輪郭線を消去すると共に、選択された輪郭線を組織ＢＴにも自動的に投影することにより、操作者が所望する患部箇所をより強調することができ、操作者は手術すべき個所や検査すべき個所をより適切に、かつ容易に特定することができる。よって、画像処理システム１は手術や検査をスムーズに進行するようにアシストすることができる。

なお、機能４では、当初は組織ＢＴ上に患部候補箇所の輪郭線が投影されていない。画面上に表示された複数の患部候補箇所のうち選択された場合に、当該選択された患部候補箇所の輪郭線を組織ＢＴに投影するようにしている。しかし、検出された複数の患部候補箇所の輪郭線を表示装置３１の画面上に表示すると共に、組織ＢＴ上にも当該複数の患部候補箇所の輪郭線を投影し、操作者によって画面上で患部候補箇所が選択された場合に、選択された箇所以外の輪郭線を画面上及び組織ＢＴ上から消去するようにしても良い。

図１０は、本実施形態による機能４における処理内容を説明するためのフローチャートである。

（i）ステップ１００１
制御装置６からの組織ＢＴに対する撮影動作開始の命令に応答して、照射部２は、組織ＢＴに検出光（赤外光）を照射する。

（ii）ステップ１００２
光検出部３は、検出光が照射されている組織ＢＴから放射される光（赤外光）を検出する。光検出部３のイメージセンサー１３が可視光をも検出可能な場合には、赤外光及び可視光が検出される。検出された光から組織ＢＴ全体の撮影画像が形成され、制御装置６によって記憶部１４に当該撮影画像が格納される。

（iii）ステップ１００３
制御装置６は、記憶部１４から組織ＢＴの撮影画像を読み込み、表示装置３１に送信し、撮影画像の画面上での表示を指示する。表示装置３１は、当該指示に応答して、受信した撮影画像を画面上に表示する。表示される撮影画像は、赤外画像であっても良いし、可視画像であっても良い。

（iv）ステップ１００４
制御装置６は、画像生成部４に含まれる算出部１５を用いて、組織ＢＴの脂質量、及び水分量に関する成分情報（組織ＢＴの成分に関する情報）を算出する。上述したように、算出部１５は、複数の画素について、各画素の指標Ｑ（ｉ，ｊ）を算出し、指標の分布を算出する。そして、算出部１５は、指標Ｑ（ｉ，ｊ）を画素Ｐ（ｉ，ｊ）の画素値に変換する。指標Ｑ（ｉ，ｊ）は脂質の量が多い部位であるほど大きくなるため、画素Ｐ（ｉ，ｊ）の画素値は脂質の量が多い部位であるほど大きくなる。水分量が多い部位については脂質とは逆になる。
以上のようにして、一例として、水分量や脂質量が所定値以上の部分が検出され、当該部分が患部候補箇所として検出される。

（v）ステップ１００５
制御装置６は、データ生成部１６を用いて、複数の患部候補箇所データに基づいて患部候補箇所のそれぞれの輪郭の位置情報を取得し、患部候補箇所それぞれの輪郭線データを生成する。輪郭線は所定の幅を持たせて表示するため、当該所定の幅に含まれる画素の位置情報が取得される。各輪郭線データは、例えば、記憶部１４に格納されると共に、表示装置３１に送信される。

表示装置３１は、各輪郭線データに基づいて、表示されている撮影画像の各患部候補箇所に輪郭線を重畳表示する。各輪郭線の色や表示形態（点線、太さ）を変えて表示するようにして各輪郭線が囲む領域を識別しやすいようにしても良い。この色や表示形態は、操作者が予め設定・変更できるようにしても良い。

（vi）ステップ１００６
表示装置３１のプロセッサ（図示せず）は、操作者が撮影画像上に表示された複数の輪郭線の何れか少なくとも１つに対する操作者による選択入力を検知するまで待機する。当該選択入力を検知すると処理はステップ１００７に移行する。また、表示装置３１のプロセッサは、選択された輪郭線を特定する情報（輪郭線に識別子（ＩＤ）が付与されていれば選択された輪郭線の識別子情報、ＩＤが付与されていなければ当該選択された輪郭線の位置情報（座標情報））をメモリ（図示せず）に保持すると共に、制御装置６に送信する。図形（マーキング４１）の画素値（明るさ）及び色については予め設定することができるようになっている。撮影画像上に表示された輪郭線の選択は、例えば、操作者がスタイラスペンや指などを用いて行ったり（タッチ入力）、音声によって行ったりしても良い。

なお、ここでは、表示装置３１のプロセッサが操作者の選択入力を検知するとして説明をしたが、制御装置６が表示装置３１の画面に対する入力を検知するようにしても良い。

（vii）ステップ１００７
制御装置６は、操作者が表示装置３１に表示された輪郭線を選択したことにより発生する信号（入力信号）を表示装置３１から受信し（上述のように、制御装置６が操作者の選択入力によって発生する信号を直接検知する場合もある）、入力信号に含まれる、選択された輪郭線を特定する情報に基づいて、対応する輪郭線データを特定し、記憶部１４から読み込む。当該対応する輪郭線データは、投影部５に送信される。

（viii）ステップ１００８
投影部５は、制御装置６から輪郭線データの組織ＢＴ上の投影の指示、及び輪郭線データを取得し、当該輪郭線データに含まれる、当該輪郭線を形成する画素の位置情報に基づいて、組織ＢＴ上に患部箇所の輪郭線を可視光で投影する。投影動作については上述した通りであり、ここでは詳細な説明は省略する。

＜機能５乃至７：組織ＢＴ上に投影（描画）された輪郭線（ガイド光）を強調する機能（ガイド光強調機能）＞
手術用無影灯は複数のＬＥＤ光源で構成されるが、例えば、最大１６００００ルクスと非常に明るい。このため、機能２〜４によって組織ＢＴ上に輪郭線（ガイド光）を投影したいとき、人間の目でガイド光を判別することが困難な場合がある。ガイド光を目立たせるためにはガイド光の強度を高めたり、エネルギー密度を高めたりする必要がある。しかしながら、強力なガイド光を照射すると、人体に対する影響が懸念されるため、できるだけ小さい強度のガイド光を照射することが望ましい。そこで、機能５乃至７を設け、できるだけ小さい強度のガイド光（できるだけ小さい出力の可視光レーザ）でガイド光（輪郭線）を強調表示するようにしている。

（i）機能５
機能５は、光源（可視光レーザー光源）２０として、単色（単波長）の光源を点滅させながら組織ＢＴに照射して輪郭線を投影したり、複数色（複数波長）の光源を用い、当該複数色の光源を切り替えながら組織ＢＴに照射して輪郭線を投影したりする機能である。

図１１は、機能５を説明するための図であり、手術室で使用される場合の本実施形態による画像処理システム１の概略構成を示している。当該画像処理システム１の構成は図１のそれと同一であるため、構成についての詳細な説明は省略する。

図１１に示されるように、機能５は、例えば、手術室において手術用無影灯７１が点灯されている環境で用いられる。機能５は、機能２〜４によって組織ＢＴ上に図形（図５のマーク（入力図形）４２や図７や図９の輪郭線５２及び６４）を投影しているとき、或いはこれから投影しようとするときに用いられる機能である。

上述したように、機能５には、例えば、単色可視光レーザー光を点滅させてガイド光（輪郭線７３）を強調する点滅モードと、複数色の可視光レーザー光を切り替えてガイド光（輪郭線７３）を強調する色切替モードが設けられている。どちらのモードを用いてガイド光（輪郭線７３）を強調するかは、入力装置３２によって選択可能なようになっている。

機能５によるガイド光強調モードが選択されると、制御装置６は、投影部５に対してガイド光（輪郭線７３）を何れかのモードで強調して組織ＢＴ上に投影するように指示する。そして、投影部５は、既に組織ＢＴ上に投影されているガイド光（輪郭線７３）、或いはこれから組織ＢＴ上に投影しようとするガイド光（輪郭線７３）を点滅させながら投影、或いは色を切り替えながら投影する。

なお、複数の色のガイド光を切り替えながら組織ＢＴ上に投影する場合には、ガイド光（輪郭線７３）が切り替わったことが人間にとって感知可能でなければならない。つまり、例えば、１／３０秒毎に色を切り替えてもフレーム切り替えの単位と同じタイミングであるので、色の切り替えがフレームの切り替えと混ざってしまって人間の目では区別できない。よって、当該実施形態では、色の切り替えは、例えば、０．１〜２秒単位、好ましくは０．５秒単位で行うこととする。

（ii）機能６
機能６は、手術用無影灯７１が点灯される手術室において、手術者（ユーザ）がシャッタメガネ８１を装着し、当該シャッタメガネ８１のシャッタ（例、液晶シャッタ）の開閉のタイミングを手術用無影灯７１の点灯タイミングとガイド光（可視光レーザー）照射のタイミングに同期させることによりガイド光を強調表示する機能である。また、本実施形態におけるウェアラブルデバイスのシャッタメガネ８１は、一例として、液晶シャッタメガネ等である。ここでは一例としてシャッタメガネで説明したが、シャッタ以外にも光透過・不透過を切り替える（遮光透過切り替え）ことにより視界（視野）を制限するメガネであっても良い。その意味で、メガネ以外にも手術者が装着して手術者の左眼の視界及び右眼の視界を交互に制限するような装置（視界制限装置：例えばヘッドマウント型の視界制限装置）であれば良い。

図１２は、手術室で使用される場合の本実施形態による画像処理システム１の概略構成を示している。

図１２に示されるように、機能６は、機能５と同様に、例えば、手術室において手術用無影灯７１が点灯されている環境で用いられる。また、機能６は、機能２〜４によって組織ＢＴ上に図形（図５のマーク（入力図形）４２や図７や図９の輪郭線５２及び６４）を投影しているとき、或いはこれから投影しようとするときに用いられる機能である。

機能６によるガイド光強調モードを使用する場合、手術者は液晶シャッタメガネ８１を装着し、入力装置３２から機能６の実行の指示を入力する。液晶シャッタメガネ８１と制御装置６は、例えば無線通信等によって相互に通信することができるようになっている。従って、液晶シャッタメガネ８１の液晶シャッタの開閉制御がＯＮされると、制御装置６は、液晶シャッタの開閉のタイミングに関する情報を取得することができるようになっている。制御装置６は、取得した液晶シャッタの開閉タイミングに関する情報に基づいて、手術用無影灯７１の点灯タイミング及びガイド光照射のタイミングを制御する。

図１３は、機能６の概要を説明するための図である。図１３（Ａ）は、ガイド光（レーザー光源）１３０１を組織ＢＴ上に１／６０秒間照射する場合に画面１３０３に表示される右眼用映像（奇数フィールド）１３０４を示す図である。図１３（Ｂ）は、手術用無影灯７１によって組織ＢＴを１／６０秒間点灯する場合に画面１３０３に表示される左眼映像（偶数フィールド）１３０５を示す図である。図１３（Ｃ）は、再生される像１３０６を示す図である。

図１３に示されるように、液晶シャッタは、例えば１／６０秒単位で左眼シャッタと右眼シャッタの開閉が交互に切り替えられるようになっている（図１３（Ａ）及び（Ｂ）参照）。一例として、右眼シャッタが開いているときにはガイド光（可視光レーザー）がガルバノミラーを介して組織ＢＴ上に照射され、手術用無影灯（ＬＥＤ光源）７１が消灯される（ＯＦＦとなる）ように制御される。例えば、右眼で捉えた画像は奇数フィールドの画像１３０４を構成し、左眼で捉えた画像は偶数フィールドの画像１３０５を構成する。すると、疑似的に右眼と左眼の像が合成されて見えることによりガイド光１３０１が強調されて見えるようになる（図１３（Ｃ）参照）。合成された像は、１／３０単位のフレーム画像（再生された像）１３０６となる。

図１４は、液晶シャッタメガネ８１の液晶シャッタの開閉の切り替えタイミングと、手術用無影灯７１の点灯タイミングと、ガイド光照射（投影）のタイミングを示すタイミングチャートである。制御装置６は、液晶シャッタメガネ８１と通信し、当該タイミングチャートに従って、液晶シャッタの開閉を制御する。図１４に示されるように、左眼シャッタは、１／６０秒毎に開閉を繰り返す。一方、右眼シャッタも１／６０秒毎に開閉を繰り返すが、開閉のタイミングが左眼シャッタと逆である。そして、左眼シャッタが開いている間に手術用無影灯７１がＯＮ（明）され、閉じている間に手術用無影灯７１がＯＦＦ（暗）される。右眼シャッタが開いている間にガイド光（可視光レーザー）がＯＮ（明）され、閉じている間にガイド光（可視光レーザー）がＯＦＦ（暗）される。つまり、左眼シャッタの開閉タイミングと手術用無影灯７１のＯＮ／ＯＦＦのタイミングが同一に、右眼シャッタの開閉タイミングとガイド光（可視光レーザー）のＯＮ／ＯＦＦのタイミングが同一になるように制御される。このように制御すると、疑似的に右眼と左眼の像が合成されて見えるようになり、結果としてガイド光が強調されて見えるようになる（ガイド光をはっきりと区別して見えるようになる）。

なお、制御装置６は、液晶シャッタメガネ８１と通信し、左眼シャッタの開閉タイミングとガイド光のＯＮ／ＯＦＦのタイミングを一致させ、右眼シャッタの開閉タイミングと手術用無影灯７１のＯＮ／ＯＦＦのタイミングを一致させるように制御しても良い。

また、左眼シャッタと右眼シャッタとの役割は所定のタイミングで交替してもよい。例えば、制御装置６は、液晶シャッタメガネ８１及び手術用無影灯７１と通信し、一定時間において左眼シャッタの開閉タイミングとガイド光のＯＮ／ＯＦＦのタイミングとを一致させ、右眼シャッタの開閉タイミングと手術用無影灯７１のＯＮ／ＯＦＦのタイミングとを一致させるように制御しても良い。そして、制御装置６は、例えば、一定時間経過後において、左眼シャッタの開閉タイミングと手術用無影灯７１のＯＮ／ＯＦＦのタイミングとを一致させ、右眼シャッタの開閉タイミングとガイド光のＯＮ／ＯＦＦのタイミングとを一致させるように制御しても良い。制御装置６は、これを繰り返して役割を切り替える。このように構成すると、例えば、片眼だけで組織ＢＴを見るために遠近感が失われるという問題が回避できる。

＜変形例＞
（１）撮影動作と描画動作の時分割制御
組織ＢＴ上に描画（投影）された輪郭線は識別しやすい色で表示されるため、光検出器３が撮影した画像の解析に対して当該輪郭線が悪影響を与える可能性がある。

そこで、光検出部３の撮影動作と光源（可視光レーザー）２０による輪郭線の描画動作を時分割で実行することにより、輪郭線による悪影響の可能性を除去することができる。時分割制御は、例えば、１／３０秒毎に撮影動作と描画動作を交互に繰り返すことにより実行される。

一例として、制御装置６は、例えば、操作者による動作開始の指示が入力装置３２から入力されると、当該動作開始の指示を検知し、最初の１／３０秒間に光検出部３０が撮影動作（検出動作）を実行するように制御し（この間は投影部５の光源２０による描画動作は停止させている）、次の１／３０秒間には光検出部３０の撮影動作を停止させて投影部５の光源２０が輪郭線描画動作を実行するように制御する。制御装置６はこの動作を繰り返すことにより、撮影動作と描画動作の時分割制御を実現する。時分割制御は操作者の選択によりＯＮ／ＯＦＦできるようにしても良い。ＯＮ／ＯＦＦの選択も入力装置３２を介して行うようにしても良い。

（２）輪郭線のリアルタイム表示及び投影
機能１において、一例として、成分画像をリアルタイムで表示することについて説明した。輪郭線は、成分画像に対応する患部箇所（候補も含む）の輪郭を示すものであるので、成分画像が変化すれば、輪郭線も同様に変化する。

よって、機能３乃至７の何れかを使用している場合、輪郭線をリアルタイムに画面表示及び組織ＢＴ上に投影すれば、患部箇所の切除等に応じて表示及び投影される輪郭線の形状が変化する。

（３）照射部２の変形例
図１５は、照射部２の変形例を示す図である。図１５の照射部２は、一例として、光源１０ａ、光源１０ｂ、及び光源１０ｃを含む複数の光源を備える。光源１０ａ、光源１０ｂ、及び光源１０ｃは、一例として、いずれも赤外光を射出するＬＥＤを含み、射出する赤外光の波長が互いに異なる。光源１０ａは、一例として、第１波長を含み、第２波長および第３波長を含まない波長帯の赤外光を射出する。光源１０ｂは、一例として、第２波長を含み、第１波長および第３波長を含まない波長帯の赤外光を射出する。光源１０ｃは、一例として、第３波長を含み、第１波長および第２波長を含まない波長帯の赤外光を射出する。

制御装置６は、光源１０ａと光源１０ｂと光源１０ｃとのそれぞれの点灯および消灯を制御できる。例えば、制御装置６は、照射部２を、光源１０ａが点灯し、かつ光源１０ｂおよび光源１０ｃが消灯している第１状態に設定する。第１状態において、組織ＢＴには、照射部２から射出された第１波長の赤外光が照射される。制御装置６は、照射部２を第１状態に設定しつつ、光検出部３によって組織ＢＴを撮影させ、第１波長の赤外光が照射されている組織ＢＴを撮影した画像のデータ（撮影画像データ）を光検出部３から取得する。

制御装置６は、照射部２を、光源１０ｂが点灯し、かつ光源１０ａおよび光源１０ｃが消灯している第２状態に設定する。制御装置６は、照射部２を第２状態に設定しつつ、光検出部３によって組織ＢＴを撮影させ、第２波長の赤外光が照射されている組織ＢＴの撮影画像データを光検出部３から取得する。制御装置６は、照射部２を、光源１０ｃが点灯し、かつ光源１０ａおよび光源１０ｂが消灯している第３状態に設定する。制御装置６は、照射部２を第３状態に設定しつつ、光検出部３によって組織ＢＴを撮影させ、第３波長の赤外光が照射されている組織ＢＴの撮影画像データを光検出部３から取得する。

画像処理システム１は、図５に示した照射部２を適用した構成においても、組織ＢＴに関する情報を示す画像（例、成分画像）を組織ＢＴ上に投影できる。このような画像処理システム１は、組織ＢＴを波長帯ごとにイメージセンサー１３（図１参照）により撮影するので、解像度を確保することが容易である。

（４）光検出器３の変形例
光検出部３は、第１波長の赤外光、第２波長の赤外光、及び第３波長の赤外光を、同じイメージセンサー１３で一括して検出するが、このような構成に限定されない。図１６は、光検出部３の変形例を示す図である。図１６の光検出部３は、一例として、撮影光学系１１と、波長分離部３３と、イメージセンサー１３ａ、イメージセンサー１３ｂ、及びイメージセンサー１３ｃを含む複数のイメージセンサーと、を備える。

波長分離部３３は、組織ＢＴから放射された光を波長の違いにより分光する。図１６の波長分離部３３は、例えばダイクロイックプリズムである。波長分離部３３は、第１波長分離膜３３ａおよび第２波長分離膜３３ｂを有する。第１波長分離膜３３ａは、第１波長の赤外光ＩＲａが反射し、第２波長の赤外光ＩＲｂおよび第３波長の赤外光ＩＲｃが透過する特性を有する。第２波長分離膜３３ｂは、第１波長分離膜３３ａと交差するように設けられている。第２波長分離膜３３ｂは、第３波長の赤外光ＩＲｃが反射し、第１波長の赤外光ＩＲａおよび第２波長の赤外光ＩＲｂが透過する特性を有する。

組織ＢＴから放射された赤外光ＩＲのうち第１波長の赤外光ＩＲａは、第１波長分離膜３３ａで反射して偏向され、イメージセンサー１３ａに入射する。イメージセンサー１３ａは、第１波長の赤外光ＩＲａを検出することにより、組織ＢＴの第１波長の像を撮影する。イメージセンサー１３ａは、撮影した画像のデータ（撮影画像データ）を制御装置６に供給する。

組織ＢＴから放射された赤外光ＩＲのうち第２波長の赤外光ＩＲｂは、第１波長分離膜３３ａおよび第２波長分離膜３３ｂを透過して、イメージセンサー１３ｂに入射する。イメージセンサー１３ｂは、第２波長の赤外光ＩＲｂを検出することにより、組織ＢＴの第２波長の像を撮影する。イメージセンサー１３ｂは、撮影した画像のデータ（撮影画像データ）を制御装置６に供給する。

組織ＢＴから放射された赤外光ＩＲのうち第３波長の赤外光ＩＲｃは、第２波長分離膜３３ｂで反射し、第１波長の赤外光ＩＲａと反対側へ偏向され、イメージセンサー１３ｃに入射する。イメージセンサー１３ｃは、第３波長の赤外光ＩＲｃを検出することにより、組織ＢＴの第３波長の像を撮影する。イメージセンサー１３ａは、撮影した画像のデータ（撮影画像データ）を制御装置６に供給する。

イメージセンサー１３ａ、イメージセンサー１３ｂ、及びイメージセンサー１３ｃは、互いに光学的に共役な位置に配置されている。イメージセンサー１３ａ、イメージセンサー１３ｂ、及びイメージセンサー１３ｃは、撮影光学系１１からの光学的距離がほぼ同じになるように配置されている。

画像処理システム１は、図１６に示した光検出部３を適用した構成においても、組織ＢＴに関する情報を示す画像を組織ＢＴ上に投影できる。このような光検出部３は、波長分離部３３によって分離した赤外光を、イメージセンサー１３ａとイメージセンサー１３ｂとイメージセンサー１３ｃとに分けて検出するので、解像度を確保することが容易である。

なお、光検出部３は、ダイクロイックプリズムの代わりに、第１波長分離膜３３ａと同様の特性を有するダイクロイックミラー、及び第２波長分離膜３３ｂと同様の特性を有するダイクロイックミラーを用いて赤外光を波長の違いにより分離する構成でもよい。この場合に、第１波長の赤外光、第２波長の赤外光、及び第３波長の赤外光のいずれか１つ赤外光の光路長が他の赤外光の光路長と異なる場合には、リレーレンズなどにより光路長を揃えてもよい。

（５）投影部５の変形例
上述したように、投影部５は、単色の画像を投影だけでなく、複数色の画像を投影することができる。ここでは、このような投影部５の詳細について説明する。図１７は、投影部５の変形例を示す図である。図１７の投影部５は、一例として、射出するレーザー光の波長が互いに異なるレーザー光源２０ａと、レーザー光源２０ｂと、レーザー光源２０ｃと、を備える。

レーザー光源２０ａは、赤の波長帯のレーザー光を射出する。赤の波長帯は、７００ｎｍを含み、例えば６１０ｎｍ以上７８０ｎｍ以下である。レーザー光源２０ｂは、緑の波長帯のレーザー光を射出する。緑の波長帯は、５４６．１ｎｍを含み、例えば５００ｎｍ以上５７０ｎｍ以下である。レーザー光源２０ｃは、青の波長帯のレーザー光を射出する。青の波長帯は、４３５．８ｎｍを含み、例えば４３０ｎｍ以上４６０ｎｍ以下である。

本例において、画像生成部４は、投影部５によって投影する画像として成分の量や割合に基づくカラー画像を形成可能である。例えば、画像生成部４は、脂質の量が多いほど緑の階調値が高くなるように緑の画像データを生成する。画像生成部４は、例えば、水の量が多いほど青の階調値が高くなるように青の画像データを生成する。制御装置６は、画像生成部４が生成した緑の画像データおよび青の画像データを含む成分画像データを、投影部コントローラ２１に供給する。

投影部コントローラ２１は、制御装置６から供給された成分画像データのうち緑の画像データを使って、レーザー光源２０ｂを駆動する。例えば、投影部コントローラ２１は、緑の画像データに規定された画素値が高いほど、レーザー光源２０ｂから射出される緑のレーザー光の光強度が強くなるように、レーザー光源２０ｂに供給される電流を大きくする。同様に、投影部コントローラ２１は、制御装置６から供給された成分画像データのうち青の画像データを使って、レーザー光源２０ｃを駆動する。

このような投影部５を適用した画像処理システム１は、脂質の量が多い部分を緑色で明るく強調して表示できるとともに、水の量が多い部分を青で明るく強調して表示できる。なお、画像処理システム１は、脂質の量および水の量がいずれも多い部分を赤で明るく表示してもよく、脂質と水のいずれとも異なる第３物質の量を赤で表示してもよい。

図１等において、光検出部３は波長選択ミラー２３を通った光を検出し、投影部５は波長選択ミラー２３で反射した光により成分画像を投影するが、本発明はこのような構成に限定されない。例えば、光検出部３は波長選択ミラー２３で反射した光を検出し、投影部５は波長選択ミラー２３を通った光により成分画像を投影してもよい。波長選択ミラー２３は、撮影光学系１１の一部であってもよいし、投影光学系７の一部であってもよい。また、投影光学系７の光軸は、撮影光学系１１の光軸と同軸でなくてもよい。また、複数のレーザー光源２０のうち１つは赤外光（赤外領域の波長を有する光）を射出可能なレーザー光源であってもよい。このように構成すると、例えば、可視光の波長帯域に感度を有しない赤外カメラ（赤外撮像装置）を光検出部３に用いた場合であっても、該赤外カメラが赤外光を射出可能なレーザー光源によって組織ＢＴに投影された図形などを検出することができ、制御装置６は、上述のような画像合成をすることなく、表示装置３１にその投影された図形などを表示することができる。

（６）画像処理システム１の変形例
図１８は、変形例に係る画像処理システム１の構成を示す図である。上述の実施形態と同様の構成については、同一の符号を付しており、その説明については簡略化或いは省略する。

投影部コントローラ２１は、一例として、インターフェース１４０と、画像処理回路１４１と、変調回路１４２と、タイミング生成回路１４３と、を備える。インターフェース１４０は、制御装置６から画像データを受け取る。この画像データには、各画素の画素値を示す階調データ、及びリフレッシュレート等を規定した同期データが含まれている。インターフェース１４０は、直線データから階調データを抽出し、階調データを画像処理回路１４１に供給する。また、インターフェース１４０は、画像データから同期データを抽出し、同期データをタイミング生成回路１４３に供給する。

タイミング生成回路１４３は、一例として、光源２０および走査部２２の動作タイミングを示すタイミング信号を生成する。タイミング生成回路１４３は、画像の解像度、リフレッシュレート（フレームレート）、走査方式等に応じて、タイミング信号を生成する。ここでは、画像がフルＨＤ形式であるとし、説明の便宜上、光の走査において、１本の水平走査線の描画が終了してから次の水平走査線の描画が開始するまでの時間（帰線時間）がないものとする。

フルＨＤ形式の画像は、一例として、１９２０個の画素が並ぶ水平走査線を有し、水平走査線が垂直走査方向に１０８０本並ぶ形式である。画像を３０Ｈｚのリフレッシュレートで表示する場合に、垂直走査方向の走査の周期は、３３ミリ秒（１／３０秒）程度になる。例えば、垂直走査方向に走査する第２走査ミラー２６は、回動範囲の一端から他端まで約３３ミリ秒で回動することにより、１フレームの画像の垂直走査方向の走査を行う。タイミング生成回路４３は、垂直走査信号ＶＳＳとして、第２走査ミラー２６が各フレームの最初の水平走査線の描画を開始する時刻を規定する信号を生成する。垂直走査信号ＶＳＳは、例えば、約３３ミリ秒の周期で立ち上がる波形である。

水平走査線あたりの描画時間（点灯時間）は、例えば、約３１マイクロ秒（１／３０／１０８０秒）程度になる。例えば、第１走査ミラー２４は、回動範囲の一端から他端までを約３１マイクロ秒で回動することにより、水平走査線の１本分に相当する走査を行う。タイミング生成回路１４３は、水平走査信号ＨＳＳとして、第１走査ミラー２４が各水平走査線の走査を開始する時刻を規定する信号を生成する。水平走査信号ＨＳＳは、例えば、約３１マイクロ秒の周期で立ち上がる波形である。

画素あたりの点灯時間は、例えば、約１６ナノ秒（１／３０／１０８０／１９２０秒）程度になる。例えば、光源２０は、射出するレーザー光の光強度が画素値に応じて約１６ナノ秒の周期で切り替わることにより、各画素を表示する。タイミング生成回路１４３は、光源２０が点灯するタイミングを規定する点灯信号を生成する。点灯信号は、例えば、約１６ナノ秒の周期で立ち上がる波形である。

タイミング生成回路１４３は、生成した水平走査信号ＨＳＳを第１駆動部２５に供給する。第１駆動部２５は、水平走査信号ＨＳＳに従って第１走査ミラー２４を駆動する。タイミング生成回路１４３は、生成した垂直走査信号ＶＳＳを第２駆動部２７に供給する。第２駆動部２７は、垂直走査信号ＶＳＳに従って第２走査ミラー２６を駆動する。

タイミング生成回路１４３は、生成した水平走査信号ＨＳＳ、垂直走査信号ＶＳＳ、及び点灯信号を画像処理回路１４１に供給する。画像処理回路１４１は、画像データの階調データにガンマ処理等の各種画像処理を行う。また、画像処理回路１４１は、階調データが走査部２２の走査方式に整合した時間順次で変調回路１４２に出力されるように、タイミング生成回路１４３から供給されたタイミング信号に基づいて、階調データを調整する。画像処理回路１４１は、例えば、階調データをフレームバッファに記憶させておき、この階調データに含まれる画素値を表示される画素の順に読み出して、変調回路１４２に出力する。

変調回路１４２は、例えば、光源２０から射出されるレーザー光の強度が画素ごとの階調に対応して時間変化するように、光源２０の出力を調整する。当該変形例において、変調回路１４２は、画素値に応じて振幅が変化する波形信号を生成し、この波形信号により光源２０を駆動する。これにより、光源２０に供給される電流が画素値に応じて時間変化し、光源２０から射出されるレーザー光の光強度が画素値に応じて時間変化する。このように、タイミング生成回路１４３が生成したタイミング信号は、光源２０と走査部２２との同期をとるのに使われる。

当該変形例において、照射部２は、一例として、照射部コントローラ１５０と、光源１５１と、投影光学系７と、を備える。照射部コントローラ５０は、光源１５１の点灯および消灯を制御する。光源１５１は、検出光としてレーザー光を射出する。照射部２は、光源５１から射出されたレーザー光を投影光学系７によって所定の２方向（例、第１方向および第２方向）に偏向し、レーザー光で組織ＢＴを走査する。

光源１５１は、一例として、レーザー光源１５１ａと、レーザー光源１５１ｂと、レーザー光源１５１ｃとを含む複数のレーザー光源を備える。レーザー光源１５１ａ、レーザー光源１５１ｂ、及びレーザー光源１５１ｃは、いずれも赤外光を射出するレーザー素子を含み、射出する赤外光の波長が互いに異なる。レーザー光源１５１ａは、第１波長を含み、第２波長および第３波長を含まない波長帯の赤外光を射出する。レーザー光源１５１ｂは、第２波長を含み、第１波長および第３波長を含まない波長帯の赤外光を射出する。レーザー光源１５１ｃは、第３波長を含み、第１波長および第２波長を含まない波長帯の赤外光を射出する。

照射部コントローラ１５０は、一例として、レーザー光源１５１ａ、レーザー光源１５１ｂ、及びレーザー光源１５１ｃのそれぞれにレーザー素子の駆動用の電流を供給する。照射部コントローラ１５０は、レーザー光源１５１ａに電流を供給してレーザー光源１５１ａを点灯させ、レーザー光源１５１ａへの電流の供給を停止してレーザー光源１５１ａを消灯させる。照射部コントローラ１５０は、制御装置６に制御されて、レーザー光源１５１ａへの電流の供給を開始または停止する。例えば、制御装置６は、レーザー光源１５１ａを点灯あるいは消灯するタイミングを、照射部コントローラ１５０を介して制御する。同様に、照射部コントローラ１５０は、レーザー光源１５１ｂ及びレーザー光源１５１ｃのそれぞれを点灯あるいは消灯する。制御装置６は、レーザー光源１５１ｂ及びレーザー光源１５１ｃのそれぞれについて、点灯あるいは消灯するタイミングを制御する。

投影光学系７は、導光部１５２と、走査部２２を備える。走査部２２は、上述の実施形態と同様の構成であり、第１走査ミラー２４および第１駆動部２５（水平走査部）と、第２走査ミラーおよび第２駆動部２７（垂直走査部）とを備える。導光部１５２は、レーザー光源１５１ａ、レーザー光源１５１ｂ、及びレーザー光源１５１ｃのそれぞれから射出される検出光を、投影部５の光源２０から射出される可視光と同じ光路を通るように、走査部２２へ導く。

導光部１５２は、一例として、ミラー１５３と、波長選択ミラー５４ａと、波長選択ミラー１５４ｂと、波長選択ミラー１５４ｃと、を備える。ミラー１５３は、レーザー光源１５１ａから射出された第１波長の検出光が入射する位置に配置されている。

波長選択ミラー１５４ａは、例えば、ミラー１５３で反射した第１波長の検出光と、レーザー光源１５１ｂから射出された第２波長の検出光とが入射する位置に配置されている。波長選択ミラー１５４ａは、第１波長の検出光が透過し、第２波長の検出光が反射する特性を有する。

波長選択ミラー１５４ｂは、波長選択ミラー１５４ａを透過した第１波長の検出光と、波長選択ミラー１５４ｂで反射した第２波長の検出光と、レーザー光源１５１ｃから射出された第３波長の検出光とが入射する位置に配置されている。波長選択ミラー１５４ｂは、第１波長の検出光および第２波長の検出光が反射し、第３波長の検出光が透過する特性を有する。

波長選択ミラー１５４ｃは、波長選択ミラー１５４ｂで反射した第１波長の検出光および第２波長の検出光、波長選択ミラー１５４ｂを透過した第３波長の検出光、並びに光源２０から射出された可視光が入射する位置に配置されている。波長選択ミラー１５４ｃは、第１波長の検出光、第２波長の検出光、及び第３波長の検出光が反射し、可視光が透過する特性を有する。

波長選択ミラー１５４ｃで反射した第１波長の検出光、第２波長の検出光、及び第３波長の検出光と、波長選択ミラー１５４ｃを透過した可視光は、いずれも同じ光路を通って、走査部２２の第１走査ミラー２４に入射する。走査部２２に入射した第１波長の検出光、第２波長の検出光、及び第３波長の検出光は、それぞれ、画像の投影用の可視光と同様に走査部２２によって偏向される。このように、照射部２は、第１波長の検出光、第２波長の検出光、及び第３波長の検出光のそれぞれで、走査部２２を用いて組織ＢＴ上を走査可能である。したがって、本実施形態における走査型投影装置１は、走査型の撮影機能と走査型の画像投影機能との両方を備える構成である。

当該変形例において、光検出部３は、照射部２によってレーザースキャニングされている組織ＢＴから放射された光を検出する。光検出部３は、検出した光の光強度と、照射部２から照射されたレーザー光の位置情報とを関連付けることにより、照射部２がレーザー光を走査する範囲における、組織ＢＴから放射される光の光強度の空間分布を検出する。光検出部３は、一例として、集光レンズ１５５と、光センサー１５６と、画像メモリ１５７と、を備える。

光センサー１５６は、シリコンＰＩＮフォトダイオードやＧａＡｓフォトダイオードなどのフォトダイオードを含む。集光レンズ１５５は、組織ＢＴから放射される光の少なくとも一部を光センサー１５６のフォトダイオードに集光する。集光レンズ１５５は、組織ＢＴ（検出光の照射領域）の像を形成しなくてもよい。

画像メモリ１５７は、光センサー１５６から出力されたデジタル信号を記憶する。画像メモリ１５７には、投影部コントローラ２１から水平走査信号ＨＳＳおよび垂直走査信号ＶＳＳが供給され、画像メモリ１５７は、水平走査信号ＨＳＳおよび垂直走査信号ＶＳＳを使って、光センサー１５６から出力された信号を画像形式のデータに変換する。例えば、画像メモリ１５７は、垂直走査信号ＶＳＳの立ち上がりから立ち下りまでの期間に光センサー１５６から出力された検出信号を、１フレームの画像データとする。光検出部３は、検出した画像データを制御装置６に供給する。

制御装置６は、照射部２が照射する検出光の波長を制御する。制御装置６は、照射部コントローラ１５０を制御することによって、光源１５１から射出される検出光の波長を制御する。制御装置６は、レーザー光源１５１ａ、レーザー光源１５１ｂ、及びレーザー光源１５１ｃの点灯あるいは消灯のタイミングを規定する制御信号を、照射部コントローラ１５０に供給する。照射部コントローラ１５０は、制御装置６から供給された制御信号に基づき、第１波長の光を射出するレーザー光源１５１ａ、第２波長の光を射出するレーザー光源１５１ｂ、及び第３波長の光を射出するレーザー光源１５１ｃを選択的に点灯させる。

例えば、制御装置６は、照射部２に第１波長の光を照射させている第１の期間に、組織ＢＴから放射される光を光検出部３に検出させる。制御装置６は、照射部２に第２波長の光を照射させている第２の期間に、組織ＢＴから放射される光を光検出部３に検出させる。制御装置６は、照射部２に第３波長の光を照射させている第３の期間に、組織ＢＴから放射される光を光検出部３に検出させる。制御装置６は、光検出部３を制御して、第１の期間における光検出部３の検出結果と、第２の期間における光検出部３の検出結果と、第３の期間における光検出部３の検出結果とを別々に、画像生成部４へ出力させる。

図１９は、照射部２および投影部５の動作の一例を示すタイミングチャートである。図１９には、第１走査ミラー２４の角度位置、第２走査ミラー２６の角度位置、及び各光源に供給される電力を示した。第１期間Ｔ１は、１フレームの表示期間に相当し、その長さはリフレッシュレートが３０Ｈｚである場合に１／３０秒程度である。第２期間Ｔ２、第３期間Ｔ３、及び第４期間Ｔ４についても同様である。

第１期間Ｔ１において、制御装置６は、第１波長用のレーザー光源１５１ａを点灯状態にする。また、第１期間Ｔ１において、制御装置６は、第２波長用のレーザー光源１５１ｂおよび第３波長のレーザー光源１５１ｃを消灯状態にする。

第１期間Ｔ１において、第１走査ミラー２４および第２走査ミラー２６は、投影部５が画像を投影する際と同じ条件で動作する。第１期間Ｔ１において、第１走査ミラー２４は、回動範囲の一端から他端までの回動を、水平走査線の数だけ繰り返す。第１走査ミラー２４の角度位置において、立ち上がりから次の立ち上がりまでの単位波形は、１本の水平走査線を走査する間の角度位置に相当する。例えば、投影部５が投影する画像がフルＨＤ形式である場合に、第１期間Ｔ１には、第１走査ミラー２４の角度位置における単位波形が１０８０周期含まれる。第１期間Ｔ１において、第２走査ミラー２６は、回動範囲の一端から他端までの回動を１回行う。

このような走査部２２の動作によって、レーザー光源１５１ａから射出された第１波長のレーザー光は、組織ＢＴ上の走査範囲の全域を走査する。制御装置６は、第１期間Ｔ１において光検出部３が検出した結果に相当する第１検出画像データを、光検出部３から取得する。

第２期間Ｔ２において、制御装置６は、第２波長用のレーザー光源１５１ｂを点灯状態にする。第２期間Ｔ２において、制御装置６は、第１波長用のレーザー光源５１ａおよび第３波長用のレーザー光源１５１ｃを消灯状態にする。第２期間Ｔ２において、第１走査ミラー２４および第２走査ミラー２６は、第１期間Ｔ１と同様に動作する。これにより、レーザー光源１５１ｂから射出された第２波長のレーザー光は、組織ＢＴ上の走査範囲の全域を走査する。制御装置６は、第２期間Ｔ２において光検出部３が検出した結果に相当する第２検出画像データを、光検出部３から取得する。

第３期間Ｔ３において、制御装置６は、第３波長用のレーザー光源１５１ｃを点灯状態にする。第３期間Ｔ３において、制御装置６は、第１波長用のレーザー光源１５１ａおよび第２波長用のレーザー光源１５１ｂを消灯状態にする。第３期間Ｔ３において、第１走査ミラー２４および第２走査ミラー２６は、第１期間Ｔ１と同様に動作する。これにより、レーザー光源１５１ｃから射出された第３波長のレーザー光は、組織ＢＴ上の走査範囲の全域を走査する。制御装置６は、第３期間Ｔ３において光検出部３が検出した結果に相当する第３検出画像データを、光検出部３から取得する。

図１８に示した画像生成部４は、第１検出画像データ、第２検出画像データ、及び第３検出画像データを使って成分画像を生成し、成分画像データを投影部５に供給する。画像生成部４は、上述の実施形態で説明した撮録画像データの代わりに検出画像データを使うことによって、成分画像を生成する。例えば、算出部１５は、光検出部３が検出した光の光強度の時間変化を使って、組織ＢＴの成分に関する情報を算出する。

第４期間Ｔ４において、図１８に示した投影部コントローラ２１は、制御装置６から供給された成分画像データを使って、画素値に応じて振幅が時間変化する駆動電力波を投影用の光源２０に供給するとともに、走査部２２を制御する。このように投影部５は、第４期間Ｔ４において、成分画像を組織ＢＴ上に投影する。

当該変形例に係る画像処理システム１は、検出光で組織ＢＴをレーザースキヤンしながら、組織ＢＴから放射される光を光センサー１５６によって検出し、組織ＢＴの撮影画像データに相当する検出画像データを取得する。このような光センサー１５６は、画素の数がイメージセンサーよりも少ないものであってもよい。そのため、走査型投影装置１は、小型化や軽量化、低コスト化などが可能である。光センサー１５６の受光面積を、イメージセンサーの１画素の受光面積よりも大きくすることが容易であり、光検出部３の検出精度を高めることができる。

当該変形例において、照射部２は、射出する光の波長が互いに異なる複数の光源を含み、複数の光源のうち点灯する光源を時間的に切り替えて検出光を照射する。そのため、波長がブロードな検出光を照射する構成と比較して、光検出部３によって検出しない波長の光を減らすことができる。そのため、例えば検出光によって組織ＢＴに付与される単位時間当たりのエネルギーを減らすことができ、検出光Ｌ１による組織ＢＴの昇温を抑制することができる。検出光によって組織ＢＴに付与される単位時間当たりのエネルギーを増すことなく検出光の光強度を強くすることもでき、光検出部３の検出精度を高めることができる。

図１９において、第１期間Ｔ１と第２期間Ｔ２と第３期間Ｔ３とが、照射部２が検出光を照射する照射期間であり、組織ＢＴから放射された光を光検出部３が検出する検出期間である。投影部５は、照射期間と検出期間の少なくとも一部において、画像を投影しない。そのため、投影部５は、投影された画像がちらついて視認されるように、画像を表示することができる。そのため、ユーザは成分画像などを組織ＢＴから識別しやすくなる。

なお、投影部５は、照射期間と検出期間の少なくとも一部において、画像を投影してもよい。例えば、画像処理システム１は、光検出部３が第１の検出期間に検出した結果を使って第１成分画像を生成し、第１の検出期間よりも後の第２の検出期間の少なくとも一部において第１成分画像を組織ＢＴ上に投影してもよい。例えば、投影部５が画像を投影している間に、照射部２が検出光を照射するとともに光検出部３が光を検出してもよい。画像生成部４は、投影部５が第１フレームの画像を表示している開に、第１フレームの後に投影する第２フレームの画像のデータを生成してもよい。画像生成部４は、第１フレームの画像が表示されている間に光検出部３が検出した結果を使って、第２フレームの画像のデータを生成してもよい。投影部５は、上記のような第１フレームの画像の次に第２フレームの画像を投影してもよい。

なお、当該変形例において、照射部２は、複数の光源のうち点灯する光源を択一的に切り替えて検出光を照射するが、複数の光源のうち２以上の光源を並行して点灯させて検出光を照射してもよい。例えば、照射部コントローラ１５０は、レーザー光源１５１ａ、レーザー光源１５１ｂ、及びレーザー光源１５１ｃがいずれも点灯状態となるように、光源１５１を制御してもよい。この場合に、光検出部３は、図１６のように組織ＢＴから放射された光を、波長分離して波長ごとに検出してもよい。

（７）投影装置への展開
図１等で示される構成では、投影部５と制御装置６とは独立の処理部（構成）として示され、機能が説明されているが、例えば、投影部５と制御装置６の機能を一体で構成し、投影装置として提供しても良いし、例えば、投影部５と制御装置６の画像生成部４以外の機能を一体で構成し、投影装置として提供しても良い。

投影部５と制御装置６の画像生成部４以外の機能を一体で構成する場合、投影装置は、例えば、生物組織に可視光を照射する投影部と、表示装置（赤外光が照射される生物組織から放射される光を検出する光検出部による検出結果を用いて生成された生物組織の画像を表示する）３１に対する入力に応答して、生物組織に対して入力の内容を反映するように投影部による投影動作を制御する制御部と、を備えることとなる。

投影部５と制御装置６の機能を一体で構成する場合、投影装置は、例えば、生物組織に可視光を照射し、生物組織に図形を投影する投影部と、赤外光が照射される生物組織から放射される光を検出する光検出部による検出結果を解析して生物組織の患部を特定し、当該患部の情報を解析結果として表示装置に送信し、表示装置に患部の情報と光検出部の検出結果に基づいて生成された画像とを重ねて表示させるようにするとともに、解析結果に基づいて投影部による生物組織の患部に対する図形の投影を制御する制御部と、を備えることになる。

（８）蛍光観察への応用
蛍光観察への適用例として、本実施形態における画像処理システム１は、インドシニアングリーン（ＩＣＧ）などの生体適応蛍光剤を含む溶液を生体（例、組織ＢＴ）に注入し、この蛍光剤が特定の組織に集まる性質を利用して組織ＢＴを観察することができる。図２０は、当該機能及び構成の概要を説明するための図である。図２０における画像処理システム１の構成は図１と同様であるため、構成の詳細な説明は省略する。

蛍光観察の場合、例えば、インドシニアングリーン（ＩＣＧ）が組織ＢＴに注入される。例えば、組織ＢＴのうち特定の部位（例えば腫瘍）に注入されたＩＣＧが集まっている場合に、本実施形態における光源２０１から波長７６０ｎｍの励起光を組織ＢＴに照射すると、その特定の部位から波長８３０ｎｍの蛍光が生じる。例えば、図２０の光源２０１は波長７６０ｎｍの光を射出するＬＥＤ光源であり、光源２０１は制御部４によって制御される。また、例えば、光検出部３は組織ＢＴから放射される蛍光の波長８３０ｎｍに検出感度を有するように構成される。例えば、制御部４の制御によって光源２０１を発光させている状態で光検出部３が組織ＢＴを撮像することによって、画像処理システム１は組織ＢＴのうちＩＣＧが多く集まっている特定の部位（箇所）２０２において照度が高い画像データを得ることができる。画像処理システム１は、この得られた照度が高い画像データを所定の閾値で階調化（例、２値化）して生成した画像（階調化画像）を組織ＢＴに投影させることによって、ＩＣＧの照合状態（又は集合状態）をユーザに肉眼で観察させることができる。

また、蛍光観察モードにおいて、例えば、上述の機能２や機能３を実行するようにしても良い。例えば、機能２を実行する場合、図２０で示される画像処理システム１では、表示装置３１の画面上に組織ＢＴの撮影画像が表示された状態で、ユーザ（例えば、手術者）が入力装置を用いて、例えば特定部位２０２にマーキング（任意の図形）を入力（描画）すると、制御装置６は投影部５を制御し、入力されたマーキングと同じ図形をマーキングが入力された位置と同一の組織ＢＴ（特定部位）上の位置に可視光で投影する。このように表示画面上で入力された図形と同一の図形を組織ＢＴ上の同じ位置に投影することにより、蛍光観察においてもユーザは画面上で確認した箇所に対応する組織ＢＴ（例えば特定部位）上の箇所を適切、かつ容易に処置（手術や検査等）することが可能となる。

（９）マルチモダリティーへの応用
マルチモダリティーへの適用例として、本実施形態における画像処理システム１は、上記した入力された図形などを組織ＢＴに投影する機能の他に、ＭＲＩや超音波画像診断機器などの他の画像診断装置から入力される情報（例、画像）を組織ＢＴに投影する機能を備えても良い。図２１は、当該機能および構成の概要を説明するための図である。図２１における画像処理システム１の構成は図１と同様であるため、構成の詳細な説明は省略する。

記憶装置２１１は、他（外部）の画像診断機器（例、ＭＲＩや超音波画像診断機器）によって予め取得（採取）された組織ＢＴの情報（例、組織ＢＴの画像２１２）を格納した記憶部である。例えば、この画像２１２は、制御装置によって読み出され、表示装置３１に表示されるとともに、投影部を介して組織ＢＴに投影される。また、例えば、このとき、画像２１２の色、位置や大きさ等は、入力装置３２によって操作者が任意に設定可能である。このような構成によって、操作者は、組織ＢＴと画像２１２とを直接目視できるので、他の画像診断機器で強調された画像をもとに所定の処置を行うことができる。また、例えば、画像処理システム１は、撮像装置３で撮影された近赤外画像と画像２１２とを重ねて表示装置に表示してもよいし、撮像装置３で撮影された近赤外画像と画像２１２とを重ねて組織ＢＴに投影しても良い。例えば、記憶装置２１１はインターネットなどで接続されたクラウドであっても良い。

＜他の一実施形態＞
（i）画像処理システム１は、一般的な手術のように組織ＢＴを傷つける処理の他に、組織ＢＴを傷つけない各種処理など、医療用途や検査用途、調査用途等に対して適用することができる。例えば、画像処理システム１は、採血、病理解剖、病理診断（術中迅速診断を含む）、生体検査（生検）などの臨床検査、バイオマーカ探索用の採材支援などにも利用できる。また、例えば、組織ＢＴは、人間の組織（例、身体組織など）であってもよいし、人間以外の生物の組織であってもよい。例えば、組織ＢＴは、生物から切り取った状態の組織であってもよいし、生物に付随した状態の組織であってもよい。また、例えば、組織ＢＴは、生存している生物の組織（例、生体組織など）であってもよいし、死亡後の生物（死体）の組織であってもよい。組織ＢＴは、生物から摘出した物体であってもよい。例えば、組織ＢＴは、生物のいずれの器官を含んでいてもよく、皮膚を含んでいてもよいし、皮膚よりも内側の内臓などを含んでいてもよい。そこで、組織ＢＴを生物組織と称することができる。

（ii）本実施形態による画像処理システム１は、図１に示されるように全ての構成が同一箇所に配置されるようにしても良いが、少なくとも照射部（照射装置）２、光検出部（赤外光カメラ等の光検出装置）３、及び投影部（投影装置）５が組織ＢＴを処理する場所（一例として、手術室や検査室等）に設置されていれば良く、制御装置６、表示装置３１、及び入力装置３２は遠隔的に設置されていても良い。この場合、制御装置６は光検出部３や投影部５とはネットワークを介して接続されるようにすればよい。表示装置３１や入力装置３２がネットワークを介してさらに別の場所に設置されていても良い。

（iii）本実施形態による画像処理システムでは、生物組織（組織ＢＴ）の画像（撮影画像）を表示装置の画面上に表示している状態で、当該画像に対して入力があった場合に、当該入力の内容を反映して投影部（投影装置）による投影動作を制御するようにしている。生物組織上における入力内容の反映位置は、表示画像上の入力位置に対応する。ここで入力とは、表示装置の画面上で描画される図形、入力される文字や記号、表示されている図形等の選択等を含むものである。このようにすることにより、画面に表示されている画像に対するアクションをそのまま実際の生物組織に反映することができる。よって、操作者は、医療行為や検査行為等の対象箇所を適切、かつ容易に確認・特定することができ、各種処理をスムーズに進行することが可能となる。本実施形態によれば、医療行為や検査行為等を十分かつ適切に支援することが可能となる。

当該画像処理システムでは、撮影光学系と投影光学系とを同軸の光学系で構成している。よって、表示装置の画面と組織ＢＴの位置合わせが不要となり、画像処理における負荷を軽減することが可能となる。

当該画像処理システムでは、光検出部（一例として赤外光センサー）による検出結果を解析し、当該解析の結果（成分画像）を撮影画像と共に表示装置の画面上に表示しても良い。このようにすることにより、生物組織（組織ＢＴ）上でだけでなく、画面上でも患部として特定された箇所（成分画像）を確認することができる。

当該画像処理システムでは、解析によって複数の患部候補（複数個所の成分画像）を特定し、当該複数の患部候補の情報を表示装置の画面上に表示する。そして、画像処理システムは、複数の患部候補の情報のうち少なくとも１つの選択入力に応答して、選択入力を投影装置（投影部）による投影に反映させる。このように、画像処理システム１は、成分分析の結果、患部の可能性のある箇所を画面上に表示することにより、処置する患部箇所として疑義のある特定部位を提示することができ、かつその中から患部であると確信を持てる箇所を容易に特定し、医療行為や検査行為等を適切に実施することができるようになる。

当該画像処理システムでは、撮影動作（光検出部（一例として赤外光センサー）による検出動作）と投影装置による入力の内容の投影動作を時分割で実行するようにしても良い。これにより、リアルタイムで撮影動作と投影動作を同時に行う場合に、生物組織（組織ＢＴ）上に投影された画像が撮影動作に悪影響を与えることを回避することができるようになる。

当該画像処理システムでは、投影部（投影装置）からの可視光の波長を所定時間間隔単位で切り替えながら生物組織（組織ＢＴ）に照射してもよいし、当該可視光を点滅させながら生物組織に照射するようにしても良い。このように投影画像を強調表示することにより、生物組織に投影された画像を見易くすることができる。

当該画像処理システムでは、操作者（手術者や検査者等）にシャッタ眼鏡（一例として液晶シャッタ眼鏡）を装着させ、当該眼鏡の左眼シャッタと右眼シャッタを交互に所定時間間隔毎に開閉させるようにする。生物組織（組織ＢＴ）を照らすＬＥＤ光源の点灯と投影部（投影装置）からの可視光の照射が交互になるようにＬＥＤ光源及び投影装置をそれぞれ制御する。そして、左眼シャッタ及び右眼シャッタの何れか一方の開閉のタイミング（例えば、左眼シャッタ）とＬＥＤ光源のＯＮ／ＯＦＦのタイミングを一致させる。一方、ＬＥＤ光源のＯＮ／ＯＦＦのタイミングを一致させたシャッタ以外のシャッタ（例えば、右眼シャッタ）の開閉のタイミングと可視光の照射のＯＮ／ＯＦＦのタイミングを一致させる。このように投影画像を強調表示することにより、非常に明るく生物組織が照らされて通常であれば生物組織上に投影された可視光が見えづらい状況であっても、操作者は生物組織上に投影された画像を問題なく見ることができるようになる。なお、当該画像処理システムにおいて、三次元画像を検出するイメージセンサー、及び三次元画像を表示する表示装置を用いても良い。これにより、表示画面上で患部箇所を三次元で確認することができるので、より的確に患部箇所の位置を確認することができる。

（iv）当該画像処理システムでは、光検出部（一例として赤外光センサー）による検出結果を解析して生物組織の患部を特定し、解析結果としての患部の情報（例えば、患部を囲む輪郭線）を、生物組織（組織ＢＴ）全体の撮影画像に重ねて表示させるようにするとともに、生物組織（組織ＢＴ）上に患部の情報（患部を囲む輪郭線）を照射して投影する。このようにすることにより、当該画像処理システムは、単に成分画像を画面上に表示したり、生物組織上に投影するだけでは患部箇所を特定しづらい場合に、より確実に患部箇所が特定できるような情報を提供することができる。

（v）本発明は、実施形態の機能を実現するソフトウェアのプログラムコードによっても実現できる。この場合、プログラムコードを記録した記憶媒体をシステム或は装置に提供し、そのシステム或は装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出す。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコード自体、及びそれを記憶した記憶媒体は本発明を構成することになる。このようなプログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどが用いられる。

また、プログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）などが実際の処理の一部又は全部を行い、その処理によって前述した実施の形態の機能が実現されるようにしてもよい。さらに、記憶媒体から読み出されたプログラムコードが、コンピュータ上のメモリに書きこまれた後、そのプログラムコードの指示に基づき、コンピュータのＣＰＵなどが実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現されるようにしてもよい。

さらに、実施形態の機能を実現するソフトウェアのプログラムコードを、ネットワークを介して配信することにより、それをシステム又は装置のハードディスクやメモリ等の記憶手段又はＣＤ−ＲＷ、ＣＤ−Ｒ等の記憶媒体に格納し、使用時にそのシステム又は装置のコンピュータ（又はＣＰＵやＭＰＵ）が当該記憶手段や当該記憶媒体に格納されたプログラムコードを読み出して実行するようにしても良い。

なお、本実施形態によれば、生物組織に赤外光を照射する赤外光照射装置と、赤外光が照射されている生物組織から放射される光を検出する光検出部と、光検出部による検出結果を用いて生物組織の画像を生成する制御装置と、生成された画像を表示する表示装置と、生物組織に第一光を照射する投影装置と、を備え、制御装置は、生物組織の画像を表示する表示装置に対する入力に応答して、生物組織に対して入力の内容を反映するように投影装置による第一光の照射を制御する、画像処理システムが提供される。

また、本実施形態によれば、生物組織に赤外光を照射する赤外光照射装置と、赤外光が照射されている生物組織から放射される光を検出する光検出部と、光検出部による検出結果を用いて生物組織の画像を生成する制御装置と、生成された画像を表示する表示装置と、生物組織に図形を投影する投影装置と、を備え、制御装置は、光検出部による検出結果を解析して生物組織の患部を特定し、当該患部の情報を解析結果として表示装置に送信し、表示装置に患部の情報と生成された画像とを重ねて表示させるようにするとともに、解析結果に基づいて投影装置による生物組織の患部に対する図形の投影を制御する、画像処理システムが提供される。

本実施形態によれば、赤外光が照射される生物組織から放射される光を検出する光検出部による検出結果を用いて生物組織の画像を生成し、当該生成された画像を表示するように表示装置に送信する制御部を備え、当該制御部は、生物組織の画像を表示する表示装置に対する入力に応答して、生物組織に対して入力の内容を反映するように生物組織に第一光を照射する投影部による照射を制御する、画像処理装置が提供される。

本実施形態によれば、赤外光が照射される生物組織から放射される光を検出する光検出部による検出結果を用いて生物組織の画像を生成し、当該生成された画像を表示するように表示装置に送信する制御部を備え、当該制御部は、光検出部による検出結果を解析して生物組織の患部を特定し、当該患部の情報を解析結果として表示装置に送信し、表示装置に患部の情報と生成された画像とを重ねて表示させるようにするとともに、解析結果に基づいて生物組織に光を照射する投影部による生物組織の患部に対する図形の投影を制御する、画像処理装置が提供される。

本実施形態によれば、生物組織に赤外光を照射することと、赤外光が照射されている生物組織から放射される光を検出することと、生物組織から放射される光の検出結果を用いて生物組織の画像を生成することと、生成された生物組織の画像を表示装置に表示することと、生物組織の画像を表示する表示装置に対する入力に応答して、生物組織に対して入力の内容を反映するように投影装置による第一光の照射を制御することと、を含む、投影方法が提供される。

本実施形態によれば、生物組織に赤外光を照射することと、赤外光が照射されている生物組織から放射される光を検出することと、生物組織から放射される光の検出結果を用いて生物組織の画像を生成することと、生成された生物組織の画像を表示装置に表示することと、検出結果を解析して生物組織の患部を特定し、当該患部の情報を解析結果として表示装置に送信し、表示装置に患部の情報と生成された画像を重ねて表示させるようにすることと、解析結果に基づいて投影装置による生物組織の患部に対する図形の投影を制御することと、を含む、投影方法が提供される。

本実施形態によれば、生物組織に第一光を照射する投影部と、赤外光が照射される生物組織から放射される光を検出する光検出部による検出結果を用いて生成された生物組織の画像を表示する表示装置に対する入力に応答して、生物組織に対して入力の内容を反映するように投影部による前記第一光の照射を制御する制御部と、を備える投影装置が提供される。

本実施形態によれば、生物組織に図形を投影する投影部と、赤外光が照射される生物組織から放射される光を検出する光検出部による検出結果を解析して生物組織の患部を特定し、当該患部の情報を解析結果として表示装置に送信し、表示装置に患部の情報と光検出部の検出結果に基づいて生成された画像とを重ねて表示させるようにするとともに、解析結果に基づいて投影部による生物組織の患部に対する図形の投影を制御する制御部と、を備える投影装置が提供される。

ここで述べたプロセス及び技術は本質的に如何なる特定の装置に関連することはなく、コンポーネントの如何なる相応しい組み合わせによってでも実装できる。更に、汎用目的の多様なタイプのデバイスがここで記述した方法に従って使用可能である。ここで述べた方法のステップを実行するのに、専用の装置を構築するのが有益である場合もある。また、実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

本技術分野の通常の知識を有する者には、本発明のその他の実装がここに開示された本発明の明細書及び実施形態の考察から明らかになる。記述された実施形態の多様な態様及び／又はコンポーネントは、単独又は如何なる組み合わせでも使用することが出来る。

１ 画像処理システム
２ 照射部
３ 光検出部
４ 画像生成部
５ 投影部
６ 制御装置
７ 投影光学系
１１ 撮影光学系
１５ 算出部
１６ データ生成部
２２ 走査部
３１ 表示装置
３２ 入力装置

Claims (24)

1. 生物組織に赤外光を照射する赤外光照射装置と、
   前記赤外光が照射されている前記生物組織から放射される検出光を検出する光検出部と、
   前記光検出部の検出結果を用いて生成された前記生物組織の画像を表示する表示装置と、
   前記生物組織に第一光を照射する投影装置と、
   前記生物組織の画像を表示する前記表示装置に対する入力に基づいて、前記生物組織に対して前記入力の内容を反映するように前記投影装置による前記第一光の照射を制御する制御装置と、
   を備える画像処理システム。
2. 請求項１において、
   前記光検出部の光学系と前記投影装置の光学系とは、同軸の光学系をなしている、画像処理システム。
3. 請求項１又は２において、
   前記制御装置は、前記表示装置に表示された前記生物組織の画像上への入力に基づいて、前記画像における前記入力の入力位置に対応した前記生物組織の位置に前記入力の内容を照射するように前記投影装置を制御する、画像処理システム。
4. 請求項１から３の何れか一項において、
   前記制御装置は、前記光検出部による検出結果を解析し、当該解析の結果を前記表示装置に送信し、
   前記表示装置は、前記画像と共に前記解析の結果を表示する、画像処理システム。
5. 請求項１から４の何れか一項において、
   前記制御装置は、前記光検出部による検出結果を解析することによって複数の患部候補を特定し、当該複数の患部候補の情報を前記表示装置に送信し、
   前記表示装置は、前記画像と共に前記複数の患部候補の情報を表示し、
   前記制御装置は、さらに、前記複数の患部候補の情報のうち少なくとも１つの選択入力に基づいて前記投影装置を制御し、前記選択入力を前記投影装置による前記入力の内容の照射に反映させる、画像処理システム。
6. 請求項４又は５において、
   前記制御装置は、前記光検出による検出結果を解析し、当該解析の結果として前記生物組織における水又は脂質を示すデータを前記表示装置に送信する、画像処理システム。
7. 請求項１から６の何れか一項において、
   前記制御装置は、前記光検出部による検出動作と前記投影装置による前記入力の内容の光照射動作とを時分割で実行する、画像処理システム。
8. 請求項１から７の何れか一項において、
   前記制御装置は、前記第一光の波長を所定時間間隔単位で切り替えながら前記生物組織に照射するように、或いは前記第一光を点滅させながら前記生物組織に照射するように、前記投影装置を制御する、画像処理システム。
9. 請求項１から８の何れか一項において、
   視界制限装置を備え、
   前記生物組織は、ＬＥＤ光源によって照らされ、
   前記視界制限装置は、当該視界制限装置の装着者の左眼の視界と右眼の視界とを交互に所定時間間隔毎に開閉制御し、
   前記制御装置は、前記ＬＥＤ光源の点灯と前記第一光の照射とが交互になるように前記ＬＥＤ光源及び前記投影装置をそれぞれ制御し、
   前記制御装置は、前記左眼の視界及び前記右眼の視界の何れか一方の開閉のタイミングと前記ＬＥＤ光源のＯＮ／ＯＦＦのタイミングとを一致させ、前記ＬＥＤ光源のＯＮ／ＯＦＦのタイミングを一致させた視界以外の視界の開閉のタイミングと前記第一光の照射のＯＮ／ＯＦＦのタイミングとを一致させる、画像処理システム。
10. 請求項１から９の何れか一項において、
    前記光検出部は、三次元画像を検出するイメージセンサーであり、
    前記表示装置は、三次元画像を表示する装置である、画像処理システム。
11. 生物組織に赤外光を照射する赤外光照射装置と、
    前記赤外光が照射されている前記生物組織から放射される検出光を検出する光検出部と、
    前記光検出の検出結果を用いて生成された前記生物組織の画像を表示する表示装置と、
    前記生物組織に光を照射する投影装置と、
    前記光検出部の検出結果を解析して前記生物組織の患部を特定し、前記患部の情報と前記生物組織の画像とを重ねて前記表示装置に表示させるとともに、前記投影装置による前記生物組織に対する前記患部の情報の照射を制御する制御装置と、
    を備える画像処理システム。
12. 請求項１１において、
    前記患部の情報は、前記検出結果を解析して得られる前記患部の位置情報を含む、画像処理システム。
13. 請求項１１又は１２において、
    前記光検出部の光学系と前記投影装置の光学系とは、同軸の光学系をなしている、画像処理システム。
14. 請求項１１から１３の何れか一項において、
    前記制御装置は、前記光検出部による検出動作と前記投影装置による光照射動作とを時分割で実行するように制御する、画像処理システム。
15. 請求項１１から１４の何れか一項において、
    前記投影装置は、第一光を用いて前記患部の情報を前記生物組織に照射し、
    前記制御装置は、前記第一光の波長を所定時間間隔単位で切り替えながら前記生物組織に照射するように、或いは前記第一光を点滅させながら前記生物組織に照射するように、前記投影装置を制御する、画像処理システム。
16. 請求項１１から１５の何れか一項において、
    前記投影装置は、第一光を用いて前記患部の情報を前記生物組織に照射し、
    視界制限装置を備え、
    前記生物組織は、ＬＥＤ光源によって照らされ、
    前記視界制限装置は、当該視界制限装置の装着者の左眼の視界と右眼の視界とを交互に所定時間間隔毎に開閉制御し、
    前記制御装置は、前記ＬＥＤ光源の点灯と前記第一光の照射とが交互になるように前記ＬＥＤ光源及び前記投影装置をそれぞれ制御し、
    前記制御装置は、前記左眼の視界及び前記右眼の視界の何れか一方の開閉のタイミングと前記ＬＥＤ光源のＯＮ／ＯＦＦのタイミングとを一致させ、前記ＬＥＤ光源のＯＮ／ＯＦＦのタイミングを一致させた視界以外の視界の開閉のタイミングと前記第一光の照射のＯＮ／ＯＦＦのタイミングとを一致させる、画像処理システム。
17. 請求項１１から１６の何れか一項において、
    前記表示装置は、三次元画像を表示する装置である、画像処理システム。
18. 請求項１１から１７の何れか一項において、
    前記制御装置は、前記光検出部の検出結果を解析して前記生物組織における複数の前記患部に関する情報と前記生物組織の画像とを重ねて前記表示装置に表示させる、画像処理システム。
19. 赤外光が照射される生物組織から放射される検出光を検出する光検出部による検出結果を用いて前記生物組織の画像を生成し、当該生成された画像を表示するように表示装置に送信する制御部を備え、
    前記制御部は、前記生物組織の画像を表示する前記表示装置に対する入力に基づいて、前記生物組織に対して前記入力の内容を反映するように前記生物組織に光を照射する投影部による照射を制御する、画像処理装置。
20. 赤外光が照射される生物組織から放射される検出光を検出する光検出部による検出結果を用いて前記生物組織の画像を生成し、当該生成された画像を表示するように表示装置に送信する制御部を備え、
    前記制御部は、前記光検出部の検出結果を解析して前記生物組織の患部を特定し、前記患部の情報と前記生物組織の画像とを重ねて前記表示装置に表示させるとともに、前記生物組織に光を照射する投影部による前記生物組織に対する前記患部の情報の照射を制御する、画像処理装置。
21. 生物組織に赤外光を照射することと、
    前記赤外光が照射されている前記生物組織から放射される検出光を検出することと、
    前記検出光の検出結果を用いて前記生物組織の画像を生成することと、
    前記生物組織の画像を表示装置に表示することと、
    前記生物組織の画像を表示する前記表示装置に対する入力に基づいて、前記生物組織に対して前記入力の内容を反映するように投影装置による光の照射を制御することと、を含む、投影方法。
22. 生物組織に赤外光を照射することと、
    前記赤外光が照射されている前記生物組織から放射される検出光を検出することと、
    前記検出光の検出結果を用いて前記生物組織の画像を生成することと、
    前記生物組織の画像を表示装置に表示することと、
    前記検出結果を解析して前記生物組織の患部を特定し、前記患部の情報と前記生物組織の画像とを重ねて前記表示装置に表示させることと、
    前記生物組織に光を照射する投影装置による前記生物組織に対する前記患部の情報の照射を制御することと、
    を含む、投影方法。
23. 生物組織に第一光を照射する投影部と、
    赤外光が照射される前記生物組織から放射される検出光を検出する光検出部による検出結果を用いて生成された前記生物組織の画像を表示する表示装置に対する入力に基づいて、前記生物組織に対して前記入力の内容を反映するように前記投影部による前記第一光の照射を制御する制御部と、
    を備える投影装置。
24. 生物組織に光を照射する投影部と、
    赤外光が照射される前記生物組織から放射される検出光を検出する光検出部による検出結果を解析して前記生物組織の患部を特定し、前記患部の情報と前記生物組織の画像とを重ねて表示装置に表示させるとともに、前記投影部による前記生物組織に対する前記患部の情報の照射を制御する制御部と、
    を備える投影装置。

Images