JP6085382B1 - Projection apparatus and projection system - Google Patents
Projection apparatus and projection system Download PDFInfo
- Publication number
- JP6085382B1 JP6085382B1 JP2016037386A JP2016037386A JP6085382B1 JP 6085382 B1 JP6085382 B1 JP 6085382B1 JP 2016037386 A JP2016037386 A JP 2016037386A JP 2016037386 A JP2016037386 A JP 2016037386A JP 6085382 B1 JP6085382 B1 JP 6085382B1
- Authority
- JP
- Japan
- Prior art keywords
- image
- projection
- excitation light
- fluorescence
- subject
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Transforming Electric Information Into Light Information (AREA)
Abstract
【課題】被写体の撮像画像に基づく投影動作を行う投影装置において、精度良く被写体の撮像を行うことができる投影装置を提供する。【解決手段】投影装置（２０）は、光源部（２３０）と、撮像部（２１０）と、投影部（２２０）と、制御部（２５０）とを備える。光源部は、被写体に励起光（３００）を照射する。撮像部は、励起光によって被写体が発する蛍光（３１０）に基づく蛍光画像（ＩＡ）を撮像する。投影部は、蛍光画像に基づく投影画像（Ｇ１３）を被写体に投影する。制御部は、撮像部により撮像された蛍光画像に基づき投影画像を制御する。撮像部は、蛍光画像に加えて、被写体における励起光の照度分布を示す励起光画像（ＩＢ）を撮像する。制御部は、励起光画像に基づいて、被写体における励起光の照度の違いによる影響を、補正前の蛍光画像よりも低減するように蛍光画像を補正する。【選択図】図７In a projection apparatus that performs a projection operation based on a captured image of a subject, a projection apparatus that can accurately capture a subject is provided. A projection device (20) includes a light source unit (230), an imaging unit (210), a projection unit (220), and a control unit (250). The light source unit irradiates the subject with excitation light (300). The imaging unit captures a fluorescence image (IA) based on the fluorescence (310) emitted from the subject by the excitation light. The projection unit projects a projection image (G13) based on the fluorescence image onto the subject. The control unit controls the projection image based on the fluorescence image captured by the imaging unit. The imaging unit captures an excitation light image (IB) indicating the illuminance distribution of excitation light in the subject in addition to the fluorescence image. Based on the excitation light image, the control unit corrects the fluorescent image so that the influence of the difference in illuminance of the excitation light on the subject is reduced as compared to the fluorescent image before correction. [Selection] Figure 7
Description
本開示は、被写体の撮像画像に基づく投影動作を行う投影装置及び投影システムに関する。 The present disclosure relates to a projection apparatus and a projection system that perform a projection operation based on a captured image of a subject.
特許文献１は、医療分野において用いられる光学撮像システムを開示している。特許文献１の光学撮像システムは、術野を撮像する電子撮像装置と、手術中の術野の撮像結果の可視光像を投影するプロジェクタと、電子撮像装置及びプロジェクタの光軸を同一の光軸に揃える光学素子とを備える。特許文献１では、撮像データに対して拡大、縮小、回転及び並進などの変換を行う変換行列を用いて、同一光軸上の撮像画像と投影画像との対応関係を手術前に予め調整することにより、手術時に投影画像を正確に投影するためのキャリブレーションを行っている。
本開示の目的は、被写体の撮像画像に基づく投影動作を行う投影装置において、精度良く被写体の撮像を行うことができる投影装置及び投影システムを提供することである。 An object of the present disclosure is to provide a projection device and a projection system that can accurately capture an image of a subject in a projection device that performs a projection operation based on a captured image of the subject.
本開示における投影装置は、光源部と、撮像部と、投影部と、制御部とを備える。光源部は、被写体に励起光を照射する。撮像部は、励起光によって被写体が発する蛍光に基づく蛍光画像を撮像する。投影部は、蛍光画像に基づく投影画像を被写体に投影する。制御部は、撮像部により撮像された蛍光画像に基づき投影画像を制御する。撮像部は、蛍光画像に加えて、被写体における励起光の照度分布を示す励起光画像を撮像する。制御部は、励起光画像に基づいて、被写体における励起光の照度の違いによる影響を、補正前の蛍光画像よりも低減するように蛍光画像を補正する。 The projection device according to the present disclosure includes a light source unit, an imaging unit, a projection unit, and a control unit. The light source unit irradiates the subject with excitation light. The imaging unit captures a fluorescence image based on the fluorescence emitted from the subject by the excitation light. The projection unit projects a projection image based on the fluorescence image onto the subject. The control unit controls the projection image based on the fluorescence image captured by the imaging unit. The imaging unit captures an excitation light image indicating the illuminance distribution of excitation light in the subject in addition to the fluorescence image. Based on the excitation light image, the control unit corrects the fluorescent image so that the influence of the difference in illuminance of the excitation light on the subject is reduced as compared to the fluorescent image before correction.
本開示における投影装置及び投影システムによれば、被写体の撮像画像に基づく投影動作を行う投影装置において、精度良く被写体の撮像を行うことができる。 According to the projection device and the projection system of the present disclosure, it is possible to capture a subject with high accuracy in a projection device that performs a projection operation based on a captured image of the subject.
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。 Hereinafter, embodiments will be described in detail with reference to the drawings as appropriate. However, more detailed description than necessary may be omitted. For example, detailed descriptions of already well-known matters and repeated descriptions for substantially the same configuration may be omitted. This is to avoid the following description from becoming unnecessarily redundant and to facilitate understanding by those skilled in the art.
なお、出願人は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。 The applicant provides the accompanying drawings and the following description in order for those skilled in the art to fully understand the present disclosure, and is not intended to limit the subject matter described in the claims. Absent.
（実施の形態１）
１．構成
１−１．手術支援システムの概要
実施の形態１にかかる投影装置を備えた投影システムの一例である手術支援システムの概要を、図１を用いて説明する。図１は、実施の形態１にかかる手術支援システム１００の構成を示す概略図である。
(Embodiment 1)
1. Configuration 1-1. Outline of Surgery Support System An outline of a surgery support system, which is an example of a projection system including the projection apparatus according to the first embodiment, will be described with reference to FIG. FIG. 1 is a schematic diagram illustrating a configuration of a
手術支援システム１００は、カメラ２１０、プロジェクタ２２０及び励起光源２３０を備える。手術支援システム１００は、手術室等において医師等が患者に対して行う手術を、投影画像を用いて視覚的にサポートするシステムである。手術支援システム１００を使用する場合に、手術を受ける患者１２０には、予め光感受性物質が投与される。
The
光感受性物質は、励起光に反応して蛍光を発する物質である。光感受性物質としては、例えばＩＣＧ（インドシアニングリーン）、５−ＡＬＡ（アミノレブリン酸）及びポリフェリンなどが用いられる。本実施形態では、光感受性物質の一例として、ＩＣＧを用いた場合を説明する。ＩＣＧは、波長７８０ｎｍ近傍の赤外領域の励起光が照射されることにより、波長８２０〜８６０ｎｍの赤外領域の蛍光を発する。 A photosensitive substance is a substance that emits fluorescence in response to excitation light. Examples of the photosensitive substance include ICG (Indocyanine Green), 5-ALA (aminolevulinic acid), polyferrin, and the like. In this embodiment, a case where ICG is used as an example of a photosensitive substance will be described. The ICG emits fluorescence in the infrared region having a wavelength of 820 to 860 nm when irradiated with excitation light in the infrared region in the vicinity of a wavelength of 780 nm.
光感受性物質は、患者１２０に投与されると、血液又はリンパ液の流れが滞っている患部１３０に蓄積する。このため、励起光の照射に応じて蛍光発光する領域を検出することにより、患部１３０の領域を特定することが可能となる。
When the photosensitive substance is administered to the
ここで、患部１３０が発する蛍光は微弱であったり、蛍光の波長帯が非可視領域又は非可視領域近傍であったりするため、医師等は、術野１３５を目視しても、患部１３０の領域を特定することが困難である。そこで、手術支援システム１００では、励起光源２３０から術野１３５に励起光３００を照射し、カメラ２１０を用いて蛍光３１０を発する患部１３０の領域を特定する。さらに、特定した患部１３０が人間に視認可能となるように、プロジェクタ２２０から患部１３０に可視光の投影光３２０を照射する。これにより、特定した患部１３０の領域を可視化する投影画像が投影され、手術を行う医師等による患部１３０の領域の特定をサポートすることができる。
Here, since the fluorescence emitted from the affected
１−２．手術支援システムの構成
以下、手術支援システム１００の構成について、図１を用いて説明する。手術支援システム１００は、病院の手術室内に配置されて使用される。手術支援システム１００は、撮像照射装置２００と、メモリ２４０と、投影制御装置２５０とを備える。
1-2. Configuration of Surgery Support System Hereinafter, the configuration of the
また、図示していないが、手術支援システム１００は、撮像照射装置２００の配置を変更するための機構、例えば、撮像照射装置２００と機械的に接続された駆動アーム、及び手術支援システム１００の一式を載置する台座のキャスターなどを備える。上記の機構により、撮像照射装置２００は、患者１２０が対置される手術台１１０の鉛直上方に配置される。また、手術台１１０は、高さ及び向きを変更可能な駆動機構を備えてもよい。
Although not shown, the
撮像照射装置２００は、カメラ２１０、プロジェクタ２２０、及び励起光源２３０が一体的に組み付けられた装置である。撮像照射装置２００は、図１に示すように、ダイクロイックミラー２０１をさらに備える。撮像照射装置２００の構成の詳細については後述する。
The
メモリ２４０は、投影制御装置２５０が種々の演算を実行する際に、適宜アクセスを行う記憶媒体である。メモリ２４０は、例えばＲＯＭ及びＲＡＭで構成される。
The
投影制御装置２５０は、手術支援システム１００を構成する各部を統括制御する。投影制御装置２５０は、カメラ２１０、プロジェクタ２２０、励起光源２３０、及びメモリ２４０に電気的に接続され、各部をそれぞれ制御するための制御信号を出力する。投影制御装置２５０は、例えばＣＰＵで構成され、所定のプログラムを実行することによってその機能を実現する。なお、投影制御装置２５０の機能は、専用に設計された電子回路や再構成可能な電子回路（ＦＰＧＡ、又はＡＳＩＣ等）により実現されてもよい。
The
投影制御装置２５０は、例えば、カメラ２１０による撮像画像に対して種々の画像処理を行って、投影画像を示す映像信号を生成する。投影制御装置２５０は、本開示における制御部の一例である、撮像照射装置２００、メモリ２４０及び投影制御装置２５０は、本実施形態にかかる投影装置２０を構成する。
For example, the
また、本実施形態において、手術支援システム１００は、表示制御装置１５０と、ディスプレイ１６０と、マウス１７０とを備える。表示制御装置１５０は、例えばＰＣ（パーソナルコンピュータ）で構成され、投影制御装置２５０に接続されている。ディスプレイ１６０は、例えば液晶ディスプレイ又は有機ＥＬディスプレイであり、本開示における表示装置の一例である。
In the present embodiment, the
表示制御装置１５０の操作者１４０は、例えば手術中に、カメラ２１０の撮像画像をディスプレイ１６０において確認することができ、撮像画像による画像診断を行うことができる。また、操作者１４０は、投影画像の種々の設定（例えば蛍光の強度分布に対するしきい値）を変更することができる。
The
１−３．撮像照射装置の構成
次に、撮像照射装置２００の構成の詳細について、図２，３を用いて説明する。図２は、手術支援システムにおける撮像照射装置２００の構成を示すブロック図である。図３は、撮像照射装置２００の光学フィルタ２１３を説明するための図である。
1-3. Configuration of Imaging Irradiation Device Next, details of the configuration of the
励起光源２３０は、光感受性物質を蛍光発光させるための励起光３００を照射する光源装置である。本実施形態では、光感受性物質としてＩＣＧを用いることから、励起光源２３０は、ＩＣＧの励起波長を含む波長帯（例えば７８０ｎｍ±３０ｎｍ）を有する励起光３００を照射する。励起光源２３０は、投影制御装置２５０からの制御信号に従って、励起光３００の照射のＯＮ／ＯＦＦを切り替える。励起光源２３０は、本開示における光源部の一例である。なお、励起光源２３０は、撮像照射装置２００（或いは投影装置２０）とは別体で構成されてもよい。
The
カメラ２１０は、患者１２０の術野１３５などの被写体を撮像して撮像画像を生成する。カメラ２１０は、生成した撮像画像を投影制御装置２５０に伝送する。本実施形態では、カメラ２１０として、可視光領域とともにＩＣＧの蛍光８２０ｎｍ〜８６０ｎｍの波長帯の光に基づき撮像可能な赤外カメラを用いる。カメラ２１０は、本実施形態における撮像部の一例である。カメラ２１０は、図２に示すように、撮像素子２１１と、望遠レンズ２１２と、光学フィルタ２１３とを備える。
The
撮像素子２１１は、例えばＣＣＤイメージセンサ又はＣＭＯＳイメージセンサなどで構成される。撮像素子２１１は、望遠レンズ２１２から入射する光が結像する撮像面を有する。
The image sensor 211 is configured by, for example, a CCD image sensor or a CMOS image sensor. The imaging element 211 has an imaging surface on which light incident from the
望遠レンズ２１２は、カメラ２１０の画角を設定するズームレンズ、及びフォーカスを調整するフォーカスレンズを含む。望遠レンズ２１２は、カメラ２１０における撮像光学系の一例である。望遠レンズ２１２に代えて、標準レンズ、中望遠レンズ又は超望遠レンズが用いられてもよい。
The
光学フィルタ２１３は、蛍光透過フィルタ２１３ａ、励起光透過フィルタ２１３ｂ、及びフィルタ切替え機構２１３ｓを備えて構成される。図２に示すように、光学フィルタ２１３は、望遠レンズ２１２の入射面に配置される。
The
蛍光透過フィルタ２１３ａ及び励起光透過フィルタ２１３ｂは、入射する光のうちで、それぞれ特有の波長帯Ｗａ，Ｗｂの成分を透過し、他の波長帯成分を遮断するバンドパスフィルタである。図３は、励起光３００が有する波長帯Ｗ１、ＩＣＧによる蛍光３１０が有する波長帯Ｗ２、蛍光透過フィルタ２１３ａが透過する波長帯Ｗａ及び励起光透過フィルタ２１３ｂが透過する波長帯Ｗ４をそれぞれ示している。
The fluorescence transmission filter 213a and the excitation
図３に示すように、蛍光透過フィルタ２１３ａの透過波長帯Ｗａは、励起光の波長帯Ｗ１を含まず、蛍光３１０の波長帯Ｗ２の中心波長ｗ２近傍を含んでいる。これにより、蛍光透過フィルタ２１３ａは、励起光３００を遮断して蛍光３１０を透過する。また、励起光透過フィルタ２１３ｂの透過波長帯Ｗｂは、蛍光３１０の波長帯Ｗ２を含まず、励起光３００の波長帯Ｗ１の中心波長ｗ１近傍を含んでいる。これにより、励起光透過フィルタ２１３ｂは、蛍光３１０を遮断して励起光３００を透過する。
As shown in FIG. 3, the transmission wavelength band Wa of the fluorescence transmission filter 213a does not include the excitation light wavelength band W1, but includes the vicinity of the center wavelength w2 of the wavelength band W2 of the
図２に戻り、フィルタ切替え機構２１３ｓは、例えば投影制御装置２５０からの制御信号（フィルタ切替え信号Ｓｆ）に基づき、望遠レンズ２１２への入射光に対して、蛍光透過フィルタ２１３ａと励起光透過フィルタ２１３ｂとを切り替える。フィルタ切替え機構２１３ｓは、例えば各フィルタ２１３ａ，２１３ｂをスライドさせる直動ユニットやアクチュエータ、或いは各フィルタ２１３ａ，２１３ｂを回転させる回転ホイールなどで構成される。本実施形態において、光学フィルタ２１３は、フィルタ切替え機構２１３ｓにより、励起光透過フィルタ２１３ｂを介して励起光３００を透過する第１の状態と、蛍光透過フィルタ２１３ａを介して蛍光３１０を透過する第２の状態とを切り替える。本実施形態では、第２の状態の光学フィルタ２１３は、蛍光透過フィルタ２１３ａにより、励起光を遮断して前記蛍光を透過する。
Returning to FIG. 2, the filter switching mechanism 213 s, for example, based on a control signal (filter switching signal Sf) from the
プロジェクタ２２０は、例えばＤＬＰ方式、３ＬＣＤ方式又はＬＣＯＳ方式などのプロジェクタである。プロジェクタ２２０は、投影制御装置２５０から入力される映像信号に基づく投影画像を可視光で投影するように、投影光３１５を出射する。プロジェクタ２２０は、本実施形態における投影部の一例である。プロジェクタ２２０は、図２に示すように、投影光源２２１と、画像形成部２２２と、投影光学系２２３とを備える。
The
投影光源２２１は、例えばＬＤ（半導体レーザ）、ＬＥＤ又はハロゲンランプなどで構成される。投影光源２２１は、可視光を画像形成部２２２に照射する。投影光源２２１は、プロジェクタ２２０の投影方式に応じて適宜、単色の光源素子のみを有してもよいし、ＲＧＢ等の複数色の光源素子、或いは白色の光源素子を有してもよい。
The
画像形成部２２２は、ＤＭＤ又はＬＣＤなどの空間光変調素子を備える。画像形成部２２２は、空間光変調素子における画像形成面に、投影制御装置２５０からの映像信号に基づく画像を形成する。投影光源２２１からの光が、画像形成部２２２に形成された画像に応じて空間的に変調されることにより、投影光３１５が生成される。
The
投影光学系２２３は、プロジェクタ２２０の画角を設定するズームレンズ、及びフォーカスを調整するフォーカスレンズを含む。また、投影光学系２２３には、各種のレンズ位置をシフトするレンズシフト機構が組み込まれていてもよい。
Projection
なお、プロジェクタ２２０は、例えば台形補正およびレンズシフト機能などのプロジェクタ２２０特有の機能を実現する投影制御回路を有してもよい。また、上記の各機能は、投影制御装置２５０において実現されてもよい。
The
また、プロジェクタ２２０は、レーザ走査式であってもよく、走査方向に駆動可能なＭＥＭＳミラー或いはガルバノミラーを備えて構成されてもよい。
Further, the
ダイクロイックミラー２０１は、入射する光のうちの特定の波長帯成分を透過する一方、その他の波長帯成分を反射する光学特性を有する光学素子である。本実施形態において、ダイクロイックミラー２０１は（ＩＣＧの蛍光を含む）６５０ｎｍを上回る波長帯成分の光を透過し、（可視光を含む）６５０ｎｍを下回る波長帯成分の光を反射する。ダイクロイックミラー２０１は、本実施形態における光学部の一例である。光学部の光学特性は、使用する光感受性物質の蛍光特性に応じて適宜、設定可能である。
The
図２に示すように、ダイクロイックミラー２０１は、カメラ２１０と、プロジェクタ２２０とのそれぞれに対向して配置される。ダイクロイックミラー２０１は、上記の光学特性により、カメラ２１０の撮像面に向かう蛍光３１０を透過する一方、プロジェクタ２２０から照射された投影光３１５を反射する。反射した投影光３２０は、術野１３５上に照射される。
As shown in FIG. 2, the
本実施形態では、ダイクロイックミラー２０１は、術野１３５からの蛍光３１０などのカメラ２１０に入射する入射光の光軸と、術野１３５上に投影画像を投影する投影光３２０の光軸とが、光軸Ｊ１において一致するように導光する。これにより、カメラ２１０の撮像画像に基づく投影画像の位置ずれを低減することができる。
In the present embodiment, the
なお、本開示における光軸の一致には、適宜、許容誤差が設定されてもよい。例えば、角度が±５度の範囲内、或いは光軸の間隔が１ｃｍの範囲内の許容誤差において、各光軸が一致してもよい。また、カメラ２１０とプロジェクタ２２０の光軸を一致させなくてもよい。この場合、ダイクロイックミラー２０１を省略してもよい。
Note that an allowable error may be set as appropriate for the coincidence of the optical axes in the present disclosure. For example, the optical axes may coincide with each other within an allowable error within an angle range of ± 5 degrees or an optical axis interval of 1 cm. Further, the optical axes of the
２．動作
以下、本実施形態にかかる手術支援システム１００の動作について説明する。
2. Operation Hereinafter, operation of the
２−１．手術支援システムの基本的な投影動作
手術支援システム１００の基本的な投影動作について、図４，５Ａ，５Ｂを用いて説明する。図４は、手術支援システム１００における基本的な投影動作を説明するためのフローチャートである。図５Ａは、投影動作を行う前の手術支援システム１００における術野１３５の状態を示す。図５Ｂは、図５Ａの術野１３５に対して投影動作を行った状態を示す。
2-1. Basic Projection Operation of Surgery Support System The basic projection operation of the
図４のフローチャートは、投影制御装置２５０によって実行される。本フローチャートによる処理は、カメラ２１０において光学フィルタ２１３が蛍光透過フィルタ２１３ａに設定された状態で行われる。
The flowchart in FIG. 4 is executed by the
図４のフローチャートにおいて、まず、投影制御装置２５０は、励起光源２３０を駆動して、図５Ａに示すように、励起光３００を術野１３５に照射する（Ｓ１）。励起光３００の照射により、術野１３５における患部１３０が蛍光発光し、患部１３０からの蛍光３１０が撮像照射装置２００に入射する。
In the flowchart of FIG. 4, first, the
撮像照射装置２００において、蛍光３１０は図２に示すように、ダイクロイックミラー２０１を透過し、カメラ２１０の光学フィルタ２１３を透過する。これにより、カメラ２１０は、撮像素子２１１において蛍光３１０を受光する。
In the
次に、投影制御装置２５０は、例えばカメラ２１０を制御して術野１３５を撮像させ、カメラ２１０から撮像画像を取得する（Ｓ２）。撮像画像には、患部１３０が発した蛍光３１０に基づく蛍光発光領域が含まれる。なお、この処理は、所定の周期（例えば１／６０〜１／３０秒）で繰り返し実行される。
Next, for example, the
次に、投影制御装置２５０は、取得した撮像画像に基づく投影画像を生成するための画像処理を行う（Ｓ３）。投影制御装置２５０は、撮像画像中の蛍光発光領域に対応する画像を生成し、映像信号としてプロジェクタ２２０に出力する。
Next, the
ステップＳ３の画像処理において、投影制御装置２５０は、例えば、撮像画像における受光強度の分布に対して所定のしきい値に基づき二値化を行い、撮像画像中の蛍光発光領域の領域を抽出する。次いで、投影制御装置２５０は、メモリ２４０に格納された各種パラメータを参照し、抽出した領域を含む画像に対してシフト、回転、及び拡大／縮小などの座標変換、並びに画像の歪み等の補正などを行う。これにより、撮像画像中の蛍光発光領域に応じた特定の領域を表す画像が生成される。
In the image processing in step S3, for example, the
次に、投影制御装置２５０は、生成した映像信号に基づく投影画像を投影するように、プロジェクタ２２０を制御する（Ｓ４）。投影制御装置２５０の制御により、プロジェクタ２２０において、投影制御装置２５０からの映像信号に応じた画像が、画像形成部２２２の画像形成面上に形成される。プロジェクタ２２０は、可視光で画像形成面上の画像を表す投影光３１５を生成するように投影光源２２１を駆動し、投影光学系２２３を介してダイクロイックミラー２０１に投影光３１５を出射する（図２参照）。
Next, the
ダイクロイックミラー２０１は、図２に示すように、可視光である投影光３１５を反射し、光軸Ｊ１に沿って投影光３２０を出射する。これにより、図５Ｂに示すように、撮像照射装置２００は術野１３５に投影光３２０を照射し、投影画像Ｇ３２０が、術野１３５における患部１３０に投影される。投影画像Ｇ３２０は、例えば単色で一階調の画像である。
As shown in FIG. 2, the
以上の処理により、投影制御装置２５０が、カメラ２１０の撮像画像に基づき蛍光発光する患部１３０の領域を特定し、プロジェクタ２２０から可視光の投影画像Ｇ３２０が患部１３０に投影される。これにより、手術支援システム１００において、目視では視認することが困難な患部１３０を可視化することができる。手術支援システム１００により、医師等は患部１３０のリアルタイムの状態を視認することができる。
Through the above processing, the
以上の説明では、投影画像Ｇ３２０が単色で一階調の画像の例を説明した。投影制御装置２５０は、例えば複数のしきい値を用いて撮像画像中の蛍光発光の強度を領域毎に多段階で判定することにより、多階調の投影画像を生成してもよい。また、投影制御装置２５０は、撮像画像における蛍光発光の強度の分布を連続的に再現するように、投影画像を生成してもよい。また、投影画像は、単色に限らず、複数色あるいはフルカラーで生成されてもよい。
In the above description, an example in which the projection image G320 is a single color and one gradation image has been described. The
２−２．輝度補正について
２−２−１．概要
本実施形態にかかる手術支援システム１００における輝度補正の動作の概要について、図６Ａ，６Ｂ，６Ｃを参照して説明する。図６Ａは、撮像照射装置２００による補正前の投影画像Ｇ１３’の表示例を示す図である。図６Ｂは、撮像照射装置２００による励起光３００の照射状態を説明するための図である。図６Ｃは、撮像照射装置２００による補正後の投影画像Ｇ１３の表示例を示す図である。
2-2. About brightness correction 2-2-1. Outline An outline of the brightness correction operation in the
図６Ａ〜６Ｃの例においては、肝臓１３が、手術支援システム１００の撮像照射装置２００の被写体である。図６Ａ〜６Ｃの例では、ＩＣＧが肝臓１３の全体に注入され、一様な濃度で蓄積していることとする。また、図６Ａ，６Ｂの投影画像Ｇ１３’，Ｇ１３は、それぞれ肝臓１３の撮像画像における蛍光発光の強度に対して複数のしきい値を用いて、多階調に投影可能になっていることとする。
6A to 6C, the
図６Ａの表示例では、ＩＣＧが肝臓１３の全体に注入されているにも関わらず、投影画像Ｇ１３’において階調が不均一であり、輝度ムラを生じている。図６Ａに示すような輝度ムラは、肝臓１３（被写体）の撮像時に術野１３５に照射される励起光３００の照度の分布に起因する。
In the display example of FIG. 6A, although ICG is injected into the
励起光３００が照射される肝臓１３表面では、図６Ｂに示すように、撮像照射装置２００から励起光３００を照射する位置及び向き、並びに肝臓１３の立体形状などにより、励起光３００の照度の分布にムラが生じる。すると、肝臓１３において同一の濃度のＩＣＧが蓄積している箇所であっても、蛍光発光の強度が変動してしまう。このため、手術及び画像診断において蛍光発光の強度を患部の判断基準として用いる場合に、判断基準の信頼性が低下するという問題がある。
On the surface of the
そこで、本実施形態にかかる手術支援システム１００では、肝臓１３などの被写体における励起光３００の照度分布の撮像画像（以下、「励起光画像」という。）を取得し、励起光３００によって生じる蛍光発光に基づく撮像画像（以下、「蛍光画像」という）を補正する。これにより、図６Ｃに示すように、励起光３００の照度分布に関わらず均一で信頼性の高い投影画像Ｇ１３を得ることができる。以下、本実施形態にかかる輝度補正処理について説明する。
Therefore, in the surgical
２−２−２．輝度補正処理
本実施形態に係る輝度補正処理について、図７，８を用いて説明する。図７は、本実施形態における輝度補正処理のタイミングを示すタイミングチャートである。図８は、本実施形態における輝度補正処理を示すフローチャートである。
2-2-2. Luminance Correction Processing The luminance correction processing according to this embodiment will be described with reference to FIGS. FIG. 7 is a timing chart showing the timing of luminance correction processing in the present embodiment. FIG. 8 is a flowchart showing the luminance correction processing in this embodiment.
図７は、本実施形態における輝度補正処理が実行される際のフィルタ切替え信号Ｓｆのタイミングチャート、撮像画像Ｉの取得タイミング及び投影画像Ｇ１３の生成タイミングを示している。輝度補正処理は、励起光画像ＩＢに基づき励起光３００の照度分布に対する蛍光画像ＩＡの輝度を補正し、投影画像Ｇ１３を生成する処理であり、投影制御装置２５０によって実行される。本実施形態では、図７に示すように、例えば図１の表示制御装置１５０を介して操作者１４０による所定の指示があった時刻ｔ１から輝度補正処理を開始する。
FIG. 7 shows a timing chart of the filter switching signal Sf, the acquisition timing of the captured image I, and the generation timing of the projection image G13 when the luminance correction processing in the present embodiment is executed. The brightness correction process is a process of correcting the brightness of the fluorescence image IA with respect to the illuminance distribution of the
なお、時刻ｔ１より前は、補正処理を行わず通常の処理であるため、投影制御装置２５０は、図４に示す動作となる。
Since the correction process is not performed before the time t1 and the normal process, the
本実施形態に係る輝度補正処理では、フィルタ切替え信号Ｓｆに基づいて、カメラ２１０の撮像画像Ｉを励起光画像ＩＢと蛍光画像ＩＡとの間で交互に切替える。このとき、所定のフレームレート（例えば１／６０〜１／３０秒）において励起光画像ＩＢを撮像する期間Ｔｎが蛍光画像ＩＡを撮像する期間Ｔｍよりも短くなるように設定する。これにより、例えば手術中などにリアルタイムで目視し続ける際に、経時的にも信頼性の高い投影画像Ｇ１３を得ることができる。以下、図８を用いて、輝度補正処理の流れを説明する。
In the luminance correction processing according to the present embodiment, the captured image I of the
図８のフローチャートにおいて、まず、投影制御装置２５０は、図４のステップＳ１と同様に励起光源２３０から励起光３００を術野１３５に照射する。本実施形態では、励起光３００の照射は、輝度補正処理の実行中にわたって継続的に行われる。
In the flowchart of FIG. 8, first, the
次に、投影制御装置２５０は、図７に示すようにフィルタ切替え信号Ｓｆを「０」から「１」に変更し、光学フィルタ２１３を蛍光透過フィルタ２１３ａから励起光透過フィルタ２１３ｂに切替える（Ｓ１２）。これにより、図３に示すように励起光透過フィルタ２１３ｂを介して蛍光３１０が遮断され、励起光３００の反射光のみがカメラ２１０に入射する。
Next, the
次に、投影制御装置２５０は、例えばカメラ２１０を制御し、励起光透過フィルタ２１３ｂを介して術野１３５を撮像させる（Ｓ１３）。ステップＳ１３により、図７に示すようにフィルタ切替え信号Ｓｆが「１」に設定された期間Ｔｎにおいて、カメラ２１０は、照射された励起光３００の照度が術野１３５上で分布する励起光画像ＩＢ（図９）を撮像する。投影制御装置２５０は、カメラ２１０から励起光画像ＩＢを取得する。
Next, the
また、投影制御装置２５０は、ステップＳ１２の励起光透過フィルタ２１３ｂへの切替え前の撮像結果に基づいて、図７に示すように、プロジェクタ２２０に、前回の制御周期（フレーム）で投影した投影画像を引き続き投影させる（Ｓ１４）。これにより、励起光画像ＩＢを取得中の期間Ｔｎにおいて、術野１３５に投影される投影画像を補間することができる。
Further, the
次に、投影制御装置２５０は、取得した励起光画像ＩＢのフレーム数が、Ｎフレーム（Ｎは２以上の整数）に到達したか否かを判断する（Ｓ１５）。投影制御装置２５０は、取得した励起光画像ＩＢのフレーム数がＮフレームに到達していないとき（Ｓ１５でＮＯ）、ステップＳ１２以降の処理を繰り返す。これにより、期間Ｔｎ中にＮフレームの励起光画像ＩＢが取得される。
Next, the
取得した励起光画像ＩＢのフレーム数がＮフレームに到達したとき（Ｓ１５でＹＥＳ）、投影制御装置２５０は、Ｎフレームの励起光画像ＩＢのフレーム平均を行い、正規化データＤｎ（図９）を生成する（Ｓ１６）。正規化データＤｎは、蛍光画像ＩＡの輝度を補正するための正規化係数を示すデータであり、フレーム平均後の励起光画像ＩＢ’に基づき算出される。正規化データＤｎの算出方法については後述する。投影制御装置２５０は、算出した正規化データＤｎをメモリ２４０に格納する。
When the number of frames of the acquired excitation light image IB has reached N frames (YES in S15), the
また、投影制御装置２５０は、図７に示すように時刻ｔ１から期間Ｔｎ後の時刻ｔ２においてフィルタ切替え信号Ｓｆを「１」から「０」に変更し、光学フィルタ２１３を励起光透過フィルタ２１３ｂから蛍光透過フィルタ２１３ａに切替える（Ｓ１７）。これにより、時刻ｔ２において図３に示すように蛍光透過フィルタ２１３ａを介して励起光３００が遮断され、術野１３５からの蛍光３１０のみがカメラ２１０に入射する。
Further, as shown in FIG. 7, the
次に、投影制御装置２５０は、カメラ２１０に、蛍光透過フィルタ２１３ａを介して術野１３５を撮像させる（Ｓ１８）。ステップＳ１８により、図７に示すようにフィルタ切替え信号Ｓｆが「０」に設定された期間Ｔｍにおいて、カメラ２１０は、術野１３５の患部１２０から生じた蛍光に基づく蛍光画像ＩＡを撮像する。投影制御装置２５０は、カメラ２１０から蛍光画像ＩＡを取得する。
Next, the
次に、投影制御装置２５０は、ステップＳ１６において算出した正規化データＤｎを読み出して、カメラ２１０から取得した蛍光画像ＩＡを補正する（Ｓ１９）。蛍光画像ＩＡの補正は、期間Ｔｎに取得した励起光画像ＩＢに基づく正規化データＤｎを参照して、励起光３００の照度の違いに対して蛍光画像ＩＡの画素毎の輝度を均一にするように行われる。蛍光画像ＩＡの補正方法の詳細については後述する。
Next, the
次に、投影制御装置２５０は、補正後の蛍光画像ＩＡ’（図９）に基づく投影画像を生成するための画像処理を行う（Ｓ２０）。ステップＳ２０の画像処理は、補正後の蛍光画像ＩＡ’に対して図４のステップＳ３と同様の処理を行うことによって実行される。
Next, the
次に、投影制御装置２５０は、ステップＳ２０の画像処理結果に基づいて、プロジェクタ２２０に、新たな投影画像Ｇ１３を投影させる（Ｓ２１）。ステップＳ２１では、期間Ｔｎに取得された励起光画像ＩＢによる補正が為された１フレームの蛍光画像ＩＡ’に基づく投影画像Ｇ１３が投影される。
Next, the
次に、投影制御装置２５０は、ステップＳ１７の蛍光透過フィルタ２１３ａへの切り替え後に撮像した蛍光画像ＩＡが、Ｍフレーム（ＭはＮよりも大きい整数、例えばＭ＝１０）に到達したか否かを判断する（Ｓ２２）。
Next, the
投影制御装置２５０は、撮像した蛍光画像ＩＡのフレーム数がＭフレームに到達していないとき（Ｓ２２でＮＯ）、ステップＳ１８以降の処理を繰り返す。ステップＳ１８〜Ｓ２２の処理により、図７に示すように期間Ｔｍ中、順次、撮像された蛍光画像ＩＡの補正結果に基づく、信頼性の高い投影画像Ｇ１３が投影される。
When the number of frames of the captured fluorescent image IA has not reached the M frame (NO in S22), the
一方、投影制御装置２５０は、撮像した蛍光画像ＩＡのフレーム数がＭフレームに到達したとき（Ｓ２２でＹＥＳ）、ステップＳ１２の処理に戻る。これにより、図７に示すように期間Ｔｍ経過後に再度、励起光画像ＩＢの取得が行われる。
On the other hand, when the number of frames of the captured fluorescent image IA reaches M frames (YES in S22), the
以上の処理は、励起光画像または蛍光画像を撮像する所定の周期（例えば１／６０〜１／３０秒）に合わせて繰り返し実行される。なお、操作者１４０等から終了の指示があった場合には、適宜、本フローチャートによる処理を終了し、図４の処理に切り替えてもよい。つまり、補正を行う図８の処理と補正を行わない図４の処理を操作者１４０の指示等で自由に切り替えてもよい。
The above processing is repeatedly executed in accordance with a predetermined cycle (for example, 1/60 to 1/30 seconds) for capturing the excitation light image or the fluorescence image. Note that when there is an end instruction from the
以上の処理により、患部１３０を撮像した蛍光画像ＩＡが励起光画像ＩＢに基づき、励起光３００の照度の違いに対して均一になるように補正される。このため、補正後の蛍光画像ＩＡ’を用いた投影画像Ｇ１３はＩＣＧがより蓄積している患部１３０を特定する用途において信頼性を有し、投影装置２０の医療用途における安全性を高めることができる。
Through the above processing, the fluorescence image IA obtained by imaging the affected
また、以上の処理にいて、蛍光画像ＩＡと励起光画像ＩＢは交互に撮像され、蛍光画像ＩＡの補正は直前に撮像された励起光画像ＩＢに基づき行われるので、術野１３５の時間変化に対しても精度よく補正された蛍光画像ＩＡ’を得ることができる。また、励起光画像ＩＢの撮像の期間Ｔｎを蛍光画像ＩＡの撮像の期間Ｔｍよりも短く設定しているため、励起光画像ＩＢの取得時に蛍光画像ＩＡが取得されない影響を緩和することができる。これにより、蛍光画像ＩＡ’に基づく投影画像Ｇ１３を目視し続ける際の信頼性を高めることができる。 In the above processing, the fluorescence image IA and the excitation light image IB are alternately captured, and the correction of the fluorescence image IA is performed based on the excitation light image IB captured immediately before. In contrast, the fluorescence image IA ′ corrected with high accuracy can be obtained. In addition, since the period Tn for capturing the excitation light image IB is set shorter than the period Tm for capturing the fluorescence image IA, it is possible to reduce the influence that the fluorescence image IA is not acquired when the excitation light image IB is acquired. Thereby, the reliability at the time of continuing to visually observe the projection image G13 based on the fluorescence image IA 'can be improved.
また、以上の説明では、輝度補正処理の開始タイミングが操作者１４０の指示である例について説明した。輝度補正処理の開始タイミングは操作者１４０の指示に限らず、例えば、撮像照射装置２００又は手術台１１０の移動があったときに、所定のセンサで移動を検知して行われてもよいし、所定のサイクルで常時、実行されてもよい。また、例えば手術直前など、手術支援システム１００の使用前の事前のキャリブレーションにおいて輝度補正処理が行われてもよい。
In the above description, an example in which the start timing of the brightness correction process is an instruction from the
２−２−３．補正方法の詳細
以下、本実施形態にかかる蛍光画像ＩＡの補正法方法の詳細について、図９，１０を用いて説明する。図９は、輝度補正処理による画像の補正方法を説明するための図である。図１０は、輝度補正処理における正規化を説明するための図である。
2-2-3. Details of Correction Method Hereinafter, details of the method of correcting the fluorescence image IA according to the present embodiment will be described with reference to FIGS. FIG. 9 is a diagram for explaining a method of correcting an image by luminance correction processing. FIG. 10 is a diagram for explaining normalization in the luminance correction process.
まず、図８のステップＳ１６における正規化データＤｎの算出方法について説明する。投影制御装置２５０は、カメラ２１０からＮフレームの励起光画像ＩＢを取得すると（Ｓ１５で「ＹＥＳ」）、所定の正規化関数を用いて、フレーム平均後の励起光画像ＩＢ’から正規化データＤｎを算出する（Ｓ１６）。図１０に、正規化関数Ｆ１の一例を示す。
First, a method for calculating the normalized data Dn in step S16 in FIG. 8 will be described. When the
正規化関数Ｆ１は、励起光画像ＩＢ’の画素毎の信号レベル（輝度）と正規化係数との関係を規定する関数である。正規化関数Ｆ１を示す情報は、例えば信号レベル（輝度）と正規化係数とを関連付けたＬＵＴ（ルックアップテーブル）としてメモリ２４０に予め記録されている。投影制御装置２５０は、正規化関数Ｆ１のＬＵＴを参照して、励起光画像ＩＢ’の画素毎の信号レベルに応じた正規化係数を計算し、正規化データＤｎを算出する。
The normalization function F1 is a function that defines the relationship between the signal level (luminance) for each pixel of the excitation light image IB 'and the normalization coefficient. Information indicating the normalization function F1 is recorded in advance in the
なお、正規化データＤｎの算出はステップＳ１６に行わなくてもよい。例えば、ステップＳ１６では、フレーム平均の励起光画像ＩＢ’をメモリ２４０に格納し、ステップＳ１９の補正時に、正規化関数Ｆ１に基づき正規化データＤｎを計算してもよい。また、正規化関数Ｆ１を示す情報はＬＵＴに限らず、例えば演算式としてメモリ２４０に格納されてもよい。また、正規化データＤｎは１フレームの励起光画像ＩＢに基づき算出されてもよい。この場合、図８のフローチャートにおいてステップＳ１５を省略してもよい。
The normalization data Dn need not be calculated in step S16. For example, in step S16, the frame average excitation light image IB 'may be stored in the
図１０に示すように、正規化関数Ｆ１は単調減少であり、信号レベル「０」のときの正規化係数「１」から順次、減少する。これにより、励起光画像ＩＢ’において信号レベル（輝度）が大きい画素ほど小さい正規化係数が割り当てられる（図９参照）。正規化関数Ｆ１における正規化係数は０以上の値を有し、図１０の例では、信号レベル０〜２５５の範囲内で正規化係数１〜０．８となっている。正規化関数Ｆ１は、励起光３００の照度と被写体の蛍光発光の強度との関係を考慮して、適宜設定される。
As shown in FIG. 10, the normalization function F1 is monotonously decreasing and sequentially decreases from the normalization coefficient “1” when the signal level is “0”. Thereby, a smaller normalization coefficient is assigned to a pixel having a higher signal level (luminance) in the excitation light image IB ′ (see FIG. 9). The normalization coefficient in the normalization function F1 has a value of 0 or more. In the example of FIG. 10, the normalization coefficient is 1 to 0.8 within the signal level range of 0 to 255. The normalization function F1 is appropriately set in consideration of the relationship between the illuminance of the
図９に戻り、図８のステップＳ１９における蛍光画像ＩＡの補正方法について説明する。ステップＳ１９において、投影制御装置２５０は、ステップＳ１８で撮像される蛍光画像ＩＡの各画素の輝度に対して、正規化データＤｎ中で対応する画素の正規化係数を乗算することにより、蛍光画像ＩＡの輝度補正を行う。正規化データＤｎにより、補正前の蛍光画像ＩＡの内で強い照度の励起光３００によって輝度が大きくなっている部分には、小さい正規化係数が乗算される。これより、補正後の蛍光画像ＩＡ’では、励起光３００の照度の違いに対して輝度が均一になるように補正され、励起光３００の照度分布によるムラが解消される。
Returning to FIG. 9, the method for correcting the fluorescence image IA in step S19 of FIG. 8 will be described. In step S19, the
なお、上記では、説明を簡単にするために、肝臓１３においてＩＣＧの濃度を均一としたが、ＩＣＧの濃度が不均一の場合も当然ありうる。この場合も、肝臓１３において励起光３００の照度分布にムラがあるため、信頼性の高い蛍光画像を取得できないが、正規化データＤｎを用いて補正を行うことで、励起光３００の照度分布が均一の時と同じような蛍光画像を得ることができる。つまり、励起光画像に基づいて蛍光画像の補正を行うことで、励起光３００の照度分布にムラの影響を少なくすることができる。
In the above description, the ICG concentration is uniform in the
３．効果等
以上の手術支援システム１００における投影装置２０は、励起光源２３０と、カメラ２１０と、プロジェクタ２２０と、投影制御装置２５０とを備える。励起光源２３０は、被写体である患部１３０に励起光３００を照射する。カメラ２１０は、励起光３００によって被写体が発する蛍光３１０に基づく蛍光画像ＩＡを撮像する。プロジェクタ２２０は、蛍光画像ＩＡに基づく投影画像Ｇ１３を被写体に投影する。投影制御装置２５０は、カメラ２１０により撮像された蛍光画像ＩＡに基づき投影画像Ｇ１３を制御する。カメラ２１０は、蛍光画像ＩＡに加えて、被写体における励起光３００の照度分布を示す励起光画像ＩＢを撮像する。投影制御装置２５０は、励起光画像ＩＢに基づいて、被写体における励起光３００の照度の違いによる影響を、補正前の蛍光画像ＩＡよりも低減するように蛍光画像ＩＡを補正する。
3. Effects etc. The
以上の投影装置２０によると、蛍光画像ＩＡの補正により、励起光３００の照度分布に基づく輝度ムラが解消された蛍光画像ＩＡ’が得られる。補正後の蛍光画像ＩＡ’により、精度良く被写体である患部１３０の撮像を行うことができる。
According to the
また、本実施形態における投影装置２０において、カメラ２１０は、励起光画像ＩＢと蛍光画像ＩＡとを交互に撮像する。励起光画像ＩＢを撮像する期間Ｔｎ（第１の期間）は、蛍光画像ＩＡを撮像する期間Ｔｍ（第２の期間）よりも短い。これにより、リアルタイムで精度良く蛍光画像ＩＡ’を得られ、これによって投影画像Ｇ１３を医療用途に用いる際の信頼性を高めることができる。
In the
また、本実施形態における投影装置２０において、カメラ２１０は、期間Ｔｍ中にＭフレームの蛍光画像ＩＡを撮像する（Ｓ１８，Ｓ２２）。投影制御装置２５０は、期間Ｔｍにおいて、各フレームの蛍光画像ＩＡを補正して、補正した蛍光画像ＩＡ’に基づく投影画像Ｇ１３をプロジェクタ２２０に投影させる（Ｓ１９〜Ｓ２１）。これにより、補正した蛍光画像ＩＡ’によって投影画像Ｇ３０をリアルタイムに精度良く投影することができる。
In the
また、本実施形態における投影装置２０において、投影制御装置２５０は、期間Ｔｍに投影された投影画像に基づき、期間Ｔｎにおいて投影される投影画像Ｇ１３を補間する（Ｓ１４）。これにより、投影画像Ｇ１３のちらつきを回避し、投影画像Ｇ１３の視認性を向上することができる。
Moreover, in the
また、本実施形態における投影装置２０において、カメラ２１０は、光学フィルタ２１３を備える。光学フィルタ２１３は、励起光透過フィルタ２１３ｂを介して蛍光３１０を遮断して励起光３００を透過する第１の状態と、蛍光透過フィルタ２１３ａを介して蛍光を透過する第２の状態とを切り替える。これにより、第１又は第２の状態において、それぞれ励起光画像ＩＢ又は蛍光画像ＩＡを取得することができる。
In the
また、本実施形態における投影装置２０において、蛍光透過フィルタ２１３ａを介した第２の状態は、励起光３００を遮断して蛍光３１０を透過する状態である。これにより、蛍光画像ＩＡを精度良く撮像することができる。
請求項６に記載の投影装置。
In the
The projection apparatus according to claim 6.
また、本実施形態における投影装置２０において、被写体は、患者１２０などの生体中で光感受性物質を含有する患部１３０を含む。
In the
また、本実施形態の係る手術支援システム１００は、投影装置２０と、補正された蛍光画像ＩＡ’を表示するディスプレイ１６０とを備える。これにより、本システムのユーザは、ディスプレイ１６０において補正された蛍光画像ＩＡ’に基づく画像診断を行うことができる。
Further, the
（実施の形態２）
実施の形態１では、輝度補正処理において励起光画像ＩＢを取得する際に、投影画像Ｇ１３を補間した。実施の形態２では、さらに、補間のための投影画像Ｇ１３から新たな蛍光画像ＩＡに基づく投影画像Ｇ１３を投影する際に、平滑化を行う。以下、図１１，１２を参照して、実施の形態２を説明する。
(Embodiment 2)
In the first embodiment, the projection image G13 is interpolated when the excitation light image IB is acquired in the luminance correction processing. In the second embodiment, smoothing is further performed when the projection image G13 based on the new fluorescence image IA is projected from the projection image G13 for interpolation. The second embodiment will be described below with reference to FIGS.
図１１は、実施の形態２における輝度補正処理のタイミングを示すタイミングチャートである。図１２は、実施の形態２における輝度補正処理を示すフローチャートである。 FIG. 11 is a timing chart showing the timing of luminance correction processing in the second embodiment. FIG. 12 is a flowchart showing the luminance correction processing in the second embodiment.
以下、実施の形態１に係る手術支援システムと同様の構成、動作の説明は適宜、省略して、本実施形態に係る手術支援システムを説明する。
Hereinafter, description of the configuration and operation similar to those of the surgery support system according to
図１１は、本実施形態における輝度補正処理のフィルタ切替え信号Ｓｆのタイミングチャート、撮像画像Ｉの取得タイミング、正規化データＤｎの記録タイミング、補正後の蛍光画像ＩＡ’の生成タイミング、及び投影画像Ｇ１３の生成タイミングを示している。本実施形態に係る輝度補正処理では、投影制御装置２５０は、図１２に示すように、実施形態１と同様に光学フィルタ２１３を蛍光透過フィルタ２１３ａに切替え（Ｓ１７）、その後の１フレームにおいて投影画像Ｇ１３の平滑化を行う（Ｓ１８Ａ〜Ｓ２１Ａ）。
FIG. 11 is a timing chart of the filter switching signal Sf of the luminance correction processing in this embodiment, the acquisition timing of the captured image I, the recording timing of the normalized data Dn, the generation timing of the corrected fluorescence image IA ′, and the projection image G13. The generation timing is shown. In the luminance correction processing according to the present embodiment, as shown in FIG. 12, the
図１１において、時刻ｔ１１は、光学フィルタ２１３の励起光透過フィルタ２１３ｂへの切替わりタイミングである（図１２のＳ１２）。時刻ｔ１２は、励起光透過フィルタ２１３ｂから蛍光透過フィルタ２１３ａへの切替わりタイミングである（Ｓ１７）。時刻１１から時刻ｔ１２までの期間Ｔｎの間にはカメラ２１０を用いて励起光画像ＩＢの取得が行われる（Ｓ１２〜Ｓ１５）。また、取得された励起光画像ＩＢに基づき、正規化データＤｎが生成され、時刻ｔ１１においてメモリ２４０に書き込まれる（Ｓ１６）。
In FIG. 11, time t11 is the switching timing of the
図１１の時刻ｔ１１からの期間Ｔｎ中、投影画像Ｇ１３は、励起光透過フィルタ２１３ｂへの切替わり前の時刻ｔ１０に撮像された蛍光画像ＩＡ１０の補正結果（蛍光画像ＩＡ１０’）に基づく投影画像Ｇ１３ａにより補間されている（図１２のＳ１４）。投影制御装置２５０は、時刻ｔ１２に、新たに蛍光画像ＩＡ１１を取得し（Ｓ１８Ａ）、期間Ｔｎに取得した正規化データＤｎを読み出して蛍光画像ＩＡ１１の補正を行う（Ｓ１９Ａ）。
During the period Tn from time t11 in FIG. 11, the projection image G13 is a projection image G13a based on the correction result (fluorescence image IA10 ′) of the fluorescence image IA10 captured at time t10 before switching to the excitation
ここで、ステップＳ１９Ａの補正後の蛍光画像ＩＡ１１’は、補間時に用いた蛍光画像ＩＡ１０’に対する変化が大きく、フレーム間で投影画像Ｇ１３に飛びが生じることが想定される。そこで、本実施形態において、投影制御装置２５０は、投影画像Ｇ１３を生成する画像処理において、投影画像Ｇ１３の平滑化を行う（Ｓ２０Ａ）。例えば、投影制御装置２５０は、期間Ｔｎ前後の蛍光画像ＩＡ１０’，ＩＡ１１’のフレーム平均を行い、平均化された蛍光画像に対してステップＳ２０と同様の画像処理を行うことにより、平滑化のための投影画像Ｇ１３ｂを生成する。
Here, it is assumed that the fluorescence image IA11 'after the correction in step S19A has a large change with respect to the fluorescence image IA10' used at the time of interpolation, and the projected image G13 jumps between frames. Therefore, in the present embodiment, the
投影制御装置２５０は、時刻ｔ１２において、ステップＳ２０Ａにおいて生成した投影画像Ｇ１３ｂを投影する（Ｓ２１Ａ）。これにより、補間時の投影画像Ｇ１３ａから切り替わる際の投影画像Ｇ１３の変化を平滑化し、投影画像Ｇ１３を視認する医師等の視覚的な負担を軽減することができる。
The
また、図１１では、励起光画像ＩＢのフレーム数ＮがＮ＝２の場合を例示している。２フレームの励起光画像ＩＢのフレーム平均について、投影制御装置２５０は、例えばメモリ２４０において、１フレーム分の遅延を有する取得画像を保持し、２フレーム目の励起光画像を取得したときに平均化処理を実行してもよい。また、補正後の蛍光画像ＩＡ１０’を用いて補間時の投影画像Ｇ１３ａ及び平滑化の投影画像Ｇ１３ｂの投影画像Ｇ１３を生成するために、投影制御装置２５０は、例えばメモリ２４０において、１フレームずつ遅延した３フレーム分の蛍光画像ＩＡ１０’をそれぞれ保持してもよい。
FIG. 11 illustrates a case where the number of frames N of the excitation light image IB is N = 2. For the frame average of the two-frame excitation light image IB, the
以上のように、本実施形態にかかる手術支援システム１００において、投影制御装置２５０は、期間Ｔｎに投影された投影画像Ｇ１３ａに基づき、期間Ｔｎから期間Ｔｍに切り替わった直後に投影される投影画像Ｇ１３ｂを平滑化する。これにより、期間Ｔｎから期間Ｔｍへの切り替わり時の投影画像Ｇ１３ｂの変化を低減し、投影画像Ｇ１３を見易くすることができる。
As described above, in the
（他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態１，２を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態１，２で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
(Other embodiments)
As described above,
そこで、以下、他の実施の形態を例示する。 Therefore, other embodiments will be exemplified below.
上記の各実施形態１，２では、光学フィルタ２１３は、蛍光透過フィルタ２１３ａと励起光透過フィルタ２１３ｂとを備えたが、これに限らず、例えば蛍光透過フィルタ２１３ａを備えなくてもよい。つまり、光学フィルタ２１３は、励起光透過フィルタ２１３ｂを介して励起光３００を透過する第１の状態と、励起光透過フィルタ２１３ｂを介さずに蛍光３１０を透過する第２の状態とを切り替えてもよい。この場合、第２の状態の光学フィルタ２１３は励起光３００を透過することとなる。本開示による輝度補正処理によると、画像処理において撮像画像中の励起光の影響を低減することができるので、実用上差し支えない範囲で、精度良く蛍光画像を得ることができる。
In each of the first and second embodiments, the
また、上記の各実施形態１，２では、カメラ２１０によって撮像された蛍光画像ＩＡを補正し、補正後の蛍光画像ＩＡ’によって被写体に投影される投影画像Ｇ１３の精度が補正された。本開示はこれに限らず、例えば投影制御装置２５０による画像処理において、投影画像自体を補正してもよい。例えば、距離画像センサなどを用いて被写体の立体形状を検出し、立体形状の表面上で輝度が均一になるように画像処理において投影画像の輝度を設定してもよい。また、例えば、ステップＳ２０の後に、さらに画像処理において投影画像Ｇ１３に正規化データＤｎと同様の正規化係数を乗算することにより、投影画像Ｇ１３の輝度を補正してもよい。投影画像を補正することにより、被写体に投影された状態の投影画像の視認性が向上し、手術支援システム１００における投影画像の信頼性を高めることができる。
In the first and second embodiments, the fluorescence image IA captured by the
また、上記の各実施形態１，２では、輝度補正処理において、カメラ２１０が励起光画像ＩＢと蛍光画像ＩＡとを交互に撮像したが、これに限らず、本開示における投影装置は、励起光画像ＩＢと蛍光画像ＩＡとを同時に撮像する撮像部を用いてもよい。例えば、撮像部として、励起光３００と蛍光３１０との波長の違いに基づき、画素毎のカラーフィルタによって励起光３００と蛍光３１０とを選択的に受光可能なカメラを採用してもよい。
Further, in each of the first and second embodiments described above, in the luminance correction process, the
また、上記の各実施の形態１，２では、励起光源２３０を撮像照射装置２００と一体化させているが、別体で設けてもよい。
In each of the first and second embodiments, the
また、上記の各実施の形態１，２では、手術などの医療用途を例に挙げて説明したが、本発明はこれには限らない。例えば、工事現場や採掘現場、建築現場、材料を加工する工場など、目視では状態変化を確認できないような対象物に対して作業を行う必要がある場合、本発明を適用することができる。 In the first and second embodiments, the medical application such as surgery has been described as an example, but the present invention is not limited to this. For example, the present invention can be applied when it is necessary to work on an object whose state change cannot be visually confirmed, such as a construction site, a mining site, a construction site, or a factory that processes materials.
具体的には、実施の形態１の医療機器に代えて、工事現場や採掘現場、建築現場、材料を加工する工場などにおける、目視では状態変化を確認できないような対象物に蛍光材料を塗布し、練りこみ、或いは流し込んで、カメラ２１０による撮像の対象である被写体としてもよい。発光ではなく、発熱箇所を熱センサで検出して、その部分だけ或いは、境界だけを走査するようにしてもよい。
Specifically, instead of the medical device of the first embodiment, a fluorescent material is applied to an object that cannot be visually confirmed in a construction site, a mining site, a construction site, or a factory that processes the material. Alternatively, it may be a subject to be imaged by the
以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。 As described above, the embodiments have been described as examples of the technology in the present disclosure. For this purpose, the accompanying drawings and detailed description are provided.
したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。 Accordingly, among the components described in the accompanying drawings and the detailed description, not only the components essential for solving the problem, but also the components not essential for solving the problem in order to illustrate the above technique. May also be included. Therefore, it should not be immediately recognized that these non-essential components are essential as those non-essential components are described in the accompanying drawings and detailed description.
また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において、種々の変更、置き換え、付加、省略などを行うことができる。 Moreover, since the above-mentioned embodiment is for demonstrating the technique in this indication, a various change, substitution, addition, abbreviation, etc. can be performed in a claim or its equivalent range.
本開示における投影システムは、医療用途、工事現場、採掘現場、建築現場、材料を加工する工場など、目視では状態変化を確認しづらいような対象物に対して作業を行う際に適用可能である。 The projection system according to the present disclosure can be applied to work on an object that is difficult to visually confirm a change in state, such as a medical use, a construction site, a mining site, a construction site, or a factory that processes materials. .
１００ 手術支援システム
２００ 撮像照射装置
２１０ カメラ
２１３ 光学フィルタ
２１３ａ 蛍光透過フィルタ
２１３ｂ 励起光透過フィルタ
２２０ プロジェクタ
２５０ 投影制御装置
２０ 投影装置
DESCRIPTION OF
Claims (8)
前記励起光によって前記被写体が発する蛍光に基づく蛍光画像を撮像する撮像部と、
前記蛍光画像に基づく投影画像を前記被写体に投影する投影部と、
前記撮像部により撮像された蛍光画像に基づき前記投影画像を制御する制御部と
を備え、
前記撮像部は、前記蛍光画像に加えて、前記被写体における前記励起光の照度分布を示す励起光画像を撮像し、
前記制御部は、前記励起光画像に基づいて、前記被写体における前記励起光の照度の違いによる影響を、補正前の蛍光画像よりも低減するように前記蛍光画像を補正し、
前記撮像部は、前記励起光画像と前記蛍光画像とを交互に撮像し、
前記励起光画像を撮像する第１の期間は、前記蛍光画像を撮像する第２の期間よりも短い
投影装置。 A light source unit that irradiates the subject with excitation light;
An imaging unit that captures a fluorescence image based on fluorescence emitted by the subject by the excitation light;
A projection unit that projects a projection image based on the fluorescence image onto the subject;
A control unit for controlling the projection image based on the fluorescence image captured by the imaging unit,
In addition to the fluorescence image, the imaging unit captures an excitation light image indicating an illuminance distribution of the excitation light in the subject,
The control unit corrects the fluorescence image based on the excitation light image so as to reduce the influence due to the difference in illuminance of the excitation light in the subject as compared to the fluorescence image before correction ,
The imaging unit alternately captures the excitation light image and the fluorescence image,
The first apparatus for capturing the excitation light image is shorter than the second period for capturing the fluorescent image .
前記制御部は、前記第２の期間において、各フレームの蛍光画像を補正して、補正した蛍光画像に基づく投影画像を前記投影部に投影させる
請求項１に記載の投影装置。 The imaging unit captures a plurality of frames of fluorescent images during the second period,
Wherein, in the second period, the fluorescence image of each frame is corrected, the projection apparatus according to claim 1 for projecting a projection image based on the corrected fluorescence image to the projection unit.
請求項１又は２に記載の投影装置。 Wherein the control unit on the basis of the projection image projected on the second period, the projection apparatus according to claim 1 or 2, interpolating a projection image projected in the first period.
請求項１〜３のいずれか１項に記載の投影装置。 Wherein the control unit, based on the first period to the projected projection image, from the first period of claims 1 to 3 for smoothing the projection image to be projected immediately after switching to the second period The projection device according to any one of the above.
前記励起光によって前記被写体が発する蛍光に基づく蛍光画像を撮像する撮像部と、
前記蛍光画像に基づく投影画像を前記被写体に投影する投影部と、
前記撮像部により撮像された蛍光画像に基づき前記投影画像を制御する制御部と
を備え、
前記撮像部は、前記蛍光画像に加えて、前記被写体における前記励起光の照度分布を示す励起光画像を撮像し、
前記制御部は、前記励起光画像に基づいて、前記被写体における前記励起光の照度の違いによる影響を、補正前の蛍光画像よりも低減するように前記蛍光画像を補正し、
前記撮像部は、前記蛍光を遮断して前記励起光を透過する第１の状態と、前記蛍光を透過する第２の状態とを切り替える光学フィルタを備える
記載の投影装置。 A light source unit that irradiates the subject with excitation light;
An imaging unit that captures a fluorescence image based on fluorescence emitted by the subject by the excitation light;
A projection unit that projects a projection image based on the fluorescence image onto the subject;
A control unit that controls the projection image based on the fluorescence image captured by the imaging unit;
With
In addition to the fluorescence image, the imaging unit captures an excitation light image indicating an illuminance distribution of the excitation light in the subject,
The control unit corrects the fluorescence image based on the excitation light image so as to reduce the influence due to the difference in illuminance of the excitation light in the subject as compared to the fluorescence image before correction,
The imaging unit Ru provided with a first state that transmits the excitation light by blocking the fluorescence, an optical filter to switch between the second state to transmit the fluorescent
Serial mounting of the projection apparatus.
請求項５に記載の投影装置。 The projection apparatus according to claim 5 , wherein the second state is a state in which the excitation light is blocked and the fluorescence is transmitted.
請求項１〜６のいずれか１項に記載の投影装置。 The subject, a projection apparatus according to any one of claims 1 to 6 including the affected area containing the light-sensitive material in the body.
前記補正された蛍光画像を表示する表示装置と
を備えた投影システム。 The projection device according to any one of claims 1 to 7 ,
A projection system comprising: a display device that displays the corrected fluorescence image.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016037386A JP6085382B1 (en) | 2016-02-29 | 2016-02-29 | Projection apparatus and projection system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016037386A JP6085382B1 (en) | 2016-02-29 | 2016-02-29 | Projection apparatus and projection system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP6085382B1 true JP6085382B1 (en) | 2017-02-22 |
| JP2017157925A JP2017157925A (en) | 2017-09-07 |
Family
ID=58095290
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016037386A Active JP6085382B1 (en) | 2016-02-29 | 2016-02-29 | Projection apparatus and projection system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6085382B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107049491A (en) * | 2017-05-16 | 2017-08-18 | 江苏信美医学工程科技有限公司 | A kind of common optical axis formula diseased region imaging projection guider and method |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPWO2019194174A1 (en) * | 2018-04-03 | 2021-05-13 | 国立大学法人京都大学 | Medical projector |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH1175087A (en) * | 1997-08-29 | 1999-03-16 | Fuji Photo Film Co Ltd | Picture processor |
| JP2010220890A (en) * | 2009-03-24 | 2010-10-07 | Olympus Corp | Fluorescence observation device and fluorescence observation method |
| WO2015072047A1 (en) * | 2013-11-14 | 2015-05-21 | パナソニックＩｐマネジメント株式会社 | Projection system |
-
2016
- 2016-02-29 JP JP2016037386A patent/JP6085382B1/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH1175087A (en) * | 1997-08-29 | 1999-03-16 | Fuji Photo Film Co Ltd | Picture processor |
| JP2010220890A (en) * | 2009-03-24 | 2010-10-07 | Olympus Corp | Fluorescence observation device and fluorescence observation method |
| WO2015072047A1 (en) * | 2013-11-14 | 2015-05-21 | パナソニックＩｐマネジメント株式会社 | Projection system |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107049491A (en) * | 2017-05-16 | 2017-08-18 | 江苏信美医学工程科技有限公司 | A kind of common optical axis formula diseased region imaging projection guider and method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2017157925A (en) | 2017-09-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6844539B2 (en) | Video signal processing device, video signal processing method, and display device | |
| WO2019123796A1 (en) | Endoscope system | |
| JP5374953B2 (en) | Projector and projector control method | |
| US11273002B2 (en) | Display system | |
| JP2007060118A (en) | Projector and projection control method | |
| JP2011128564A (en) | Projection device, program and control method of projection device | |
| WO2020052623A1 (en) | System and method for real-time imaging by visible light and excited fluorescent light | |
| US20210019921A1 (en) | Image processing device, image processing method, and program | |
| US20220109814A1 (en) | Projection system | |
| US20210297606A1 (en) | Medical image processing device and medical observation system | |
| JP6085382B1 (en) | Projection apparatus and projection system | |
| JP6921987B2 (en) | Projection device | |
| JP2011250976A (en) | Image processor, image processing method, and program | |
| JP6883256B2 (en) | Projection device | |
| JP6257475B2 (en) | Scanning endoscope device | |
| JP4588843B2 (en) | Endoscope device | |
| JP5994871B2 (en) | Projector and projector control method | |
| JP5763893B2 (en) | Image processing system and program, and operation method of endoscope system | |
| JP2020522206A (en) | Operating method and control unit of laser projection unit, and laser projection unit | |
| WO2021140923A1 (en) | Medical image generation device, medical image generation method, and medical image generation program | |
| JP2015012992A (en) | Surgery support system | |
| JP5679016B2 (en) | Projector and projector control method | |
| JP2019098008A (en) | Endoscope system | |
| US20170367558A1 (en) | Endoscopic system, image processing apparapus, and image processing method | |
| WO2022059282A1 (en) | Imaging control device, endoscope system, and imaging control method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161208 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170117 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170127 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6085382 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |