JP5160276B2 - Image display method and apparatus - Google Patents

Image display method and apparatus Download PDF

Info

Publication number
JP5160276B2
JP5160276B2 JP2008076412A JP2008076412A JP5160276B2 JP 5160276 B2 JP5160276 B2 JP 5160276B2 JP 2008076412 A JP2008076412 A JP 2008076412A JP 2008076412 A JP2008076412 A JP 2008076412A JP 5160276 B2 JP5160276 B2 JP 5160276B2
Authority
JP
Japan
Prior art keywords
image
blood vessel
warning
display
actual distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008076412A
Other languages
Japanese (ja)
Other versions
JP2009226072A (en
Inventor
義幸 九貫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2008076412A priority Critical patent/JP5160276B2/en
Publication of JP2009226072A publication Critical patent/JP2009226072A/en
Application granted granted Critical
Publication of JP5160276B2 publication Critical patent/JP5160276B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Endoscopes (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

本発明は画像表示方法及び装置に係り、特に内視鏡手術を支援する技術に関する。 The present invention relates to an image display method and apparatus, and more particularly to a technique for supporting endoscopic surgery.

外科手術等を行う場合には、血管を傷つけないように十分に注意を払う必要があるが、被検体の生体組織表面から一定の深さ以上に存在する血管は確認することができないため、血管を傷つけるリスク（出血リスク）がある。   When performing surgery, etc., it is necessary to pay sufficient attention not to damage the blood vessels. However, since blood vessels that exist beyond a certain depth from the body tissue surface of the subject cannot be confirmed, blood vessels There is a risk of injury (bleeding risk).

特に内視鏡手術は、低侵襲手術であるという利点があるものの、手術の術野が狭く、電気メス、超音波メス等の処置具の先端位置と血管の位置関係が把握しにくいため、出血リスクが通常の手術よりも高く、出血量が多い場合には出血に対するコントロールが難しいという問題がある。従って、内視鏡手術を行う場合には、内視鏡操作に十分に精通している術者が行うことが要求される。   Endoscopic surgery, in particular, has the advantage of being a minimally invasive surgery, but it is difficult to grasp the positional relationship between the tip position of a treatment tool such as an electric knife or ultrasonic knife and blood vessels, although the surgical field is narrow. There is a problem that it is difficult to control bleeding when the risk is higher than normal surgery and the amount of bleeding is large. Therefore, when performing endoscopic surgery, it is required that an operator who is sufficiently familiar with endoscopic operations perform it.

従来、撮像装置により撮影された患部の画像に基づいて手術を支援する手術支援システムが提案されている（特許文献１）。この特許文献１に記載の手術支援システムは、手術経路線を近似する線や面の種類を指定し、かつ、撮影された立体画像上で手術経路の基準点を入力すると、全ての基準点を通る指定された線や面の手術経路を計算し、立体画像とともに手術経路を表示するようにしている。   2. Description of the Related Art Conventionally, a surgery support system that supports surgery based on an image of an affected area taken by an imaging apparatus has been proposed (Patent Document 1). The surgical operation support system described in Patent Document 1 specifies the type of line or surface that approximates the surgical route line, and inputs the reference point of the surgical route on the captured stereoscopic image. The operation route of the designated line or surface passing through is calculated, and the operation route is displayed together with the stereoscopic image.

また、血管に注目した撮影を行う従来の技術としては、特許文献２に記載の発明がある。この特許文献２に記載の発明は、動物にインドシアニングリーン（ＩＣＧ）等の蛍光染料を投与するとともに、蛍光染料を励起させる特定の波長の光を照射して血管造影画像を取得し、この血管造影画像から血管部分の開存性を評定するようにしている。   Further, as a conventional technique for performing imaging focusing on blood vessels, there is an invention described in Patent Document 2. In the invention described in Patent Document 2, a fluorescent dye such as indocyanine green (ICG) is administered to an animal, an angiographic image is obtained by irradiating light of a specific wavelength that excites the fluorescent dye, and the blood vessel The patency of the blood vessel portion is evaluated from the contrast image.

一方、体内の血管等の管状通路から閉塞物を取り除く治療を支援するものとして、特許文献３に記載の発明がある。この特許文献３に記載の発明は、ステントなどの目標物とカテーテルチューブ先端との距離を、カテーテル先端部に設けたセンサーの出力によって測定し、目標物とカテーテルチューブ先端（センサー）との位置関係を使用者に知らせる表示を行うようにしている。   On the other hand, there is an invention described in Patent Document 3 that supports treatment for removing an obstruction from a tubular passage such as a blood vessel in the body. In the invention described in Patent Document 3, the distance between a target such as a stent and the tip of the catheter tube is measured by the output of a sensor provided at the tip of the catheter, and the positional relationship between the target and the tip of the catheter tube (sensor). Is displayed to inform the user.

また、従来、白色光（照明光）と励起光を１フィールド期間毎交互に、生体組織に向けて照射するとともに、撮像手段により１フィールド期間毎交互に照明光画像と蛍光画像を撮像し、交互に撮像された照明光画像と蛍光画像とを合成する電子内視鏡システムが提案されている（特許文献４）。   Conventionally, white light (illumination light) and excitation light are alternately irradiated to a living tissue every field period, and an illumination light image and a fluorescence image are alternately captured every field period by an imaging unit. An electronic endoscope system that combines an illumination light image captured with a fluorescent image and a fluorescent image has been proposed (Patent Document 4).

この電子内視鏡システムは、生体組織に紫外線等の特定の波長の光（励起光）を照射すると、自家蛍光により蛍光を発するが、自家蛍光は病変組織では正常組織に比べて弱いという特性を利用し、生体組織の異常を観察するシステムであり、特に照明光画像と蛍光画像とを合成し、合成画像を見るだけで病変組織を特定できるようにしている。
特開２００７−７５１９８号公報 特表２００３−５１０１２１号公報 特表２００１−５１０３５４号公報 特開２００４−２５４８９９号公報 This electronic endoscope system emits fluorescence due to autofluorescence when a living tissue is irradiated with light of a specific wavelength (excitation light) such as ultraviolet rays. However, autofluorescence has a characteristic that it is weaker in a lesion tissue than in a normal tissue. This system is used to observe abnormalities in living tissue. In particular, an illumination light image and a fluorescence image are synthesized, and a lesion tissue can be identified only by looking at the synthesized image.
Japanese Patent Laid-Open No. 2007-75198 Special table 2003-510121 gazette Special table 2001-510354 gazette JP 2004-254899 A

特許文献１に記載の発明は、医師が手術経路線を近似する線や面の種類を指定し、かつ種類に応じた数の基準点（例えば、「球面」の場合には、４点の基準点）を入力すると、入力された全ての基準点を通る指定された線や面の手術経路を計算し、その手術経路を医師に提示するものであり、血管を傷つけない最適な手術経路を提示するものではない。   In the invention described in Patent Document 1, the doctor designates the type of line or surface that approximates the surgical route line, and the number of reference points according to the type (for example, in the case of “spherical surface”, four reference points are used. Point), the operation route of the specified line or surface passing through all the input reference points is calculated, and the operation route is presented to the doctor, and the optimal operation route that does not damage the blood vessel is presented. Not what you want.

特許文献２に記載の発明は、血管造影画像を調べることにより外科手術中又は外科手術後の血管の開存性、組織部分における血流を評定するものであり、外科手術時に血管を傷つけないように支援するものではない。尚、血管造影画像は、手術を行う上で参考になるが、血流が流れている血管以外の組織部分を確認することができないため、血管造影画像を見ながら手術を行うことはでない。   The invention described in Patent Document 2 evaluates the patency of blood vessels during or after surgery and the blood flow in a tissue part by examining angiographic images, so that blood vessels are not damaged during surgery. It doesn't help. The angiographic image is useful for performing the operation, but it is not possible to confirm the tissue portion other than the blood vessel in which the blood flow is flowing, and therefore the operation is not performed while viewing the angiographic image.

特許文献３に記載の発明は、ステントなどの目標物とカテーテルチューブ先端（センサー）との位置関係を使用者に知らせることができるが、電気メス等の処置具と血管との位置関係を知らせることができない。   The invention described in Patent Document 3 can inform the user of the positional relationship between a target such as a stent and the tip (sensor) of the catheter tube, but informs the positional relationship between a treatment tool such as an electric knife and a blood vessel. I can't.

特許文献４に記載の発明は、白色光画像（照明光画像）と蛍光画像とを合成した合成画像を得るようにしているが、特許文献４に記載の蛍光画像は、紫外線等の特定の波長の光の照射によって自家蛍光する生体組織の画像であり、血管造影画像ではない。尚、白色光画像と蛍光画像との合成方法としては、各画素の色差信号は、白色光画像の色差信号を使用し、各画素の輝度信号は、白色光画像の輝度信号と蛍光画像の輝度信号とを所定の割合で加算して生成している。   The invention described in Patent Document 4 obtains a composite image obtained by combining a white light image (illumination light image) and a fluorescent image, but the fluorescent image described in Patent Document 4 has a specific wavelength such as ultraviolet light. It is an image of a living tissue that is self-fluorescent when irradiated with light, and is not an angiographic image. As a method of combining the white light image and the fluorescent image, the color difference signal of each pixel uses the color difference signal of the white light image, and the luminance signal of each pixel is the luminance signal of the white light image and the luminance of the fluorescent image. Signals are added at a predetermined ratio.

本発明の目的は、外科手術を行う際に、生体組織表面が映された通常画面上に、該組織表面から所定の深さまでに存在する血管を重畳して表示することができ、これにより血管を傷つけるリスク（出血リスク）を大幅に低減することができる画像表示方法及び装置を提供することにある。 An object of the present invention is to display a blood vessel that is present up to a predetermined depth from the tissue surface on a normal screen on which the surface of a living tissue is projected when performing a surgical operation. It is an object to provide an image display method and apparatus that can significantly reduce the risk of damaging the skin (bleeding risk).

本発明の他の目的は、手術用の処置具が血管に近接した場合には、警告を発して注意を喚起することができ、これにより出血トラブルを未然に防止することができる画像表示方法及び装置を提供することにある。 Another object of the present invention is to provide an image display method capable of issuing a warning and calling attention when a surgical treatment instrument is close to a blood vessel, thereby preventing bleeding troubles in advance. To provide an apparatus.

本発明の更に他の目的は、手術の開始点と終了点を入力するだけで、血管に接近しない適正な手術経路を提示することができ、これにより手術時の処置具をより安全に操作することができる画像表示方法及び装置を提供することにある。 Still another object of the present invention is to provide an appropriate surgical path that does not approach the blood vessel simply by inputting the starting point and the ending point of the operation, thereby operating the treatment instrument more safely during the operation. An object of the present invention is to provide an image display method and apparatus that can perform the above-described process.

前記目的を達成するために請求項１に係る画像表示方法は、第１の光源手段が、血管造影剤が投与された被検体に対して該血管造影剤を発光させるための近赤外の波長域の励起光を内視鏡の先端から所定の時間間隔で連続的に出射する工程と、画像取得手段が、前記内視鏡に設けられた撮像手段によって前記励起光の出射期間に同期して撮影した被検体の画像を蛍光画像として取得する工程と、第２の光源手段が、前記被検体に対して前記励起光の非出射期間に前記内視鏡の先端から連続的に可視光を出射する工程と、画像取得手段が、前記撮像手段によって前記可視光の出射期間に同期して撮影した被検体の画像を通常画像として取得する工程と、血管画像抽出手段が、前記取得した蛍光画像を所定の閾値により閾値処理して血管画像を抽出する工程と、合成画像作成手段が、前記取得した通常画像に前記抽出した血管画像を重畳させた合成画像を作成する工程と、合成画像出力手段が、前記作成された合成画像を表示手段に出力し、動画として表示手段に連続的に表示させる工程と、を含み、前記合成画像作成手段が前記合成画像を作成する工程は、前記閾値処理により抽出された血管画像とその背景とを示す２値化信号をキー信号として前記通常画像に前記血管画像をキー合成することを特徴としている。 In order to achieve the object, the image display method according to claim 1 is characterized in that the first light source means causes the near-infrared wavelength for causing the blood vessel contrast agent to emit light to the subject to which the blood vessel contrast agent has been administered. A step of continuously emitting excitation light in the region from the distal end of the endoscope at a predetermined time interval, and an image acquisition means synchronized with the emission period of the excitation light by the imaging means provided in the endoscope emitting a step of acquiring an image of the photographed subject as the fluorescent image, the second light source means, said continuously visible light from the distal end of the endoscope in a non-emission period of the excitation light to the subject A step of acquiring an image of the subject imaged by the imaging unit in synchronization with the emission period of the visible light as a normal image , and a blood vessel image extracting unit acquiring the acquired fluorescence image. Extract blood vessel images by threshold processing with a predetermined threshold A step of, composite image creation means, the steps of creating a composite image by superimposing the blood vessel image the extracted on the obtained normal image, the composite image output means outputs a composite image created in the above on the display unit And displaying the moving image continuously on the display means as a moving image, and the step of creating the synthesized image by the synthesized image creating means is a binary indicating the blood vessel image extracted by the threshold processing and its background The blood vessel image is key-synthesized with the normal image using a digitized signal as a key signal.

即ち、通常画像の場合には、生体組織表面の血管しか観察することができないが、血管造影剤が投与された被検体に対し、近赤外の波長域の励起光の照射によって血管造影剤を発光させた蛍光画像によれば、生体組織表面から所定の深さまでに存在する血管を観察することができる。そして、前記蛍光画像を所定の閾値により閾値処理して血管画像を抽出し、この血管画像を通常画像に重畳させた合成画像を作成・表示し、これにより生体組織表面を観察できるようにするとともに、生体組織表面から所定の深さまでに存在する血管も合成画像上で観察できるようにしている。また、通常画像に血管画像をキー合成することにより通常画像上に血管画像のみを貼り付けるように合成している。 That is, in the case of a normal image, only blood vessels on the surface of a living tissue can be observed. However, an angiographic contrast agent is applied to a subject administered with an angiographic contrast agent by irradiation with excitation light in the near-infrared wavelength region. According to the emitted fluorescent image, it is possible to observe blood vessels existing from the surface of the living tissue to a predetermined depth. The fluorescent image is thresholded with a predetermined threshold value to extract a blood vessel image, and a composite image is created and displayed by superimposing the blood vessel image on the normal image, thereby enabling observation of the surface of the living tissue. The blood vessels existing from the surface of the living tissue to a predetermined depth can be observed on the composite image. Further, the blood vessel image is key-combined with the normal image so that only the blood vessel image is pasted on the normal image.

請求項２に示すように請求項１に記載の画像表示方法において、前記抽出された血管画像は、前記蛍光画像の濃度情報を含む血管画像、又は２値化された血管画像であることを特徴としている。 The image display method according to claim 1, wherein the extracted blood vessel image is a blood vessel image including density information of the fluorescent image or a binarized blood vessel image. It is said.

請求項３に示すように請求項１又は２に記載の画像表示方法において、前記合成画像出力手段が前記合成画像を表示させる工程は、前記合成画像とともに、前記通常画像、蛍光画像及び血管画像のうちの少なくとも１つの画像を前記表示手段に同時に表示させることを特徴としている。これにより、合成画像以外の他の画像（通常画像、蛍光画像、あるいは血管画像）も参照することができる。 The image display method according to claim 1 or 2, wherein the step of causing the composite image output means to display the composite image includes the normal image, the fluorescence image, and the blood vessel image together with the composite image. At least one of the images is simultaneously displayed on the display means. Thereby, other images (normal image, fluorescent image, or blood vessel image) other than the synthesized image can also be referred to.

請求項４に示すように請求項１から３のいずれかに記載の画像表示方法において、前記蛍光画像は、前記励起光の透過特性、前記血管造影剤の発光特性及び濃度に基づいて前記被検体の生体組織表面から所定の深さまでに存在する血管の画像を含むことを特徴としている。 The image display method according to any one of claims 1 to 3 as shown in claim 4, wherein the fluorescence image, the transmission characteristic of the excitation light, the object based on the emission characteristics and concentration of the blood vessel contrast medium It includes an image of blood vessels existing from the surface of the living tissue to a predetermined depth.

即ち、励起光の透過特性、血管造影剤の発光特性及び濃度等のパラメータによって撮像手段によって撮影可能な血管の深さが決まるため、目的の深さまでの血管を撮影できるように上記パラメータを決定することが好ましい。   That is, since the depth of the blood vessel that can be imaged by the imaging means is determined by parameters such as the transmission characteristics of excitation light, the light emission characteristics and concentration of the blood vessel contrast agent, the above parameters are determined so that blood vessels up to the target depth can be imaged. It is preferable.

請求項５に示すように請求項４に記載の画像表示方法において、前記所定の深さは、内視鏡手術用の処置具によって一度に切開される深さ以上であることを特徴としている。これにより、合成画像上で血管が観察されていない箇所を切開する場合には、血管を傷つけないことが保証される。 According to a fifth aspect of the present invention, in the image display method according to the fourth aspect of the present invention, the predetermined depth is equal to or greater than a depth incised at once by a treatment instrument for endoscopic surgery. This ensures that the blood vessel is not damaged when a portion where no blood vessel is observed on the composite image is incised.

請求項６に示すように請求項１から５のいずれかに記載の画像表示方法において、処置具検出手段が、前記通常画像に基づいて手術用の処置具の先端位置を検出する工程と、距離算出手段が、前記検出した処置具の先端位置と前記抽出した血管画像における血管の位置情報とに基づいて前記処置具の先端位置から最も近い血管までの実寸距離を算出する工程と、警告発生手段が、前記算出した実寸距離が所定の距離以下になると、警告を発する工程と、を更に含むことを特徴としている。 The image display method according to any one of claims 1 to 5 , wherein the treatment instrument detection means detects a distal end position of a surgical treatment instrument based on the normal image, and a distance. calculating means, a step of calculating the actual size distance to the nearest blood vessels from the distal end position of the treatment instrument based on the position information of blood vessels in the extracted blood vessel image and the distal end position of the detected treatment tool, a warning generating means However, the method further includes a step of issuing a warning when the calculated actual distance is equal to or less than a predetermined distance.

即ち、通常画像を画像処理することにより処置具の先端位置を検出するとともに、この検出した処置具の先端位置から最も近い血管の位置を検出し、これらの検出した位置間の撮像手段の結像面上の距離に基づいて実寸距離を算出する。結像面上の距離から実寸距離を求める場合には、生体組織表面までの撮影距離、又は生体組織表面上の基準スケール（例えば、処置具の先端の大きさ）に基づいて実寸距離を換算する。そして、前記算出した実寸距離が所定の距離以下になると、処置具の先端位置が血管に近づいたことを知らせるために、警告を発するようにしている。   That is, the distal end position of the treatment instrument is detected by performing image processing on the normal image, the position of the blood vessel closest to the detected distal end position of the treatment instrument is detected, and imaging of the imaging means between these detected positions is performed. The actual distance is calculated based on the distance on the surface. When obtaining the actual distance from the distance on the imaging surface, the actual distance is converted based on the imaging distance to the surface of the living tissue or the reference scale on the surface of the living tissue (for example, the size of the tip of the treatment tool). . When the calculated actual distance is less than or equal to a predetermined distance, a warning is issued to notify that the distal end position of the treatment instrument has approached the blood vessel.

請求項７に示すように請求項６に記載の画像表示方法において、前記警告発生手段が前記警告を発する工程は、前記表示手段に警告文字を重畳して表示することを特徴としている。 According to a seventh aspect of the present invention, in the image display method according to the sixth aspect of the present invention, the step in which the warning generating means issues the warning is characterized in that a warning character is superimposed and displayed on the display means.

請求項８に示すように請求項６又は７に記載の画像表示方法において、前記警告発生手段が前記警告を発する工程は、前記表示手段に前記算出した実寸距離を重畳して表示することを特徴としている。上記実寸距離を表示することにより、処置具の先端位置が血管に近づいたことを知らせることができる。 The image display method according to claim 6 or 7, wherein , in the image display method according to claim 6 or 7, the step of issuing the warning includes displaying the calculated actual distance superimposed on the display unit. It is said. By displaying the actual distance, it is possible to notify that the distal end position of the treatment instrument has approached the blood vessel.

請求項９に示すように請求項７又は８に記載の画像表示方法において、前記警告発生手段が前記警告を発する工程は、前記警告文字又は実寸距離を表示する際に、前記警告文字又は実寸距離の色を変化させる表示、前記警告文字又は実寸距離を点滅させる表示、前記警告文字又は実寸距離の拡大縮小を繰り返す表示、及び前記警告文字又は実寸距離を拡大する表示のうちの少なくとも１つの表示を行うことを特徴としている。上記のような警告の表示形態により、警告を確認しやすくしている。 9. The image display method according to claim 7 or 8, wherein the step of issuing the warning by the warning generating means includes the warning character or actual distance when displaying the warning character or actual distance. At least one of a display for changing the color of the warning, a display for blinking the warning character or the actual distance, a display for repeatedly expanding or reducing the warning character or the actual distance, and a display for expanding the warning character or the actual distance. It is characterized by doing. The warning display form as described above makes it easy to check the warning.

請求項１０に示すように請求項６から９のいずれかに記載の画像表示方法において、前記警告発生手段が前記警告を発する工程は、前記表示手段に表示された処置具の先端位置の近傍に、前記警告文字又は実寸距離を表示することを特徴としている。処置具の先端位置の近傍（即ち、注視している箇所）に警告を表示することにより、警告が見落とされないようにしている。 10. The image display method according to claim 6, wherein the step of generating the warning is performed in the vicinity of the distal end position of the treatment instrument displayed on the display unit. The warning character or the actual distance is displayed. By displaying a warning in the vicinity of the distal end position of the treatment instrument (that is, the portion being watched), the warning is not overlooked.

請求項１１に示すように請求項６から１０のいずれかに記載の画像表示方法において、前記警告発生手段が前記警告を発する工程は、警告音又は警告音声を発することを特徴としている。 As shown in claim 11, in the image display method according to any one of claims 6 to 10, the step of issuing the warning by the warning generation means emits a warning sound or a warning sound.

請求項１２に示すように請求項１から１１のいずれかに記載の画像表示方法において、入力手段が、前記表示手段の画面上での手術の開始点及び終了点の入力を受け付ける工程と、安全領域算出手段が、前記受け付けた手術の開始点及び終了点の位置情報と、前記抽出した血管画像における血管の位置情報とに基づいて血管及び血管近傍の危険領域を通過せずに前記手術の開始点と終了点とを結ぶ手術経路を算出する工程と、安全領域表示手段が、前記算出した手術経路を前記合成画像に重畳して表示させる工程と、を更に含むことを特徴としている。 The image display method according to any one of claims 1 to 11 as shown in claim 12, the input means, the steps of receiving an input of the start point and end point of the operation on the screen of the display means, safety The region calculation means starts the operation without passing through the blood vessel and the dangerous region in the vicinity of the blood vessel based on the received position information of the start and end points of the operation and the position information of the blood vessel in the extracted blood vessel image. calculating a surgical path connecting the point and the end point, safety area display means is a surgical path which the calculated and further comprising the the steps of Ru is displayed superimposed on the composite image.

即ち、手術の開始点と終了点を入力するだけで、血管及び血管近傍の危険領域を通過しない手術経路（血管に接近しない適正な手術経路）を提示することができ、これにより手術時の処置具をより安全に操作することができるようになる。   That is, only by inputting the start point and end point of the operation, it is possible to present a surgical route that does not pass through the blood vessel and the dangerous region in the vicinity of the blood vessel (appropriate surgical route that does not approach the blood vessel). The tool can be operated more safely.

請求項１３に示すように請求項１２に記載の画像表示方法において、前記安全領域算出手段が前記手術経路を算出する工程は、前記手術の開始点と終了点とを結ぶ最も安全な経路、又は最短経路を前記手術経路として算出することを特徴としている。尚、複数の手術経路の候補を表示させ、医師に選択させるようにしてもよい。また、提示された手術経路は、適宜修正できることが好ましい。 The image display method according to claim 12, wherein the step of calculating the surgical route by the safe area calculating unit includes a safest route connecting a start point and an end point of the surgery, or The shortest path is calculated as the surgical path. Note that a plurality of surgical route candidates may be displayed and selected by a doctor. Moreover, it is preferable that the presented surgical route can be appropriately corrected.

請求項１４に示すように請求項１から１１のいずれかに記載の画像表示方法において、入力手段が、前記表示手段の画面上での手術の開始点及び終了点の入力を受け付ける工程と、安全領域算出手段が、前記受け付けた手術の開始点及び終了点の位置情報と、前記抽出した血管画像における血管の位置情報とに基づいて血管及び血管近傍の危険領域以外の安全領域を算出する工程と、安全領域表示手段が、前記算出した安全領域を識別可能に前記表示手段に表示させる工程と、を更に含むことを特徴としている。 The image display method according to any one of claims 1 to 11 as shown in claim 14, the input means, the steps of receiving an input of the start point and end point of the operation on the screen of the display means, safety area calculating means, a step of calculating the position information of the start and end points of the accepted operation, a safety area outside the hazardous area of the blood vessel and the blood vessel near the basis of the positional information of blood vessels in the extracted blood vessel image safe area display means, and further comprising the the steps of Ru is displayed distinguishably said display means a secure area the calculated.

即ち、手術の開始点と終了点を入力するだけで、血管及び血管近傍の危険領域以外の安全領域（血管に接近しない領域）を提示することができ、これにより手術時の処置具をより安全に操作することができるようになる。尚、安全領域と危険領域とは、合成画像の濃度や色を変えることにより識別可能に表示することができる。   In other words, it is possible to present safe areas (areas that do not approach blood vessels) other than blood vessels and dangerous areas in the vicinity of the blood vessels simply by inputting the start and end points of the operation, thereby making the treatment tool safer during surgery. Will be able to operate. The safe area and the dangerous area can be displayed so as to be distinguishable by changing the density and color of the composite image.

請求項１５に係る画像表示装置は、血管造影剤が投与された被検体に対して該血管造影剤を発光させるための近赤外の波長域の励起光を内視鏡の先端から所定の時間間隔で連続的に照射する第１の光源手段と、前記被検体に対して前記励起光の非照射期間に前記内視鏡の先端から連続的に可視光を照射する第２の光源手段と、前記内視鏡に設けられ、前記第１、第２の光源手段による励起光又は可視光の照射に同期して被検体を交互に繰り返し撮影する撮像手段と、前記撮像手段によって撮影された画像のうちの前記励起光の照射に同期して撮影された画像を蛍光画像として取得するとともに、前記可視光の照射に同期して撮影された画像を通常画像として取得する画像取得手段と、前記画像取得手段によって取得した蛍光画像を所定の閾値により閾値処理して血管画像を抽出する血管画像抽出手段と、前記画像取得手段によって取得した通常画像に前記血管画像抽出手段によって抽出した血管画像を重畳させた合成画像を作成する合成画像作成手段と、前記合成画像作成手段によって作成された合成画像を動画として表示手段に出力する合成画像出力手段と、を備え、前記合成画像作成手段は、前記閾値処理により抽出された血管画像とその背景とを示す２値化信号からなるキー信号を作成する手段と、前記作成したキー信号に基づいて前記通常画像に前記血管画像をキー合成する手段とを有することを特徴としている。 The image display device according to claim 15 is configured to emit excitation light in a near-infrared wavelength region for causing the subject to which the angiographic contrast agent is administered to emit light from the angiographic contrast agent for a predetermined time from the distal end of the endoscope. First light source means for continuously irradiating at an interval; and second light source means for continuously irradiating visible light from the distal end of the endoscope during a non-irradiation period of the excitation light to the subject; An imaging unit provided in the endoscope, which alternately and repeatedly images a subject in synchronization with irradiation of excitation light or visible light by the first and second light source units; and an image captured by the imaging unit An image acquisition means for acquiring an image captured in synchronization with the excitation light irradiation as a fluorescence image, and acquiring an image captured in synchronization with the visible light irradiation as a normal image, and the image acquisition Fluorescence image acquired by means of a predetermined threshold Blood vessel image extracting means for extracting a blood vessel image by performing threshold processing, and composite image creating means for creating a composite image in which the blood vessel image extracted by the blood vessel image extracting means is superimposed on the normal image acquired by the image acquiring means; the a synthetic image output means for outputting a composite image created by the composite image creating unit on the display unit as a video, Bei example, said composite image creation means, the blood vessel image extracted by the threshold processing and the background And a means for generating a key signal composed of a binarized signal indicating the above and a means for key-combining the blood vessel image with the normal image based on the generated key signal .

即ち、血管造影剤が投与された被検体に対して、近赤外の波長域の励起光と可視光とを交互に連続的に照射し、同一の撮像装置によって励起光又は可視光の照射に同期して被検体を交互に繰り返し撮影し、蛍光画像と通常画像とを取得するようにしている。そして、前記蛍光画像を所定の閾値により閾値処理して血管画像を抽出し、この血管画像を通常画像に重畳させた合成画像を作成・表示し、これにより生体組織表面を観察できるようにするとともに、生体組織表面から所定の深さまでに存在する血管も合成画像上で観察できるようにしている。近赤外の波長域の励起光は、ヘモグロビンや水を透過することができるため、生体組織表面から所定の深さまで到達し、その深さまでに血管が存在すると、血管造影剤を励起して蛍光を発光させることができる。したがって、生体組織表面から所定の深さまでに存在する血管を蛍光画像として撮影することができる。 That is, a subject to which an angiographic contrast agent is administered is irradiated with excitation light and visible light in the near-infrared wavelength region alternately and continuously, and excitation light or visible light is irradiated by the same imaging device. Synchronously, the subject is repeatedly and repeatedly photographed to acquire a fluorescence image and a normal image. The fluorescent image is thresholded with a predetermined threshold value to extract a blood vessel image, and a composite image is created and displayed by superimposing the blood vessel image on the normal image, thereby enabling observation of the surface of the living tissue. The blood vessels existing from the surface of the living tissue to a predetermined depth can be observed on the composite image. Since the excitation light in the near-infrared wavelength region can pass through hemoglobin and water, when it reaches a predetermined depth from the surface of the living tissue and a blood vessel exists within that depth, the angiographic contrast medium is excited and fluorescent. Can emit light. Therefore, blood vessels existing from the surface of the living tissue to a predetermined depth can be photographed as a fluorescence image.

請求項１６に示すように請求項１５に記載の画像表示装置において、前記血管画像抽出手段は、前記蛍光画像の濃度情報を含む血管画像、又は２値化された血管画像を抽出することを特徴としている。 The image display device according to claim 15 as shown in claim 16, wherein the blood vessel image extraction means, characterized in that extracting the blood vessel image, or binarized blood vessel image including density information of the fluorescence image It is said.

請求項１７に示すように請求項１５又は１６に記載の画像表示装置において、前記合成画像出力手段は、前記合成画像とともに、前記通常画像、蛍光画像及び血管画像のうちの少なくとも１つの画像を前記表示手段に同時に表示させることを特徴としている。尚、いずれの画像を合成画像と同時に表示させるかは、適宜選択できるようにしてもよい。 In the above image display apparatus according to claim 15 or 16 as shown in claim 17, wherein the composite image output unit, together with the composite image, the normal image, at least one image of the fluorescent image and the blood vessel image It is characterized by being displayed simultaneously on the display means. Note that it may be possible to appropriately select which image is displayed simultaneously with the composite image.

請求項１８に示すように請求項１５から１７のいずれかに記載の画像表示装置において、前記通常画像に基づいて手術用の処置具の先端位置を検出する処置具検出手段と、前記検出した処置具の先端位置と前記抽出した血管画像における血管の位置情報とに基づいて前記処置具の先端位置から最も近い血管までの実寸距離を算出する距離算出手段と、前記算出した実寸距離が所定の距離以下になると、警告を発する警告発生手段と、を更に備えたことを特徴としている。 The image display device according to any one of claims 15 to 17 , as shown in claim 18 , wherein a treatment instrument detection means for detecting a tip position of a surgical treatment instrument based on the normal image, and the detected treatment Distance calculating means for calculating an actual distance from the distal end position of the treatment instrument to the nearest blood vessel based on the distal end position of the instrument and the position information of the blood vessel in the extracted blood vessel image, and the calculated actual distance is a predetermined distance It is characterized by further comprising warning generating means for issuing a warning when it is as follows.

請求項１９に示すように請求項１８に記載の画像表示装置において、前記警告発生手段は、前記表示手段に警告文字を重畳して表示することを特徴としている。 According to a nineteenth aspect of the present invention, in the image display device according to the eighteenth aspect , the warning generation unit displays a warning character superimposed on the display unit.

請求項２０に示すように請求項１８又は１９に記載の画像表示装置において、前記警告発生手段は、前記表示手段に前記算出した実寸距離を重畳して表示することを特徴としている。 The image display device according to claim 18 or 19 as shown in claim 20, wherein the warning generating means is characterized in that superimposed and displayed on the actual size distance the calculated on the display means.

請求項２１に示すように請求項１９又は２０に記載の画像表示装置において、前記警告発生手段は、前記警告文字又は実寸距離を表示する際に、前記警告文字又は実寸距離の色を変化させる表示、前記警告文字又は実寸距離を点滅させる表示、前記警告文字又は実寸距離の拡大縮小を繰り返す表示、及び前記警告文字又は実寸距離を拡大する表示のうちの少なくとも１つの表示を行うことを特徴としている。 21. The image display device according to claim 19 or 20 , wherein the warning generating means changes the color of the warning character or the actual distance when displaying the warning character or the actual distance. , At least one of a display that blinks the warning character or the actual distance, a display that repeatedly enlarges or reduces the warning character or the actual distance, and a display that expands the warning character or the actual distance. .

請求項２２に示すように請求項１９から２１のいずれかに記載の画像表示装置において、前記警告発生手段は、前記表示手段に表示された処置具の先端位置の近傍に、前記警告文字又は実寸距離を表示することを特徴としている。 In the image display device according to any one of claims 19 to 21 , as shown in claim 22 , the warning generation unit is arranged so that the warning character or the actual size is in the vicinity of the distal end position of the treatment instrument displayed on the display unit. It is characterized by displaying distance.

請求項２３に示すように請求項１８から２２のいずれかに記載の画像表示装置において、前記警告発生手段は、警告音又は警告音声を発することを特徴としている。 The image display device according to any one of claims 18 22 as shown in claim 23, wherein the warning generating means is characterized in that an alarm sound or warning sound.

請求項２４に示すように請求項１５から２３のいずれかに記載の画像表示装置において、前記表示手段の画面上での手術の開始点及び終了点を入力する入力手段と、前記入力手段によって入力された手術の開始点及び終了点の位置情報と、前記血管画像抽出手段によって抽出された血管画像における血管の位置情報とに基づいて血管及び血管近傍の危険領域を通過せずに前記手術の開始点と終了点とを結ぶ手術経路を算出する手術経路算出手段と、前記算出された手術経路を前記合成画像に重畳して表示させる手術経路表示手段と、を更に備えたことを特徴としている。 The image display device according to any one of claims 15 to 23 as shown in claim 24, an input unit for inputting a start point and end point of the operation on the screen of the display means, input by said input means Based on the position information of the start point and end point of the operated surgery and the position information of the blood vessel in the blood vessel image extracted by the blood vessel image extracting means, the start of the operation without passing through the blood vessel and the dangerous area near the blood vessel A surgical route calculating unit that calculates a surgical route that connects a point and an end point, and a surgical route display unit that displays the calculated surgical route in a superimposed manner on the composite image are further provided.

請求項２５に示すように請求項２４に記載の画像表示装置において、前記手術経路算出手段は、前記手術の開始点と終了点とを結ぶ最も安全な経路、又は最短経路を前記手術経路として算出することを特徴としている。 25. The image display device according to claim 24 , wherein the surgical route calculation means calculates the safest route connecting the start point and end point of the surgery or the shortest route as the surgical route. It is characterized by doing.

請求項２６に示すように請求項１５から２３のいずれかに記載の画像表示装置において、前記表示手段の画面上での手術の開始点及び終了点を入力する入力手段と、前記入力手段によって入力された手術の開始点及び終了点の位置情報と、前記血管画像抽出手段によって抽出された血管画像における血管の位置情報とに基づいて血管及び血管近傍の危険領域以外の安全領域を算出する安全領域算出手段と、前記算出した安全領域を識別可能に前記表示手段に表示させる安全領域表示手段と、を更に備えたことを特徴としている。 The image display device according to any one of claims 15 to 23 as shown in claim 26, an input unit for inputting a start point and end point of the operation on the screen of the display means, input by said input means A safety region for calculating a safety region other than a blood vessel and a dangerous region near the blood vessel based on the position information of the start and end points of the performed surgery and the position information of the blood vessel in the blood vessel image extracted by the blood vessel image extraction means It further comprises calculation means and safety area display means for displaying the calculated safety area on the display means in an identifiable manner.

本発明によれば、外科手術を行う際に、生体組織表面を良好に観察することができる通常画像を表示することができるとともに、通常画像では表示することができない生体組織表面から所定の深さまでに存在する血管を通常画面上に重畳して表示することができ、これにより血管を傷つけるリスク（出血リスク）を大幅に低減することができる。   According to the present invention, when performing a surgical operation, it is possible to display a normal image that allows good observation of the surface of the living tissue, and from a surface of the living tissue that cannot be displayed with the normal image to a predetermined depth. The blood vessels existing in the blood vessel can be displayed superimposed on the normal screen, and thereby the risk of damaging the blood vessels (bleeding risk) can be greatly reduced.

また、手術用の処置具が血管に近接した場合には、警告を発して注意を喚起することができ、これにより出血トラブルを未然に防止することができ、更に手術の開始点と終了点を入力するだけで、血管に接近しない適正な手術経路を提示することができ、これにより手術時の処置具をより安全に操作することができる。   In addition, when a surgical treatment instrument is close to a blood vessel, a warning can be issued to alert the patient, thereby preventing bleeding troubles. In addition, the start and end points of the operation can be determined. An appropriate operation route that does not approach the blood vessel can be presented simply by inputting, and thus the treatment instrument during the operation can be operated more safely.

以下、添付図面に従って本発明に係る画像表示方法及び装置の好ましい実施の形態について説明する。 Preferred embodiments of an image display method and apparatus according to the present invention will be described below with reference to the accompanying drawings.

＜画像表示装置の外観＞
図１は本発明に係る画像表示装置の実施の形態を示す外観図である。 <Appearance of image display device>
FIG. 1 is an external view showing an embodiment of an image display apparatus according to the present invention.

図１に示すように、この画像表示装置１０は、主として内視鏡の一種である腹腔鏡１００と、プロセッサ２００と、光源装置３００と、モニタ装置４００とから構成されている。尚、プロセッサ２００は、光源装置３００を内蔵するように構成されていてもよい。 As shown in FIG. 1, the image display apparatus 10 mainly includes a laparoscope 100 that is a kind of endoscope, a processor 200, a light source device 300, and a monitor device 400. Note that the processor 200 may be configured to incorporate the light source device 300.

腹腔鏡１００は、電気コネクタ１１０及びライトガイド（ＬＧ）コネクタ１２０を介してそれぞれプロセッサ２００及び光源装置３００に着脱自在に取り付けられるようになっている。腹腔鏡１００で撮影された被検体を示す画像は、プロセッサ２００によって適宜画像処理された後、モニタ装置４００に出力され、ここで術者によって観察される。   The laparoscope 100 is detachably attached to the processor 200 and the light source device 300 via an electrical connector 110 and a light guide (LG) connector 120, respectively. An image showing the subject imaged by the laparoscope 100 is appropriately subjected to image processing by the processor 200 and then output to the monitor device 400 where it is observed by the operator.

図２は腹腔鏡１００を使用した腹腔鏡手術の模式図である。腹腔鏡手術では、腹壁に数カ所の穴を開け、トロッカ２０を介して腹腔鏡１００の挿入部先端１００Ａや、内視鏡手術に使用する電気メス３０、鉗子等の処置具を挿入するとともに、炭酸ガスや空気を入れて腹壁を膨らませる。   FIG. 2 is a schematic diagram of laparoscopic surgery using the laparoscope 100. In laparoscopic surgery, several holes are opened in the abdominal wall, and the distal end 100A of the insertion portion of the laparoscope 100, an electric scalpel 30 used for endoscopic surgery, and a treatment tool such as forceps are inserted through the trocar 20 and carbonic acid. Add gas or air to inflate the abdominal wall.

術者は、腹腔鏡１００によって撮影した手術対象部位をモニタ装置４００で観察しながら、処置具を操作して手術を進める。   The surgeon advances the operation by operating the treatment tool while observing the surgical target site imaged by the laparoscope 100 with the monitor device 400.

＜画像表示装置の内部構成＞
図３は画像表示装置１０の内部構成を示すブロック図である。 <Internal configuration of image display device>
FIG. 3 is a block diagram showing an internal configuration of the image display apparatus 10.

［腹腔鏡］
腹腔鏡１００の挿入部先端１００Ａには、対物レンズ１３０、撮像素子（ＣＣＤ）１４０及び照明レンズ１５０が配設されている。 [Laparoscope]
An objective lens 130, an image sensor (CCD) 140, and an illumination lens 150 are disposed at the insertion portion distal end 100A of the laparoscope 100.

対物レンズ１３０は、被検体をＣＣＤ１４０の受光面に結像させ、ＣＣＤ１４０は、受光面上に結像された被検体像を各受光素子によって電気信号に変換する。この実施の形態のＣＣＤ１４は、３原色の赤（Ｒ）、緑（Ｇ）、青（Ｂ）のカラーフィルタが所定の配列（ベイヤー配列、ハニカム配列）で各画素ごとに配設されたカラーＣＣＤである。   The objective lens 130 forms an image of the subject on the light receiving surface of the CCD 140, and the CCD 140 converts the subject image formed on the light receiving surface into an electric signal by each light receiving element. The CCD 14 of this embodiment is a color CCD in which three primary color red (R), green (G), and blue (B) color filters are arranged for each pixel in a predetermined arrangement (Bayer arrangement, honeycomb arrangement). It is.

また、腹腔鏡１００の内部には、ＣＣＤ１４０を駆動し、またＣＣＤ出力を取り出すための配線１６０が設けられるとともに、ライトガイド１７０が設けられている。   Further, inside the laparoscope 100, a wiring 160 for driving the CCD 140 and taking out the CCD output is provided, and a light guide 170 is provided.

ライトガイド１７０の一端１７０Ａは、ＬＧコネクタ１２０を介して光源装置３００に接続され、ライトガイド１７０他端１７０Ｂは、照明レンズ１５０に対面している。光源装置３００から発せられた光は、ライトガイド１７０を経由して照明レンズ１５０から出射され、対物レンズ１３０の視野範囲を照明する。   One end 170 </ b> A of the light guide 170 is connected to the light source device 300 via the LG connector 120, and the other end 170 </ b> B of the light guide 170 faces the illumination lens 150. The light emitted from the light source device 300 is emitted from the illumination lens 150 via the light guide 170 and illuminates the visual field range of the objective lens 130.

尚、この実施の形態の腹腔鏡１００は、ＣＣＤ１４０の前面に赤外カットフィルタが設けられていない点を除いて、一般の腹腔鏡と同じ構成を有している。   The laparoscope 100 of this embodiment has the same configuration as a general laparoscope except that an infrared cut filter is not provided on the front surface of the CCD 140.

［プロセッサ］
プロセッサ２００は、主として中央処理装置（ＣＰＵ）２１０、アナログ・フロント・エンド（ＡＦＥ）２２０、画像入力コントローラ２２２、通常画像処理部２２４、蛍光画像処理部２２６、画像合成部２３０、ＣＣＤドライバ２４０、タイミングジェネレータ（ＴＧ）２４２、キャラクタジェネレータ（ＣＧ）２４４、メモリ２４６、ビデオ出力部２４８、音声処理部２５０、スピーカ２５２、及び操作部２５４から構成されている。 [Processor]
The processor 200 mainly includes a central processing unit (CPU) 210, an analog front end (AFE) 220, an image input controller 222, a normal image processing unit 224, a fluorescence image processing unit 226, an image composition unit 230, a CCD driver 240, a timing. A generator (TG) 242, a character generator (CG) 244, a memory 246, a video output unit 248, an audio processing unit 250, a speaker 252, and an operation unit 254 are configured.

ＣＰＵ２１０は、プログラムＲＯＭを内蔵しており、このプログラムＲＯＭにはＣＰＵ２１０が実行する制御プログラムのほか、制御に必要な各種データ等が記録されている。ＣＰＵ２１０は、操作部２５４からの撮影の指示等の指示入力に基づきプログラムＲＯＭに記録された制御プログラムをメモリ２４６に読み出し、逐次実行することにより各部を制御する。尚、メモリ２４６は、プログラムの実行処理領域として利用されるほか、画像データ等の一時記憶領域、各種作業領域として利用される。   The CPU 210 has a built-in program ROM in which various data necessary for control are recorded in addition to the control program executed by the CPU 210. The CPU 210 controls each unit by reading a control program recorded in the program ROM into the memory 246 based on an instruction input such as a shooting instruction from the operation unit 254 and sequentially executing the control program. The memory 246 is used as a program execution processing area, a temporary storage area for image data, and various work areas.

腹腔鏡１００内のＣＣＤ１４０は、ＴＧ２４２からＣＣＤドライバ２４０を介して供給される垂直転送クロック及び水平転送クロックに同期して、各画素に蓄積された電荷を１ラインずつシリアルな画像信号として出力する。ＣＰＵ２１０は、ＴＧ２４２を制御して、ＣＣＤ１４０の駆動を制御する。   The CCD 140 in the laparoscope 100 outputs the charges accumulated in each pixel as a serial image signal line by line in synchronization with the vertical transfer clock and horizontal transfer clock supplied from the TG 242 via the CCD driver 240. The CPU 210 controls the driving of the CCD 140 by controlling the TG 242.

操作部２５４は、撮影の開始及び終了を指示するスイッチのほか、後述する手術経路の計算を指示するスイッチ、手術経路の開始点及び終了点の指示入力を行うマウス等のポインティングデバイスを有している。   The operation unit 254 includes a switch for instructing the start and end of imaging, a switch for instructing calculation of a surgical route, which will be described later, and a pointing device such as a mouse for inputting an instruction for the start and end points of the surgical route. Yes.

ＣＣＤ１４０から出力される画像信号は、アナログ信号であり、このアナログの画像信号は、ＡＦＥ２２０に取り込まれる。ＡＦＥ２２０は、相関二重サンプリング回路（ＣＤＳ）、及び自動ゲインコントロール回路（ＡＧＣ）、及びＡＤ変換器（ＡＤＣ）を含んで構成されている。ＣＤＳは、画像信号に含まれるノイズの除去を行い、ＡＧＣは、ノイズ除去された画像信号を所定のゲインで増幅し、ＡＤＣは、アナログの画像信号を所定ビットの階調幅を持ったデジタルの画像信号に変換する。   The image signal output from the CCD 140 is an analog signal, and this analog image signal is taken into the AFE 220. The AFE 220 includes a correlated double sampling circuit (CDS), an automatic gain control circuit (AGC), and an AD converter (ADC). The CDS removes noise contained in the image signal, the AGC amplifies the noise-removed image signal with a predetermined gain, and the ADC converts the analog image signal into a digital image having a gradation width of a predetermined bit. Convert to signal.

画像入力コントローラ２２２は、所定容量のラインバッファを内蔵しており、ＡＦＥ２２０から出力された１フレーム分の画像信号を蓄積する。この画像入力コントローラ２２２に蓄積された１フレーム分の画像信号は、バス２５６を介してメモリ２４６に格納される。   The image input controller 222 has a built-in line buffer having a predetermined capacity, and stores an image signal for one frame output from the AFE 220. The image signal for one frame accumulated in the image input controller 222 is stored in the memory 246 via the bus 256.

バス２５６には、上記ＣＰＵ２１０、メモリ２４６、画像入力コントローラ２２２のほか、通常画像処理部２２４、蛍光画像処理部２２６、画像合成部２３０、ＣＧ２４４、ビデオ出力部２４８等が接続されており、これらはバス２５６を介して互いに情報を送受信できるようになっている。   In addition to the CPU 210, memory 246, and image input controller 222, the normal image processing unit 224, fluorescent image processing unit 226, image composition unit 230, CG244, video output unit 248, and the like are connected to the bus 256. Information can be transmitted and received between each other via a bus 256.

メモリ２４６に格納された１フレーム分の画像信号は、通常画像処理部２２４又は蛍光画像処理部２２６に取り込まれ、それぞれ必要な画像処理が施される。通常画像処理部２２４、及び蛍光画像処理部２２６によって処理された画像は、画像合成部２３０によって合成される。尚、通常画像処理部２２４、蛍光画像処理部２２６、及び画像合成部２３０の詳細については後述する。   The image signal for one frame stored in the memory 246 is taken into the normal image processing unit 224 or the fluorescence image processing unit 226 and subjected to necessary image processing. The images processed by the normal image processing unit 224 and the fluorescence image processing unit 226 are combined by the image combining unit 230. Details of the normal image processing unit 224, the fluorescence image processing unit 226, and the image composition unit 230 will be described later.

画像合成部２３０によって合成された合成画像は、ビデオ出力部２４８によってモニタ装置４００用の映像信号に変換され、モニタ装置４００に出力される。   The synthesized image synthesized by the image synthesis unit 230 is converted into a video signal for the monitor device 400 by the video output unit 248 and output to the monitor device 400.

また、ＣＧ２４４は、ＣＰＵ２１０からの指令により警告文字等を発生し、画像合成部２３０に出力し、音声処理部２５０は、ＣＰＵ２１０からの指令によりビープ音などの警告音や警告音声をスピーカ２５２から発生させる。   Further, the CG 244 generates a warning character or the like according to a command from the CPU 210 and outputs it to the image composition unit 230, and the sound processing unit 250 generates a warning sound such as a beep sound or a warning sound from the speaker 252 according to a command from the CPU 210. Let

［光源装置］
光源装置３００は、主として白色の光源３１０、回転フィルタ３２０、絞り３３０、集光レンズ３４０、モータ駆動回路３５０、モータ３６０、及び自動光量調整回路（ＡＬＣ）３７０から構成されており、可視光と、特定の波長域（近赤外域）の励起光とを交互にライトガイド１７０に入射させる機能を備えている。 [Light source device]
The light source device 300 mainly includes a white light source 310, a rotary filter 320, a diaphragm 330, a condenser lens 340, a motor drive circuit 350, a motor 360, and an automatic light amount adjustment circuit (ALC) 370. It has a function of alternately making excitation light in a specific wavelength region (near infrared region) incident on the light guide 170.

光源３１０としては、例えばハロゲンランプを使用することができる。ハロゲンランプから発せられる白色光は、４００ｎｍ〜１８００ｎｍの波長域を有している。回転フィルタ３２０は、その回転位置に応じて可視光のみを透過させ、又は近赤外域の励起光のみを透過させる。   As the light source 310, for example, a halogen lamp can be used. White light emitted from the halogen lamp has a wavelength range of 400 nm to 1800 nm. The rotary filter 320 transmits only visible light or transmits only near-infrared excitation light according to the rotational position.

図４は回転フィルタ３２０の平面図である。同図に示すように、回転フィルタ３２０には、赤外カットフィルタ３２２と近赤外バンドパスフィルタ３２４とが設けられており、回転フィルタ３２０は、赤外カットフィルタ３２２が光源３１０の前面に位置する場合には、可視光（４００ｎｍ〜７００ｎｍ）のみを透過させ、近赤外バンドパスフィルタ（近赤外ＢＰＦ）３２４が光源３１０の前面に位置する場合には、近赤外域の励起光（例えば、８００ｎｍ付近）のみを透過させる。   FIG. 4 is a plan view of the rotary filter 320. As shown in the figure, the rotary filter 320 is provided with an infrared cut filter 322 and a near-infrared bandpass filter 324, and the rotary filter 320 has the infrared cut filter 322 positioned in front of the light source 310. In the case where only the visible light (400 nm to 700 nm) is transmitted and the near-infrared bandpass filter (near-infrared BPF) 324 is positioned in front of the light source 310, excitation light in the near-infrared region (for example, , Around 800 nm).

モータ駆動回路３５０は、モータ３６０に駆動信号を出力し、回転フィルタ３２０を３０回／秒の速度で回転させるとともに、ＴＧ２４２からの垂直同期信号に同期して赤外カットフィルタ３２２と近赤外ＢＰＦ３２４とが切り替わるように位相を制御している。   The motor drive circuit 350 outputs a drive signal to the motor 360, rotates the rotary filter 320 at a speed of 30 times / second, and synchronizes with the vertical synchronization signal from the TG 242 and the infrared cut filter 322 and the near-infrared BPF 324. The phase is controlled so that and are switched.

回転フィルタ３２０を透過した光は、絞り３３０及び集光レンズ３４０を介してライトガイド１７０の端面に導かれる。   The light transmitted through the rotary filter 320 is guided to the end face of the light guide 170 through the diaphragm 330 and the condenser lens 340.

ＡＬＣ３７０は、ＣＰＵ２１０から加えられる撮影画像の明るさ情報に基づいて絞り３３０を制御し、撮影画像が一定の明るさに維持されるようにライトガイド１７０に入射させる光量を調整する。これにより、ハレーション等が生じないようにしている。   The ALC 370 controls the diaphragm 330 based on the brightness information of the captured image applied from the CPU 210, and adjusts the amount of light incident on the light guide 170 so that the captured image is maintained at a constant brightness. This prevents halation or the like from occurring.

上記構成の光源装置３００により可視光をライトガイド１７０に入射させると、腹腔鏡１００では、カラー画像（通常画像）を撮影することができ、励起光をライトガイド１７０に入射させると、腹腔鏡１００では、励起光によって蛍光発光する生体組織の蛍光画像を撮影することができる。   When visible light is incident on the light guide 170 by the light source device 300 having the above configuration, the laparoscope 100 can capture a color image (normal image). When the excitation light is incident on the light guide 170, the laparoscope 100 Then, it is possible to take a fluorescent image of a living tissue that emits fluorescence by excitation light.

［血管画像を含む蛍光画像の取得方法］
光を使って生体組織内の情報を得るためには、生体組織が吸収する波長域の光を避ける必要がある。図５に示すように７００ｎｍ以下の可視光の波長域では、ヘモグロビンの吸収があり、１０００ｎｍ以上の波長域では、水の吸収があるため、この波長域の光は使用できない。７００ｎｍ〜１０００ｎｍの波長域（近赤外域）の光は、生体組織を比較的よく透過するため、「生体の分光学的窓」と呼ばれている。即ち、前述した近赤外域の励起光は、生体組織を比較的よく透過する光である。 [Method for obtaining fluorescent image including blood vessel image]
In order to obtain information in living tissue using light, it is necessary to avoid light in a wavelength range that is absorbed by the living tissue. As shown in FIG. 5, in the wavelength range of visible light of 700 nm or less, there is absorption of hemoglobin, and in the wavelength range of 1000 nm or more, there is water absorption, so light in this wavelength range cannot be used. Light in the wavelength range of 700 nm to 1000 nm (near infrared range) is referred to as a “biological spectroscopic window” because it passes through living tissue relatively well. In other words, the above-described excitation light in the near infrared region is light that permeates the living tissue relatively well.

本発明では、生体組織の内部の血管を観察するために、被検体に血管造影剤を投与するとともに、近赤外域の励起光を照射して血管画像を含む蛍光画像を撮影する。尚、血管造影剤としては、励起光波長７８５ｎｍ及び蛍光波長８０５ｎｍの蛍光試薬ＩＣＧ（インドシアニングリーン）、励起光波長７４７ｎｍ及び蛍光波長７７６ｎｍの蛍光試薬Ｃｙ７を用いることができる。   In the present invention, in order to observe a blood vessel inside a living tissue, a blood vessel contrast agent is administered to a subject, and a fluorescence image including a blood vessel image is photographed by irradiating excitation light in the near infrared region. As the angiographic contrast agent, fluorescent reagent ICG (indocyanine green) having an excitation light wavelength of 785 nm and a fluorescence wavelength of 805 nm, and fluorescent reagent Cy7 having an excitation light wavelength of 747 nm and a fluorescence wavelength of 776 nm can be used.

＜第１の実施の形態＞
本発明は通常画像と蛍光画像とを交互に撮影する。蛍光画像を撮影する場合には、前述したように生体組織に近赤外域の励起光を照射する。 <First Embodiment>
In the present invention, normal images and fluorescent images are taken alternately. When a fluorescent image is taken, the living tissue is irradiated with near-infrared excitation light as described above.

図６は本発明に係る画像表示方法及び装置の第１の実施の形態を示すフローチャートである。 FIG. 6 is a flowchart showing the first embodiment of the image display method and apparatus according to the present invention.

まず、被検体の静脈から血管造影剤を投与する（ステップＳ１０）。尚、血管造影剤は、体内で代謝されてしまうため、血中濃度を一定に保つように蛍光造影剤を投与する必要がある。また、血管造影剤の血中濃度が適正になるように（即ち、蛍光強度がピークになるように）血管造影剤を投与することが好ましい。   First, an angiographic contrast agent is administered from the vein of the subject (step S10). In addition, since an angiographic agent is metabolized in the body, it is necessary to administer a fluorescent contrast agent so as to keep the blood concentration constant. In addition, it is preferable to administer the angiographic contrast agent so that the blood concentration of the angiographic contrast agent is appropriate (that is, the fluorescence intensity reaches a peak).

続いて、通常画像と蛍光画像とを、１／６０秒の周期の垂直同期信号（ＶＤ信号）に同期して１フレーム毎に交互に撮影する（ステップＳ１２）。即ち、図７（Ａ）に示すようにＶＤ信号に同期して、光源装置３００から可視光と励起光とを交互に発光させ、ライトガイド１７０及び照明レンズ１５０を介して被検体を照射する。これにより、ＣＣＤ１４０により通常画像の露光（撮影）と蛍光画像の露光（撮影）とが交互に行われる（図７（Ｂ），（Ｆ））。   Subsequently, the normal image and the fluorescence image are alternately photographed for each frame in synchronization with the vertical synchronization signal (VD signal) having a period of 1/60 seconds (step S12). That is, as shown in FIG. 7A, in synchronization with the VD signal, visible light and excitation light are alternately emitted from the light source device 300, and the subject is irradiated through the light guide 170 and the illumination lens 150. As a result, the normal image exposure (photographing) and the fluorescence image exposure (photographing) are alternately performed by the CCD 140 (FIGS. 7B and 7F).

通常画像の露光が行われると、次のＶＤ信号に同期してＣＣＤ１４０から画像信号（通常画像）の読み出しが行われ（図７（Ｃ））、続いて、図３に示した通常画像処理部２２４にて通常画像処理が行われる（図７（Ｄ），ステップＳ１４）。   When the normal image is exposed, the image signal (normal image) is read from the CCD 140 in synchronization with the next VD signal (FIG. 7C), and then the normal image processing unit shown in FIG. Normal image processing is performed at 224 (FIG. 7D, step S14).

通常画像処理部２２４は、リニアマトリクス回路、ホワイトバランス補正回路、ガンマ補正回路、及び同時化回路等を含み、これらの回路によって入力する通常画像を示すＲ、Ｇ、Ｂの画像信号を処理する。   The normal image processing unit 224 includes a linear matrix circuit, a white balance correction circuit, a gamma correction circuit, a synchronization circuit, and the like, and processes R, G, and B image signals indicating normal images input by these circuits.

一方、蛍光画像の露光が行われると、次のＶＤ信号に同期してＣＣＤ１４０から画像信号（蛍光画像）の読み出しが行われ（図７（Ｇ））、続いて、図３に示した蛍光画像処理部２２６にて蛍光画像処理、及び血管画像の生成処理が行われる（図７（Ｈ），ステップＳ１６、Ｓ１８）。   On the other hand, when the fluorescent image is exposed, the image signal (fluorescent image) is read from the CCD 140 in synchronization with the next VD signal (FIG. 7G), and then the fluorescent image shown in FIG. The processing unit 226 performs fluorescence image processing and blood vessel image generation processing (FIG. 7H, steps S16 and S18).

蛍光画像処理部２２６は、まずガンマ補正回路、同時化回路等により入力する蛍光画像を示すＲ、Ｇ、Ｂの画像信号を処理し、同時化回路での同時化処理後のＲ、Ｇ、Ｂの画像信号から輝度信号（濃度情報のみをもつ信号）を生成する。続いて、濃度情報のみをもつ蛍光画像から血管画像の生成を行う。   The fluorescence image processing unit 226 first processes R, G, and B image signals indicating fluorescence images input by a gamma correction circuit, a synchronization circuit, and the like, and performs R, G, B after the synchronization processing in the synchronization circuit. A luminance signal (a signal having only density information) is generated from the image signal. Subsequently, a blood vessel image is generated from a fluorescent image having only density information.

図８は、図６のステップＳ１８における血管画像生成（血管画像の抽出）の処理を示すフローチャートである。   FIG. 8 is a flowchart showing a blood vessel image generation (blood vessel image extraction) process in step S18 of FIG.

図８に示すようにステップＳ１６で処理された蛍光画像を入力する（ステップＳ３０）。次に、入力した蛍光画像を所定の閾値により閾値処理し、前記閾値によって設定した濃度以上の画素（蛍光発光した生体組織から光を受光した画素）の濃度情報を抽出するとともに、前記閾値によって２値化した２値化画像を抽出する（ステップＳ３２）。尚、前記閾値としては、画素の濃度情報とノイズとを区別できる範囲内で可能な限り小さい値が好ましい。   As shown in FIG. 8, the fluorescence image processed in step S16 is input (step S30). Next, threshold processing is performed on the input fluorescence image with a predetermined threshold value, and density information of pixels (pixels that receive light from a fluorescent tissue that emits fluorescence) having a density equal to or higher than the density set by the threshold value is extracted. A binarized image obtained by binarization is extracted (step S32). The threshold value is preferably as small as possible within a range in which pixel density information and noise can be distinguished.

続いて、前記抽出した濃度情報又は２値化画像から血管画像のみを抽出する画像処理を行う（ステップＳ３４）。例えば、血管の特徴量（細長い連続した形状等）とは異なる特徴量を有する画像部分やノイズ成分を削除するためのフィルタ処理を行う。   Subsequently, image processing for extracting only a blood vessel image from the extracted density information or binarized image is performed (step S34). For example, a filtering process is performed to delete an image portion or a noise component having a feature amount different from a blood vessel feature amount (elongated continuous shape or the like).

上記のようにして画像処理された通常画像と蛍光画像（血管画像）は、図７（Ｅ）及び（Ｉ）に示すようにそれぞれ連続したフレームとなるように２フレームずつ出力され、同時に出力された通常画像と血管画像とは、図３に示した画像合成部２３０に出力され、ここで合成される。   As shown in FIGS. 7E and 7I, the normal image and the fluorescence image (blood vessel image) subjected to the image processing as described above are output in two frames so as to be continuous frames, and are simultaneously output. The normal image and the blood vessel image are output to the image synthesis unit 230 shown in FIG. 3 and synthesized there.

図９（Ａ）及び（Ｂ）は、それぞれ画像合成部２３０に出力される通常画像及び血管画像の模式図である。   9A and 9B are schematic diagrams of a normal image and a blood vessel image output to the image composition unit 230, respectively.

図１０は画像合成部２３０の内部構成を示すブロック図である。同図に示すように、画像合成部２３０は、ミキサ２３２、２３４、２３６と、色変換部２３８とを備えている。   FIG. 10 is a block diagram showing an internal configuration of the image composition unit 230. As shown in the figure, the image composition unit 230 includes mixers 232, 234, and 236 and a color conversion unit 238.

色変換部２３８には、濃度情報からなる血管画像が加えられており、色変換部２３８は、入力する血管画像を、予め設定された色（例えば、赤）になるように色変換し、変換後の血管画像をミキサ２３２に出力する。尚、色変換部２３８は、血管画像の濃度情報に対応した階調（明るい赤から暗い赤）の色になるように色変換する。   A blood vessel image composed of density information is added to the color conversion unit 238, and the color conversion unit 238 performs color conversion so that the blood vessel image to be input has a preset color (for example, red), and is converted. The subsequent blood vessel image is output to the mixer 232. Note that the color conversion unit 238 performs color conversion so as to obtain a color of gradation (bright red to dark red) corresponding to the density information of the blood vessel image.

ミキサ２３２の他の入力には、通常画像が加えられており、ミキサ２３２は、通常画像と血管画像とを合成する。このミキサ２３２での画像合成は、前記血管画像に対応する２値画像（血管画像とその背景とを示す２値化信号）をキー信号として通常画像に血管画像をキー合成する。これにより、通常画像上に血管画像のみを貼り付けるように合成し、血管がない部分は通常画像が見えるように合成する。   A normal image is added to the other input of the mixer 232, and the mixer 232 synthesizes the normal image and the blood vessel image. In the image synthesis by the mixer 232, a blood vessel image is key-synthesized with a normal image using a binary image corresponding to the blood vessel image (a binary signal indicating a blood vessel image and its background) as a key signal. As a result, the image is synthesized so that only the blood vessel image is pasted on the normal image, and the image is synthesized so that the normal image can be seen in the portion without the blood vessel.

このようにして合成された合成画像は、ミキサ２３４に加えられる。ミキサ２３４の他の入力には、必要に応じてＣＧ２４４から警告文字情報が加えられ、ミキサ２３４は、合成画像上に警告文字を合成できるようになっている。   The synthesized image synthesized in this way is added to the mixer 234. Warning character information is added to the other input of the mixer 234 from the CG 244 as necessary, and the mixer 234 can synthesize the warning character on the composite image.

ミキサ２３４から出力された合成画像は、ミキサ２３６に加えられる。ミキサ２３６の他の入力には、ＣＰＵ２１０から手術経路情報が加えられ、ミキサ２３６は合成画像上に手術経路を合成できるようになっている。尚、警告文字及び手術経路の合成表示の詳細については後述する。   The composite image output from the mixer 234 is added to the mixer 236. Surgical route information is added to the other input of the mixer 236 from the CPU 210 so that the mixer 236 can synthesize the surgical route on the composite image. Details of the combined display of the warning character and the surgical route will be described later.

図６に戻って、上記のようにして画像合成部２３０にて合成された合成画像は、ビデオ出力部２４８を介してモニタ装置４００に出力され、モニタ装置４００に表示される（ステップＳ２２）。図１１は合成画像が表示されたモニタ画面の一例を示している。   Returning to FIG. 6, the synthesized image synthesized by the image synthesizing unit 230 as described above is output to the monitor device 400 via the video output unit 248 and displayed on the monitor device 400 (step S22). FIG. 11 shows an example of a monitor screen on which a composite image is displayed.

次に、操作部２５４からの手術終了の指示入力の有無に基づいて手術が終了したか否かを判別し、手術が終了していない場合にはステップＳ１２に遷移し、手術が終了した場合には、本手術支援の処理を終了する（ステップＳ２４）。   Next, it is determined whether or not the operation has been completed based on whether or not an operation end instruction has been input from the operation unit 254. If the operation has not been completed, the process proceeds to step S12. Finishes the operation support process (step S24).

尚、この実施の形態では、血管画像として、濃度情報に対応した階調をもった画像としたが、これに限らず、２値化画像でもよい。この場合には、血管画像を容易に確認することができるが、血管画像に濃度差がないため、血管の深さ方向の情報は得られない。   In this embodiment, the blood vessel image is an image having a gradation corresponding to the density information, but is not limited to this, and may be a binarized image. In this case, the blood vessel image can be easily confirmed, but since there is no density difference in the blood vessel image, information on the depth direction of the blood vessel cannot be obtained.

［合成画像の他の表示例］
図１２及び図１３は、それぞれ合成画像を含む画像が表示されたモニタ画面の他の例を示している。 [Other display examples of composite image]
12 and 13 each show another example of a monitor screen on which an image including a composite image is displayed.

図１２に示すモニタ画面では、合成画像Ａと通常画像Ｂとを並べて表示している。また、図１３に示すモニタ画面では、合成画像Ａと通常画像Ｂと血管画像Ｃとを並べて表示している。尚、図１１、図１２及び図１３に示したモニタ画面は、操作部２５４での操作によって適宜切り替えることができるようにしてもよい。   On the monitor screen shown in FIG. 12, the composite image A and the normal image B are displayed side by side. In the monitor screen shown in FIG. 13, the composite image A, the normal image B, and the blood vessel image C are displayed side by side. Note that the monitor screens shown in FIGS. 11, 12, and 13 may be appropriately switched by an operation on the operation unit 254.

［画像表示装置の他の実施の形態］
上記実施の形態の腹腔鏡１００では、Ｒ、Ｇ、Ｂのカラーフィルタを有するＣＣＤ１４０を使用するようにしたが、これに限らず、白黒のＣＣＤ（図示せず）を使用するようにしてもよい。 [Other Embodiments of Image Display Device]
In the laparoscope 100 of the above embodiment, the CCD 140 having R, G, and B color filters is used. However, the present invention is not limited to this, and a monochrome CCD (not shown) may be used. .

この場合には、光源装置３００から可視光をライトガイド１７０に入射させる際に、Ｒ、Ｇ、Ｂの可視光を順次入射させる。   In this case, when visible light is incident on the light guide 170 from the light source device 300, R, G, and B visible light are sequentially incident.

即ち、光源装置３００は、図４に示した回転フィルタ３２０の代わりに、図１４に示す回転フィルタ３２９を使用する。この回転フィルタ３２９には、約９０度の角度範囲毎に、Ｒフィルタ３２８Ｒ、Ｇフィルタ３２８Ｇ、Ｂフィルタ３２８Ｂ、及び近赤外ＢＰＦ３２４が配設されている。また、Ｒフィルタ３２８Ｒ、Ｇフィルタ３２８Ｇ、Ｂフィルタ３２８Ｂには、赤外カットフィルタ（図示せず）も重畳して設けられている。   That is, the light source device 300 uses the rotation filter 329 shown in FIG. 14 instead of the rotation filter 320 shown in FIG. The rotary filter 329 is provided with an R filter 328R, a G filter 328G, a B filter 328B, and a near infrared BPF 324 for each angle range of about 90 degrees. Further, an infrared cut filter (not shown) is also superimposed on the R filter 328R, the G filter 328G, and the B filter 328B.

この回転フィルタ３２９は、Ｒフィルタ３２８Ｒ、Ｇフィルタ３２８Ｇ、Ｂフィルタ３２８Ｂ、及び近赤外ＢＰＦ３２４が光源３１０の前面に位置する場合には、それぞれＲ、Ｇ、Ｂの可視光、及び近赤外域の励起光を透過させる。   When the R filter 328R, the G filter 328G, the B filter 328B, and the near-infrared BPF 324 are positioned in front of the light source 310, the rotary filter 329 has R, G, and B visible light and near-infrared light, respectively. Transmits excitation light.

この回転フィルタ３２９を、１５回／秒の速度で回転させることにより、１／６０秒周期毎にＲ光、Ｇ光、Ｂ光、及び励起光が切り替わる面順次光を発生することができる。   By rotating the rotary filter 329 at a speed of 15 times / second, it is possible to generate surface sequential light in which R light, G light, B light, and excitation light are switched every 1/60 second period.

図１５は上記Ｒ光、Ｇ光、Ｂ光、及び励起光の面順次光を被検体に照射した場合の信号処理のタイミングチャートである。   FIG. 15 is a timing chart of signal processing when the subject is irradiated with the surface sequential light of the R light, G light, B light, and excitation light.

図１５（Ａ）に示すようにＶＤ信号に同期して、光源装置３００からＲ光、Ｇ光、Ｂ光、及び励起光が順番に発光され、Ｒ、Ｇ、Ｂ光による通常画像の露光、及び励起光の蛍光画像の露光が行われる（図１５（Ｂ），（Ｆ））。   As shown in FIG. 15A, in synchronization with the VD signal, R light, G light, B light, and excitation light are emitted in order from the light source device 300, and normal image exposure using R, G, B light, Then, the fluorescence image of the excitation light is exposed (FIGS. 15B and 15F).

Ｒ、Ｇ、Ｂ光による通常画像の露光、及び励起光の蛍光画像の露光が行われると、それぞれ次のＶＤ信号に同期してＣＣＤ１４０から画像信号の読み出しが行われ（図１５（Ｃ）、（Ｇ））、続いて、画像信号の読み出し後に通常画像処理部２２４及び蛍光画像処理部２２６による画像処理が行われる（図１５（Ｄ），（Ｈ））。   When normal image exposure using R, G, and B light and fluorescence image exposure using excitation light are performed, image signals are read out from the CCD 140 in synchronization with the next VD signal (FIG. 15C). (G)) Subsequently, after the image signal is read, image processing by the normal image processing unit 224 and the fluorescence image processing unit 226 is performed (FIGS. 15D and 15H).

尚、Ｒ、Ｇ、Ｂの面順次の画像信号の処理の場合には、カラーフィルタの配列に対応した同時化処理は不要であり、それ以外の画像処理は、カラーのＣＣＤ１４０から得られる画像信号の処理とほぼ同様である。また、図１５（Ｄ）では、Ｒ、Ｇ、Ｂの３つの色画像の読み出しが終了した後に、これらの画像に対する画像処理を開始するようにしたが、各色画像の読み出しが終了する毎に、その読み出した色画像に対する処理を開始するようにしてもよい。   In the case of R, G, and B frame sequential image signal processing, the synchronization processing corresponding to the arrangement of the color filters is unnecessary, and other image processing is performed using the image signal obtained from the color CCD 140. This is almost the same as the above processing. In FIG. 15D, the image processing for these images is started after the reading of the three color images of R, G, and B is completed. You may make it start the process with respect to the read color image.

通常画像処理部２２４及び蛍光画像処理部２２６による画像処理が終了すると、通常画像と蛍光画像（血管画像）は、図１５（Ｅ）及び（Ｉ）に示すようにそれぞれ連続したフレームとなるように４フレームずつ出力される。   When the image processing by the normal image processing unit 224 and the fluorescence image processing unit 226 is completed, the normal image and the fluorescence image (blood vessel image) are respectively continuous frames as shown in FIGS. 4 frames are output at a time.

尚、図１５（Ｄ）では、Ｒ１Ｇ１Ｂ１の３つの画像からカラー画像を生成し、次のＲ２Ｇ２Ｂ２の３つの画像から次のカラー画像を生成するようにしたが、これに限らず、Ｒ１Ｇ１Ｂ１→Ｇ１Ｂ１Ｒ２→Ｂ１Ｒ２Ｇ２→…のように新たな色画像が取得される毎に、その色画像と直前の２つの色画像とからカラー画像を生成するようにしてもよい。これによれば、より滑らかなライブビュー画像を作成することができる。 In FIG. 15D, the color image is generated from the three images R 1 G 1 B 1 and the next color image is generated from the next three images R 2 G 2 B 2. Each time a new color image is acquired, such as R 1 G 1 B 1 → G 1 B 1 R 2 → B 1 R 2 G 2 →... A color image may be generated from the color image. According to this, a smoother live view image can be created.

［光源装置の他の実施の形態］
図１６は本発明に適用される光源装置の他の実施の形態を示すブロック図である。尚、図３に示した光源装置３００と共通する部分には同一の符号を付し、その詳細な説明は省略する。 [Other Embodiments of Light Source Device]
FIG. 16 is a block diagram showing another embodiment of a light source device applied to the present invention. In addition, the same code | symbol is attached | subjected to the part which is common in the light source device 300 shown in FIG. 3, and the detailed description is abbreviate | omitted.

図１６に示す光源装置３００’は、図３に示した光源装置３００にレーザ制御部５００、半導体レーザ５１０、反射ミラー５２０、及びハーフミラー５３０が追加されている。また、回転フィルタ３２９は、図４に示した回転フィルタ３２０の近赤外ＢＰＦ３２４の部分が遮光されたものが使用されている。   A light source device 300 ′ illustrated in FIG. 16 includes a laser control unit 500, a semiconductor laser 510, a reflection mirror 520, and a half mirror 530 added to the light source device 300 illustrated in FIG. 3. Further, as the rotary filter 329, a filter in which the near infrared BPF 324 portion of the rotary filter 320 shown in FIG. 4 is shielded from light is used.

上記構成の光源装置３００’により可視光を発光させる場合には、光源３１０から発光された白色光の波長域を、回転フィルタ３２９の赤外カットフィルタにより可視光の波長域に制限し、赤外カットフィルタを透過させた可視光を、絞り３３０、集光レンズ３４０及びハーフミラー５３０を介してライトガイド１７０の入射端面に入射させる。   When visible light is emitted by the light source device 300 ′ having the above configuration, the wavelength range of white light emitted from the light source 310 is limited to the wavelength range of visible light by the infrared cut filter of the rotary filter 329, and infrared light is emitted. The visible light transmitted through the cut filter is incident on the incident end face of the light guide 170 through the diaphragm 330, the condenser lens 340, and the half mirror 530.

一方、励起光を発光させる場合には、レーザ制御部５００により半導体レーザ５１０が間欠的にレーザ光を発光するように制御する。この半導体レーザ５１０の発光期間は、光源３１０から発光された白色光が回転フィルタ３２９によって遮光される遮光期間に同期するように制御される。   On the other hand, when the excitation light is emitted, the laser control unit 500 controls the semiconductor laser 510 to emit laser light intermittently. The light emission period of the semiconductor laser 510 is controlled to synchronize with the light shielding period in which the white light emitted from the light source 310 is shielded by the rotary filter 329.

半導体レーザ５１０は、８００ｎｍ付近の近赤外域のレーザ光（励起光）を発光することができ、この励起光は、反射ミラー５２０及びハーフミラー５３０を介してライトガイド１７０の入射端面に入射する。   The semiconductor laser 510 can emit near-infrared laser light (excitation light) in the vicinity of 800 nm, and this excitation light is incident on the incident end face of the light guide 170 via the reflection mirror 520 and the half mirror 530.

また、図１６に示した光源３１０の代わりに、白色発光ダイオードを使用することができ、この白色発光ダイオードをＯＮ／ＯＦＦ制御することより、回転フィルタ３２９等を省略することができる。   In addition, a white light emitting diode can be used instead of the light source 310 shown in FIG. 16, and the rotary filter 329 and the like can be omitted by controlling the white light emitting diode on / off.

＜第２の実施の形態＞
図１７は本発明に係る画像表示方法及び装置の第２の実施の形態を示すフローチャートである。 <Second Embodiment>
FIG. 17 is a flowchart showing a second embodiment of the image display method and apparatus according to the present invention.

第２の実施の形態は、第１の実施の形態によって合成画像が表示された画面上に、手術処置具と血管とが近接した場合に警告表示を行うようにしている。以下、警告表示等を行うための処理について説明する。   In the second embodiment, a warning is displayed when a surgical instrument and a blood vessel are close to each other on the screen on which the composite image is displayed according to the first embodiment. Hereinafter, a process for displaying a warning will be described.

図１７において、通常画像を入力し（ステップＳ５０）、入力した通常画像を画像処理することより、電気メスの先端位置ＰＯを検出する（ステップＳ５２）。電気メスの先端位置ＰＯの検出は、まず通常画像内から電気メスの画像を検出する。電気メスの具体的な検出方法としては、エッジ検出又は形状パターン検出による方法、電気メスの特徴点をベクトル化し、特徴点ベクトルを近似検出することによる、特徴点ベクトル近似法、使用する電気メス固有の色相検出による方法等の公知の方法を利用することができる。 17, usually by entering the image (step S50), than to the image processing ordinary image input, detects the tip position P O of the electric knife (step S52). Detection of tip position P O of the electric knife, first detects an image of the electric knife from the normal image. Specific methods for detecting an electric knife include edge detection or shape pattern detection, vectorization of electric knife feature points, and approximate detection of the feature point vector, and the characteristics of the electric knife used A known method such as a method based on hue detection can be used.

電気メスが検出されると、その検出した電気メスのエッジを追跡することによって先端位置ＰＯを検出することができる。 If electrocautery is detected, it is possible to detect the tip position P O by tracking the edge of the detected electric knife.

次に、前記検出した電気メスの先端位置ＰＯから最短距離にある血管までの距離Ｌを算出する（ステップＳ５４）。この距離Ｌの算出は、以下のようにして行う。 Then, to calculate the distance L to the vessel at the shortest distance from the front end position P O of the electric scalpel which the detected (step S54). The distance L is calculated as follows.

図１８に示すように電気メス３０の先端位置ＰＯを基準にして、先端位置ＰＯから血管画像を放射方向に走査する。例えば、位置ＰＯから０時の方向に血管画像の画素値を走査し、最初に画素値が現れた画素の位置を血管壁と見なし、位置ＰＯと血管壁までのＣＣＤ１４０の結像面上の距離を算出する。この処理を、０時から１２時まで所定の角度ずつ回転させながら繰り返し実行し、算出された複数の距離のうちの最小値を最短の距離Ｌとして求める。 Based on the end position P O of the electric knife 30 as shown in FIG. 18, to scan the blood vessel image in the radial direction from the front end position P O. For example, scanning the pixel values of the blood vessel image in the direction of 0:00 from the position P O, initially regarded the position of the pixel which pixel value appears with the vessel wall, the position P O and CCD140 imaging plane to the vessel wall The distance is calculated. This process is repeatedly executed while rotating by a predetermined angle from 0 o'clock to 12 o'clock, and the minimum value among the calculated distances is obtained as the shortest distance L.

続いて、上記のようにして算出した距離Ｌの実寸距離Ｌ’を算出する（ステップＳ５６）。実寸距離Ｌ’を算出する方法としては、生体組織表面までの撮影距離を検出し、その撮影距離に基づいて実寸距離Ｌ’を算出する方法や、生体組織表面上に位置している基準スケール（例えば、寸法が既知の処置具等）の通常画像上での大きさを検出し、その大きさに基づいて実寸距離Ｌ’を算出する方法が考えられる。   Subsequently, the actual distance L ′ of the distance L calculated as described above is calculated (step S56). As a method for calculating the actual distance L ′, an imaging distance to the surface of the living tissue is detected, and an actual distance L ′ is calculated based on the imaging distance, or a reference scale ( For example, a method of detecting the size of a treatment tool having a known dimension on a normal image and calculating the actual distance L ′ based on the size is conceivable.

生体組織表面までの撮影距離を検出する方法としては、腹腔鏡１００の先端からレーザビームを撮影画像の中心に向かって出射する。生体組織表面までの撮影距離に応じて、前記レーザビームの輝点の位置が変化するため、レーザビームの輝点の画面上の位置を検出することによって撮影距離を求めることができる。また、レーザビームを複数本出射することにより生体組織表面の複数箇所の距離を求めることができる。   As a method for detecting the imaging distance to the surface of the living tissue, a laser beam is emitted from the tip of the laparoscope 100 toward the center of the captured image. Since the position of the bright spot of the laser beam changes according to the photographing distance to the surface of the living tissue, the photographing distance can be obtained by detecting the position of the bright spot of the laser beam on the screen. In addition, by emitting a plurality of laser beams, the distances at a plurality of locations on the surface of the living tissue can be obtained.

撮影距離Ｘが検出されると、距離Ｘと対物レンズ１３０の焦点距離ｆとの比を、結像面上の距離Ｌに乗算することによって実寸距離Ｌ’を求めることができる。   When the photographing distance X is detected, the actual distance L ′ can be obtained by multiplying the distance L on the image plane by the ratio of the distance X and the focal length f of the objective lens 130.

このようにして算出した電気メス３０の先端位置ＰＯから最短距離にある血管までの実寸距離Ｌ’が、危険か否かを判断するための基準の距離Ｌｒｅｆ以下か否かを判別する（ステップＳ５８）。 Thus the exact distance L 'to the vessel in the shortest distance from the front end position P O of the electric knife 30 that is calculated to determine whether or not the reference distance L ref following to determine risk or not ( Step S58).

判別結果が「Ｙｅｓ」（Ｌ’≦Ｌｒｅｆ）の場合には、合成画像上に警告を表示する（ステップＳ６０）。判別結果が「Ｎｏ」（Ｌ’＞Ｌｒｅｆ）の場合には、ステップＳ６２に遷移し、ステップＳ６０での警告表示は行わない。 If the determination result is “Yes” (L ′ ≦ L ref ), a warning is displayed on the composite image (step S60). If the determination result is “No” (L ′> L ref ), the process proceeds to step S62 and no warning is displayed in step S60.

図１９に警告表示の一例を示す。同図に示す例では、「接近！」の警告文字を表示するとともに、引き出し線によってどの血管に接近しているか、また、その実寸距離（この例では、「２ｍｍ」）を同時に表示するようにしている。尚、矢印のようにポインタを血管の位置に表示したり、測っているポイントに点印を付けたりしてもよい。更に、実寸距離をバー表示したり、メータ表示するようにしてもよい。   FIG. 19 shows an example of warning display. In the example shown in the figure, the warning character “approaching!” Is displayed, and the blood vessel that is approaching by the leader line and the actual distance (in this example, “2 mm”) are displayed at the same time. ing. Note that a pointer may be displayed at the position of the blood vessel as indicated by an arrow, or a point may be attached to the point being measured. Further, the actual distance may be displayed as a bar or meter.

この警告文字及び実寸距離をモニタ装置４００に表示させる場合には、ＣＰＵ２１０から警告文字及び実寸距離を示す信号をＣＧ２４４に出力し、ＣＧ２４４から警告文字及び実寸距離を示す警告文字情報を画像合成部２３０に出力させる。図１０に示すように画像合成部２３０のミキサ２３４は、ＣＧ２４４から入力する警告文字情報に基づいて合成画像上に警告文字及び実寸距離を合成する。これにより、モニタ装置４００の画面上に警告文字及び実寸距離が合成された合成画像を表示させることができる。   When displaying the warning character and the actual distance on the monitor device 400, the CPU 210 outputs a signal indicating the warning character and the actual distance to the CG 244, and the warning character information indicating the warning character and the actual distance from the CG 244. To output. As shown in FIG. 10, the mixer 234 of the image composition unit 230 synthesizes the warning character and the actual distance on the composite image based on the warning character information input from the CG 244. As a result, a combined image in which the warning character and the actual distance are combined can be displayed on the screen of the monitor device 400.

尚、警告文字及び実寸距離の表示形態としては、表示色を変化させる表示、点滅させる表示、拡大縮小を繰り返す表示、又は拡大表示することが考えられる。これにより、警告文字及び実寸距離の表示に注意を喚起することができ、警告が見落とされないようにすることができる。   As a display form of the warning character and the actual distance, it is conceivable that the display color is changed, the display is blinked, the enlargement / reduction display is repeated, or the enlargement display is performed. Thereby, attention can be drawn to the display of the warning character and the actual distance, and the warning can be prevented from being overlooked.

また、この実施の形態では、警告文字及び実寸距離を同時に表示するようにしたが、これに限らず、警告文字及び実寸距離の一方を表示するようにしてもよい。   In this embodiment, the warning character and the actual distance are displayed simultaneously. However, the present invention is not limited to this, and one of the warning character and the actual distance may be displayed.

更に、警告文字及び実寸距離の表示とともに、又は警告文字及び実寸距離の表示の代わりに、ＣＰＵ２１０から警告の音声指令を音声処理部２５０に出力し、音声処理部２５０から音声信号をスピーカ２５２に出力することにより、警告音又は警告音声を発生させるようにしてもよい。   Further, together with the display of the warning character and the actual distance, or instead of the display of the warning character and the actual distance, a warning voice command is output from the CPU 210 to the voice processing unit 250, and a voice signal is output from the voice processing unit 250 to the speaker 252. By doing so, a warning sound or a warning sound may be generated.

図１７に戻って、ステップＳ６２では操作部２５４からの手術終了の指示入力の有無に基づいて手術が終了したか否かを判別し、手術が終了していない場合にはステップＳ６４に遷移し、手術が終了した場合には、本手術支援の処理を終了する。   Returning to FIG. 17, in step S <b> 62, it is determined whether or not the operation is completed based on the presence / absence of an operation end instruction input from the operation unit 254. If the operation is not completed, the process proceeds to step S <b> 64. When the operation is finished, the operation support process is finished.

ステップＳ６４及びステップＳ６６では、ステップＳ５０及びステップＳ５２と同様にして新たに通常画像を入力し、電気メスの先端位置ＰＯを検出する。続いて、電気メスの先端位置ＰＯが前回の位置から移動したか否かを判別し、電気メスの先端位置ＰＯが移動した場合には、ステップＳ５４に遷移させ、電気メスの先端位置ＰＯが移動していない場合には、ステップＳ５８に遷移させる（ステップＳ６８）。 In step S64 and step S66, the in the same manner as in step S50 and step S52 to enter a new normal image, detecting the tip position P O of the electric knife. Subsequently, the tip position P O of the electric knife is determined whether or not moved from the previous position, when the tip position P O of the electric scalpel has moved, it makes a state transition to step S54, the electric knife tip position P If O has not moved, the process proceeds to step S58 (step S68).

＜第３の実施の形態＞
図２０は本発明に係る画像表示方法及び装置の第３の実施の形態を示すフローチャートである。 <Third Embodiment>
FIG. 20 is a flowchart showing a third embodiment of the image display method and apparatus according to the present invention.

第３の実施の形態は、第１の実施の形態によって合成画像が表示された画面上に、安全な手術経路を計算して重畳して表示することを特徴としている。以下、手術経路を表示するための処理等について説明する。   The third embodiment is characterized in that a safe surgical route is calculated and superimposed on the screen on which the composite image is displayed according to the first embodiment. Hereinafter, processing for displaying a surgical route and the like will be described.

図２０において、手術者は、合成画像を見ながら所望の上で手術の始点位置ＰＡ、及び終点位置ＰＢを入力する（ステップＳ７０）。これらの始点位置ＰＡ、及び終点位置ＰＢを入力する場合には、操作部２５４とモニタ装置４００の画面とを使用し、例えば、手術支援装置１０の動作モードを始点／終点位置入力モードに設定する。そして、モニタ装置４００の画面上で始点位置ＰＡにマウスポインタを移動させ、マウスをクリックすることにより始点位置ＰＡを設定する。同様にして終点位置ＰＢを設定する。 In FIG. 20, the surgeon inputs the start point position P A and the end point position P B of the operation as desired while viewing the composite image (step S70). When inputting the start point position P A and the end point position P B , the operation unit 254 and the screen of the monitor device 400 are used. For example, the operation mode of the surgery support apparatus 10 is changed to the start point / end point position input mode. Set. Then, move the mouse pointer to the start position P A on the screen of the monitor device 400 sets the starting point position P A by clicking the mouse. Similarly, the end point position P B is set.

図２１（Ａ）は、始点位置ＰＡ、及び終点位置ＰＢを設定したときのモニタ画面の一例を示している。尚、設定された始点位置ＰＡ、及び終点位置ＰＢには、それぞれマーカーを表示することが好ましい。 FIG. 21A shows an example of a monitor screen when the start point position P A and the end point position P B are set. In addition, it is preferable to display a marker at each of the set start point position P A and end point position P B.

始点位置ＰＡ、及び終点位置ＰＢの設定が終了した後、術者が操作部２５４から手術経路の作成指示を入力すると、ＣＰＵ２１０は、始点位置ＰＡから終点位置ＰＢまでの危険領域を通らない手術経路を計算する（ステップＳ７２）。 Starting position P A, and after the setting of the end point P B is completed, the operator inputs the instruction for generating surgical path from the operation unit 254, CPU 210 is a danger region from the start point position P A to the end point position P B A surgical route that does not pass is calculated (step S72).

図２１を用いて手術経路の計算の一例を説明する。図２１（Ｂ）に示す例では、始点位置ＰＡから終点位置ＰＢに向かって順番に血管間の中点Ｐ１〜Ｐ７を求める。例えば、中点Ｐ１を求める場合には、始点位置ＰＡと終点位置ＰＢとを結んだ線分を挟む血管、又は線分が横断する血管を求める。図２１（Ｂ）の例では、血管Ｘ１、Ｘ２を求め、これらの血管Ｘ１、Ｘ２が最も近づく位置を求める。そして、これらの血管Ｘ１、Ｘ２が最も近づく位置の中点Ｐ１を算出する。 An example of the calculation of the surgical route will be described with reference to FIG. In the example shown in FIG. 21 (B), obtaining the middle point P 1 to P 7 between vessel order from the start position P A in the end position P B. For example, in the case of obtaining the middle point P 1 vascular sandwiching a line segment connecting the starting point position P A and the end point position P B, or line segments seek vessels crossing. In the example of FIG. 21B, blood vessels X 1 and X 2 are obtained, and the position where these blood vessels X 1 and X 2 are closest is obtained. Then, the middle point P 1 at which the blood vessels X 1 and X 2 are closest is calculated.

同様にして、中点Ｐ２を求める場合には、前記求めた中点Ｐ１と終点位置ＰＢとを結んだ線分を挟む血管、又は線分が横断する血管を求める。図２１（Ｂ）の例では、血管Ｘ２、Ｘ３を求め、これらの血管Ｘ２、Ｘ３が最も近づく位置を求める。そして、最も近づく位置の中点Ｐ２を算出する。 Similarly, the case of obtaining the middle point P 2 vascular sandwiching a line segment connecting said determined midpoint P 1 and the end position P B, or line segments seek vessels crossing. In the example of FIG. 21B, blood vessels X 2 and X 3 are obtained, and the position where these blood vessels X 2 and X 3 are closest is obtained. Then, to calculate the midpoint P 2 of the closest position.

一方、上記のようにして求めた中点Ｐ３と終点位置ＰＢとを直線で結んだ場合には、その線分は、血管Ｘ５を横断することになる。この場合には、この横断する血管Ｘ５と、血管Ｘ５を迂回する経路側の血管Ｘ４とが最も近づく位置を求め、これらの位置の中点Ｐ４を算出する。 On the other hand, when connecting the middle point P 3 and the end point P B obtained as described above in a straight line, the line segment will to cross the vascular X 5. In this case, the vessel X 5 to the transverse, and the vessel X 4 route side to bypass the blood vessel X 5 obtains the most approached position, calculates a middle point P 4 of these positions.

上記のようにして各中点Ｐ１〜Ｐ７の算出が終了すると、図２１（Ｃ）に示すように始点位置ＰＡと終点位置ＰＢとを結ぶ手術経路Ｃであって、途中の各中点Ｐ１〜Ｐ７を通る手術経路Ｃを算出する。各点を通る手術経路Ｃは、例えばスプライン補間を使用し、全体としては滑らかな曲線になるように計算する。尚、血管間の中点の位置と血管との実寸距離を算出し、この実寸距離が危険な距離として予め設定された閾値以下の場合には、他の手術経路の計算を行うようにする。 When the above manner is calculated for each midpoint P 1 to P 7 is completed, a surgical path C connecting the starting point position P A and the end point position P B as shown in FIG. 21 (C), each of the middle A surgical route C passing through the midpoints P 1 to P 7 is calculated. The surgical path C passing through each point is calculated so as to be a smooth curve as a whole using, for example, spline interpolation. It should be noted that the actual distance between the position of the midpoint between the blood vessels and the blood vessel is calculated, and when this actual distance is less than or equal to a threshold set in advance as a dangerous distance, another surgical route is calculated.

図２０に戻って、手術経路の算出が終了すると、手術経路とともに、手術経路上の画像（例えば、始点位置ＰＡ、終点位置ＰＢ、及び各中点Ｐ１〜Ｐ７の近傍の画像）を、画面上の位置に関連づけて記憶する（ステップＳ７４）。 Returning to FIG. 20, when the calculation of the surgical route is completed, the image on the surgical route along with the surgical route (for example, an image in the vicinity of the start point position P A , the end point position P B , and the midpoints P 1 to P 7 ). Is stored in association with the position on the screen (step S74).

次に、画像が変化したか否かを、前記記憶した画像との比較により判別する（ステップＳ７６）。画像の変化は、腹腔鏡１００の撮影範囲の変化や術中の撮影対象の移動によって生じる。   Next, it is determined whether or not the image has changed by comparison with the stored image (step S76). The change in the image is caused by a change in the imaging range of the laparoscope 100 or a movement of the imaging object during the operation.

画像が変化しない場合には、ステップＳ７２で算出した手術経路を、モニタ装置４００に表示されている合成画像上に重ねて表示させる（ステップＳ８０）。   If the image does not change, the surgical route calculated in step S72 is displayed superimposed on the composite image displayed on the monitor device 400 (step S80).

この手術経路をモニタ装置４００に表示させる場合には、ＣＰＵ２１０から手術経路を示す手術経路情報を画像合成部２３０に出力する。図１０に示すように画像合成部２３０のミキサ２３６は、ＣＰＵ２１０から入力する手術経路情報に基づいて合成画像上に手術経路を合成する。これにより、モニタ装置４００の画面上に、手術経路が合成された合成画像を表示させることができる。   When displaying the surgical route on the monitor device 400, the surgical route information indicating the surgical route is output from the CPU 210 to the image composition unit 230. As shown in FIG. 10, the mixer 236 of the image composition unit 230 synthesizes a surgical route on the composite image based on the surgical route information input from the CPU 210. Thereby, the synthesized image in which the surgical route is synthesized can be displayed on the screen of the monitor device 400.

一方、画像が変化したと判別されると、ステップＳ７４で記憶した画像との各部分での画像のずれ量を算出し、そのずれ量だけ前記始点位置ＰＡ、終点位置ＰＢ、及び各中点Ｐ１〜Ｐ７の位置を補正し、補正後の各位置に基づいて手術経路を再計算する（ステップＳ７８）。そして、ステップＳ８０では、再計算後の手術経路を表示させる。 On the other hand, if it is determined that the image has changed, an image shift amount in each part from the image stored in step S74 is calculated, and the start point position P A , end point position P B , and each intermediate amount are calculated by the shift amount. The positions of the points P 1 to P 7 are corrected, and the operation route is recalculated based on the corrected positions (step S78). In step S80, the surgical route after recalculation is displayed.

その後、手術が終了したか否かを操作部３５４からの手術終了の指示入力の有無に基づいて判別し、終了していない場合にはステップＳ７６に遷移し、手術が終了した場合には、本手術支援の処理を終了する（ステップＳ８２）。   Thereafter, it is determined whether or not the operation has been completed based on the presence or absence of an instruction to end the operation from the operation unit 354. If the operation has not been completed, the process proceeds to step S76. The operation support process is terminated (step S82).

［第３の実施の形態の変形例］
図２０のステップＳ７２での手術経路の計算後にモニタ画面上に手術経路を表示させ、術者からの指示入力に基づいて（例えば、手術経路をマウスでドラッグして）手術経路を修正できるようにしてもよい
また、図２２に示すように手術経路と血管との実寸距離を算出し、注意を要する箇所等に実寸距離や警告を表示するようにしてもよい。これによれば、手術経路に沿って切開する場合に、特に注意を要する箇所への切開を慎重に行うことができる。 [Modification of Third Embodiment]
After the calculation of the surgical route in step S72 in FIG. 20, the surgical route is displayed on the monitor screen so that the surgical route can be corrected based on an instruction input from the operator (for example, dragging the surgical route with a mouse). Alternatively, as shown in FIG. 22, the actual distance between the surgical route and the blood vessel may be calculated, and the actual distance or a warning may be displayed at a location requiring attention. According to this, when making an incision along a surgical route, an incision can be carefully made at a place requiring special attention.

更に、手術の始点位置ＰＡ、及び終点位置ＰＢの入力方法は、この実施の形態に限定されず、例えば、タッチパネル付きのモニタ装置の場合には、タッチペン等によって行うようにしてもよい。 Furthermore, the input method of the start point position P A and the end point position P B of the operation is not limited to this embodiment. For example, in the case of a monitor device with a touch panel, it may be performed by a touch pen or the like.

また、図２３に示すように手術の始点位置ＰＡ、及び終点位置ＰＢの入力後、手術経路が表示された場合に（図２３（Ａ），（Ｂ））、その手術経路上の複数のポイントを、電気メスによってマーキングする。マーキングする箇所としては、始点位置ＰＡ、終点位置ＰＢ、及び手術経路を計算する上で必要なポイント（Ｑ１〜Ｑ６）が選択される。そして、マーキング終了後に、図２０のステップＳ７４で記憶させた画像の代わりに、これらの複数のポイントを含む画像及びその位置を記憶させる。これによれば、手術経路上の特徴点の抽出が簡単になり、画像の変化に伴う手術経路の変更表示を、より簡単に行うことができる。 Also, as shown in FIG. 23, when the surgical path is displayed after the start point position P A and the end point position P B of the surgery are input (FIGS. 23A and 23B), a plurality of paths on the surgical path are displayed. The point is marked with an electric knife. The portions of the marking, the start position P A, the end point P B, and necessary points in calculating a surgical path (Q 1 ~Q 6) is selected. Then, after the end of marking, an image including these points and its position are stored instead of the image stored in step S74 of FIG. According to this, the extraction of the feature points on the surgical route becomes easy, and the change display of the surgical route accompanying the change of the image can be performed more easily.

［手術経路の他の計算及び表示方法］
図２４は手術経路の他の計算方法を説明するための図である。 [Other calculation and display methods for surgical route]
FIG. 24 is a diagram for explaining another calculation method of the surgical route.

図２１に示した手術経路の計算方法は、各血管間の中点を通るように手術経路を算出したため、最も安全な手術経路を算出することができるが、図２４に示す手術経路の計算方法は、危険領域を通過しない最短の手術経路を算出する方法である。   The surgical route calculation method shown in FIG. 21 calculates the surgical route so as to pass through the midpoint between the blood vessels, so that the safest surgical route can be calculated. However, the surgical route calculation method shown in FIG. Is a method of calculating the shortest surgical route that does not pass through the dangerous area.

図２４に示すように手術の始点位置ＰＡ、及び終点位置ＰＢが指定されると、これらの始点位置ＰＡと終点位置ＰＢとを結んだ線分の近傍の血管Ｘ１、Ｘ２、…を求める（図２４（Ａ））。続いて、血管Ｘ１、Ｘ２、…から一定距離の範囲の危険領域Ａ１、Ａ２、…を設定する（図２４（Ｂ））。この危険領域Ａ１、Ａ２、…の設定は、予め設定された手術経路と血管壁との危険な実寸距離に基づいて行う。 As shown in FIG. 24, when the start point position P A and the end point position P B of the operation are designated, the blood vessels X 1 and X 2 near the line segment connecting the start point position P A and the end point position P B are shown. ,... Are obtained (FIG. 24A). Subsequently, risk areas A 1 , A 2 ,... Within a certain distance from the blood vessels X 1 , X 2 ,... Are set (FIG. 24B). The risk areas A 1 , A 2 ,... Are set based on a dangerous actual distance between a surgical route set in advance and a blood vessel wall.

続いて、手術の始点位置ＰＡと点位置ＰＢとを直線で結んだ時に（図２４（Ｃ））、上記危険領域Ａ１、Ａ２、…を通過しない場合には、その直線を手術経路として設定するが、上記危険領域Ａ１、Ａ２、…を通過する場合には、下記のように迂回する手術経路を計算する。 Subsequently, when the starting point position P A and the point position P B of the operation are connected with a straight line (FIG. 24C), if the risk area A 1 , A 2 ,. Although it is set as a route, when it passes through the dangerous areas A 1 , A 2 ,..., A surgical route that bypasses is calculated as follows.

即ち、図２４（Ｄ）に示すように手術の始点位置ＰＡから危険領域Ａ１を通過しない最短の位置Ｐ１を求め、位置ＰＡと位置Ｐ１とを直線で結んだ経路を手術経路とする。続いて、位置Ｐ１から危険領域Ａ２を通過しない最短の位置Ｐ２を求め、その後、位置Ｐ２から危険領域Ａ１を通過しない最短の位置Ｐ１’を求める。そして、位置Ｐ１とＰ１’との間の危険領域Ａ１の円弧、及び位置Ｐ１’と位置Ｐ２とを直線で結んだ経路を手術経路とする。以下同様にして、位置Ｐ２とＰ２’との間の危険領域Ａ２の円弧、及び位置Ｐ２’と位置ＰＢとを直線で結んだ経路を手術経路とする（図２４（Ｅ））。 That is, determine the shortest position P 1 that does not pass through the critical region A 1 from the start point position P A of the surgical as shown in FIG. 24 (D), surgery connecting it path between the position P A and the position P 1 by linear path And Then, determine the shortest position P2 does not pass through the critical region A 2 from the position P1, then obtains the shortest position P1 'that does not pass through the critical region A 1 from the position P2. A surgical route is defined as a path connecting the arc of the dangerous area A 1 between the positions P 1 and P 1 ′ and the position P 1 ′ and the position P 2 with a straight line. Similarly, the surgical path is defined as a path connecting the arc of the danger area A 2 between the positions P 2 and P 2 ′ and the position P 2 ′ and the position P B with a straight line (FIG. 24E). ).

これにより、危険領域を通過しない最短の手術経路を計算することができる。   This makes it possible to calculate the shortest surgical route that does not pass through the dangerous area.

また、図２５に示すように手術経路を計算せずに、手術の始点位置ＰＡから終点位置ＰＢに至る安全領域を算出し、この算出した安全領域と危険領域（安全領域以外の領域）とを識別可能に表示するようにしてもよい。 Further, without calculating the surgical path as shown in FIG. 25, it calculates a safe region from the start position P A of surgery end position P B, the calculated safety area and risk area (area other than the safety area) May be displayed in an identifiable manner.

上記安全領域は、危険領域を算出することにより求めることができる。例えば、手術の始点位置ＰＡと終点位置ＰＢとを結ぶ線分の近傍の各血管について、図２４（Ｂ）に示したようにそれぞれ危険領域を設定する。そして、これらの危険領域を連結した領域に基づいて危険領域を算出する。そして、この算出した危険領域以外の領域を、安全領域として求める。 The safety area can be obtained by calculating a dangerous area. For example, a risk region is set for each blood vessel in the vicinity of a line segment connecting the start point position P A and the end point position P B as shown in FIG. And a dangerous area is calculated based on the area | region which connected these dangerous areas. Then, an area other than the calculated dangerous area is obtained as a safety area.

尚、安全領域と危険領域とは、合成画像の濃度や色を変えることにより識別可能に表示することができる。   The safe area and the dangerous area can be displayed so as to be distinguishable by changing the density and color of the composite image.

また、安全経路、最短経路等の複数の手術経路を識別可能に同時に表示したり、複数の経路のうちの選択された手術経路のみを表示するようにしてもよい。更に、選択された手術経路を強調表示し、あるいは、選択された経路以外は目立たない表示する（色を変える、線を細くする）ようにしてもよい。   In addition, a plurality of surgical routes such as a safe route and a shortest route may be simultaneously displayed so as to be identifiable, or only a selected surgical route among the plurality of routes may be displayed. Further, the selected surgical route may be highlighted or displayed inconspicuously except for the selected route (changing the color or making the line thinner).

［その他の実施の形態］
この実施の形態では、腹腔鏡を使用する場合について説明したが、本発明は、これに限らず、各種の内視鏡（上部消化管内視鏡、小腸内視鏡、大腸内視鏡、胸腔鏡、喉頭内視鏡、気管支鏡、膀胱鏡、胆道鏡、関節鏡等）に適用でき、要は、通常画像と蛍光画像とを撮影できるものであれば、如何なるものにも適用できる。 [Other embodiments]
In this embodiment, the case of using a laparoscope has been described. However, the present invention is not limited to this, and various endoscopes (upper gastrointestinal endoscope, small intestine endoscope, large intestine endoscope, thoracoscope) , Laryngeal endoscope, bronchoscope, cystoscope, cholangioscope, arthroscope, etc.) In short, any device can be used as long as it can capture a normal image and a fluorescent image.

また、血管画像を抽出する際に、第２の実施の形態で説明した技術より血管径の実寸を計測し、電気メス等での凝固作用によって止血できる細い血管（毛細血管等）については、画像処理によって血管画像から削除することが好ましい。   Further, when extracting a blood vessel image, the actual size of the blood vessel diameter is measured by the technique described in the second embodiment, and a thin blood vessel (capillary blood vessel or the like) that can be stopped by coagulation with an electric knife or the like is imaged. It is preferable to delete from the blood vessel image by processing.

更に、少なくとも処置具による１回の切開時の深さ（例えば、電気メスの場合には、３ｍｍ程度）以上の血管を撮影することができるように、血管造影剤の種類、血中濃度、及び励起光の種類、強度等を設定する必要がある。   Furthermore, the type of angiographic agent, the concentration in blood, and so on that a blood vessel having a depth of at least one incision with a treatment tool (for example, about 3 mm in the case of an electric knife) can be imaged. It is necessary to set the type and intensity of the excitation light.

更にまた、通常画像と蛍光画像とは１枚ずつ交互に撮影する場合に限らず、通常画像を連続して複数枚撮影する毎に蛍光画像を１枚撮影するようにしてもよい。これは、通常画像は、実際の処置具等が映されるライブビュー画像として使用されるため、リアルタイム性が要求されるが、蛍光画像は血管画像の抽出に使用されるため、通常画像と大幅にずれなければ問題がないからである。   Furthermore, the normal image and the fluorescence image are not limited to being photographed alternately one by one, but one fluorescence image may be photographed every time a plurality of regular images are photographed continuously. This is because a normal image is used as a live view image on which an actual treatment tool or the like is reflected, so real-time characteristics are required. However, since a fluorescent image is used to extract a blood vessel image, it is significantly different from a normal image. This is because there is no problem if it does not deviate.

また、処置具としては、電気メスに限らず、超音波メス、マイクロ波メス、レーザメス、冷凍メス等の外科用手術具が考えられる。   The treatment tool is not limited to an electric knife, and surgical instruments such as an ultrasonic knife, a microwave knife, a laser knife, and a frozen knife are conceivable.

更に、本発明は、以上の例には限定されず、本発明の要旨を逸脱しない範囲において、各種の改良や変形を行ってもよいことは言うまでもない。   Furthermore, the present invention is not limited to the above examples, and it goes without saying that various improvements and modifications may be made without departing from the scope of the present invention.

図１は本発明に係る手術支援装置の実施の形態を示す外観図である。FIG. 1 is an external view showing an embodiment of a surgery support apparatus according to the present invention. 図３は画像表示装置の内部構成を示すブロック図である。FIG. 3 is a block diagram showing the internal configuration of the image display apparatus. 図３は画像記録部内の画像をグループ別の画像に分類した様子を示す図表である。FIG. 3 is a chart showing how images in the image recording unit are classified into images by group. 図４は回転フィルタの平面図である。FIG. 4 is a plan view of the rotary filter. 図５は光の波長と生体組織の光吸収率との関係を示すグラフである。FIG. 5 is a graph showing the relationship between the wavelength of light and the light absorption rate of living tissue. 図６は本発明に係る画像表示方法及び装置の第１の実施の形態を示すフローチャートである。FIG. 6 is a flowchart showing the first embodiment of the image display method and apparatus according to the present invention. 図７は可視光及び励起光を交互に被検体に照射した場合の信号処理のタイミングチャートである。FIG. 7 is a timing chart of signal processing when the subject is irradiated with visible light and excitation light alternately. 図８は血管画像生成（血管画像の抽出）の処理を示すフローチャートである。FIG. 8 is a flowchart showing a blood vessel image generation (blood vessel image extraction) process. 図９（Ａ）及び（Ｂ）はそれぞれ画像合成部２３０に出力される通常画像及び血管画像の模式図である。FIGS. 9A and 9B are schematic diagrams of a normal image and a blood vessel image output to the image composition unit 230, respectively. 図１０は画像合成部の内部構成を示すブロック図である。FIG. 10 is a block diagram showing an internal configuration of the image composition unit. 図１１は合成画像が表示されたモニタ画面の一例を示す図である。FIG. 11 is a diagram illustrating an example of a monitor screen on which a composite image is displayed. 図１２は合成画像を含む画像が表示されたモニタ画面の他の例を示す図である。FIG. 12 is a diagram illustrating another example of a monitor screen on which an image including a composite image is displayed. 図１３は合成画像を含む画像が表示されたモニタ画面の更に他の例を示す図である。FIG. 13 is a diagram showing still another example of a monitor screen on which an image including a composite image is displayed. 図１４は回転フィルタの他の例を示す平面図である。FIG. 14 is a plan view showing another example of the rotary filter. 図１５はＲ光、Ｇ光、Ｂ光、及び励起光の面順次光を被検体に照射した場合の信号処理のタイミングチャートである。FIG. 15 is a timing chart of signal processing when the subject is irradiated with frame sequential light of R light, G light, B light, and excitation light. 図１６は本発明に適用される光源装置の他の実施の形態を示すブロック図である。FIG. 16 is a block diagram showing another embodiment of a light source device applied to the present invention. 図１７は本発明に係る画像表示方法及び装置の第２の実施の形態を示すフローチャートである。FIG. 17 is a flowchart showing a second embodiment of the image display method and apparatus according to the present invention. 図１８は電気メスの先端位置から最短距離にある血管までの距離の算出方法を説明するために用いた図である。FIG. 18 is a diagram used for explaining a method of calculating the distance from the tip position of the electric knife to the blood vessel at the shortest distance. 図１９に警告表示の一例を示す図である。FIG. 19 shows an example of a warning display. 図２０は本発明に係る画像表示方法及び装置の第３の実施の形態を示すフローチャートである。FIG. 20 is a flowchart showing a third embodiment of the image display method and apparatus according to the present invention. 図２１は手術経路の算出方法を説明するために用いた図である。FIG. 21 is a diagram used for explaining a method for calculating a surgical route. 図２２は血管と手術経路とを表示したモニタ画面の一例を示す図である。FIG. 22 is a diagram showing an example of a monitor screen displaying blood vessels and a surgical route. 図２３は手術経路上のポイント指定方法を説明するために用いた図である。FIG. 23 is a diagram used for explaining a point designation method on a surgical route. 図２４は手術経路の他の計算方法を説明するために用いた図である。FIG. 24 is a diagram used for explaining another calculation method of the surgical route. 図２５は手術時の安全領域と危険領域とを識別可能に表示した表示例を示す図である。FIG. 25 is a diagram showing a display example in which a safe area and a dangerous area at the time of surgery are displayed in an identifiable manner.

符号の説明Explanation of symbols

１０…画像表示装置、３０…電気メス、１００…腹腔鏡、１４０…ＣＣＤ、１７０…ライトガイド、２００…プロセッサ、２１０…中央処理装置（ＣＰＵ）、２２４…通常画像処理部、２２６…蛍光画像処理部、２３０…画像合成部、２４４…キャラクタジェネレータ（ＣＧ）、２４８…ビデオ出力部、２５０…音声処理部、２５２…スピーカ、２５４…操作部、３００…光源装置、３１０…光源、３２０、３２９…回転フィルタ、３２２…赤外カットフィルタ、３２４…近赤外バンドパスフィルタ、３５０…モード駆動回路、３６０…モータ、４００…モニタ装置、５００…レーザ制御部、５１０…半導体レーザ、５２０…反射ミラー、５３０…ハーフミラー DESCRIPTION OF SYMBOLS 10 ... Image display apparatus, 30 ... Electric knife, 100 ... Laparoscope, 140 ... CCD, 170 ... Light guide, 200 ... Processor, 210 ... Central processing unit (CPU), 224 ... Normal image processing part, 226 ... Fluorescence image processing , 230 ... Image composition part, 244 ... Character generator (CG), 248 ... Video output part, 250 ... Audio processing part, 252 ... Speaker, 254 ... Operation part, 300 ... Light source device, 310 ... Light source, 320, 329 ... Rotating filter, 322... Infrared cut filter, 324. Near infrared bandpass filter, 350... Mode drive circuit, 360... Motor, 400. 530 ... Half mirror

Claims (26)

第１の光源手段が、血管造影剤が投与された被検体に対して該血管造影剤を発光させるための近赤外の波長域の励起光を内視鏡の先端から所定の時間間隔で連続的に出射する工程と、
画像取得手段が、前記内視鏡に設けられた撮像手段によって前記励起光の出射期間に同期して撮影した被検体の画像を蛍光画像として取得する工程と、
第２の光源手段が、前記被検体に対して前記励起光の非出射期間に前記内視鏡の先端から連続的に可視光を出射する工程と、
画像取得手段が、前記撮像手段によって前記可視光の出射期間に同期して撮影した被検体の画像を通常画像として取得する工程と、
血管画像抽出手段が、前記取得した蛍光画像を所定の閾値により閾値処理して血管画像を抽出する工程と、
合成画像作成手段が、前記取得した通常画像に前記抽出した血管画像を重畳させた合成画像を作成する工程と、
合成画像出力手段が、前記作成された合成画像を表示手段に出力し、動画として表示手段に連続的に表示させる工程と、
を含み、
前記合成画像作成手段が前記合成画像を作成する工程は、前記閾値処理により抽出された血管画像とその背景とを示す２値化信号をキー信号として前記通常画像に前記血管画像をキー合成することを特徴とする画像表示方法。 The first light source means continuously emits excitation light in the near-infrared wavelength region for emitting the blood vessel contrast agent to the subject to which the blood vessel contrast agent has been administered from the tip of the endoscope at a predetermined time interval. The step of emitting automatically ,
An image acquisition means for acquiring, as a fluorescence image , an image of a subject imaged in synchronization with an emission period of the excitation light by an imaging means provided in the endoscope;
A step the second light source means, which emits a continuous visible light from the distal end of the endoscope in a non-emission period of the excitation light with respect to the subject,
An image acquisition means for acquiring, as a normal image , an image of a subject imaged in synchronization with the visible light emission period by the imaging means;
Blood vessel image extracting means, a step of extracting the blood vessel image fluorescence images described above obtained by thresholding a predetermined threshold value,
Composite image creation means, the steps of creating a composite image by superimposing the blood vessel image the extracted on the obtained normal image,
A composite image output unit that outputs the generated composite image to a display unit, and continuously displays it on the display unit as a moving image;
Including
The step of creating the composite image by the composite image creating means is to key-synthesize the blood vessel image with the normal image using a binary signal indicating the blood vessel image extracted by the threshold processing and the background thereof as a key signal. An image display method characterized by the above. 前記抽出された血管画像は、前記蛍光画像の濃度情報を含む血管画像、又は２値化された血管画像であることを特徴とする請求項１に記載の画像表示方法。   The image display method according to claim 1, wherein the extracted blood vessel image is a blood vessel image including density information of the fluorescent image or a binarized blood vessel image. 前記合成画像出力手段が前記合成画像を表示させる工程は、前記合成画像とともに、前記通常画像、蛍光画像及び血管画像のうちの少なくとも１つの画像を前記表示手段に同時に表示させることを特徴とする請求項１又は２に記載の画像表示方法。 The step of displaying the composite image by the composite image output unit simultaneously displays the composite image and at least one of the normal image, the fluorescence image, and the blood vessel image on the display unit. Item 3. The image display method according to Item 1 or 2. 前記蛍光画像は、前記励起光の透過特性、前記血管造影剤の発光特性及び濃度に基づいて前記被検体の生体組織表面から所定の深さまでに存在する血管の画像を含むことを特徴とする請求項１から３のいずれかに記載の画像表示方法。   The fluorescent image includes an image of a blood vessel existing from a surface of a living tissue of the subject to a predetermined depth based on a transmission characteristic of the excitation light, a light emission characteristic and a concentration of the angiographic contrast agent. Item 4. The image display method according to any one of Items 1 to 3. 前記所定の深さは、内視鏡手術用の処置具によって一度に切開される深さ以上であることを特徴とする請求項４に記載の画像表示方法。   The image display method according to claim 4, wherein the predetermined depth is equal to or greater than a depth incised at a time by a treatment instrument for endoscopic surgery. 処置具検出手段が、前記通常画像に基づいて手術用の処置具の先端位置を検出する工程と、
距離算出手段が、前記検出した処置具の先端位置と前記抽出した血管画像における血管の位置情報とに基づいて前記処置具の先端位置から最も近い血管までの実寸距離を算出する工程と、
警告発生手段が、前記算出した実寸距離が所定の距離以下になると、警告を発する工程と、
を更に含むことを特徴とする請求項１から５のいずれかに記載の画像表示方法。 A treatment instrument detecting means for detecting a distal end position of a surgical treatment instrument based on the normal image;
Distance calculating means, a step of calculating the actual size distance to the nearest blood vessels from the distal end position of the treatment instrument based on the position information of blood vessels in the extracted blood vessel image and the distal end position of the detected treatment tool,
A warning generating means for issuing a warning when the calculated actual distance is less than or equal to a predetermined distance; and
The image display method according to claim 1, further comprising: 前記警告発生手段が前記警告を発する工程は、前記表示手段に警告文字を重畳して表示することを特徴とする請求項６に記載の画像表示方法。 7. The image display method according to claim 6, wherein in the step of issuing the warning by the warning generation unit , a warning character is superimposed and displayed on the display unit. 前記警告発生手段が前記警告を発する工程は、前記表示手段に前記算出した実寸距離を重畳して表示することを特徴とする請求項６又は７に記載の画像表示方法。 8. The image display method according to claim 6, wherein in the step of issuing the warning by the warning generation unit, the calculated actual distance is superimposed and displayed on the display unit. 9. 前記警告発生手段が前記警告を発する工程は、前記警告文字又は実寸距離を表示する際に、前記警告文字又は実寸距離の色を変化させる表示、前記警告文字又は実寸距離を点滅させる表示、前記警告文字又は実寸距離の拡大縮小を繰り返す表示、及び前記警告文字又は実寸距離を拡大する表示のうちの少なくとも１つの表示を行うことを特徴とする請求項７又は８に記載の画像表示方法。 The step of issuing the warning by the warning generating means includes a display for changing the color of the warning character or the actual distance when displaying the warning character or the actual distance, a display for blinking the warning character or the actual distance, and the warning The image display method according to claim 7 or 8, wherein at least one of display that repeats enlargement / reduction of characters or actual distance and display that enlarges the warning character or actual distance is performed. 前記警告発生手段が前記警告を発する工程は、前記表示手段に表示された処置具の先端位置の近傍に、前記警告文字又は実寸距離を表示することを特徴とする請求項６から９のいずれかに記載の画像表示方法。 The step of issuing the warning by the warning generating means displays the warning character or the actual distance in the vicinity of the distal end position of the treatment instrument displayed on the display means. The image display method described in 1. 前記警告発生手段が前記警告を発する工程は、警告音又は警告音声を発することを特徴とする請求項６から１０のいずれかに記載の画像表示方法。 The image display method according to claim 6, wherein the step of issuing the warning by the warning generation unit generates a warning sound or a warning sound. 入力手段が、前記表示手段の画面上での手術の開始点及び終了点の入力を受け付ける工程と、
安全領域算出手段が、前記受け付けた手術の開始点及び終了点の位置情報と、前記抽出した血管画像における血管の位置情報とに基づいて血管及び血管近傍の危険領域を通過せずに前記手術の開始点と終了点とを結ぶ手術経路を算出する工程と、
安全領域表示手段が、前記算出した手術経路を前記合成画像に重畳して表示させる工程と、
を更に含むことを特徴とする請求項１から１１のいずれかに記載の画像表示方法。 A step of receiving an input of a start point and an end point of the operation on the screen of the display means;
The safety region calculation means is configured to perform the operation without passing through the blood vessel and the dangerous region in the vicinity of the blood vessel based on the position information of the received start point and end point of the operation and the position information of the blood vessel in the extracted blood vessel image. Calculating a surgical path connecting the start point and the end point;
Safe region display means, a step of Ru surgery route the calculated is displayed superimposed on the composite image,
The image display method according to claim 1, further comprising: 前記安全領域算出手段が前記手術経路を算出する工程は、前記手術の開始点と終了点とを結ぶ最も安全な経路、又は最短経路を前記手術経路として算出することを特徴とする請求項１２に記載の画像表示方法。 The step of calculating the surgical route by the safe area calculating means calculates the safest route connecting the start point and the end point of the surgery or the shortest route as the surgical route. The image display method described. 入力手段が、前記表示手段の画面上での手術の開始点及び終了点の入力を受け付ける工程と、
安全領域算出手段が、前記受け付けた手術の開始点及び終了点の位置情報と、前記抽出した血管画像における血管の位置情報とに基づいて血管及び血管近傍の危険領域以外の安全領域を算出する工程と、
安全領域表示手段が、前記算出した安全領域を識別可能に前記表示手段に表示させる工程と、
を更に含むことを特徴とする請求項１から１１のいずれかに記載の画像表示方法。 A step of receiving an input of a start point and an end point of the operation on the screen of the display means;
Step of calculating the safety area calculating means, the position information of the start and end points of the accepted operation, a safety area outside the hazardous area of the blood vessel and the blood vessel near the basis of the positional information of blood vessels in the extracted blood vessel image When,
Safe region display means, a step of Ru is displayed distinguishably said display means a secure area the calculated,
The image display method according to claim 1, further comprising: 血管造影剤が投与された被検体に対して該血管造影剤を発光させるための近赤外の波長域の励起光を内視鏡の先端から所定の時間間隔で連続的に照射する第１の光源手段と、
前記被検体に対して前記励起光の非照射期間に前記内視鏡の先端から連続的に可視光を照射する第２の光源手段と、
前記内視鏡に設けられ、前記第１、第２の光源手段による励起光又は可視光の照射に同期して被検体を交互に繰り返し撮影する撮像手段と、
前記撮像手段によって撮影された画像のうちの前記励起光の照射に同期して撮影された画像を蛍光画像として取得するとともに、前記可視光の照射に同期して撮影された画像を通常画像として取得する画像取得手段と、
前記画像取得手段によって取得した蛍光画像を所定の閾値により閾値処理して血管画像を抽出する血管画像抽出手段と、
前記画像取得手段によって取得した通常画像に前記血管画像抽出手段によって抽出した血管画像を重畳させた合成画像を作成する合成画像作成手段と、
前記合成画像作成手段によって作成された合成画像を動画として表示手段に出力する合成画像出力手段と、を備え、
前記合成画像作成手段は、前記閾値処理により抽出された血管画像とその背景とを示す２値化信号からなるキー信号を作成する手段と、前記作成したキー信号に基づいて前記通常画像に前記血管画像をキー合成する手段とを有することを特徴とする画像表示装置。 A first irradiation unit that continuously irradiates a subject to which an angiographic contrast agent is administered with excitation light in the near-infrared wavelength region for causing the angiographic contrast agent to emit light at a predetermined time interval from the distal end of the endoscope. Light source means;
Second light source means for continuously irradiating visible light from the distal end of the endoscope during a non-irradiation period of the excitation light to the subject;
An imaging unit that is provided in the endoscope and alternately and repeatedly images a subject in synchronization with irradiation of excitation light or visible light by the first and second light source units;
Of the images photographed by the imaging means, an image photographed in synchronization with the excitation light irradiation is acquired as a fluorescence image, and an image photographed in synchronization with the visible light irradiation is acquired as a normal image. Image acquisition means for
A blood vessel image extracting means for extracting a blood vessel image by performing threshold processing on the fluorescence image acquired by the image acquiring means with a predetermined threshold;
Synthetic image creation means for creating a composite image in which the blood vessel image extracted by the blood vessel image extraction means is superimposed on the normal image acquired by the image acquisition means;
A composite image output means for outputting the composite image created by the composite image creation means to the display means as a moving image,
The composite image creating means creates a key signal composed of a binarized signal indicating the blood vessel image extracted by the threshold processing and the background thereof, and adds the blood vessel to the normal image based on the created key signal. An image display apparatus comprising: means for combining images with keys. 前記血管画像抽出手段は、前記蛍光画像の濃度情報を含む血管画像、又は２値化された血管画像を抽出することを特徴とする請求項１５に記載の画像表示装置。   The image display device according to claim 15, wherein the blood vessel image extracting unit extracts a blood vessel image including density information of the fluorescent image or a binarized blood vessel image. 前記合成画像出力手段は、前記合成画像とともに、前記通常画像、蛍光画像及び血管画像のうちの少なくとも１つの画像を前記表示手段に同時に表示させることを特徴とする請求項１５又は１６に記載の画像表示装置。   The image according to claim 15 or 16, wherein the composite image output means simultaneously displays the composite image and at least one of the normal image, fluorescence image, and blood vessel image on the display means. Display device. 前記通常画像に基づいて手術用の処置具の先端位置を検出する処置具検出手段と、
前記検出した処置具の先端位置と前記抽出した血管画像における血管の位置情報とに基づいて前記処置具の先端位置から最も近い血管までの実寸距離を算出する距離算出手段と、
前記算出した実寸距離が所定の距離以下になると、警告を発する警告発生手段と、
を更に備えたことを特徴とする請求項１５から１７のいずれかに記載の画像表示装置。 A treatment instrument detection means for detecting a tip position of a surgical treatment instrument based on the normal image;
Distance calculating means for calculating an actual distance from the distal end position of the treatment instrument to the nearest blood vessel based on the detected distal end position of the treatment instrument and blood vessel position information in the extracted blood vessel image;
Warning generating means for issuing a warning when the calculated actual distance is equal to or less than a predetermined distance;
The image display device according to claim 15, further comprising: 前記警告発生手段は、前記表示手段に警告文字を重畳して表示することを特徴とする請求項１８に記載の画像表示装置。   19. The image display device according to claim 18, wherein the warning generation unit displays a warning character superimposed on the display unit. 前記警告発生手段は、前記表示手段に前記算出した実寸距離を重畳して表示することを特徴とする請求項１８又は１９に記載の画像表示装置。   The image display device according to claim 18 or 19, wherein the warning generation unit displays the calculated actual distance on the display unit in a superimposed manner. 前記警告発生手段は、前記警告文字又は実寸距離を表示する際に、前記警告文字又は実寸距離の色を変化させる表示、前記警告文字又は実寸距離を点滅させる表示、前記警告文字又は実寸距離の拡大縮小を繰り返す表示、及び前記警告文字又は実寸距離を拡大する表示のうちの少なくとも１つの表示を行うことを特徴とする請求項１９又は２０に記載の画像表示装置。   The warning generating means, when displaying the warning character or the actual distance, a display for changing the color of the warning character or the actual distance, a display for blinking the warning character or the actual distance, an enlargement of the warning character or the actual distance 21. The image display device according to claim 19, wherein at least one of display that repeats reduction and display that enlarges the warning character or the actual distance is performed. 前記警告発生手段は、前記表示手段に表示された処置具の先端位置の近傍に、前記警告文字又は実寸距離を表示することを特徴とする請求項１９から２１のいずれかに記載の画像表示装置。   The image display device according to any one of claims 19 to 21, wherein the warning generation unit displays the warning character or the actual distance in the vicinity of the distal end position of the treatment instrument displayed on the display unit. . 前記警告発生手段は、警告音又は警告音声を発することを特徴とする請求項１８から２２のいずれかに記載の画像表示装置。   The image display device according to claim 18, wherein the warning generation unit emits a warning sound or a warning sound. 前記表示手段の画面上での手術の開始点及び終了点を入力する入力手段と、
前記入力手段によって入力された手術の開始点及び終了点の位置情報と、前記血管画像抽出手段によって抽出された血管画像における血管の位置情報とに基づいて血管及び血管近傍の危険領域を通過せずに前記手術の開始点と終了点とを結ぶ手術経路を算出する手術経路算出手段と、
前記算出された手術経路を前記合成画像に重畳して表示させる手術経路表示手段と、
を更に備えたことを特徴とする請求項１５から２３のいずれかに記載の画像表示装置。 Input means for inputting the start point and end point of the operation on the screen of the display means;
Based on the position information of the start point and end point of the operation input by the input unit and the position information of the blood vessel in the blood vessel image extracted by the blood vessel image extraction unit, the blood vessel and the dangerous region near the blood vessel are not passed. Surgical route calculation means for calculating a surgical route connecting the start point and end point of the surgery to,
Surgical route display means for displaying the calculated surgical route superimposed on the composite image;
The image display device according to claim 15, further comprising: 前記手術経路算出手段は、前記手術の開始点と終了点とを結ぶ最も安全な経路、又は最短経路を前記手術経路として算出することを特徴とする請求項２４に記載の画像表示装置。   25. The image display device according to claim 24, wherein the surgical route calculation means calculates the safest route connecting the start point and the end point of the surgery or the shortest route as the surgical route. 前記表示手段の画面上での手術の開始点及び終了点を入力する入力手段と、
前記入力手段によって入力された手術の開始点及び終了点の位置情報と、前記血管画像抽出手段によって抽出された血管画像における血管の位置情報とに基づいて血管及び血管近傍の危険領域以外の安全領域を算出する安全領域算出手段と、
前記算出した安全領域を識別可能に前記表示手段に表示させる安全領域表示手段と、
を更に備えたことを特徴とする請求項１５から２３のいずれかに記載の画像表示装置。 Input means for inputting the start point and end point of the operation on the screen of the display means;
Based on the position information of the start point and end point of the operation input by the input unit and the position information of the blood vessel in the blood vessel image extracted by the blood vessel image extraction unit, the safety region other than the blood vessel and the dangerous region near the blood vessel Safety area calculation means for calculating
Safety area display means for displaying the calculated safety area on the display means in an identifiable manner;
The image display device according to claim 15, further comprising:
JP2008076412A 2008-03-24 2008-03-24 Image display method and apparatus Expired - Fee Related JP5160276B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008076412A JP5160276B2 (en) 2008-03-24 2008-03-24 Image display method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008076412A JP5160276B2 (en) 2008-03-24 2008-03-24 Image display method and apparatus

Publications (2)

Publication Number Publication Date
JP2009226072A JP2009226072A (en) 2009-10-08
JP5160276B2 true JP5160276B2 (en) 2013-03-13

Family

ID=41242181

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008076412A Expired - Fee Related JP5160276B2 (en) 2008-03-24 2008-03-24 Image display method and apparatus

Country Status (1)

Country Link
JP (1) JP5160276B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210334941A1 (en) * 2019-01-24 2021-10-28 Fujifilm Corporation Endoscope apparatus
DE102022126824A1 (en) 2022-10-13 2024-04-18 Karl Storz Se & Co. Kg Method for superimposing overlay recording information with a live image and a corresponding device

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9320437B2 (en) 2009-12-22 2016-04-26 Genial Light Co., Ltd. Intravital observation device
JP5637783B2 (en) * 2010-08-31 2014-12-10 富士フイルム株式会社 Image acquisition apparatus and operation method thereof
JP2012065698A (en) * 2010-09-21 2012-04-05 Fujifilm Corp Operation support system, and operation support method using the same
JP5650578B2 (en) * 2010-12-24 2015-01-07 株式会社アイフェイズ Data image recording apparatus, thermal analysis apparatus, data image recording method, image data normalization method, thermophysical quantity calculation method, and recorded image display method
JP5580758B2 (en) * 2011-02-22 2014-08-27 オリンパス株式会社 Fluorescence observation equipment
JP6053673B2 (en) * 2011-04-28 2016-12-27 オリンパス株式会社 Fluorescence observation apparatus and image display method thereof
JP2013027481A (en) * 2011-07-27 2013-02-07 Fujifilm Corp Photoacoustic imaging system and apparatus, and probe unit used therefor
GB2505926A (en) * 2012-09-14 2014-03-19 Sony Corp Display of Depth Information Within a Scene
JP6391562B2 (en) 2013-03-29 2018-09-19 オリンパス株式会社 Fluorescence observation equipment
JP6265627B2 (en) * 2013-05-23 2018-01-24 オリンパス株式会社 Endoscope apparatus and method for operating endoscope apparatus
JP6319449B2 (en) 2014-09-18 2018-05-09 株式会社島津製作所 Imaging device
WO2016100214A1 (en) 2014-12-16 2016-06-23 Intuitive Surgical Operations, Inc. Ureter detection using waveband-selective imaging
WO2017002516A1 (en) * 2015-07-02 2017-01-05 オリンパス株式会社 Drive device
JP6594679B2 (en) * 2015-07-06 2019-10-23 オリンパス株式会社 Endoscopy data recording system
JP6588256B2 (en) * 2015-07-06 2019-10-09 オリンパス株式会社 Endoscopy data recording system
DK178899B1 (en) * 2015-10-09 2017-05-08 3Dintegrated Aps A depiction system
EP4389055A1 (en) * 2016-11-11 2024-06-26 Intuitive Surgical Operations, Inc. Surgical system with multi-modality image display
WO2018225316A1 (en) * 2017-06-05 2018-12-13 オリンパス株式会社 Medical control device
WO2018235178A1 (en) * 2017-06-21 2018-12-27 オリンパス株式会社 Image processing device, endoscope device, method for operating image processing device, and image processing program
WO2018235179A1 (en) * 2017-06-21 2018-12-27 オリンパス株式会社 Image processing device, endoscope device, method for operating image processing device, and image processing program
EP3961828B1 (en) * 2019-04-24 2023-10-11 Panasonic Intellectual Property Management Co., Ltd. Light emitting device; and medical system, electronic apparatus, and inspection method using same
EP3961826B1 (en) * 2019-04-24 2023-10-11 Panasonic Intellectual Property Management Co., Ltd. Light emitting device; and medical system, electronic apparatus, and inspection method using same
CN113711449A (en) * 2019-04-24 2021-11-26 松下知识产权经营株式会社 Wavelength conversion body, and light-emitting device, medical system, electronic device, and inspection method using same
JP7464060B2 (en) * 2019-10-01 2024-04-09 日本電気株式会社 Image processing device, control method and program
WO2021152785A1 (en) * 2020-01-30 2021-08-05 株式会社インキュビット Video playback system
CN116034307A (en) * 2020-08-24 2023-04-28 富士胶片株式会社 Image processing device, method, and program
CN113208567A (en) * 2021-06-07 2021-08-06 上海微创医疗机器人（集团）股份有限公司 Multispectral imaging system, imaging method and storage medium

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002074330A (en) * 2000-09-01 2002-03-15 Fuji Photo Film Co Ltd Fluorescent diagnosis image display device
EP1585439A4 (en) * 2002-12-13 2007-05-30 Ietmed Ltd Optical examination method and apparatus particularly useful for real-time discrimination of tumors from normal tissues during surgery
JP4738270B2 (en) * 2006-07-14 2011-08-03 株式会社日立メディコ Surgery support device

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210334941A1 (en) * 2019-01-24 2021-10-28 Fujifilm Corporation Endoscope apparatus
US11957316B2 (en) * 2019-01-24 2024-04-16 Fujifilm Corporation Endoscope apparatus
DE102022126824A1 (en) 2022-10-13 2024-04-18 Karl Storz Se & Co. Kg Method for superimposing overlay recording information with a live image and a corresponding device

Also Published As

Publication number Publication date
JP2009226072A (en) 2009-10-08

Similar Documents

Publication Publication Date Title
JP5160276B2 (en) Image display method and apparatus
JP5634755B2 (en) Electronic endoscope system, processor device for electronic endoscope, and method for operating electronic endoscope system
JP4153963B2 (en) Endoscope insertion shape detection device
JP5810248B2 (en) Endoscope system
JP2010172673A (en) Endoscope system, processor for endoscope, and endoscopy aiding method
JP4689767B2 (en) Fluorescence imaging apparatus and method of operating fluorescence imaging apparatus
JP6336949B2 (en) Image processing apparatus, image processing method, and endoscope system
JP5460488B2 (en) Electronic endoscope system, processor device for electronic endoscope, image retrieval system, and method of operating electronic endoscope system
JP7176041B2 (en) Medical image processing device and method, endoscope system, processor device, diagnosis support device and program
JP2006271871A (en) Image processor for endoscope
JP6420492B2 (en) Image processing apparatus, endoscope system, and method of operating image processing apparatus
JP2012170774A (en) Endoscopic system
JP2010063589A (en) Endoscope system and drive control method thereof
JP2010063590A (en) Endoscope system and drive control method thereof
JP5988907B2 (en) Endoscope system
JP2010082041A (en) Electronic endoscope system
JP2011200283A (en) Controller, endoscope system, program, and control method
JP2012152460A (en) Medical system, processing unit therefor, and method of generating image
JP2010000183A (en) Processor device for electronic endoscope
JPWO2020174572A1 (en) Endoscope equipment, programs, control methods and processing equipment for endoscope equipment
WO2019176253A1 (en) Medical observation system
JP4533673B2 (en) Infrared observation system and operation method by infrared observation system
JP7146318B1 (en) Computer program, learning model generation method, and surgery support device
JP2003126017A (en) Surgical microscope system
JP2011019829A (en) Method and apparatus for fluorescent photography

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100615

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120418

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120424

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120625

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20120806

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120828

A911 Transfer of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20121010

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121126

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121212

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151221

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees