JP2011156203A

JP2011156203A - Image processor, endoscope system, program, and image processing method

Info

Publication number: JP2011156203A
Application number: JP2010021095A
Authority: JP
Inventors: Keiji Higuchi; 圭司樋口
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2010-02-02
Filing date: 2010-02-02
Publication date: 2011-08-18

Abstract

<P>PROBLEM TO BE SOLVED: To provide an image processor, an endoscope system, a program, an image processing method and the like, enabling to exhibit positional information of a marked area such as a lesion in case of treatment, to a medical doctor or the like. <P>SOLUTION: The image processor includes an acquisition part 135, the second detecting part 131, and a marked position information extracting part 132. A first detecting part 103 of a first endoscope device 10 detects an image including a first reference marked area that is a candidate to be marked, out of images picked up by the first endoscope device 10, using the first detection reference. A second detecting part 131 detects an image including a second reference marked area, out of images picked up by the first endoscope device 10, using the second detection reference different from the first detection reference. The marked position information extracting part 132 extracts, as the marked position information, the first positional information corresponding to an image including the first reference marked area and the second reference marked area. <P>COPYRIGHT: (C)2011,JPO&INPIT

Description

本発明は、画像処理装置、内視鏡システム、プログラム及び画像処理方法等に関する。 The present invention relates to an image processing apparatus, an endoscope system, a program, an image processing method, and the like.

近年では、体腔検査において患者が飲み込んで使用するカプセル型内視鏡が普及している。このカプセル型内視鏡は、各臓器を通過する際に体腔内を順次撮影していき、医師は、撮影完了後にその画像をチェックすることで病変の検出や診断を行う。 In recent years, capsule endoscopes that are swallowed and used by patients in body cavity examinations have become widespread. This capsule endoscope sequentially captures the inside of a body cavity when passing through each organ, and a doctor checks the image after completion of imaging to detect or diagnose a lesion.

特開２００６−２３０９０６号公報JP 2006-230906 A

しかしながら、カプセル型内視鏡は病変の検出を行うものであり、検出した病変の処置にはスコープ型内視鏡を用いるのが一般的である。そのため、医師が処置する際には、カプセル型内視鏡で検出された病変の位置へスコープ型内視鏡を操作する必要があるという課題がある。 However, the capsule endoscope detects a lesion, and a scope endoscope is generally used to treat the detected lesion. Therefore, when a doctor treats, there is a problem that it is necessary to operate the scope endoscope to the position of the lesion detected by the capsule endoscope.

例えば、特許文献１には、スコープ型内視鏡やカプセル型内視鏡を使用しながらＣＴ（Computed Tomography）やＭＲＩ（Magnetic Resonance Imaging）により体内の３次元画像を生成する手法が開示されている。この手法では、生成した３次元画像から体内での内視鏡の位置情報を取得し、その位置情報を含む種々の情報を医者に提示する。 For example, Patent Document 1 discloses a technique for generating a three-dimensional image inside a body by CT (Computed Tomography) or MRI (Magnetic Resonance Imaging) while using a scope endoscope or a capsule endoscope. . In this method, position information of the endoscope in the body is acquired from the generated three-dimensional image, and various information including the position information is presented to the doctor.

しかしながら、ＣＴやＭＲＩによる３次元画像の取得と内視鏡の位置情報の取得とを同時に行うため、検査や診断に時間をかけられず、医師が診断を誤る可能性がある。また、ＣＴやＭＲＩを用いる必要があるため、これらの機器の準備の手間が多くかかったり、機器のない病院などでは莫大な設備導入のコストが必要になってしまう。 However, since the acquisition of the three-dimensional image by CT or MRI and the acquisition of the position information of the endoscope are performed at the same time, it is not possible to spend time for the examination and diagnosis, and the doctor may make a mistake in the diagnosis. In addition, since it is necessary to use CT and MRI, it takes a lot of time to prepare these devices, or a huge facility introduction cost is required in hospitals without devices.

本発明の幾つかの態様によれば、処置の際に病変などの注目領域の位置情報を医師等に提示できる画像処理装置、内視鏡システム、プログラム及び画像処理方法等を提供できる。 According to some aspects of the present invention, it is possible to provide an image processing apparatus, an endoscope system, a program, an image processing method, and the like that can present position information of a region of interest such as a lesion to a doctor during treatment.

本発明の一態様は、第１の内視鏡装置によって画像が撮像された際の前記第１の内視鏡装置の体内での位置を示す第１の位置情報を取得する取得部と、第２の検出基準に適合した領域である第２基準注目領域を検出する第２検出部と、前記第１の位置情報の中から注目位置情報を抽出する注目位置情報抽出部と、を含み、前記第１の内視鏡装置の第１検出部は、第１の検出基準を用いて、前記第１の内視鏡装置により撮像された画像の中から、注目すべき領域の候補である第１基準注目領域を含む画像を検出し、前記第２検出部は、前記第１の検出基準とは異なる前記第２の検出基準を用いて、前記第１の内視鏡装置により撮像された画像の中から、前記第２基準注目領域を含む画像を検出し、前記注目位置情報抽出部は、前記第１基準注目領域及び前記第２基準注目領域を含む画像に対応する前記第１の位置情報を前記注目位置情報として抽出する画像処理装置に関係する。 One aspect of the present invention includes an acquisition unit that acquires first position information indicating a position of the first endoscope device in the body when an image is captured by the first endoscope device; A second detection unit that detects a second reference attention region that is a region that conforms to two detection criteria; and an attention position information extraction unit that extracts attention position information from the first position information, The first detection unit of the first endoscope device is a first candidate for a region to be noticed from among images captured by the first endoscope device using the first detection reference. An image including a reference region of interest is detected, and the second detection unit uses the second detection reference different from the first detection reference to detect the image captured by the first endoscope device. An image including the second reference attention area is detected from the inside, and the attention position information extraction unit detects the first reference attention area. Relating said first position information corresponding to the frequency and the image including the second reference region of interest in an image processing apparatus for extracting, as the target position information.

本発明の一態様によれば、ユーザが第２の内視鏡装置を用いる際に、注目領域の位置情報を提供することが可能になる。また、第１、第２の基準で注目領域を検出することで、２つの異なる基準での検出処理が可能になる。 According to one aspect of the present invention, when a user uses the second endoscope apparatus, position information of a region of interest can be provided. In addition, by detecting a region of interest based on the first and second criteria, detection processing based on two different criteria can be performed.

また、本発明の他の態様は、第１の内視鏡装置が位置する部位を判別する第１部位判別部と、前記第１の内視鏡装置の体内での位置を示す第１の位置情報を取得する第１位置情報取得部と、第２の検出基準に適合した領域である第２基準注目領域を検出する第２検出部と、前記第１の位置情報の中から注目位置情報を抽出する注目位置情報抽出部と、を含み、前記第１部位判別部は、前記第１の内視鏡装置により撮像された画像の特徴量の変化に基づいて、前記第１の内視鏡装置が位置する部位を判別し、前記第１位置情報取得部は、前記第１部位判別部によって判別された結果を、前記第１の内視鏡装置によって画像が撮像された際の前記第１の位置情報として取得し、前記第１の内視鏡装置の第１検出部は、第１の検出基準を用いて、前記第１の内視鏡装置により撮像された画像の中から、注目すべき領域の候補である第１基準注目領域を含む画像を検出し、前記第２検出部は、前記第１の検出基準とは異なる前記第２の検出基準を用いて、前記第１の内視鏡装置により撮像された画像の中から、前記第２基準注目領域を含む画像を検出し、前記注目位置情報抽出部は、前記第１基準注目領域及び前記第２基準注目領域を含む画像に対応する前記第１の位置情報を前記注目位置情報として抽出する画像処理装置に関係する。 In another aspect of the present invention, a first part determination unit that determines a part where the first endoscope apparatus is located, and a first position that indicates a position of the first endoscope apparatus in the body. A first position information acquisition unit that acquires information; a second detection unit that detects a second reference attention area that is an area that conforms to the second detection criterion; and attention position information from the first position information. An attention position information extracting unit that extracts the first position determination unit based on a change in a feature amount of an image captured by the first endoscope device. The first position information acquisition unit determines the first position information when the first endoscope device captures an image based on the result determined by the first part determination unit. Acquired as position information, and the first detection unit of the first endoscope apparatus uses the first detection reference to An image including a first reference region of interest that is a candidate region of interest is detected from among images captured by the first endoscope device, and the second detection unit is configured to detect the first detection reference Detects the image including the second reference region of interest from the images captured by the first endoscope device using the different second detection reference, and the attention position information extraction unit includes: The present invention relates to an image processing apparatus that extracts the first position information corresponding to an image including the first reference attention area and the second reference attention area as the attention position information.

また、本発明の他の態様は、第１の内視鏡装置によって画像が撮像された際の前記第１の内視鏡装置の体内での位置を示す第１の位置情報を取得する第１位置情報取得部と、第１の検出基準を用いて、前記第１の内視鏡装置によって撮像された画像の中から、注目すべき領域の候補である第１基準注目領域を検出する第１検出部と、前記第１の検出基準とは異なる第２の検出基準を用いて、前記第１の内視鏡装置によって撮像された画像の中から、前記第２の検出基準に適合した領域である第２基準注目領域を検出する第２検出部と、前記第１基準注目領域及び前記第２基準注目領域を含む画像に対応する前記第１の位置情報を注目位置情報として抽出する注目位置情報抽出部と、を含む内視鏡システムに関係する。 In another aspect of the present invention, the first position information indicating the position of the first endoscope device in the body when an image is captured by the first endoscope device is acquired. A first reference region of interest that is a candidate for a region of interest is detected from images captured by the first endoscope device using a position information acquisition unit and a first detection reference. A region that matches the second detection criterion from among the images captured by the first endoscope device using a detection unit and a second detection criterion that is different from the first detection criterion. A second detection unit that detects a second reference attention area; and attention position information that extracts, as attention position information, the first position information corresponding to an image including the first reference attention area and the second reference attention area. And an extraction unit.

また、本発明の他の態様は、第１の内視鏡装置によって画像が撮像された際の前記第１の内視鏡装置の体内での位置を示す第１の位置情報を取得する第１位置情報取得部と、第１の検出基準を用いて、前記第１の内視鏡装置により撮像された画像の中から、注目すべき領域の候補である第１基準注目領域を含む画像を検出する第１検出部と、前記第１の検出基準とは異なる第２の検出基準を用いて、前記第１の内視鏡装置により撮像された画像の中から、前記第２の検出基準に適合した領域である第２基準注目領域を含む画像を検出する第２検出部と、前記第１基準注目領域及び前記第２基準注目領域を含む画像に対応する前記第１の位置情報を注目位置情報として抽出する注目位置情報抽出部と、第２の内視鏡装置の体内での位置を示す第２の位置情報を取得する第２位置情報取得部と、前記第１位置情報取得部により取得された前記第１の位置情報と、前記第２位置情報取得部により取得された前記第２の位置情報とを対応付ける対応付け部と、前記対応付け部による対応付けの結果に基づく情報を表示部に表示する制御を行う表示制御部と、を含む内視鏡システムに関係する。 In another aspect of the present invention, the first position information indicating the position of the first endoscope device in the body when an image is captured by the first endoscope device is acquired. Using a position information acquisition unit and a first detection reference, an image including a first reference attention area that is a candidate for a target area is detected from images captured by the first endoscope apparatus. A first detection unit that matches the second detection criterion from among images captured by the first endoscope device using a second detection criterion different from the first detection criterion. A second detection unit that detects an image including the second reference region of interest, which is a region that has been processed, and the first position information corresponding to the image including the first reference region of interest and the second reference region of interest A position-of-interest information extraction unit that extracts as a first position indicating the position of the second endoscope apparatus in the body A second position information acquisition unit that acquires the position information of the first position information acquired by the first position information acquisition unit, and the second position information acquired by the second position information acquisition unit. Are associated with each other, and a display control unit that performs control to display information based on a result of association by the association unit on a display unit.

また、本発明の他の態様は、第１の内視鏡装置によって画像が撮像された際の前記第１の内視鏡装置の体内での位置を示す第１の位置情報を取得する取得部と、第２の検出基準に適合した領域である第２基準注目領域を検出する第２検出部と、前記第１の位置情報の中から注目位置情報を抽出する注目位置情報抽出部として、コンピュータを機能させ、前記第１の内視鏡装置の第１検出部は、第１の検出基準を用いて、前記第１の内視鏡装置により撮像された画像の中から、注目すべき領域の候補である第１基準注目領域を含む画像を検出し、前記第２検出部は、前記第１の検出基準とは異なる前記第２の検出基準を用いて、前記第１の内視鏡装置により撮像された画像の中から、前記第２基準注目領域を含む画像を検出し、前記注目位置情報抽出部は、前記第１基準注目領域及び前記第２基準注目領域を含む画像に対応する前記第１の位置情報を前記注目位置情報として抽出するプログラムに関係する。 According to another aspect of the present invention, an acquisition unit that acquires first position information indicating a position of the first endoscope device in the body when an image is captured by the first endoscope device. A second detection unit that detects a second reference attention region that is a region that conforms to the second detection reference, and a target position information extraction unit that extracts attention position information from the first position information. The first detection unit of the first endoscope apparatus uses a first detection reference to select a region to be noticed from among images captured by the first endoscope apparatus. An image including a candidate first reference region of interest is detected, and the second detection unit uses the second detection reference different from the first detection reference, and the first endoscope apparatus An image including the second reference attention area is detected from the captured images, and the attention position information is detected. Extraction unit, there is provided a program for extracting the first position information corresponding to the image including the first reference region of interest and the second reference region of interest as the target position information.

また、本発明の他の態様は、第１の内視鏡装置の第１検出部が、第１の検出基準を用いて、前記第１の内視鏡装置により撮像された画像の中から、注目すべき領域の候補である第１基準注目領域を含む画像を検出する場合に、第１の内視鏡装置によって画像が撮像された際の前記第１の内視鏡装置の体内での位置を示す第１の位置情報を取得し、前記第１の検出基準とは異なる第２の検出基準を用いて、前記第１の内視鏡装置により撮像された画像の中から、前記第２の検出基準に適合した領域である前記第２基準注目領域を含む画像を検出し、前記第１基準注目領域及び前記第２基準注目領域を含む画像に対応する前記第１の位置情報を前記注目位置情報として抽出する画像処理方法に関係する。 Further, according to another aspect of the present invention, the first detection unit of the first endoscope apparatus uses the first detection reference, and from among images captured by the first endoscope apparatus, The position of the first endoscope device in the body when the image is picked up by the first endoscope device when detecting an image including the first reference region of interest that is a candidate region of interest Is obtained from the image captured by the first endoscopic device using a second detection criterion different from the first detection criterion. An image including the second reference region of interest that is a region that meets a detection criterion is detected, and the first position information corresponding to the image including the first reference region of interest and the second reference region of interest is used as the position of interest. The present invention relates to an image processing method extracted as information.

本実施形態のシステム構成例。The system configuration example of this embodiment. 受信機と受信装置の装着についての説明図。Explanatory drawing about mounting | wearing of a receiver and a receiver. 位置情報、検出情報の説明図。Explanatory drawing of position information and detection information. 位置情報、検出情報、注目位置情報の説明図。Explanatory drawing of position information, detection information, attention position information. ２次元体内マップの説明図。Explanatory drawing of a two-dimensional in-vivo map. 撮像画像と２次元体内マップの表示例。A display example of a captured image and a two-dimensional in-vivo map. 警告表示の表示例。Example of warning display. ナビゲーション情報の表示例。A display example of navigation information. 図９（Ａ）〜図９（Ｃ）は、ナビゲーション情報の表示例。FIG. 9A to FIG. 9C are display examples of navigation information. 本実施形態の第２のシステム構成例。The 2nd system configuration example of this embodiment. １次元体内マップの説明図。Explanatory drawing of a one-dimensional in-vivo map. 撮像画像と１次元体内マップの表示例。A display example of a captured image and a one-dimensional in-vivo map. カプセル型内視鏡の第１の詳細な構成例。1 is a first detailed configuration example of a capsule endoscope. カプセル型内視鏡の第２の詳細な構成例。The 2nd detailed structural example of a capsule type | mold endoscope. ソフトウェア処理で用いられるコンピュータの構成例。The structural example of the computer used by software processing. ソフトウェア処理で用いられるコンピュータの構成例。The structural example of the computer used by software processing. 本実施形態の処理を説明するためのフローチャート。The flowchart for demonstrating the process of this embodiment. 本実施形態の処理を説明するためのフローチャート。The flowchart for demonstrating the process of this embodiment.

以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。 Hereinafter, this embodiment will be described. In addition, this embodiment demonstrated below does not unduly limit the content of this invention described in the claim. In addition, all the configurations described in the present embodiment are not necessarily essential configuration requirements of the present invention.

１．システム構成例
上述のように、カプセル型内視鏡を用いて病変を検出し、その病変の処置をスコープ型内視鏡を用いて行う場合、検出した病変の場所を医師が探す必要があるという課題がある。本実施形態は、カプセル型内視鏡により病変の検出とその位置の取得を行い、取得した病変位置に基づいて医師にナビゲーション情報を表示する。図１に、この本実施形態のシステム構成例を示す。 1. System configuration example As described above, when a lesion is detected using a capsule endoscope and the treatment of the lesion is performed using a scope endoscope, a doctor needs to find the location of the detected lesion There are challenges. In this embodiment, a lesion is detected and its position is acquired by a capsule endoscope, and navigation information is displayed to a doctor based on the acquired lesion position. FIG. 1 shows an example of the system configuration of this embodiment.

なお以下では、第１の内視鏡装置がカプセル型内視鏡であり、第２の内視鏡装置がスコープ型内視鏡である場合を例に説明するが、これらの内視鏡装置は他の内視鏡装置であってもよい。例えば、第１の内視鏡装置はスコープ型内視鏡であってもよい。 In the following, a case where the first endoscope device is a capsule endoscope and the second endoscope device is a scope endoscope will be described as an example. Other endoscope apparatuses may be used. For example, the first endoscope apparatus may be a scope type endoscope.

このシステム構成例は、第１の内視鏡システム１００、第２の内視鏡システム２００を含む。そして、第１の内視鏡システム１００は、カプセル型内視鏡１０（広義には第１の内視鏡装置）、第１の受信機１１、第１の受信装置１２、画像処理装置１３（例えばコンピュータ）、記憶装置１４を含む。第２の内視鏡システム２００は、スコープ型内視鏡１５、第２の受信機１６、第２の受信装置１７、制御装置１８（例えばプロセッサ）、出力装置１９（表示装置、表示モニター）を含む。 This system configuration example includes a first endoscope system 100 and a second endoscope system 200. The first endoscope system 100 includes a capsule endoscope 10 (first endoscope device in a broad sense), a first receiver 11, a first receiving device 12, and an image processing device 13 ( For example, a computer) and a storage device 14. The second endoscope system 200 includes a scope endoscope 15, a second receiver 16, a second receiver 17, a control device 18 (for example, a processor), and an output device 19 (display device, display monitor). Including.

カプセル型内視鏡１０は、患者が飲み込んで用い、消化管の粘膜等を撮影する。このカプセル型内視鏡１０は、撮像部１０１、第１画像取得部１０２、第１検出部１０３、発信機１０４、制御部１０５を含む。撮像部１０１は、例えば図示しないレンズ系と、撮像素子、Ａ／Ｄ変換回路により構成される。第１画像取得部１０２は、図示しない同時化補間処理部等で構成される。発信機１０４は、図示しない音波発信部または電波発信部を有し、音波または電波を発信する。そして、撮像部１０１は、第１画像取得部１０２へ接続し、第１画像取得部１０２は、第１検出部１０３へ接続し、第１検出部１０３は、発信機１０４へ接続する。制御部１０５は、撮像部１０１と、第１画像取得部１０２、第１検出部１０３、発信機１０４へ接続する。 The capsule endoscope 10 is swallowed by a patient and used to photograph the mucous membrane of the digestive tract. The capsule endoscope 10 includes an imaging unit 101, a first image acquisition unit 102, a first detection unit 103, a transmitter 104, and a control unit 105. The imaging unit 101 includes, for example, a lens system (not shown), an imaging element, and an A / D conversion circuit. The first image acquisition unit 102 includes a not-shown simultaneous interpolation processing unit and the like. The transmitter 104 has a sound wave transmission unit or a radio wave transmission unit (not shown), and transmits a sound wave or a radio wave. The imaging unit 101 is connected to the first image acquisition unit 102, the first image acquisition unit 102 is connected to the first detection unit 103, and the first detection unit 103 is connected to the transmitter 104. The control unit 105 is connected to the imaging unit 101, the first image acquisition unit 102, the first detection unit 103, and the transmitter 104.

受信機１１は、図示しない音波受信部または電波受信部を有する複数の受信機で構成され、発信機１０４からの音波または電波を受信する。この受信機１１は、受信装置１２の第１位置情報取得部１２１と記憶部１２２へ接続する。 The receiver 11 includes a plurality of receivers having a sound wave receiving unit or a radio wave receiving unit (not shown), and receives sound waves or radio waves from the transmitter 104. The receiver 11 is connected to the first position information acquisition unit 121 and the storage unit 122 of the reception device 12.

受信装置１２は、カプセル型内視鏡１０からの撮影画像等の受信を行う。この受信装置１２は、第１位置情報取得部１２１、記憶部１２２、制御部１２３、Ｉ／Ｆ部１２４を含む。そして、第１位置情報取得部１２１は、記憶部１２２へ接続し、記憶部１２２は、コンピュータ１３の第２検出部１３１、注目位置情報抽出部１３２へ接続し、制御部１２３は、第１位置情報取得部１２１、記憶部１２２へ接続する。Ｉ／Ｆ部１２４は、制御部１２３と双方向に接続する。なお、受信装置１２は、ＵＳＢケーブル等を用いて画像処理装置１３に着脱可能であり、記憶部１２２に保存されているデータを画像処理装置１３から読み取ることが可能である。 The receiving device 12 receives a captured image or the like from the capsule endoscope 10. The receiving device 12 includes a first position information acquisition unit 121, a storage unit 122, a control unit 123, and an I / F unit 124. The first position information acquisition unit 121 is connected to the storage unit 122, the storage unit 122 is connected to the second detection unit 131 and the attention position information extraction unit 132 of the computer 13, and the control unit 123 is connected to the first position information. Connect to the information acquisition unit 121 and the storage unit 122. The I / F unit 124 is bidirectionally connected to the control unit 123. The receiving device 12 can be attached to and detached from the image processing device 13 using a USB cable or the like, and can read data stored in the storage unit 122 from the image processing device 13.

画像処理装置１３は、病変（広義には注目領域）の位置である注目位置を取得する。この画像処理装置１３は、第２検出部１３１、注目位置情報抽出部１３２、制御部１３３、Ｉ／Ｆ部１３４を含む。そして、第２検出部１３１は、注目位置情報抽出部１３２へ接続し、第２検出部１３１と注目位置情報抽出部１３２は、記憶装置１４へ接続する。但し、記憶装置１４は、画像処理装置１３の図示しない装置インターフェース等に着脱可能である。制御部１３３は、第２検出部１３１、注目位置情報抽出部１３２へ接続し、Ｉ／Ｆ部１３４は、制御部１３３と双方向に接続する。 The image processing apparatus 13 acquires a target position that is a position of a lesion (a target area in a broad sense). The image processing apparatus 13 includes a second detection unit 131, a target position information extraction unit 132, a control unit 133, and an I / F unit 134. The second detection unit 131 is connected to the attention position information extraction unit 132, and the second detection unit 131 and the attention position information extraction unit 132 are connected to the storage device 14. However, the storage device 14 can be attached to and detached from a device interface (not shown) of the image processing device 13. The control unit 133 is connected to the second detection unit 131 and the target position information extraction unit 132, and the I / F unit 134 is connected to the control unit 133 in both directions.

記憶装置１４は、画像処理装置１３からの画像や位置情報を記憶し、例えばフラッシュメモリや磁気ディスク、ネットワーク上のディスクなどのストレージにより実現される。この記憶装置１４は、制御装置１８の取得部１８６へ接続する。但し、記憶装置１４は制御装置１８に着脱可能である。 The storage device 14 stores the image and position information from the image processing device 13, and is realized by a storage such as a flash memory, a magnetic disk, or a network disk. The storage device 14 is connected to the acquisition unit 186 of the control device 18. However, the storage device 14 is detachable from the control device 18.

スコープ型内視鏡１５（狭義にはスコープ部）は、例えば下部内視鏡（大腸内視鏡）であり、体腔に挿入して撮影や処置を行う。このスコープ型内視鏡１５は、撮像部１５１、第２画像取得部１５２、発信機１５３、制御部１５４、Ｉ／Ｆ部１５５を含む。撮像部１５１は、例えば図示しないレンズ系と、撮像素子、Ａ／Ｄ変換回路で構成される。第２画像取得部１５２は、図示しない同時化補間処理部等で構成される。発信機１５３は、例えばスコープ型内視鏡１５のスコープの先端部に設けられる。そして、撮像部１５１は、第２画像取得部１５２へ接続し、第２画像取得部１５２は、制御部１８の表示制御部１８３へ接続する。制御部１５４は、撮像部１５１と、第２画像取得部１５２、発信機１５３へ接続する。Ｉ／Ｆ部１５５は、制御部１５４と双方向に接続する。 The scope-type endoscope 15 (scope section in a narrow sense) is, for example, a lower endoscope (large intestine endoscope), and is inserted into a body cavity to perform imaging and treatment. The scope endoscope 15 includes an imaging unit 151, a second image acquisition unit 152, a transmitter 153, a control unit 154, and an I / F unit 155. The imaging unit 151 includes, for example, a lens system (not shown), an imaging element, and an A / D conversion circuit. The second image acquisition unit 152 includes a not-shown simultaneous interpolation processing unit and the like. The transmitter 153 is provided, for example, at the distal end of the scope of the scope endoscope 15. The imaging unit 151 is connected to the second image acquisition unit 152, and the second image acquisition unit 152 is connected to the display control unit 183 of the control unit 18. The control unit 154 is connected to the imaging unit 151, the second image acquisition unit 152, and the transmitter 153. The I / F unit 155 is bidirectionally connected to the control unit 154.

受信機１６は、図示しない音波受信部または電波受信部を有し、発信機１５３からの音波または電波を受信する。この受信機１６は、受信装置１７の第２位置情報取得部１７１へ接続する。 The receiver 16 includes a sound wave receiving unit or a radio wave receiving unit (not shown), and receives a sound wave or a radio wave from the transmitter 153. The receiver 16 is connected to the second position information acquisition unit 171 of the receiving device 17.

受信装置１７は、音波または電波の受信によりスコープ型内視鏡１５の体内位置を取得する。この受信装置１７は、第２位置情報取得部１７１、制御部１７２、Ｉ／Ｆ部１７３を含む。そして、第２位置情報取得部１７１は、制御装置１８の対応付け部１８２へ接続し、制御部１７２は、第２位置情報取得部１７１へ接続し、Ｉ／Ｆ部１７３は、制御部１７２と双方向に接続する。 The receiving device 17 acquires the in-vivo position of the scope endoscope 15 by receiving sound waves or radio waves. The receiving device 17 includes a second position information acquisition unit 171, a control unit 172, and an I / F unit 173. The second position information acquisition unit 171 is connected to the association unit 182 of the control device 18, the control unit 172 is connected to the second position information acquisition unit 171, and the I / F unit 173 is connected to the control unit 172. Connect in both directions.

制御装置１８は、ナビゲーション情報の生成や、第２の内視鏡システム２００の制御、画像の表示制御等を行う。この制御装置１８は、マップ生成部１８１、対応付け部１８２、表示制御部１８３（提示部）、制御部１８４、Ｉ／Ｆ部１８５、取得部１８６を含む。そして、取得部１８６は、マップ生成部１８１へ接続し、マップ生成部１８１は、対応付け部１８２へ接続する。対応付け部１８２は、表示制御部１８３へ接続し、表示制御部１８３は、出力装置１９へ接続する。制御部１８４は、マップ生成部１８１と、対応付け部１８２、表示制御部１８３へ接続する。Ｉ／Ｆ部１８５は、制御部１８４と双方向に接続する。 The control device 18 performs navigation information generation, control of the second endoscope system 200, image display control, and the like. The control device 18 includes a map generation unit 181, an association unit 182, a display control unit 183 (presentation unit), a control unit 184, an I / F unit 185, and an acquisition unit 186. Then, the acquisition unit 186 connects to the map generation unit 181, and the map generation unit 181 connects to the association unit 182. The association unit 182 is connected to the display control unit 183, and the display control unit 183 is connected to the output device 19. The control unit 184 is connected to the map generation unit 181, the association unit 182, and the display control unit 183. The I / F unit 185 is connected to the control unit 184 in both directions.

出力装置１９は、内視鏡１０、１５の撮像画像や、ナビゲーション情報（例えば体内マップ、注目位置、警告表示）等を表示する。出力装置１９は、例えば液晶表示装置等により構成される。 The output device 19 displays captured images of the endoscopes 10 and 15, navigation information (for example, in-vivo map, attention position, warning display) and the like. The output device 19 is composed of, for example, a liquid crystal display device.

なお、上述の制御部１０５、１２３、１３３、１５４、１７２、１８４は、例えばマイクロコンピュータやＣＰＵで構成される。Ｉ／Ｆ部１２４、１３４、１５５、１７３、１８５は、電源スイッチや、変数設定などを行うためのインターフェースを備える。 Note that the control units 105, 123, 133, 154, 172, and 184 described above are configured by, for example, a microcomputer or a CPU. The I / F units 124, 134, 155, 173, and 185 include a power switch and an interface for performing variable setting.

２．第１の内視鏡システムの処理例
次に、本実施形態の処理について説明する。本実施形態では、まずカプセル型内視鏡を用いて医師が検査・診断を行い、その検査・診断結果に基づいてスコープ型内視鏡（下部内視鏡）を用いて患部の処置を行う。 2. Processing Example of First Endoscope System Next, processing of the present embodiment will be described. In the present embodiment, first, a doctor performs an examination / diagnosis using a capsule endoscope, and an affected area is treated using a scope endoscope (lower endoscope) based on the examination / diagnosis result.

まず、カプセル型内視鏡による検査・診断時の本実施形態の処理について説明する。図２に示すように、患者は複数の受信機１１を腹部周辺に装着し、受信装置１２を携帯または装着する。受信機１１の装着後、患者はカプセル型内視鏡１０を飲み込む。カプセル型内視鏡１０は、その撮像部１０１で体内の画像を撮像し、第１画像取得部１０２が撮像画像の画像データ（動画データ）を取得する。 First, the processing of this embodiment at the time of examination / diagnosis using a capsule endoscope will be described. As shown in FIG. 2, the patient wears a plurality of receivers 11 around the abdomen and carries or wears the receiving device 12. After wearing the receiver 11, the patient swallows the capsule endoscope 10. The capsule endoscope 10 captures an in-vivo image with the imaging unit 101, and the first image acquisition unit 102 acquires image data (moving image data) of the captured image.

カプセル型内視鏡１０は、体内画像として、例えば通常光画像と特殊光画像を撮影する。ここで、通常光画像は、白色光の波長帯域の照明を照射することで取得され、白色光の波長帯域は、例えば３８０ｎｍ〜６５０ｎｍである。また、特殊光画像は、特定の波長帯域を照射することにより得られる。あるいは、白色光を照射して得られた反射光を、特定の波長帯域を透過するフィルタで処理することで得られる。この特定の波長帯域は、例えば３９０〜４４５ｎｍ及び５３０〜５５０ｎｍの２帯域や、４９０〜６２５ｎｍの１帯域である。特殊光画像は、波長帯域に応じて特定の病変を検出する性能に優れている。 The capsule endoscope 10 captures, for example, a normal light image and a special light image as in-vivo images. Here, the normal light image is acquired by illuminating illumination in the wavelength band of white light, and the wavelength band of white light is, for example, 380 nm to 650 nm. The special light image is obtained by irradiating a specific wavelength band. Alternatively, it can be obtained by processing reflected light obtained by irradiating white light with a filter that transmits a specific wavelength band. This specific wavelength band is, for example, two bands of 390 to 445 nm and 530 to 550 nm and one band of 490 to 625 nm. The special light image is excellent in the performance of detecting a specific lesion according to the wavelength band.

取得された通常光画像や特殊光画像の中から、第１検出部１０３が、第１基準注目領域（注目候補領域。例えば病変部）が含まれる画像をリアルタイムに検出する。具体的には、この第１基準注目領域の検出では、第１の基準により、第２検出部１３１が行う検出処理よりも軽負荷の検出処理が行われる。例えば、第１検出部１０３は、通常光画像の色相が所定範囲内であることを第１の基準として出血部位を検出したり、特殊光画像の色相が所定範囲内であることを第１の基準として扁平上皮癌等の病変部を検出したりする。あるいは、第１検出部１０３は、既知の画像認識手法により第１基準注目領域を検出してもよい。例えば、既知の画像認識手法として、注目画素とその周辺画素との画素値変化量が所定閾値以上であることを第１の基準として第１基準注目領域を検出してもよい（特開２００８−９３１７２）。 From the acquired normal light image and special light image, the first detection unit 103 detects in real time an image including the first reference attention area (attention candidate area, for example, a lesion area). Specifically, in the detection of the first reference region of interest, a light load detection process is performed based on the first reference than the detection process performed by the second detection unit 131. For example, the first detection unit 103 detects a bleeding site based on the first reference that the hue of the normal light image is within a predetermined range, or the first detection unit 103 determines that the hue of the special light image is within the predetermined range. As a reference, a lesion such as squamous cell carcinoma is detected. Alternatively, the first detection unit 103 may detect the first reference attention area by a known image recognition method. For example, as a known image recognition method, the first reference attention area may be detected based on the first reference that the amount of change in the pixel value between the attention pixel and its surrounding pixels is equal to or greater than a predetermined threshold (Japanese Patent Laid-Open No. 2008-2008) 93172).

第１検出部１０３により第１基準注目領域が検出されている間、撮像部１０１は、画像を撮像する間隔を短くして多くの画像を取得する。すなわち、第１検出部１０３により第１基準注目領域が検出された後の所定期間は、撮像部１０１の撮影レートを速くする。この制御は、例えばカプセル型内視鏡１０の制御部１０５が行う。 While the first reference attention area is detected by the first detection unit 103, the imaging unit 101 acquires many images by shortening the interval at which the images are captured. That is, the imaging rate of the imaging unit 101 is increased for a predetermined period after the first reference region of interest is detected by the first detection unit 103. This control is performed by the control unit 105 of the capsule endoscope 10, for example.

カプセル型内視鏡１０の発信機１０４は、取得された画像とインデックス情報を電波に乗せて発信する。第１基準注目領域フラグ（広義にはインデックス情報）は、第１検出部１０３により第１基準注目領域を含む画像であると判定されたことを示す情報である。また、発信機１０４は、電波の発信と同時に、カプセル型内視鏡１０の位置を検出するための短期間のパルス状の音波を発信する。 The transmitter 104 of the capsule endoscope 10 transmits the acquired image and index information on radio waves. The first reference attention area flag (index information in a broad sense) is information indicating that the first detection unit 103 has determined that the image includes the first reference attention area. The transmitter 104 transmits a short-term pulsed sound wave for detecting the position of the capsule endoscope 10 simultaneously with the transmission of radio waves.

この発信機１０４からの電波と音波は、受信機１１により受信される。受信装置１２の第１位置情報検出部１２１は、受信機１１の各受信機に音波が到達した時間から、カプセル型内視鏡１０の体内位置（第１の位置情報）を求める。具体的には、第１位置情報検出部１２１は、音波到達時間から発信機１０４と各受信機との距離を計算する。そして、計算した発信機１０４と各受信機の距離と、予めわかっている各受信機間の位置関係から、三角法等を用いて体内位置（座標）を求める。 Radio waves and sound waves from the transmitter 104 are received by the receiver 11. The first position information detector 121 of the receiving device 12 obtains the in-vivo position (first position information) of the capsule endoscope 10 from the time when the sound wave reaches each receiver of the receiver 11. Specifically, the first position information detection unit 121 calculates the distance between the transmitter 104 and each receiver from the sound wave arrival time. Then, the in-vivo position (coordinates) is obtained by using trigonometry or the like from the calculated distance between the transmitter 104 and each receiver and the positional relationship between each receiver that is known in advance.

発信機１０４は、第１検出部１０３により第１基準注目領域が検出された後の所定期間は、発信する音波強度をそれ以外のときよりも強くする。このようにすることで、受信機１１で音波を受信しやすくなり、カプセル型内視鏡１０の位置を高精度に捕捉できる。また、非検出時には音波強度を弱くすることで、カプセル型内視鏡１０を省消費電力化できる。 The transmitter 104 makes the transmitted sound wave intensity stronger than in other cases for a predetermined period after the first reference region of interest is detected by the first detection unit 103. By doing in this way, it becomes easy to receive a sound wave with the receiver 11, and the position of the capsule endoscope 10 can be captured with high accuracy. Further, by reducing the sound wave intensity during non-detection, the capsule endoscope 10 can save power.

上記のようにして取得したカプセル型内視鏡１０の体内位置と、受信した画像と第１基準注目領域フラグが、受信装置１２の記憶部１２２に記憶される。図３に、記憶部１２２に記憶される情報の例を示す。図３に示すように、カプセル型内視鏡１０で撮像された白色光画像及び特殊光画像が記憶され、その画像に対応するカプセル型内視鏡１０の２次元座標（ｘ、ｙ）と第１基準注目領域フラグが記憶される。画像にはインデックスが付され、その画像インデックスに対して座標とフラグが対応付けられている。この画像インデックスは、例えば動画として撮影された体内画像の中の何番目の画像（フレーム）であるかを示す番号であり、あるいは、静止画として撮影された体内画像のファイルを示す番号（ファイル名）である。第１基準注目領域フラグは、例えば第１基準注目領域を含む場合は“１”、含まない場合は“１”である。 The internal position of the capsule endoscope 10 acquired as described above, the received image, and the first reference attention area flag are stored in the storage unit 122 of the receiving device 12. FIG. 3 shows an example of information stored in the storage unit 122. As shown in FIG. 3, the white light image and the special light image captured by the capsule endoscope 10 are stored, and the two-dimensional coordinates (x, y) of the capsule endoscope 10 corresponding to the image and the first light image are stored. One reference attention area flag is stored. An image is indexed, and coordinates and flags are associated with the image index. This image index is, for example, a number indicating an in-vivo image (frame) in an in-vivo image captured as a moving image, or a number (file name) indicating an in-vivo image file captured as a still image. ). The first reference attention area flag is, for example, “1” when the first reference attention area is included, and “1” when the first reference attention area flag is not included.

カプセル型内視鏡１０の体内通過が終了した後、上記情報が保存された記憶部１２２を画像処理装置１３に接続する。画像処理装置１３の取得部１３５は、記憶部１２２から画像や座標、フラグ（インデックス情報）を読み出す。 After the capsule endoscope 10 finishes passing through the body, the storage unit 122 storing the information is connected to the image processing apparatus 13. The acquisition unit 135 of the image processing apparatus 13 reads an image, coordinates, and a flag (index information) from the storage unit 122.

第２検出部１３１は、第２の基準を用いて、第１基準注目領域を含む画像の中から第２基準注目領域を検出する。この第２の基準による検出処理は、第１検出部１０３の検出処理よりも、病変部である可能性が更に高い画像を検出できる高精度な注目領域検出処理である。すなわち、第１検出部１０３は、病変である可能性がやや低い画像も検出し、広く多くの画像を第１基準注目領域として検出する。一方、第２検出部１３１は、それらの画像の中から更に病変を含む可能性が高い画像を絞りこみ、第２基準注目領域を検出する。 The second detection unit 131 detects the second reference attention area from the image including the first reference attention area using the second reference. The detection process based on the second reference is a highly accurate attention area detection process that can detect an image that is more likely to be a lesion than the detection process of the first detection unit 103. That is, the first detection unit 103 also detects an image that is slightly less likely to be a lesion, and detects a wide variety of images as the first reference region of interest. On the other hand, the second detection unit 131 narrows down images that are more likely to include a lesion from those images, and detects the second reference region of interest.

例えば、第１検出部１０３は、上述のように色相（色）だけを判定基準にして検出する軽負荷の処理を行う。例えば、所定の色相範囲に入る画素数をカウントし、その画素数が全画素数の所定割合以上であることを判定基準とする。一方、第２検出部１３１は、パターンマッチングを用いてポリープ等の形状に一致することを第２の検出基準として注目領域を検出する重負荷の処理を行う。あるいは、第２検出部１３１は、所定の色相範囲に入る画素を統合し、その統合した領域を注目領域とする。そして、その注目領域の面積等を信頼度として算出し、その信頼度が所定閾値以上であることを第２の検出基準として注目領域を検出する。 For example, the first detection unit 103 performs a light load process to detect only the hue (color) as a determination criterion as described above. For example, the number of pixels that fall within a predetermined hue range is counted, and the criterion is that the number of pixels is equal to or greater than a predetermined ratio of the total number of pixels. On the other hand, the second detection unit 131 performs heavy load processing for detecting a region of interest using a pattern matching as a second detection reference that matches a shape such as a polyp. Alternatively, the second detection unit 131 integrates pixels that fall within a predetermined hue range, and sets the integrated region as a region of interest. Then, the area or the like of the attention area is calculated as the reliability, and the attention area is detected using the second detection criterion that the reliability is equal to or greater than a predetermined threshold.

ここで、第２検出部１３１は、上記検出処理を通常光画像に対して行ってもよく、特殊光画像に対して行ってもよい。例えば、特殊光画像から信頼度等を用いて注目領域を検出し、第２基準注目領域を検出した場合に、検出画像として特殊光画像及び対応する通常光画像を出力する。あるいは、検出処理は特殊光画像に対して行い、対応する通常光画像だけを検出画像として出力してもよい。 Here, the second detection unit 131 may perform the detection process on the normal light image or the special light image. For example, when the attention area is detected from the special light image using the reliability or the like and the second reference attention area is detected, the special light image and the corresponding normal light image are output as the detection image. Alternatively, the detection process may be performed on the special light image, and only the corresponding normal light image may be output as the detection image.

注目位置情報抽出部１３２（注目位置情報取得部）は、注目領域の体内位置を示す注目位置情報を抽出する。具体的には、第２検出部１３１で検出した第２基準注目領域を含む画像が撮影された体内位置を注目位置情報として抽出する。例えば、図４に示すように、画像インデックス３、４の画像に第１基準注目領域フラグが立っている場合、第２検出部１３１は、これらの画像に対して検出処理を行う。そして、画像インデックス４の画像が第２基準注目領域を含む場合、第２検出部１３１が第２基準注目領域フラグ（広義にはインデックス情報）を“１”にする。注目位置情報抽出部１３２は、画像インデックス４に対応する注目位置フラグを“１”にし、この注目位置フラグ“１”を注目位置情報として出力する。なお、注目位置フラグを設けず、注目位置情報として座標（ｘ、ｙ）＝（４０、３０）を直接出力してもよい。 The attention position information extraction unit 132 (attention position information acquisition unit) extracts attention position information indicating the in-vivo position of the attention area. Specifically, the in-vivo position where the image including the second reference attention area detected by the second detection unit 131 is captured is extracted as attention position information. For example, as illustrated in FIG. 4, when the first reference attention area flag is set on the images of the image indexes 3 and 4, the second detection unit 131 performs detection processing on these images. When the image of the image index 4 includes the second reference attention area, the second detection unit 131 sets the second reference attention area flag (index information in a broad sense) to “1”. The attention position information extraction unit 132 sets the attention position flag corresponding to the image index 4 to “1”, and outputs this attention position flag “1” as attention position information. Note that the coordinates (x, y) = (40, 30) may be directly output as the attention position information without providing the attention position flag.

以上のようにして取得した撮像画像、その位置情報、注目位置情報を、着脱可能な記憶装置１４に保存する。例えば、図４に示すカプセル型内視鏡位置（ｘ、ｙ）と、画像インデックス、注目位置フラグを保存し、各画像インデックスに対応する通常光画像と特殊光画像を保存する。 The captured image acquired as described above, its position information, and attention position information are stored in the removable storage device 14. For example, the capsule endoscope position (x, y), the image index, and the target position flag shown in FIG. 4 are stored, and the normal light image and the special light image corresponding to each image index are stored.

医師は、上記の保存された情報をＰＣ等で閲覧し、病変を含む画像の診断を行い、処置が必要か否かを判断する。処置が必要な場合、後述するスコープ型内視鏡システムによる処置を行う。 The doctor browses the stored information on a PC or the like, diagnoses an image including a lesion, and determines whether treatment is necessary. When treatment is necessary, treatment by a scope type endoscope system described later is performed.

なお、画像処理装置１３は、カプセル型内視鏡１０の撮像画像の要約処理を行ってもよい。すなわち、カプセル型内視鏡１０が体内に停留した場合、同じ範囲が撮像された画像が多数取得されるため、その同じ範囲が撮像された画像を省略して撮像画像の枚数を減らす処理を行ってもよい。 Note that the image processing device 13 may perform a summary process of the captured image of the capsule endoscope 10. That is, when the capsule endoscope 10 is stopped in the body, a large number of images in which the same range is captured are acquired, and therefore processing for reducing the number of captured images by omitting images captured in the same range is performed. May be.

ここで、上記においては、第２検出部１３１が、第１基準注目領域を含む画像の中から検出を行うとして説明したが、本実施形態では、第２検出部１３１が、撮像画像全体から検出を行ってもよい。すなわち、第１検出部１０３と第２検出部１３１が、それぞれ撮像画像全体から検出を行い、注目位置情報抽出部１３２が、第１、第２基準注目領域の両方が検出された画像に対応する座標を注目位置情報としてもよい。 Here, in the above description, the second detection unit 131 has been described as performing detection from an image including the first reference region of interest. In the present embodiment, the second detection unit 131 detects from the entire captured image. May be performed. That is, the first detection unit 103 and the second detection unit 131 each detect from the entire captured image, and the attention position information extraction unit 132 corresponds to an image in which both the first and second reference attention regions are detected. The coordinates may be used as attention position information.

また、上記においては、音波により位置情報の取得を行なったが、本実施形態では、電波により位置情報を取得してもよい。 In the above description, the position information is acquired using sound waves. However, in the present embodiment, the position information may be acquired using radio waves.

３．第２の内視鏡システムの処理例
次に、スコープ型内視鏡による処置時の本実施形態の処理について説明する。まず、第１の内視鏡システム１００で取得された位置情報や画像等が保存された記憶装置１４を、第２の内視鏡システム２００の制御装置１８に接続する。そして、制御装置１８の取得部１８６が、記憶装置１４から画像、画像の位置情報、注目位置情報を読み出す。 3. Processing Example of Second Endoscope System Next, processing of this embodiment at the time of treatment with a scope endoscope will be described. First, the storage device 14 storing the position information, images, and the like acquired by the first endoscope system 100 is connected to the control device 18 of the second endoscope system 200. Then, the acquisition unit 186 of the control device 18 reads an image, image position information, and attention position information from the storage device 14.

マップ生成部１８１は、読み出された画像の位置情報から体内マップを生成する。図５に、体内マップの例を示す。この体内マップは、カプセル型内視鏡１０が体腔内を移動した軌跡を表したマップであり、例えば図４等で上述のカプセル型内視鏡１０の位置（ｘ、ｙ）を２次元マップ上に順次プロットしたものである。 The map generation unit 181 generates an in-vivo map from the position information of the read image. FIG. 5 shows an example of the in-vivo map. This in-vivo map is a map showing the trajectory of the capsule endoscope 10 moving in the body cavity. For example, the position (x, y) of the capsule endoscope 10 described above in FIG. Are plotted sequentially.

また、マップ生成部１８１は、注目位置情報が示す位置を体内マップ上にマッピングする。すなわち、病変部等を含む画像が撮影された位置を体内マップ上にマッピングする。このとき、マップ生成部１８１は、第２基準注目領域の位置だけをマッピングしてもよく、第１、第２基準注目領域の双方をマッピングしてもよい。 The map generation unit 181 maps the position indicated by the position-of-interest information on the in-vivo map. That is, the position where the image including the lesioned part is taken is mapped on the in-vivo map. At this time, the map generation unit 181 may map only the position of the second reference attention area, or may map both the first and second reference attention areas.

患者は、受信機１６と受信装置１７を腹部周辺に装着する。例えば、図３で上述した受信機１１、受信装置１２と同様に装着する。装着後、医師は、患者の体腔内にスコープ型内視鏡１５を挿入し、スコープ型内視鏡１５の撮像部１５１が体内の画像を撮像し、第２画像取得部１５２が、画像（画像データ）を取得する。例えば、第２画像取得部１５２は、通常光画像（白色光画像）と特殊光画像を取得する。第２画像取得部１５２は、取得した画像を制御回路１８の表示制御部１８３に対して出力する。 The patient wears the receiver 16 and the receiver 17 around the abdomen. For example, it is mounted in the same manner as the receiver 11 and the receiving device 12 described above with reference to FIG. After the attachment, the doctor inserts the scope endoscope 15 into the body cavity of the patient, the imaging unit 151 of the scope endoscope 15 captures an image inside the body, and the second image acquisition unit 152 displays an image (image). Data). For example, the second image acquisition unit 152 acquires a normal light image (white light image) and a special light image. The second image acquisition unit 152 outputs the acquired image to the display control unit 183 of the control circuit 18.

スコープ型内視鏡１５の先端に配置された発信機１５３は、所定間隔でパルス音波を発信する。受信機１６が、発信された音波を受信し、各受信機により音波が受信されるまでの時間を測定する。そして、受信装置１７の第２位置情報取得部１７１が、受信機１６で測定した音波受信までの時間からスコープ型内視鏡１５の体内位置（第２の位置情報）を計算する。この体内位置の計算は、上述のカプセル型内視鏡１０の場合と同様に三角法等を用いて行う。第２位置情報取得部１７１は、求めたスコープ型内視鏡１５の体内位置情報を制御装置１８の対応付け部１８２に対して出力する。 A transmitter 153 disposed at the distal end of the scope endoscope 15 transmits pulsed sound waves at a predetermined interval. The receiver 16 receives the transmitted sound wave and measures the time until the sound wave is received by each receiver. Then, the second position information acquisition unit 171 of the receiving device 17 calculates the in-vivo position (second position information) of the scope endoscope 15 from the time until the sound wave reception measured by the receiver 16. The calculation of the in-vivo position is performed using trigonometry or the like as in the case of the capsule endoscope 10 described above. The second position information acquisition unit 171 outputs the obtained in-vivo position information of the scope endoscope 15 to the associating unit 182 of the control device 18.

対応付け部１８２は、マップ生成部１８１により生成された体内マップ上に、第２位置情報取得部１７１で取得されたスコープ型内視鏡１５の位置をマッピングする。例えば、スコープ型内視鏡１５の現在位置は２次元座標（ｘ’、ｙ’）で表され、体内マップの２次元座標上に座標（ｘ’、ｙ’）をマッピングする。 The association unit 182 maps the position of the scope endoscope 15 acquired by the second position information acquisition unit 171 on the in-vivo map generated by the map generation unit 181. For example, the current position of the scope-type endoscope 15 is represented by two-dimensional coordinates (x ′, y ′), and coordinates (x ′, y ′) are mapped onto the two-dimensional coordinates of the in-vivo map.

そして、表示制御部１８３は、スコープ型内視鏡１５の位置と注目領域の位置がマッピングされた体内マップと、スコープ型内視鏡１５の撮像画像を出力装置１９に出力する。例えば、図６のＡ１に示すように、画像表示領域にスコープ型内視鏡１５の撮像画像を表示し、Ａ２に示すように、マップ表示領域に体内マップを表示する。そして、Ａ３に示すように、体内マップ上にスコープ型内視鏡１５の位置を示すマークを表示する。また、Ａ４に示すように、体内マップ上に病変等の注目領域の位置を示すマークを表示し、スコープ型内視鏡１５を注目領域まで誘導するためのガイド表示とする。 Then, the display control unit 183 outputs the in-vivo map in which the position of the scope endoscope 15 and the position of the region of interest are mapped and the captured image of the scope endoscope 15 to the output device 19. For example, as shown in A1 of FIG. 6, the captured image of the scope endoscope 15 is displayed in the image display area, and the in-vivo map is displayed in the map display area as shown in A2. Then, as shown at A3, a mark indicating the position of the scope endoscope 15 is displayed on the in-vivo map. Also, as shown at A4, a mark indicating the position of the region of interest such as a lesion is displayed on the in-vivo map, and a guide display for guiding the scope endoscope 15 to the region of interest is used.

また、表示制御部１８３は、医師によるスコープ型内視鏡の操作時のアシスト機能を提供する。例えば、アシスト機能として、アテンション表示やナビゲーション表示を行う。 In addition, the display control unit 183 provides an assist function when a doctor operates the scope endoscope. For example, attention display and navigation display are performed as an assist function.

まず、アテンション表示について説明する。アテンション表示は、病変等の注目領域の位置にスコープ型内視鏡１５が接近したことを医師に知らせるための表示である。ここで、接近した場合とは、到達した場合または近づいた場合である。例えば、スコープ型内視鏡１５の座標（ｘ’、ｙ’）が注目領域の座標と一致した場合や、注目領域の座標までの距離が所定距離以下である場合にアテンション表示を行う。 First, attention display will be described. The attention display is a display for notifying the doctor that the scope endoscope 15 has approached the position of a region of interest such as a lesion. Here, the case of approaching is the case of reaching or approaching. For example, the attention display is performed when the coordinates (x ′, y ′) of the scope endoscope 15 coincide with the coordinates of the attention area, or when the distance to the coordinates of the attention area is equal to or less than a predetermined distance.

図７にアテンション表示の例を示す。図７のＢ１に示すように、スコープ型内視鏡１５が注目位置に接近した場合に、Ｂ２に示すように、アテンション表示領域にエクスクラメーションマークを表示する。なお、他のアテンション表示の例として、矢印を表示したり、ビープ音などの音や音声を出力したりしてもよい。あるいは、Ｂ３に示す撮像画像表示を、通常光画像の表示から特殊光画像の表示に切り替えるアテンション表示を行ってもよい。 FIG. 7 shows an example of attention display. As shown in B1 of FIG. 7, when the scope endoscope 15 approaches the target position, an exclamation mark is displayed in the attention display area as shown in B2. As another example of the attention display, an arrow may be displayed or a sound such as a beep sound or a sound may be output. Alternatively, attention display may be performed in which the captured image display shown in B3 is switched from the normal light image display to the special light image display.

次に、ナビゲーション表示について説明する。ナビゲーション表示は、スコープ型内視鏡が今ある位置から一番近い病変検出位置の方向を医師に知らせるための表示である。 Next, navigation display will be described. The navigation display is a display for notifying the doctor of the direction of the lesion detection position closest to the position where the scope endoscope is present.

図８に、注目領域の方向を示す矢印を表示する第１のナビゲーション表示例を示す。図８のＣ１に示すように、スコープ型内視鏡１５の挿入方向前方に注目領域がある場合、Ｃ２に示すように、画像上方に矢印を表示する。 FIG. 8 shows a first navigation display example that displays an arrow indicating the direction of the region of interest. As indicated by C1 in FIG. 8, when there is a region of interest ahead of the insertion direction of the scope endoscope 15, an arrow is displayed above the image as indicated by C2.

図９（Ａ）〜図９（Ｃ）に、注目領域までの距離に応じて画像を拡大する第２のナビゲーション表示例を示す。図９（Ａ）に示すように、例えば注目領域までの距離が５ｃｍ以上の場合には撮像画像を拡大せず表示する。図９（Ｂ）に示すように、注目領域までの距離が３ｃｍ〜５ｃｍの範囲内の場合には撮像画像を第１所定倍率で拡大表示する。そして、図９（Ｃ）に示すように、注目領域までの距離が３ｃｍ以下の場合には撮像画像を、第１所定倍率より高倍率の第２所定倍率で拡大表示する。このようにすれば、注目領域に近づいた場合に、医師が病変等をより観察しやすい画像を提供できる。 FIGS. 9A to 9C show a second navigation display example in which an image is enlarged according to the distance to the region of interest. As shown in FIG. 9A, for example, when the distance to the attention area is 5 cm or more, the captured image is displayed without being enlarged. As shown in FIG. 9B, when the distance to the region of interest is in the range of 3 cm to 5 cm, the captured image is enlarged and displayed at the first predetermined magnification. As shown in FIG. 9C, when the distance to the attention area is 3 cm or less, the captured image is enlarged and displayed at a second predetermined magnification that is higher than the first predetermined magnification. In this way, it is possible to provide an image that makes it easier for a doctor to observe a lesion or the like when approaching a region of interest.

このようなアテンション表示やナビゲーション表示を医者に提示することで、医師がスムーズに病変に到達して処置できるため、医者の負荷低減、患者の負担軽減に寄与できる。 By presenting such attention display and navigation display to the doctor, the doctor can smoothly reach and treat the lesion, which can contribute to reducing the burden on the doctor and the burden on the patient.

４．第２のシステム構成例
上述のシステム構成例では、音波を用いて内視鏡の位置情報を取得したが、本実施形態では、音波を用いずに画像から内視鏡の位置情報を取得してもよい。図１０に、画像から内視鏡の位置情報を取得する第２のシステム構成例を示す。 4). Second System Configuration Example In the above-described system configuration example, the position information of the endoscope is acquired using sound waves, but in this embodiment, the position information of the endoscope is acquired from an image without using sound waves. Also good. FIG. 10 shows a second system configuration example for acquiring endoscope position information from an image.

このシステム構成例は、第１の内視鏡システム１００、第２の内視鏡システム２００を含む。第１の内視鏡システム１００は、カプセル型内視鏡２０（第１の内視鏡装置）、受信機２１、受信装置２２、画像処理装置２３、記憶装置２４を含む。第２の内視鏡システム２００は、スコープ型内視鏡１５（第２の内視鏡装置）、制御装置２６を含む。 This system configuration example includes a first endoscope system 100 and a second endoscope system 200. The first endoscope system 100 includes a capsule endoscope 20 (first endoscope device), a receiver 21, a receiving device 22, an image processing device 23, and a storage device 24. The second endoscope system 200 includes a scope endoscope 15 (second endoscope device) and a control device 26.

カプセル型内視鏡２０は、上述のシステム構成例とは異なり、位置測定のための音波を発信しない。このカプセル型内視鏡２０は、撮像部２０１、第１画像取得部２０２、第１検出部２０３、発信機２０４、制御部２０５を含む。そして、撮像部２０１は、第１画像取得部２０２へ接続する。第１画像取得部２０２は、第１検出部２０３へ接続する。第１検出部２０３は、発信機２０４へ接続する。制御部２０５は、撮像部２０１と、第１画像取得部２０２、第１検出部２０３、発信機２０４へ接続する。 Unlike the system configuration example described above, the capsule endoscope 20 does not transmit sound waves for position measurement. The capsule endoscope 20 includes an imaging unit 201, a first image acquisition unit 202, a first detection unit 203, a transmitter 204, and a control unit 205. Then, the imaging unit 201 is connected to the first image acquisition unit 202. The first image acquisition unit 202 is connected to the first detection unit 203. The first detection unit 203 is connected to the transmitter 204. The control unit 205 is connected to the imaging unit 201, the first image acquisition unit 202, the first detection unit 203, and the transmitter 204.

受信機２１は、図示しない電波受信部を有し、発信機２０４からの電波を受信する。この受信機２１は、受信装置２２の記憶部２２１へ接続する。 The receiver 21 has a radio wave reception unit (not shown) and receives radio waves from the transmitter 204. The receiver 21 is connected to the storage unit 221 of the receiving device 22.

受信装置２２は、カプセル型内視鏡２０からの撮影画像を受信する。この受信装置２２は、記憶部２２１、制御部２２２、Ｉ／Ｆ部２２３を含む。そして、記憶部２２１は、画像処理装置２３の取得部２３７へ接続する。制御部２２２は、記憶部２２１へ接続する。Ｉ／Ｆ部２２３は、制御部２２２と双方向に接続する。なお、受信装置１２は、ＵＳＢケーブル等を用いて画像処理装置１３と着脱可能である。 The receiving device 22 receives a captured image from the capsule endoscope 20. The receiving device 22 includes a storage unit 221, a control unit 222, and an I / F unit 223. Then, the storage unit 221 is connected to the acquisition unit 237 of the image processing device 23. The control unit 222 is connected to the storage unit 221. The I / F unit 223 is connected to the control unit 222 in both directions. The receiving device 12 is detachable from the image processing device 13 using a USB cable or the like.

画像処理装置２３は、撮像画像を用いてカプセル型内視鏡２０の体内位置（第１位置情報）を取得する。この画像処理装置２３は、第１部位判別部２３１、第１位置情報取得部２３２、第２検出部２３３、注目位置情報抽出部２３４、制御部２３５、Ｉ／Ｆ部２３６、取得部２３７を含む。そして、取得部２３７は、第１部位判別部２３１と、第２検出部２３３へ接続する。第１部位判別部２３１は、第１位置情報取得部２３２へ接続する。第１位置情報取得部２３２は、注目位置情報抽出部２３４と記憶装置２４へ接続する。第２検出部２３３は、注目位置情報抽出部２３４と記憶装置２４へ接続する。注目位置情報抽出部２３４は、記憶装置２４へ接続する。制御部２３５は、第１部位判別部２３１と、第１位置情報取得部２３２、第２検出部２３３、注目位置情報抽出部２３４へ接続する。Ｉ／Ｆ部２３６は、制御部２３５と双方向に接続する。なお、記憶装置２４は、画像処理装置２３に着脱可能である。 The image processing device 23 acquires the in-vivo position (first position information) of the capsule endoscope 20 using the captured image. The image processing apparatus 23 includes a first part determination unit 231, a first position information acquisition unit 232, a second detection unit 233, an attention position information extraction unit 234, a control unit 235, an I / F unit 236, and an acquisition unit 237. . Then, the acquisition unit 237 is connected to the first part determination unit 231 and the second detection unit 233. The first part determination unit 231 is connected to the first position information acquisition unit 232. The first position information acquisition unit 232 is connected to the attention position information extraction unit 234 and the storage device 24. The second detection unit 233 is connected to the attention position information extraction unit 234 and the storage device 24. The attention position information extraction unit 234 is connected to the storage device 24. The control unit 235 is connected to the first part determination unit 231, the first position information acquisition unit 232, the second detection unit 233, and the target position information extraction unit 234. The I / F unit 236 is connected to the control unit 235 in both directions. The storage device 24 can be attached to and detached from the image processing device 23.

記憶装置２４は、例えばフラッシュメモリや磁気ディスクにより実現される。この記憶装置２４は、制御装置２６の取得部２６８へ接続する。但し、記憶装置２４は、制御装置２６の図示しない装置インターフェース等に着脱可能である。 The storage device 24 is realized by, for example, a flash memory or a magnetic disk. The storage device 24 is connected to the acquisition unit 268 of the control device 26. However, the storage device 24 can be attached to and detached from a device interface (not shown) of the control device 26.

スコープ型内視鏡２５は、上述のシステム構成例とは異なり、位置測定のための発信機を有さない。このスコープ型内視鏡２５は、撮像部２５１、第２画像取得部２５２、制御部２５３、Ｉ／Ｆ部２５４を含む。そして、撮像部１５１は、第２画像取得部１５２へ接続し、第２画像取得部１５２は、制御部１８の表示制御部１８３へ接続する。制御部１５４は、撮像部１５１と、第２画像取得部１５２、発信機１５３へ接続する。Ｉ／Ｆ部１５５は、制御部１５４と双方向に接続する。 Unlike the system configuration example described above, the scope endoscope 25 does not have a transmitter for position measurement. The scope endoscope 25 includes an imaging unit 251, a second image acquisition unit 252, a control unit 253, and an I / F unit 254. The imaging unit 151 is connected to the second image acquisition unit 152, and the second image acquisition unit 152 is connected to the display control unit 183 of the control unit 18. The control unit 154 is connected to the imaging unit 151, the second image acquisition unit 152, and the transmitter 153. The I / F unit 155 is bidirectionally connected to the control unit 154.

制御装置２６は、スコープ型内視鏡２５の撮像画像を用いてスコープ型内視鏡２５の体内位置（第２位置情報）を取得する。この制御装置２６は、第２部位判別部２６１、第２位置情報取得部２６２、マップ生成部２６３、対応付け部２６４、表示制御部２６５、制御部２６６、Ｉ／Ｆ部２６７、取得部２６８を含む。そして、第２部位判別部２６１は、第２位置情報取得部２６２へ接続する。第２位置情報取得部２６２は、対応付け部２６４へ接続する。取得部２６８は、マップ生成部２６３と対応付け部２６４へ接続する。マップ生成部２６３は、対応付け部２６４へ接続する。対応付け部２６４は、表示制御部２６５へ接続する。表示制御部２６５は、出力装置２７へ接続する。制御部２６６は、第２部位判別部２６１と、第２位置情報取得部２６２、マップ生成部２６３、対応付け部２６４、提示部２６５へ接続する。Ｉ／Ｆ部２６７は、制御部２６６と双方向に接続する。 The control device 26 acquires the in-vivo position (second position information) of the scope endoscope 25 using the captured image of the scope endoscope 25. The control device 26 includes a second part determination unit 261, a second position information acquisition unit 262, a map generation unit 263, an association unit 264, a display control unit 265, a control unit 266, an I / F unit 267, and an acquisition unit 268. Including. Then, the second part determination unit 261 is connected to the second position information acquisition unit 262. The second position information acquisition unit 262 connects to the association unit 264. The acquisition unit 268 connects to the map generation unit 263 and the association unit 264. The map generation unit 263 connects to the association unit 264. The association unit 264 is connected to the display control unit 265. The display control unit 265 is connected to the output device 27. The control unit 266 connects to the second part determination unit 261, the second position information acquisition unit 262, the map generation unit 263, the association unit 264, and the presentation unit 265. The I / F unit 267 is connected to the control unit 266 in both directions.

５．第２のシステム構成例の第１の内視鏡システムの処理例
次に、上記第２のシステム構成例の処理について説明する。上述のように、第２のシステム構成例では、発信機や受信機を用いて位置情報を取得するのではなく、撮像した画像から位置情報を推定する。 5. Processing Example of First Endoscope System of Second System Configuration Example Next, processing of the second system configuration example will be described. As described above, in the second system configuration example, position information is not acquired using a transmitter or a receiver, but is estimated from a captured image.

まず、カプセル型内視鏡２０を用いた検査・診断時の処理について説明する。カプセル型内視鏡２０を飲む前に、患者は、受信機２１と受信装置２２を装着又は携帯する。このとき、受信機２１は、電波を受信するための受信機が少なくとも１つあればよい。また、音波で位置を特定する必要がないため、受信機を体に密着させなくてもよく、カプセル型内視鏡２０からの電波を受信できる距離内に装着すればよい。 First, processing at the time of examination / diagnosis using the capsule endoscope 20 will be described. Before drinking the capsule endoscope 20, the patient wears or carries the receiver 21 and the receiving device 22. At this time, the receiver 21 only needs to have at least one receiver for receiving radio waves. In addition, since it is not necessary to specify the position with sound waves, the receiver does not have to be in close contact with the body, and may be mounted within a distance where radio waves from the capsule endoscope 20 can be received.

受信機２１の装着後、患者は、カプセル型内視鏡２０を飲み込み、カプセル型内視鏡２０の撮像部２０１が、体内の画像を撮像する。撮像画像として、例えば第１のシステム構成例と同様に通常光画像と特殊光画像が取得される。そして、第１検出部２０３が、撮像画像の中から第１基準注目領域を含む画像をリアルタイムに検出する。この検出処理は、例えば第１のシステム構成例の第１検出部１０３と同様の検出処理で実現される。制御部２０５は、第１検出部１０３により第１基準注目領域が検出された後の所定期間は、撮像部１０１の撮影レートを速くする制御を行い、注目領域の撮像画像数を増加させる。 After wearing the receiver 21, the patient swallows the capsule endoscope 20, and the imaging unit 201 of the capsule endoscope 20 captures an image inside the body. As the captured image, for example, a normal light image and a special light image are acquired as in the first system configuration example. Then, the first detection unit 203 detects an image including the first reference attention area from the captured images in real time. This detection process is realized by a detection process similar to that of the first detection unit 103 of the first system configuration example, for example. The control unit 205 performs control to increase the shooting rate of the imaging unit 101 for a predetermined period after the first detection unit 103 detects the first reference attention region, and increases the number of captured images of the attention region.

発信機２０４は、検出情報である第１基準注目領域フラグ（広義にはインデックス情報）と、カプセル型内視鏡２０の撮像画像を電波により送信する。発信機２０４からの電波を受信機２１が受信し、受信装置２２の記憶部２２１が、受信した撮像画像と第１基準注目領域フラグを保存する。 The transmitter 204 transmits a first reference attention area flag (index information in a broad sense) as detection information and a captured image of the capsule endoscope 20 by radio waves. The receiver 21 receives the radio wave from the transmitter 204, and the storage unit 221 of the receiving device 22 stores the received captured image and the first reference attention area flag.

カプセル型内視鏡２０の体内通過が終了した後、上記情報が保存された記憶部２２１を画像処理装置２３に接続する。画像処理装置２３の取得部２３７は、記憶部２２１から画像やフラグを読み出す。 After the capsule endoscope 20 has passed through the body, the storage unit 221 storing the above information is connected to the image processing device 23. The acquisition unit 237 of the image processing device 23 reads an image and a flag from the storage unit 221.

第１部位判別部２３１は、読み出された画像を要約する処理を行い、カプセル型内視鏡２０が停留（停止）した位置で複数取得された画像の枚数を削減する。そして、第１部位判別部２３１は、何枚目から何枚目までの画像がどの器官（例えば、胃、十二指腸、盲腸等）の画像であるかを判定する。例えば、第１部位判別部２３１は、既知のシーン変化認識アルゴリズム（例えば特開２００９−５０２０）によるシーン変化の検出や、テンプレートマッチングによる検出、輝度や色相等の特徴量の急激な変化の検出により、器官が変わったことを認識する。あるいは、カプセル型内視鏡２０の撮像レート（単位時間当たり撮像枚数）を利用してカプセル型内視鏡２０の通過速度を推定し、器官毎の通過速度の違いから器官が変わったことを認識してもよい。また、医師（ユーザ）が、画像を閲覧して器官を判別し、器官の始まりと終わりの画像を外部Ｉ／Ｆ部２３６から入力してもよい。 The first part discriminating unit 231 performs a process of summarizing the read image, and reduces the number of images acquired at a position where the capsule endoscope 20 is stopped (stopped). Then, the first part determination unit 231 determines which organ (for example, stomach, duodenum, cecum, etc.) the image from what number to what number is. For example, the first part discriminating unit 231 detects a scene change by a known scene change recognition algorithm (for example, Japanese Patent Application Laid-Open No. 2009-5020), a detection by template matching, and a sudden change in a feature amount such as luminance and hue. Recognize that the organ has changed. Alternatively, the passage speed of the capsule endoscope 20 is estimated using the imaging rate of the capsule endoscope 20 (number of images taken per unit time), and it is recognized that the organ has changed due to the difference in passage speed of each organ. May be. Further, a doctor (user) may browse an image to determine an organ, and input an image of the beginning and end of the organ from the external I / F unit 236.

第１位置情報取得部２３２は、第１部位判別部２３１から得られた部位判別結果に基づいて、各画像がどの器官のどの割合に位置するか（例えば、回腸のはじめから２０％の位置）を示す情報（第１位置情報）を取得する。例えば、カプセル型内視鏡２０が小腸を通過する時間が小腸内で一定であると仮定すると、カプセル型内視鏡２０の撮像レートが一定であることから、一定の距離間隔で画像が撮像される。これを利用して、第１位置情報取得部２３２は、小腸での全撮像枚数と各画像までの撮像枚数の比を求めることで、各画像が小腸内のどの割合に位置するかを求める。例えば、上述の図３において、カプセル型内視鏡２０の位置は、器官を示すインデックス及びその器官での割合を示す数値により表される。 Based on the part discrimination result obtained from the first part discriminator 231, the first position information acquisition unit 232 determines which ratio of which organ each image is located (for example, a position of 20% from the beginning of the ileum). Information (first position information) is acquired. For example, assuming that the time during which the capsule endoscope 20 passes through the small intestine is constant in the small intestine, images are captured at constant distance intervals because the imaging rate of the capsule endoscope 20 is constant. The Using this, the first position information acquisition unit 232 obtains the ratio of each image in the small intestine by obtaining the ratio between the total number of images taken in the small intestine and the number of images taken up to each image. For example, in FIG. 3 described above, the position of the capsule endoscope 20 is represented by an index indicating an organ and a numerical value indicating a ratio in the organ.

第２検出部２３３は、第２の基準を用いて、第１基準注目領域を含む画像の中から第２基準注目領域を検出する。この第２の基準による検出処理は、第１検出部２０３の検出処理よりも、病変部である可能性が更に高い画像を検出できる高精度な注目領域検出処理である。この検出処理は、例えば第１のシステム構成例の第２検出部１３１と同様の処理により実現できる。 The second detection unit 233 detects the second reference attention area from the image including the first reference attention area using the second reference. The detection process based on the second reference is a highly accurate attention area detection process that can detect an image that is more likely to be a lesion than the detection process of the first detection unit 203. This detection process can be realized by, for example, the same process as the second detection unit 131 of the first system configuration example.

注目位置情報抽出部２３４は、注目領域の体内位置を示す注目位置情報を抽出する。具体的には、注目位置情報抽出部２３４は、第２基準注目領域を含む画像の器官内での位置（割合）を注目位置情報として抽出する。 The attention position information extraction unit 234 extracts attention position information indicating the in-vivo position of the attention area. Specifically, the attention position information extraction unit 234 extracts the position (ratio) of the image including the second reference attention area in the organ as attention position information.

上記のようにして取得された撮像画像、カプセル型内視鏡２０の位置情報、注目位置情報は、着脱可能な記憶装置２４に保存される。医者は、これらの情報を閲覧して病変部等の診断を行い、処置が必要か否かを判断する。 The captured image, the position information of the capsule endoscope 20, and the attention position information acquired as described above are stored in the removable storage device 24. The doctor browses the information and diagnoses the lesion, etc., and determines whether treatment is necessary.

６．第２のシステム構成例の第２の内視鏡システムの処理例
次に、スコープ型内視鏡による処置時の第２のシステム構成例の処理について説明する。まず、カプセル型内視鏡２０の撮像画像や位置情報が保存された記憶装置２４を制御装置２６に接続する。制御装置２６の取得部２６８は、記憶装置２４から画像や位置情報を読み出す。 6). Processing Example of Second Endoscope System of Second System Configuration Example Next, processing of the second system configuration example at the time of treatment with a scope endoscope will be described. First, the storage device 24 storing the captured image and position information of the capsule endoscope 20 is connected to the control device 26. The acquisition unit 268 of the control device 26 reads an image and position information from the storage device 24.

マップ生成部２６３は、記憶装置２４からカプセル型内視鏡２０の体内位置情報を読み出し、撮像画像を時系列に並べた１次元の体内マップを生成する。また、マップ生成部１８１は、生成した体内マップ上に、病変部等を示す注目位置情報をマッピングする。図１１に、１次元の体内マップの例を示す。図１１のＤ１に示すように、例えば各撮像画像の横幅（水平方向の画素数）を圧縮して縦線状にし、その縦線上の画像を撮像順に並べることで体内マップを生成する。Ｄ２に示すように、部位判別の結果を体内マップにマッピングし、Ｄ３に示すように、注目位置情報が示す位置を体内マップにマッピングする。 The map generation unit 263 reads in-vivo position information of the capsule endoscope 20 from the storage device 24, and generates a one-dimensional in-vivo map in which captured images are arranged in time series. The map generation unit 181 maps attention position information indicating a lesioned part or the like on the generated in-vivo map. FIG. 11 shows an example of a one-dimensional in-vivo map. As shown in D1 of FIG. 11, for example, the in-vivo map is generated by compressing the horizontal width (number of pixels in the horizontal direction) of each captured image into a vertical line, and arranging the images on the vertical line in the order of imaging. As shown in D2, the part discrimination result is mapped to the in-vivo map, and as shown in D3, the position indicated by the target position information is mapped to the in-vivo map.

マップ生成後、医師が患者の体腔内にスコープ型内視鏡２５を挿入し、スコープ型内視鏡２５の撮像部２５１が体内の画像を撮像し、第２画像取得部２５２が通常光画像や特殊光画像を取得する。第２画像取得部２５２は、取得した画像を制御回路２６の第２部位判別部２６１と表示制御部２６５に対して出力する。 After generating the map, the doctor inserts the scope endoscope 25 into the body cavity of the patient, the imaging unit 251 of the scope endoscope 25 captures an image inside the body, and the second image acquisition unit 252 Acquire a special light image. The second image acquisition unit 252 outputs the acquired image to the second part determination unit 261 and the display control unit 265 of the control circuit 26.

第２部位判別部２６１は、スコープ型内視鏡２５が挿入されている部位を撮像画像から判別する。例えば、上述の第１部位判別部２３１と同様に、シーン変化認識や、テンプレートマッチング、医師による画像選択等により器官を判別する。 The second part determination unit 261 determines the part where the scope endoscope 25 is inserted from the captured image. For example, similarly to the first part determination unit 231 described above, an organ is determined by scene change recognition, template matching, image selection by a doctor, or the like.

第２位置情報取得部２６２は、第２部位判別部２６１による部位判別結果に基づいて、撮像画像がどの器官のどの割合又は距離に位置するかを示す情報（第２位置情報。例えば、結腸の後ろから３０ｃｍ）を取得する。例えば、大腸内視鏡で診断処置を行う際は、まず下降結腸奥まで内視鏡を挿入し、抜きながら診断を行う。この場合には、器官の最初と最後の位置から器官の全長が分かるため、内視鏡を抜いた距離との比から内視鏡先端が器官どの割合にあるかを距離情報として取得する。一方、上記のように抜きながらでなく内視鏡を挿入しながら診察する場合には、器官の全長が分からないため、内視鏡を挿入した長さを距離情報として取得する。内視鏡の挿入長は、例えば内視鏡先端に加速度センサ等を設けることで測定できる。 The second position information acquisition unit 262 is information (second position information. For example, the position of the colon in which the captured image is located at which ratio or distance based on the region determination result by the second region determination unit 261. Acquire 30cm from the back. For example, when performing a diagnostic procedure with a colonoscope, first the endoscope is inserted to the back of the descending colon, and the diagnosis is performed while removing the endoscope. In this case, since the total length of the organ is known from the first and last positions of the organ, the ratio of the endoscope tip to the organ is acquired as distance information from the ratio of the distance from which the endoscope is removed. On the other hand, when diagnosing while inserting an endoscope instead of removing as described above, since the total length of the organ is unknown, the length of insertion of the endoscope is acquired as distance information. The insertion length of the endoscope can be measured, for example, by providing an acceleration sensor or the like at the distal end of the endoscope.

対応付け部２６４は、第２位置情報取得部２６２で取得されたスコープ型内視鏡２５の位置情報を、体内マップ上に対応付けする。例えば、位置情報が器官の全長に対する割合である場合には、その割合を、体内マップ上でその器官に対応する範囲内での割合とする。また、位置情報が挿入距離である場合には、一般的な器官の長さ（例えば、結腸の一般的な長さは１２０ｃｍ〜１５０ｃｍ）を全長とし、挿入距離の割合を算出して対応付けを行う。 The association unit 264 associates the position information of the scope endoscope 25 acquired by the second position information acquisition unit 262 on the in-vivo map. For example, when the position information is a ratio with respect to the total length of the organ, the ratio is set as a ratio within a range corresponding to the organ on the in-vivo map. Further, when the position information is the insertion distance, the length of a general organ (for example, the general length of the colon is 120 cm to 150 cm) is set as the total length, and the ratio of the insertion distance is calculated and the association is performed. Do.

表示制御部２６５は、スコープ型内視鏡２５の位置情報や病変等の注目位置情報がマッピングされた体内マップと、スコープ型内視鏡２５の撮像画像を出力装置２７に表示する制御を行う。図１２に、表示画像の例を示す。図１２のＥ１に示すように、撮像画像表示領域に、スコープ型内視鏡２５の撮像画像を表示する。Ｅ２に示すように、体内マップ表示領域に、１次元体内マップを表示する。そして、Ｅ３に示すように、体内マップ上に内視鏡の先端位置を表示し、Ｅ４に示すように、カプセル型内視鏡２０によって病変等の注目領域が検出された位置を表示する。 The display control unit 265 performs control to display the in-vivo map in which position information of the scope endoscope 25 and attention position information such as a lesion are mapped, and a captured image of the scope endoscope 25 on the output device 27. FIG. 12 shows an example of a display image. As shown at E1 in FIG. 12, the captured image of the scope endoscope 25 is displayed in the captured image display area. As shown in E2, a one-dimensional in-vivo map is displayed in the in-vivo map display area. And as shown to E3, the front-end | tip position of an endoscope is displayed on an in-vivo map, and as shown to E4, the position where attention areas, such as a lesion, were detected by the capsule endoscope 20 is displayed.

以上のように、器官の位置や病変位置を示すガイド情報を医師に提示することで、医師がスムーズに病変部に到達し、病変部の処置を行うことができる。これにより、医者の負荷低減、患者の負担軽減に寄与できる。また、受信機などの装置を省略したことで、受信機装着等の準備が不要となり、処置準備を簡素化できる。 As described above, by presenting the guide information indicating the position of the organ and the lesion position to the doctor, the doctor can smoothly reach the lesion and perform the treatment of the lesion. Thereby, it can contribute to a doctor's load reduction and a patient's burden reduction. Further, by omitting a device such as a receiver, preparation for mounting the receiver or the like becomes unnecessary, and preparation for treatment can be simplified.

７．カプセル型内視鏡の詳細な構成例。
図１３、図１４に、上述の第１検出部を有するカプセル型内視鏡の詳細な構成例を示す。図１３には、白色光と特殊光を照射することで白色光画像と特殊光画像を取得する第１の詳細な構成例を示す。図１３に示すカプセル型内視鏡３００は、光源３１０、集光レンズ３２０、照明レンズ３３０（照明光学系）、撮像素子３４０、結像レンズ３５０、集積回路装置３９０を含む。 7). 2 shows a detailed configuration example of a capsule endoscope.
FIGS. 13 and 14 show detailed configuration examples of the capsule endoscope having the first detection unit described above. FIG. 13 shows a first detailed configuration example for acquiring a white light image and a special light image by irradiating white light and special light. A capsule endoscope 300 shown in FIG. 13 includes a light source 310, a condenser lens 320, an illumination lens 330 (illumination optical system), an image sensor 340, an imaging lens 350, and an integrated circuit device 390.

光源３１０は、白色光と特殊光を交互に照射する。特殊光は、例えば特定の波長帯域を透過するフィルタに白色光を透過させることで生成する。集光レンズ３２０は、光源３１０からの照射光を照明光学系３３０に集光させる。照明光学系３３０は、撮影領域に照明光を配光する。レンズ３５０は、撮影領域からの反射光を撮像素子３４０に結像させる。撮像素子３４０は、例えばＣＭＯＳセンサやＣＣＤ等のイメージセンサで構成され、被写体像を撮像する。集積回路装置３９０は、ＡＳＩＣ等で実現され、Ａ／Ｄ変換部、画像処理部、第１検出部、音波発信部、電波発信部、制御部等を有する。 The light source 310 alternately emits white light and special light. The special light is generated, for example, by transmitting white light through a filter that transmits a specific wavelength band. The condensing lens 320 condenses the irradiation light from the light source 310 on the illumination optical system 330. The illumination optical system 330 distributes illumination light to the imaging region. The lens 350 forms an image of the reflected light from the imaging region on the image sensor 340. The image sensor 340 is configured by an image sensor such as a CMOS sensor or a CCD, for example, and captures a subject image. The integrated circuit device 390 is realized by an ASIC or the like, and includes an A / D conversion unit, an image processing unit, a first detection unit, a sound wave transmission unit, a radio wave transmission unit, a control unit, and the like.

図１４には、白色光画像を撮像する撮像素子と特殊光画像を撮像する撮像素子を有する第２の詳細な構成例を示す。図１４に示すカプセル型内視鏡３００は、光源３１０（白色光光源）、集光レンズ３２０、照明レンズ３３０（照明光学系）、第１の撮像素子３４０、結像レンズ３５０、第２の撮像素子３６０、特殊光フィルタ３７０、ハーフミラー３８０、集積回路装置３９０を含む。 FIG. 14 shows a second detailed configuration example having an image sensor that captures a white light image and an image sensor that captures a special light image. A capsule endoscope 300 shown in FIG. 14 includes a light source 310 (white light source), a condensing lens 320, an illumination lens 330 (illumination optical system), a first imaging element 340, an imaging lens 350, and a second imaging. An element 360, a special optical filter 370, a half mirror 380, and an integrated circuit device 390 are included.

光源３１０は、白色光を照射する。ハーフミラー３８０は、結像レンズ３５０からの光を第１、第２の撮像素子３４０、３６０に分配する。特殊光フィルタ３７０は、白色の反射光のうちの特定の波長帯域の光を透過させる。第１の撮像素子３４０は、特殊光画像を撮像する。第２の撮像素子３６０は、フィルタを透過しない白色光の被写体像が結像され、白色光画像を撮影する。 The light source 310 emits white light. The half mirror 380 distributes the light from the imaging lens 350 to the first and second imaging elements 340 and 360. The special light filter 370 transmits light in a specific wavelength band in the white reflected light. The first image sensor 340 captures a special light image. The second image sensor 360 forms a white light subject image that does not pass through the filter and captures a white light image.

８．本実施形態の処理の概要
以上、内視鏡システムの全体構成について説明したが、上述のように画像処理装置には受信機や記憶装置が着脱可能であり、画像処理装置はその処理を単独で行うことが可能である。以下では、上記において具体的に説明した本実施形態のうち、画像処理装置の概要について説明する。なお、以下では原則として図１に示すシステム構成例に付した符号を用いて説明するが、第１検出部、第２検出部、対応付け部、表示制御部等の同一の構成要素については、図１０に示す第２のシステム構成例においても同様である。 8). Overview of Processing of the Present Embodiment The overall configuration of the endoscope system has been described above. However, as described above, a receiver and a storage device can be attached to and detached from the image processing device, and the image processing device performs the processing independently. Is possible. In the following, an outline of the image processing apparatus will be described among the embodiments specifically described above. In the following description, in principle, description will be made using the reference numerals attached to the system configuration example shown in FIG. 1, but the same components such as the first detection unit, the second detection unit, the association unit, the display control unit, etc. The same applies to the second system configuration example shown in FIG.

上述の図１等に示すように、本実施形態の画像処理装置１３は、取得部１３５と、第２検出部１３１と、注目位置情報抽出部１３２と、を含む。取得部１３５は、第１の内視鏡装置１０（カプセル型内視鏡）によって画像が撮像された際の第１の内視鏡装置の体内での位置を示す第１の位置情報（２次元座標（ｘ、ｙ））を取得する（記憶部１２２から読み出す）。第２検出部１３１は、第２の検出基準に適合した領域である第２基準注目領域を検出する。注目位置情報抽出部１３２は、第１の位置情報の中から注目位置情報を抽出する。 As shown in FIG. 1 and the like described above, the image processing apparatus 13 according to the present embodiment includes an acquisition unit 135, a second detection unit 131, and an attention position information extraction unit 132. The acquisition unit 135 has first position information (two-dimensional) indicating a position in the body of the first endoscope device when an image is captured by the first endoscope device 10 (capsule endoscope). The coordinates (x, y)) are acquired (read out from the storage unit 122). The second detection unit 131 detects a second reference attention area that is an area that conforms to the second detection reference. The attention position information extraction unit 132 extracts attention position information from the first position information.

具体的には、第１の内視鏡装置１０の第１検出部１０３によって、第１の検出基準（例えば所定色相範囲内の画素数が一定割合以上であること）を用いて、第１の内視鏡装置１０により撮像された画像の中から、注目すべき領域の候補である第１基準注目領域（病変部候補）を含む画像が検出される。そして、第２検出部１３１は、第１の検出基準とは異なる第２の検出基準（例えば病変パターンとのマッチングがとれること）を用いて、第１の内視鏡装置１０により撮像された画像の中から、第２基準注目領域（注目すべき領域、病変部）を含む画像を検出する。注目位置情報抽出部１３２は、第１基準注目領域及び第２基準注目領域を含む画像に対応する第１の位置情報を注目位置情報（例えば図４に示す注目位置フラグ“１”に対応する座標（ｘ、ｙ））として抽出する。 Specifically, the first detection unit 103 of the first endoscope apparatus 10 uses the first detection reference (for example, the number of pixels in the predetermined hue range is equal to or greater than a certain ratio) to An image including a first reference region of interest (lesion candidate) that is a candidate region to be noticed is detected from images captured by the endoscope apparatus 10. Then, the second detection unit 131 uses the second detection criterion (for example, matching with a lesion pattern) different from the first detection criterion, and the image captured by the first endoscope device 10. An image including the second reference region of interest (region to be noted, lesion) is detected. The attention position information extraction unit 132 converts the first position information corresponding to the image including the first reference attention area and the second reference attention area into the attention position information (for example, the coordinates corresponding to the attention position flag “1” illustrated in FIG. 4). (X, y)).

このようにすれば、医師が第２の内視鏡装置で処置する際に、注目領域の位置情報を提供することが可能になる。すなわち、第１の位置情報により第１の内視鏡装置が体内を通過した軌跡を体内マップとして提供し、注目位置情報により病変の位置を体内マップ上の位置として提供できる。また、第１、第２の基準で注目領域を検出することで、２つの異なる基準での検出処理が可能になる。これにより、同じ種類の病変に対して２つの基準で判定を行ったり、異なる種類の病変に対してそれぞれ適切な基準で判定を行ったりすることができるため、病変の検出精度を向上できる。 This makes it possible to provide position information of the region of interest when a doctor performs treatment with the second endoscope apparatus. That is, the trajectory through which the first endoscope device has passed through the body can be provided as an in-vivo map by the first position information, and the position of the lesion can be provided as the position on the in-vivo map by the attention position information. In addition, by detecting a region of interest based on the first and second criteria, detection processing based on two different criteria can be performed. Accordingly, it is possible to make a determination with respect to the same type of lesion based on two criteria, or to make a determination with respect to different types of lesions based on appropriate criteria, respectively, thereby improving the detection accuracy of the lesion.

また、本実施形態では、第２検出部１３１は、第１基準注目領域を含む画像の中から、第２基準注目領域を含む画像を検出する。 In the present embodiment, the second detection unit 131 detects an image including the second reference attention area from images including the first reference attention area.

このようにすれば、第１検出部で病変候補を大まかに把握し、第２検出部で病変候補から病変部の絞り込みを行うことができる。これにより、ＩＣ等の実装面積が限られたカプセル型内視鏡では、低精度であるが軽負荷の処理で検出を行い、画像処理装置において重負荷で高精度の検出を行うことで、病変部の検出精度を向上できる。また、第２検出部で処理する画像の枚数を減らすことができるため、検出処理を高速化できる。 In this way, it is possible to roughly grasp the lesion candidates with the first detection unit and narrow down the lesions from the lesion candidates with the second detection unit. As a result, in a capsule endoscope with a limited mounting area such as an IC, the detection is performed with low-precision but light-load processing, and the image processing apparatus performs high-precision detection with a heavy load, thereby causing lesions. The detection accuracy of the part can be improved. In addition, since the number of images processed by the second detection unit can be reduced, the detection process can be speeded up.

また、本実施形態では、第１の内視鏡装置１０は、白色光の波長帯域の情報を含む通常光画像（広義には第１の画像）と、その通常光画像に対応する、特定の波長帯域の情報を含む特殊光画像（広義には第２の画像）とを取得する（例えば、通常光画像と特殊光画像が交互に撮像され、連続して撮像された１組の通常光画像と特殊光画像が対応する画像として取得される）。第１の内視鏡装置１０の第１検出部１０３は、第１の検出基準を特殊光画像に適用し、第１の検出基準に適合した特殊光画像に対応する通常光画像を、第１基準注目領域を含む画像として検出する（例えば、上述の図３において、画像インデックス３の特殊光画像が検出基準に適合した場合、画像インデックス３の白色光画像が検出画像として出力される）。そして、画像処理装置１３の取得部１３５は、第１検出部１０３により検出された通常光画像が、第１基準注目領域を含む画像であることを示す検出情報（例えば図３の注目領域フラグ）を取得する。 In the present embodiment, the first endoscope apparatus 10 includes a normal light image (first image in a broad sense) including information on the wavelength band of white light and a specific light image corresponding to the normal light image. A special light image (second image in a broad sense) including information on the wavelength band is acquired (for example, a set of normal light images in which a normal light image and a special light image are alternately captured and continuously captured) And special light images are acquired as corresponding images). The first detection unit 103 of the first endoscope apparatus 10 applies the first detection criterion to the special light image, and converts the normal light image corresponding to the special light image conforming to the first detection criterion to the first. An image including the reference region of interest is detected (for example, in FIG. 3 described above, when the special light image with the image index 3 meets the detection criterion, the white light image with the image index 3 is output as a detection image). Then, the acquisition unit 135 of the image processing device 13 detects the normal light image detected by the first detection unit 103 as an image including the first reference attention region (for example, the attention region flag in FIG. 3). To get.

このようにすれば、第１基準注目領域の検出処理は特殊光画像に対して行い、第１基準注目領域を含む画像として通常光画像を出力できる。これにより、通常光画像に対して検出処理を行うよりも、特定の病変部に対する検出精度を向上できる。また、一般に目視による検査・診断は通常光画像を基に行うため、検出情報が通常光画像と対応して取得されることで、医師が画像を閲覧する際に注目領域を含む通常光画像を知ることができる。 In this way, the detection process of the first reference attention area is performed on the special light image, and the normal light image can be output as an image including the first reference attention area. Thereby, the detection accuracy with respect to a specific lesion part can be improved rather than performing a detection process with respect to a normal light image. In general, visual inspection / diagnosis is performed on the basis of the normal light image, so that the detection information is acquired corresponding to the normal light image, so that when the doctor views the image, the normal light image including the attention area is obtained. I can know.

また、本実施形態では、画像処理装置１３の第２検出部１３１は、第２の検出基準を特殊光画像に適用し、第２の検出基準に適合した特殊光画像に対応する通常光画像を、第２基準注目領域を含む画像として検出する。 In the present embodiment, the second detection unit 131 of the image processing device 13 applies the second detection criterion to the special light image, and generates a normal light image corresponding to the special light image that conforms to the second detection criterion. , It is detected as an image including the second reference attention area.

このようにすれば、第２基準注目領域の検出処理は特殊光画像に対して行い、第２基準注目領域を含む画像として通常光画像を出力できる。これにより、上記と同様に、特定の病変部に対する検出精度を向上したり、医師が注目領域を含む通常光画像を知ることができる。 In this way, the detection process of the second reference attention area is performed on the special light image, and the normal light image can be output as an image including the second reference attention area. Thereby, like the above, the detection accuracy with respect to a specific lesion part can be improved, or a doctor can know a normal light image including a region of interest.

また、本実施形態では、第２基準注目領域は、病変を表す領域である。 In the present embodiment, the second reference attention area is an area representing a lesion.

例えば、病変を表す領域は、体腔内の粘膜から出血している箇所や、血管が他の領域よりも集中している箇所や、特定の検査用薬剤が集積する箇所である。また、病変としては、例えば炎症や、潰瘍、ポリープ、癌等が想定される。 For example, a region representing a lesion is a portion bleeding from the mucous membrane in the body cavity, a portion where blood vessels are concentrated more than other regions, or a portion where a specific examination drug is accumulated. Further, as the lesion, for example, inflammation, ulcer, polyp, cancer and the like are assumed.

また、本実施形態では、取得部１３５は、第１の内視鏡装置１０に設けられた発信機１０４からの電波または音波が、第１の内視鏡装置１０の外部の測位点（受信機１１の装着位置）に設けられた受信機１１で受信されることで取得された第１の位置情報（ｘｙ座標）を取得する。 In the present embodiment, the acquisition unit 135 receives a radio wave or sound wave from the transmitter 104 provided in the first endoscope apparatus 10 as a positioning point (receiver) outside the first endoscope apparatus 10. The first position information (xy coordinates) acquired by being received by the receiver 11 provided at (11 mounting position) is acquired.

このようにすれば、受信機により電波または音波を受信することで、カプセル型内視鏡の体内位置を測定し、画像処理装置１３がその体内位置を取得できる。 In this way, by receiving radio waves or sound waves by the receiver, the internal position of the capsule endoscope can be measured, and the image processing apparatus 13 can acquire the internal position.

より具体的には、本実施形態では、取得部１３５は、第１の内視鏡装置１０に設けられた発信機１１からの電波または音波が、第１の内視鏡装置１０の外部の測位点に設けられた３つ以上の受信機（図３に示す複数の受信機１１）で受信され、発信機１０４と各受信機１１との距離が計算されることで取得された第１の位置情報（ｘｙ座標）を取得する。 More specifically, in the present embodiment, the acquisition unit 135 determines whether or not radio waves or sound waves from the transmitter 11 provided in the first endoscope apparatus 10 are externally positioned from the first endoscope apparatus 10. The first position obtained by calculating the distance between the transmitter 104 and each receiver 11 received by three or more receivers (a plurality of receivers 11 shown in FIG. 3) provided at the point. Get information (xy coordinates).

このようにすれば、３つ以上の受信機により電波または音波を受信することで、三角法等を用いてカプセル型内視鏡の体内位置をより高精度に測定できる。 In this way, by receiving radio waves or sound waves with three or more receivers, the internal position of the capsule endoscope can be measured with higher accuracy using trigonometry or the like.

また、本実施形態では、第１の内視鏡装置１０の第１検出部１０３は、第１の内視鏡装置１０による一連（撮像開始から終了まで）の画像の撮像期間中に（撮像期間中リアルタイムに）第１基準注目領域の検出処理を行う。第１の内視鏡装置１０の発信機１０４は、第１検出部１０４によって第１基準注目領域が検出された場合、第１基準注目領域が検出されている期間内（例えば検出後の所定期間内）において、電波または音波の強度を上昇させる。そして、取得部１３５は、強度が上昇された電波または音波が、受信機１１で受信されることで取得された第１の位置情報（ｘｙ座標）を取得する。 Further, in the present embodiment, the first detection unit 103 of the first endoscope apparatus 10 is in the imaging period of a series of images (from the start to the end of imaging) by the first endoscope apparatus 10 (imaging period). The first reference region of interest is detected (in the middle real time). When the first reference attention area is detected by the first detection unit 104, the transmitter 104 of the first endoscope apparatus 10 is within a period during which the first reference attention area is detected (for example, a predetermined period after detection). (Inside) increase the intensity of radio waves or sound waves. Then, the acquisition unit 135 acquires the first position information (xy coordinates) acquired by receiving the radio wave or sound wave whose intensity has been increased by the receiver 11.

このようにすれば、強度が上昇された電波または音波により取得された第１の位置情報を取得部が取得することで、第１基準注目領域付近でのカプセル型内視鏡の位置情報を高精度に捕捉できる。これにより、注目領域の位置をより正確に知ることが可能になる。 According to this configuration, the acquisition unit acquires the first position information acquired by the radio wave or the sound wave having an increased intensity, thereby increasing the position information of the capsule endoscope near the first reference attention area. It can be captured with accuracy. This makes it possible to know the position of the attention area more accurately.

また、本実施形態では、第１の内視鏡装置１０の第１検出部１０３は、第１の内視鏡装置１０による一連の画像の撮像期間中（診断対象部位の撮像中）に第１基準注目領域の検出処理を行い、第２検出部１３１は、第１の内視鏡装置１０による一連の画像の撮像期間が経過した後（診断対象部位の撮像終了後、またはカプセル型内視鏡の体外排出後）に、第２基準注目領域の検出処理を行う。 In the present embodiment, the first detection unit 103 of the first endoscope apparatus 10 performs the first during the imaging period of the series of images (during imaging of the diagnosis target part) by the first endoscope apparatus 10. The reference attention area detection process is performed, and the second detection unit 131 performs a series of image capturing periods by the first endoscope apparatus 10 (after the imaging of the region to be diagnosed or after the capsule endoscope is completed). The second reference region of interest is detected after the body is discharged from the body.

このようにすれば、第１基準注目領域をリアルタイムに検出できるため、医師による診断が容易になる。また、撮像終了後に第２基準注目領域を検出することで、処理負荷のより大きい検出処理が可能になるため、さらに信頼性の高い検出処理が可能になる。そして、第２検出部により検出処理の信頼性を担保できるため、処理能力の確保が困難なカプセル型内視鏡等を用いた場合であっても、簡素な検出処理を用いてリアルタイムの検出処理を行うことができる。 In this way, since the first reference attention area can be detected in real time, diagnosis by a doctor is facilitated. In addition, by detecting the second reference region of interest after the end of imaging, detection processing with a larger processing load is possible, so detection processing with higher reliability is possible. And since the reliability of detection processing can be ensured by the second detection unit, real-time detection processing can be performed using simple detection processing even when a capsule endoscope or the like whose processing capability is difficult to secure is used. It can be performed.

また、本実施形態では、第１の内視鏡装置１０の第１検出部１０３は、第１の内視鏡装置１０による一連の画像の撮像期間中（撮像中リアルタイムに）に第１基準注目領域の検出処理を行う。第１の内視鏡装置１０（制御部１０５）は、第１検出部１０３によって第１基準注目領域が検出された場合、第１基準注目領域が検出されている期間内（例えば検出後の所定期間内）において、撮像部１０１による画像の撮像間隔を短縮する制御を行う。そして、画像処理装置１３の取得部１３５は、その撮像間隔が短縮されて撮像された画像を取得する。 Further, in the present embodiment, the first detection unit 103 of the first endoscope apparatus 10 focuses on the first reference during a series of image capturing periods (in real time during imaging) by the first endoscope apparatus 10. An area detection process is performed. When the first reference attention area is detected by the first detection section 103, the first endoscope apparatus 10 (the control section 105) is within a period during which the first reference attention area is detected (for example, a predetermined post-detection predetermined area). Within the period), control for shortening the image capturing interval of the image capturing unit 101 is performed. Then, the acquisition unit 135 of the image processing apparatus 13 acquires an image captured with the imaging interval shortened.

このようにすれば、注目領域が撮像された画像の取得枚数を増加できるため、注目領域をより詳細に観察したり、第２検出部による第２基準注目領域の検出精度を向上したりすることができる。また、各撮像画像の送信時に同時に音波が送信され、第１の内視鏡装置の体内位置が測定されるため、撮像間隔が短縮されることで、注目領域の位置測定精度を向上できる。 In this way, since the number of images obtained by capturing the attention area can be increased, the attention area can be observed in more detail, or the detection accuracy of the second reference attention area by the second detection unit can be improved. Can do. In addition, sound waves are simultaneously transmitted when each captured image is transmitted, and the in-vivo position of the first endoscope apparatus is measured. Therefore, the position measurement accuracy of the region of interest can be improved by shortening the imaging interval.

また、本実施形態では、第１の検出基準は、画像の色相が所定範囲内である場合に満たされる基準であり、第２の検出基準は、画像が所定の形状と一致する場合に満たされる基準である。 In the present embodiment, the first detection criterion is a criterion that is satisfied when the hue of the image is within a predetermined range, and the second detection criterion is satisfied when the image matches a predetermined shape. It is a standard.

また、本実施形態では、第１の内視鏡装置１０は、通常光画像と特殊光画像を取得し、第１の内視鏡装置１０の第１検出部１０３は、特殊光画像に対して第１の検出基準を適用する。そして、第２検出部１３１は、白色光画像に対して第２の検出基準を適用する。 In the present embodiment, the first endoscope device 10 acquires a normal light image and a special light image, and the first detection unit 103 of the first endoscope device 10 performs the special light image on the special light image. Apply the first detection criterion. Then, the second detection unit 131 applies the second detection criterion to the white light image.

また、本実施形態では、第１の検出基準は、第１基準注目領域が注目すべき領域であるかの信頼度を判定する判定基準を含まず、第２の検出基準は、第２基準注目領域が注目すべき領域であるかの信頼度を判定する判定基準を含む。 In the present embodiment, the first detection criterion does not include a determination criterion for determining the reliability of whether the first reference attention region is a region to be noticed, and the second detection criterion is the second reference attention. It includes a determination criterion for determining the reliability of whether or not the area is a notable area.

これらの実施形態によれば、２つの異なる検出基準により注目領域を検出できるため、検出精度を向上できる。また、第１検出部による検出処理を軽負荷のリアルタイム処理にし、第２検出部による検出処理を信頼性の高い検出処理にできる。例えば、第１検出部が、簡素な処理で行うことができる色相判定を用いて特殊光画像から病変検出を行い、第２検出部が、形状に特徴があるポリープ等の病変を白色光画像から検出できる。あるいは、第２検出部が、病変領域の面積等から信頼度を判定することで、画像のノイズ等による誤検出を抑止し、検出処理の信頼性を向上できる。 According to these embodiments, since a region of interest can be detected by two different detection criteria, detection accuracy can be improved. Moreover, the detection process by the first detection unit can be a light load real-time process, and the detection process by the second detection unit can be a highly reliable detection process. For example, the first detection unit performs lesion detection from a special light image using hue determination that can be performed with simple processing, and the second detection unit detects a lesion such as a polyp having a characteristic shape from a white light image. It can be detected. Alternatively, the second detection unit determines the reliability based on the area of the lesion area and the like, thereby suppressing erroneous detection due to image noise and the like, and improving the reliability of the detection process.

また、図１０等で上述のように、画像処理装置２３は、第１部位判別部２３１と、第１位置情報取得部２３２と、第２検出部２３３と、注目位置情報抽出部２３４と、を含む。この第１部位判別部２３１は、第１の内視鏡装置２０（カプセル型内視鏡）により撮像された画像の特徴量の変化（輝度変化、色相変化、シーン変化等）に基づいて、第１の内視鏡装置２０が位置する部位（十二指腸、小腸、結腸等の器官）を判別する。第１位置情報取得部２３２は、第１部位判別部２３１によって判別された結果（部位、器官、またはそれらを示すインデックスやフラグ）を、第１の内視鏡装置２０によって画像が撮像された際の第１の位置情報（１次元の位置、座標）として取得する。第１の内視鏡装置２０の第１検出部２０３は、第１の検出基準を用いて、第１の内視鏡装置２０により撮像された画像の中から、第１基準注目領域を含む画像を検出する。第２検出部２３３は、第２の検出基準を用いて、第１の内視鏡装置２０により撮像された画像の中から、第２基準注目領域を含む画像を検出する。注目位置情報抽出部２３４は、第１基準注目領域及び第２基準注目領域を含む画像に対応する第１の位置情報（部位、器官、１次元の位置、座標）を注目位置情報（病変位置、注目領域を含む画像が撮影された位置）として抽出する。 Further, as described above with reference to FIG. 10 and the like, the image processing apparatus 23 includes the first part determination unit 231, the first position information acquisition unit 232, the second detection unit 233, and the attention position information extraction unit 234. Including. The first part discriminating unit 231 is based on the change in the feature amount (luminance change, hue change, scene change, etc.) of the image captured by the first endoscope apparatus 20 (capsule endoscope). A part (an organ such as duodenum, small intestine, colon, etc.) where one endoscope apparatus 20 is located is determined. When the first endoscope apparatus 20 captures an image of the result (part, organ, or index or flag indicating them) determined by the first part determination part 231, the first position information acquisition unit 232 As first position information (one-dimensional position and coordinates). The first detection unit 203 of the first endoscope apparatus 20 uses the first detection reference and includes an image including a first reference attention area from among images captured by the first endoscope apparatus 20. Is detected. The second detection unit 233 detects an image including the second reference attention area from the images captured by the first endoscope device 20 using the second detection reference. The attention position information extraction unit 234 obtains first position information (part, organ, one-dimensional position, coordinates) corresponding to the image including the first reference attention area and the second reference attention area as attention position information (lesion position, This is extracted as a position where an image including the region of interest is taken).

このようにすれば、音波または電波を用いずに画像から内視鏡位置を取得できるため、位置測定のための受信機等を不要にできる。これにより、受信機装着の手間やわずらわしさを軽減したり、受信機等のコストを削減したりできる。また、異なる２つの検出基準を用いることで、注目領域の検出精度の向上等が可能になる。 In this way, since the endoscope position can be acquired from the image without using sound waves or radio waves, a receiver or the like for position measurement can be dispensed with. As a result, it is possible to reduce the time and trouble of installing the receiver and reduce the cost of the receiver and the like. Further, by using two different detection criteria, it is possible to improve the detection accuracy of the attention area.

次に、上記画像処理装置を含む内視鏡システムの概要について説明する。
図１等で上述のように、第１の内視鏡システム１００は、第１位置情報取得部１２１と、第１検出部１０３と、第２検出部１３１と、注目位置情報抽出部１３２と、を含む。そして、第１位置情報取得部１２１は、第１の内視鏡装置１０によって画像が撮像された際の第１の内視鏡装置１０の体内での位置を示す第１の位置情報を取得する。第１検出部１０３は、第１の検出基準を用いて、第１の内視鏡装置１０によって撮像された画像の中から、注目すべき領域の候補である第１基準注目領域を検出する。第２検出部１３１は、第１の検出基準とは異なる第２の検出基準を用いて、第１の内視鏡装置１０によって撮像された画像の中から、第２の検出基準に適合した領域である第２基準注目領域を検出する。注目位置情報抽出部１３２は、第１基準注目領域及び第２基準注目領域を含む画像に対応する第１の位置情報を注目位置情報として抽出する。 Next, an outline of an endoscope system including the image processing apparatus will be described.
As described above with reference to FIG. 1 and the like, the first endoscope system 100 includes a first position information acquisition unit 121, a first detection unit 103, a second detection unit 131, an attention position information extraction unit 132, including. And the 1st position information acquisition part 121 acquires the 1st position information which shows the position in the body of the 1st endoscope apparatus 10 at the time of an image being picked up by the 1st endoscope apparatus 10. . The first detection unit 103 uses the first detection reference to detect a first reference attention area that is a candidate for a region to be noticed from the image captured by the first endoscope apparatus 10. The second detection unit 131 uses a second detection criterion different from the first detection criterion, and is an area that matches the second detection criterion from among images captured by the first endoscope device 10. The second reference attention area is detected. The attention position information extraction unit 132 extracts first position information corresponding to an image including the first reference attention area and the second reference attention area as attention position information.

このようにすれば、上記画像処理装置１３を含む内視鏡システムを実現できる。すなわち、第１の検出基準を用いて第１の内視鏡装置によってリアルタイムに注目領域を検出し、第２の検出基準を用いて、より確実性の高い注目領域の検出を行うことができる。 In this way, an endoscope system including the image processing device 13 can be realized. That is, the attention area can be detected in real time by the first endoscope apparatus using the first detection reference, and the attention area can be detected with higher certainty using the second detection reference.

また、本実施形態では、第１の内視鏡装置１０は、白色光の波長帯域（例えば３８０ｎｍ〜６５０ｎｍ）の情報を含む通常光画像と、その通常光画像に対応する（同タイミングで撮像された、または次のタイミングで撮像された）、特定の波長帯域の情報を含む特殊光画像とを取得する。 In the present embodiment, the first endoscope apparatus 10 corresponds to the normal light image including information of the wavelength band of white light (for example, 380 nm to 650 nm) and the normal light image (captured at the same timing). Or a special light image including information on a specific wavelength band (captured at the next timing).

具体的には、特定の波長帯域は、白色光の波長帯域よりも狭い帯域である（ＮＢＩ：Narrow Band Imaging）。例えば、通常光画像および特殊光画像は生体内を写した生体内画像であり、生体内画像に含まれる特定の波長帯域は、血液中のヘモグロビンに吸収される波長の波長帯域である。このヘモグロビンに吸収される波長は、例えば３９０ナノメータ〜４４５ナノメータ（第１の狭帯域光。狭帯域光のＢ２成分）、または５３０ナノメータ〜５５０ナノメータ（第２の狭帯域光。狭帯域光のＧ２成分）である。 Specifically, the specific wavelength band is a band narrower than the wavelength band of white light (NBI: Narrow Band Imaging). For example, the normal light image and the special light image are in-vivo images obtained by copying the inside of the living body, and the specific wavelength band included in the in-vivo image is a wavelength band of a wavelength that is absorbed by hemoglobin in blood. The wavelength absorbed by this hemoglobin is, for example, 390 to 445 nanometers (first narrowband light; B2 component of narrowband light), or 530 to 550 nanometers (second narrowband light; G2 of narrowband light). Component).

これにより、生体の表層部及び、深部に位置する血管の構造を観察することが可能になる。また得られた信号を特定のチャンネル（Ｇ２→Ｒ、Ｂ２→Ｇ，Ｂ）に入力することで、扁平上皮癌等の通常光では視認が難しい病変などを褐色等で表示することができ、病変部の見落としを抑止することができる。なお、３９０ｎｍ〜４４５ｎｍまたは５３０ｎｍ〜５５０ｎｍとは、ヘモグロビンに吸収されるという特性及び、それぞれ生体の表層部または深部まで到達するという特性から得られた数字である。ただし、この場合の波長帯域はこれに限定されず、例えばヘモグロビンによる吸収と生体の表層部又は深部への到達に関する実験結果等の変動要因により、波長帯域の下限値が０〜１０％程度減少し、上限値が０〜１０％程度上昇することも考えられる。 Thereby, it becomes possible to observe the structure of the blood vessel located in the surface layer part and the deep part of the living body. In addition, by inputting the obtained signals to specific channels (G2 → R, B2 → G, B), lesions that are difficult to see with normal light such as squamous cell carcinoma can be displayed in brown, etc. Oversight of parts can be suppressed. Note that 390 nm to 445 nm or 530 nm to 550 nm are numbers obtained from the characteristic of being absorbed by hemoglobin and the characteristic of reaching the surface layer or the deep part of the living body, respectively. However, the wavelength band in this case is not limited to this. For example, the lower limit of the wavelength band is reduced by about 0 to 10% due to the variation factors such as the absorption by hemoglobin and the experimental results regarding the arrival of the living body on the surface layer or the deep part. It is also conceivable that the upper limit value increases by about 0 to 10%.

また、本実施形態では、生体内画像に含まれる特定の波長帯域は、蛍光物質が発する蛍光の波長帯域であってもよい。例えば、特定の波長帯域は、４９０ナノメータ〜６２５ナノメータの波長帯域であってもよい。 In the present embodiment, the specific wavelength band included in the in-vivo image may be a wavelength band of fluorescence emitted from the fluorescent material. For example, the specific wavelength band may be a wavelength band of 490 nanometers to 625 nanometers.

これにより、ＡＦＩ（Auto Fluorescence Imaging）と呼ばれる蛍光観察が可能となる。励起光（３９０ｎｍ〜４７０ｎｍ）を照射することで、コラーゲンなどの蛍光物質からの自家蛍光（intrinsic fluorescence。４９０ｎｍ〜６２５ｎｍ）を観察することができる。このような観察では病変を正常粘膜とは異なった色調で強調表示することができ、病変部の見落としを抑止すること等が可能になる。なお４９０ｎｍ〜６２５ｎｍという数字は、前述の励起光を照射した際、コラーゲン等の蛍光物質が発する自家蛍光の波長帯域を示したものである。ただし、この場合の波長帯域はこれに限定されず、例えば蛍光物質が発する蛍光の波長帯域に関する実験結果等の変動要因により、波長帯域の下限値が０〜１０％程度減少し、上限値が０〜１０％程度上昇することも考えられる。また、ヘモグロビンに吸収される波長帯域（５４０ｎｍ〜５６０ｎｍ）を同時に照射し、擬似カラー画像を生成してもよい。 This enables fluorescence observation called AFI (Auto Fluorescence Imaging). By irradiating excitation light (390 nm to 470 nm), autofluorescence (intrinsic fluorescence from 490 nm to 625 nm) from a fluorescent substance such as collagen can be observed. In such observation, the lesion can be highlighted with a color tone different from that of the normal mucous membrane, and the oversight of the lesion can be suppressed. The numbers from 490 nm to 625 nm indicate the wavelength band of autofluorescence emitted by fluorescent materials such as collagen when irradiated with the above-described excitation light. However, the wavelength band in this case is not limited to this. For example, the lower limit of the wavelength band is reduced by about 0 to 10% and the upper limit is 0 due to a variation factor such as an experimental result regarding the wavelength band of the fluorescence emitted by the fluorescent material. A rise of about 10% is also conceivable. Alternatively, a pseudo color image may be generated by simultaneously irradiating a wavelength band (540 nm to 560 nm) absorbed by hemoglobin.

また、本実施形態では、生体内画像に含まれる特定の波長帯域は、赤外光の波長帯域であってもよい。例えば、特定の波長帯域は、７９０ナノメータ〜８２０ナノメータ、または９０５ナノメータ〜９７０ナノメータの波長帯域であってもよい。 In the present embodiment, the specific wavelength band included in the in-vivo image may be a wavelength band of infrared light. For example, the specific wavelength band may be a wavelength band of 790 nanometers to 820 nanometers, or 905 nanometers to 970 nanometers.

これにより、ＩＲＩ（Infra Red Imaging）と呼ばれる赤外光観察が可能となる。赤外光が吸収されやすい赤外指標薬剤であるＩＣＧ（インドシアニングリーン）を静脈注射した上で、上記波長帯域の赤外光を照射することで、人間の目では視認が難しい粘膜深部の血管や血流情報を強調表示することができ、胃癌の深達度診断や治療方針の判定などが可能になる。なお、７９０ｎｍ〜８２０ｎｍという数字は赤外指標薬剤の吸収がもっとも強いという特性から求められ、９０５ｎｍ〜９７０ｎｍという数字は赤外指標薬剤の吸収がもっとも弱いという特性から求められたものである。ただし、この場合の波長帯域はこれに限定されず、例えば赤外指標薬剤の吸収に関する実験結果等の変動要因により、波長帯域の下限値が０〜１０％程度減少し、上限値が０〜１０％程度上昇することも考えられる。 Thereby, infrared light observation called IRI (Infra Red Imaging) becomes possible. Intravenous injection of ICG (Indocyanine Green), an infrared index drug that easily absorbs infrared light, and then irradiating with infrared light in the above wavelength band, it is difficult to visually recognize the blood vessels in the deep mucosa And blood flow information can be highlighted, making it possible to diagnose the depth of gastric cancer and determine the treatment policy. The numbers 790 nm to 820 nm are obtained from the characteristic that the absorption of the infrared index drug is strongest, and the numbers 905 nm to 970 nm are calculated from the characteristic that the absorption of the infrared index drug is the weakest. However, the wavelength band in this case is not limited to this. For example, the lower limit of the wavelength band is reduced by about 0 to 10% and the upper limit is 0 to 10 due to a variation factor such as an experimental result regarding absorption of the infrared index drug. It can also be expected to increase by about%.

また、本実施形態では、取得された白色光画像に基づいて、特殊光画像を生成する特殊光画像取得部を含んでもよい。例えば、図１に示す第１画像取得部１０２が白色光画像を取得し、第１画像取得部１０２が図示しない特殊光画像取得部を含み、その特殊光画像取得部が、取得された白色光画像から特殊光画像を生成してもよい。 Moreover, in this embodiment, you may include the special light image acquisition part which produces | generates a special light image based on the acquired white light image. For example, the first image acquisition unit 102 illustrated in FIG. 1 acquires a white light image, the first image acquisition unit 102 includes a special light image acquisition unit (not shown), and the special light image acquisition unit includes the acquired white light. A special light image may be generated from the image.

具体的には、特殊光画像取得部は、取得された白色光画像から、白色光の波長帯域における信号を抽出する信号抽出部を含み、特殊光画像取得部は、抽出された白色光の波長帯域における信号に基づいて、特定の波長帯域における信号を含む特殊光画像を生成してもよい。例えば、信号抽出部は、白色光画像のＲＧＢ信号から１０ｎｍ刻みに被写体の分光反射率特性を推定し、特殊光画像取得部は、その推定された信号成分を上記特定の帯域で積算して特殊光画像を生成する。 Specifically, the special light image acquisition unit includes a signal extraction unit that extracts a signal in the wavelength band of white light from the acquired white light image, and the special light image acquisition unit includes the wavelength of the extracted white light. A special light image including a signal in a specific wavelength band may be generated based on the signal in the band. For example, the signal extraction unit estimates the spectral reflectance characteristics of the subject in 10 nm increments from the RGB signal of the white light image, and the special light image acquisition unit integrates the estimated signal components in the specific band and performs special processing. Generate a light image.

より具体的には、特殊光画像取得部は、白色光の波長帯域における信号から、特定の波長帯域における信号を算出するためのマトリクスデータを設定するマトリクスデータ設定部を含み、特殊光画像取得部は、設定されたマトリクスデータを用いて、白色光の波長帯域における信号から特定の波長帯域における信号を算出して、特殊光画像を生成してもよい。例えば、マトリクスデータ設定部は、特定の波長帯域の照射光の分光特性が１０ｎｍ刻みに記述されたテーブルデータをマトリクスデータとして設定する。そして、このテーブルデータに記述された分光特性（係数）を、推定された被写体の分光反射率特性に乗算して積算し、特殊光画像を生成する。 More specifically, the special light image acquisition unit includes a matrix data setting unit that sets matrix data for calculating a signal in a specific wavelength band from a signal in the wavelength band of white light, and the special light image acquisition unit May generate a special light image by calculating a signal in a specific wavelength band from a signal in the wavelength band of white light using the set matrix data. For example, the matrix data setting unit sets table data in which spectral characteristics of irradiation light in a specific wavelength band are described in increments of 10 nm as matrix data. Then, the spectral characteristics (coefficients) described in the table data are multiplied by the estimated spectral reflectance characteristics of the subject and integrated to generate a special light image.

これにより、通常光画像に基づいて特殊光画像を生成することができるので、通常光を照射する１つの光源と、通常光を撮像する１つの撮像素子のみでもシステムを実現することが可能になる。そのため、カプセル型内視鏡や、スコープ型内視鏡の挿入部を小さくすることができ、また部品が少なくてすむためコストを下げる効果も期待できる。 As a result, the special light image can be generated based on the normal light image, so that the system can be realized with only one light source that irradiates normal light and one image sensor that images normal light. . Therefore, the capsule endoscope and the insertion part of the scope endoscope can be made small, and the cost can be expected to be reduced because the number of parts is reduced.

次に、上記画像処理装置を含む内視鏡システム全体の概要について説明する。
図１等で上述のように、本実施形態の内視鏡システムは、第１位置情報取得部１２１と、第１検出部１０３と、第２検出部１３１と、注目位置情報抽出部１３２と、第２位置情報取得部１７１と、対応付け部１８２と、表示制御部１８３と、を含む。第１位置情報取得部１２１は、第１の位置情報（例えば２次元座標（ｘ、ｙ））を取得する。第１検出部１０３は、第１の検出基準を用いて第１基準注目領域を含む画像を検出する。第２検出部１３１は、第２の検出基準を用いて第２基準注目領域を含む画像を検出する。注目位置情報抽出部１３２は、注目位置情報を抽出する。そして、第２位置情報取得部１７１は、第２の内視鏡装置１５の体内での位置を示す第２の位置情報（例えば２次元座標（ｘ’、ｙ’））を取得する。対応付け部１８２は、第１の位置情報と第２の位置情報を対応付ける（マッピングする）。表示制御部１８３は、対応付け部１８２による対応付けの結果に基づく情報（例えば図６のＡ２に示すガイド情報や、図７のＢ２に示すアラート情報）を表示部（出力装置１９）に表示する制御を行う。 Next, an overview of the entire endoscope system including the image processing apparatus will be described.
As described above with reference to FIG. 1 and the like, the endoscope system of the present embodiment includes a first position information acquisition unit 121, a first detection unit 103, a second detection unit 131, a target position information extraction unit 132, A second position information acquisition unit 171, an association unit 182, and a display control unit 183 are included. The first position information acquisition unit 121 acquires first position information (for example, two-dimensional coordinates (x, y)). The first detection unit 103 detects an image including the first reference attention area using the first detection reference. The second detection unit 131 detects an image including the second reference attention area using the second detection reference. The attention position information extraction unit 132 extracts attention position information. Then, the second position information acquisition unit 171 acquires second position information (for example, two-dimensional coordinates (x ′, y ′)) indicating the position of the second endoscope apparatus 15 in the body. The associating unit 182 associates (maps) the first position information and the second position information. The display control unit 183 displays information (for example, guide information indicated by A2 in FIG. 6 or alert information indicated by B2 in FIG. 7) based on the result of association by the association unit 182 on the display unit (output device 19). Take control.

このようにすれば、第１の内視鏡装置の体内位置を取得し、その体内位置と第２の内視鏡装置の体内位置を対応させることができる。これにより、医師が第２の内視鏡装置で処置する際に、第１の内視鏡装置により検出された病変位置に容易に到達して処置を行うことができる。 In this way, the in-vivo position of the first endoscope apparatus can be acquired, and the in-vivo position of the second endoscope apparatus can be made to correspond. Thereby, when a doctor treats with the 2nd endoscope apparatus, it can arrive at the lesion position detected with the 1st endoscope apparatus easily, and can treat.

また、本実施形態では、第１の内視鏡装置１０は、カプセル型内視鏡であり、第２の内視鏡装置１５は、スコープ型内視鏡である。 In the present embodiment, the first endoscope apparatus 10 is a capsule endoscope, and the second endoscope apparatus 15 is a scope endoscope.

このようにすれば、患者の負担の少ないカプセル型内視鏡を用いて検査・診断を行い、処置の必要があると判断された場合には、スコープ型内視鏡を用いて処置を行うことができる。これにより、スコープ型内視鏡のみを用いて検査と処置を行う場合と比べて、患者の負担を軽減できる。 In this way, examination and diagnosis are performed using a capsule endoscope with less burden on the patient, and if it is determined that treatment is required, treatment is performed using a scope endoscope. Can do. Thereby, compared with the case where a test | inspection and treatment are performed using only a scope type | mold endoscope, a patient's burden can be reduced.

また、本実施形態では、体内の空間（第１の内視鏡装置の通過軌跡、消化管の配置や構造、体腔の配置や構造）の全体または一部を表現した体内マップを生成するマップ生成部１８１を含む。対応付け部１８２は、生成された体内マップ上において、少なくとも注目位置情報と第２の位置情報とを体内マップに対応付ける。 In the present embodiment, the map generation for generating an in-vivo map that represents the whole or a part of the space in the body (the trajectory of the first endoscope device, the arrangement and structure of the digestive tract, the arrangement and structure of the body cavity). Part 181. The associating unit 182 associates at least the attention position information and the second position information with the in-vivo map on the generated in-vivo map.

例えば、図５等で上述のように、マップ生成部１８１は、第１の位置情報が示す体内での位置を２次元座標にプロットした２次元マップを生成する。あるいは、図１１等で上述のように、マップ生成部２６３は、第１の位置情報が示す体内での位置順（撮像順）に、第１の内視鏡装置２０により撮像された画像を並べることで１次元の体内マップを生成してもよい。 For example, as described above with reference to FIG. 5 and the like, the map generation unit 181 generates a two-dimensional map in which the position in the body indicated by the first position information is plotted on two-dimensional coordinates. Alternatively, as described above with reference to FIG. 11 and the like, the map generation unit 263 arranges the images captured by the first endoscope device 20 in the order of positions in the body (imaging order) indicated by the first position information. Thus, a one-dimensional in-vivo map may be generated.

また、本実施形態では、表示制御部１８３は、少なくとも注目位置情報と第２の位置情報とが対応付けられた体内マップと、第２の内視鏡装置１５により撮像された画像とを表示部（出力装置１９）に表示する制御を行う。 In the present embodiment, the display control unit 183 displays an in-vivo map in which at least attention position information and second position information are associated with each other and an image captured by the second endoscopic device 15. Control to display on (output device 19) is performed.

このようにすれば、体内マップ上に第２の内視鏡装置の位置を表すことで、医者が処置時に患者のどの位置を観察しているかを容易に把握することができる。また、画像を並べることで１次元の体内マップを生成することで、音波等を用いることなく体内マップを生成できる。 In this way, by representing the position of the second endoscope apparatus on the in-vivo map, it is possible to easily grasp which position of the patient is being observed by the doctor at the time of treatment. In addition, by generating a one-dimensional in-vivo map by arranging images, an in-vivo map can be generated without using sound waves or the like.

また、本実施形態では、注目位置情報抽出部１３２は、複数の注目位置情報を抽出する。そして、表示制御部１８３は、その複数の注目位置情報が示す複数の位置のうち、体内マップ上の第２の位置情報が示す位置に対して距離的に最も近傍の（最も距離が近い）位置への方向を示す方向画像（例えば図８のＣ２に示す矢印）を、体内マップ上に表示する制御を行う。 In the present embodiment, the attention position information extraction unit 132 extracts a plurality of attention position information. Then, the display control unit 183 is a position closest in distance (closest distance) to the position indicated by the second position information on the in-vivo map among the plurality of positions indicated by the plurality of position-of-interest information. Control for displaying a direction image (for example, an arrow indicated by C2 in FIG. 8) on the in-vivo map is performed.

このようにすれば、第２の内視鏡装置に最も近い注目領域との位置関係を医師に提示することで、医師が第２の内視鏡装置を速やかに注目領域の位置まで到達させるためのナビゲーション表示を実現できる。 In this way, the doctor can quickly reach the position of the attention region by presenting the positional relationship with the attention region closest to the second endoscope device to the doctor. Navigation display can be realized.

また、本実施形態では、表示制御部１８３は、第２の位置情報の示す位置が、注目位置情報の示す位置に接近した場合（例えば、注目位置と第２の位置が一致した場合や、注目位置と第２の位置が所定距離内になった場合）、その接近したことを示す情報を表示部（出力装置１９）に表示する制御を行う。例えば、表示制御部１８３は、接近したことを示す情報として、ユーザに注意を促す情報（例えば、警告音や、図７のＢ２に示す警告マークや、図９（Ａ）〜図９（Ｃ）に示す拡大表示）を表示部に表示する制御を行う。 Further, in the present embodiment, the display control unit 183 causes the position indicated by the second position information to approach the position indicated by the noticed position information (for example, if the notice position matches the second position, When the position and the second position are within a predetermined distance), control is performed to display information indicating the approach on the display unit (output device 19). For example, the display control unit 183 may use information that alerts the user as information indicating that the user is approaching (for example, a warning sound, a warning mark indicated by B2 in FIG. 7, or FIGS. 9A to 9C). The display is displayed on the display unit.

このようにすれば、第２の内視鏡装置が注目領域の位置に接近したときに、医師に対してその旨を知らせることで、医師が注目領域を見逃してしまうことを抑止できる。 In this way, when the second endoscope apparatus approaches the position of the attention area, it is possible to prevent the doctor from overlooking the attention area by notifying the doctor of that fact.

また、本実施形態の内視鏡システムは、第２の内視鏡装置１５の撮像により通常光画像と特殊光画像とを取得する第２画像取得部１５２を含む。そして、表示制御部１８３は、第２の位置情報の示す位置が、注目位置情報の示す位置に接近した場合、少なくとも特殊光画像を表示部（出力装置１９）に表示する制御を行う。 In addition, the endoscope system of the present embodiment includes a second image acquisition unit 152 that acquires a normal light image and a special light image by imaging of the second endoscope device 15. The display control unit 183 performs control to display at least the special light image on the display unit (output device 19) when the position indicated by the second position information approaches the position indicated by the target position information.

このようにすれば、第２の内視鏡装置が注目領域の位置に接近したときに、特定の病変の診断性能（視認性）に優れた特殊光画像を医師に対して提示できるため、医者による診断の精度向上を図ることができる。 In this way, when the second endoscope apparatus approaches the position of the region of interest, a special light image excellent in diagnostic performance (visibility) for a specific lesion can be presented to the doctor. Therefore, it is possible to improve the accuracy of diagnosis.

また、本実施形態では、第２位置情報取得部１７１は、第２の内視鏡装置１５に設けられた発信機１５３からの電波または音波を、第２の内視鏡装置１５の外部の測位点に設けられた受信機１６で受信することで、第２の位置情報を取得する。より具体的には、第２位置情報取得部１７１は、電波または音波を３つ以上の受信機１６で受信し、発信機１１と各受信機１６との距離を計算することで、第２の位置情報を取得する。 In the present embodiment, the second position information acquisition unit 171 uses radio waves or sound waves from the transmitter 153 provided in the second endoscope device 15 to perform positioning outside the second endoscope device 15. The second position information is acquired by receiving with the receiver 16 provided at the point. More specifically, the second position information acquisition unit 171 receives radio waves or sound waves by three or more receivers 16 and calculates the distance between the transmitter 11 and each receiver 16 to obtain the second Get location information.

このようにすれば、受信機１６により電波または音波を受信することで、第２の内視鏡装置の体内位置を測定できる。また、３つ以上の受信機により電波または音波を受信することで、三角法等を用いて体内位置をより高精度に測定できる。 In this way, the internal position of the second endoscope apparatus can be measured by receiving radio waves or sound waves by the receiver 16. In addition, by receiving radio waves or sound waves by three or more receivers, the position in the body can be measured with higher accuracy using trigonometry or the like.

また、本実施形態の内視鏡システムは、発信機１５３から送信される電波または音波の強度を制御する制御部１５４を含む。そして、第２位置情報取得部１７１は、第２の内視鏡装置１５の移動に伴って、体内での位置を示す第２の位置情報を順次取得する。制御部１５４は、順次取得された第２の位置情報の示す位置が、注目位置情報の示す位置に接近した場合に、電波または音波の強度を上昇させる制御を行う。 In addition, the endoscope system of the present embodiment includes a control unit 154 that controls the intensity of radio waves or sound waves transmitted from the transmitter 153. The second position information acquisition unit 171 sequentially acquires second position information indicating the position in the body as the second endoscope apparatus 15 moves. The control unit 154 performs control to increase the intensity of the radio wave or the sound wave when the position indicated by the second position information sequentially acquired approaches the position indicated by the target position information.

このようにすれば、注目領域に接近した場合に電波または音波の強度を上昇させることで、第２の内視鏡装置の位置情報を高精度に捕捉できる。これにより、医師が第２の内視鏡装置をより容易に病変に到達させることができる。 In this way, the position information of the second endoscope apparatus can be captured with high accuracy by increasing the intensity of the radio wave or sound wave when approaching the region of interest. Thereby, a doctor can make a 2nd endoscope apparatus reach a lesion more easily.

また、図１０等で説明したように、本実施形態の内視鏡システムは、第２の内視鏡装置１５により撮像された画像の特徴量の変化（輝度変化、色相変化、シーン変化等）に基づいて、第２の内視鏡装置１５が位置する部位（胃や小腸、大腸等の器官）を判別する第２部位判別部２６１を含んでもよい。そして、第２位置情報取得部２６２は、第２部位判別部２６１により判別された結果を第２の位置情報として取得してもよい。 Further, as described with reference to FIG. 10 and the like, the endoscope system of the present embodiment changes the feature amount of the image captured by the second endoscope apparatus 15 (luminance change, hue change, scene change, etc.). On the basis of the above, a second part discriminating unit 261 that discriminates a part (an organ such as stomach, small intestine, large intestine, etc.) where the second endoscope device 15 is located may be included. And the 2nd position information acquisition part 262 may acquire the result discriminated by the 2nd part discernment part 261 as the 2nd position information.

また、本実施形態では、第２位置情報取得部２６２は、第２部位判別部２６１により判別された部位と、第２の内視鏡装置１５の体内に挿入された長さに基づいて、第２の位置情報を取得してもよい。 Further, in the present embodiment, the second position information acquisition unit 262 is based on the part determined by the second part determination unit 261 and the length inserted into the body of the second endoscope device 15. The position information of 2 may be acquired.

このようにすれば、音波または電波を用いずに画像から第２の内視鏡装置の位置情報を取得できるため、位置測定のための受信機等を不要にできる。これにより、受信機装着の手間やわずらわしさを軽減したり、受信機等のコストを削減したりできる。 In this way, since the position information of the second endoscope apparatus can be acquired from the image without using sound waves or radio waves, a receiver or the like for position measurement can be dispensed with. As a result, it is possible to reduce the time and trouble of installing the receiver and reduce the cost of the receiver and the like.

９．ソフトウェア
上記の本実施形態では、画像処理装置１３（または画像処理装置２３）を構成する各部をハードウェアで構成することとしたが、これに限定されるものではない。例えば、カプセル型内視鏡などの撮像装置を用いて予め取得された画像に対して、ＣＰＵが各部の処理を行う構成とし、ＣＰＵがプログラムを実行することによってソフトウェアとして実現することとしてもよい。あるいは、各部が行う処理の一部をソフトウェアで構成することとしてもよい。 9. Software In the above-described embodiment, each unit configuring the image processing apparatus 13 (or the image processing apparatus 23) is configured by hardware. However, the present invention is not limited to this. For example, the CPU may be configured to process each unit on an image acquired in advance using an imaging device such as a capsule endoscope, and may be realized as software by the CPU executing a program. Alternatively, a part of processing performed by each unit may be configured by software.

画像処理装置１３の各部が行う処理をソフトウェアとして実現する場合には、ワークステーションやパソコン等の公知のコンピュータシステムを画像処理装置として用いることができる。そして、画像処理装置１３の各部が行う処理を実現するためのプログラム（画像処理プログラム）を予め用意し、この画像処理プログラムをコンピュータシステムのＣＰＵが実行することによって実現できる。 When the processing performed by each unit of the image processing apparatus 13 is realized as software, a known computer system such as a workstation or a personal computer can be used as the image processing apparatus. A program (image processing program) for realizing processing performed by each unit of the image processing apparatus 13 is prepared in advance, and this image processing program is executed by the CPU of the computer system.

図１５は、本変形例におけるコンピュータシステム６００の構成を示すシステム構成図であり、図１５は、このコンピュータシステム６００における本体部６１０の構成を示すブロック図である。図１５に示すように、コンピュータシステム６００は、本体部６１０と、本体部６１０からの指示によって表示画面６２１に画像等の情報を表示するためのディスプレイ６２０と、このコンピュータシステム６００に種々の情報を入力するためのキーボード６３０と、ディスプレイ６２０の表示画面６２１上の任意の位置を指定するためのマウス６４０とを備える。 FIG. 15 is a system configuration diagram showing a configuration of a computer system 600 in the present modification, and FIG. 15 is a block diagram showing a configuration of a main body 610 in the computer system 600. As shown in FIG. 15, the computer system 600 includes a main body 610, a display 620 for displaying information such as an image on a display screen 621 according to instructions from the main body 610, and various information on the computer system 600. A keyboard 630 for inputting and a mouse 640 for designating an arbitrary position on the display screen 621 of the display 620 are provided.

また、このコンピュータシステム６００における本体部６１０は、図１６に示すように、ＣＰＵ６１１と、ＲＡＭ６１２と、ＲＯＭ６１３と、ハードディスクドライブ（ＨＤＤ）６１４と、ＣＤ−ＲＯＭ６６０を受け入れるＣＤ−ＲＯＭドライブ６１５と、ＵＳＢメモリ６７０を着脱可能に接続するＵＳＢポート６１６と、ディスプレイ６２０、キーボード６３０およびマウス６４０を接続するＩ／Ｏインターフェース６１７と、ローカルエリアネットワークまたは広域エリアネットワーク（ＬＡＮ／ＷＡＮ）Ｎ１に接続するためのＬＡＮインターフェース６１８を備える。 Further, as shown in FIG. 16, the main unit 610 in the computer system 600 includes a CPU 611, a RAM 612, a ROM 613, a hard disk drive (HDD) 614, a CD-ROM drive 615 that accepts a CD-ROM 660, and a USB memory. USB port 616 to which 670 is detachably connected, I / O interface 617 to which display 620, keyboard 630 and mouse 640 are connected, and a LAN interface for connection to a local area network or wide area network (LAN / WAN) N1 618.

さらに、このコンピュータシステム６００には、インターネット等の公衆回線Ｎ３に接続するためのモデム６５０が接続されるとともに、ＬＡＮインターフェース６１８およびローカルエリアネットワークまたは広域エリアネットワークＮ１を介して、他のコンピュータシステムであるパソコン（ＰＣ）６８１、サーバ６８２、プリンタ６８３等が接続される。 Further, the computer system 600 is connected to a modem 650 for connecting to a public line N3 such as the Internet, and is another computer system via a LAN interface 618 and a local area network or a wide area network N1. A personal computer (PC) 681, a server 682, a printer 683, and the like are connected.

そして、このコンピュータシステム６００は、所定の記録媒体に記録された画像処理プログラム（例えば図１７のＳ６〜Ｓ９）を参照して、後述する処理手順を実現するための画像処理プログラムを読み出して実行することで画像処理装置を実現する。ここで、所定の記録媒体とは、ＣＤ−ＲＯＭ６６０やＵＳＢメモリ６７０の他、ＭＯディスクやＤＶＤディスク、フレキシブルディスク（ＦＤ）、光磁気ディスク、ＩＣカード等を含む「可搬用の物理媒体」、コンピュータシステム６００の内外に備えられるＨＤＤ６１４やＲＡＭ６１２、ＲＯＭ６１３等の「固定用の物理媒体」、モデム６５０を介して接続される公衆回線Ｎ３や、他のコンピュータシステム（ＰＣ）６８１またはサーバ６８２が接続されるローカルエリアネットワークまたは広域エリアネットワークＮ１等のように、プログラムの送信に際して短期にプログラムを記憶する「通信媒体」等、コンピュータシステム６００によって読み取り可能な画像処理プログラムを記録するあらゆる記録媒体を含む。 The computer system 600 reads and executes an image processing program for realizing a processing procedure described later with reference to an image processing program (for example, S6 to S9 in FIG. 17) recorded on a predetermined recording medium. Thus, an image processing apparatus is realized. Here, the predetermined recording medium is a “portable physical medium” including an MO disk, a DVD disk, a flexible disk (FD), a magneto-optical disk, an IC card, etc. in addition to the CD-ROM 660 and the USB memory 670, a computer A “fixed physical medium” such as HDD 614, RAM 612, and ROM 613 provided inside and outside the system 600, a public line N3 connected via the modem 650, and another computer system (PC) 681 or server 682 are connected. It includes any recording medium that records an image processing program readable by the computer system 600, such as a “communication medium” that stores the program in a short time when transmitting the program, such as a local area network or a wide area network N1.

すなわち、画像処理プログラムは、「可搬用の物理媒体」「固定用の物理媒体」「通信媒体」等の記録媒体にコンピュータ読み取り可能に記録されるものであり、コンピュータシステム６００は、このような記録媒体から画像処理プログラムを読み出して実行することで画像処理装置を実現する。なお、画像処理プログラムは、コンピュータシステム６００によって実行されることに限定されるものではなく、他のコンピュータシステム（ＰＣ）６８１またはサーバ６８２が画像処理プログラムを実行する場合や、これらが協働して画像処理プログラムを実行するような場合にも、本発明を同様に適用することができる。 That is, the image processing program is recorded on a recording medium such as “portable physical medium”, “fixed physical medium”, and “communication medium” in a computer-readable manner. An image processing apparatus is realized by reading and executing an image processing program from a medium. Note that the image processing program is not limited to be executed by the computer system 600, and when the other computer system (PC) 681 or the server 682 executes the image processing program or in cooperation therewith. The present invention can be similarly applied to a case where an image processing program is executed.

各部が行う処理の一部をソフトウェアで構成する場合の一例として、あらかじめ取得された画像に対して、画像処理装置１３の処理をソフトウェアで実現する場合の処理手順を、図１７、図１８のフローチャートを用いて説明する。あらかじめ取得された画像は、例えば、第１画像取得部１０２が出力するベイヤ配列の出力画像を、ＲＡＷファイルとして記録媒体に記録した画像である。 As an example of a case where a part of the processing performed by each unit is configured by software, a processing procedure when the processing of the image processing device 13 is realized by software for an image acquired in advance is a flowchart of FIGS. 17 and 18. Will be described. The image acquired in advance is, for example, an image obtained by recording an output image of the Bayer array output from the first image acquisition unit 102 on a recording medium as a RAW file.

図１７、図１８には、内視鏡システム全体の処理手順を示す。画像処理装置１３は、例えばこの処理手順のうちのＳ６〜Ｓ９を実行する。 17 and 18 show a processing procedure of the entire endoscope system. For example, the image processing apparatus 13 executes S6 to S9 of this processing procedure.

図１７には、カプセル型内視鏡を含む第１の内視鏡システム１００の処理手順を示す。図１７に示すように、この処理が開始されると、撮像部１０１が画像を撮像し（Ｓ１）、第１検出部１０３が第１基準注目領域を検出し（Ｓ２）、第１位置情報取得部１２１が音波の受信により第１位置情報を取得し（Ｓ３）、記憶部１２２が画像や検出情報、第１位置情報を記憶する（Ｓ４）。カプセル型内視鏡による撮像が終了していない場合（Ｓ５Ｎｏ）には、再び撮像を行う（Ｓ１）。カプセル型内視鏡による撮像が終了した場合（Ｓ５Ｙｅｓ）には、画像処理装置１３の取得部１３５が、画像や検出情報、第１位置情報を取得する（Ｓ６）。第２検出部１３１が第２基準注目領域を検出し（Ｓ７）、注目位置情報抽出部１３２が注目位置情報を抽出し（Ｓ８）、記憶装置１４に画像や第１位置情報、注目位置情報を記憶させる（Ｓ９）。 FIG. 17 shows a processing procedure of the first endoscope system 100 including the capsule endoscope. As shown in FIG. 17, when this process is started, the imaging unit 101 captures an image (S1), the first detection unit 103 detects a first reference attention area (S2), and obtains first position information. The unit 121 acquires first position information by receiving sound waves (S3), and the storage unit 122 stores images, detection information, and first position information (S4). If imaging with the capsule endoscope has not been completed (No in S5), imaging is performed again (S1). When the imaging by the capsule endoscope is completed (S5 Yes), the acquisition unit 135 of the image processing device 13 acquires an image, detection information, and first position information (S6). The second detection unit 131 detects the second reference attention region (S7), the attention position information extraction unit 132 extracts the attention position information (S8), and the storage device 14 stores the image, the first position information, and the attention position information. Store (S9).

図１８には、スコープ型内視鏡を含む第２の内視鏡システム２００の処理手順を示す。図１８に示すように、この処理が開始されると、取得部１８６がカプセル型内視鏡の撮像画像や第１位置情報、注目位置情報を記憶装置１４から取得し（Ｓ２１）、マップ生成部１８１が体内マップを生成する（Ｓ２２）。そして、スコープ型内視鏡が画像を撮像し（Ｓ２３）、第２位置取得部１７１が第２位置情報を取得し、対応付け部１８２が体内マップと第２位置情報を対応付け（Ｓ２５）、表示制御部１８３が画像と体内マップを出力装置１９に表示する（Ｓ２６）。スコープ型内視鏡による処置が終了していない場合には、再び撮像を行い（Ｓ２３）、スコープ型内視鏡による処置が終了した場合には、処理を終了する（Ｓ２７Ｙｅｓ）。 FIG. 18 shows a processing procedure of the second endoscope system 200 including the scope type endoscope. As shown in FIG. 18, when this process is started, the acquisition unit 186 acquires the captured image of the capsule endoscope, the first position information, and the attention position information from the storage device 14 (S21), and the map generation unit 181 generates an in-vivo map (S22). Then, the scope endoscope captures an image (S23), the second position acquisition unit 171 acquires the second position information, the association unit 182 associates the in-vivo map with the second position information (S25), The display control unit 183 displays the image and the in-vivo map on the output device 19 (S26). If the treatment by the scope endoscope has not been completed, the imaging is performed again (S23), and if the treatment by the scope endoscope has been completed, the process is terminated (S27 Yes).

以上の実施形態では、第１の内視鏡装置１０によって画像が撮像された際の第１の内視鏡装置１０の体内での位置を示す第１の位置情報を取得する取得部１３５と、第２の検出基準に適合した領域である第２基準注目領域を検出する第２検出部１３１と、第１の位置情報の中から注目位置情報を抽出する注目位置情報抽出部１３２として、コンピュータを機能させる。そして、第１の内視鏡装置１０の第１検出部１０３は、第１の検出基準を用いて、第１の内視鏡装置１０により撮像された画像の中から、注目すべき領域の候補である第１基準注目領域を含む画像を検出する。第２検出部１３１は、第１の検出基準とは異なる第２の検出基準を用いて、第１の内視鏡装置１０により撮像された画像の中から、第２基準注目領域を含む画像を検出する。注目位置情報抽出部１３２は、第１基準注目領域及び第２基準注目領域を含む画像に対応する第１の位置情報を注目位置情報として抽出する。 In the above embodiment, the acquisition unit 135 that acquires first position information indicating the position of the first endoscope device 10 in the body when an image is captured by the first endoscope device 10; The computer includes a second detection unit 131 that detects a second reference attention region that is a region that conforms to the second detection criterion, and an attention position information extraction unit 132 that extracts attention position information from the first position information. Make it work. Then, the first detection unit 103 of the first endoscope apparatus 10 uses the first detection criterion, and selects a region candidate to be noticed from the images captured by the first endoscope apparatus 10. An image including the first reference attention area is detected. The second detection unit 131 uses the second detection criterion different from the first detection criterion to select an image including the second reference attention area from the images captured by the first endoscope device 10. To detect. The attention position information extraction unit 132 extracts first position information corresponding to an image including the first reference attention area and the second reference attention area as attention position information.

これにより、例えばカプセル型内視鏡等により、まず画像データを蓄積し、その後、蓄積された画像データに対してＰＣ等のコンピュータシステムでソフトウェア的に処理を行うことが可能になる。 Thus, for example, by using a capsule endoscope or the like, first, image data can be accumulated, and then the accumulated image data can be processed in software by a computer system such as a PC.

また本実施形態は、本実施形態の各部（取得部、第２検出部、注目位置情報抽出部等）を実現するプログラムコードが記録されたコンピュータプログラムプロダクトにも適用できる。 The present embodiment can also be applied to a computer program product in which a program code for realizing each unit (acquisition unit, second detection unit, attention position information extraction unit, etc.) of the present embodiment is recorded.

ここで、プログラムコードとは、第１の内視鏡装置１０の第１検出部１０３が、第１の検出基準を用いて、第１の内視鏡装置１０により撮像された画像の中から、注目すべき領域の候補である第１基準注目領域を含む画像を検出する場合に、第１の内視鏡装置１０によって画像が撮像された際の第１の内視鏡装置１０の体内での位置を示す第１の位置情報を取得する取得部１３５と、第１の検出基準とは異なる第２の検出基準を用いて、第１の内視鏡装置１０により撮像された画像の中から、第２の検出基準に適合した領域である第２基準注目領域を含む画像を検出する第２検出部１３１と、第１基準注目領域及び第２基準注目領域を含む画像に対応する第１の位置情報を注目位置情報として抽出する注目位置情報抽出部１３２と、を実現する。 Here, the program code means that the first detection unit 103 of the first endoscope apparatus 10 uses the first detection criterion and is selected from the images captured by the first endoscope apparatus 10. When detecting an image including a first reference region of interest, which is a candidate region of interest, the first endoscope device 10 in the body when the image is captured by the first endoscope device 10 From the image captured by the first endoscope apparatus 10 using the acquisition unit 135 that acquires the first position information indicating the position and the second detection reference different from the first detection reference, A second detection unit 131 that detects an image including a second reference attention area that is an area that conforms to the second detection criterion, and a first position corresponding to the image including the first reference attention area and the second reference attention area And an attention position information extraction unit 132 that extracts information as attention position information. .

またコンピュータプログラムプロダクトは、例えば、プログラムコードが記録された情報記憶媒体（ＤＶＤ等の光ディスク媒体、ハードディスク媒体、メモリ媒体等）、プログラムコードが記録されたコンピュータ、プログラムコードが記録されたインターネットシステム（例えば、サーバとクライアント端末を含むシステム）など、プログラムコードが組み込まれた情報記憶媒体、装置、機器或いはシステム等である。この場合に、本実施形態の各構成要素や各処理プロセスは各モジュールにより実装され、これらの実装されたモジュールにより構成されるプログラムコードは、コンピュータプログラムプロダクトに記録される。 The computer program product includes, for example, an information storage medium (an optical disk medium such as a DVD, a hard disk medium, a memory medium, etc.) on which a program code is recorded, a computer on which the program code is recorded, and an Internet system (for example, a program code is recorded). , A system including a server and a client terminal), etc., an information storage medium, apparatus, device or system in which a program code is incorporated. In this case, each component and each processing process of this embodiment are mounted by each module, and the program code constituted by these mounted modules is recorded in the computer program product.

以上、本発明を適用した実施形態およびその変形例について説明したが、本発明は、各実施形態やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施形態や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施形態や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。 As mentioned above, although embodiment and its modification which applied this invention were described, this invention is not limited to each embodiment and its modification as it is, and in the range which does not deviate from the summary of invention in an implementation stage. The component can be modified and embodied. Further, various inventions can be formed by appropriately combining a plurality of constituent elements disclosed in the above-described embodiments and modifications. For example, some constituent elements may be deleted from all the constituent elements described in each embodiment or modification. Furthermore, you may combine suitably the component demonstrated in different embodiment and modification. Thus, various modifications and applications are possible without departing from the spirit of the invention.

また、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語（第１の画像、第２の画像等）と共に記載された用語（通常光画像、特殊光画像等）は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。 In the specification or drawings, terms (normal light image, special light image, etc.) described together with different terms (first image, second image, etc.) having a broader meaning or the same meaning at least once are described in the specification or drawings. The different terms can be used anywhere in the drawing.

１０，２０カプセル型内視鏡、１１，２１受信機、１２，２２受信装置、
１３，２３画像処理装置、１４，２４記憶装置、１５，２５スコープ型内視鏡、
１６受信機、１７受信装置、１８，２６制御装置、１９，２７出力装置、
１００第１の内視鏡システム、１０１，２０１撮像部、
１０２，２０２第１画像取得部、１０３，２０３第１検出部、
１０４，２０４発信機、１０５，２０５制御部、
１２１，２３２第１位置情報取得部、１２２，２２１記憶部、
１２３，２２２制御部、１２４，２２３Ｉ／Ｆ部、
１３１，２３３第２検出部、１３２，２３４注目位置情報抽出部、
１３３，２３５制御部、１３４，２３６Ｉ／Ｆ部、１３５，２３７取得部、
１５１，２５１撮像部、１５２，２５２第２画像取得部、
１５３発信機、１５４，２５３制御部、１５５，２５４Ｉ／Ｆ部、
１７１，２６２第２位置情報取得部、１７２制御部、１７３Ｉ／Ｆ部、
１８１，２６３マップ生成部、１８２，２６４対応付け部、
１８３，２６５表示制御部、１８４，２６６制御部、
１８５，２６７Ｉ／Ｆ部、１８６，２６８取得部、
２３１第１部位判別部、２６１第２部位判別部、
３００カプセル型内視鏡、３１０光源、３２０集光レンズ、３３０照明レンズ、
３４０，３６０撮像素子、３５０結像レンズ、３７０特殊光フィルタ、
３８０ハーフミラー、３９０集積回路装置、６００コンピュータシステム、
６１０本体部、６１１ＣＰＵ、６１２ＲＡＭ、６１３ＲＯＭ、６１４ＨＤＤ、
６１５ＣＤ−ＲＯＭドライブ、６１６ＵＳＢポート、
６１７Ｉ／Ｏインターフェース、６１８ＬＡＮインターフェース、
６２０ディスプレイ、６２１表示画面、６３０キーボード、６４０マウス、
６５０モデム、６６０ＣＤ−ＲＯＭ、６７０ＵＳＢメモリ、６８１ＰＣ、
６８２サーバ、６８３プリンタ 10,20 capsule endoscope, 11,21 receiver, 12,22 receiver,
13, 23 Image processing device, 14, 24 Storage device, 15, 25 Scope type endoscope,
16 receivers, 17 receiving devices, 18, 26 control devices, 19, 27 output devices,
100 first endoscope system, 101, 201 imaging unit,
102, 202 first image acquisition unit, 103, 203 first detection unit,
104,204 transmitter, 105,205 control unit,
121, 232 First position information acquisition unit, 122, 221 storage unit,
123, 222 control unit, 124, 223 I / F unit,
131, 233 second detection unit, 132, 234 attention position information extraction unit,
133, 235 control unit, 134, 236 I / F unit, 135, 237 acquisition unit,
151,251 imaging unit, 152,252 second image acquisition unit,
153 transmitter, 154,253 control unit, 155,254 I / F unit,
171, 262 second position information acquisition unit, 172 control unit, 173 I / F unit,
181,263 map generation unit, 182,264 association unit,
183, 265 display control unit, 184, 266 control unit,
185, 267 I / F section, 186, 268 acquisition section,
231 1st part discriminating part, 261 2nd part discriminating part,
300 capsule endoscope, 310 light source, 320 condenser lens, 330 illumination lens,
340, 360 Image sensor, 350 imaging lens, 370 special light filter,
380 half mirror, 390 integrated circuit device, 600 computer system,
610 main unit, 611 CPU, 612 RAM, 613 ROM, 614 HDD,
615 CD-ROM drive, 616 USB port,
617 I / O interface, 618 LAN interface,
620 display, 621 display screen, 630 keyboard, 640 mouse,
650 modem, 660 CD-ROM, 670 USB memory, 681 PC,
682 server, 683 printer

Claims

第１の内視鏡装置によって画像が撮像された際の前記第１の内視鏡装置の体内での位置を示す第１の位置情報を取得する取得部と、
第２の検出基準に適合した領域である第２基準注目領域を検出する第２検出部と、
前記第１の位置情報の中から注目位置情報を抽出する注目位置情報抽出部と、
を含み、
前記第１の内視鏡装置の第１検出部は、
第１の検出基準を用いて、前記第１の内視鏡装置により撮像された画像の中から、注目すべき領域の候補である第１基準注目領域を含む画像を検出し、
前記第２検出部は、
前記第１の検出基準とは異なる前記第２の検出基準を用いて、前記第１の内視鏡装置により撮像された画像の中から、前記第２基準注目領域を含む画像を検出し、
前記注目位置情報抽出部は、
前記第１基準注目領域及び前記第２基準注目領域を含む画像に対応する前記第１の位置情報を、前記注目位置情報として抽出することを特徴とする画像処理装置。 An acquisition unit that acquires first position information indicating a position in the body of the first endoscope device when an image is captured by the first endoscope device;
A second detector that detects a second reference region of interest that is a region that conforms to the second detection criterion;
An attention position information extraction unit for extracting attention position information from the first position information;
Including
The first detection unit of the first endoscope apparatus includes:
An image including a first reference region of interest that is a candidate for a region of interest is detected from among images captured by the first endoscope device using a first detection criterion,
The second detector is
Using the second detection criterion different from the first detection criterion, detecting an image including the second reference region of interest from among images captured by the first endoscope device;
The attention position information extraction unit includes:
An image processing apparatus, wherein the first position information corresponding to an image including the first reference attention area and the second reference attention area is extracted as the attention position information.

請求項１において、
前記第２検出部は、
前記第１基準注目領域を含む画像の中から、前記第２基準注目領域を含む画像を検出することを特徴とする画像処理装置。 In claim 1,
The second detector is
An image processing apparatus that detects an image including the second reference attention area from an image including the first reference attention area.

請求項１において、
前記第１の内視鏡装置は、
白色光の波長帯域の情報を含む通常光画像と、前記通常光画像に対応する、特定の波長帯域の情報を含む特殊光画像とを取得し、
前記第１の内視鏡装置の前記第１検出部は、
前記第１の検出基準を前記特殊光画像に適用し、前記第１の検出基準に適合した前記特殊光画像に対応する前記通常光画像を、前記第１基準注目領域を含む画像として検出し、
前記取得部は、
前記第１検出部により検出された前記通常光画像が前記第１基準注目領域を含む画像であることを示す検出情報を取得することを特徴とする画像処理装置。 In claim 1,
The first endoscope apparatus is:
Obtaining a normal light image including information on the wavelength band of white light and a special light image including information on a specific wavelength band corresponding to the normal light image;
The first detection unit of the first endoscope apparatus is
Applying the first detection criterion to the special light image, detecting the normal light image corresponding to the special light image conforming to the first detection criterion as an image including the first reference region of interest;
The acquisition unit
An image processing apparatus that acquires detection information indicating that the normal light image detected by the first detection unit is an image including the first reference region of interest.

請求項１において、
前記第１の内視鏡装置は、
白色光の波長帯域の情報を含む通常光画像と、前記通常光画像に対応する、特定の波長帯域の情報を含む特殊光画像とを取得し、
前記第２検出部は、
前記第２の検出基準を前記特殊光画像に適用し、前記第２の検出基準に適合した前記特殊光画像に対応する前記通常光画像を、前記第２基準注目領域を含む画像として検出することを特徴とする画像処理装置。 In claim 1,
The first endoscope apparatus is:
Obtaining a normal light image including information on the wavelength band of white light and a special light image including information on a specific wavelength band corresponding to the normal light image;
The second detector is
Applying the second detection criterion to the special light image and detecting the normal light image corresponding to the special light image conforming to the second detection criterion as an image including the second reference region of interest. An image processing apparatus.

請求項１において、
前記第２基準注目領域は、病変を表す領域であることを特徴とする画像処理装置。 In claim 1,
2. The image processing apparatus according to claim 1, wherein the second reference attention area is an area representing a lesion.

請求項１において、
前記取得部は、
前記第１の内視鏡装置に設けられた発信機からの電波または音波が、前記第１の内視鏡装置の外部の測位点に設けられた受信機で受信されることで取得された前記第１の位置情報を取得することを特徴とする画像処理装置。 In claim 1,
The acquisition unit
The radio waves or sound waves from the transmitter provided in the first endoscope apparatus are acquired by being received by a receiver provided at a positioning point outside the first endoscope apparatus. An image processing apparatus characterized by acquiring first position information.

請求項６において、
前記取得部は、
前記第１の内視鏡装置に設けられた発信機からの電波または音波が、前記第１の内視鏡装置の外部の測位点に設けられた３つ以上の受信機で受信され、前記発信機と各受信機との距離が計算されることで取得された前記第１の位置情報を取得することを特徴とする画像処理装置。 In claim 6,
The acquisition unit
Radio waves or sound waves from a transmitter provided in the first endoscope apparatus are received by three or more receivers provided at positioning points outside the first endoscope apparatus, and the transmission An image processing apparatus characterized in that the first position information acquired by calculating the distance between the receiver and each receiver is acquired.

請求項６において、
前記第１の内視鏡装置の前記第１検出部は、
前記第１の内視鏡装置による一連の画像の撮像期間中に前記第１基準注目領域の検出処理を行い、
前記第１の内視鏡装置の前記発信機は、
前記第１検出部によって前記第１基準注目領域が検出された場合、前記第１基準注目領域が検出されている期間内において、前記電波または前記音波の強度を上昇させ、
前記取得部は、
強度が上昇された前記電波または前記音波が、前記受信機で受信されることで取得された前記第１の位置情報を取得することを特徴とする画像処理装置。 In claim 6,
The first detection unit of the first endoscope apparatus is
Performing a detection process of the first reference region of interest during a series of image capturing periods by the first endoscope device;
The transmitter of the first endoscope apparatus is:
When the first reference region of interest is detected by the first detection unit, the intensity of the radio wave or the sound wave is increased within a period in which the first reference region of interest is detected,
The acquisition unit
The image processing apparatus, wherein the first position information acquired by receiving the radio wave or the sound wave having an increased intensity is received by the receiver.

請求項１において、
前記第１の内視鏡装置の前記第１検出部は、
前記第１の内視鏡装置による一連の画像の撮像期間中に前記第１基準注目領域の検出処理を行い、
前記第２検出部は、
前記第１の内視鏡装置による一連の画像の撮像期間が経過した後に、前記第２基準注目領域の検出処理を行うことを特徴とする画像処理装置。 In claim 1,
The first detection unit of the first endoscope apparatus is
Performing a detection process of the first reference region of interest during a series of image capturing periods by the first endoscope device;
The second detector is
An image processing apparatus, wherein after the imaging period of a series of images by the first endoscope apparatus elapses, the second reference attention area is detected.

請求項１において、
前記第１の内視鏡装置の前記第１検出部は、
前記第１の内視鏡装置による一連の画像の撮像期間中に前記第１基準注目領域の検出処理を行い、
前記第１の内視鏡装置は、
前記第１検出部によって前記第１基準注目領域が検出された場合、前記第１基準注目領域が検出されている期間内において、画像の撮像間隔を短縮する制御を行い、
前記取得部は、
前記撮像間隔が短縮されて撮像された画像を取得することを特徴とする画像処理装置。 In claim 1,
The first detection unit of the first endoscope apparatus is
Performing a detection process of the first reference region of interest during a series of image capturing periods by the first endoscope device;
The first endoscope apparatus is:
When the first reference attention area is detected by the first detection unit, control is performed to shorten the image capturing interval within a period in which the first reference attention area is detected,
The acquisition unit
An image processing apparatus that acquires an image captured at a reduced imaging interval.

請求項１において、
前記第１の検出基準は、画像の色相が所定範囲内である場合に満たされる基準であり、前記第２の検出基準は、画像が所定の形状と一致する場合に満たされる基準であることを特徴とする画像処理装置。 In claim 1,
The first detection criterion is a criterion that is satisfied when the hue of the image is within a predetermined range, and the second detection criterion is a criterion that is satisfied when the image matches a predetermined shape. A featured image processing apparatus.

請求項１において、
前記第１の内視鏡装置は、
白色光の波長帯域の情報を含む通常光画像と、前記通常光画像に対応する、特定の波長帯域の情報を含む特殊光画像とを取得し、
前記第１の内視鏡装置の前記第１検出部は、
前記特殊光画像に対して前記第１の検出基準を適用し、
前記第２検出部は、
前記白色光画像に対して前記第２の検出基準を適用することを特徴とする画像処理装置。 In claim 1,
The first endoscope apparatus is:
Obtaining a normal light image including information on the wavelength band of white light and a special light image including information on a specific wavelength band corresponding to the normal light image;
The first detection unit of the first endoscope apparatus is
Applying the first detection criterion to the special light image;
The second detector is
An image processing apparatus, wherein the second detection criterion is applied to the white light image.

請求項１において、
前記第１の検出基準は、前記第１基準注目領域が注目すべき領域であるかの信頼度を判定する判定基準を含まず、
前記第２の検出基準は、前記第２基準注目領域が注目すべき領域であるかの信頼度を判定する判定基準を含むことを特徴とする画像処理装置。 In claim 1,
The first detection criterion does not include a determination criterion for determining a reliability of whether the first reference attention region is a region to be noticed,
The image processing apparatus according to claim 2, wherein the second detection criterion includes a determination criterion for determining reliability of whether the second reference attention region is a region to be noted.

第１の内視鏡装置が位置する部位を判別する第１部位判別部と、
前記第１の内視鏡装置の体内での位置を示す第１の位置情報を取得する第１位置情報取得部と、
第２の検出基準に適合した領域である第２基準注目領域を検出する第２検出部と、
前記第１の位置情報の中から注目位置情報を抽出する注目位置情報抽出部と、
を含み、
前記第１部位判別部は、
前記第１の内視鏡装置により撮像された画像の特徴量の変化に基づいて、前記第１の内視鏡装置が位置する部位を判別し、
前記第１位置情報取得部は、
前記第１部位判別部によって判別された結果を、前記第１の内視鏡装置によって画像が撮像された際の前記第１の位置情報として取得し、
前記第１の内視鏡装置の第１検出部は、
第１の検出基準を用いて、前記第１の内視鏡装置により撮像された画像の中から、注目すべき領域の候補である第１基準注目領域を含む画像を検出し、
前記第２検出部は、
前記第１の検出基準とは異なる前記第２の検出基準を用いて、前記第１の内視鏡装置により撮像された画像の中から、前記第２基準注目領域を含む画像を検出し、
前記注目位置情報抽出部は、
前記第１基準注目領域及び前記第２基準注目領域を含む画像に対応する前記第１の位置情報を前記注目位置情報として抽出することを特徴とする画像処理装置。 A first part discriminating unit for discriminating a part where the first endoscope device is located;
A first position information acquisition unit for acquiring first position information indicating a position in the body of the first endoscope device;
A second detector that detects a second reference region of interest that is a region that conforms to the second detection criterion;
An attention position information extraction unit for extracting attention position information from the first position information;
Including
The first part determination unit is
Based on the change in the feature amount of the image captured by the first endoscope device, the part where the first endoscope device is located is determined,
The first position information acquisition unit
The result determined by the first part determination unit is acquired as the first position information when an image is captured by the first endoscope device,
The first detection unit of the first endoscope apparatus includes:
An image including a first reference region of interest that is a candidate for a region of interest is detected from among images captured by the first endoscope device using a first detection criterion,
The second detector is
Using the second detection criterion different from the first detection criterion, detecting an image including the second reference region of interest from among images captured by the first endoscope device;
The attention position information extraction unit includes:
An image processing apparatus, wherein the first position information corresponding to an image including the first reference attention area and the second reference attention area is extracted as the attention position information.

第１の内視鏡装置によって画像が撮像された際の前記第１の内視鏡装置の体内での位置を示す第１の位置情報を取得する第１位置情報取得部と、
第１の検出基準を用いて、前記第１の内視鏡装置によって撮像された画像の中から、注目すべき領域の候補である第１基準注目領域を検出する第１検出部と、
前記第１の検出基準とは異なる第２の検出基準を用いて、前記第１の内視鏡装置によって撮像された画像の中から、前記第２の検出基準に適合した領域である第２基準注目領域を検出する第２検出部と、
前記第１基準注目領域及び前記第２基準注目領域を含む画像に対応する前記第１の位置情報を注目位置情報として抽出する注目位置情報抽出部と、
を含むことを特徴とする内視鏡システム。 A first position information acquisition unit that acquires first position information indicating a position in the body of the first endoscope device when an image is captured by the first endoscope device;
A first detection unit that detects a first reference region of interest that is a candidate region of interest from an image captured by the first endoscope device using a first detection criterion;
A second reference that is a region that conforms to the second detection criterion from among images captured by the first endoscope device using a second detection criterion that is different from the first detection criterion. A second detector for detecting a region of interest;
An attention position information extraction unit that extracts the first position information corresponding to an image including the first reference attention area and the second reference attention area as attention position information;
An endoscopic system comprising:

請求項１５において、
前記第１の内視鏡装置は、
白色光の波長帯域の情報を含む通常光画像と、前記通常光画像に対応する、特定の波長帯域の情報を含む特殊光画像とを取得し、
前記第１検出部は、
前記第１の検出基準を前記特殊光画像に適用し、前記第１の検出基準に適合した前記特殊光画像に対応する前記通常光画像を、前記第１基準注目領域を含む画像として検出することを特徴とする内視鏡システム。 In claim 15,
The first endoscope apparatus is:
Obtaining a normal light image including information on the wavelength band of white light and a special light image including information on a specific wavelength band corresponding to the normal light image;
The first detection unit includes:
Applying the first detection criterion to the special light image, and detecting the normal light image corresponding to the special light image conforming to the first detection criterion as an image including the first reference region of interest. Endoscope system characterized by.

請求項１５において、
前記第１の内視鏡装置に設けられた発信機から送信される前記電波または前記音波の強度を制御する制御部を含み、
前記第１位置情報取得部は、
前記発信機からの電波または音波が、前記第１の内視鏡装置の外部の測位点に設けられた受信機で受信されることで前記第１の位置情報を取得し、
前記第１検出部は、
前記第１の内視鏡装置による一連の画像の撮像期間中に前記第１基準注目領域の検出処理を行い、
前記制御部は、
前記第１検出部によって前記第１基準注目領域が検出された場合、前記第１基準注目領域が検出されている期間内において、前記電波または前記音波の強度を上昇させる制御を行うことを特徴とする内視鏡システム。 In claim 15,
A control unit for controlling the intensity of the radio wave or the sound wave transmitted from a transmitter provided in the first endoscope device;
The first position information acquisition unit
Radio waves or sound waves from the transmitter are received by a receiver provided at a positioning point outside the first endoscope device to obtain the first position information,
The first detection unit includes:
Performing a detection process of the first reference region of interest during a series of image capturing periods by the first endoscope device;
The controller is
When the first reference attention area is detected by the first detection unit, control is performed to increase the intensity of the radio wave or the sound wave within a period in which the first reference attention area is detected. Endoscope system.

請求項１５において、
前記第１の内視鏡装置は、
白色光の波長帯域の情報を含む通常光画像と、前記通常光画像に対応する、特定の波長帯域の情報を含む特殊光画像とを取得することを特徴とする内視鏡システム。 In claim 15,
The first endoscope apparatus is:
An endoscope system, wherein a normal light image including information on a wavelength band of white light and a special light image including information on a specific wavelength band corresponding to the normal light image are acquired.

請求項１８において、
前記特定の波長帯域は、
前記白色光の波長帯域よりも狭い帯域であることを特徴とする内視鏡システム。 In claim 18,
The specific wavelength band is
An endoscope system having a narrower band than the wavelength band of the white light.

請求項１９において、
前記通常光画像および前記特殊光画像は生体内を写した生体内画像であり、
前記生体内画像に含まれる前記特定の波長帯域は、血液中のヘモグロビンに吸収される波長の波長帯域であることを特徴とする内視鏡システム。 In claim 19,
The normal light image and the special light image are in-vivo images obtained by copying the inside of the living body,
The endoscope system according to claim 1, wherein the specific wavelength band included in the in-vivo image is a wavelength band of a wavelength absorbed by hemoglobin in blood.

請求項２０において、
前記特定の波長帯域は、３９０ナノメータ〜４４５ナノメータ、または５３０ナノメータ〜５５０ナノメータであることを特徴とする内視鏡システム。 In claim 20,
The specific wavelength band is 390 nanometers to 445 nanometers, or 530 nanometers to 550 nanometers.

請求項１８において、
前記通常光画像および前記特殊光画像は生体内を写した生体内画像であり、
前記生体内画像に含まれる前記特定の波長帯域は、蛍光物質が発する蛍光の波長帯域であることを特徴とする内視鏡システム。 In claim 18,
The normal light image and the special light image are in-vivo images obtained by copying the inside of the living body,
The endoscope system according to claim 1, wherein the specific wavelength band included in the in-vivo image is a wavelength band of fluorescence emitted from a fluorescent substance.

請求項２２において、
前記特定の波長帯域は、４９０ナノメータ〜６２５ナノメータの波長帯域であることを特徴とする内視鏡システム。 In claim 22,
The endoscope system characterized in that the specific wavelength band is a wavelength band of 490 nm to 625 nm.

請求項１８において、
前記通常光画像および前記特殊光画像は生体内を写した生体内画像であり、
前記生体内画像に含まれる前記特定の波長帯域は、赤外光の波長帯域であることを特徴とする内視鏡システム。 In claim 18,
The normal light image and the special light image are in-vivo images obtained by copying the inside of the living body,
The endoscope system, wherein the specific wavelength band included in the in-vivo image is a wavelength band of infrared light.

請求項２４において、
前記特定の波長帯域は、７９０ナノメータ〜８２０ナノメータ、または９０５ナノメータ〜９７０ナノメータの波長帯域であることを特徴とする内視鏡システム。 In claim 24,
The endoscope system characterized in that the specific wavelength band is a wavelength band of 790 nanometers to 820 nanometers, or 905 nanometers to 970 nanometers.

請求項１８において、
取得された前記白色光画像に基づいて、前記特殊光画像を生成する特殊光画像取得部を含むことを特徴とする内視鏡システム。 In claim 18,
An endoscope system comprising: a special light image acquisition unit that generates the special light image based on the acquired white light image.

請求項２６において、
前記特殊光画像取得部は、
取得された前記白色光画像から、白色光の波長帯域における信号を抽出する信号抽出部を含み、
前記特殊光画像取得部は、
抽出された前記白色光の波長帯域における信号に基づいて、前記特定の波長帯域における信号を含む前記特殊光画像を生成することを特徴とする内視鏡システム。 In claim 26,
The special light image acquisition unit
A signal extraction unit that extracts a signal in the wavelength band of white light from the acquired white light image;
The special light image acquisition unit
An endoscope system, wherein the special light image including the signal in the specific wavelength band is generated based on the extracted signal in the wavelength band of the white light.

請求項２７において、
前記特殊光画像取得部は、
前記白色光の波長帯域における信号から、前記特定の波長帯域における信号を算出するためのマトリクスデータを設定するマトリクスデータ設定部を含み、
前記特殊光画像取得部は、
設定された前記マトリクスデータを用いて、前記白色光の波長帯域における信号から前記特定の波長帯域における信号を算出して、前記特殊光画像を生成することを特徴とする内視鏡システム。 In claim 27,
The special light image acquisition unit
A matrix data setting unit for setting matrix data for calculating a signal in the specific wavelength band from a signal in the wavelength band of the white light;
The special light image acquisition unit
An endoscope system, wherein the special light image is generated by calculating a signal in the specific wavelength band from a signal in the wavelength band of the white light using the set matrix data.

第１の内視鏡装置によって画像が撮像された際の前記第１の内視鏡装置の体内での位置を示す第１の位置情報を取得する第１位置情報取得部と、
第１の検出基準を用いて、前記第１の内視鏡装置により撮像された画像の中から、注目すべき領域の候補である第１基準注目領域を含む画像を検出する第１検出部と、
前記第１の検出基準とは異なる第２の検出基準を用いて、前記第１の内視鏡装置により撮像された画像の中から、前記第２の検出基準に適合した領域である第２基準注目領域を含む画像を検出する第２検出部と、
前記第１基準注目領域及び前記第２基準注目領域を含む画像に対応する前記第１の位置情報を注目位置情報として抽出する注目位置情報抽出部と、
第２の内視鏡装置の体内での位置を示す第２の位置情報を取得する第２位置情報取得部と、
前記第１位置情報取得部により取得された前記第１の位置情報と、前記第２位置情報取得部により取得された前記第２の位置情報とを対応付ける対応付け部と、
前記対応付け部による対応付けの結果に基づく情報を表示部に表示する制御を行う表示制御部と、
を含むことを特徴とする内視鏡システム。 A first position information acquisition unit that acquires first position information indicating a position in the body of the first endoscope device when an image is captured by the first endoscope device;
A first detector for detecting an image including a first reference region of interest, which is a candidate region of interest, from among images captured by the first endoscope device using a first detection criterion; ,
A second reference that is a region that conforms to the second detection criterion from among images captured by the first endoscope device using a second detection criterion that is different from the first detection criterion. A second detection unit for detecting an image including a region of interest;
An attention position information extraction unit that extracts the first position information corresponding to an image including the first reference attention area and the second reference attention area as attention position information;
A second position information acquisition unit that acquires second position information indicating a position of the second endoscope apparatus in the body;
An associating unit that associates the first position information acquired by the first position information acquiring unit with the second position information acquired by the second position information acquiring unit;
A display control unit that performs control to display information on a display unit based on a result of association by the association unit;
An endoscopic system comprising:

請求項２９において、
前記第１の内視鏡装置は、カプセル型内視鏡であり、前記第２の内視鏡装置は、スコープ型内視鏡であることを特徴とする内視鏡システム。 In claim 29,
The endoscope system, wherein the first endoscope apparatus is a capsule endoscope, and the second endoscope apparatus is a scope endoscope.

請求項２９において、
体内の空間の全体または一部を表現した体内マップを生成するマップ生成部を含み、
前記対応付け部は、
前記生成された体内マップ上において、少なくとも前記注目位置情報と前記第２の位置情報とを対応付けることを特徴とする内視鏡システム。 In claim 29,
Including a map generator that generates an in-vivo map representing all or part of the body space,
The association unit
An endoscope system, wherein at least the attention position information and the second position information are associated with each other on the generated in-vivo map.

請求項３１において、
前記表示制御部は、
少なくとも前記注目位置情報と前記第２の位置情報とが対応付けられた前記体内マップと、前記第２の内視鏡装置により撮像された画像とを前記表示部に表示する制御を行うことを特徴とする内視鏡システム。 In claim 31,
The display control unit
Control is performed so that at least the in-vivo map in which the attention position information and the second position information are associated with each other and an image captured by the second endoscope apparatus are displayed on the display unit. Endoscope system.

請求項３１において、
前記マップ生成部は、
前記第１の位置情報が示す体内での位置順に、前記第１の内視鏡装置により撮像された画像を並べることで前記体内マップを生成することを特徴とする内視鏡システム。 In claim 31,
The map generation unit
An endoscope system, wherein the in-vivo map is generated by arranging images captured by the first endoscope device in the order of positions in the body indicated by the first position information.

請求項３１において、
前記注目位置情報抽出部は、
複数の注目位置情報を抽出し、
前記表示制御部は、
前記複数の注目位置情報が示す複数の位置のうち、前記体内マップ上の前記第２の位置情報が示す位置に対して距離的に最も近傍の位置への方向を示す方向画像を、前記体内マップ上に表示する制御を行うことを特徴とする内視鏡システム。 In claim 31,
The attention position information extraction unit includes:
Extract multiple attention position information,
The display control unit
Of the plurality of positions indicated by the plurality of position-of-interest information, a direction image indicating a direction to a position closest to the position indicated by the second position information on the in-vivo map is represented by the in-vivo map. An endoscope system characterized by performing control to display on top.

請求項２９において、
前記表示制御部は、
前記第２の位置情報の示す位置が、前記注目位置情報の示す位置に接近した場合、その接近したことを示す情報を前記表示部に表示する制御を行うことを特徴とする内視鏡システム。 In claim 29,
The display control unit
An endoscope system, wherein when the position indicated by the second position information approaches the position indicated by the position-of-interest information, control is performed to display information indicating the approach on the display unit.

請求項３５において、
前記表示制御部は、
前記接近したことを示す情報として、ユーザに注意を促す情報を前記表示部に表示する制御を行うことを特徴とする内視鏡システム。 In claim 35,
The display control unit
An endoscope system characterized by performing control to display information for prompting a user's attention on the display unit as information indicating the approach.

請求項３５において、
前記第２の内視鏡装置の撮像により、白色光の波長帯域の情報を含む通常光画像と、前記通常光画像に対応する、特定の波長帯域の情報を含む特殊光画像とを取得する第２画像取得部を含み、
前記表示制御部は、
前記第２の位置情報の示す位置が、前記注目位置情報の示す位置に接近した場合、少なくとも前記特殊光画像を前記表示部に表示する制御を行うことを特徴とする内視鏡システム。 In claim 35,
A normal light image including information on a wavelength band of white light and a special light image including information on a specific wavelength band corresponding to the normal light image are acquired by imaging of the second endoscope apparatus. Including two image acquisition units,
The display control unit
An endoscope system, wherein when the position indicated by the second position information approaches the position indicated by the target position information, at least the special light image is controlled to be displayed on the display unit.

請求項２９において、
前記第２位置情報取得部は、
前記第２の内視鏡装置に設けられた発信機からの電波または音波を、前記第２の内視鏡装置の外部の測位点に設けられた受信機で受信することで、前記第２の位置情報を取得することを特徴とする内視鏡システム。 In claim 29,
The second position information acquisition unit
By receiving radio waves or sound waves from a transmitter provided in the second endoscope apparatus with a receiver provided at a positioning point outside the second endoscope apparatus, the second endoscope apparatus An endoscope system characterized by acquiring position information.

請求項３８において、
前記第２位置情報取得部は、
前記第２の内視鏡装置に設けられた前記発信機からの電波または音波を、前記第２の内視鏡装置の外部の測位点に設けられた３つ以上の受信機で受信し、前記発信機と各受信機との距離を計算することで、前記第２の位置情報を取得することを特徴とする内視鏡システム。 In claim 38,
The second position information acquisition unit
Radio waves or sound waves from the transmitter provided in the second endoscope apparatus are received by three or more receivers provided at positioning points outside the second endoscope apparatus, An endoscope system, wherein the second position information is acquired by calculating a distance between a transmitter and each receiver.

請求項３８において、
前記発信機から送信される前記電波または前記音波の強度を制御する制御部を含み、
前記第２位置情報取得部は、
前記第２の内視鏡装置の移動に伴って、体内での位置を示す第２の位置情報を順次取得し、
前記制御部は、
順次取得された前記第２の位置情報の示す位置が、前記注目位置情報の示す位置に接近した場合に、前記電波または音波の強度を上昇させる制御を行うことを特徴とする内視鏡システム。 In claim 38,
A control unit for controlling the intensity of the radio wave or the sound wave transmitted from the transmitter;
The second position information acquisition unit
Accompanying the movement of the second endoscopic device, sequentially obtain second position information indicating the position in the body,
The controller is
An endoscope system, wherein when the position indicated by the second position information acquired sequentially approaches the position indicated by the position-of-interest information, control is performed to increase the intensity of the radio wave or sound wave.

請求項２９において、
前記第２の内視鏡装置により撮像された画像の特徴量の変化に基づいて、前記第２の内視鏡装置が位置する部位を判別する第２部位判別部を含み、
前記第２位置情報取得部は、
前記第２部位判別部により判別された結果を前記第２の位置情報として取得することを特徴とする内視鏡システム。 In claim 29,
A second part discriminating unit for discriminating a part where the second endoscopic device is located based on a change in a feature amount of an image captured by the second endoscopic device;
The second position information acquisition unit
The endoscope system characterized in that the result determined by the second part determination unit is acquired as the second position information.

請求項４１において、
前記第２位置情報取得部は、
前記第２部位判別部により判別された部位と、前記第２の内視鏡装置の体内に挿入された長さに基づいて、前記第２の位置情報を取得することを特徴とする内視鏡システム。 In claim 41,
The second position information acquisition unit
An endoscope, wherein the second position information is acquired based on a part determined by the second part determination unit and a length inserted into a body of the second endoscope apparatus. system.

第１の内視鏡装置によって画像が撮像された際の前記第１の内視鏡装置の体内での位置を示す第１の位置情報を取得する取得部と、
第２の検出基準に適合した領域である第２基準注目領域を検出する第２検出部と、
前記第１の位置情報の中から注目位置情報を抽出する注目位置情報抽出部として、
コンピュータを機能させ、
前記第１の内視鏡装置の第１検出部は、
第１の検出基準を用いて、前記第１の内視鏡装置により撮像された画像の中から、注目すべき領域の候補である第１基準注目領域を含む画像を検出し、
前記第２検出部は、
前記第１の検出基準とは異なる前記第２の検出基準を用いて、前記第１の内視鏡装置により撮像された画像の中から、前記第２基準注目領域を含む画像を検出し、
前記注目位置情報抽出部は、
前記第１基準注目領域及び前記第２基準注目領域を含む画像に対応する前記第１の位置情報を前記注目位置情報として抽出することを特徴とするプログラム。 An acquisition unit that acquires first position information indicating a position in the body of the first endoscope device when an image is captured by the first endoscope device;
A second detector that detects a second reference region of interest that is a region that conforms to the second detection criterion;
As an attention position information extraction unit for extracting attention position information from the first position information,
Make the computer work,
The first detection unit of the first endoscope apparatus includes:
An image including a first reference region of interest that is a candidate for a region of interest is detected from among images captured by the first endoscope device using a first detection criterion,
The second detector is
Using the second detection criterion different from the first detection criterion, detecting an image including the second reference region of interest from among images captured by the first endoscope device;
The attention position information extraction unit includes:
A program for extracting the first position information corresponding to an image including the first reference attention area and the second reference attention area as the attention position information.

第１の内視鏡装置の第１検出部が、第１の検出基準を用いて、前記第１の内視鏡装置により撮像された画像の中から、注目すべき領域の候補である第１基準注目領域を含む画像を検出する場合に、
第１の内視鏡装置によって画像が撮像された際の前記第１の内視鏡装置の体内での位置を示す第１の位置情報を取得し、
前記第１の検出基準とは異なる第２の検出基準を用いて、前記第１の内視鏡装置により撮像された画像の中から、前記第２の検出基準に適合した領域である前記第２基準注目領域を含む画像を検出し、
前記第１基準注目領域及び前記第２基準注目領域を含む画像に対応する前記第１の位置情報を前記注目位置情報として抽出することを特徴とする画像処理方法。 The first detection unit of the first endoscope apparatus is a first candidate for a region to be noticed from among images captured by the first endoscope apparatus using the first detection criterion. When detecting an image that includes a reference region of interest,
Obtaining first position information indicating a position in the body of the first endoscopic device when an image is captured by the first endoscopic device;
The second detection criterion is a region that conforms to the second detection criterion from among images captured by the first endoscope device using a second detection criterion different from the first detection criterion. Detect an image containing the reference region of interest,
An image processing method, wherein the first position information corresponding to an image including the first reference attention area and the second reference attention area is extracted as the attention position information.