JP2012085696A - Image processing device, method for controlling image processing device, and endoscope apparatus - Google Patents
Image processing device, method for controlling image processing device, and endoscope apparatus Download PDFInfo
- Publication number
- JP2012085696A JP2012085696A JP2010232931A JP2010232931A JP2012085696A JP 2012085696 A JP2012085696 A JP 2012085696A JP 2010232931 A JP2010232931 A JP 2010232931A JP 2010232931 A JP2010232931 A JP 2010232931A JP 2012085696 A JP2012085696 A JP 2012085696A
- Authority
- JP
- Japan
- Prior art keywords
- image
- extraction
- unit
- correction
- subject
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 87
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000012937 correction Methods 0.000 claims abstract description 241
- 238000000605 extraction Methods 0.000 claims abstract description 240
- 238000001514 detection method Methods 0.000 claims abstract description 130
- 238000003384 imaging method Methods 0.000 claims abstract description 48
- 239000000284 extract Substances 0.000 claims abstract description 11
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 67
- 238000003780 insertion Methods 0.000 claims description 30
- 230000037431 insertion Effects 0.000 claims description 30
- 238000006073 displacement reaction Methods 0.000 claims description 20
- 230000003313 weakening effect Effects 0.000 claims description 6
- 238000005728 strengthening Methods 0.000 claims 1
- 230000033001 locomotion Effects 0.000 description 14
- 230000005540 biological transmission Effects 0.000 description 12
- 238000006243 chemical reaction Methods 0.000 description 10
- 210000003238 esophagus Anatomy 0.000 description 10
- 230000000694 effects Effects 0.000 description 8
- 238000005286 illumination Methods 0.000 description 7
- 230000003902 lesion Effects 0.000 description 7
- 238000012986 modification Methods 0.000 description 7
- 230000004048 modification Effects 0.000 description 7
- 230000003595 spectral effect Effects 0.000 description 6
- 210000002784 stomach Anatomy 0.000 description 6
- 238000003745 diagnosis Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 210000000056 organ Anatomy 0.000 description 5
- 210000000436 anus Anatomy 0.000 description 3
- 230000006399 behavior Effects 0.000 description 3
- 239000000835 fiber Substances 0.000 description 3
- 230000010349 pulsation Effects 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 210000003384 transverse colon Anatomy 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 210000001731 descending colon Anatomy 0.000 description 2
- 230000001678 irradiating effect Effects 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 230000001225 therapeutic effect Effects 0.000 description 2
- 240000004050 Pentaglottis sempervirens Species 0.000 description 1
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 1
- 238000010009 beating Methods 0.000 description 1
- 210000001072 colon Anatomy 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 210000001198 duodenum Anatomy 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 210000000936 intestine Anatomy 0.000 description 1
- 210000002429 large intestine Anatomy 0.000 description 1
- 210000004400 mucous membrane Anatomy 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
-
- G06T5/73—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20201—Motion blur correction
Abstract
Description
本発明は、画像処理装置、画像処理装置の制御方法及び内視鏡装置等に関する。 The present invention relates to an image processing apparatus, a control method for the image processing apparatus, an endoscope apparatus, and the like.
従来、民生用ビデオカメラなど動画像のブレを補正する方法については、電子式ブレ補正や光学式ブレ補正などの方式が広く用いられている。 2. Description of the Related Art Conventionally, methods such as electronic camera shake correction and optical camera shake correction have been widely used as methods for correcting motion image blur such as consumer video cameras.
内視鏡においては、例えば、特許文献１にあるように、スコープ先端の動きを検出してそれを元にブレ補正を行う方法が提案されている。 In an endoscope, for example, as disclosed in Patent Document 1, a method of detecting a movement of the distal end of a scope and performing blur correction based on the detected motion has been proposed.
また、特許文献２では、動き量を検知し、さらにフリーズ指示信号を検知して動画を的確なタイミングで静止させて静止画を取得する方法が提案されている。 Further, Patent Document 2 proposes a method of detecting a motion amount, further detecting a freeze instruction signal, and capturing a still image by stopping a moving image at an appropriate timing.
内視鏡装置では、内視鏡の操作観察方法として、体内に内視鏡を挿入し大まかに俯瞰して観察し、病変候補等の注目箇所を見つけたらその箇所をより大きく表示させて観察したいというニーズがある。 In an endoscope device, as an operation observation method of an endoscope, an endoscope is inserted into the body and observed roughly from a bird's-eye view. There is a need.
しかし、注目箇所へ内視鏡のスコープを近づけようとする際に、生体が静止していることはほとんどない。微妙な動きにより被写体またはスコープ自体がぶれてしまい、うまく近づけながら注目する箇所をブレなく観察することが難しい。よって、ブレを抑えた動画像を取得するという課題がある。 However, when trying to bring the scope of the endoscope closer to the point of interest, the living body is hardly stationary. The subject or the scope itself is shaken by subtle movements, and it is difficult to observe the point of interest without blur while approaching well. Therefore, there is a problem of obtaining a moving image with reduced blur.
本発明の幾つかの態様によれば、内視鏡装置の状況を表す操作状況情報に基づいて、位置ずれの補正度合いの強弱を設定し、適度にブレを抑えた動画像をユーザに提示する画像処理装置、画像処理装置の制御方法及び内視鏡装置等を提供できる。 According to some aspects of the present invention, based on operation status information representing the status of an endoscope apparatus, the degree of position shift correction is set, and a moving image with moderate blurring is presented to the user. An image processing apparatus, a control method for the image processing apparatus, an endoscope apparatus, and the like can be provided.
また、本発明の幾つかの態様によれば、注目箇所にスコープを近づけたとき等の特定の状況においてもブレのない動画像をユーザに提示することで、観察しやすさの向上及びユーザのストレスの低減等をはかった画像処理装置、画像処理装置の制御方法及び内視鏡装置を提供できる。 In addition, according to some aspects of the present invention, it is possible to improve the ease of observation and improve the user's ability by presenting a moving image without blurring to a user even in a specific situation such as when a scope is brought close to a point of interest. It is possible to provide an image processing apparatus, a control method for the image processing apparatus, and an endoscope apparatus that reduce stress.
本発明の一態様は、内視鏡装置の撮像部による連続的な撮像処理によって、被検体像を含む画像である基準画像を連続的に取得する画像取得部と、前記内視鏡装置の操作状況を検出し、その検出結果を示す操作状況情報を取得する状況検出部と、連続的に取得された前記基準画像から、前記被検体像を含む領域を抽出領域として抽出し、抽出画像を取得する抽出部と、を含み、前記抽出部は、前記状況検出部において取得された前記操作状況情報に基づいて、前記被検体像の位置ずれの補正度合いの強弱を決定し、決定した補正度合いの強弱に対応した抽出態様に従って、前記基準画像から前記抽出画像を抽出する画像処理装置に関係する。また、本発明は、上記画像処理装置と、内視鏡スコープとを含む内視鏡装置に関係する。 One aspect of the present invention is an image acquisition unit that continuously acquires a reference image that is an image including a subject image by continuous imaging processing by an imaging unit of an endoscope apparatus, and an operation of the endoscope apparatus A situation detection unit that detects the situation and obtains operation situation information indicating the detection result, and an area including the subject image is extracted as an extraction area from the continuously obtained reference image, and an extracted image is obtained. The extraction unit determines the strength of the degree of correction of the displacement of the subject image based on the operation status information acquired by the status detection unit, and the determined correction level The present invention relates to an image processing apparatus that extracts the extracted image from the reference image according to an extraction mode corresponding to strength. The present invention also relates to an endoscope apparatus that includes the image processing apparatus and an endoscope scope.
本発明の一態様では、操作状況情報に基づいて、位置ずれの補正度合いの強弱を決定し、決定した補正度合いの強弱に対応した抽出態様で抽出画像を抽出する。よって、状況に合わせて適切な強さで位置ずれ補正を行うこと等が可能になる。 In one aspect of the present invention, based on the operation status information, the degree of correction of the positional deviation is determined, and the extracted image is extracted in an extraction manner corresponding to the determined degree of correction. Therefore, it is possible to perform misalignment correction with an appropriate strength according to the situation.
本発明の他の態様は、内視鏡装置の撮像部による連続的な撮像処理によって、被検体像を含む画像である基準画像を連続的に取得し、前記内視鏡装置の操作状況を検出し、その検出結果を示す操作状況情報を取得し、連続的に取得された前記基準画像から、前記被検体像を含む領域を抽出領域として抽出し、抽出画像を取得する際に、前記状況検出部において取得された前記操作状況情報に基づいて、前記被検体像の位置ずれの補正度合いの強弱を決定し、決定した補正度合いの強弱に対応した抽出態様に従って、前記基準画像から前記抽出画像を抽出する画像処理装置の制御方法に関係する。 Another aspect of the present invention continuously acquires a reference image, which is an image including a subject image, by continuous imaging processing by an imaging unit of the endoscope apparatus, and detects an operation state of the endoscope apparatus. When the operation state information indicating the detection result is acquired, the region including the subject image is extracted as the extraction region from the continuously acquired reference image, and the extracted image is acquired, the state detection is performed. Based on the operation status information acquired by the unit, the degree of correction of the displacement of the subject image is determined, and the extracted image is extracted from the reference image according to the extraction mode corresponding to the determined degree of correction. The present invention relates to a control method of the image processing apparatus to be extracted.
本発明の他の態様は、内視鏡装置の撮像部による連続的な撮像処理によって、被検体像を含む画像である基準画像を連続的に取得する画像取得部と、前記取得された各基準画像から、基準画像内の被検体像を含む画像を抽出画像としてそれぞれ抽出するにあたって、それぞれの前記抽出画像に含まれる同一の被検体像の位置ずれを補正する第１抽出モードと、前記同一の被検体像の位置ずれを補正しない第２抽出モードとを設定する設定部と、前記内視鏡装置の操作状況を検出し、その検出結果を示す操作状況情報を取得する状況検出部と、前記取得された操作状況情報に基づいて、前記第１抽出モードまたは前記第２抽出モードのいずれかを選択し、選択した抽出モードに対応した抽出態様に従って、前記基準画像から前記抽出画像を抽出する抽出部と、を含み、前記状況検出部は、前記操作状況情報として、前記内視鏡装置のスコープ部が送気または送水に使用されているか否かに関する情報を取得し、前記抽出部は、取得された前記操作状況情報によって、前記内視鏡装置の前記スコープ部が送気または送水に使用されていると判断された場合には、前記第２抽出モードを選択する画像処理装置に関係する。 According to another aspect of the present invention, an image acquisition unit that continuously acquires a reference image that is an image including a subject image by continuous imaging processing by an imaging unit of an endoscope apparatus; A first extraction mode for correcting a positional deviation of the same subject image included in each of the extracted images when extracting an image including the subject image in the reference image as an extracted image from the image, and the same A setting unit that sets a second extraction mode that does not correct the displacement of the subject image, a situation detection unit that detects an operation situation of the endoscope apparatus, and obtains operation situation information indicating the detection result; Based on the acquired operation status information, either the first extraction mode or the second extraction mode is selected, and the extracted image is extracted from the reference image according to the extraction mode corresponding to the selected extraction mode. The condition detection unit obtains information regarding whether or not the scope unit of the endoscope apparatus is used for air supply or water supply as the operation status information, If the scope information of the endoscope apparatus is determined to be used for air supply or water supply based on the acquired operation status information, the image processing apparatus selects the second extraction mode. To do.
本発明の他の態様では、第１抽出モードと第２抽出モードを設定したうえで、送気又は送水の状況に応じて、適切な抽出モードを選択すること等が可能になる。 In another aspect of the present invention, after setting the first extraction mode and the second extraction mode, it is possible to select an appropriate extraction mode according to the state of air supply or water supply.
本発明の他の態様は、内視鏡装置の撮像部による連続的な撮像処理によって、被検体像を含む画像である基準画像を連続的に取得する画像取得部と、前記取得された各基準画像から、基準画像内の被検体像を含む画像を抽出画像としてそれぞれ抽出するにあたって、それぞれの前記抽出画像に含まれる同一の被検体像の位置ずれを補正する第１抽出モードと、前記同一の被検体像の位置ずれを補正しない第２抽出モードとを設定する設定部と、前記内視鏡装置の操作状況を検出し、その検出結果を示す操作状況情報を取得する状況検出部と、前記取得された操作状況情報に基づいて、前記第１抽出モードまたは前記第２抽出モードのいずれかを選択し、選択した抽出モードに対応した抽出態様に従って、前記基準画像から前記抽出画像を抽出する抽出部と、を含み、前記状況検出部は、前記操作状況情報として、前記内視鏡装置のスコープ部が被検体の治療処置に使用されているか否かに関する情報を取得し、前記抽出部は、取得された前記操作状況情報によって前記内視鏡装置の前記スコープ部が被検体の治療処置に使用されていると判断された場合には、前記第２抽出モードを選択する画像処理装置に関係する。 According to another aspect of the present invention, an image acquisition unit that continuously acquires a reference image that is an image including a subject image by continuous imaging processing by an imaging unit of an endoscope apparatus; A first extraction mode for correcting a positional deviation of the same subject image included in each of the extracted images when extracting an image including the subject image in the reference image as an extracted image from the image, and the same A setting unit that sets a second extraction mode that does not correct the displacement of the subject image, a situation detection unit that detects an operation situation of the endoscope apparatus, and obtains operation situation information indicating the detection result; Based on the acquired operation status information, either the first extraction mode or the second extraction mode is selected, and the extracted image is extracted from the reference image according to the extraction mode corresponding to the selected extraction mode. The condition detection unit acquires, as the operation status information, information regarding whether or not the scope unit of the endoscope apparatus is used for a treatment treatment of a subject, and the extraction unit If it is determined from the acquired operation status information that the scope unit of the endoscope apparatus is used for a treatment treatment of a subject, the image processing apparatus selects the second extraction mode. Involved.
本発明の他の態様では、第１抽出モードと第２抽出モードを設定したうえで、被検体の治療処置の状況に応じて、適切な抽出モードを選択すること等が可能になる。 In another aspect of the present invention, after setting the first extraction mode and the second extraction mode, it is possible to select an appropriate extraction mode according to the state of the treatment treatment of the subject.
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。 Hereinafter, this embodiment will be described. In addition, this embodiment demonstrated below does not unduly limit the content of this invention described in the claim. In addition, all the configurations described in the present embodiment are not necessarily essential configuration requirements of the present invention.
１．本実施形態の手法
１．１ 内視鏡装置の構成例
図１は、本実施形態にかかる画像処理装置を含む内視鏡装置の構成例である。内視鏡装置は、照明部１２と、撮像部１３と、処理部１１と、を含む。なお、構成はこれに限定されず、これらの構成要素の一部を省略するなどの種々の変形実施が可能である。
1. 1. Technique of this Embodiment 1.1 Configuration Example of Endoscope Device FIG. 1 is a configuration example of an endoscope device including an image processing device according to this embodiment. The endoscope apparatus includes an illumination unit 12, an imaging unit 13, and a processing unit 11. The configuration is not limited to this, and various modifications such as omission of some of these components are possible.
照明部１２は、光源装置Ｓ０１と、外装Ｓ０５と、ライトガイドファイバＳ０６と、照明光学系Ｓ０７とを含む。そして、光源装置Ｓ０１は、白色光源Ｓ０２と、回転フィルタＳ０３と、集光レンズＳ０４とを含む。なお、構成はこれに限定されず、これらの構成要素の一部を省略するなどの種々の変形実施が可能である。 The illumination unit 12 includes a light source device S01, an exterior S05, a light guide fiber S06, and an illumination optical system S07. The light source device S01 includes a white light source S02, a rotation filter S03, and a condenser lens S04. The configuration is not limited to this, and various modifications such as omission of some of these components are possible.
撮像部１３は、外装Ｓ０５と、集光レンズＳ０８と、撮像素子Ｓ０９とを含む。撮像素子Ｓ０９はベイヤ配列の色フィルタを持つ撮像素子である。撮像素子Ｓ０９の色フィルタＲ・Ｇ・Ｂは例えば図２に示すような分光特性を持っている。 The imaging unit 13 includes an exterior S05, a condenser lens S08, and an imaging device S09. The image sensor S09 is an image sensor having a Bayer array color filter. The color filters R, G, and B of the image sensor S09 have spectral characteristics as shown in FIG.
ここでは撮像素子にＲ・Ｇ・ＢがＢａｙｅｒ配列された例を挙げているが、別の撮像方式のものでも良い。例えば補色を受光するものでもかまわない。 Here, an example in which R, G, and B are arranged in a Bayer array on the image sensor is given, but another imaging system may be used. For example, it may be one that receives complementary colors.
また、ここでは通常光画像と特殊光画像とをほぼ同時に撮像する構成にしているがこれに限らない。通常光画像だけを取得するのでも良いし、Ｒ・Ｇ・Ｂのそれぞれの撮像素子を設けて３板の画像を撮像しても良い。 In addition, here, the normal light image and the special light image are captured almost simultaneously, but the present invention is not limited to this. Only a normal light image may be acquired, or images of three plates may be captured by providing R, G, and B image sensors.
処理部１１は、Ａ／Ｄ変換部１１０と、画像取得部１２０と、操作部１３０と、バッファ１４０と、状況検出部１６０と、抽出部１７０と、表示制御部１８０と、を含む。なお、構成はこれに限定されず、これらの構成要素の一部を省略するなどの種々の変形実施が可能である。 The processing unit 11 includes an A / D conversion unit 110, an image acquisition unit 120, an operation unit 130, a buffer 140, a situation detection unit 160, an extraction unit 170, and a display control unit 180. The configuration is not limited to this, and various modifications such as omission of some of these components are possible.
撮像素子Ｓ０９からのアナログ信号が入力されるＡ／Ｄ変換部１１０は、画像取得部１２０に接続されている。画像取得部１２０は、バッファ１４０に接続されている。操作部１３０は、照明部１２と、撮像部１３と、後述する状況検出部１６０の操作量情報取得部１６６とに接続されている。バッファ１４０は、状況検出部１６０と、抽出部１７０とに接続されている。抽出部１７０は、表示制御部１８０に接続されている。状況検出部１６０は、抽出部１７０に接続されている。 The A / D conversion unit 110 to which an analog signal from the image sensor S09 is input is connected to the image acquisition unit 120. The image acquisition unit 120 is connected to the buffer 140. The operation unit 130 is connected to the illumination unit 12, the imaging unit 13, and an operation amount information acquisition unit 166 of the situation detection unit 160 described later. The buffer 140 is connected to the situation detection unit 160 and the extraction unit 170. The extraction unit 170 is connected to the display control unit 180. The situation detection unit 160 is connected to the extraction unit 170.
Ａ／Ｄ変換部１１０は、撮像素子Ｓ０９からのアナログ信号をデジタル信号に変換する。画像取得部１２０は、Ａ／Ｄ変換部１１０によって変換されたデジタル画像信号を基準画像として取得する。操作部１３０は、ユーザが操作するボタンなどのインターフェースを含む。また、操作部１３０にはスコープを操作するダイヤルなども含まれる。バッファ１４０は、画像取得部から送られた基準画像を受け取り保持する。 The A / D conversion unit 110 converts an analog signal from the image sensor S09 into a digital signal. The image acquisition unit 120 acquires the digital image signal converted by the A / D conversion unit 110 as a reference image. The operation unit 130 includes an interface such as a button operated by the user. The operation unit 130 also includes a dial for operating the scope. The buffer 140 receives and holds the reference image sent from the image acquisition unit.
状況検出部１６０は、内視鏡装置の操作状況を検出し、検出結果を示す操作状況情報を取得する。状況検出部１６０は、停止近接検出部１６１と、注目領域検出部１６２と、部位検出部１６３と、観察状態検出部１６４と、倍率取得部１６５と、操作量情報取得部１６６と、送気送水検出部１６７とを含む。なお、構成はこれに限定されず、これらの構成要素の一部を省略するなどの種々の変形実施が可能である。また、状況検出部１６０の各部は、本実施形態において必ずしも全てが同時に備わっている必要はなく、このうちの少なくとも１つを含む構成であればよい。 The status detection unit 160 detects the operation status of the endoscope apparatus and acquires operation status information indicating the detection result. The situation detection unit 160 includes a stop proximity detection unit 161, a region of interest detection unit 162, a part detection unit 163, an observation state detection unit 164, a magnification acquisition unit 165, an operation amount information acquisition unit 166, and air / water supply A detection unit 167. The configuration is not limited to this, and various modifications such as omission of some of these components are possible. In addition, the respective units of the situation detection unit 160 do not necessarily have to be provided all at the same time in the present embodiment, and may be configured to include at least one of them.
停止近接検出部１６１は、内視鏡装置の挿入部（スコープ）の動きを検出する。具体的には、内視鏡装置の挿入部が停止しているか否か、もしくは、被写体に対して接近しているか否かを検出する。注目領域検出部１６２は、取得された基準画像の中から、注目すべき領域である注目領域を検出する。なお、注目領域の詳細については後述する。部位検出部１６３は、内視鏡装置の挿入部が挿入されている、生体内の部位を検出する。観察状態検出部１６４は、内視鏡装置の観察状態を検出する。具体的には通常観察モードと拡大観察モードを持つ内視鏡装置において、現在どちらのモードになっているのかを検出する。倍率取得部１６５は、撮像部１３における撮像倍率を取得する。操作量情報取得部１６６は、操作部１３０における操作量の情報を取得する。具体的には例えば、操作部１３０に設けられたダイヤルがどの程度回されたか等を取得する。送気送水検出部１６７は、内視鏡装置による送気処理又は送水処理が行われたことを検出する。あるいは、送気量、送水量を検出してもよい。 The stop proximity detection unit 161 detects the movement of the insertion unit (scope) of the endoscope apparatus. Specifically, it is detected whether or not the insertion unit of the endoscope apparatus is stopped or whether or not it is approaching the subject. The attention area detection unit 162 detects an attention area that is an area of interest from the acquired reference image. Details of the attention area will be described later. The part detection unit 163 detects a part in the living body where the insertion part of the endoscope apparatus is inserted. The observation state detection unit 164 detects the observation state of the endoscope apparatus. Specifically, in an endoscope apparatus having a normal observation mode and a magnification observation mode, it is detected which mode is currently set. The magnification acquisition unit 165 acquires the imaging magnification in the imaging unit 13. The operation amount information acquisition unit 166 acquires information on the operation amount in the operation unit 130. Specifically, for example, how much a dial provided on the operation unit 130 is turned is acquired. The air / water supply detection unit 167 detects that the air supply process or the water supply process by the endoscope apparatus has been performed. Alternatively, the air supply amount and the water supply amount may be detected.
抽出部１７０は、状況検出部１６０が検出した操作状況情報に基づいて、被検体像の位置ずれの補正度合い（補正の強弱）を決定し、決定した補正の度合いに対応した抽出態様で、基準画像から抽出画像を抽出する。ここで、抽出画像とは、基準画像から対象となる被検体像を含む領域を抽出した画像のことである。 The extraction unit 170 determines a correction degree (correction strength) of the positional deviation of the subject image based on the operation situation information detected by the situation detection unit 160, and is an extraction mode corresponding to the determined correction degree. Extract the extracted image from the image. Here, the extracted image is an image obtained by extracting a region including a subject image as a target from a reference image.
表示制御部１８０は、抽出画像の表示する制御を行う。また、抽出部１７０において決定された補正の度合いを表す補正度合い情報を表示する制御を行ってもよい。 The display control unit 180 performs control to display the extracted image. Control for displaying correction degree information indicating the degree of correction determined by the extraction unit 170 may be performed.
１．２ 処理の流れ
次に、処理の流れについて説明する。まず、白色光光源Ｓ０２から白色光が発光される。図３に示すように、回転フィルタＳ０３には白色光透過フィルタＳ１６と狭帯域透過フィルタＳ１７がセットされている。白色光透過フィルタＳ１６は例えば、図４のような分光特性であり、狭帯域透過フィルタＳ１７は例えば、図５のような分光特性である。
1.2 Process Flow Next, the process flow will be described. First, white light is emitted from the white light source S02. As shown in FIG. 3, a white light transmission filter S16 and a narrow band transmission filter S17 are set in the rotary filter S03. For example, the white light transmission filter S16 has spectral characteristics as shown in FIG. 4, and the narrow-band transmission filter S17 has spectral characteristics as shown in FIG.
白色光光源Ｓ０２から発光された白色光が、回転フィルタＳ０３の白色光透過フィルタＳ１６と狭帯域透過フィルタＳ１７を交互に透過する。よって、白色光透過フィルタＳ１６を透過した白色光と、狭帯域透過フィルタＳ１７を透過した特殊光が交互に集光レンズＳ０４に達し集光されることになる。集光された白色光または特殊光はライトガイドファイバＳ０６を通って照明光学系Ｓ０７から被写体に照射される。 White light emitted from the white light source S02 is alternately transmitted through the white light transmission filter S16 and the narrow band transmission filter S17 of the rotation filter S03. Therefore, the white light transmitted through the white light transmission filter S16 and the special light transmitted through the narrow band transmission filter S17 alternately reach the condenser lens S04 and are condensed. The condensed white light or special light is irradiated to the subject from the illumination optical system S07 through the light guide fiber S06.
被写体から反射した反射光が集光レンズＳ０８により集光され、Ｒ・Ｇ・Ｂを受光する撮像素子がＢａｙｅｒ型に配置された撮像素子Ｓ０９に到達し光電変換を行いアナログの信号となりＡ／Ｄ変換部１１０へ送られる。 The reflected light reflected from the subject is collected by the condensing lens S08, and the image sensor that receives R, G, and B reaches the image sensor S09 arranged in a Bayer type, performs photoelectric conversion, and becomes an analog signal. The data is sent to the conversion unit 110.
白色光を照射することにより取得されＡ／Ｄ変換部１１０でデジタルの信号に変換された信号は画像取得部１２０へ送られ、通常光画像として保持される。また、特殊光を照射することにより取得されＡ／Ｄ変換部１１０でデジタルの信号に変換された信号を画像取得部１２０に送り、特殊光画像として保持してもよい。なお、本実施形態においては、特殊光画像は、注目領域検出部１６２における注目領域の検出処理に用いられることが考えられる。よって、注目領域検出部１６２がない構成を採用した場合、もしくは、注目領域検出部１６２における注目領域の検出処理を通常光画像に基づいて行う場合等では、特殊光画像は使われない。そのような場合には、特殊光画像を取得する必要はなく、回転フィルタＳ０３がなくてもよい構成となる。 A signal acquired by irradiating with white light and converted into a digital signal by the A / D conversion unit 110 is sent to the image acquisition unit 120 and held as a normal light image. Alternatively, a signal acquired by irradiating special light and converted into a digital signal by the A / D conversion unit 110 may be sent to the image acquisition unit 120 and held as a special light image. In this embodiment, the special light image may be used for the attention area detection processing in the attention area detection unit 162. Therefore, when the configuration without the attention area detection unit 162 is adopted, or when the attention area detection processing in the attention area detection unit 162 is performed based on the normal light image, the special light image is not used. In such a case, it is not necessary to acquire a special light image, and the rotation filter S03 may be omitted.
画像取得部１２０で取得された画像を基準画像とする。基準画像は、最終的な出力の画像のサイズよりも大きな領域を持つ。画像取得部１２０で取得された基準画像は、一旦バッファ１４０に保持される。そして、抽出部１７０は、状況取得部１６０で取得された操作状況情報に基づいて、位置ずれの補正度合いの強弱を決定し、シーケンシャルに見てブレの少ないような領域を抽出画像として切り出し、表示制御部１８０へ送信する。これにより、ブレの少ない動画像が得られる。表示制御部１８０へ送信された動画像は、モニタなどの表示装置へ送信されユーザに提示される。 The image acquired by the image acquisition unit 120 is set as a reference image. The reference image has an area larger than the size of the final output image. The reference image acquired by the image acquisition unit 120 is temporarily held in the buffer 140. Then, the extraction unit 170 determines the strength of the degree of correction of misalignment based on the operation status information acquired by the status acquisition unit 160, cuts out an area where there is little blur as viewed sequentially, and displays the extracted image. Transmit to the control unit 180. Thereby, a moving image with less blur is obtained. The moving image transmitted to the display control unit 180 is transmitted to a display device such as a monitor and presented to the user.
１．３ 操作状況情報に応じた補正度合いの決定
以上の処理により、ブレ補正が行われた動画像をユーザに提示することが可能になるが、本実施形態においては、抽出部１７０による抽出処理（具体的には位置ずれの補正度合いの強弱の決定）を、状況検出部１６０からの操作状況情報により制御する点が特徴となる。抽出部１７０は、状況検出部１６０の停止近接検出部１６１、注目領域検出部１６２、部位検出部１６３、観察状態検出部１６４、倍率取得部１６５、操作量情報取得部１６６、送気送水検出部１６７の少なくとも１つからの情報を受け取り、位置ずれの補正度合いの強弱を制御する。
1.3 Determination of the degree of correction according to the operation status information The above processing makes it possible to present to the user a moving image that has undergone blur correction. In this embodiment, the extraction processing by the extraction unit 170 is performed. A feature is that (specifically, determination of the degree of correction of misalignment) is controlled based on operation status information from the status detection unit 160. The extraction unit 170 includes a stop proximity detection unit 161, a region-of-interest detection unit 162, a region detection unit 163, an observation state detection unit 164, a magnification acquisition unit 165, an operation amount information acquisition unit 166, and an air / water supply detection unit of the situation detection unit 160. The information from at least one of 167 is received, and the degree of correction of the positional deviation is controlled.
以下、各部からの情報に基づいて、どのように位置ずれの補正度合いが決定されるのかについて詳述する。 Hereinafter, how the correction degree of the positional deviation is determined based on information from each unit will be described in detail.
１．３．１ 停止・近接検出に基づく補正度合いの決定
近づいているか、遠ざかっているか、或いは停止しているかの判断は、停止近接検出部１６１で行われ、具体的な手法としては例えば、画像に基づくマッチング処理等が考えられる。つまり、撮像画像内の被検体のエッジ形状等をエッジ抽出等で認識し、認識したエッジ形状の大きさが時間的に後のフレームの画像において、大きくなっているか小さくなっているかを判定することで、近づいているか否かの判定を行う。なお、近づいているか否かを判定する手法は画像処理に限定されるものではなく、例えば、赤外線アクティブセンサ等の測距センサを用いて被写体との距離の変化を見る手法等、種々の手法が考えられる。
1.3.1 Determination of the degree of correction based on stop / proximity detection The determination of whether approaching, moving away, or stopped is performed by the stop proximity detecting unit 161. As a specific method, for example, an image A matching process based on the above can be considered. In other words, the edge shape of the subject in the captured image is recognized by edge extraction or the like, and it is determined whether the recognized edge shape is larger or smaller in the image of the subsequent frame in time. Then, it is determined whether or not it is approaching. Note that the method for determining whether or not the subject is approaching is not limited to image processing. For example, there are various methods such as a method of using a distance measuring sensor such as an infrared active sensor to observe a change in the distance to the subject. Conceivable.
スコープが被写体に近づいているときには、ユーザは近づく先の被写体の部分を詳細に観察しようとしていると判断できるため、抽出部１７０で行われる位置ずれの補正度合いの強度を強くする。また、遠ざかっているときには、詳細な観察は終了していると判断できるため、補正度合いの強度は弱くしてよい。また、スコープが停止しているときには、特定の箇所を詳細に観察しようとしていると判断できるため、補正度合いの強度を強くする。 When the scope is approaching the subject, the user can determine that he / she wants to observe in detail the portion of the subject that is approaching, so the strength of the degree of correction of positional deviation performed by the extraction unit 170 is increased. Moreover, since it can be determined that the detailed observation has been completed when it is moving away, the strength of the correction degree may be weakened. Further, when the scope is stopped, it can be determined that a specific part is to be observed in detail, so the strength of the correction degree is increased.
１．３．２ 注目領域検出部からの注目領域情報に基づく補正度合いの決定
注目領域検出部１６２は、公知の領域検出、例えば病変検出のような処理を行うことで注目領域に関する情報である注目領域情報を検出する。画像の中に注目領域（病変領域）を検出したときには当該注目領域をじっくりと観察したい場合が多いので、抽出部１７０は位置ずれの補正度合いを強くする制御を行う。一方、病変等が検出されていないときにはじっくりと観察する必要がない場合が多いので、位置ずれの補正を弱くする（例えばオフにする）制御を行う。
1.3.2 Determination of the degree of correction based on attention area information from the attention area detection unit The attention area detection unit 162 performs attention processing that is known area detection, for example, lesion detection, as attention area information. Detect area information. When a region of interest (lesion region) is detected in an image, there are many cases where it is desired to observe the region of interest carefully. Therefore, the extraction unit 170 performs control to increase the degree of correction of positional deviation. On the other hand, since there is often no need to observe carefully when a lesion or the like is not detected, control for weakening (for example, turning off) correction of positional deviation is performed.
操作部１３０には、更に領域検出を行うボタンが準備されていて、ユーザがそのボタンを押下すると注目領域検出部１６２にて画面の中心を含む領域を注目領域として抽出し、抽出した領域が中心に来るように抽出部１７０にて位置ずれの補正を行ってもよい。抽出した領域が中心に来るようなブレ補正を行うためには、抽出領域を認識する必要があるが、ここでは例えばエッジ抽出処理等を用いるものとする。ただし、領域の認識手法はエッジ抽出処理に限定されるものではない。 The operation unit 130 is further provided with a button for area detection. When the user presses the button, the attention area detection unit 162 extracts the area including the center of the screen as the attention area, and the extracted area is the center. The positional deviation may be corrected by the extraction unit 170 so as to come to. In order to perform blur correction so that the extracted region is centered, it is necessary to recognize the extracted region. Here, for example, edge extraction processing or the like is used. However, the region recognition method is not limited to the edge extraction process.
１．３．３ 部位検出に基づく補正度合いの決定
部位検出部１６３により、スコープが位置する部位を判定し、補正度合いを決定してもよい。スコープが生体内のどの部位（例えば、十二指腸、結腸等）にあるかの判定には、例えばテンプレートマッチングなどの既知の認識アルゴリズム等を用いる。また、既知のシーン変化認識アルゴリズムを用いて基準画像の画素の特徴量変化に基づいて、どの器官か判定することも可能である。
1.3.3 Determination of correction degree based on part detection The part detection unit 163 may determine the part where the scope is located and determine the correction degree. For example, a known recognition algorithm such as template matching is used to determine which part of the living body (for example, duodenum, colon, etc.) the scope is in. It is also possible to determine which organ is based on the feature amount change of the pixel of the reference image using a known scene change recognition algorithm.
例えばスコープが位置する部位が食道である場合には、心臓に近いため被写体が常に拍動していて動いている。そのため、電子式ブレ補正を行おうとすると、動きが大きいため注目領域が視野から外れやすくなってしまい、うまく位置ずれの補正を行うことができない。そのような器官では補正の度合いを弱くしておくことでエラーを防止することができる。 For example, when the part where the scope is located is the esophagus, the subject is always beating and moving because it is close to the heart. For this reason, if an electronic blur correction is to be performed, the region of interest tends to be out of the field of view due to the large movement, and the positional deviation cannot be corrected well. In such organs, errors can be prevented by reducing the degree of correction.
１．３．４ 観察状態に基づく補正度合いの決定
近年の内視鏡装置では、通常観察の他に、高倍率（例えば１００倍以上）での観察である拡大観察を行うことができるものがある。拡大観察モードにおいては、高倍率での観察を行っているため、基準画像から抽出領域が外れてしまう可能性が非常に高くなる。そのため、拡大観察モードにおいては、位置ずれの補正度合いを弱くする処理を行う。
1.3.4 Determination of the degree of correction based on the observation state In recent endoscope apparatuses, in addition to normal observation, there is an apparatus that can perform magnified observation that is observation at a high magnification (for example, 100 times or more). . In the magnified observation mode, since the observation is performed at a high magnification, the possibility that the extraction region deviates from the reference image becomes very high. For this reason, in the magnification observation mode, processing for weakening the correction degree of the positional deviation is performed.
なお、拡大観察モードか否かは操作部１３０からの操作情報を用いて判断してもよいし、倍率取得部１６５で取得した倍率情報を用いてもよい。例えば、操作部１３０に拡大観察モードと他のモードとの切り替えを行う切り替えボタンが設けられているような場合には、そのボタンが押されたか否かの情報を操作量情報取得部１６６が取得し、それに基づき、観察状態検出部１６４が観察状態を検出する。また、倍率から判断する場合には、倍率取得部１６５が取得した倍率情報により、撮像部１３における倍率が拡大観察モードに対応する倍率になっていることを観察状態検出部１６４で検出すればよい。 Whether or not the magnification observation mode is set may be determined using the operation information from the operation unit 130, or the magnification information acquired by the magnification acquisition unit 165 may be used. For example, when the operation unit 130 is provided with a switching button for switching between the enlarged observation mode and another mode, the operation amount information acquisition unit 166 acquires information on whether or not the button has been pressed. Based on this, the observation state detection unit 164 detects the observation state. Further, when determining from the magnification, the observation state detection unit 164 may detect that the magnification in the imaging unit 13 is a magnification corresponding to the magnification observation mode based on the magnification information acquired by the magnification acquisition unit 165. .
１．３．５ 倍率取得部からの倍率情報に基づく補正度合いの決定
倍率取得部１６５は、撮像部１３における撮像倍率を倍率情報として取得する。そして、倍率情報により表される撮像倍率が所与の閾値より小さい場合には、ユーザは拡大観察を用いて被写体を詳細に観察しようとしていると判断できるため、図６に示したように、抽出部１７０は、倍率が大きくなるほど、位置ずれの補正度合いの強度を強くする制御を行う。しかし、倍率情報により表される撮像倍率が所与の閾値より大きい場合には、ユーザは所定の部分を詳細に観察しようとしていると判断できるものの、高倍率のためブレの影響が大きく、基準画像から抽出領域が外れてしまう可能性が高まる。そのため、図６に示したように、倍率が大きくなるほど、位置ずれの補正度合いの強度を弱くする制御を行う。
1.3.5 Determination of Correction Level Based on Magnification Information from Magnification Acquisition Unit The magnification acquisition unit 165 acquires the imaging magnification in the imaging unit 13 as magnification information. If the imaging magnification represented by the magnification information is smaller than a given threshold, the user can determine that the subject is to be observed in detail using magnified observation, and therefore, as shown in FIG. The unit 170 performs control to increase the strength of the degree of correction of misalignment as the magnification increases. However, if the imaging magnification represented by the magnification information is larger than a given threshold, the user can determine that he / she wants to observe a predetermined portion in detail, but the influence of blurring is large due to the high magnification, and the reference image This increases the possibility that the extraction region will be out of the range. Therefore, as shown in FIG. 6, control is performed to weaken the strength of the degree of correction of positional deviation as the magnification increases.
１．３．６ 操作部からの操作量情報に基づく補正度合いの決定
操作部１３０は、ユーザの操作による情報である操作量情報を取得し、抽出部１７０へ送信する。そして、抽出部１７０ではそのユーザの操作による情報に応じて位置ずれの補正度合いが決定される。
1.3.6 Determination of Correction Level Based on Operation Amount Information from Operation Unit The operation unit 130 acquires operation amount information that is information by a user operation, and transmits the operation amount information to the extraction unit 170. Then, the extraction unit 170 determines the correction degree of the positional deviation according to information by the user's operation.
一例としては、図７のように内視鏡のスコープ先端部の動作と連動するダイヤルがスコープ付近に配置されていて、そのダイヤルの操作がある。この操作が行われると、ユーザのダイヤルの操作に対応する操作量情報を抽出部１７０へ送信する。そのダイヤルの動きに応じて抽出部１７０で行う位置ずれの補正度合いを調整する。ダイヤルの操作量が所与の閾値よりも大きい場合には、補正の度合いを小さくする（大きく動かすとき、ユーザはブレ補正よりも視界を変えたいと思われるため。）処理を行う。なお大きく動かすときは被写体を追随しきれず電子ブレ補正を適用できない場面も多くなる。追随できないときには無理にブレ補正は行わない。 As an example, as shown in FIG. 7, a dial interlocking with the operation of the endoscope distal end portion is arranged near the scope, and there is an operation of the dial. When this operation is performed, operation amount information corresponding to the user's dial operation is transmitted to the extraction unit 170. The degree of correction of misalignment performed by the extraction unit 170 is adjusted according to the movement of the dial. When the operation amount of the dial is larger than a given threshold value, processing is performed to reduce the degree of correction (because the user wants to change the field of view rather than blur correction). In addition, when moving a lot, there are many scenes where the subject cannot be followed and electronic blur correction cannot be applied. If you can't follow, don't force blur correction.
１．３．７ 送気・送水情報に基づく補正度合いの決定
送気送水検出部１６７は、内視鏡装置による送気処理、送水処理を検出する。具体的には送気量や送水量を検出する。送気とは空気を送ることで、例えば管状の部位を広げたりすることに用いられる。また、送水とは水を流すことで、例えば観察位置にある残渣を洗い流したりすることに用いられる。
1.3.7 Determination of Correction Level Based on Air / Water Supply Information The air / water detection unit 167 detects an air supply process and a water supply process by the endoscope apparatus. Specifically, the air supply amount and the water supply amount are detected. Air supply is used to expand a tubular portion, for example, by sending air. Moreover, water supply is used to wash away residues at the observation position, for example, by flowing water.
送気や送水が行われるケースでは、ドクターの目的はあくまで送気・送水であり、送気処理又は送水処理が終了するまでは観察や診断は行われないことが想定される。なにより、送気により被写体が細かく振動したり、送水により被写体上を水が流れているような状況では、効率的な位置ずれ補正を行うことは難しいと考えられる。そのため、送気送水検出部１６７により、送気量や送水量が所与の閾値以上であると判定された場合には、位置ずれの補正度合いは弱く設定する。 In the case where air supply or water supply is performed, the purpose of the doctor is merely air supply / water supply, and it is assumed that observation and diagnosis are not performed until the air supply process or the water supply process is completed. Above all, in a situation where the subject vibrates finely due to air supply or water is flowing over the subject due to water supply, it is considered difficult to perform efficient misalignment correction. For this reason, when the air / water supply detection unit 167 determines that the air supply amount or the water supply amount is equal to or greater than a given threshold value, the correction degree of the positional deviation is set weak.
１．４ 通常の電子式位置ずれ補正と弱い位置ずれ補正
まず、公知の技術である通常の電子式位置ずれ補正について図８を用いて説明する。図８の縦軸が時間軸であり、左側の画像が画像取得部１２０で取得されバッファ１４０に保持される画像（基準画像）である。また、右側の基準画像に比べて小さい領域を切り出した後の画像がユーザに対して提示される画像（抽出画像）である。そして、画像中の線で囲まれた領域が注目領域であるとする。
1.4 Normal Electronic Misalignment Correction and Weak Misalignment Correction First, normal electronic misregistration correction, which is a known technique, will be described with reference to FIG. The vertical axis in FIG. 8 is the time axis, and the left image is an image (reference image) acquired by the image acquisition unit 120 and held in the buffer 140. In addition, an image (extracted image) presented to the user is an image obtained by cutting out a region smaller than the reference image on the right. Then, it is assumed that an area surrounded by a line in the image is an attention area.
このとき、電子式位置ずれ補正では、常に注目領域が抽出画像の所定位置に来るような領域を、基準画像から抽出し抽出画像とする。図８の例では所定位置とは抽出画像の中央位置となっているが、これに限定されるものではない。 At this time, in the electronic misregistration correction, an area in which the attention area is always at a predetermined position of the extracted image is extracted from the reference image and is used as the extracted image. In the example of FIG. 8, the predetermined position is the center position of the extracted image, but is not limited to this.
まず時刻ｔ１では、注目領域が所定位置（中央位置）に来るような領域を抽出して、抽出画像とする。このようにすることで、注目領域を所定位置に表示するような抽出画像を取得できる。続いて時刻ｔ２では、ｔ１と同様に注目領域が所定位置（中央位置）に来るような領域を抽出して、抽出画像とするが、図８の例では、撮像部１３が右下方向にぶれたことにより、被写体が左上方向に移動してしまっている。そこで、ｔ２ではｔ１よりも左上方向に移動した領域を抽出領域とする。このようにすることで、時刻ｔ２においても所定位置に注目領域が位置するような画像を表示することができ、結果として、ｔ１、ｔ２の両方で注目領域の画像上位置が変化しないことになる。 First, at time t1, a region where the region of interest is at a predetermined position (center position) is extracted and used as an extracted image. In this way, it is possible to acquire an extracted image that displays the region of interest at a predetermined position. Subsequently, at time t2, similarly to t1, an area in which the attention area is located at a predetermined position (center position) is extracted and used as an extracted image. In the example of FIG. 8, the imaging unit 13 shakes in the lower right direction. As a result, the subject has moved in the upper left direction. Therefore, at t2, an area moved in the upper left direction from t1 is set as an extraction area. By doing so, it is possible to display an image in which the attention area is located at a predetermined position even at time t2, and as a result, the position of the attention area on the image does not change at both t1 and t2. .
また、時刻ｔ３以降も同様で、図８の例では撮像部１３が左方向にぶれたことにより、被写体が右方向に移動してしまっている。そこで、ｔ３では右方向に移動した領域を抽出領域とする。このようにすることで、時刻ｔ３においても、表示される画像（抽出画像）における注目領域の画像上位置が変化しないことになり、時系列的にブレのない動画像をユーザに提示することができる。 The same applies to time t3 and thereafter, and in the example of FIG. 8, the subject has moved to the right due to the imaging unit 13 moving to the left. Therefore, at t3, an area moved in the right direction is set as an extraction area. By doing in this way, the position on the image of the region of interest in the displayed image (extracted image) does not change even at time t3, and a moving image with no blur in time series can be presented to the user. it can.
次に、本実施形態の手法である弱い位置ずれ補正について図９を参照して説明する。図８と同様に、縦軸が時間軸、左側が基準画像、右側が抽出画像となっている。時刻Ｔ１での抽出態様は通常の電子式位置ずれ補正と同様であり、注目領域が抽出画像の所定位置に来るような領域を抽出する。 Next, the weak misalignment correction that is the method of the present embodiment will be described with reference to FIG. As in FIG. 8, the vertical axis is the time axis, the left side is the reference image, and the right side is the extracted image. The extraction mode at time T1 is the same as that of normal electronic displacement correction, and an area in which the attention area is located at a predetermined position of the extracted image is extracted.
次に時刻Ｔ２では、図９の例では被写体が左上方向に移動している。ここで、位置ずれ補正を全く行わない（ブレが生じた画像を取得する）場合には、直前の時刻Ｔ１と同じ位置の領域Ａ１を抽出することになる。Ａ１を抽出したときには、基準画像における注目領域の位置の変化が、そのまま抽出画像にも反映されることになる。それに対して、上述した通常の電子式位置ずれ補正を行った（ブレが全く生じない画像を取得する）場合には、図９のＡ２で示した領域を抽出することになる。Ａ２を抽出すれば、抽出画像においては位置ずれのない連続した画像を取得できる。 Next, at time T2, in the example of FIG. 9, the subject is moving in the upper left direction. Here, when no position shift correction is performed (an image with blurring is acquired), an area A1 at the same position as the previous time T1 is extracted. When A1 is extracted, the change in the position of the attention area in the reference image is directly reflected in the extracted image. On the other hand, when the above-described normal electronic displacement correction is performed (an image in which no blur occurs is acquired), the region indicated by A2 in FIG. 9 is extracted. If A2 is extracted, it is possible to obtain a continuous image without positional deviation in the extracted image.
本実施形態における弱い位置ずれ補正とは、Ａ１とＡ２の間に位置する領域であるＡ３を抽出領域とする手法である。このようにすることで、抽出画像においても位置ずれ事態は発生してしまうものの、基準画像における注目領域の位置ずれに比べて、抽出画像における位置ずれを小さく抑えることが可能になる。 The weak misalignment correction in the present embodiment is a method in which A3, which is an area located between A1 and A2, is used as an extraction area. By doing so, although a positional shift situation also occurs in the extracted image, the positional shift in the extracted image can be suppressed smaller than the positional shift of the attention area in the reference image.
また、時刻Ｔ３のように、注目領域が基準画像の端に近いところに位置する場合にも、Ａ１に対応する領域Ｂ１、及び、Ａ２に対応する領域Ｂ２を設定し、Ｂ１とＢ２の間に位置する領域を抽出領域とすればよい。ただし、この場合には、抽出領域Ｂ３の位置が問題となる。なぜなら、画像情報は基準画像の大きさ分しか取得されていない（基準画像の外側は画像情報が存在しない）ため、抽出領域が基準画像をはみ出すように設定されてしまうことは好ましくない。そのため、Ｂ３は基準画像からはみ出さない範囲で設定されることになる。図９の例で言えばＢ３はＢ２に比べてＢ１に近い位置に設定されることになる。 Further, even when the region of interest is located near the end of the reference image as at time T3, the region B1 corresponding to A1 and the region B2 corresponding to A2 are set, and between B1 and B2 The area that is positioned may be set as the extraction area. However, in this case, the position of the extraction region B3 becomes a problem. This is because the image information is acquired only for the size of the reference image (there is no image information outside the reference image), and it is not preferable that the extraction region is set to protrude from the reference image. Therefore, B3 is set in a range that does not protrude from the reference image. In the example of FIG. 9, B3 is set at a position closer to B1 than B2.
ここで、弱い位置ずれ補正を行うことのメリットについて説明する。通常の（ブレが生じない）位置ずれ補正を行っていると、抽出画像において注目領域が所定位置に来るようにする必要が生じる。そのため、図１０（Ａ）のような大きさの基準画像と、図１０（Ｂ）のような大きさの抽出画像及び注目領域を考えたとき、位置ずれ補正が可能な注目領域（もしくは抽出領域）の左上限界位置、右上限界位置、左下限界位置及び右下限界位置は図１０（Ｃ）〜図１０（Ｆ）のようになる。図１０（Ｃ）〜図１０（Ｆ）よりも外側に注目領域が移動した場合には、抽出領域が基準画像から外れてしまうことになり好ましくない。結果として、基準画像において位置ずれ補正が可能な注目領域の移動範囲は図１０（Ｇ）で示したＣ１に限定されてしまう。つまり、基準画像のＣ１以外の領域をＣ２としたときに、Ｃ１では完全に位置ずれ補正を行うことができる反面、Ｃ２では位置ずれ補正が行えない。つまり通常の電子式位置ずれ補正では、注目領域の位置に応じて位置ずれ補正を行うか行わないかの選択しかなく、挙動が極端になってしまう。 Here, the merit of performing the weak misalignment correction will be described. When the normal position shift correction (which does not cause blurring) is performed, it is necessary to make the attention area come to a predetermined position in the extracted image. Therefore, when considering a reference image having a size as shown in FIG. 10A and an extracted image and a region of interest as shown in FIG. 10B, a region of interest (or an extraction region) capable of correcting misalignment. The upper left limit position, the upper right limit position, the lower left limit position, and the lower right limit position of FIG. 10C are as shown in FIGS. If the region of interest moves outside of FIG. 10C to FIG. 10F, the extraction region will be out of the reference image, which is not preferable. As a result, the movement range of the attention area in which the positional deviation correction is possible in the reference image is limited to C1 shown in FIG. That is, when the region other than C1 of the reference image is C2, the displacement correction can be completely performed with C1, whereas the displacement correction cannot be performed with C2. That is, in the normal electronic misregistration correction, there is only a selection of whether or not to perform misregistration according to the position of the region of interest, and the behavior becomes extreme.
それに対して、弱い位置ずれ補正では、上述したようなＣ１、Ｃ２の区別がなく、基準画像内に注目領域を捉えられていれば、いつでも位置ずれ補正を行うことが可能となる。もちろん、弱い位置ずれ補正では、抽出画像においてもある程度の位置ずれを許容しているため、通常の位置ずれ補正のように全くブレのない画像を提供できるわけではない。しかし、位置ずれ補正を行わない場合に比べて、位置ずれの程度（ズレ量の大きさ）を小さくすることが可能になるという効果があり、かつ注目領域が基準画像の端に近い位置に移動したとしても効果を持続することが可能である。 On the other hand, in the weak misalignment correction, it is possible to perform misalignment correction at any time as long as there is no distinction between C1 and C2 as described above and the attention area is captured in the reference image. Of course, in the weak misalignment correction, a certain amount of misalignment is allowed even in the extracted image. Therefore, an image without any blur cannot be provided unlike the normal misalignment correction. However, it has the effect of making it possible to reduce the degree of misalignment (the amount of misalignment) compared to when no misalignment correction is performed, and the attention area moves to a position close to the edge of the reference image. Even if it does, it is possible to maintain the effect.
つまり、通常の位置ずれ補正を行う場合と、弱い位置ずれ補正を行う場合との挙動を比較した場合、通常の位置ずれ補正は、狭い範囲で完全に停止しているか、高速で移動してしまうかという段階的な変化をするのに対して、弱い位置ずれ補正では広い範囲で低速で移動することになる。ここで、狭い範囲、広い範囲とは、位置ずれ補正が可能な注目領域の移動範囲のことを指すものとする。 In other words, when comparing the behaviors of normal misalignment correction and weak misalignment correction, normal misalignment correction is either completely stopped within a narrow range or moved at high speed. In contrast to this stepwise change, the weak displacement correction moves at a low speed over a wide range. Here, the narrow range and the wide range indicate the movement range of the attention area in which the positional deviation correction is possible.
本実施形態を内視鏡装置に適用することを考えた場合、ユーザ（ドクター）は、注目領域を詳細に観察して、診断や処置を行うことになる。その場合、注目領域の画像上位置が極端に変化するよりも、多少のブレがあっても変化が少ない方が診断、処置には適していると考えられる。また、被写体（生体内の組織）は拍動等の理由により静止していないことが想定される。そのため、注目領域の画像上位置も頻繁に変化することが考えられる。その際、画像上位置の変化が図１０のＣ１に収まらないような場合には、通常の位置ずれ補正はほとんど機能しないことになり、弱い位置ずれ補正の優位性が高まることになる。 When considering the application of this embodiment to an endoscope apparatus, a user (doctor) observes a region of interest in detail and performs diagnosis and treatment. In that case, it is considered that the smaller the change even if there is some blurring, the more suitable for the diagnosis and treatment than the position of the attention area on the image changes extremely. Further, it is assumed that the subject (tissue in the living body) is not stationary due to pulsation or the like. For this reason, it is conceivable that the position of the attention area on the image also changes frequently. At this time, if the change in the position on the image does not fall within C1 in FIG. 10, normal positional deviation correction will hardly function, and the superiority of weak positional deviation correction will increase.
また、位置ずれ補正が稼働している状態から、急激な変化により、注目領域が基準画像から外れてしまう状態に移行してしまうケースも想定される。その場合、通常の位置ずれ補正では、注目領域は抽出画像の所定位置で静止していた状態から、画面から外れ観察できない状態へ変化することになる。そのため、注目領域の移動方向がわからず、見失った注目領域を再発見することが非常に困難である。それに対して、弱い位置ずれ補正では、位置ずれ補正が稼働している状態においても、ある程度のブレを許容しているため、大まかな動きの方向を判断することが可能である（これは、ユーザが判断してもよいし、システムが検出してもよい）。よって、基準画像から注目領域が外れてしまった場合でも、注目領域がフレーミングアウトしていく方向がわかるため、注目領域の再発見が容易になるというメリットがある。 In addition, there may be a case in which the region of interest shifts from the reference image due to a sudden change from the state in which the positional deviation correction is in operation. In that case, in the normal misalignment correction, the attention area changes from a state where it is stationary at a predetermined position of the extracted image to a state where it cannot be observed off the screen. For this reason, the moving direction of the attention area is unknown, and it is very difficult to rediscover the attention area that has been lost. On the other hand, in the weak misalignment correction, even if the misalignment correction is in operation, a certain amount of blur is allowed, so it is possible to determine the rough direction of movement (this is the May be determined or detected by the system). Therefore, even when the attention area is deviated from the reference image, the direction in which the attention area is framing out can be known, so that there is an advantage that it is easy to rediscover the attention area.
なお、上述した図１０を用いた例では、抽出画像にしめる注目領域の面積が大きければ（注目領域を拡大すれば）、Ｃ１の領域も大きくできると考えることも可能である。そのようにすれば、Ｃ１とＣ２の間での段階的な変化は抑止できる。しかし、このようなケースでも、通常の位置ずれ補正では、Ｃ１においてブレのない画像を提供している状態から、注目領域が基準画像から外れ観察できない状態へ、急激に移行してしまうことがありうることに変わりはない。むしろ、高倍率での観察を行っているとすれば、基準画像から注目領域が外れてしまう可能性が高くなり、注目領域を見失う可能性も高くなる。よって、注目領域の画像上での面積を大きくした場合であっても、上述したように、弱いブレ補正にメリットがあることには変わりがない。 In the example using FIG. 10 described above, it can be considered that the area of C1 can be increased if the area of the attention area to be included in the extracted image is large (if the attention area is enlarged). By doing so, a gradual change between C1 and C2 can be suppressed. However, even in such a case, the normal position deviation correction may cause a sudden shift from a state in which an image without blurring is provided in C1 to a state in which the region of interest is out of the reference image and cannot be observed. There is no change to what you can. Rather, if observation is performed at a high magnification, there is a high possibility that the attention area will be removed from the reference image, and there is a high possibility that the attention area will be lost. Therefore, even when the area of the attention area on the image is increased, as described above, there is no change in the advantage of the weak blur correction.
２．具体的な実施形態例
次に、実際の診断・観察処理を想定した、具体的な実施形態例について説明する。
2. Specific Embodiment Example Next, a specific embodiment example assuming actual diagnosis / observation processing will be described.
２．１ 下部内視鏡
まず、肛門から挿入し、大腸等を観察するために用いられる下部内視鏡の実施形態例について説明する。なお本例においては、下部内視鏡は、最初に挿入しきってしまい、引き抜きながら観察していくものとする。
2.1 Lower endoscope First, an embodiment of a lower endoscope that is inserted from the anus and used to observe the large intestine and the like will be described. In this example, it is assumed that the lower endoscope is completely inserted first and is observed while being pulled out.
ここで、内視鏡のスコープには図１の外装Ｓ０５の内部が含まれる。なお、照明光学系Ｓ０７や集光レンズＳ０８がある側が、スコープの先端部である。挿入時には撮像部１３，Ａ／Ｄ変換部１１０を通じて、画像取得部１２０において画像が取得されている。 Here, the scope of the endoscope includes the inside of the exterior S05 of FIG. Note that the side where the illumination optical system S07 and the condensing lens S08 are provided is the distal end of the scope. At the time of insertion, an image is acquired by the image acquisition unit 120 through the imaging unit 13 and the A / D conversion unit 110.
診断・観察処理が開始されると、まず、肛門から内視鏡を挿入する。この際、挿入可能なところまで挿入する（観察は引き抜きながら行う）。このようにすることで、生体内における観察位置の特定が容易になる。つまり、挿入時において、どの程度挿入することでどの部位に到達するかを認識することが出来る（例えば、Ｌ１ｃｍ〜Ｌ２ｃｍが下行結腸であり、Ｌ２ｃｍ〜Ｌ３ｃｍが横行結腸である等）ため、引き抜いた長さにより、どの部位のどの程度の位置を観察しているかがわかる。この挿入操作の際は、挿入しきってしまうことが目的であり、じっくりとは観察しないのでブレ補正は必要ない。そのため、ユーザのスコープを挿入するという操作やダイヤルの操作と連動して、抽出部１７０は、位置ずれの補正度合いの強弱を弱く（例えばオフに）設定する。 When the diagnosis / observation process is started, an endoscope is first inserted from the anus. At this time, it is inserted until it can be inserted (observation is performed while pulling out). In this way, the observation position in the living body can be easily specified. That is, at the time of insertion, it is possible to recognize how much is reached by insertion (for example, L1 cm to L2 cm is the descending colon, L2 cm to L3 cm is the transverse colon, etc.) The length indicates how much position of which part is observed. The purpose of this insertion operation is to completely insert, and since it is not observed carefully, no blur correction is necessary. Therefore, in conjunction with the operation of inserting the scope of the user or the operation of the dial, the extraction unit 170 sets the degree of correction of the positional deviation to be weak (for example, off).
挿入しきったら、次に、引き抜きながら観察していく。この際、まずは病変部等をサーチする必要があるため、広域に観察することが想定される。視野を広くして注目領域があるかどうか探している状態なのでブレ補正は必要ない。よって、ユーザの引き抜く操作と連動して補正の度合いを弱くする。 Once you have inserted it, observe it while pulling out. At this time, since it is necessary to search for a lesion or the like first, it is assumed that observation is performed over a wide area. Since we are looking for a region of interest with a wide field of view, no blur correction is required. Therefore, the degree of correction is weakened in conjunction with the user's pull-out operation.
広域観察中には、例えば注目領域検出部１６２において、注目領域の検出処理が行われている。ここで、注目領域検出部１６２により注目領域が検出されたら、検出された領域をじっくり観察するべきなのでなるべく静止した画を提示したい。よって、抽出部１７０は、注目領域検出部１６２で注目領域が検出されたら補正度合いを強くする制御を行う。一方、注目領域が検出されていない場合には位置ずれ補正は必要ないので補正度合いを弱くする制御を行う。つまり、注目領域検出部１６２での結果に応じて位置ずれ補正を制御することになる。 During wide-area observation, for example, the attention area detection unit 162 performs attention area detection processing. Here, when the attention area is detected by the attention area detection unit 162, the detected area should be observed carefully, so that it is desirable to present a still image as much as possible. Therefore, the extraction unit 170 performs control to increase the degree of correction when the attention region is detected by the attention region detection unit 162. On the other hand, when the attention area is not detected, the positional deviation correction is not necessary, so that the degree of correction is controlled to be weak. That is, the positional deviation correction is controlled according to the result of the attention area detection unit 162.
また、ユーザが気になる領域を見つけたとする。その場合、ユーザはじっくり観察するために挿入操作やダイヤル操作を止めることが想定される。よって、ユーザに対してブレの少ない静止した画像を提示する必要がある。そこで、所与の時間、挿入操作やダイヤル操作をしていないというのと連動して（挿入していない・ダイヤル操作をしていないという操作により制御されて）、抽出部１７０は、補正度合いを強くする制御を行う。 Also, assume that the user has found an area of concern. In that case, it is assumed that the user stops the insertion operation and the dial operation in order to observe carefully. Therefore, it is necessary to present a still image with less blur to the user. Accordingly, in conjunction with the fact that the insertion operation or dial operation is not performed for a given time (controlled by the operation of not inserting or dialing), the extraction unit 170 determines the correction degree. Control to strengthen.
また、領域検出以外にも、ユーザがある領域を大きく表示させて観察するために、当該領域に向けてスコープ先端を近づける操作を行う場合が考えられる。この場合、状況検出部１６０の停止近接検出部１６１では、エッジ検出などを行って検出したエッジ形状を、時間的に前後のフレームの画像で比較し、検出したエッジ形状の大きさが大きくなっていれば近づいていると判定する。そして、近づいていると判定されたら、抽出部１７０は、補正度合いを強くする制御を行い、特定領域の詳細観察を意図していると考えられるユーザに対して静止している動画像を提供する。 In addition to the area detection, there may be a case where the user performs an operation of bringing the scope tip closer to the area in order to display a large area and observe the area. In this case, the stop proximity detection unit 161 of the situation detection unit 160 compares the edge shapes detected by performing edge detection or the like with temporally preceding and subsequent frame images, and the size of the detected edge shape is increased. If it is, it is determined that it is approaching. When it is determined that the image is approaching, the extraction unit 170 performs control to increase the degree of correction, and provides a stationary moving image to a user who is thought to intend detailed observation of the specific region. .
生体内を観察している場合、観察しているところに残渣があるケースが想定される。この場合残渣は観察の邪魔になるため、ユーザは送水して洗い流すことが考えられる。送水しているときには得られる画像は、大きく変わるのでブレ補正が困難である。そもそも送水するときには残渣を洗い流すことが目的であり、観察しているわけではないのでブレ補正する必要がない。よって、抽出部１７０は、送気送水検出部１６７において送水操作していることが検出されたときには補正度合いを弱くする制御を行う。 When observing the inside of a living body, a case where there is a residue at the observed position is assumed. In this case, since the residue interferes with observation, the user can send water and wash it away. Since the image obtained when water is supplied changes greatly, blur correction is difficult. In the first place, when water is supplied, the purpose is to wash away the residue, and since there is no observation, there is no need to correct blur. Therefore, the extraction unit 170 performs control to weaken the correction degree when the air / water supply detection unit 167 detects that the water supply operation is performed.
なお、送気送水検出部１６７における検出処理は、操作部１３０による操作状況を取得することにより行ってもよい。この場合、操作部１３０の送水ボタン（不図示）が押下され送水タンクＳ１４から送水管Ｓ１５を通じて、水がスコープの先端から放出され、再度送水ボタンが押下されると水の放出が止まる。つまり、操作部１３０の操作情報を例えば操作量情報取得部１６６等で取得し、取得した情報に基づいて送気送水検出部１６７は送気処理、送水処理が行われたことを検出する。また、送水管Ｓ１５の先端にセンサを設けて、水が放出されているかを監視したり、送水タンクＳ１４の水の残量を監視することにより、送水しているかどうかの情報を取得してもよい。 In addition, you may perform the detection process in the air / water supply detection part 167 by acquiring the operation condition by the operation part 130. FIG. In this case, a water supply button (not shown) of the operation unit 130 is pressed and water is discharged from the distal end of the scope through the water supply pipe S15 from the water supply tank S14. When the water supply button is pressed again, the water discharge stops. That is, the operation information of the operation unit 130 is acquired by, for example, the operation amount information acquisition unit 166 and the air / water supply detection unit 167 detects that the air supply / water supply processing has been performed based on the acquired information. Also, a sensor is provided at the tip of the water supply pipe S15 to monitor whether water has been discharged or to monitor whether the water is remaining in the water supply tank S14, thereby obtaining information on whether or not water is being supplied. Good.
２．２ 上部内視鏡
次に口や鼻から挿入され、食道や胃等を観察するために用いられる上部内視鏡について説明する。
2.2 Upper endoscope Next, an upper endoscope that is inserted from the mouth or nose and used to observe the esophagus, stomach, etc. will be described.
観察処理が開始されると、まず、口（鼻）から内視鏡が挿入される。最初は、どんどん挿入している段階なので、ブレ補正をする必要がない。よって、ユーザによる操作部１３０の操作（スコープを挿入するという操作やダイヤルの操作）と連動して、抽出部１７０は、補正度合いを弱くする制御を行う。 When the observation process is started, first, an endoscope is inserted from the mouth (nose). At first, since it is inserting more and more, it is not necessary to carry out blur correction. Therefore, in conjunction with the operation of the operation unit 130 by the user (the operation of inserting a scope or the operation of the dial), the extraction unit 170 performs control to weaken the correction degree.
ここで、状況検出部１６０の操作量情報取得部１６６等において、例えば挿入した長さ情報を取得することで、単位時間あたりに挿入した長さがどれだけ長くなっていったかで挿入スピードを推測してもよい。挿入スピードが所与の閾値よりも大きければ、詳細観察のための挿入ではなく、初期段階（どんどん挿入している段階）であると判断できる。 Here, in the operation amount information acquisition unit 166 of the situation detection unit 160, for example, by acquiring the inserted length information, the insertion speed is estimated by how long the inserted length per unit time has become. May be. If the insertion speed is larger than a given threshold value, it can be determined that it is not the insertion for detailed observation but the initial stage (the stage where the insertion is steadily).
ある程度挿入することで、スコープ先端部が食道に達する。食道は心臓に近くその拍動によりほとんど動いている（ぶれている）状態であるため、ブレ補正を適切に行うことは困難である。よって、状況検出部１６０の部位検出部１６３により観察部位が食道と判定されたら、抽出部１７０は、補正度合いを弱くする（基本的にはオフにする）制御を行う。 By inserting it to some extent, the scope tip reaches the esophagus. Since the esophagus is close to the heart and is almost moving (blurred) due to its pulsation, it is difficult to perform blur correction appropriately. Therefore, when the site detection unit 163 of the situation detection unit 160 determines that the observation site is the esophagus, the extraction unit 170 performs control to weaken the correction degree (basically turn it off).
食道を移動中にユーザが気になる領域を見つけた場合には、ユーザに対して静止した画像を提示することが求められる。この場合、ユーザはじっくり観察するために挿入操作やダイヤル操作を止めることが想定される。よって、下部内視鏡の例で示したように、所与の時間、操作が行われなかったことを持って、ブレ補正をオンにする制御を行いたい。しかし心臓に近く動き量が大きいので、ブレ補正が効きにくい。その際には抽出部１７０は、補正度合いを弱くする制御を行えばよい。弱くブレ補正をかける方法の例は上述したとおりである。 When the user finds an area of concern while moving along the esophagus, it is required to present a stationary image to the user. In this case, it is assumed that the user stops the insertion operation and the dial operation in order to observe carefully. Therefore, as shown in the example of the lower endoscope, it is desired to perform control to turn on the blur correction with the fact that the operation has not been performed for a given time. However, since the amount of movement is close to the heart, blur correction is difficult to work. At that time, the extraction unit 170 may perform control to weaken the correction degree. An example of a weakly blurring correction method is as described above.
なお、部位の検出については状況検出部１６０の部位検出部１６３において行う。例えば、画像取得部１２０で取得され、バッファ１４０に格納された画像から、所定の部位を検出する認識処理を行えばよい。また、スコープの挿入長さを測定し、挿入長さと一般的な部位の長さとを比較することで、スコープの先端がどの部位にあるか推測してもよい。或いは、スコープの先端部に発信器を設置し、体表面に受信機を装着することで、スコープ先端が体内のどの位置にあるかを捕捉してもよい。この場合、一般的な体内の器官のマップと比較を行い、スコープの先端がどの器官にあるかを推測する。 The part detection is performed by the part detection unit 163 of the situation detection unit 160. For example, recognition processing for detecting a predetermined part from the image acquired by the image acquisition unit 120 and stored in the buffer 140 may be performed. Alternatively, the insertion length of the scope may be measured, and the insertion length may be estimated by comparing the insertion length with the length of a general part. Alternatively, a position of the scope tip in the body may be captured by installing a transmitter at the tip of the scope and mounting a receiver on the body surface. In this case, a comparison is made with a map of a general organ in the body to infer which organ has the tip of the scope.
更に挿入を続けることで、胃に到達する。胃に到達したかどうかの判断は部位検出部１６３で行う。進んでいるときはブレ補正の必要がない。よって、上述したように、ユーザのスコープを挿入するという操作やダイヤルの操作と連動して、抽出部１７０は、ブレ補正をオフにする制御を行う。 Continue to insert until you reach the stomach. The site detection unit 163 determines whether the stomach has been reached. There is no need for image stabilization when traveling. Therefore, as described above, the extraction unit 170 performs control to turn off the blur correction in conjunction with the operation of inserting the user's scope or the operation of the dial.
胃の中の観察では、ユーザは胃の壁面に病変などの注目領域があるか探す。この際、操作部１３０において、ダイヤル操作でアングルを変えることが想定される。サーチ中は特定の範囲を観察しているわけではないので、また、視点が大きく変わるため、ブレ補正は行われない。よって、ダイヤル操作と連動して、抽出部１７０は、ブレ補正をオフにする制御を行う。 In observation in the stomach, the user searches for a region of interest such as a lesion on the stomach wall. At this time, it is assumed that the operation unit 130 changes the angle by a dial operation. Since a specific range is not observed during the search, and the viewpoint changes greatly, blur correction is not performed. Therefore, in conjunction with the dial operation, the extraction unit 170 performs control to turn off the blur correction.
そして、サーチの結果ユーザが胃の壁面に気になる領域を見つけたとする。その場合、ユーザは拡大してじっくり観察したいのでズーム操作（ただし、所与の閾値よりも小さい倍率内でのズームであるとする）を行う。じっくり観察する場合にはブレの少ない画像を提示する必要があるため、ズーム操作に連動して、抽出部１７０は、ブレ補正をオンにする制御を行う。 Assume that the user finds an area of concern on the stomach wall as a result of the search. In that case, since the user wants to zoom in and observe carefully, the user performs a zoom operation (assuming that the zoom is within a magnification smaller than a given threshold). When observing carefully, it is necessary to present an image with less blur, and the extraction unit 170 performs control to turn on blur correction in conjunction with the zoom operation.
また、ズームレンズＳ１３と撮像素子Ｓ０８を前方（スコープの先端側）に動作させることで、集光レンズＳ０８で集められた光を拡大させて拡大画像を取得することができる。或いは、画像取得部１２０で取得されている画像に対して、画像拡大処理（デジタルズーム）を行うことで拡大画像を取得してもよい。これらの場合にも、倍率取得部１６５により、倍率情報を取得して、操作状況情報として抽出部１７０に送信する。 Further, by operating the zoom lens S13 and the image sensor S08 forward (to the distal end side of the scope), it is possible to enlarge the light collected by the condenser lens S08 and obtain an enlarged image. Alternatively, an enlarged image may be acquired by performing image enlargement processing (digital zoom) on the image acquired by the image acquisition unit 120. Also in these cases, the magnification information is acquired by the magnification acquisition unit 165 and transmitted to the extraction unit 170 as operation status information.
そして、場合によっては発見した病変に対してその場で切り取る等の処置を行う。この場合、スコープの先端から鉗子等の処置具を出して処置を行う。処置具での処置の際には本当はブレのない画像が望ましいが、被写体のブレと処置具とのブレは同期しておらず、被写体をベースにブレ補正を行ってしまうと処置具の方がブレてしまうので、ブレ補正を行わない。 In some cases, the detected lesion is treated on the spot. In this case, a treatment tool such as forceps is taken out from the distal end of the scope to perform the treatment. When treating with a treatment tool, an image with no blur is actually desirable, but the blur of the subject and the blur of the treatment tool are not synchronized, and if the blur correction is performed based on the subject, the treatment tool is better. Do not perform blur correction because it causes blurring.
具体的には、ユーザは挿入口Ｓ１１から処置具を挿入して誘導管Ｓ１２をたどらせ、誘導管Ｓ１２の先から出して処置を行う。状況検出部１６０では、処置具を挿入している情報を取得する。その取得は例えば、誘導管Ｓ１２の先端にセンサ（不図示）を設けて処置具が飛び出しているかどうかを監視してもよいし、誘導管Ｓ１２の長さと処置具の挿入長さとの比較から処置具が誘導管Ｓ１２の先から出ているかという判断をしてもよい。処置具が誘導管Ｓ１２の先から出ていたら抽出部１７０では、位置ズレの補正を考慮せずに抽出画像を抽出する。 Specifically, the user inserts the treatment tool from the insertion port S11 to follow the guide tube S12, and performs the treatment by taking it out from the tip of the guide tube S12. The status detection unit 160 acquires information on the treatment tool being inserted. For example, a sensor (not shown) may be provided at the distal end of the guide tube S12 to monitor whether or not the treatment tool has popped out, and the acquisition may be performed by comparing the length of the guide tube S12 with the insertion length of the treatment tool. It may be determined whether the tool has come out of the tip of the guide tube S12. If the treatment tool comes out from the tip of the guide tube S12, the extraction unit 170 extracts the extracted image without considering the correction of the positional deviation.
以上の本実施形態では、画像処理装置は、図１に示したように、内視鏡装置の撮像部１３による連続的な撮像により、基準画像を連続的に取得する画像取得部１２０と、内視鏡装置の操作状況を検出し、検出結果を表す操作状況情報を取得する状況検出部１６０と、基準画像から抽出領域を抽出し抽出画像を取得する抽出部１７０とを含む。そして抽出部１７０は、操作状況情報に基づいて、被検体像の位置ずれの補正度合いの強弱を決定し、決定した補正度合いの強弱に対応した抽出態様に従って、基準画像から抽出画像を抽出する。 In the above-described embodiment, as illustrated in FIG. 1, the image processing apparatus includes an image acquisition unit 120 that continuously acquires a reference image by continuous imaging by the imaging unit 13 of the endoscope apparatus, A situation detection unit 160 that detects an operation situation of the endoscope apparatus and obtains operation situation information representing a detection result, and an extraction unit 170 that extracts an extraction region from the reference image and obtains an extraction image are included. Then, the extraction unit 170 determines the level of correction of the positional deviation of the subject image based on the operation status information, and extracts the extracted image from the reference image according to the extraction mode corresponding to the determined level of correction.
ここで、操作状況情報とは、内視鏡装置の状況情報を検出することにより取得される。状況情報とは内視鏡装置が操作されることにより検出される情報等である。ここでの操作とは、内視鏡装置のスコープ部の操作に限定されるものではなく、内視鏡装置全体の操作をも含むものとする。そのため、操作状況情報には、スクリーニングという内視鏡装置の操作状況に基づく、注目領域の検出という状況も含まれうる。 Here, the operation status information is acquired by detecting status information of the endoscope apparatus. The situation information is information detected by operating the endoscope apparatus. The operation here is not limited to the operation of the scope unit of the endoscope apparatus, but also includes the operation of the entire endoscope apparatus. For this reason, the operation status information can also include a situation of attention area detection based on the operation status of the endoscope apparatus called screening.
これにより、操作状況情報を取得した上で、取得した操作状況情報に基づいて位置ずれの補正度合いの強弱を決定することができる。そして、決定した補正度合いの強弱に対応した抽出態様で抽出画像を抽出する。よって、操作状況に対応させて適切な強さで位置ずれの補正を行うことが可能になる。なお、弱い位置ずれ補正を行うことのメリットは上述したとおりである。 Thereby, after acquiring the operation status information, it is possible to determine the strength of the correction degree of the positional deviation based on the acquired operation status information. Then, an extracted image is extracted in an extraction manner corresponding to the determined degree of correction. Therefore, it is possible to correct the misalignment with an appropriate strength corresponding to the operation situation. The merit of performing the weak misalignment correction is as described above.
また、抽出部１７０は、操作状況情報に基づいて位置ずれの補正度合いの強弱を決定し、決定した補正度合いの強弱に基づいて、基準画像における抽出領域の位置を決定してもよい。 In addition, the extraction unit 170 may determine the degree of correction of the positional deviation based on the operation status information, and may determine the position of the extraction region in the reference image based on the determined degree of correction.
これにより、補正度合いの強弱に対応した抽出態様として、基準画像における抽出領域の位置を変化させる抽出手法を用いることが可能になる。具体的には例えば、図９に示したように、位置ずれ補正を行わないＡ１と、完全に位置ずれ補正を行うＡ２との間に位置する領域Ａ３の位置を変化させる。図９の例では、Ａ１に近づけるほど位置ずれの補正度合いは弱くなり、Ａ２に近づけるほど位置ずれの補正度合いは強くなる。 This makes it possible to use an extraction method that changes the position of the extraction region in the reference image as an extraction mode corresponding to the degree of correction. Specifically, for example, as shown in FIG. 9, the position of a region A3 located between A1 where no misregistration correction is performed and A2 where complete misregistration correction is performed is changed. In the example of FIG. 9, the closer to A1, the weaker the degree of correction of misalignment, and the closer to A2, the stronger the degree of misalignment correction.
また、状況検出部１６０は、内視鏡装置のスコープ部が停止しているか否かの情報を操作状況情報として取得し、抽出部１７０は、操作状況情報により内視鏡装置のスコープ部が停止していると判断された場合には、位置ずれの補正度合いを強くする。具体的には例えば、内視鏡装置の操作部が所与の期間操作されていないことを検出した場合に、スコープ部が停止していると判断すればよい。 Further, the status detection unit 160 acquires information as to whether or not the scope unit of the endoscope apparatus is stopped as operation status information, and the extraction unit 170 stops the scope unit of the endoscope apparatus based on the operation status information. If it is determined that the position is corrected, the correction degree of the positional deviation is increased. Specifically, for example, when it is detected that the operation unit of the endoscope apparatus has not been operated for a given period, it may be determined that the scope unit is stopped.
ここで、位置ずれの補正度合いを強くするとは、スコープ部が停止していると判断されなかった場合よりも強くすることを意味する。また、補正度合いを強くするとは、所与の基準よりも強くする絶対的な変化を意味する場合もあるし、前の時刻よりも強くするという相対的な変化を意味する場合もある。なお、補正度合いを弱くする場合も、絶対的な変化と相対的な変化の両方のケースが考えられる。また、位置ずれの補正度合いを強くするとは位置ずれ補正の機能をオンにする場合も含まれるものとする。同様に、位置ずれの補正度合いを弱くするとは位置ずれ補正の機能をオフにする場合も含まれる。 Here, to increase the degree of correction of the positional deviation means to increase the degree of correction compared to the case where it is not determined that the scope unit is stopped. Further, increasing the degree of correction may mean an absolute change that is stronger than a given reference, or it may mean a relative change that is stronger than the previous time. Note that both the absolute change and the relative change can be considered when the correction degree is weakened. Further, increasing the misalignment correction level includes a case where the misalignment correction function is turned on. Similarly, weakening the degree of misalignment correction includes turning off the misalignment correction function.
これにより、スコープ部が停止していると判断された場合には、位置ずれの補正度合いを強くすることが可能になる。スコープ部が停止している状況では、取得された基準画像における注目領域の画像上位置は大きく変化しないと考えられるため、強い位置ずれ補正をかけても支障がないと考えられる。また、スコープ部が停止しているときには、ドクターが特定の領域を詳細に観察しようとしていることが考えられるため、強い位置ずれ補正をかけてブレのすくない動画像を提供することが望ましく、その要求にも合致することになる。 Thereby, when it is determined that the scope unit is stopped, the correction degree of the positional deviation can be increased. In a situation where the scope portion is stopped, it is considered that the position on the image of the region of interest in the acquired reference image does not change greatly, so that it is considered that there is no problem even if strong misalignment correction is performed. In addition, when the scope unit is stopped, it is possible that the doctor is trying to observe a specific area in detail, so it is desirable to provide a moving image that is not blurred by applying strong positional deviation correction. It will also match.
また、状況検出部１６０は、内視鏡装置のスコープ部が被検体に接近しているか否かの情報を操作状況情報として取得し、抽出部１７０は、操作状況情報により内視鏡装置のスコープ部が被検体に接近していると判断された場合には、位置ずれの補正度合いを強くする。具体的には例えば、基準画像にラプラシアンフィルタ等を適用し、被検体のエッジ形状を抽出した上で、エッジ形状の大きさの変化に基づいて、接近しているか否かを検出してもよい。また例えば、基準画像において複数の局所領域を設定し、局所領域間の距離情報の変化に基づいて接近しているか否かを検出してもよい。ここで、領域間の距離情報とは、各局所領域に設定された基準位置（例えば中央位置の座標情報）間の距離情報とすればよい。 In addition, the situation detection unit 160 acquires information as to whether or not the scope unit of the endoscope apparatus is approaching the subject as operation status information, and the extraction unit 170 acquires the scope of the endoscope apparatus based on the operation status information. When it is determined that the part is approaching the subject, the degree of correction of the positional deviation is increased. Specifically, for example, a Laplacian filter or the like may be applied to the reference image to extract the edge shape of the subject and then detect whether or not the object is approaching based on a change in the size of the edge shape. . Further, for example, a plurality of local regions may be set in the reference image, and it may be detected whether or not they are approaching based on a change in distance information between the local regions. Here, the distance information between the areas may be distance information between reference positions (for example, coordinate information of the center position) set in each local area.
ここで、位置ずれの補正度合いを強くするとは、スコープ部が被検体に接近していると判断されなかった場合よりも強くすることを意味する。 Here, to increase the degree of correction of the positional deviation means to make it stronger than when it is not determined that the scope unit is approaching the subject.
これにより、スコープ部が被検体に接近していると判断された場合には、位置ずれの補正度合いを強くすることが可能になる。スコープが被検体に接近している状況では、ユーザが対象の被検体を拡大して、より詳細に観察しようとしていることが想定されるため、位置ずれの補正度合いを強くすることで、ブレのすくない動画像を提供することができる。その際の接近を検出する手法は任意であり、例えば、被写体のエッジ形状が大きくなっているとき、もしくは設定された複数の局所領域間の距離情報が大きくなっているときに、被検体に接近していると判断すればよい。 Thereby, when it is determined that the scope unit is approaching the subject, the degree of correction of the positional deviation can be increased. In a situation where the scope is close to the subject, it is assumed that the user is magnifying the subject and wants to observe it in more detail. A poor moving image can be provided. The method for detecting the approach at that time is arbitrary. For example, the approach to the subject is performed when the edge shape of the subject is large or the distance information between a plurality of set local regions is large. You can judge that you are doing.
また、状況検出部１６０は、基準画像内において注目領域を検出したか否かの情報を操作状況情報として取得し、抽出部１７０は、操作状況情報により注目領域が検出されたと判断された場合には、位置ずれの補正度合いを強くしてもよい。 Further, the situation detection unit 160 acquires information as to whether or not the attention area has been detected in the reference image as operation situation information, and the extraction section 170 determines that the attention area has been detected based on the operation situation information. May increase the degree of correction of misalignment.
ここで、位置ずれの補正度合いを強くするとは、注目領域が検出されたと判断されなかった場合よりも強くすることを意味する。また、注目領域とは、ユーザにとって観察の優先順位が他の領域よりも相対的に高い領域であり、例えば、ユーザがドクターであり治療を希望した場合、粘膜部や病変部を写した領域を指す。また、他の例として、ドクターが観察したいと欲した対象が泡や便であれば、注目領域は、その泡部分や便部分を写した領域になる。すなわち、ユーザが注目すべき対象は、その観察目的によって異なるが、いずれにしても、その観察に際し、ユーザにとって観察の優先順位が他の領域よりも相対的に高い領域が注目領域となる。注目領域をシステムが自動的に検出する場合には、図１５に示したように、ユーザに対して注目領域を検出した旨を知らせてもよい。図１５の例では画面の下部に特定の色のラインを表示している。 Here, to increase the degree of correction of the positional deviation means to increase it compared to the case where it is not determined that the attention area has been detected. In addition, the attention area is an area where the priority of observation for the user is relatively higher than other areas. For example, when the user is a doctor and desires treatment, an area in which a mucous membrane part or a lesion part is copied is displayed. Point to. As another example, if the object that the doctor wants to observe is a bubble or stool, the region of interest is a region in which the bubble or stool portion is copied. In other words, the object that the user should pay attention to depends on the purpose of observation, but in any case, in the observation, an area in which the priority of observation for the user is relatively higher than other areas is the attention area. When the system automatically detects the attention area, as shown in FIG. 15, the user may be notified that the attention area has been detected. In the example of FIG. 15, a line of a specific color is displayed at the bottom of the screen.
これにより、基準画像において注目領域を検出した場合には、位置ずれの補正度合いを強くすることが可能になる。注目領域は上述したようにユーザにとって観察の優先順位が他の領域よりも高い領域であるため、注目領域が検出された場合には、ユーザは注目領域を詳細に観察することが想定される。そのため、位置ずれの補正度合いを強くして、ブレの少ない動画像を提供する。 Thereby, when the attention area is detected in the reference image, the degree of correction of the positional deviation can be increased. As described above, the attention area is an area where the priority of observation for the user is higher than the other areas. Therefore, when the attention area is detected, it is assumed that the user observes the attention area in detail. For this reason, a moving image with less blur is provided by increasing the degree of correction of positional deviation.
また、状況検出部１６０は、内視鏡装置のスコープ部が位置する部位に関する情報を操作状況情報として取得し、抽出部１７０は、操作状況情報によりスコープ部が所与の部位に位置すると判断された場合には、注目領域が検出されたとしても、位置ずれの補正度合いを強くせずに弱くしてもよい。 In addition, the situation detection unit 160 acquires information on a part where the scope unit of the endoscope apparatus is located as operation situation information, and the extraction unit 170 determines that the scope part is located at a given part based on the operation situation information. In this case, even if the attention area is detected, the correction degree of the positional deviation may be weakened without increasing it.
ここで、位置ずれの補正度合いを弱くするとは、スコープ部が所与の部位に位置すると判断されなかった場合よりも弱くすることを意味する。 Here, making the correction degree of the positional deviation weak means making it weaker than the case where it is not determined that the scope portion is located at a given part.
これにより、所与の部位を観察している場合には、注目領域が検出されたとしても位置ずれの補正度合いを弱くすることが可能になる。ここでの所与の部位とは例えば食道等である。食道等は心臓に近いため拍動の影響を強く受ける。そのため、食道を観察しているときは被写体が大きく動いてしまい、強いブレ補正をかけても機能しないことが考えられる。そのため、食道等を観察しているときには位置ずれの補正度合いを弱くする。 As a result, when a given part is observed, the degree of correction of the positional deviation can be weakened even if the attention area is detected. The given part here is, for example, the esophagus. Because the esophagus is close to the heart, it is strongly affected by pulsation. For this reason, when observing the esophagus, the subject may move greatly, and it may not function even if strong blur correction is applied. Therefore, when observing the esophagus or the like, the correction degree of the positional deviation is weakened.
また、状況検出部１６０は、基準画像の画素の特徴量に基づいて、内視鏡装置のスコープ部が位置する部位を検出してもよい。また、スコープ部が被験者の体内に挿入された長さを表す挿入長と、基準長とを比較することでスコープ部が位置する部位を検出してもよい。 Further, the situation detection unit 160 may detect a part where the scope unit of the endoscope apparatus is located based on the feature amount of the pixel of the reference image. Moreover, you may detect the site | part in which a scope part is located by comparing the insertion length showing the length by which the scope part was inserted in the test subject's body, and reference | standard length.
ここで、基準長とは、挿入長と部位の位置とを対応付けるものである。例えば、基準長としては被験者の性別、年齢から想定される一般的な体内器官の長さを用いることが考えられる。挿入開始地点（例えば肛門等）からＬ１ｃｍ〜Ｌ２ｃｍが下行結腸であり、Ｌ２ｃｍ〜Ｌ３ｃｍが横行結腸であるといったような情報を基準長として保持しておけば、挿入長と基準腸を比較することで部位を推定できる。例えば、挿入長がＬ２＜Ｌ４＜Ｌ３となる長さＬ４だったとすれば、上述の例ではスコープ部は横行結腸に位置すると推定できる。 Here, the reference length associates the insertion length with the position of the part. For example, it is conceivable to use the length of a general body organ assumed from the sex and age of the subject as the reference length. If information such as L1cm to L2cm is the descending colon and L2cm to L3cm is the transverse colon from the insertion start point (for example, anus) is maintained as the reference length, the insertion length can be compared with the reference intestine. The site can be estimated. For example, if the insertion length is a length L4 that satisfies L2 <L4 <L3, it can be estimated that the scope portion is located in the transverse colon in the above example.
これにより、画像処理、或いは、挿入長と基準長との比較に基づいて、スコープ部が位置する部位を推定することが可能になる。 Accordingly, it is possible to estimate a part where the scope unit is located based on image processing or a comparison between the insertion length and the reference length.
また、状況検出部１６０は、撮像部１３が拡大観察状態か否かの情報を操作状況情報として取得し、抽出部１７０は、操作状況情報により撮像部１３が拡大観察状態であると判断された場合には、位置ずれの補正度合いを弱くしてもよい。 In addition, the situation detection unit 160 acquires information as to whether or not the imaging unit 13 is in the enlarged observation state as operation status information, and the extraction unit 170 determines that the imaging unit 13 is in the enlarged observation state based on the operation situation information. In such a case, the correction degree of the positional deviation may be weakened.
ここで、位置ずれの補正度合いを弱くするとは、撮像部１３が拡大観察状態であると判断されなかった場合よりも弱くすることを意味する。 Here, to weaken the correction degree of the positional deviation means to make it weaker than when the imaging unit 13 is not determined to be in the magnified observation state.
これにより、撮像部１３が拡大観察状態にあると判断された場合には、位置ずれの補正度合いを弱くすることが可能になる。内視鏡の拡大観察とは、例えば１００倍以上の高倍率での観察が想定される。そのため、基準画像として取得される被写体の範囲は非常に狭い領域になっており、少しのブレでも被写体の画像上位置は大きく変化してしまう。そのため、強いブレ補正をかけても効果は期待できないため、補正度合いを弱くする。 Thereby, when it is determined that the imaging unit 13 is in the magnified observation state, it is possible to weaken the degree of correction of the positional deviation. The enlarged observation of the endoscope is assumed to be observation at a high magnification of, for example, 100 times or more. For this reason, the range of the subject acquired as the reference image is a very narrow region, and even if there is a slight blur, the position of the subject on the image changes greatly. For this reason, the effect cannot be expected even if strong blur correction is applied, and the correction degree is weakened.
また、状況検出部１６０は、拡大観察状態にある内視鏡装置の撮像部１３のズーム倍率に関する情報を操作状況情報として取得し、抽出部１７０は、ズーム倍率が所与の閾値より小さいときにはズーム倍率が大きくなるほど補正度合いを強くし、ズーム倍率が所与の閾値よりも大きいときにはズーム倍率が大きくなるほど補正度合いを弱くしてもよい。この際、基準補正度合いよりも弱いことを前提とする。 Further, the situation detection unit 160 acquires information on the zoom magnification of the imaging unit 13 of the endoscope apparatus in the magnified observation state as operation situation information, and the extraction unit 170 zooms when the zoom magnification is smaller than a given threshold value. The degree of correction may be increased as the magnification is increased, and the degree of correction may be decreased as the zoom magnification is increased when the zoom magnification is greater than a given threshold. At this time, it is assumed that the degree of correction is weaker than the standard correction degree.
ここで、基準補正度合いとは、補正度合いの絶対的な基準となる補正度合いの強度のことであり、図６においては点線で示された補正度合いの強度に対応する。 Here, the reference correction degree is the intensity of the correction degree that is an absolute reference of the correction degree, and corresponds to the intensity of the correction degree indicated by the dotted line in FIG.
これにより、図６に示したような補正度合いの制御が可能になる。ユーザがズーム倍率を上げる操作を行うときには、特定の領域を詳細に観察しようとしていることが想定されるため、位置ずれの補正度合いは強くすることが基本となる。これは、被検体にスコープ部を接近させるケースと同様である。そのため、ある程度（所与の閾値以下の範囲）まではズーム倍率が大きくなるほど補正度合いも強くする。ただし、倍率が大きくなるほど、上述したように、少しのブレでも被写体の画像上位置が大きく変化してしまうことによる影響を無視できなくなってくる。この場合には、強いブレ補正をかけても効果が期待できないため、ズーム倍率が大きくなるほど（ブレの影響が強くなるほど）位置ずれの補正度合いを弱くする制御を行う。 This makes it possible to control the degree of correction as shown in FIG. When the user performs an operation to increase the zoom magnification, it is assumed that a specific area is to be observed in detail, so that the correction degree of the positional deviation is basically increased. This is the same as the case where the scope unit is brought close to the subject. Therefore, the degree of correction increases as the zoom magnification increases up to a certain level (a range below a given threshold). However, as the magnification increases, as described above, the influence of a large change in the position of the subject on the image cannot be ignored even with a slight blur. In this case, since an effect cannot be expected even if strong blur correction is performed, control is performed to reduce the degree of correction of positional deviation as the zoom magnification increases (the influence of blur increases).
また、状況検出部１６０は、ユーザによる内視鏡装置のダイヤルの操作量に関する情報を操作状況情報として取得し、抽出部１７０は、ダイヤルの操作量が所与の基準操作量よりも大きい場合には、位置ずれの補正度合いを弱くしてもよい。 In addition, the situation detection unit 160 acquires information related to the operation amount of the dial of the endoscope apparatus by the user as operation state information, and the extraction unit 170 determines that the operation amount of the dial is larger than a given reference operation amount. May weaken the degree of correction of misalignment.
ここで、位置ずれの補正度合いを弱くするとは、ダイヤルの操作量が基準操作量よりも大きいと判断されなかった場合よりも弱くすることを意味する。 Here, to weaken the correction degree of the positional deviation means to make it weaker than when it is not determined that the dial operation amount is larger than the reference operation amount.
これにより、図１１に示したように、ダイヤルの操作量が大きい場合には位置ずれの補正度合いを弱くすることが可能になる。ダイヤルの操作は例えば、内視鏡装置のスコープ部の先端の移動量に相当する。そのため、ダイヤルの操作量が大きいとは、スコープを大きく移動させていることに相当することになる。よって、そのような場合には、ユーザは特定の領域を観察しているのではなく、スクリーニング操作等を行っていると考えられるため、位置ずれの補正度合いは弱く設定する。 As a result, as shown in FIG. 11, when the dial operation amount is large, it is possible to weaken the correction degree of the positional deviation. The dial operation corresponds to, for example, the amount of movement of the distal end of the scope unit of the endoscope apparatus. Therefore, a large dial operation amount corresponds to a large movement of the scope. Therefore, in such a case, it is considered that the user is not observing a specific area but is performing a screening operation or the like, and therefore the degree of correction of the positional deviation is set weak.
また、状況検出部１６０は、内視鏡装置の送気時における送気量、または、送水時における送水量に関する情報を操作状況情報として取得し、抽出部１７０は、送気量又は送水量が所与の閾値よりも大きい場合には、位置ずれの補正度合いを弱くしてもよい。 In addition, the situation detection unit 160 acquires the air supply amount at the time of air supply of the endoscope apparatus or information on the water supply amount at the time of water supply as operation status information, and the extraction unit 170 determines whether the air supply amount or the water supply amount is If it is larger than a given threshold value, the degree of correction of misalignment may be weakened.
ここで、位置ずれの補正度合いを弱くするとは、送気量又は送水量が所与の閾値よりも大きいと判断されなかった場合よりも弱くすることを意味する。 Here, weakening the degree of correction of positional deviation means making it weaker than when it is not determined that the air supply amount or the water supply amount is larger than a given threshold value.
これにより、図１２に示したように、送気量、送水量が大きい場合には、位置ずれの補正度合いを弱くすることが可能になる。送気量又は送水量が所与の閾値よりも大きいときには、ユーザは送気又は送水操作を行うことを目的としており、その際には観察に主眼をおいていないと考えられる。また、送水操作により水が流されていては被検体の観察そのものが困難である。よってこのような場合には位置ずれ補正を行っても効果がないため、補正度合いを弱くする。 Thereby, as shown in FIG. 12, when the air supply amount and the water supply amount are large, it is possible to weaken the correction degree of the positional deviation. When the air supply amount or the water supply amount is larger than a given threshold, the user intends to perform an air supply or water supply operation, and at that time, it is considered that the focus is not on observation. In addition, it is difficult to observe the subject itself when water is flown by the water supply operation. Therefore, in such a case, even if the positional deviation correction is performed, there is no effect, so the correction degree is weakened.
また、画像処理装置は、基準画像の画素の画素値に基づいて、基準画像から同一の被検体像を含む領域である位置ずれ補正対象領域を検出する位置ずれ補正対象領域検出部を含み、抽出部１７０は、位置ずれ補正対象領域の位置に応じて抽出領域の位置を変更してもよい。具体的には、位置ずれ補正対象領域が抽出領域内の所定の位置に来るように抽出領域の位置を変更してもよい。 In addition, the image processing apparatus includes a misregistration correction target region detection unit that detects a misregistration correction target region that is a region including the same subject image from the reference image based on the pixel value of the pixel of the reference image, and extracts The unit 170 may change the position of the extraction region according to the position of the position deviation correction target region. Specifically, the position of the extraction region may be changed so that the position shift correction target region is located at a predetermined position in the extraction region.
これにより、位置ずれの補正度合いの強弱に対応した抽出態様として、位置ずれ補正対象領域に応じた抽出領域の位置の変更を行う手法を用いることが可能になる。具体的には、位置ずれ補正対象領域が抽出領域内の所定の位置（例えば中央位置）に来るように抽出領域の位置を変更する態様が考えられる。 As a result, it is possible to use a method of changing the position of the extraction region according to the position shift correction target region as an extraction mode corresponding to the degree of correction of the position shift. Specifically, a mode is conceivable in which the position of the extraction region is changed so that the position deviation correction target region is located at a predetermined position (for example, the center position) in the extraction region.
また、位置ずれ補正を行わない場合の抽出領域の位置を第１の抽出領域位置とし、完全な位置ずれ補正を行った場合（抽出画像において被検体の位置ずれがない場合）の抽出領域の位置を第２の抽出領域位置とした場合に、抽出部１７０は、位置ずれの補正度合いの強弱を弱くする場合には、第１の抽出領域位置と第２の抽出領域位置の間の位置にある領域を抽出領域として設定する。 In addition, the position of the extraction region when no positional deviation correction is performed is set as the first extraction region position, and the position of the extraction region when complete positional deviation correction is performed (when there is no positional deviation of the subject in the extracted image). Is the second extraction region position, the extraction unit 170 is at a position between the first extraction region position and the second extraction region position when weakening the degree of correction of the positional deviation. Set the area as the extraction area.
ここで、各領域（第１の抽出領域位置に対応する領域、第２の抽出領域位置に対応する領域、抽出領域）の位置関係は、各領域に設定された基準位置の位置関係に基づいて判断するものとする。基準位置とは、領域に対応して設定される位置情報のことであり、例えば領域の中央位置の座標情報や、領域の左下端の座標情報等である。つまり、抽出領域が第１の抽出領域位置と第２の抽出領域位置の間にあるとは、第１の抽出領域位置に対応する領域の基準位置と、第２の抽出領域位置に対応する領域の基準位置との間に、抽出領域の基準位置が存在するということである。 Here, the positional relationship between the regions (the region corresponding to the first extraction region position, the region corresponding to the second extraction region position, and the extraction region) is based on the positional relationship of the reference position set in each region. It shall be judged. The reference position is position information set corresponding to the area, and is, for example, coordinate information of the center position of the area, coordinate information of the lower left corner of the area, or the like. That is, that the extraction region is between the first extraction region position and the second extraction region position means that the reference position of the region corresponding to the first extraction region position and the region corresponding to the second extraction region position This means that the reference position of the extraction region exists between the reference position and the reference position.
これにより、図９に示したような、弱い位置ずれ補正を行うことが可能になる。具体的な手法や、手法の利点等は上述したとおりである。 As a result, it is possible to perform weak misalignment correction as shown in FIG. Specific methods and advantages of the methods are as described above.
また、画像処理装置は、表示制御部１８０を含んでもよい。表示制御部１８０は、抽出部１７０により抽出された抽出画像を連続して表示する制御を行ってもよいし、補正度合いを表す補正度合い情報を表示する制御を行ってもよい。 In addition, the image processing apparatus may include a display control unit 180. The display control unit 180 may perform control to continuously display the extracted images extracted by the extraction unit 170, or may perform control to display correction degree information indicating the correction degree.
これにより、抽出部１７０により抽出された抽出画像を表示することが可能になるとともに、抽出画像を取得する際に用いられた位置ずれの補正度合いの強弱の情報を表示することも可能になる。 As a result, it is possible to display the extracted image extracted by the extracting unit 170, and it is also possible to display information on the strength of the degree of correction of the positional deviation used when acquiring the extracted image.
また、本実施形態の手法は、上述してきた画像処理装置と、内視鏡スコープとを含む内視鏡装置に関係する。 Further, the technique of the present embodiment relates to an endoscope apparatus that includes the image processing apparatus described above and an endoscope scope.
これにより、画像処理装置にとどまらず、内視鏡装置にも本実施形態の手法を適用し、上述の効果を得ることが可能になる。 As a result, not only the image processing apparatus but also the endoscope apparatus can be applied to obtain the above-described effects by applying the method of the present embodiment.
また、本実施形態の手法は、撮像部１３による連続的な撮像処理によって、被検体像を含む画像である基準画像を連続的に取得し、内視鏡装置の操作状況を検出しその検出結果を示す操作状況情報を取得し、基準画像から被検体像を含む領域を抽出領域として抽出し、抽出画像を取得する際に、操作状況情報に基づいて、被検体像の位置ずれの補正度合いの強弱を決定し、決定した補正度合いの強弱に対応した抽出態様に従って、基準画像から抽出画像を抽出する画像処理装置の制御方法に関係する。 Further, according to the method of the present embodiment, a reference image that is an image including a subject image is continuously acquired by continuous imaging processing by the imaging unit 13, and an operation state of the endoscope apparatus is detected, and a detection result thereof Is obtained, and a region including the subject image is extracted from the reference image as an extraction region, and when the extracted image is obtained, the degree of correction of the displacement of the subject image is determined based on the manipulation state information. The present invention relates to a control method for an image processing apparatus that determines strength and extracts an extracted image from a reference image in accordance with an extraction mode corresponding to the determined degree of correction.
これにより、画像処理装置にとどまらず、画像処理装置の制御方法にも本実施形態の手法を適用し、上述の効果を得ることが可能になる。 As a result, not only the image processing apparatus but also the method of this embodiment can be applied to the control method of the image processing apparatus, and the above-described effects can be obtained.
また、本実施形態の手法は、図１３に示したように、画像取得部１２０と、設定部１５０と、状況検出部１６０と、抽出部１７０とを含む画像処理装置に関係する。画像取得部１２０は基準画像を連続的に取得する。設定部１５０は、基準画像から抽出画像を抽出するにあたって、第１抽出モードと第２抽出モードを設定する。状況検出部１６０は、操作状況情報を取得する。抽出部１７０は、操作状況情報に基づいて第１抽出モードと第２抽出モードのいずれかを選択し、選択したモードに対応した抽出態様で抽出を行う。さらに、状況検出部１６０は、内視鏡装置のスコープ部が送気又は送水に使用されているかに関する情報を操作状況情報として取得し、抽出部１７０は、内視鏡装置のスコープ部が送気又は送水に使用されていると判断された場合には、第２抽出モードを選択する。具体的には例えば、内視鏡装置の操作部において、送気指示又は送水指示が行われたか否かを検出することで、内視鏡装置のスコープ部が送気又は送水に使用されているか否かを検出してもよい。 Further, the method of the present embodiment relates to an image processing apparatus including an image acquisition unit 120, a setting unit 150, a situation detection unit 160, and an extraction unit 170, as illustrated in FIG. The image acquisition unit 120 acquires reference images continuously. The setting unit 150 sets the first extraction mode and the second extraction mode when extracting the extracted image from the reference image. The situation detection unit 160 acquires operation situation information. The extraction unit 170 selects either the first extraction mode or the second extraction mode based on the operation status information, and performs extraction in an extraction manner corresponding to the selected mode. Furthermore, the status detection unit 160 acquires information on whether the scope unit of the endoscope apparatus is used for air supply or water supply as operation status information, and the extraction unit 170 receives the air supply of the scope unit of the endoscope apparatus. Or when it is judged that it is used for water supply, 2nd extraction mode is selected. Specifically, for example, whether the scope unit of the endoscope apparatus is used for air supply or water supply by detecting whether or not an air supply instruction or water supply instruction has been performed in the operation unit of the endoscope apparatus. Whether or not may be detected.
ここで、第１抽出モードとは、被検体像の位置ずれを補正する抽出モードであり、第２抽出モードとは、被検体像の位置ずれを補正しない抽出モードである。 Here, the first extraction mode is an extraction mode that corrects the displacement of the subject image, and the second extraction mode is an extraction mode that does not correct the displacement of the subject image.
これにより、位置ずれ補正オンに対応する第１抽出モードと、位置ずれ補正オフに対応する第２抽出モードを設定した上で、送気又は送水に関する情報に基づいて、適切な抽出モードを選択することが可能になる。具体的には送気又は送水が行われているときは、位置ずれ補正オフに対応する第２抽出モードを選択することになる。第２抽出モードを選択する理由は、送気、送水時に位置ずれの補正度合いを弱く設定する理由と同様で、上述したとおりである。 Thereby, after setting the 1st extraction mode corresponding to position shift amendment ON and the 2nd extraction mode corresponding to position shift amendment OFF, an appropriate extraction mode is selected based on information about air supply or water supply. It becomes possible. Specifically, when air supply or water supply is being performed, the second extraction mode corresponding to the position shift correction OFF is selected. The reason for selecting the second extraction mode is the same as the reason for setting the correction degree of the positional deviation weakly during air supply and water supply, as described above.
また、本実施形態の手法は、図１４に示したように、画像取得部１２０と、設定部１５０と、状況検出部１６０と、抽出部１７０とを含む画像処理装置に関係する。画像取得部１２０は基準画像を連続的に取得する。設定部１５０は、基準画像から抽出画像を抽出するにあたって、第１抽出モードと第２抽出モードを設定する。状況検出部１６０は、操作状況情報を取得する。抽出部１７０は、操作状況情報に基づいて第１抽出モードと第２抽出モードのいずれかを選択し、選択したモードに対応した抽出態様で抽出を行う。さらに、状況検出部１６０は、内視鏡装置のスコープ部が被検体の治療処置に使用されているかに関する情報を操作状況情報として取得し、抽出部１７０は、スコープ部が被検体の治療処置に使用されていると判断された場合には、第２抽出モードを選択する。具体的には例えば、スコープ部の先端に設けられたセンサからのセンサ情報に基づいて、スコープ部が被検体の治療処置に使用されているか否かを検出してもよい。 Further, the technique of the present embodiment relates to an image processing apparatus including an image acquisition unit 120, a setting unit 150, a situation detection unit 160, and an extraction unit 170, as illustrated in FIG. The image acquisition unit 120 acquires reference images continuously. The setting unit 150 sets the first extraction mode and the second extraction mode when extracting the extracted image from the reference image. The situation detection unit 160 acquires operation situation information. The extraction unit 170 selects either the first extraction mode or the second extraction mode based on the operation status information, and performs extraction in an extraction manner corresponding to the selected mode. Further, the situation detection unit 160 acquires information regarding whether the scope unit of the endoscope apparatus is used for the treatment treatment of the subject as the operation situation information, and the extraction unit 170 uses the scope unit for the treatment treatment of the subject. If it is determined that it is used, the second extraction mode is selected. Specifically, for example, based on sensor information from a sensor provided at the distal end of the scope unit, it may be detected whether or not the scope unit is used for the treatment of the subject.
ここで、抽出モードは上述した場合と同様であり、第１抽出モードとは、被検体像の位置ずれを補正する抽出モードであり、第２抽出モードとは、被検体像の位置ずれを補正しない抽出モードである。 Here, the extraction mode is the same as that described above, the first extraction mode is an extraction mode for correcting the displacement of the subject image, and the second extraction mode is for correcting the displacement of the subject image. The extraction mode is not.
これにより、位置ずれ補正オンに対応する第１抽出モードと、位置ずれ補正オフに対応する第２抽出モードを設定した上で、スコープ部が被検体の治療処置に使用されているかに応じて、適切な抽出モードを選択することが可能になる。具体的には、スコープ部が被検体の治療処置に使用されているときは、位置ずれ補正オフに対応する第２抽出モードを選択することになる。これは、被検体の治療処置に使用される処置具の位置ずれと、被検体の位置ずれが同期しないことによる。つまり、治療処置時には、スコープ部の先端から処置具を出して処置を行うことになり、取得する基準画像内にも処置具が写り込む。しかし、被検体のブレと処置具とのブレは同期しないため、両方のブレを解消するような位置ずれ補正を行うことは困難である。そのため、治療処置時には位置ずれ補正をオフにする第２の抽出モードを選択することになる。その際、治療処置を行っているか否かは、例えば処置具をスコープ部の先端から出しているか否かで判断すればよい。つまり、スコープ部の先端に処置具を出しているか否かを検出するセンサを設けておき、センサからのセンサ情報に基づいて判断を行う。 Thereby, after setting the first extraction mode corresponding to misalignment correction ON and the second extraction mode corresponding to misalignment correction OFF, depending on whether the scope unit is used for the treatment treatment of the subject, It becomes possible to select an appropriate extraction mode. Specifically, when the scope unit is used for the treatment of the subject, the second extraction mode corresponding to the position correction correction off is selected. This is because the positional deviation of the treatment tool used for the treatment of the subject and the positional deviation of the subject are not synchronized. That is, at the time of a therapeutic treatment, the treatment tool is taken out from the distal end of the scope unit and the treatment is performed, and the treatment tool is reflected in the acquired reference image. However, since the shake of the subject and the shake of the treatment tool are not synchronized, it is difficult to perform a positional deviation correction that eliminates both of the shakes. For this reason, the second extraction mode for turning off the misalignment correction is selected during the treatment procedure. At this time, whether or not a therapeutic treatment is being performed may be determined based on, for example, whether or not the treatment tool has been taken out from the distal end of the scope portion. That is, a sensor for detecting whether or not the treatment tool is put out is provided at the distal end of the scope unit, and a determination is made based on sensor information from the sensor.
また、第２抽出モードに対応した抽出態様は、被検体の位置ずれの補正を考慮せずに、抽出領域を設定する抽出態様であり、抽出部１７０は、設定された抽出領域に含まれる画像を抽出画像として抽出する。また、第２抽出モードに対応した抽出態様は、被検体の位置ずれの補正を考慮せずに、基準画像上の予め決まった場所に抽出領域を設定する抽出態様であってもよい。 The extraction mode corresponding to the second extraction mode is an extraction mode in which an extraction region is set without considering correction of the displacement of the subject. The extraction unit 170 includes an image included in the set extraction region. Are extracted as extracted images. In addition, the extraction mode corresponding to the second extraction mode may be an extraction mode in which an extraction region is set at a predetermined location on the reference image without considering correction of the displacement of the subject.
これにより、第２抽出モードに対応した抽出態様として、位置ずれ補正を考慮しない抽出領域の設定を行う態様を用いることが可能になる。特に、基準画像上の予め決まった場所に抽出領域を設定してもよい。よって、抽出領域を容易に決定することが可能になり、処理を簡単化することができる。 Thereby, as an extraction mode corresponding to the second extraction mode, it is possible to use a mode in which an extraction region is set without considering misregistration correction. In particular, the extraction region may be set at a predetermined location on the reference image. Therefore, it becomes possible to easily determine the extraction region, and the processing can be simplified.
なお、以上のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また画像処理装置の構成、動作も本実施形態で説明したものに限定されず、種々の変形実施が可能である。 Although the present embodiment has been described in detail as described above, it will be easily understood by those skilled in the art that many modifications can be made without departing from the novel matters and effects of the present invention. Accordingly, all such modifications are intended to be included in the scope of the present invention. For example, a term described at least once together with a different term having a broader meaning or the same meaning in the specification or the drawings can be replaced with the different term in any part of the specification or the drawings. Further, the configuration and operation of the image processing apparatus are not limited to those described in this embodiment, and various modifications can be made.
１１０ Ａ／Ｄ変換部、１２０ 画像取得部、１３０ 操作部、１４０ バッファ、
１５０ 設定部、１６０ 状況検出部、１６１ 停止近接検出部、
１６２ 注目領域検出部、１６３ 部位検出部、１６４ 観察状態検出部、
１６５ 倍率取得部、１６６ 操作量情報取得部、１６７ 送気送水検出部、
１７０ 抽出部、１８０ 表示制御部、
Ｓ０１ 光源装置、Ｓ０２ 白色光源、Ｓ０３ 回転フィルタ、Ｓ０４ 集光レンズ、
Ｓ０５ 外装、Ｓ０６ ライトガイドファイバ、Ｓ０７ 照明光学系、
Ｓ０８ 集光レンズ、Ｓ０９ 撮像素子、Ｓ１１ 挿入口、Ｓ１２ 誘導管、
Ｓ１３ ズームレンズ、Ｓ１４ 送水タンク、Ｓ１５ 送水管
Ｓ１６ 白色光透過フィルタ、Ｓ１７ 狭帯域透過フィルタ
110 A / D conversion unit, 120 image acquisition unit, 130 operation unit, 140 buffer,
150 setting unit, 160 situation detecting unit, 161 stop proximity detecting unit,
162 attention area detection unit, 163 region detection unit, 164 observation state detection unit,
165 magnification acquisition unit, 166 manipulated variable information acquisition unit, 167 air / water detection unit,
170 extraction unit, 180 display control unit,
S01 light source device, S02 white light source, S03 rotating filter, S04 condenser lens,
S05 exterior, S06 light guide fiber, S07 illumination optical system,
S08 condenser lens, S09 imaging device, S11 insertion slot, S12 guide tube,
S13 Zoom lens, S14 Water supply tank, S15 Water supply pipe S16 White light transmission filter, S17 Narrow band transmission filter
Claims (29)
前記内視鏡装置の操作状況を検出し、その検出結果を示す操作状況情報を取得する状況検出部と、
連続的に取得された前記基準画像から、前記被検体像を含む領域を抽出領域として抽出し、抽出画像を取得する抽出部と、
を含み、
前記抽出部は、
前記状況検出部において取得された前記操作状況情報に基づいて、前記被検体像の位置ずれの補正度合いの強弱を決定し、決定した補正度合いの強弱に対応した抽出態様に従って、前記基準画像から前記抽出画像を抽出することを特徴とする画像処理装置。 An image acquisition unit that continuously acquires a reference image that is an image including a subject image by continuous imaging processing by the imaging unit of the endoscope apparatus;
A situation detection unit that detects an operation situation of the endoscope device and acquires operation situation information indicating a detection result;
An extraction unit that extracts an area including the subject image as an extraction area from the continuously acquired reference image, and acquires an extracted image;
Including
The extraction unit includes:
Based on the operation status information acquired in the status detection unit, the degree of correction of the displacement of the subject image is determined, and the reference image is extracted from the reference image according to the extraction mode corresponding to the determined level of correction. An image processing apparatus for extracting an extracted image.
前記抽出部は、
前記状況検出部において取得された前記操作状況情報に基づいて、前記被検体像の位置ずれの補正度合いの強弱を決定し、決定した補正度合いの強弱に基づいて、前記基準画像における前記抽出領域の位置を設定することを特徴とする画像処理装置。 In claim 1,
The extraction unit includes:
Based on the operation status information acquired by the status detection unit, the level of correction of the displacement of the subject image is determined, and based on the determined level of correction, the extraction region of the reference image is determined. An image processing apparatus characterized by setting a position.
前記状況検出部は、
前記操作状況情報として、前記内視鏡装置のスコープ部が停止しているか否かに関する情報を取得し、
前記抽出部は、
前記内視鏡装置のスコープ部が停止しているか否かに関する情報により、前記内視鏡装置の前記スコープ部が停止していると判断された場合には、前記補正度合いを強くすることを特徴とする画像処理装置。 In claim 1,
The situation detection unit
As the operation status information, obtain information on whether or not the scope unit of the endoscope device is stopped,
The extraction unit includes:
The degree of correction is increased when it is determined that the scope unit of the endoscope apparatus is stopped based on information on whether or not the scope unit of the endoscope apparatus is stopped. An image processing apparatus.
前記状況検出部は、
取得された前記操作状況情報により、前記内視鏡装置の操作部が所与の期間操作されていないことを検出した場合には、前記内視鏡装置の前記スコープ部が停止していると判断し、
前記抽出部は、
前記内視鏡装置の前記操作部が所与の期間操作されていないことが検出されたことによって前記内視鏡の前記スコープ部が停止していると判断された場合には、前記補正度合いを強くすることを特徴とする画像処理装置。 In claim 3,
The situation detection unit
When it is detected from the acquired operation status information that the operation unit of the endoscope apparatus has not been operated for a given period, it is determined that the scope unit of the endoscope apparatus is stopped. And
The extraction unit includes:
When it is determined that the scope unit of the endoscope is stopped by detecting that the operation unit of the endoscope apparatus has not been operated for a given period, the correction degree is An image processing apparatus characterized by strengthening.
前記状況検出部は、
前記操作状況情報として、前記内視鏡装置のスコープ部が前記被検体に接近しているか否かに関する情報を取得し、
前記抽出部は、
前記スコープ部が前記被検体に接近しているか否かに関する情報により、前記内視鏡装置の前記スコープ部が前記被検体に接近していると判断された場合には、前記補正度合いを強くすることを特徴とする画像処理装置。 In claim 1,
The situation detection unit
As the operation status information, obtain information on whether or not the scope unit of the endoscope apparatus is close to the subject,
The extraction unit includes:
When the scope unit of the endoscope apparatus is determined to be approaching the subject based on information regarding whether the scope unit is approaching the subject, the correction degree is increased. An image processing apparatus.
前記状況検出部は、
前記基準画像において、前記被検体のエッジ形状の大きさを検出し、検出した前記エッジ形状の大きさの変化に基づいて、前記内視鏡装置の前記スコープ部が前記被検体に接近しているか否かを検出し、
前記抽出部は、
前記エッジ形状の大きさの変化に基づいて、前記内視鏡装置の前記スコープ部が前記被検体に接近していると判断された場合には、前記補正度合いを強くすることを特徴とする画像処理装置。 In claim 5,
The situation detection unit
In the reference image, the size of the edge shape of the subject is detected, and whether the scope unit of the endoscope apparatus is close to the subject based on the detected change in the size of the edge shape Detect whether or not
The extraction unit includes:
An image in which the degree of correction is increased when it is determined that the scope unit of the endoscope apparatus is approaching the subject based on a change in the size of the edge shape. Processing equipment.
前記状況検出部は、
前記基準画像において、複数の局所領域を設定するとともに、設定した前記複数の局所領域の各局所領域に基準位置を設定し、
設定した前記基準位置間の距離情報の変化に基づいて、前記内視鏡装置の前記スコープ部が前記被検体に接近しているか否かを検出し、
前記抽出部は、
前記基準位置間の距離情報の変化に基づいて、前記内視鏡装置の前記スコープ部が前記被検体に接近していると判断された場合には、前記補正度合いを強くすることを特徴とする画像処理装置。 In claim 5,
The situation detection unit
In the reference image, a plurality of local regions are set, and a reference position is set in each of the set local regions.
Based on the change in the distance information between the set reference positions, it is detected whether or not the scope unit of the endoscope apparatus is approaching the subject,
The extraction unit includes:
The correction degree is increased when it is determined that the scope unit of the endoscope apparatus is approaching the subject based on a change in distance information between the reference positions. Image processing device.
前記状況検出部は、
前記操作状況情報として、前記基準画像内において注目すべき領域である注目領域の検出の有無に関する情報を取得し、
前記抽出部は、
注目すべき領域である注目領域の検出の有無に関する情報により、前記注目領域が検出されたと判断された場合には、前記補正度合いを強くすることを特徴とする画像処理装置。 In claim 1,
The situation detection unit
As the operation status information, obtain information on the presence or absence of detection of a region of interest that is a region of interest in the reference image,
The extraction unit includes:
An image processing apparatus characterized in that the degree of correction is increased when it is determined that the attention area has been detected based on information on whether or not the attention area, which is an attention area, has been detected.
前記状況検出部は、
前記操作状況情報として、操作中の前記内視鏡装置のスコープ部が位置する部位に関する情報をさらに取得し、
前記抽出部は、
前記内視鏡装置の前記スコープ部が位置する部位に関する情報により、前記部位が所与の部位であると判断された場合には、前記注目領域が検出された場合にも、前記補正度合いを強くせず、前記補正度合いを弱くすることを特徴とする画像処理装置。 In claim 8,
The situation detection unit
As the operation status information, further acquiring information related to a part where the scope unit of the endoscope apparatus being operated is located,
The extraction unit includes:
When it is determined that the part is a given part based on the information on the part where the scope unit of the endoscopic device is located, the correction degree is increased even when the attention area is detected. Without reducing the correction degree.
前記状況検出部は、
前記基準画像の画素の特徴量に基づいて、操作中の前記内視鏡装置の前記スコープ部が位置する前記部位を検出し、
前記抽出部は、
前記基準画像の画素の前記特徴量により、前記部位が所与の部位であると判断された場合には、前記注目領域が検出された場合にも、前記補正度合いを強くせず、前記補正度合いを弱くすることを特徴とする画像処理装置。 In claim 9,
The situation detection unit
Based on the feature amount of the pixel of the reference image, the part where the scope part of the endoscope apparatus in operation is located is detected,
The extraction unit includes:
When it is determined that the part is a given part based on the feature amount of the pixel of the reference image, the correction degree is not increased even when the attention area is detected. An image processing apparatus characterized by weakening
前記状況検出部は、
前記内視鏡装置の前記スコープ部が被験者の体内に挿入された長さである挿入長を検出し、検出した前記挿入長と、前記挿入長と前記部位の位置とを対応付ける基準長とを比較することで、操作中の前記内視鏡装置の前記スコープ部が位置する部位を検出し、
前記抽出部は、
前記挿入長と前記基準長との比較により、前記部位が所与の部位であると判断された場合には、前記注目領域が検出された場合にも、前記補正度合いを強くせず、前記補正度合いを弱くすることを特徴とする画像処理装置。 In claim 9,
The situation detection unit
The scope portion of the endoscope apparatus detects an insertion length that is a length inserted into the body of a subject, and compares the detected insertion length with a reference length that associates the insertion length with the position of the part. By detecting the part where the scope part of the endoscope apparatus in operation is located,
The extraction unit includes:
If it is determined by comparison between the insertion length and the reference length that the site is a given site, the correction level is not increased even when the region of interest is detected. An image processing apparatus characterized by reducing the degree.
前記状況検出部は、
前記操作状況情報として、前記撮像部が拡大観察状態か否かの情報を取得し、
前記抽出部は、
前記撮像部が拡大観察状態か否かの情報により、前記内視鏡装置の前記撮像部が拡大観察状態であると判断された場合には、前記補正度合いを弱くすることを特徴とする画像処理装置。 In claim 1,
The situation detection unit
As the operation status information, obtain information on whether the imaging unit is in an enlarged observation state,
The extraction unit includes:
Image processing characterized in that, when it is determined that the imaging unit of the endoscope apparatus is in a magnified observation state based on information on whether the imaging unit is in a magnified observation state, the correction degree is weakened. apparatus.
前記状況検出部は、
前記操作状況情報として、拡大観察中の前記内視鏡装置の前記撮像部のズーム倍率に関する情報を取得し、
前記抽出部は、
前記ズーム倍率が所与の閾値よりも小さい場合には、前記補正度合いを、基準補正度合いよりも弱くしながら、前記ズーム倍率が大きくなるほど強くすることを特徴とする画像処理装置。 In claim 1,
The situation detection unit
As the operation status information, obtain information related to the zoom magnification of the imaging unit of the endoscope apparatus under magnification observation,
The extraction unit includes:
An image processing apparatus, wherein when the zoom magnification is smaller than a given threshold, the correction degree is weaker than a reference correction degree and is increased as the zoom magnification is increased.
前記状況検出部は、
前記操作状況情報として、拡大観察中の前記内視鏡装置の前記撮像部のズーム倍率に関する情報を取得し、
前記抽出部は、
前記ズーム倍率が所与の閾値よりも大きい場合には、前記補正度合いを、基準補正度合いよりも弱くしながら、前記ズーム倍率が大きくなるほど弱くすることを特徴とする画像処理装置。 In claim 1,
The situation detection unit
As the operation status information, obtain information related to the zoom magnification of the imaging unit of the endoscope apparatus under magnification observation,
The extraction unit includes:
An image processing apparatus, wherein when the zoom magnification is larger than a given threshold, the correction degree is weaker as the zoom magnification is larger while the correction degree is weaker than a reference correction degree.
前記状況検出部は、
前記操作状況情報として、ユーザによる前記内視鏡装置のダイヤルの操作量に関する情報を取得するものであり、
前記抽出部は、
前記ダイヤルの操作量が所与の基準操作量よりも大きい場合には、前記補正度合いを弱くすることを特徴とする画像処理装置。 In claim 1,
The situation detection unit
As the operation status information, to acquire information on the amount of operation of the dial of the endoscope device by the user,
The extraction unit includes:
An image processing apparatus according to claim 1, wherein when the dial operation amount is larger than a given reference operation amount, the correction degree is weakened.
前記状況検出部は、
前記操作状況情報として、前記内視鏡装置の送気時における送気量、または、送水時における送水量に関する情報を取得し、
前記抽出部は、
前記送気量または前記送水量が所与の閾値よりも大きい場合には、前記補正度合いを弱くすることを特徴とする画像処理装置。 In claim 1,
The situation detection unit
As the operation status information, obtain the amount of air supply at the time of air supply of the endoscope device, or information on the amount of water supply at the time of water supply,
The extraction unit includes:
The image processing apparatus according to claim 1, wherein when the air supply amount or the water supply amount is larger than a given threshold value, the correction degree is weakened.
前記基準画像内の画素の画素値をもとに、前記基準画像から前記同一の被検体像を含む領域である位置ずれ補正対象領域を検出する位置ずれ補正対象領域検出部を含み、
前記抽出部は、
前記基準画像上において検出された前記位置ずれ補正対象領域の位置に応じて、前記抽出領域の位置を変更することを特徴とする画像処理装置。 In claim 1,
A misregistration correction target region detection unit that detects a misregistration correction target region that is a region including the same subject image from the reference image based on the pixel values of the pixels in the reference image;
The extraction unit includes:
An image processing apparatus, wherein the position of the extraction area is changed according to the position of the misalignment correction target area detected on the reference image.
前記抽出部は、
前記基準画像上において検出された前記位置ずれ補正対象領域の位置に基づいて、前記位置ずれ補正対象領域が前記抽出領域内の所定位置になる位置に、前記抽出領域の位置を変更することを特徴とする画像処理装置。 In claim 17,
The extraction unit includes:
The position of the extraction area is changed to a position where the position deviation correction target area becomes a predetermined position in the extraction area based on the position of the position deviation correction target area detected on the reference image. An image processing apparatus.
前記被検体の位置ずれの補正を行わない場合の前記抽出領域の位置を第１の抽出領域位置とし、前記被検体の位置ずれがない前記抽出画像を抽出した場合の前記抽出領域の位置を第２の抽出領域位置とした場合に、
前記抽出部は、
前記被検体像の位置ずれの補正度合いを弱くする場合には、前記第１の抽出領域位置と前記第２の抽出領域位置の間の位置にある領域を、前記抽出領域として設定することを特徴とする画像処理装置。 In claim 1,
The position of the extraction region when correction of the displacement of the subject is not performed is a first extraction region position, and the position of the extraction region when the extracted image without the displacement of the subject is extracted is In the case of 2 extraction region positions,
The extraction unit includes:
In a case where the degree of correction of the positional deviation of the subject image is weakened, an area located between the first extraction area position and the second extraction area position is set as the extraction area. An image processing apparatus.
前記抽出部により抽出される抽出画像を連続して表示する制御を行う表示制御部を含むことを特徴とする画像処理装置。 In claim 1,
An image processing apparatus comprising: a display control unit that performs control to continuously display the extracted images extracted by the extraction unit.
前記決定された補正度合いを表す補正度合い情報を表示する制御を行う表示制御部を含むことを特徴とする画像処理装置。 In claim 1,
An image processing apparatus comprising: a display control unit that performs control to display correction degree information representing the determined correction degree.
内視鏡スコープと、
を含むことを特徴とする内視鏡装置。 An image processing apparatus according to any one of claims 1 to 21,
An endoscope scope,
An endoscopic device comprising:
前記内視鏡装置の操作状況を検出し、その検出結果を示す操作状況情報を取得し、
連続的に取得された前記基準画像から、前記被検体像を含む領域を抽出領域として抽出し、抽出画像を取得する際に、前記状況検出部において取得された前記操作状況情報に基づいて、前記被検体像の位置ずれの補正度合いの強弱を決定し、決定した補正度合いの強弱に対応した抽出態様に従って、前記基準画像から前記抽出画像を抽出することを特徴とする画像処理装置の制御方法。 Through continuous imaging processing by the imaging unit of the endoscope apparatus, a reference image that is an image including a subject image is continuously acquired,
Detecting the operation status of the endoscope apparatus, obtaining operation status information indicating the detection result,
From the continuously acquired reference image, when extracting an area including the subject image as an extraction area and obtaining an extracted image, based on the operation situation information obtained in the situation detection unit, A control method for an image processing apparatus, comprising: determining a degree of correction of a positional deviation of a subject image; and extracting the extracted image from the reference image according to an extraction mode corresponding to the determined degree of correction.
前記取得された各基準画像から、基準画像内の被検体像を含む画像を抽出画像としてそれぞれ抽出するにあたって、それぞれの前記抽出画像に含まれる同一の被検体像の位置ずれを補正する第１抽出モードと、前記同一の被検体像の位置ずれを補正しない第２抽出モードとを設定する設定部と、
前記内視鏡装置の操作状況を検出し、その検出結果を示す操作状況情報を取得する状況検出部と、
前記取得された操作状況情報に基づいて、前記第１抽出モードまたは前記第２抽出モードのいずれかを選択し、選択した抽出モードに対応した抽出態様に従って、前記基準画像から前記抽出画像を抽出する抽出部と、
を含み、
前記状況検出部は、
前記操作状況情報として、前記内視鏡装置のスコープ部が送気または送水に使用されているか否かに関する情報を取得し、
前記抽出部は、
取得された前記操作状況情報によって、前記内視鏡装置の前記スコープ部が送気または送水に使用されていると判断された場合には、前記第２抽出モードを選択することを特徴とする画像処理装置。 An image acquisition unit that continuously acquires a reference image that is an image including a subject image by continuous imaging processing by the imaging unit of the endoscope apparatus;
First extraction for correcting a positional shift of the same subject image included in each of the extracted images when extracting an image including the subject image in the reference image from each of the acquired reference images as an extracted image. A setting unit for setting a mode and a second extraction mode in which the positional deviation of the same subject image is not corrected;
A situation detection unit that detects an operation situation of the endoscope device and acquires operation situation information indicating a detection result;
Based on the acquired operation status information, either the first extraction mode or the second extraction mode is selected, and the extracted image is extracted from the reference image according to the extraction mode corresponding to the selected extraction mode. An extractor;
Including
The situation detection unit
As the operation status information, obtain information on whether or not the scope unit of the endoscope apparatus is used for air supply or water supply,
The extraction unit includes:
The second extraction mode is selected when it is determined by the acquired operation status information that the scope unit of the endoscope apparatus is used for air supply or water supply. Processing equipment.
前記状況検出部は、
前記内視鏡装置の操作部において送気指示、または、送水指示が行われたか否かを検出することで、前記内視鏡装置の前記スコープ部が送気または送水に使用されているか否かを検出することを特徴とする画像処理装置。 In claim 24,
The situation detection unit
Whether the scope unit of the endoscope apparatus is used for air supply or water supply by detecting whether an air supply instruction or a water supply instruction is performed in the operation unit of the endoscope apparatus. Detecting an image processing apparatus.
前記取得された各基準画像から、基準画像内の被検体像を含む画像を抽出画像としてそれぞれ抽出するにあたって、それぞれの前記抽出画像に含まれる同一の被検体像の位置ずれを補正する第１抽出モードと、前記同一の被検体像の位置ずれを補正しない第２抽出モードとを設定する設定部と、
前記内視鏡装置の操作状況を検出し、その検出結果を示す操作状況情報を取得する状況検出部と、
前記取得された操作状況情報に基づいて、前記第１抽出モードまたは前記第２抽出モードのいずれかを選択し、選択した抽出モードに対応した抽出態様に従って、前記基準画像から前記抽出画像を抽出する抽出部と、
を含み、
前記状況検出部は、
前記操作状況情報として、前記内視鏡装置のスコープ部が被検体の治療処置に使用されているか否かに関する情報を取得し、
前記抽出部は、
取得された前記操作状況情報によって前記内視鏡装置の前記スコープ部が被検体の治療処置に使用されていると判断された場合には、前記第２抽出モードを選択することを特徴とする画像処理装置。 An image acquisition unit that continuously acquires a reference image that is an image including a subject image by continuous imaging processing by the imaging unit of the endoscope apparatus;
First extraction for correcting a positional shift of the same subject image included in each of the extracted images when extracting an image including the subject image in the reference image from each of the acquired reference images as an extracted image. A setting unit for setting a mode and a second extraction mode in which the positional deviation of the same subject image is not corrected;
A situation detection unit that detects an operation situation of the endoscope device and acquires operation situation information indicating a detection result;
Based on the acquired operation status information, either the first extraction mode or the second extraction mode is selected, and the extracted image is extracted from the reference image according to the extraction mode corresponding to the selected extraction mode. An extractor;
Including
The situation detection unit
As the operation status information, obtain information regarding whether or not the scope unit of the endoscope apparatus is used for the treatment of the subject,
The extraction unit includes:
The second extraction mode is selected when it is determined by the acquired operation status information that the scope unit of the endoscope apparatus is used for a treatment treatment of a subject. Processing equipment.
前記状況検出部は、
前記内視鏡装置の前記スコープ部の先端に設けられたセンサからのセンサ情報に基づいて、前記内視鏡装置の前記スコープ部が被検体の治療処置に使用されているか否かを検出することを特徴とする画像処理装置。 In claim 26,
The situation detection unit
Detecting whether or not the scope unit of the endoscope apparatus is used for treatment of a subject based on sensor information from a sensor provided at a tip of the scope unit of the endoscope apparatus. An image processing apparatus.
前記第２抽出モードに対応した抽出態様は、
前記同一の被検体像の位置ずれの補正を考慮せずに、前記基準画像上に前記抽出画像を抽出するための抽出領域を設定する抽出態様であり、
前記抽出部は、
前記基準画像上に設定された抽出領域に含まれる画像を前記抽出画像として抽出することを特徴とする画像処理装置。 In claim 26,
The extraction mode corresponding to the second extraction mode is:
It is an extraction mode in which an extraction region for extracting the extracted image is set on the reference image without considering correction of positional deviation of the same subject image,
The extraction unit includes:
An image processing apparatus, wherein an image included in an extraction region set on the reference image is extracted as the extracted image.
前記第２抽出モードに対応した抽出態様は、
前記同一の被検体像の位置ずれの補正を考慮せずに、前記基準画像上の予め決まった場所に、前記抽出領域を設定する抽出態様であることを特徴とする画像処理装置。 In claim 28,
The extraction mode corresponding to the second extraction mode is:
2. An image processing apparatus according to claim 1, wherein the extraction area is set in a predetermined place on the reference image without considering the correction of the positional deviation of the same subject image.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010232931A JP5715372B2 (en) | 2010-10-15 | 2010-10-15 | Image processing apparatus, method of operating image processing apparatus, and endoscope apparatus |
| US13/273,797 US20120092472A1 (en) | 2010-10-15 | 2011-10-14 | Image processing device, method of controlling image processing device, and endoscope apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010232931A JP5715372B2 (en) | 2010-10-15 | 2010-10-15 | Image processing apparatus, method of operating image processing apparatus, and endoscope apparatus |
Related Child Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015016496A Division JP5905130B2 (en) | 2015-01-30 | 2015-01-30 | Image processing apparatus, endoscope apparatus, and operation method of image processing apparatus |
| JP2015049064A Division JP5945614B2 (en) | 2015-03-12 | 2015-03-12 | Image processing apparatus, endoscope apparatus, and operation method of image processing apparatus |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2012085696A true JP2012085696A (en) | 2012-05-10 |
| JP5715372B2 JP5715372B2 (en) | 2015-05-07 |
Family
ID=45933830
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010232931A Expired - Fee Related JP5715372B2 (en) | 2010-10-15 | 2010-10-15 | Image processing apparatus, method of operating image processing apparatus, and endoscope apparatus |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US20120092472A1 (en) |
| JP (1) | JP5715372B2 (en) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015205126A (en) * | 2014-04-23 | 2015-11-19 | 富士フイルム株式会社 | Endoscope device, image processor and image adjustment method |
| JP2016021216A (en) * | 2014-06-19 | 2016-02-04 | レイシスソフトウェアーサービス株式会社 | Remark input support system, device, method and program |
| WO2017002184A1 (en) * | 2015-06-29 | 2017-01-05 | オリンパス株式会社 | Image processing device, endoscope system, image processing method, and image processing program |
| JP2017158628A (en) * | 2016-03-07 | 2017-09-14 | 富士フイルム株式会社 | Endoscope system, processor device, and operation method of endoscope system |
| WO2017169139A1 (en) * | 2016-03-29 | 2017-10-05 | ソニー株式会社 | Image processing device, image processing method, and medical system |
| WO2018168261A1 (en) * | 2017-03-16 | 2018-09-20 | ソニー株式会社 | Control device, control method, and program |
| WO2020166528A1 (en) * | 2019-02-13 | 2020-08-20 | 日本電気株式会社 | Operation support device, operation support method, and computer-readable recording medium |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3197156A4 (en) * | 2014-07-28 | 2018-03-21 | Olympus Corporation | Control device for stereoscopic viewing device, stereoscopic viewing system, and control method for stereoscopic viewing device |
| US10722106B2 (en) * | 2015-10-30 | 2020-07-28 | Sony Corporation | Information processing apparatus, information processing method, and endoscope system for processing images based on surgical scenes |
| US10346978B2 (en) * | 2017-08-04 | 2019-07-09 | Capsovision Inc. | Method and apparatus for area or volume of object of interest from gastrointestinal images |
| CN112085015A (en) * | 2019-06-13 | 2020-12-15 | 杭州海康机器人技术有限公司 | Image processing method, image processing apparatus, and detection device |
| CN111193943B (en) * | 2019-12-16 | 2021-08-03 | 浙江信网真科技股份有限公司 | Distributed and collaborative content distribution method and system |
| CN111131773B (en) * | 2019-12-16 | 2021-04-20 | 浙江信网真科技股份有限公司 | Method and system for processing contents with cooperation of transmitting and receiving ends |
| CN111161852B (en) * | 2019-12-30 | 2023-08-15 | 北京双翼麒电子有限公司 | Endoscope image processing method, electronic equipment and endoscope system |
| CN113052844B (en) * | 2021-06-01 | 2021-08-10 | 天津御锦人工智能医疗科技有限公司 | Method and device for processing images in intestinal endoscope observation video and storage medium |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0549599A (en) * | 1991-08-23 | 1993-03-02 | Olympus Optical Co Ltd | Electronic endoscope apparatus |
| JPH06285016A (en) * | 1992-09-03 | 1994-10-11 | Fukuda Denshi Co Ltd | Intravascular endoscope system |
| JP2001285698A (en) * | 2000-03-29 | 2001-10-12 | Minolta Co Ltd | Electronic camera |
| JP2006128781A (en) * | 2004-10-26 | 2006-05-18 | Konica Minolta Photo Imaging Inc | Photographing apparatus |
| JP2007300581A (en) * | 2006-05-08 | 2007-11-15 | Casio Comput Co Ltd | Moving image photographing apparatus and moving image photographing program |
| JP2010147951A (en) * | 2008-12-20 | 2010-07-01 | Sanyo Electric Co Ltd | Image capturing apparatus and electronic device |
| JP2012055498A (en) * | 2010-09-09 | 2012-03-22 | Olympus Corp | Image processing device, endoscope device, image processing program, and image processing method |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8248457B2 (en) * | 1999-02-25 | 2012-08-21 | Visionsense, Ltd. | Optical device |
| JP2008264252A (en) * | 2007-04-20 | 2008-11-06 | Olympus Medical Systems Corp | Electronic endoscope apparatus |
| JP5257891B2 (en) * | 2007-12-05 | 2013-08-07 | 富士フイルム株式会社 | Image processing system and program |
| EP2179687B1 (en) * | 2008-10-22 | 2012-12-26 | FUJIFILM Corporation | Endoscope apparatus and control method therefor |
| JP2010142597A (en) * | 2008-12-22 | 2010-07-01 | Hoya Corp | Endoscope system |
| US20120071753A1 (en) * | 2010-08-20 | 2012-03-22 | Mark Hunter | Apparatus and method for four dimensional soft tissue navigation including endoscopic mapping |
-
2010
- 2010-10-15 JP JP2010232931A patent/JP5715372B2/en not_active Expired - Fee Related
-
2011
- 2011-10-14 US US13/273,797 patent/US20120092472A1/en not_active Abandoned
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0549599A (en) * | 1991-08-23 | 1993-03-02 | Olympus Optical Co Ltd | Electronic endoscope apparatus |
| JPH06285016A (en) * | 1992-09-03 | 1994-10-11 | Fukuda Denshi Co Ltd | Intravascular endoscope system |
| JP2001285698A (en) * | 2000-03-29 | 2001-10-12 | Minolta Co Ltd | Electronic camera |
| JP2006128781A (en) * | 2004-10-26 | 2006-05-18 | Konica Minolta Photo Imaging Inc | Photographing apparatus |
| JP2007300581A (en) * | 2006-05-08 | 2007-11-15 | Casio Comput Co Ltd | Moving image photographing apparatus and moving image photographing program |
| JP2010147951A (en) * | 2008-12-20 | 2010-07-01 | Sanyo Electric Co Ltd | Image capturing apparatus and electronic device |
| JP2012055498A (en) * | 2010-09-09 | 2012-03-22 | Olympus Corp | Image processing device, endoscope device, image processing program, and image processing method |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015205126A (en) * | 2014-04-23 | 2015-11-19 | 富士フイルム株式会社 | Endoscope device, image processor and image adjustment method |
| JP2016021216A (en) * | 2014-06-19 | 2016-02-04 | レイシスソフトウェアーサービス株式会社 | Remark input support system, device, method and program |
| JPWO2017002184A1 (en) * | 2015-06-29 | 2018-05-24 | オリンパス株式会社 | Image processing apparatus, endoscope system, image processing method, and image processing program |
| WO2017002184A1 (en) * | 2015-06-29 | 2017-01-05 | オリンパス株式会社 | Image processing device, endoscope system, image processing method, and image processing program |
| US11185214B2 (en) | 2016-03-07 | 2021-11-30 | Fujifilm Corporation | Endoscope system with image data correction, processor device, and method for operating endoscope system |
| JP2017158628A (en) * | 2016-03-07 | 2017-09-14 | 富士フイルム株式会社 | Endoscope system, processor device, and operation method of endoscope system |
| WO2017154325A1 (en) * | 2016-03-07 | 2017-09-14 | 富士フイルム株式会社 | Endoscope system, processor device, endoscope system operation method |
| US11301964B2 (en) | 2016-03-29 | 2022-04-12 | Sony Corporation | Image processing apparatus, image processing method, and medical system to correct blurring without removing a screen motion caused by a biological body motion |
| JPWO2017169139A1 (en) * | 2016-03-29 | 2019-02-07 | ソニー株式会社 | Image processing apparatus, image processing method, and medical system |
| WO2017169139A1 (en) * | 2016-03-29 | 2017-10-05 | ソニー株式会社 | Image processing device, image processing method, and medical system |
| JP7127538B2 (en) | 2016-03-29 | 2022-08-30 | ソニーグループ株式会社 | IMAGE PROCESSING DEVICE, OPERATING METHOD OF MEDICAL DEVICE, AND MEDICAL SYSTEM |
| US11849913B2 (en) | 2016-03-29 | 2023-12-26 | Sony Group Corporation | Image processing apparatus, image processing method, and medical system to correct image blurrings |
| JPWO2018168261A1 (en) * | 2017-03-16 | 2020-01-16 | ソニー株式会社 | CONTROL DEVICE, CONTROL METHOD, AND PROGRAM |
| US10904437B2 (en) | 2017-03-16 | 2021-01-26 | Sony Corporation | Control apparatus and control method |
| WO2018168261A1 (en) * | 2017-03-16 | 2018-09-20 | ソニー株式会社 | Control device, control method, and program |
| WO2020166528A1 (en) * | 2019-02-13 | 2020-08-20 | 日本電気株式会社 | Operation support device, operation support method, and computer-readable recording medium |
| JPWO2020166528A1 (en) * | 2019-02-13 | 2021-12-02 | 日本電気株式会社 | Treatment support device, treatment support method, and program |
| JP7215504B2 (en) | 2019-02-13 | 2023-01-31 | 日本電気株式会社 | Treatment support device, treatment support method, and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5715372B2 (en) | 2015-05-07 |
| US20120092472A1 (en) | 2012-04-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5715372B2 (en) | Image processing apparatus, method of operating image processing apparatus, and endoscope apparatus | |
| JP5855358B2 (en) | Endoscope apparatus and method for operating endoscope apparatus | |
| JP5905130B2 (en) | Image processing apparatus, endoscope apparatus, and operation method of image processing apparatus | |
| JP5865606B2 (en) | Endoscope apparatus and method for operating endoscope apparatus | |
| US9498153B2 (en) | Endoscope apparatus and shake correction processing method | |
| US11004197B2 (en) | Medical image processing apparatus, medical image processing method, and program | |
| JP5993515B2 (en) | Endoscope system | |
| JP2010063590A (en) | Endoscope system and drive control method thereof | |
| JP6132901B2 (en) | Endoscope device | |
| CN111970955A (en) | Endoscopic observation support device, endoscopic observation support method, and program | |
| US20130083180A1 (en) | Focus control device, endoscope apparatus, and focus control method | |
| WO2011070845A1 (en) | Head-mounted display and head-mounted display system | |
| WO2018211885A1 (en) | Image acquisition system, control device, and image acquisition method | |
| JPWO2018168261A1 (en) | CONTROL DEVICE, CONTROL METHOD, AND PROGRAM | |
| US20150363942A1 (en) | Image processing device, endoscope apparatus, image processing method, and information storage device | |
| WO2021171465A1 (en) | Endoscope system and method for scanning lumen using endoscope system | |
| JP2013183836A (en) | Endoscope apparatus and focus control method | |
| CN113573624A (en) | Endoscopic system, non-transitory computer readable medium and method | |
| JP5945614B2 (en) | Image processing apparatus, endoscope apparatus, and operation method of image processing apparatus | |
| JP2013043007A (en) | Focal position controller, endoscope, and focal position control method | |
| WO2020008920A1 (en) | Medical observation system, medical observation device, and medical observation device driving method | |
| JP2010142546A (en) | Endoscope apparatus and control method therefor | |
| WO2020009127A1 (en) | Medical observation system, medical observation device, and medical observation device driving method | |
| EP3605179A1 (en) | Image capturing device, focus control method and focus determination method | |
| JP7480779B2 (en) | Medical image processing device, driving method for medical image processing device, medical imaging system, and medical signal acquisition system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130830 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140228 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140401 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140602 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20141209 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150130 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150217 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150313 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5715372 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |