JP7402252B2 - 内視鏡装置及びその作動方法並びに内視鏡装置用プログラム - Google Patents

内視鏡装置及びその作動方法並びに内視鏡装置用プログラム Download PDF

Info

Publication number
JP7402252B2
JP7402252B2 JP2021566837A JP2021566837A JP7402252B2 JP 7402252 B2 JP7402252 B2 JP 7402252B2 JP 2021566837 A JP2021566837 A JP 2021566837A JP 2021566837 A JP2021566837 A JP 2021566837A JP 7402252 B2 JP7402252 B2 JP 7402252B2
Authority
JP
Japan
Prior art keywords
measurement
captured image
subject
region
interest
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021566837A
Other languages
English (en)
Other versions
JPWO2021131238A5 (ja
JPWO2021131238A1 (ja
Inventor
将人 吉岡
正明 大酒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2021131238A1 publication Critical patent/JPWO2021131238A1/ja
Publication of JPWO2021131238A5 publication Critical patent/JPWO2021131238A5/ja
Application granted granted Critical
Publication of JP7402252B2 publication Critical patent/JP7402252B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/022—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by means of tv-camera scanning
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1076—Measuring physical dimensions, e.g. size of the entire body or parts thereof for measuring dimensions inside body cavities, e.g. using catheters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00064—Constructional details of the endoscope body
    • A61B1/00071—Insertion part of the endoscope body
    • A61B1/0008—Insertion part of the endoscope body characterised by distal tip features
    • A61B1/00096—Optical elements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0605—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements for spatially modulated illumination
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0623—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements for off-axis illumination
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/061—Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body
    • A61B5/064—Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body using markers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2476—Non-optical details, e.g. housings, mountings, supports
    • G02B23/2484—Arrangements in relation to a camera or imaging device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30028—Colon; Small intestine
    • G06T2207/30032—Colon polyp

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • General Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Endoscopes (AREA)

Description

本発明は、被写体の大きさを測定する内視鏡装置及びその作動方法並びに内視鏡装置用プログラムに関する。
内視鏡装置では、被写体までの距離の計測、又は被写体の長さ若しくは大きさの算出が行われている。例えば、特許文献１では、被写体に対してレーザによる計測補助光を照射し、被写体上にスポットを形成する。被写体を撮像して得られる撮像画像から、スポットの位置を特定する。そして、スポットの位置に応じて、被写体に含まれる測定対象における実寸サイズを示す指標図形を設定し、設定した指標図形からなる計測値マーカを撮像画像上に表示する。
計測値マーカは、例えば、上下左右に広がる固定サイズのスケールを有する。したがって、測定対象上又は測定対象の付近に計測値マーカを設定した撮像画像を表示することにより、計測値マーカが有するスケールと測定対象とを対比して、測定対象の大きさを推定して算出することができる。
国際公開第２０１８／０５１６８０号
従来では、予め設定された固定サイズのスケールを有する計測値マーカと測定対象とを対比することにより、測定対象の測長等の計測を行っていた。しかしながら、このような方法では、測定対象の計測を行う際に、測定対象に計測値マーカを測定しやすいように合わせた状態を保持するか、または、測定対象に計測値マーカを合わせた状態の静止画を保存する手間が生じる場合があった。
本発明は、上記実情に鑑み、測定対象の計測を簡便に行うことができる内視鏡装置及びその作動方法並びに内視鏡装置用プログラムを提供することを目的とする。
本発明の内視鏡装置は、被写体の計測に用いる計測補助光を発する計測補助光光源部と、プロセッサとを備える。プロセッサは、計測補助光によって被写体上に形成される特定領域を含む被写体を撮像した撮像画像を取得し、撮像画像において被写体上の特定領域の位置を特定し、特定領域の位置に基づいて被写体の実寸サイズを示す基準スケールを設定し、撮像画像において被写体が含む注目領域を抽出し、注目領域においてサイズを計測する計測部分を決定し、基準スケールに基づいて注目領域の計測部分を計測した計測値を示す計測値マーカを生成し、撮像画像に計測値マーカを重畳した特定画像を作成する。注目領域においてサイズを計測する計測部分を予め設定した基準により選択した部分を計測部分とするか、または、計測部分の指定を受け付け、指定に従って選択した部分を計測部分とするかのいずれかに基づき決定する。
プロセッサは、撮像画像をディスプレイに表示した際の水平方向における注目領域のサイズを計測部分と決定することが好ましい。
プロセッサは、特定領域が注目領域上にある場合、特定領域を基点とした際に、注目領域において基点からのサイズが最大となる部分を計測部分と決定することが好ましい。
プロセッサは、注目領域の任意方向における最大サイズとなる部分を計測部分と決定することが好ましい。
プロセッサは、計測部分の指定を受け付け、指定に従って計測部分を決定することが好ましい。
プロセッサは、基準スケールの実寸サイズをＬ０、撮像画像に基準スケールを重畳した場合の基準スケールのピクセル数をＡａ、撮像画像において注目領域の計測部分に基準スケールを重畳した場合の計測部分のピクセル数をＢａ、及び計測値マーカの実寸サイズをＬ１とした場合、以下の式（１）を満たすように計測値マーカを生成することが好ましい。
Ｌ１＝Ｌ０×Ｂａ／Ａａ （１）
プロセッサは、基準スケールの実寸サイズをＬ０、撮像画像に基準スケールを重畳し、かつ、撮像画像のひずみ情報を考慮して補正した場合の基準スケールのピクセル数をＡｃ、撮像画像において注目領域の計測部分に基準スケールを重畳し、かつ、撮像画像のひずみ情報を考慮して補正した場合の計測部分のピクセル数をＢｃ、及び計測値マーカの実寸サイズをＬ１とした場合、以下の式（２）を満たすように計測値マーカを生成することが好ましい。
Ｌ１＝Ｌ０×Ｂｃ／Ａｃ （２）
計測補助光は、平面状、メッシュ状、又はドット状であり、特定領域は、形状がそれぞれ線状、メッシュ状、又はドット状であることが好ましい。
計測値マーカは、形状が直線の線分又は直線の線分の組み合わせであることが好ましい。
計測値マーカは、計測値の値を示す数字を含むことが好ましい。
計測値マーカは、計測値の値を示す数字自体であることが好ましい。
プロセッサは、撮像画像に計測値マーカを注目領域の計測部分に合わせた状態で重畳した特定画像を作成することが好ましい。
プロセッサは、撮像画像に計測値マーカを注目領域の計測部分以外の部分に重畳した特定画像を作成することが好ましい。
プロセッサは、過去に取得された撮像画像により学習した学習済みモデルを用いて注目領域を抽出することが好ましい。
プロセッサは、過去に取得された撮像画像により学習した学習済みモデルを用いて計測部分を決定することが好ましい。
プロセッサは、特定画像と計測値とを対応付けた教師データを保存する教師データ保存部を備えることが好ましい。
また、本発明は、内視鏡装置の作動方法であって、被写体の計測に用いる計測補助光を発する計測補助光発光ステップと、計測補助光によって被写体上に形成される特定領域を含む被写体を撮像した撮像画像を取得する撮像画像取得ステップと、撮像画像において被写体上の特定領域の位置を特定する位置特定ステップと、特定領域の位置に基づいて被写体の実寸サイズを示す基準スケールを設定する基準スケール設定ステップと、撮像画像において被写体が含む注目領域を抽出する注目領域抽出ステップと、注目領域においてサイズを計測する計測部分を決定する計測部決定ステップと、基準スケールに基づいて注目領域の計測部分を計測した計測値を示す計測値マーカを生成する計測値マーカ生成ステップと、撮像画像に計測値マーカを重畳した特定画像を作成する特定画像生成ステップとを備える。
また、本発明は、被写体の計測に用いる計測補助光を発する計測補助光光源部を備える内視鏡装置用プログラムであって、コンピュータに、被写体の計測に用いる計測補助光を発する機能と、計測補助光によって被写体上に形成される特定領域を含む被写体を撮像した撮像画像を取得する機能と、撮像画像において被写体上の特定領域の位置を特定する機能と、特定領域の位置に基づいて被写体の実寸サイズを示す基準スケールを設定する機能と、撮像画像において被写体が含む注目領域を抽出する機能と、注目領域においてサイズを計測する計測部分を決定する機能と、基準スケールに基づいて注目領域の計測部分を計測した計測値を示す計測値マーカを生成する機能と、撮像画像に計測値マーカを重畳した特定画像を作成する機能とを実現させる。
本発明によれば、測定対象の計測を簡便に行うことができる。
内視鏡装置の外観図である。 内視鏡の先端部を示す平面図である。 内視鏡装置の機能を示すブロック図である。 計測補助光出射部の機能を示すブロック図である。 スポットＳＰが形成された被写体を含む撮像画像の一例の画像図である。 計測補助光によって被写体上に形成されるスポットＳＰの位置を説明する説明図である。 信号処理部の機能を示すブロック図である。 基準スケール設定部の機能を示すブロック図である。 基準スケールを重畳して表示した撮像画像の一例の画像図である。 計測値マーカ生成部の機能を示すブロック図である。 注目領域を説明する説明図である。 水平方向及び水平方向エッジ部を説明する説明図である。 計測部分が水平方向である特定画像作成を説明する説明図である。 線分と数値とを有する計測値マーカを含む特定画像の画像図である。 線分と数値とが分離する計測値マーカを含む特定画像の画像図である。 数値からなる計測値マーカを含む特定画像の画像図である。 注目領域外にある計測値マーカを含む特定画像の画像図である。 延長方向を説明する説明図である。 計測部分が延長方向である計測値マーカを含む特定画像の作成を説明する説明図である。 延長方向を計測した計測値マーカを含む特定画像の画像図である。 最大方向を説明する説明図である。 計測部分が最大方向である計測値マーカを含む特定画像の作成を説明する説明図である。 最大方向を計測した計測値マーカを含む特定画像の画像図である。 補正ピクセル数を説明する説明図である。 補正ピクセル数を用い計測値マーカを含む特定画像の作成を説明する説明図である。 補正ピクセル数を用いた計測値マーカを含む特定画像の画像図である。 計測補助光が平面状である場合のラインの位置を説明する説明図である。 計測補助光によって被写体上に形成されるライン及び計測値マーカを説明する説明図である。 画像保存部の機能を示すブロック図である。 内視鏡装置による特定画像作成及び保存の流れを説明するフロー図である。 従来の方法による被写体の計測を説明する説明図である。
図１に示すように、内視鏡装置１０は、内視鏡１２と、光源装置１３、プロセッサ装置１４と、モニタ１５と、ユーザーインターフェースであるキーボード１６及びフットスイッチ１７とを有する。内視鏡１２は光源装置１３と光学的に接続され、かつ、プロセッサ装置１４と電気的に接続される。プロセッサ装置１４は、画像を表示するモニタ１５（表示部）に電気的に接続されている。ユーザーインターフェースであるキーボード１６及びフットスイッチ１７は、プロセッサ装置１４に接続されており、プロセッサ装置１４に対する各種設定操作等に用いられる。なお、ユーザーインターフェースは図示したキーボード１６又はフットスイッチ１７の他、マウス等が含まれる。フットスイッチ１７は、左スイッチ１７ａ及び右スイッチ１７ｂを備える。
プロセッサ装置１４は、予め設定した各種の指示を行うプロセッサボタン１４ａを有する。プロセッサボタン１４ａは、プロセッサ装置１４に接続されたタッチパネルなどのオペレーションパネルの一部に設置してもよい。また、光源装置１３は、予め設定した各種の指示を行う光源ボタン１３ａを有する。
内視鏡１２は、被検体内に挿入する挿入部２１と、挿入部２１の基端部分に設けられた操作部２２と、ユニバーサルケーブル２３とを有する。操作部２２は、内視鏡１２のユーザーが、内視鏡１２の操作中に予め設定した各種の指示を行うスコープボタン１２ａを有する。ユニバーサルケーブル２３は、光源装置１３が発する照明光を導光する導光部（図示しない）や、内視鏡１２の制御に使用する制御信号を伝送するための制御線、観察対象を撮像して得られた画像信号を送信する信号線、内視鏡１２の各部に電力を供給する電力線等が一体になったケーブルである。ユニバーサルケーブル２３の先端には光源装置１３に接続するコネクタ２５が設けられている。また、内視鏡１２の導光部は、光ファイバをバンドルしたライトガイドである。
内視鏡１２は、通常モードと、測長モードとを備えており、これら２つのモードは指示によって切替える。モード切替の指示は、プロセッサボタン１４ａ、スコープボタン１２ａ、又はフットスイッチ１７等のいずれか一つ又は複数に設定することができる。設定により、これらのボタンは、モード切替スイッチとして機能する。
通常モードは、照明光によって照明された観察対象を撮像して得られる撮像画像を表示するモードである。したがって、通常モードでは計測値マーカの表示を行わない。測長モードは、照明光及び計測補助光を観察対象に照明し、且つ、観察対象の撮像により得られる撮像画像上に、観察対象の大きさなどの測定に用いられる計測値マーカを表示するモードである。計測補助光は、観察対象の計測に用いられる光である。
プロセッサボタン１４ａ、スコープボタン１２ａ、又はフットスイッチ１７等のいずれか一つ又は複数に、撮像画像の静止画の取得を指示する静止画取得指示スイッチの機能を設定してもよい。ユーザーが静止画取得指示スイッチにより静止画の取得を指示することにより、モニタ１５の画面がフリーズ表示し、併せて、静止画取得を行う旨のアラート音（例えば「ピー」）を発する。そして、例えば、スコープボタン１２ａの操作タイミング前後に得られる撮像画像の静止画が、プロセッサ装置１４内の画像保存部５５（図３参照）に保存される。また、測長モードに設定されている場合には、撮像画像の静止画と合わせて、後述する計測情報も保存することが好ましい。なお、画像保存部５５はハードディスクやＵＳＢ（Universal Serial Bus）メモリなどの記憶部である。プロセッサ装置１４がネットワークに接続可能である場合には、画像保存部５５に代えて又は加えて、ネットワークに接続された画像保存サーバ（図示しない）に撮像画像の静止画を保存するようにしてもよい。
図２に示すように、内視鏡１２の先端部１２ｄは略円形となっており、内視鏡１２の撮像光学系を構成する光学部材のうち最も被写体側に位置する対物レンズ３１と、被写体に対して照明光を照射するための照明レンズ３２と、後述する計測補助光を被写体に照明するための計測補助光用レンズ３３と、処置具を被写体に向けて突出させるための開口３４と、送気送水を行うための送気送水ノズル３５とが設けられている。
撮像光学系４４ｂ（図３参照）の光軸Ａｘ（図６参照）は、紙面に対して垂直な方向に延びている。縦の第１方向Ｄ１は、光軸Ａｘに対して直交しており、横の第２方向Ｄ２は、光軸Ａｘ及び第１方向Ｄ１に対して直交する。対物レンズ３１と計測補助光用レンズ３３とは、第１方向Ｄ１に沿って配列されている。
図３に示すように、光源装置１３は、光源部４１と、光源制御部４２とを備えている。光源部４１（照明光光源部）は、被写体を照明するための照明光を発生する。光源部４１から出射された照明光は、ライトガイド４３に入射され、照明レンズ３２を通って被写体に照射される。光源部４１としては、照明光の光源として、白色光を出射する白色光源、又は、白色光源とその他の色の光を出射する光源（例えば青色光を出射する青色光源）を含む複数の光源等が用いられる。なお、本実施形態では、上述した光源ボタン１３ａに、照明光の点灯又は消灯を行う照明光スイッチの機能を設定する。
内視鏡先端部１２ｄの内部には、照明光学系４４ａ、撮像光学系４４ｂ、及び計測補助光出射部（計測補助光光源部）４５が設けられている。照明光学系４４ａは照明レンズ３２を有しており、この照明レンズ３２を介して、ライトガイド４３からの光が観察対象に照射される。撮像光学系４４ｂは、対物レンズ３１及び撮像素子４６を有している。観察対象からの反射光は、対物レンズ３１を介して、撮像素子４６に入射する。これにより、撮像素子４６に観察対象の反射像が結像される。計測補助光出射部４５は、被写体の計測に用いる計測補助光を発する。
撮像素子４６はカラーの撮像センサであり、被写体の反射像を撮像して画像信号を出力する。この撮像素子４６は、ＣＣＤ（Charge Coupled Device）撮像センサやＣＭＯＳ（Complementary Metal-Oxide Semiconductor）撮像センサ等であることが好ましい。本発明で用いられる撮像素子４６は、Ｒ（赤）、Ｇ（緑）Ｂ（青）の３色のＲＧＢ画像信号を得るためのカラーの撮像センサである。撮像素子４６は、撮像制御部４７によって制御される。
撮像素子４６から出力される画像信号は、ＣＤＳ／ＡＧＣ回路４８に送信される。ＣＤＳ／ＡＧＣ回路４８は、アナログ信号である画像信号に相関二重サンプリング（ＣＤＳ（Correlated Double Sampling））や自動利得制御（ＡＧＣ（Auto Gain Control））を行う。ＣＤＳ／ＡＧＣ回路４８を経た画像信号は、Ａ／Ｄ変換器（Ａ／Ｄ（Analog /Digital）コンバータ）４９により、デジタル画像信号に変換される。Ａ／Ｄ変換されたデジタル画像信号は、通信Ｉ／Ｆ（Interface）５０を介して、プロセッサ装置１４に入力される。
プロセッサ装置１４は、内視鏡１２の通信Ｉ／Ｆ５０と接続される通信Ｉ／Ｆ５１と、信号処理部５２と、表示制御部５３と、システム制御部５４と、画像保存部５５とを備えている。通信Ｉ／Ｆ５１は、内視鏡１２の通信Ｉ／Ｆ５０から伝送されてきた画像信号を受信して信号処理部５２に伝達する。信号処理部５２は、通信Ｉ／Ｆ５１から受けた画像信号を一時記憶するメモリを内蔵しており（図示せず）、メモリに記憶された画像信号の集合である画像信号群を処理して、撮像画像を作成する。
信号処理部５２は、撮像画像に計測値マーカを重畳した特定画像を作成する。特定画像の作成については、後述する。また、信号処理部５２では、通常モードに設定されている場合には、撮像画像に対して、色変換処理、色彩強調処理、及び構造強調処理を行って、通常画像を得てもよい。通常画像は、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、赤色光Ｒがバランス良く発せられた通常光に基づいて得られた画像であるため、自然な色合いの画像となっている。測長モードに設定されている場合には、撮像画像に対して、血管などの構造を強調する構造強調処理や、観察対象のうち正常部と病変部等との色差を拡張した色差強調処理を施すようにしてもよい。
表示制御部５３は、信号処理部５２によって作成された撮像画像もしくは特定画像又は画像保存部５５に保存された静止画等の撮像画像をモニタ１５に表示する。システム制御部５４は、内視鏡１２に設けられた撮像制御部４７を介して、撮像素子４６の制御を行い、また、画像保存部５５に保存された画像に関する制御を行う。撮像制御部４７は、撮像素子４６の制御に合わせてＣＤＳ／ＡＧＣ回路４８及びＡ／Ｄ変換器４９の制御を行い、また、光源制御部４２に情報を送る。画像保存部５５は、撮像画像の静止画、後に説明する撮像画像に計測値マーカを重畳した特定画像、又は計測値に関する情報を有する撮像画像等を保存する。なお、画像保存部５５が保存する撮像画像又は特定画像は、静止画又は動画である。
図４に示すように、計測補助光出射部４５は、光源４５ａと、計測補助光生成素子４５ｂと、プリズム４５ｃと、計測補助光用レンズ３３とを備える。光源４５ａは、被写体の計測に用いるスポット状の計測補助光を発する。光源４５ａは、撮像素子４６の画素によって検出可能な色の光（具体的には可視光）を出射するものであり、レーザー光源ＬＤ（Laser Diode）又はＬＥＤ（Light Emitting Diode）等の発光素子と、この発光素子から出射される光を集光する集光レンズとを含む。
光源４５ａが出射する光の波長は、例えば、６００ｎｍ以上６５０ｎｍ以下の赤色光であることが好ましい。もしくは、４９５ｎｍ以上５７０ｎｍ以下の緑色光を用いてもよい。計測補助光生成素子４５ｂは、光源から出射した光を、計測情報を得るための計測補助光に変換する。計測補助光に変換するために、計測補助光生成素子４５ｂは、具体的には、コリメータレンズ、又は回折光学素子（ＤＯＥ、Diffractive Optical Element）等を用いる。
プリズム４５ｃは、計測補助光生成素子４５ｂで変換後の計測補助光の進行方向を変えるための光学部材である。プリズム４５ｃは、対物レンズ３１及びレンズ群を含む撮像光学系の視野と交差するように、計測補助光の進行方向を変更する。計測補助光の進行方向の詳細については、後述する。プリズム４５ｃから出射した計測補助光は、計測補助光用レンズ３３を通って、被写体へと照射される。
計測補助光が被写体に照射されることにより、被写体上において、特定領域が形成される。画像取得部である通信Ｉ／Ｆ５１は、照明光によって照明され、かつ、計測補助光によるスポットが形成された被写体を撮像して得られる撮像画像を取得する。通信Ｉ／Ｆ５１が取得した撮像画像におけるスポットの位置が、位置特定部６１（図７参照）によって特定される。特定されたスポットの位置に応じて、基準スケール設定部が基準スケールを設定し、計測値マーカ生成部が、基準スケールに基づいて、実寸サイズを表す計測値マーカを生成する。生成された計測値マーカは、撮像画像上に重畳されて、特定画像としてモニタ１５に表示される。
図５に示すように、計測補助光がスポット状である場合の特定領域は、円形の領域のスポットＳＰである。撮像画像５７は、ポリープ７１を含む被写体を含み、スポットＳＰは、ポリープ７１の端部に形成している。位置特定部６１（図７参照）がスポットＳＰの位置を特定する。なお、撮像画像５７は、モニタ１５に表示した状態を示す。
なお、計測補助光用レンズ３３に代えて、内視鏡先端部１２ｄに形成される計測補助用スリットとしてもよい。また、計測補助光用レンズ３３には、反射防止コート（ＡＲ（Anti-Reflection）コート）（反射防止部）を施すことが好ましい。このように反射防止コートを設けるのは、計測補助光が計測補助光用レンズ３３を透過せずに反射して、被写体に照射される計測補助光の割合が低下すると、位置特定部６１（図７参照）が、計測補助光により被写体上に形成されるスポットＳＰの位置を認識し難くなるためである。
計測補助光出射部４５は、計測補助光を撮像光学系の視野に向けて出射できるものであればよい。例えば、光源４５ａが光源装置に設けられ、光源４５ａから出射された光が光ファイバによって計測補助光生成素子４５ｂにまで導光されるものであってもよい。また、プリズム４５ｃを用いずに、光源４５ａ及び計測補助光生成素子４５ｂの向きを撮像光学系４４ｂの光軸Ａｘに対して斜めに設置することで、撮像光学系の視野を横切る方向に計測補助光を出射させる構成としてもよい。
測長モードにおいて計測補助光を発光する場合、計測補助光の進行方向は、図６に示すように、計測補助光の光軸Ｌｍが対物レンズの光軸Ａｘと交差する状態で、かつ、計測補助光の光軸Ｌｍが撮像光学系の撮影画角（２つの実線Ｌｉ１で挟まれる領域内）に入る状態で、スポット状の計測補助光を出射する。観察距離の範囲Ｒｘにおいて観察可能であるとすると、範囲Ｒｘの近端Ｐｘ、中央付近Ｐｙ、及び遠端Ｐｚでは、各点での撮像範囲（矢印Ｑｘ、Ｑｙ、Ｑｚで示す）における計測補助光によって被写体上に形成されるスポットＳＰの位置（各矢印Ｑｘ、Ｑｙ、Ｑｚが光軸Ｌｍと交わる点）が異なることが分かる。内視鏡先端部１２ｄの位置を位置Ｐ１とする。観察距離は、内視鏡先端部１２ｄと被写体との距離である。したがって、観察距離は、それぞれ、位置Ｐ１と、近端Ｐｘ、中央付近Ｐｙ、又は遠端Ｐｚとの間の距離である。観察距離は、詳細には、内視鏡先端部１２ｄにおける撮像光学系４４ｂの光軸Ａｘの始点から被写体までの距離となる。軸Ｄｖは観察距離を示す。なお、撮像光学系の撮影画角は２つの実線Ｌｉ１で挟まれる領域内で表され、この撮影画角のうち収差の少ない中央領域（２つの点線Ｌｉ２で挟まれる領域）で計測を行うようにしている。
以上のように、撮像光学系の撮影画角に入る状態で、計測補助光を出射することによって、観察距離の変化に対するスポット位置の移動の感度が高いことから、被写体の大きさを高精度に計測することができる。計測補助光が照明された被写体を撮像素子４６で撮像することによって、スポットＳＰを含む撮像画像が得られる。撮像画像では、スポットＳＰの位置は、撮像光学系４４ｂの光軸Ａｘと計測補助光の光軸Ｌｍとの関係、及び観察距離に応じて異なるが、観察距離が近ければ、同一の実寸サイズ（例えば５ｍｍ）を示すピクセル数が多くなり、観察距離が遠ければピクセル数が少なくなる。したがって、スポットＳＰの位置と被写体の実寸サイズに対応する計測情報（ピクセル数）とを対応付けた対応情報（スケール用テーブル６５、図８参照）を予め記憶しておくことで、スポットＳＰの位置から計測情報及び基準スケールを設定することができる。
図７に示すように、プロセッサ装置１４の信号処理部５２は、通常信号処理部６０、位置特定部６１、基準スケール設定部６２、計測値マーカ生成部６３、及び特定画像生成部６４とを備える。通常信号処理部６０は、通常モードにおける撮像画像の処理を行う。位置特定部６１は、基準スケールの設定等を行うために、撮像画像における被写体上のスポットＳＰの位置を特定する。基準スケール設定部６２は、スポットＳＰの位置に基づいて被写体の実寸サイズを示す基準スケールを設定する。計測値マーカ生成部６３は、設定された基準スケールに基づいて、注目領域の計測部分を計測した計測値を示す計測値マーカを生成する。
注目領域とは、被写体に含まれるユーザーが注目すべき領域である。注目領域は、例えば、ポリープ等であり、計測が必要とされる可能性が高い領域である。また、計測部分とは、注目領域において、長さ等を計測する部分である。例えば、注目領域が発赤部である場合、計測部分は発赤部の最も長い部分等であり、また、注目領域が円形である場合、計測部分は注目領域の直径部分等である。
特定画像生成部６４は、撮像画像に計測値マーカを重畳した特定画像を作成する。計測値マーカは、注目領域の計測部分に合わせた状態で撮像画像に重畳する。特定画像は、表示制御部５３によってモニタ１５に表示される。
測長モードに設定されている場合には、光源部４１及び計測補助光出射部４５は、照明光と計測補助光とを連続的に発光する。場合によっては、計測補助光は、点灯または減光して発光してもよい。なお、撮像画像は３色のＲＧＢ画像とするが、その他のカラー画像（輝度信号Ｙ、色差信号Ｃｒ、Ｃｂ）であってもよい。したがって、信号処理部５２には、測長モードに設定されている場合には、照明光および計測補助光により照明された被写体の撮像画像が入力される。撮像画像は、通信Ｉ／Ｆ５１で取得される。
通常モードに設定されている場合には、光源部４１は、照明光を常時発する。照明光は、ライトガイド４３を介して被写体に照射される。通常モードの場合には、計測補助光出射部４５の光源４５ａは停止するので、計測補助光は消灯する。したがって、信号処理部５２には、通常モードに設定されている場合には、照明光により照明された被写体の撮像画像が入力される。撮像画像は、通信Ｉ／Ｆ５１で取得される。
位置特定部６１は、被写体上において計測補助光によって形成されるスポットＳＰの位置を特定する。スポットＳＰの位置の特定は、測長モードにて照明光および計測補助光により被写体を照明した撮像画像に基づいて行う。計測補助光によりスポットＳＰが形成された被写体の撮像画像は、撮像光学系及び撮像素子を介して取得される。
位置特定部６１は、撮像画像のうち計測補助光の色に対応する成分を多く含む画像から認識することが好ましい。計測補助光は、例えば赤色の成分を多く含むことから、撮像画像のうち赤色画像からスポットＳＰの位置を認識することが好ましい。スポットＳＰの位置の認識方法は、例えば、撮像画像の赤色画像を二値化し、二値化画像のうち白部分（信号強度が二値化用閾値より高い画素）の重心を、スポットＳＰの位置として認識する方法がある。
図８に示すように、基準スケール設定部６２は、スケール用テーブル６５を備える。スケール用テーブル６５は、スポットＳＰの位置と被写体の実寸サイズに対応する計測情報とを対応付けた対応情報である。スケール用テーブル６５の作成方法について具体的に説明すると、例えば、スポットＳＰの位置とマーカの大きさ（計測情報）との関係は、実寸サイズのパターンが規則的に形成されたチャートを撮像することで得ることができる。スポット状の計測補助光をチャートに向けて出射し、観察距離を変化させてスポットの位置を変えながら実寸サイズと同じ罫（５ｍｍ）もしくはそれより細かい罫（例えば１ｍｍ）の方眼紙状のチャートを撮像し、スポットの位置（撮像素子４６の撮像面におけるピクセル座標）と実寸サイズに対応するピクセル数（実寸サイズである５ｍｍが何ピクセルで表されるか）との関係を取得する。
測長モードにおいて、照明光及び計測補助光により観察対象であるポリープ７１を含む被写体が照明された撮像画像５７が信号処理部５２に入力される。図９に示すように、撮像画像５７ａにおいて、ポリープ７１は、例えば、球が重なったような立体形状を有する。例えば、ポリープ７１上の端部にスポットＳＰを形成する。撮像画像５７ａに基づき、位置特定部６１は、スポットＳＰの位置を特定する。基準スケール設定部６２は、スケール用テーブル６５を参照して、特定したスポットＳＰの位置に対応した、被写体の実寸サイズを示す基準スケール７２を設定する。
基準スケール７２は、例えば、実寸サイズにおける２０ｍｍに対応するピクセル数を有する線分並びに実寸サイズを示す数値及び単位である。基準スケール７２は、通常はモニタ１５に表示しないが、基準スケール７２をモニタ１５に表示する場合は、撮像画像５７ａのように撮像画像５７に重畳してモニタ１５に表示する。
図１０に示すように、計測値マーカ生成部６３は、注目領域抽出部７４と、計測部分決定部７５と、計測内容受付部７６と、計測値算出部７７とを備える。注目領域抽出部７４は、画像処理技術又は画像認識技術等により注目領域を抽出する。注目領域は、例えば、ポリープ等の計測が必要とされる可能性が高い領域であるため、画像処理技術によれば、撮像画像上のエッジ部分を抽出すること等により注目領域を抽出することができ、また、画像認識技術によれば、機械学習による画像認識等により注目領域を抽出することができる。計測部分決定部７５は、注目領域抽出部７４が抽出した注目領域のどの部分を計測するかを決定する。計測部分決定部７５は、予め設定した基準により選択した部分を計測部分としてもよいし、計測内容受付部７６が受け付けた計測部分の指示に従って選択した部分を計測部分としてもよい。計測値算出部７７は、基準スケール７２及び計測部分に対応するピクセル数に基づいて、計測値マーカに対応するピクセル数を算出する。
計測部分決定部７５は、例えば、撮像画像５７をモニタ１５に表示した際の水平方向における注目領域のサイズを計測部分と決定する。図１１に示すように、注目領域抽出部７４は、撮像画像５７ｂのように、斜線の領域を注目領域８１として抽出する。次に、図１２に示すように、計測部分決定部７５は、例えば、予め設定した基準が、スポットＳＰを基点とした水平方向における注目領域の部分を計測するとの基準である場合、撮像画像５７ｃのように、スポットＳＰを基点として、水平方向８２と注目領域８１のエッジとの交点である水平方向エッジ位置８３を抽出する。スポットＳＰと水平方向エッジ位置８３との間が計測部分となる。
計測値算出部７７は、例えば、基準マーカの実寸サイズをＬ０、撮像画像５７に基準スケール７２を重畳した場合の基準スケール７２のピクセル数をＡａ、撮像画像５７において注目領域８１の計測部分に基準スケール７２を重畳した場合の計測部分のピクセル数をＢａ、及び計測値マーカ８４の実寸サイズをＬ１とした場合、以下の式（１）を満たすように計測値マーカを生成する。
Ｌ１＝Ｌ０×Ｂａ／Ａａ （１）
図１３に示すように、計測値算出部７７は、撮像画像５７ａに示す基準スケール７２に対応するピクセル数Ａａと、撮像画像５７ｃに示すスポットＳＰと水平方向エッジ位置８３との間の計測部分に対応するピクセル数Ｂａとにより、例えば、Ｂａ／Ａａが０．７であった場合、基準スケール７２の実寸サイズが２０ｍｍである際には、撮像画像５７ｄのように、計測値マーカ８４の実寸サイズを１３ｍｍと算出する。
特定画像生成部６４は、撮像画像５７に計測値マーカ８４を重畳した特定画像５８を作成する。例えば、図１４に示すように、実寸サイズが算出した計測値マーカ８４は、直線の線分の形状である矢印等の図形により撮像画像５７に重畳する。特定画像生成部６４は、撮像画像５７に計測値マーカ８４を注目領域８１の計測部分に合わせた状態で重畳した特定画像５８を作成する。計測値マーカ８４は、計測値算出部７７が算出した計測値マーカ８４の実寸サイズの数値を含んでもよい。図１５に示すように、計測値マーカ８４の実寸サイズの数値は、矢印等の図形と離れた状態で撮像画像５７に重畳して特定画像１８としてもよい。
また、計測値マーカ８４は、計測値の値を示す数字自体であってもよい。例えば、図１６に示すように、計測部分のおおよその位置に、長さであるサイズの単位と計測値の値の数字とを、計測値マーカ８４としてもよい。単位は、表示しなくてもよい。さらに、特定画像生成部６４は、撮像画像５７に、計測値マーカ８４を、注目領域８１の計測部分以外の部分に重畳した特定画像５８を作成しても良い。例えば、図１７に示すように、特定画像５８の右下の部分に、計測部分がどこであるかの表示と計測値の値を示す数字とを計測値マーカ８４として、「水平：１３ｍｍ」のように重畳した特定画像５８を作成しても良い。
計測値マーカ８４の種類は、予め設定することにより選択する。計測内容受付部７６が計測値マーカ８４の内容の設定を受け付けて計測値マーカ生成部６３にその内容を送り、計測値マーカ生成部６３がその内容に基づいて生成した計測値マーカ８４を用いて、特定画像生成部６４が特定画像５８を作成する。
以上のように、内視鏡装置１０は、ユーザーが内視鏡により観察を行う場合に、スポットＳＰを用いることにより、自動で測定対象である注目領域の計測が行われ、測定場所及び／又は測定値が実寸サイズとしてモニタ１５に表示される。したがって、内視鏡装置１０により、測定対象の計測が簡便に行うことができる。
なお、予め設定された固定サイズのスケールを有する計測値マーカと測定対象とを対比する場合は、図３１（従来例）に示すように、計測値マーカの数値と測定対象のサイズとを、目視により対比することにより、測定対象の実寸サイズを推測して計測していた。内視鏡装置１０によれば、測定対象の実寸サイズは自動で線分及び数値として表示することができる。したがって、内視鏡装置１０によれば、作業手順が少なくなり、測定時間も短くなるため、測定対象の計測が簡便になることに加えて、測定精度も向上する。
なお、計測部分決定部７５は、例えば、スポットＳＰが注目領域８１上にある場合、スポットＳＰを基点とした際に、注目領域８１において基点からのサイズが最大となる部分を計測部分と決定してもよい。図１８に示すように、計測部分決定部７５は、例えば、予め設定した基準が、スポットＳＰを基点とした際に、注目領域８１において基点からのサイズが最大となる部分を計測するとの基準である場合、撮像画像５７ｅのように、注目領域８１において基点であるスポットＳＰからのサイズが最大となる部分である、延長方向８６と注目領域８１のエッジとの交点である延長方向エッジ位置８７を抽出する。スポットＳＰと延長方向エッジ位置８７との距離が計測部分となる。
計測値算出部７７は、上記式（１）と同様にして、計測部分のピクセル数をＢｂ、及び計測値マーカ８４の実寸サイズをＬ２とした場合、以下の式（２）を満たすように計測値マーカを生成する。
Ｌ２＝Ｌ０×Ｂｂ／Ａａ （２）
図１９に示すように、計測値算出部７７は、撮像画像５７ａに示す基準スケール７２に対応するピクセル数Ａａと、撮像画像５７ｅに示すスポットＳＰと延長方向エッジ位置８７との間に対応するピクセル数Ｂｂとにより、例えば、Ｂｂ／Ａａが０．８であった場合、基準スケール７２の実寸サイズが２０ｍｍである際には、撮像画像５７ｆのとおり、計測値マーカ８４の実寸サイズを１６ｍｍと算出する。図２０に示すように、算出後の計測値マーカ８４は、線分並びに数値及び単位により表示して特定画像５８とする。計測値マーカ８４については、この他、上記した種類のように設定してもよい。
また、計測部分決定部７５は、例えば、注目領域８１の任意方向における最大サイズとなる部分を計測部分と決定してもよい。図２１に示すように、計測部分決定部７５は、例えば、予め設定した基準が、注目領域８１の任意方向における最大サイズとなる部分を計測するとの基準である場合、撮像画像５７ｇのように、注目領域８１において距離が最大となる部分である最大方向８８と注目領域８１のエッジとの交点である最大方向エッジ位置８９を抽出する。２つの最大方向エッジ位置８９の距離が計測部分となる。
計測値算出部７７は、上記式（１）と同様にして、計測部分のピクセル数をＢｃ、及び計測値マーカ８４の実寸サイズをＬ３とした場合、以下の式（３）を満たすように計測値マーカを生成する。
Ｌ３＝Ｌ０×Ｂｃ／Ａａ （３）
図２２に示すように、計測値算出部７７は、撮像画像５７ａに示す基準スケール７２に対応するピクセル数Ａａと、撮像画像５７ｇに示す２つの最大方向エッジ位置８９のの間の計測部分に対応するピクセル数Ｂｃとにより、例えば、Ｂｃ／Ａａが１．０であった場合、基準スケール７２の実寸サイズが２０ｍｍである際には、撮像画像５７ｈのとおり、計測値マーカ８４の実寸サイズを２０ｍｍと算出する。図２３に示すように、算出後の計測値マーカ８４は、線分並びに数値及び単位により表示して特定画像５８とする。計測値マーカ８４については、この他、上記した種類のように設定してもよい。
なお、上記したように、計測部分決定部７５は、計測内容受付部７６が受け付けた計測部分の指示に従って選択した部分を、計測部分として決定してもよい。例えば、計測内容受付部７６は、注目領域８１における水平方向エッジ位置８３、延長方向エッジ位置８７、又は最大方向エッジ位置８９のいずれを選択するかの指示を受け付ける。
計測内容受付部７６は、例えば、スコープボタン１２ａ、フットスイッチ１７の左スイッチ１７ａ、及び／又は右スイッチ１７ｂとすることができる。１つのボタン又はスイッチを計測内容受付部７６とした場合は、例えば、ボタン又はスイッチを押下（オン）する毎に、水平方向エッジ位置８３、延長方向エッジ位置８７、及び最大方向エッジ位置８９が、この順に循環して選択され、特定画像５８において、計測値マーカ８４の表示が、この順に循環して切替わるようにしてもよい。また、ボタン又はスイッチの１つに１つの計測部分の指示を設定した場合は、例えば、スコープボタン１２ａを押下することにより、水平方向エッジ位置８３が選択され、左スイッチ１７ａを押下することにより延長方向エッジ位置８７が選択され、また右スイッチ１７ｂを押下することにより最大方向エッジ位置８９が選択され、特定画像５８において、計測値マーカ８４の表示も選択に従って自動で切り替わるようにしてもよい。
なお、計測値マーカ生成部は、内視鏡が取得する撮像画像が有するひずみ分を考慮して、計測値マーカの生成を補正してもよい。図２４に示すように、例えば、事前に撮像画像５７における実寸サイズとひずみ情報を考慮したピクセル数とを対応させた補正スケール用テーブルを取得し、スケール用テーブル６５に記憶しておく。計測値算出部７７は、補正スケール用テーブルを用いて計測値マーカを生成する。
補正スケール用テーブルを用いる場合、基準スケールの実寸サイズをＬｒ０、基準スケールについて撮像画像のひずみ情報により補正した補正ピクセル数をＡｒ、計測部分について撮像画像のひずみ情報により補正した補正ピクセル数をＢｒ、及び計測値マーカの実寸サイズをＬｒ１とした場合、以下の式（４）を満たすように計測値マーカを生成する。
Ｌｒ１＝Ｌｒ０×Ｂｒ／Ａｒ （４）
図２４に示すように、例えば、補正スケール用テーブル９２は、実寸サイズのパターンが規則的に形成されたチャートを撮像することで得ることができる。スポット状の計測補助光をチャートに向けて出射し、観察距離を変化させてスポットの位置を変えながら実寸サイズと同じ罫（５ｍｍ）もしくはそれより細かい罫（例えば１ｍｍ）の方眼紙状のチャート９１を撮像し、スポットの位置（撮像素子４６の撮像面におけるピクセル座標）と実寸サイズに対応する補正ピクセル数（実寸サイズである５ｍｍが何ピクセルで表されるか）との関係を補正スケール用テーブル９２として取得する。例えば、基準スケール７２の最大値２０を補正ピクセル数の最大値Ｐに対応させ、基準スケール７２の中間点１０を補正ピクセル数の中間点０．５Ｐに対応させる。そして、図２５に示すように、基準スケール７２及び補正ピクセル数Ａｒ及び補正ピクセル数Ｂｒを用いることにより、より精度が高い算出を行うことができる。補正ピクセル数を用いて計測部分の実寸サイズを算出することにより、例えば「１４ｍｍ」と表示される。図２６に示すように、算出後の計測値マーカ８４は、線分並びに数値及び単位により表示して特定画像５８とする。計測値マーカ８４については、この他、上記した種類のように設定してもよい。
撮像画像が有するひずみ分は、内視鏡によって異なる場合がある。したがって、より精度の高い計測を行うためには、内視鏡毎に補正スケール用テーブルを取得して保存したものを場合に応じて使用することが好ましい。
なお、計測補助光は、被写体の立体的な形状を把握するため、平面状、メッシュ状、又はドット状であってもよい。この場合、特定領域は、形状がそれぞれ線状、メッシュ状、又はドット状である。
図２７に示すように、例えば、計測補助光が平面状である場合は、平面状の計測補助光を出射することにより計測補助光により平面９４が形成される。平面９４は、内視鏡の視野９５ａに含まれるように計測補助光を出射する。平面状の計測補助光により、有効撮像範囲９５ｂが形成される。計測補助光の出射位置と被写体との距離に応じて、撮像画像における位置が異なる状態で、被写体状にライン状の特定領域であるライン９３が形成される。図２７においては、右から計測補助光が出射されているため、計測補助光の出射位置と被写体との距離が離れるにつれて、断面９６、９７、又は９８のように被写体状のライン９３が形成される。したがって、被写体上において、ライン９３が下から上へと移動する。このように、ライン状の計測補助光を用いても、上記したのと同様にして被写体のサイズを計測することができる。
ライン状の計測補助光を用いた場合は、図２８に示すように、特定画像５８において、例えば、ポリープ７１が立体的な形状を有し、ポリープ７１の中心部が内視鏡先端部方向に盛り上がっている場合は、ライン９３が、ポリープ７１の立体形状により湾曲した形状となる。なお、目盛り９９は、予め実寸サイズを目盛りとしたものとピクセル数との対応情報を取得し、スケール用テーブルに保存したものを用いて、表示制御部５３が撮像画像に重畳したものである。したがって、この湾曲形状を有するライン上の計測補助光により、ポリープ７１の例えば水平方向のサイズに加え、ポリープ７１の奥行き（高さ）に関する情報を得ることができ、ポリープ７１の高さを推測することができる。ポリープ７１の高さを推測して計測する方法としては、上記したとおりの計測値マーカを作成したのと同様の方法とすることができる。このようにして、例えば、ポリープ７１の水平方向のサイズを「１３ｍｍ」とした計測値マーカ８４と、ポリープ７１の奥行きに関する情報を考慮したライン９３の長さによるサイズを「１６ｍｍ」とした計測値マーカ８４とを生成し、撮像画像に重畳することにより特定画像５８を生成する。なお、ポリープの奥行きの数値を高さとした計測値マーカ８４としてもよい。
なお、平面状の計測補助光の他、メッシュ状、ドット状、又は同心円状の計測補助光としてもよい。これらの計測補助光により、平面状の計測補助光と同様、奥行きがない場合の被写体における特定領域と、奥行きがある場合の被写体における特定領域との形状の違いを用いて、被写体が平面である場合のサイズに加え、被写体が奥行を持つ場合の奥行き情報も得られる。したがって、被写体の２次元方向のサイズに加え、奥行きのサイズも計測することができる。
なお、注目領域抽出部は、過去に取得された撮像画像により学習した学習済みモデルを用いて注目領域を抽出することが好ましい。学習済みモデルに用いるモデルは、機械学習による画像認識において好適な各種のモデルを用いることができる。画像上の注目領域を認識する目的から、ニューラルネットワークを用いたモデルが好ましく使用できる。これらのモデルに対し学習させる場合は、教師データとして、注目領域の情報を持つ撮像画像を用いて学習させる。注目領域の情報としては、注目領域の有無、注目領域の位置又は範囲等が挙げられる。なお、モデルに応じて、注目領域の情報を持たない撮像画像により学習させてもよい。
また、計測部分決定部も、過去に取得された撮像画像により学習した学習済みモデルを用いて計測部分を決定することが好ましい。学習済みモデルに用いるモデル等は、注目領域抽出部と同様であるが、これらのモデルに対し学習させる場合は、計測部分の情報を持つ撮像画像により学習させる。計測部分の情報としては、計測値とその計測部分が挙げられる。なお、モデルに応じて、計測部分の情報を持たない撮像画像により学習させてもよい。なお、注目領域抽出部が用いる学習済みモデルと、計測部分決定部が用いる学習済みモデルとは共通としてもよい。計測部分を抽出するとの目的の場合は、１つの学習済みモデルにより、撮像画像５７から注目領域を抽出せずに、計測部分を抽出するようにしてもよい。
なお、注目領域抽出部７４及び計測部分決定部７５が用いる学習済みモデルは、注目領域及び計測部分をひとつ抽出することに加えて、注目領域及び計測部分を、候補として複数抽出してもよい。この場合、例えば、注目領域であれば、撮像画像５７に複数の注目領域を重畳して表示した後、複数の注目領域から計測内容受付部７６が受け付ける指示に従い、注目領域をひとつ抽出する。指示の方法としては、学習済みモデルが複数の注目領域を抽出し、等高線状に撮像画像５７に重畳して表示する。そして、ユーザーがそれらの複数の注目領域のうち、計測を行いたい注目領域を示す等高線上にスポットＳＰを形成する。そして、信号処理部５２は、スポットＳＰを認識することにより複数の注目領域候補からひとつの注目領域を抽出する。その後の流れは、上記したのと同様である。
なお、特定画像と計測値とを対応付けた教師データを保存する教師データ保存部を備えることが好ましい。図２９に示すように、画像保存部５５は、静止画保存部１０１と、教師データ保存部１０２とを備える。特定画像生成部６４は、生成した特定画像を、モニタ１５に表示するために表示制御部５３に送り、かつ、教師データとして教師データ保存部１０２に送り、教師データ保存部１０２は特定画像を教師データとして保存する。特定画像は、計測した部分及びその計測値といった計測部分の情報を有する画像情報であるため、例えば、撮像画像における計測値に関する機械学習における学習モデルの教師データとして有用である。
次に、上記構成による作用について、図３０のフローチャートを参照して説明する。まず、通常モードにて被写体を観察する（ステップＳＴ１１０）。例えば、被写体に計測が必要な観察対象を見つけた場合等、スコープボタン１２ａ等を用いて測長モードに移行する（ステップＳＴ１２０でＹＥＳ）。測長モードに移行しない場合は（ステップＳＴ１２０でＮＯ）、通常モードでの観察を続ける。
測長モードに移行した場合は、測長モードにて観察を行う（ステップＳＴ１３０）。計測補助光出射部４５が計測補助光を発光する（ステップＳＴ１４０）。計測補助光によるスポットＳＴは、ユーザーが計測部分の例えば計測の基点としたい場所である端部に位置させるようにして観察する（ステップＳＴ１５０）。撮像素子により、被写体を撮像した撮像画像を取得する（ステップＳＴ１６０）。撮像画像に基づき、位置特定部６１が、スポットＳＴの位置を特定する（ステップＳＴ１７０）。
基準スケール設定部６２は、得られた撮像画像及びスケール用テーブル６５を用いて基準スケールを設定する（ステップＳＴ１８０）。計測部分の指定、計測値マーカの種類の指定がある場合は（ステップＳＴ１９０でＹＥＳ）、水平方向等の計測部分の指定を行い、表示したい計測値マーカの種類の指定がある場合は指定し、計測内容受付部７６がこれらの指定を受け付ける（ステップＳＴ２００）。なお、計測部分の指定等がない場合は（ステップＳＴ１９０でＮＯ）、直前の観察において用いられた計測部分及び計測値マーカが自動的に適用となる。その後計測値マーカを生成し（ステップＳＴ２１０）、撮像画像５７に重畳して特定画像５８が作成される（ステップＳＴ２２０）。作成された特定画像５８は、モニタ１５に表示され、また、画像保存部５５の教師データ保存部１０２に保存される（ステップＳＴ２３０）。
以上の観察の流れにおいて、ユーザーは、特に指定がない場合は、スポットＳＰを計測の基点としたい場所に位置させるのみで、注目領域の特定の測定部分の測定値を数値にて得ることができる。したがって、図３１に示すように、従来、計測値マーカとの対比を目視等で行うことにより計測したい部分の計測値を得ていたのと比べて、必要な作業が減る。なお、従来では、ポリープ７１のスポットＳＰから水平方向のサイズを計測する場合、例えば、マーカーの２０ｍｍの数値に、Ｂ／Ａの長さの比の値を推定等してかけることにより計測していた。ここで、Ａは基準スケールの長さであり、Ｂはポリープの水平方向のサイズ（長さ）である。
また、測定値を得るのに必要な時間が大幅に減るため、被写体の動き等の影響も減り、計測値の精度及び速度が向上する。また、領域の抽出及び／又は計測部分の抽出は、学習済みモデルを使用することができるため、注目領域の抽出又は計測値の算出において、精度が向上する。また、計測値マーカの表示は設定により変更することができるため、内視鏡による観察の邪魔にならないようにすることができる。また、計測値マーカの形状は、線分のような図形の他、数値自体とすることができるため、この数値データも、撮像画像の情報として保存することにより、患者データ又は教師データ等各種の目的に利用することができる。また、ラインレーザー等計測補助光の形状を工夫することにより、ポリープ等の注目領域の奥行方向の情報を得ることができる。また、内視鏡装置１０によれば、管腔または血管等の狭窄の情報を得ることができるため、例えば、ステントの径を決定する場合またはバルーンを適用する場合等に好適である。この場合も、ラインレーザー等計測補助光の形状を工夫することにより、奥行方向の情報を得ることができるため好ましい。また、以上の流れは自動で行うことができる。以上のとおり、内視鏡装置１０によれば、測定対象の計測を簡便に行うことができる。
上記実施形態において、信号処理部５２、表示制御部５３、システム制御部５４、又は画像保存部５５といった各種の処理を実行する処理部（processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウエア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit)、ＦＰＧＡ (Field Programmable Gate Array) などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device:ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
１つの処理部は、これら各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合せ（例えば、複数のＦＰＧＡや、ＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウエアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。
さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた形態の電気回路（circuitry）である。
本発明の他の態様は、被写体の計測に用いる計測補助光を発する計測補助光光源部と、プロセッサと、を備え、プロセッサは、計測補助光によって被写体上に形成される特定領域を含む被写体を撮像した撮像画像を取得し、撮像画像において被写体上の特定領域の位置を特定し、特定領域の位置に基づいて被写体の実寸サイズを示す基準スケールを設定し、撮像画像において被写体が含む注目領域を抽出し、注目領域においてサイズを計測する計測部分を決定し、基準スケールに基づいて注目領域の計測部分を計測した計測値を示す計測値マーカを生成し、撮像画像に計測値マーカを重畳した特定画像を作成する内視鏡装置である。
本発明は、上記実施形態に限らず、本発明の要旨を逸脱しない限り種々の構成を採用し得ることはもちろんである。さらに、本発明は、プログラムに加えて、プログラムを記憶する記憶媒体にもおよぶ。
１０ 内視鏡装置
１２ 内視鏡
１２ａ スコープボタン
１２ｄ 先端部
１３ 光源装置
１３ａ 光源ボタン
１４ プロセッサ装置
１４ａ プロセッサボタン
１５ モニタ
１６ キーボード
１７ フットスイッチ
１７ａ 左スイッチ
１７ｂ 右スイッチ
２１ 挿入部
２２ 操作部
２３ ユニバーサルケーブル
２５ コネクタ
３１ 対物レンズ
３２ 照明レンズ
３３ 計測補助光用レンズ
３４ 開口
３５ 送気送水ノズル
４１ 光源部
４２ 光源制御部
４３ ライトガイド
４４ａ 照明光学系
４４ｂ 撮像光学系
４５ 計測補助光出射部
４５ａ 光源
４５ｂ 計測補助光生成素子
４５ｃ プリズム
４６ 撮像素子
４７ 撮像制御部
４８ ＣＤＳ／ＡＧＣ回路
４９ Ａ／Ｄ変換器
５０、５１ 通信Ｉ／Ｆ
５２ 信号処理部
５３ 表示制御部
５４ システム制御部
５５ 画像保存部
５７、５７ａ～５７ｈ 撮像画像
５８ 特定画像
６０ 通常信号処理部
６１ 位置特定部
６２ 基準スケール設定部
６３ 計測値マーカ生成部
６４ 特定画像生成部
６５ スケール用テーブル
７１ ポリープ
７２ 基準スケール
７４ 注目領域抽出部
７５ 計測部分決定部
７６ 計測内容受付部
７７ 計測値算出部
８１ 注目領域
８２ 水平方向
８３ 水平方向エッジ位置
８４ 計測値マーカ
８６ 延長方向
８７ 延長方向エッジ位置
８８ 最大方向
８９ 最大方向エッジ位置
９１ チャート
９２ 補正スケール用テーブル
９３ ライン
９４ 平面
９５ａ 視野
９５ｂ 有効撮像範囲
９６、９７、９８ 断面
９９ 目盛り
１０１ 静止画保存部
１０２ 教師データ保存部
Ａ 基準スケールの長さ
Ａａ 基準スケールのピクセル数
Ｂ ポリープの水平方向のサイズ
Ｂａ、Ｂｂ、Ｂｃ 計測部分のピクセル数
Ａｒ、Ｂｒ 補正ピクセル数
Ｌｉ１ 実線
Ｌｉ２ 点線
Ｄ１ 第１方向
Ｄ２ 第２方向
Ｄｖ 観察距離
Ｌｍ 計測補助光の光軸
Ａｘ 撮像光学系の光軸
Ｐｘ 近端
Ｐｙ 中央付近
Ｐｚ 遠端
Ｐ１ 位置
Ｑｘ、Ｑｙ、Ｑｚ 撮影範囲
Ｒｘ 観察距離の範囲
ＳＰ スポット
ＳＴ１１０～ＳＴ２３０ ステップ

Claims (22)

  1. 被写体の計測に用いる計測補助光を発する計測補助光光源部と、
    プロセッサとを備え、
    前記プロセッサは、
    前記計測補助光によって前記被写体上に形成される特定領域を含む前記被写体を撮像した撮像画像を取得し、
    前記撮像画像において前記被写体上の前記特定領域の位置を特定し、
    前記特定領域の位置に基づいて前記被写体の実寸サイズを示す基準スケールを設定し、
    前記撮像画像において前記被写体が含む注目領域を抽出し、
    前記注目領域においてサイズを計測する計測部分を、予め設定した基準により選択した部分を前記計測部分とするか、または、前記計測部分の指定を受け付け、前記指定に従って選択した部分を前記計測部分とするかのいずれかに基づき決定し、
    前記基準スケールに基づいて前記注目領域の前記計測部分を計測した計測値を示す計測値マーカを生成し、
    前記撮像画像に前記計測値マーカを重畳した特定画像を作成する内視鏡装置。
  2. 被写体の計測に用いる計測補助光を発する計測補助光光源部と、
    プロセッサとを備え、
    前記プロセッサは、
    前記計測補助光によって前記被写体上に形成される特定領域を含む前記被写体を撮像した撮像画像を取得し、
    前記撮像画像において前記被写体上の前記特定領域の位置を特定し、
    前記特定領域の位置に基づいて前記被写体の実寸サイズを示す基準スケールを設定し、
    前記撮像画像において前記被写体が含む注目領域を抽出し、
    前記注目領域においてサイズを計測する計測部分を決定し、
    前記基準スケールに基づいて前記注目領域の前記計測部分を計測した計測値を示す計測値マーカを生成し、
    前記撮像画像に前記計測値マーカを重畳した特定画像を作成し、
    前記特定領域が前記注目領域上にある場合、前記特定領域を起点とした際に、前記注目領域において前記起点からのサイズが最大となる部分を前記計測部分と決定する内視鏡装置。
  3. 被写体の計測に用いる計測補助光を発する計測補助光光源部と、
    プロセッサとを備え、
    前記プロセッサは、
    前記計測補助光によって前記被写体上に形成される特定領域を含む前記被写体を撮像した撮像画像を取得し、
    前記撮像画像において前記被写体上の前記特定領域の位置を特定し、
    前記特定領域の位置に基づいて前記被写体の実寸サイズを示す基準スケールを設定し、
    前記撮像画像において前記被写体が含む注目領域を抽出し、
    前記注目領域においてサイズを計測する計測部分を決定し、
    前記基準スケールに基づいて前記注目領域の前記計測部分を計測した計測値を示す計測値マーカを生成し、
    前記撮像画像に前記計測値マーカを重畳した特定画像を作成し、
    前記基準スケールの前記実寸サイズをＬ０、前記撮像画像に前記基準スケールを重畳した場合の前記基準スケールのピクセル数をＡａ、前記撮像画像において前記注目領域の前記計測部分に前記基準スケールを重畳した場合の計測部分のピクセル数をＢａ、及び前記計測値マーカの前記実寸サイズをＬ１とした場合、以下の式（１）を満たすように前記計測値マーカを生成する内視鏡装置。
    Ｌ１＝Ｌ０×Ｂａ／Ａａ （１）
  4. 被写体の計測に用いる計測補助光を発する計測補助光光源部と、
    プロセッサとを備え、
    前記プロセッサは、
    前記計測補助光によって前記被写体上に形成される特定領域を含む前記被写体を撮像した撮像画像を取得し、
    前記撮像画像において前記被写体上の前記特定領域の位置を特定し、
    前記特定領域の位置に基づいて前記被写体の実寸サイズを示す基準スケールを設定し、
    前記撮像画像において前記被写体が含む注目領域を抽出し、
    前記注目領域においてサイズを計測する計測部分を決定し、
    前記基準スケールに基づいて前記注目領域の前記計測部分を計測した計測値を示す計測値マーカを生成し、
    前記撮像画像に前記計測値マーカを重畳した特定画像を作成し、
    前記基準スケールの前記実寸サイズをＬ０、前記撮像画像に前記基準スケールを重畳し、かつ、前記撮像画像のひずみ情報を考慮して補正した場合の前記基準スケールのピクセル数をＡｃ、前記撮像画像において前記注目領域の前記計測部分に前記基準スケールを重畳し、かつ、前記撮像画像のひずみ情報を考慮して補正した場合の前記計測部分のピクセル数をＢｃ、及び前記計測値マーカの前記実寸サイズをＬ１とした場合、以下の式（２）を満たすように前記計測値マーカを生成する内視鏡装置。
    Ｌ１＝Ｌ０×Ｂｃ／Ａｃ （２）
  5. 被写体の計測に用いる計測補助光を発する計測補助光光源部と、
    プロセッサとを備え、
    前記プロセッサは、
    前記計測補助光によって前記被写体上に形成される特定領域を含む前記被写体を撮像した撮像画像を取得し、
    前記撮像画像において前記被写体上の前記特定領域の位置を特定し、
    前記特定領域の位置に基づいて前記被写体の実寸サイズを示す基準スケールを設定し、
    前記撮像画像において前記被写体が含む注目領域を抽出し、
    前記注目領域においてサイズを計測する計測部分を決定し、
    前記基準スケールに基づいて前記注目領域の前記計測部分を計測した計測値を示す計測値マーカを生成し、
    前記撮像画像に前記計測値マーカを重畳した特定画像を作成し、
    前記特定画像と前記計測値とを対応付けた教師データを保存する内視鏡装置。
  6. 前記プロセッサは、前記撮像画像をディスプレイに表示した際の水平方向における前記注目領域のサイズを前記計測部分と決定する請求項３ないし５のいずれか１項に記載の内視鏡装置。
  7. 前記プロセッサは、前記特定領域が前記注目領域上にある場合、前記特定領域を基点とした際に、前記注目領域において前記基点からのサイズが最大となる部分を前記計測部分と決定する請求項３ないし５のいずれか１項に記載の内視鏡装置。
  8. 前記プロセッサは、前記注目領域の任意方向における最大サイズとなる部分を前記計測部分と決定する請求項３ないし５のいずれか１項に記載の内視鏡装置。
  9. 前記プロセッサは、前記計測部分の指定を受け付け、
    前記指定に従って前記計測部分を決定する請求項３ないし５のいずれか１項に記載の内視鏡装置。
  10. 前記プロセッサは、前記基準スケールの前記実寸サイズをＬ０、前記撮像画像に前記基準スケールを重畳した場合の前記基準スケールのピクセル数をＡａ、前記撮像画像において前記注目領域の前記計測部分に前記基準スケールを重畳した場合の計測部分のピクセル数をＢａ、及び前記計測値マーカの前記実寸サイズをＬ１とした場合、以下の式（１）を満たすように前記計測値マーカを生成する請求項１または２に記載の内視鏡装置。
    Ｌ１＝Ｌ０×Ｂａ／Ａａ （１）
  11. 前記プロセッサは、前記基準スケールの前記実寸サイズをＬ０、前記撮像画像に前記基準スケールを重畳し、かつ、前記撮像画像のひずみ情報を考慮して補正した場合の前記基準スケールのピクセル数をＡｃ、前記撮像画像において前記注目領域の前記計測部分に前記基準スケールを重畳し、かつ、前記撮像画像のひずみ情報を考慮して補正した場合の前記計測部分のピクセル数をＢｃ、及び前記計測値マーカの前記実寸サイズをＬ１とした場合、以下の式（２）を満たすように前記計測値マーカを生成する請求項１または２に記載の内視鏡装置。
    Ｌ１＝Ｌ０×Ｂｃ／Ａｃ （２）
  12. 前記計測補助光は、平面状、メッシュ状、又はドット状であり、
    前記特定領域は、形状がそれぞれ線状、メッシュ状、又はドット状である請求項１ないし１１のいずれか１項に記載の内視鏡装置。
  13. 前記計測値マーカは、形状が直線の線分又は直線の線分の組み合わせである請求項１ないし１１のいずれか１項に記載の内視鏡装置。
  14. 前記計測値マーカは、前記計測値の値を示す数字を含む請求項１ないし１３のいずれか１項に記載の内視鏡装置。
  15. 前記計測値マーカは、前記計測値の値を示す数字自体である請求項１ないし１３のいずれか１項に記載の内視鏡装置。
  16. 前記プロセッサは、前記撮像画像に前記計測値マーカを前記注目領域の前記計測部分に合わせた状態で重畳した特定画像を作成する請求項１ないし１５のいずれか１項に記載の内視鏡装置。
  17. 前記プロセッサは、前記撮像画像に前記計測値マーカを前記注目領域の前記計測部分以外の部分に重畳した特定画像を作成する請求項１ないし１５のいずれか１項に記載の内視鏡装置。
  18. 前記プロセッサは、過去に取得された前記撮像画像により学習した学習済みモデルを用いて前記注目領域を抽出する請求項１ないし１７のいずれか１項に記載の内視鏡装置。
  19. 前記プロセッサは、過去に取得された前記撮像画像により学習した学習済みモデルを用いて前記計測部分を決定する請求項１ないし１８のいずれか１項に記載の内視鏡装置。
  20. 前記プロセッサは、前記特定画像と前記計測値とを対応付けた教師データを保存する請求項１ないし４のいずれか１項に記載の内視鏡装置。
  21. 被写体の計測に用いる計測補助光を発する計測補助光発光ステップと、
    前記計測補助光によって前記被写体上に形成される特定領域を含む前記被写体を撮像した撮像画像を取得する撮像画像取得ステップと、
    前記撮像画像において前記被写体上の前記特定領域の位置を特定する位置特定ステップと、
    前記特定領域の位置に基づいて前記被写体の実寸サイズを示す基準スケールを設定する基準スケール設定ステップと、
    前記撮像画像において前記被写体が含む注目領域を抽出する注目領域抽出ステップと、
    前記注目領域においてサイズを計測する計測部分を、予め設定した基準により選択した部分を前記計測部分とするか、または、前記計測部分の指定を受け付け、前記指定に従って選択した部分を前記計測部分とするかのいずれかに基づき決定する計測部決定ステップと、
    前記基準スケールに基づいて前記注目領域の前記計測部分を計測した計測値を示す計測値マーカを生成する計測値マーカ生成ステップと、
    前記撮像画像に前記計測値マーカを重畳した特定画像を作成する特定画像生成ステップとを備える内視鏡装置の作動方法。
  22. 被写体の計測に用いる計測補助光を発する計測補助光光源部を備える内視鏡装置用プログラムであって、
    コンピュータに、
    被写体の計測に用いる計測補助光を発する機能と、
    前記計測補助光によって前記被写体上に形成される特定領域を含む前記被写体を撮像した撮像画像を取得する機能と、
    前記撮像画像において前記被写体上の前記特定領域の位置を特定する機能と、
    前記特定領域の位置に基づいて前記被写体の実寸サイズを示す基準スケールを設定する機能と、
    前記撮像画像において前記被写体が含む注目領域を抽出する機能と、
    前記注目領域においてサイズを計測する計測部分を予め設定した基準により選択した部分を前記計測部分とするか、または、前記計測部分の指定を受け付け、前記指定に従って選択した部分を前記計測部分とするかのいずれかに基づき決定する機能と、
    前記基準スケールに基づいて前記注目領域の前記計測部分を計測した計測値を示す計測値マーカを生成する機能と、
    前記撮像画像に前記計測値マーカを重畳した特定画像を作成する機能とを実現させるための内視鏡装置用プログラム。
JP2021566837A 2019-12-25 2020-10-12 内視鏡装置及びその作動方法並びに内視鏡装置用プログラム Active JP7402252B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019234984 2019-12-25
JP2019234984 2019-12-25
PCT/JP2020/038509 WO2021131238A1 (ja) 2019-12-25 2020-10-12 内視鏡装置及びその作動方法並びに内視鏡装置用プログラム

Publications (3)

Publication Number Publication Date
JPWO2021131238A1 JPWO2021131238A1 (ja) 2021-07-01
JPWO2021131238A5 JPWO2021131238A5 (ja) 2022-07-27
JP7402252B2 true JP7402252B2 (ja) 2023-12-20

Family

ID=76574210

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021566837A Active JP7402252B2 (ja) 2019-12-25 2020-10-12 内視鏡装置及びその作動方法並びに内視鏡装置用プログラム

Country Status (4)

Country Link
US (1) US20220330850A1 (ja)
EP (1) EP4083677A4 (ja)
JP (1) JP7402252B2 (ja)
WO (1) WO2021131238A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023112340A (ja) * 2022-02-01 2023-08-14 富士フイルム株式会社 内視鏡システム及びその作動方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008061659A (ja) 2006-09-04 2008-03-21 National Univ Corp Shizuoka Univ 撮像装置
US20090097725A1 (en) 2007-10-15 2009-04-16 Hagai Krupnik Device, system and method for estimating the size of an object in a body lumen
JP2017520355A (ja) 2014-05-20 2017-07-27 パク, ヒュン・ジュンPark, Hyun Jun 内視鏡検査における病変のサイズ測定方法、及びコンピュータで読み取り可能な記録媒体
WO2018189742A1 (en) 2017-04-13 2018-10-18 V.T.M. (Virtual Tape Measure) Technologies Ltd. Endoscopic measurement methods and tools
WO2019017019A1 (ja) 2017-07-18 2019-01-24 富士フイルム株式会社 内視鏡装置及び計測支援方法
JP2019195643A (ja) 2019-06-26 2019-11-14 富士フイルム株式会社 内視鏡システム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6273223A (ja) * 1985-09-26 1987-04-03 Toshiba Corp 内視鏡装置
WO2018051680A1 (ja) 2016-09-15 2018-03-22 富士フイルム株式会社 内視鏡システム
WO2018051679A1 (ja) * 2016-09-15 2018-03-22 富士フイルム株式会社 計測支援装置、内視鏡システム、内視鏡システムのプロセッサ、及び計測支援方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008061659A (ja) 2006-09-04 2008-03-21 National Univ Corp Shizuoka Univ 撮像装置
US20090097725A1 (en) 2007-10-15 2009-04-16 Hagai Krupnik Device, system and method for estimating the size of an object in a body lumen
JP2017520355A (ja) 2014-05-20 2017-07-27 パク, ヒュン・ジュンPark, Hyun Jun 内視鏡検査における病変のサイズ測定方法、及びコンピュータで読み取り可能な記録媒体
WO2018189742A1 (en) 2017-04-13 2018-10-18 V.T.M. (Virtual Tape Measure) Technologies Ltd. Endoscopic measurement methods and tools
WO2019017019A1 (ja) 2017-07-18 2019-01-24 富士フイルム株式会社 内視鏡装置及び計測支援方法
JP2019195643A (ja) 2019-06-26 2019-11-14 富士フイルム株式会社 内視鏡システム

Also Published As

Publication number Publication date
EP4083677A4 (en) 2023-02-01
JPWO2021131238A1 (ja) 2021-07-01
US20220330850A1 (en) 2022-10-20
EP4083677A1 (en) 2022-11-02
WO2021131238A1 (ja) 2021-07-01

Similar Documents

Publication Publication Date Title
US7123756B2 (en) Method and apparatus for standardized fluorescence image generation
US11419694B2 (en) Endoscope system measuring size of subject using measurement auxiliary light
JPWO2018051680A1 (ja) 内視鏡システム
JP7115897B2 (ja) 内視鏡装置
US20190365200A1 (en) Measurement support device, endoscope system, and processor
JP7402252B2 (ja) 内視鏡装置及びその作動方法並びに内視鏡装置用プログラム
US11490784B2 (en) Endoscope apparatus
EP3705023B1 (en) Endoscope apparatus, calibration device, and calibration method
JP7029359B2 (ja) 内視鏡装置及びその作動方法並び内視鏡装置用プログラム
JP6924727B2 (ja) 内視鏡装置
WO2020189334A1 (ja) 内視鏡用プロセッサ装置、医療画像処理装置及びその作動方法並びに医療画像処理装置用プログラム
JP7166467B2 (ja) 内視鏡装置及びその作動方法並びに内視鏡装置用プログラム
JP7167352B2 (ja) 内視鏡システム及びその作動方法
WO2020153186A1 (ja) 内視鏡装置
US11399707B2 (en) Endoscope apparatus
US20230240511A1 (en) Endoscope system and endoscope system operation method
JP2020151250A (ja) 内視鏡装置及びその作動方法並びに内視鏡装置用プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220530

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220707

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230523

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230721

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230915

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231205

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231208

R150 Certificate of patent or registration of utility model

Ref document number: 7402252

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150