JP7447249B2 - テストチャート、検査システム、及び検査方法 - Google Patents

テストチャート、検査システム、及び検査方法 Download PDF

Info

Publication number
JP7447249B2
JP7447249B2 JP2022519899A JP2022519899A JP7447249B2 JP 7447249 B2 JP7447249 B2 JP 7447249B2 JP 2022519899 A JP2022519899 A JP 2022519899A JP 2022519899 A JP2022519899 A JP 2022519899A JP 7447249 B2 JP7447249 B2 JP 7447249B2
Authority
JP
Japan
Prior art keywords
inspection
measurement
chart
light
measurement light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022519899A
Other languages
English (en)
Other versions
JPWO2021225026A1 (ja
Inventor
岳一 龍田
将人 吉岡
裕章 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2021225026A1 publication Critical patent/JPWO2021225026A1/ja
Application granted granted Critical
Publication of JP7447249B2 publication Critical patent/JP7447249B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes

Landscapes

  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Optics & Photonics (AREA)
  • Surgery (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Astronomy & Astrophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Endoscopes (AREA)

Description

本発明は、被写体の大きさを測定するための計測用マーカに関する検査に用いるテストチャート、検査システム、及び検査方法に関する。
光源装置、内視鏡、及び、プロセッサ装置を有する内視鏡システムでは、被写体までの距離又は被写体の大きさなどを取得することが行われている。例えば、特許文献1では、照明光及び計測光を被写体に照射し、ビーム光の照射により被写体に、スポット光などのビーム照射領域を出現させる。そして、スポット光の位置に対応させて、被写体のサイズを計測するための計測用マーカを被写体画像上に表示している。
国際公開第2018/051680号
計測用マーカは病変部のサイズなどの計測に用いられることから、被写体画像上において、計測用マーカは、被写体のサイズを正確に表示することが必要である。しかしながら、計測光を出射する出射部の位置は、内視鏡の機差によってばらつきが生じることが有り、このような出射部の位置のばらつきなどによって、計測用マーカが被写体のサイズを正確に表示できないことがある。そこで、計測用マーカを用いる内視鏡使用前に、計測用マーカの表示が適正かどうかの確認検査を行うことが求められていた。
本発明は、被写体のサイズを計測するための計測用マーカが適正に表示されているかどうかの確認検査を行うことができるテストチャート、検査システム、及び検査方法を提供することを目的とする。
本発明は、被写体のサイズを計測するための計測用マーカに関する検査に用いられるテストチャートにおいて、特定形状の検査領域を有する検査領域部と、検査基準位置とが設けられたチャート本体を有し、検査領域部は、計測光が照射されたチャート本体を内視鏡で撮像して得られる検査画像において、計測光の照射位置を検査基準位置に合わせた場合に、照射位置に基づいて検査画像に表示される計測用マーカが検査領域に入っているかどうかの確認検査に用いられる。
チャート本体には、計測用マーカのサイズに対応する複数の検査領域が設けられており、各検査領域の確認検査は、計測光の出射位置とチャート本体との距離を変化させて複数に分けて行われることが好ましい。チャート本体は、確認検査を補助するための確認検査補助部を有することが好ましい。特定形状は円形であり、複数の検査領域は、検査基準位置を中心として、同心状に設けられており、確認検査補助部は、検査基準位置から放射状に延び、且つ、検査領域と交差する複数の放射状ラインであることが好ましい。放射状ラインの角度間隔は、等角度間隔であることが好ましい。放射状ラインは線対称であることが好ましい。
テストチャートには、計測用マーカのサイズに対応する複数の検査領域が設けられており、各検査領域の確認検査は、計測光の出射位置とチャート本体との距離を一定に保持して、1回で行われることが好ましい。特定形状は円形であり、複数の検査領域は、各検査領域の特定の1点を、検査基準位置として共有していることが好ましい。
複数の検査領域は互いに彩度が異なっていることが好ましい。チャート本体に照射した場合の計測光の色相は、被写体に照射した場合の計測光の色相と同じであることが好ましい。検査領域とチャート本体のうち検査領域以外の領域は、それぞれ同じ色相であることが好ましい。
検査領域の幅は、計測用マーカのサイズに対応する誤差範囲を有することが好ましい。検査領域の幅は、計測用マーカのサイズが大きくなる程、大きくなることが好ましい。チャート本体の種類を識別可能なチャート識別子を有することが好ましい。
本発明の検査システムは、検査基準位置が設けられたチャート本体を有するテストチャートと、内視鏡からの計測光が照射されたチャート本体を内視鏡で撮像して得られる検査画像を表示するディスプレイと、内視鏡の先端部とテストチャートと対向した状態で内視鏡を保持し、且つ、テストチャートを移動可能に保持する移動機構部と、を備え、移動機構部は、計測光の出射位置とチャート本体との距離、又は、チャート本体における計測光の照射位置の少なくともいずれかを変化させることにより、検査画像において、計測光の照射位置を検査基準位置に合わせる。
チャート本体は、特定形状の検査領域を有する検査領域部を有し、検査領域部は、計測光が照射されたチャート本体を内視鏡で撮像して得られる検査画像において、計測光の照射位置を検査基準位置に合わせた場合に、照射位置に基づいて検査画像に表示される計測用マーカが検査領域に入っているかどうかの確認検査に用いられることが好ましい。
テストチャートには、計測用マーカのサイズに対応する複数の検査領域が設けられており、移動機構部は、各検査領域の確認検査毎に、計測光の出射位置とチャート本体との距離を変化させ、ディスプレイは、距離を変化させる毎に、距離に対応する計測用マーカを表示することにより、各検査領域の確認検査を複数に分けて行うことが好ましい。
テストチャートには、計測用マーカのサイズに対応する複数の検査領域が設けられており、移動機構部は、計測光の出射位置とチャート本体との距離を一定に保持し、ディスプレイは、複数の検査領域に対応する全ての計測用マーカを表示することにより、全ての検査領域の確認検査を1回で行うことが好ましい。
計測光はスポット光であることが好ましい。計測光はライン状の計測光であることが好ましい。計測光はパターン状の計測光であることが好ましい。計測光は3次元平面光であることが好ましい。
本発明は、検査基準位置が設けられたチャート本体を有するテストチャートを用いる検査方法において、内視鏡からの計測光が照射されたチャート本体を内視鏡で撮像して検査画像を得るステップと、検査画像をディスプレイに表示するステップと、計測光の出射位置とチャート本体との距離、又は、チャート本体における計測光の照射位置の少なくともいずれかを変化させることにより、検査画像において、計測光の照射位置を検査基準位置に合わせるステップとを有する。
本発明によれば、被写体のサイズを計測するための計測用マーカが適正に表示されているかどうかの確認検査を行うことができる。
内視鏡システムの外観図である。 内視鏡の先端部を示す平面図である。 内視鏡システムの機能を示すブロック図である。 (A)は、デジタルズーム機能がOFFの状態の被写体画像を、(B)はデジタルズーム機能ONの被写体画像を示す説明図である。 ビーム光出射部を示すブロック図である。 計測光によって被写体上に形成されるスポットSPを示す説明図である。 内視鏡の先端部と観察距離の範囲Rx内の近端Px、中央付近Py、及び遠端Pzとの関係を示す説明図である。 信号処理部の機能を示すブロック図である。 観察距離が近端Pxである場合のスポット及び第1の計測用マーカを示す画像図である。 観察距離が中央付近Pyである場合のスポット及び第1の計測用マーカを示す画像図である。 観察距離が遠端Pzである場合のスポット及び第1の計測用マーカを示す画像図である。 十字型、目盛り付き十字型、歪曲十字型、円及び十字型、及び計測用点群型の第1の計測用マーカを示す説明図である。 色がそれぞれ同じ3つの同心円状のマーカを示す画像図である。 色がそれぞれ異なる3つの同心円状のマーカを示す画像図である。 歪曲同心円状のマーカを示す画像図である。 スポット光を間欠的に照射する発光パターンを示す説明図である。 交差ライン及び目盛りを示す画像図である。 ライン状の計測光を間欠的に照射する発光パターンを示す説明図である。 縞状パターン光ZPLを示す説明図である。 位相X、位相Y、位相Zの縞状パターン光ZPLの発光パターンを示す説明図である。 格子状パターンの計測光LPLを示す説明図である。 格子状パターンの計測光を間欠的に照射する発光パターンを示す説明図である。 3次元平面光TPLを示す説明図である。 3次元平面光を間欠的に照射する発光パターンを示す説明図である。 検査システムの機能を示すブロック図である。 複数の計測用マーカの確認検査を複数回に分けて行う場合に用いられるテストチャートを示す平面図である。 計測光の照射位置に基づいて計測用マーカが表示された検査画像を示す画像図である。 移動機構部を示す正面図である。 計測用マーカMpが検査領域に入っている場合の検査画像を示す画像図である。 計測用マーカMpの一部が検査領域からはみ出ている場合の検査画像を示す画像図である。 計測用マーカMqが検査領域に入っている場合の検査画像を示す画像図である。 計測用マーカMrが検査領域に入っている場合の検査画像を示す画像図である。 複数の計測用マーカの確認検査を1回で行う場合に用いられるテストチャートを示す平面図である。 複数の計測用マーカの確認検査を1回で行う場合において全ての計測用マーカMp、Mq、Mrが対応する検査領域に入っている場合の検査画像を示す画像図である。 複数の計測用マーカの確認検査を1回で行う場合において1つの計測用マーカMpが対応する検査領域からはみ出ている場合の検査画像を示す画像図である。 ひし形の検査領域が設けられたテストチャートを示す平面図である。 矩形の検査領域が設けられたテストチャートを示す平面図である。 テストチャートのチャート本体の層構造を示す断面図である。 ライン状の計測光を用いる場合のテストチャートを示す平面図である。 パターン状の計測光を用いる場合のテストチャートを示す平面図である。 キャリブレーションモードの一連の流れを示すフローチャートである。
図1に示すように、内視鏡システム10は、内視鏡12と、光源装置14と、プロセッサ装置16と、ディスプレイ18と、ユーザーインターフェース20と、を有する。内視鏡12は、被検体内に挿入する挿入部12aと、挿入部12aの基端部分に設けられた操作部12bと、ユニバーサルケーブル12cと、を有する。ユニバーサルケーブル12cは、光源装置14が発する照明光を導光するライトガイド28(図3参照)や、内視鏡12の制御に使用する制御信号を伝送するための制御線、観察対象を撮像して得られた画像信号を送信する信号線、内視鏡12の各部に電力を供給する電力線等が一体になったケーブルである。ユニバーサルケーブル12cの先端には光源装置14に接続するコネクタ29が設けられている。
光源装置14は、例えば、LED(Light Emitting Diode)やLD(Laser Diode)等の半導体光源やキセノンランプ、ハロゲンランプ等によって照明光を発生する。コネクタ29を光源装置14に接続した場合、照明光はコネクタ29のライトガイド28(図3参照)に入射し、挿入部12aの先端から観察対象に照射される。
また、光源装置14はプロセッサ装置16と電気的に接続しており、内視鏡12のコネクタ29は光源装置14を介してプロセッサ装置16と接続する。光源装置14とコネクタ29の制御信号や画像信号等の送受信は無線通信である。このため、光源装置14は、無線でコネクタ29と送受信した制御信号等をプロセッサ装置16に伝送する。さらに、光源装置14はコネクタ29に内視鏡12を駆動するための電力を供給するが、この電力の供給も無線で行う。
プロセッサ装置16は、光源装置14が発する照明光の光量や発光タイミング、内視鏡12の各部を制御し、照明光が照射された観察対象を撮像して得る画像信号を用いて内視鏡画像を生成する。また、プロセッサ装置16は、ディスプレイ18及びユーザーインターフェース20と電気的に接続する。ディスプレイ18は、プロセッサ装置16が生成した内視鏡画像や、内視鏡画像に関する情報等を表示する。ユーザーインターフェース20は、機能設定等の入力操作を受け付ける機能を有する。
内視鏡12は、通常観察モードと、特殊光観察モードと、測長モードと、キャリブレーションモードとを備えており、これら3つのモードは内視鏡12の操作部12bに設けられたモード切替スイッチ13aによって切り替えられる。通常観察モードは、照明光によって観察対象を照明するモードである。特殊光観察モードは、照明光と異なる特殊光によって観察対象を照明するモードである。測長モードは、照明光及び計測光を観察対象に照明し、且つ、観察対象の撮像により得られる被写体画像上に、観察対象の大きさなどの測定に用いられる計測用マーカを表示する。キャリブレーションモードは、テストチャートを用いて、計測用マーカの表示が適正であるかどうかを確認するためのモードである。キャリブレーションモードの詳細については後述する。なお、照明光は、観察対象全体に明るさを与えて観察対象全体を観察するために用いられる光である。特殊光は、観察対象のうち表面血管などの特定領域を強調するために用いられる光である。計測光は、計測用マーカの表示に用いられる光である。
また、内視鏡12の操作部12bには、被写体画像の静止画の取得を指示する静止画取得指示を操作するためのフリーズスイッチ13bが設けられている。ユーザーがフリーズスイッチ13bを操作することにより、ディスプレイ18の画面がフリーズ表示し、合わせて、静止画取得を行う旨のアラート音(例えば「ピー」)を発する。そして、フリーズスイッチ13bの操作タイミング前後に得られる被写体画像の静止画が、プロセッサ装置16内の静止画保存部42(図3参照)に保存される。なお、静止画保存部42はハードディスクやUSB(Universal Serial Bus)メモリ、又は不揮発性メモリなどの記憶部である。プロセッサ装置16がネットワークに接続可能である場合には、静止画保存部42に代えて又は加えて、ネットワークに接続された静止画保存サーバ(図示しない)に被写体画像の静止画を保存するようにしてもよい。また、静止画保存部42が不揮発性メモリでる場合には、静止画保存部42に静止画を一旦保存した後、USBメモリやCF(Compact Flash)カード、ネットワーク上の画像保存サーバ等に静止画を転送してもよい。
なお、フリーズスイッチ13b以外の操作機器を用いて、静止画取得指示を行うようにしてもよい。例えば、プロセッサ装置16にフットペダルを接続し、ユーザーが足でフットペダル(図示しない)を操作した場合に、静止画取得指示を行うようにしてもよい。モード切替についてのフットペダルで行うようにしてもよい。また、プロセッサ装置16に、ユーザーのジェスチャーを認識するジェスチャー認識部(図示しない)を接続し、ジェスチャー認識部が、ユーザーによって行われた特定のジェスチャーを認識した場合に、静止画取得指示を行うようにしてもよい。モード切替についても、ジェスチャー認識部を用いて行うようにしてもよい。
また、ディスプレイ18の近くに設けた視線入力部(図示しない)をプロセッサ装置16に接続し、視線入力部が、ディスプレイ18のうち所定領域内にユーザーの視線が一定時間以上入っていることを認識した場合に、静止画取得指示を行うようにしてもよい。また、プロセッサ装置16に音声認識部(図示しない)を接続し、音声認識部が、ユーザーが発した特定の音声を認識した場合に、静止画取得指示を行うようにしてもよい。モード切替についても、音声認識部を用いて行うようにしてもよい。また、プロセッサ装置16に、タッチパネルなどのオペレーションパネル(図示しない)を接続し、オペレーションパネルに対してユーザーが特定の操作を行った場合に、静止画取得指示を行うようにしてもよい。モード切替についても、オペレーションパネルを用いて行うようにしてもよい。
図2に示すように、内視鏡12の先端部12dは略円形となっており、被写体からの光を受光する撮像光学系21と、被写体に対して照明光を照射するための照明光学系22と、被写体に対して計測光を被写体に放射するビーム光出射部23と、処置具を被写体に向けて突出させるための開口24と、送気送水を行うための送気送水ノズル25とが設けられている。
撮像光学系21の光軸Axは、紙面に対して垂直な方向に延びている。縦の第1方向D1は、光軸Axに対して直交しており、横の第2方向D2は、光軸Ax及び第1方向D1に対して直交する。撮像光学系21とビーム光出射部23とは、それぞれ先端部12dの異なる位置に設けられており、第1方向D1に沿って配列されている。
図3に示すように、光源装置14は、光源部26と、光源制御部27とを備えている。光源部26は、被写体を照明するための照明光又は特殊光を発生する。光源部26から出射された照明光又は特殊光は、ライトガイド28に入射され、照明レンズ22aを通って被写体に照射される。光源部26としては、照明光の光源として、白色光を出射する白色光源、又は、白色光源とその他の色の光を出射する光源(例えば青色光を出射する青色光源)を含む複数の光源等が用いられる。また、光源部26としては、特殊光の光源として、表層血管など表層情報を強調するための青色狭帯域光を含む広帯域光を発する光源が用いられる。光源制御部27は、プロセッサ装置16のシステム制御部41と接続されている。なお、照明光としては、青色光、緑色光、及び赤色光をそれぞれ組み合わせた白色の混色光としてもよい。この場合には、赤色光の照射範囲に比べて緑色光の照射範囲のほうが大きくなるように、照明光学系22の光学設計を行うことが好ましい。
光源制御部27は、システム制御部41からの指示に基づいて光源部26を制御する。システム制御部41は、光源制御部27に対して、光源制御に関する指示を行う他に、ビーム光出射部23の光源23a(図5参照)も制御する。通常観察モードの場合には、システム制御部41は、照明光を点灯し、計測光を消灯する制御を行う。特殊光観察モードの場合は、特殊光を点灯し、計測光を消灯する制御を行う。測長モードの場合には、システム制御部41は、照明光を点灯し、計測光を点灯する制御を行う。キャリブレーションモードの場合には、システム制御部41は、照明光を消灯し、計測光を点灯する制御を行う。
照明光学系22は照明レンズ22aを有しており、この照明レンズ22aを介して、ライトガイド28からの光が観察対象に照射される。撮像光学系21は、対物レンズ21a、ズームレンズ21b、及び撮像素子32を有している。観察対象からの反射光は、対物レンズ21a及びズームレンズ21bを介して、撮像素子32に入射する。これにより、撮像素子32に観察対象の反射像が結像される。
ズームレンズ21bは、テレ端とワイド端との間で移動することによって、ズーム機能として、被写体を拡大又は縮小する光学ズーム機能を有する。光学ズーム機能のONとOFFは、内視鏡の操作部12bに設けられたズーム操作部13c(図1参照)により切り替えることが可能であり、光学ズーム機能がONの状態で、さらにズーム操作部13cを操作することにより、特定の拡大率で被写体を拡大又は縮小する。
撮像素子32はカラーの撮像センサであり、被検体の反射像を撮像して画像信号を出力する。この撮像素子32は、CCD(Charge Coupled Device)撮像センサやCMOS(Complementary Metal-Oxide Semiconductor)撮像センサ等であることが好ましい。本発明で用いられる撮像素子32は、R(赤)、G(緑)B(青)の3色の赤色画像、緑色画像、及び赤色画像を得るためのカラーの撮像センサである。赤色画像は、撮像素子32において赤色のカラーフィルタが設けられた赤色画素から出力される画像である。緑色画像は、撮像素子32において緑色のカラーフィルタが設けられた緑色画素から出力される画像である。青色画像は、撮像素子32において青色のカラーフィルタが設けられた青色画素から出力される画像である。撮像素子32は、撮像制御部33によって制御される。
撮像素子32から出力される画像信号は、CDS/AGC回路34に送信される。CDS/AGC回路34は、アナログ信号である画像信号に相関二重サンプリング(CDS(Correlated Double Sampling))や自動利得制御(AGC(Auto Gain Control))を行う。CDS/AGC回路34を経た画像信号は、A/D変換器(A/D(Analog /Digital)コンバータ)35により、デジタル画像信号に変換される。A/D変換されたデジタル画像信号は、通信I/F(Interface)36を介して、光源装置14の通信I/F(Interface)37に入力される。
プロセッサ装置16は、光源装置14の通信I/F(Interface)37と接続される受信部38と、信号処理部39と、表示制御部40と、システム制御部41とを備えている。通信I/Fは、通信I/F37から伝送されてきた画像信号を受信して信号処理部39に伝達する。信号処理部39は、受信部38から受けた画像信号を一時記憶するメモリを内蔵しており、メモリに記憶された画像信号の集合である画像信号群を処理して、被写体画像を生成する。なお、受信部38は、光源制御部27に関連する制御信号については、システム制御部41に直接送るようにしてもよい。また、プロセッサ装置16のうち、測長モードに関連する処理部(例えば、第1信号処理部50及び第2信号処理部52)については、プロセッサ装置16とは別体の測長用プロセッサ(図示しない)に設けてもよい。この場合、測長用プロセッサとプロセッサ装置16とは、画像又は各種情報が送受信可能なように、互いに通信可能な状態にしておく。
信号処理部39では、通常観察モードに設定されている場合には、被写体画像の青色画像はディスプレイ18のBチャンネルに、被写体画像の緑色画像はディスプレイ18のGチャンネルに、被写体画像の赤色画像はディスプレイ18のRチャンネルにそれぞれ割り当てる信号割り当て処理を行うことによって、カラーの被写体画像がディスプレイ18に表示する。測長モードについても、通常観察モードと同様の信号割り当て処理を行う。一方、信号処理部39では、特殊光観察モードに設定されている場合には、被写体画像の赤色画像はディスプレイ18の表示には使用せず、被写体画像の青色画像をディスプレイ18のBチャンネルとGチャンネルに割り当て、被写体画像の緑色画像をディスプレイ18のRチャンネルに割り当てることによって、疑似カラーの被写体画像をディスプレイ18に表示する。
信号処理部39は、ズーム機能として、ユーザーインターフェース20によってデジタルズーム機能がONに設定されている場合には、被写体画像の一部を切り取って拡大又は縮小することによって、特定の倍率で被写体を拡大又は縮小する。図4(A)は、デジタルズーム機能がOFFの状態の被写体画像を示しており、図4(B)は、図4(A)の被写体画像のうち中心部分を切り取って拡大したデジタルズーム機能ONの被写体画像を示している。なお、デジタルズーム機能がOFFの場合には、被写体画像の切り取りによる被写体の拡大又は縮小は行われない。
なお、信号処理部39では、測長モードに設定されている場合には、被写体画像に対して、血管などの構造を強調する構造強調処理や、観察対象のうち正常部と病変部などとの色差を拡張した色差強調処理を施すようにしてもよい。
表示制御部40は、信号処理部39によって生成された被写体画像をディスプレイ18に表示する。システム制御部41は、内視鏡12に設けられた撮像制御部33を介して、撮像素子32の制御を行う。撮像制御部33は、撮像素子32の制御に合わせて、CDS/AGC34及びA/D35の制御も行う。
図5に示すように、ビーム光出射部23は、撮像光学系21の光軸Axに対して斜めに計測光を出射する。ビーム光出射部23は、光源23aと、回折光学素子DOE23b(Diffractive Optical Element)と、プリズム23cと、出射部23dとを備える。光源23aは、撮像素子32の画素によって検出可能な色の光(具体的には可視光)を出射するものであり、レーザー光源LD(Laser Diode)又はLED(Light Emitting Diode)等の発光素子と、この発光素子から出射される光を集光する集光レンズとを含む。なお、光源23aはスコープエレキ基板(図示しない)に設けられている。スコープエレキ基板は、内視鏡の先端部12dに設けられており、光源装置14又はプロセッサ装置16から電力の供給を受けて、光源23aに電力を供給している。
本実施形態では、光源23aが出射する光の波長は、例えば、600nm以上660nm以下の赤色(ビーム光の色)のレーザー光を使用するが、その他の波長帯域の光、例えば、495nm以上570nm以下の緑色光を用いてもよい。光源23aはシステム制御部41によって制御され、システム制御部41からの指示に基づいて光出射を行う。DOE23bは、光源から出射した光を、計測情報を得るための計測光に変換する。なお、計測光は、人体、目、内臓保護の観点に基づいて光量が調整され、且つ、内視鏡12の観察範囲では十分に白飛び(画素飽和)する程度の光量に調整されることが好ましい。
プリズム23cは、DOE23bで変換後の計測光の進行方向を変えるための光学部材である。プリズム23cは、対物レンズ21aを含む撮像光学系21の視野と交差するように、計測光の進行方向を変更する。計測光の進行方向の詳細についても、後述する。プリズム23cから出射した計測光Lmは、光学部材で形成される出射部23dを通って、被写体へと照射される。
計測光が被写体に照射されることにより、図6に示すように、被写体において、ビーム照射領域としてのスポットSPが形成される。このスポットSPの位置は、照射位置検出部58(図8参照)によって特性され、また、スポットSPの位置に応じて、被写体のサイズを表す計測用マーカが設定される。設定された計測用マーカは、被写体画像上に表示される。なお、計測用マーカには、後述するように、第1の計測用マーカ、第2の計測用マーカなど複数の種類が含まれ、いずれの種類の計測用マーカを被写体画像上に表示するかについては、ユーザーの指示によって選択が可能となっている。ユーザーの指示としては、例えば、ユーザーインターフェース20が用いられる。
なお、出射部23dを光学部材で構成することに代えて、内視鏡の先端部12dに形成される計測補助用スリットとしてもよい。また、出射部23dを光学部材で構成する場合には、反射防止コート(AR(Anti-Reflection)コート)(反射防止部)を施すことが好ましい。このように反射防止コートを設けるのは、計測光が出射部23dを透過せずに反射して、被写体に照射される計測光の割合が低下すると、後述する照射位置検出部58が、計測光により被写体上に形成されるスポットSPの位置を認識し難くなるためである。
なお、ビーム光出射部23は、計測光を撮像光学系21の視野に向けて出射できるものであればよい。例えば、光源23aが光源装置に設けられ、光源23aから出射された光が光ファイバによってDOE23bにまで導光されるものであってもよい。また、プリズム23cを用いずに、光源23a及びDOE23bの向きを、撮像光学系21の光軸Axに対して斜めに設置することで、撮像光学系21の視野を横切る方向に計測光Lmを出射させる構成としてもよい。
計測光の進行方向については、図7に示すように、計測光の光軸Lmが撮像光学系21の光軸Axと交差する状態で、計測光を出射する。観察距離の範囲Rxにおいて観察可能であるとすると、範囲Rxの近端Px、中央付近Py、及び遠端Pzでは、各点での撮像範囲(矢印Qx、Qy、Qzで示す)における計測光Lmによって被写体上に形成されるスポットSPの位置(各矢印Qx、Qy、Qzが光軸Axと交わる点)が異なることが分かる。なお、撮像光学系21の撮影画角は2つの実線101aで挟まれる領域内で表され、この撮影画角のうち収差の少ない中央領域(2つの点線101bで挟まれる領域)で計測を行うようにしている。
以上のように、計測光の光軸Lmを光軸Axと交差する状態で、計測光Lmを出射することによって、観察距離の変化に対するスポット位置の移動から、被写体の大きさを計測することができる。そして、計測光が照明された被写体を撮像素子32で撮像することによって、スポットSPを含む被写体画像が得られる。被写体画像では、スポットSPの位置は、撮像光学系21の光軸Axと計測光Lmの光軸Lmとの関係、及び観察距離に応じて異なるが、観察距離が近ければ、同一の実寸サイズ(例えば5mm)を示すピクセル数が多くなり、観察距離が遠ければピクセル数が少なくなる。
図8に示すように、プロセッサ装置16の信号処理部39は、測長モードの実行の可否等を制御し、測長モードの実行が許可された状態において、被写体画像におけるスポットSPの位置を検出する第1信号処理部50と、スポットSPの位置に応じて計測用マーカを設定する第2信号処理部52とを備えている。なお、信号処理部39には、通常観察モードに設定されている場合には、照明光によって照明された被写体の被写体画像が入力される。特殊光観察モードに設定されている場合には、特殊光によって照明された被写体の被写体画像が入力される。測長モードに設定されている場合には、照明光及び計測光によって照明された被写体の被写体画像が入力される。キャリブレーションモードに設定されている場合には、キャリブレーション用のパターンが形成されたチャートの検査画像が入力されるが、そのときに照明する光は、キャリブレーションの進度に伴い、計測光及び照明光が任意に切り替えて照明される。
第1信号処理部50は、被写体画像又は検査画像からスポットSPの照射位置を検出する照射位置検出部58を備えている。照射位置検出部58では、測長モードの実行が許可された状態で、被写体画像から、スポットSPの照射位置を検出する。具体的には、照射位置検出部58では、リアルタイムに、被写体画像からスポットSPの座標を算出し、算出した座標からスポットSPの照射位置を求める。照射位置検出部58にてスポットSPの照射位置を検出するためには、被写体画像に、計測光の色に基づくビーム色光画像が含まれていることが必ず必要である。照射位置の検出方法としては、被写体画像におけるスポットSPの重心位置座標を取得することが好ましい。
第2信号処理部52は、スポットSPの照射位置に基づいて、被写体のサイズを計測するための計測用マーカとして、第1の計測用マーカを設定し、第1の計測用マーカをディスプレイ18に表示するマーカ表示位置を設定する。第2信号処理部52は、スポットSPの照射位置及びマーカ表示位置によって表示態様が異なる計測用マーカ画像と、スポットの照射位置とのを関連付けて記憶するマーカ用テーブル62を参照して、照射位置に対応する計測用マーカ画像を設定する。
計測用マーカ画像は、スポットSPの照射位置及びマーカ表示位置によって、例えば、大きさ、又は、形状が異なっている。計測用マーカ画像の表示に関しては、後述する。また、マーカ用テーブル62については、プロセッサ装置16の電源をOFFにした場合であっても、保存内容が維持される。なお、マーカ用テーブル62は、計測用マーカ画像と照射位置とを関連付けて記憶するが、照射位置に対応する被写体との距離(内視鏡12の先端部12dと被写体との距離)と計測用マーカ画像とを関連付けて記憶してもよい。
表示制御部40は、計測用マーカを被写体画像に重畳した計測用画像をディスプレイ18に表示する場合において、計測用マーカを、スポットSPの照射位置及びマーカ表示位置に応じて表示態様が異なる制御を行う。具体的には、表示制御部40は、スポットSPを中心として、第1の計測用マーカを重畳した計測用画像をディスプレイ18に表示する。第1の計測用マーカとしては、例えば、円型の計測マーカを用いる。この場合、図9に示すように、観察距離が近端Pxに近い場合には、被写体の腫瘍tm1上に形成されたスポットSP1の中心に合わせて、実寸サイズ5mm(被写体画像の水平方向及び垂直方向)を示すマーカM1が表示される。なお、計測用マーカをディスプレイ18に表示する場合には、観察距離も合わせてディスプレイ18に表示してもよい。
マーカM1のマーカ表示位置は、撮像光学系21による歪みの影響を受ける被写体画像の周辺部に位置しているため、マーカM1は、歪み等の影響に合わせて、楕円状となっている。以上のマーカM1は腫瘍tm1の範囲とはほぼ一致しているため、腫瘍tm1は5mm程度と計測することができる。なお、被写体画像に対しては、スポットを表示せず、第1の計測用マーカのみを表示するようにしてもよい。
また、図10に示すように、観察距離が中央付近Pyに近い場合、被写体の腫瘍tm2上に形成されたスポットSP2の中心に合わせて、実寸サイズ5mm(被写体画像の水平方向及び垂直方向)を示すマーカM2が表示される。マーカM2のマーカ表示位置は、撮像光学系21によって歪みの影響を受けにくい被写体画像の中心部に位置しているため、マーカM2は、歪み等の影響を受けることなく、円状となっている。
また、図11に示すように、被写体の腫瘍tm3上に形成されたスポットSP3の中心に合わせて、実寸サイズ5mm(被写体画像の水平方向及び垂直方向)を示すマーカM3が表示される。マーカM3のマーカ表示位置は、撮像光学系21による歪みの影響を受ける被写体画像の周辺部に位置しているため、マーカM1は、歪み等の影響に合わせて、楕円状となっている。以上の図9~図11に示すように、観察距離が長くなるにつれて同一の実寸サイズ5mmに対応する第1の計測用マーカの大きさが小さくなっている。また、マーカ表示位置によって、撮像光学系21による歪みの影響に合わせて、第1の計測用マーカの形状も異なっている。
なお、図9~図11では、スポットSPの中心とマーカの中心を一致させて表示しているが、計測精度上問題にならない場合には、スポットSPから離れた位置に第1の計測用マーカを表示してもよい。ただし、この場合にもスポットの近傍に第1の計測用マーカを表示することが好ましい。また、第1の計測用マーカを変形して表示するのではなく、被写体画像の歪曲収差を補正し変形させない状態の第1の計測用マーカを補正後の被写体画像に表示するようにしてもよい。
また、図9~図11では、被写体の実寸サイズ5mmに対応する第1の計測用マーカを表示しているが、被写体の実寸サイズは観察対象や観察目的に応じて任意の値(例えば、2mm、3mm、10mm等)を設定してもよい。また、図9~図11では、第1の計測用マーカを、略円型としているが、図12に示すように、縦線と横線が交差する十字型としてもよい。また、十字型の縦線と横線の少なくとも一方に、目盛りMxを付けた目盛り付き十字型としてもよい。また、第1の計測用マーカとして、縦線、横線のうち少なくともいずれかを傾けた歪曲十字型としてもよい。また、第1の計測用マーカを、十字型と円を組み合わせた円及び十字型としてもよい。その他、第1の計測用マーカを、スポットから実寸サイズに対応する複数の測定点EPを組み合わせた計測用点群型としてもよい。また、第1の計測用マーカの数は一つでも複数でもよいし、実寸サイズに応じて第1の計測用マーカの色を変化させてもよい。
なお、第1の計測用マーカとして、図13に示すように、大きさが異なる3つの同心円状のマーカM4A、M4B、M4C(大きさはそれぞれ直径が2mm、5mm、10mm)を、腫瘍tm4上に形成されたスポットSP4を中心として、被写体画像上に表示するようにしてもよい。この3つの同心円状のマーカは、マーカを複数表示するので切替の手間が省け、また、被写体が非線形な形状をしている場合でも計測が可能である。なお、スポットを中心として同心円状のマーカを複数表示する場合には、大きさや色をマーカ毎に指定するのではなく、複数の条件の組合せを予め用意しておきその組み合わせの中から選択できるようにしてもよい。
図13では、3つの同心円状のマーカを全て同じ色(黒)で表示しているが、複数の同心円状のマーカを表示する場合、マーカによって色を変えた複数の色付き同心円状のマーカとしてもよい。図14に示すように、マーカM5Aは赤色を表す点線、マーカM5Bは青色を表す実線、マーカM5Cは白を表す一点鎖線で表示している。このようにマーカの色を変えることで識別性が向上し、容易に計測を行うことができる。
また、第1の計測用マーカとしては、複数の同心円状のマーカの他、図15に示すように、各同心円を歪曲させた複数の歪曲同心円状のマーカを用いてもよい。この場合、歪曲同心円状のマーカM6A、マーカM6B、マーカM6Cが、腫瘍tm5に形成されたスポットSP5を中心に被写体画像に表示されている。
なお、測長モードにおいては、照明光とスポット光(計測光)を常時被写体に照射しているが、図16に示すように、照明光は常時点灯して被写体に常時照射する一方で、スポット光は1フレーム毎(又は数フレーム毎)に、点灯と消灯(又は減光)を繰り返すことによって、スポット光を間欠的に被写体に照射してもよい。この場合には、スポット光を点灯するフレームにおいて、スポット光の位置検出及び計測用マーカの表示設定を行う。そして、照明光のみを照射するフレームにおいて得られた画像に対して、表示設定を行った計測用マーカを重畳表示するようにすることが好ましい。
なお、計測光については、被写体に照射された場合に、スポットとして形成される光を用いているが、その他の光を用いるようにしてもよい。例えば、被写体に照射された場合に、図17に示すように、被写体上に交差ライン80として形成されるライン状の計測光を用いるようにしてもよい。ライン状の計測光が被写体に照射されることで、被写体上にはライン状の照射領域である交差ライン80が形成される。この場合には、計測用マーカとして、交差ライン80及び交差ライン80上に被写体の大きさ(例えば、ポリープP)の指標となる目盛り82からなる第2の計測用マーカを生成する。ライン状の計測光を用いる場合には、照射位置検出部58は、交差ライン80の位置(計測光の照射位置)を検出する。交差ライン80が下方に位置する程、観察距離が近く、交差ライン80が上方に位置する程、観察距離が遠くなる。そのため、交差ライン80が下方に位置する程、目盛り82の間隔は大きくなり、交差ライン80が上方に位置する程、目盛り82の間隔は小さくなる。
計測光としてライン状の計測光を用いる場合においては、測長モード中に、照明光とライン状の計測光を常時被写体に照射してもよく、また、図18に示すように、照明光は常時被写体に照射する一方で、ライン状の計測光は1フレーム毎(又は数フレーム毎)に、点灯と消灯(又は減光)を繰り返すことによって、ライン状の計測光を間欠的に被写体に照射してもよい。この場合には、ライン状の計測光を点灯するフレームにおいて、ライン状の計測光の位置検出及び計測用マーカの表示設定を行う。そして、照明光のみを照射するフレームにおいて得られた画像に対して、表示設定を行った計測用マーカを重畳表示することが好ましい。
なお、計測光については、被写体に照射された場合に、図19に示すように、被写体上に縞状のパターンの光として形成される縞状パターン光ZPLを用いてもよい(例えば、特開2016-198304号公報参照)。縞状パターン光ZPLは、透過率可変の液晶シャッター(図示しない)に特定のレーザー光を照射することによって得られ、液晶シャッタによって特定のレーザー光を透過する領域(透過領域)と特定のレーザー光を透過しない(非透過領域)とが水平方向に周期的に繰り返す2つの異なる縦縞のパターンから形成される。計測光として縞状パターン光を用いる場合には、被写体との距離によって、縞状パターン光の周期が変化することから、液晶シャッタによって縞状パターン光の周期又は位相をシフトして複数回照射し、周期又は位相をシフトして得られる複数の画像に基づいて、被写体の3次元形状の測定が行われている。
例えば、位相Xの縞状パターン光と、位相Yの縞状パターン光と、位相Zの縞状パターン光とを交互に被写体に照射する。位相X、Y、Zの縞状パターン光は、縦縞のパターンを120°(2π/3)ずつ位相シフトしている。この場合には、各縞状パターン光に基づいて得られる3種類の画像を用いて、被写体の3次元形状を測定する。例えば、図20に示すように、位相Xの縞状パターン光と、位相Yの縞状パターン光と、位相Zの縞状パターン光とを、それぞれ1フレーム単位(又は数フレーム単位)で切り替えて被写体に照射することが好ましい。なお、照明光は常時被写体に照射することが好ましい。
なお、計測光については、被写体に照射された場合に、図21に示すように、格子状のパターンとして形成される格子状パターンの計測光LPLを用いてもよい(例えば、特開2017-217215号公報参照)。この場合は、格子状パターンの計測光LPLを被写体に照射した場合の格子状パターンの変形状態によって被写体の3次元形状を測定することから、格子状パターンを正確に検出することが求められる。そのため、格子状パターンの計測光LPLは完全な格子状ではなく、格子状パターンの検出精度を高めるように、波状にするなど格子状から若干変形させている。また、格子状のパターンには、左右の横線分の端点が連続であることを示すSのコードが設けられている。格子状パターンの検出時には、パターンだけでなく、Sのコードも合わせて検出することによって、パターンの検出精度を高めている。なお、格子状パターンとしては、縦線と横線が規則的に配列されたパターンの他、複数のスポットが縦と横に格子状に配列されたパターンであってもよい。
計測光として格子状パターンの計測光LPLを用いる場合においては、測長モード中に、照明光と格子状パターンの計測光LPLを常時被写体に照射してもよく、また、図22に示すように、照明光は常時被写体に照射する一方で、格子状パターンの計測光LPLは1フレーム毎(又は数フレーム毎)に、点灯と消灯(又は減光)を繰り返すことによって、格子状パターンの計測光LPLを間欠的に被写体に照射してもよい。この場合には、格子状パターンの計測光LPLを点灯するフレームにおいて、格子状パターンの計測光LPLに基づく3次元形状の計測を行う。そして、照明光のみを照射するフレームにおいて得られた画像に対して、3次元形状の計測結果を重畳表示することが好ましい。
なお、計測光については、図23示すように、被写体画像上において網線によって表される3次元平面光TPLを用いてもよい(例えば、特表2017-508529号公報参照)。この場合には、3次元平面光TPLが測定対象に合うように先端部12dを動かす。そして、3次元平面光TPLが測定対象に交差した場合に、3次元平行光TPLと被写体との交差曲線CCの距離を、ユーザーインターフェース等の手動操作に基づく処理又は自動処理によって、算出する。
計測光として3次元平面光TPLを用いる場合においては、測長モード中に、照明光と3次元平面光TPLを常時被写体に照射してもよく、また、図24に示すように、照明光は常時被写体に照射する一方で、3次元平面光TPLは1フレーム毎(又は数フレーム毎)に、点灯と消灯(又は減光)を繰り返すことによって、3次元平面光TPLを間欠的に被写体に照射してもよい。
キャリブレーションモードの詳細について説明する。キャリブレーションモードは、内視鏡システム10に加えて、内視鏡システム10のプロセッサ装置16と接続された検査システム100と連携して実行される。モード切替スイッチ13aの操作により、キャリブレーションモードに切り替えられると、内視鏡12から計測光が照射される。キャリブレーションモードでは、計測光をテストチャート(図26参照)に照射して、計測用マーカの表示が適正か否かの確認検査を行う。
図25に示すように、検査システム100は、テストチャート102と、ディスプレイ18と、移動機構部104とを備えている。なお、ディスプレイ18は、内視鏡システム10で使用するディスプレイを共用するが、別途、精度検査用のディスプレイを設けてもよい。
図26に示すように、テストチャート102はチャート本体105を有し、チャート本体105には、特定形状の検査領域を有する検査領域部106と、精度検査時に、計測光の照射位置を合わせる基準となる検査基準位置108とが設けられている。図27に示すように、ディスプレイ18は、内視鏡12からの計測光(例えば、スポット光SP)が照射されたチャート本体105を内視鏡12で撮像して得られる検査画像を表示する。また、検査画像には、検査領域部106及び検査基準位置108に加えて、計測光の照射位置に対応する計測用マーカMが表示される。
図28に示すように、移動機構部104は、内視鏡12の先端部12dとテストチャート102と対向した状態で内視鏡12を保持し、且つ、テストチャート102を移動可能に保持する。具体的には、移動機構部104は、基台109と、基台109に取り付けられ、内視鏡12を保持する内視鏡保持部110と、基台109に取り付けられ、テストチャート102を移動可能に保持するチャート保持部112と、チャート保持部112を上下方向V又は左右方向Wに移動させるための移動量調整部114とを備えている。なお、移動量調整部114は、ユーザーによる手動又は自動のいずれで行ってもよい。テストチャート102と内視鏡の先端部12dの距離が正確に把握できるように、目盛りもしくは位置基準のキャリブレーションを可能にしてもよい。また、テストチャート102に対して内視鏡12を正確に正対させるため、撮像光学系の光軸Axとテストチャート102を垂直にするための角度微調整機構を内視鏡保持部110及び/又は基台109もしくは移動機構部104に有することが好ましい。
以上のように、移動機構部104は、移動量調整部114を操作して、チャート保持部112を上下方向V又は左右方向Wに移動させることにより、計測光の出射位置とチャート本体105との距離、又は、チャート本体105における計測光の照射位置の少なくともいずれかを変化させることができる。チャート保持部112を介してチャート本体105を上下方向W又は左右方向Wに移動させることで、検査画像において、計測光の照射位置を検査基準位置に合わせることができる。
テストチャート102の詳細について説明する。テストチャート102に設けられた検査領域部106は、検査画像において、計測光の照射位置を検査基準位置に合わせた場合に、照射位置に基づいて検査画像に表示される計測用マーカが特定形状の検査領域に入っているかどうかの確認検査のために用いられる。本実施形態では、チャート本体105に、計測用マーカのサイズに対応する複数の検査領域が設けられているテストチャート102において、各検査領域の確認検査を、計測光の出射位置とチャート本体105との間の距離を変化させて複数に分けて行う場合のテストチャート102(図26参照)と、各検査領域の確認検査を、計測光の出射位置とチャート本体105との間を一定に保持して1回で行う場合のテストチャート120(図33参照)ついて説明する。
図26に示すように、テストチャート102は、特定形状の検査領域として、3つの円形の検査領域106a、106b、106cを備えている。これら円形の検査領域106a~106cは、検査基準位置108を中心として、同心状に設けられている。検査領域106a~106cは、検査基準位置108に関して、点対称となっている。検査領域106a、106b、106cは、それぞれ5mmの計測用マーカ、10mmの計測用マーカ、及び20mmの計測用マーカの確認検査に用いられる。
検査領域の幅は、計測用マーカのサイズに対応する誤差範囲を有している。具体的には、検査領域の幅は、計測用マーカのサイズが大きくなるほど、大きくなっている。検査領域部106の場合であれば、検査領域106aの幅Wp<検査領域106bの幅Wq<検査領域106の幅Wrとなっている。これは、計測用マーカのサイズが大きくなる程、チャート保持部112(図28参照)におけるチャート本体105の位置ずれなどの影響を受ける易くなって、正確な計測用マーカの確認検査を行い難くなるためである。例えば、検査領域の幅について計測用マーカの±10%を誤差範囲として許容するとすれば、検査領域106aの幅は0.5mmとして、検査領域106cの幅は2.0mmとして設計される。
5mmの計測用マーカの確認検査を行う場合には、移動量調整部114の操作により、チャート保持部112を上下方向Vに移動させて、計測光の出射位置とチャート本体105との間の距離を距離L1(図28参照)に設定する。そして、ユーザーは、ディスプレイ18に表示された検査画像を確認しながら、チャート保持部112を左右方向Wに移動させて、計測光の照射位置を検査基準位置108に合わせる。
図29に示すように、検査画像において、計測用マーカMpが検査領域106aの内部に入っている場合には、ユーザーは、5mmの計測用マーカMpが適正に表示されていると判断する。これに対して、図30に示すように、検査画像において、計測用マーカMが検査領域106aから一部でもはみ出しているなど計測用マーカMpの一部でも検査領域106aに入っていない場合には、ユーザーは、5mmの計測用マーカMpが適正に表示されていないと判断する。
なお、計測用マーカMpが検査領域に入っているかどうかの確認検査については、ユーザーが目視で行う他、画像処理を用いて、自動で行うようにしてもよい(その他の計測用マーカMq、Mrについても同様である)。この場合、チャート本体105に、チャート本体の種類を識別可能なチャート識別子103(例えば、QRコード(登録商標)など)を設けることが好ましい。チャート識別子103からチャート本体105の種類をスキャナ等で読み取り、チャート本体105の種類に基づいて、計測用マーカの確認検査を自動的に行う。
なお、チャート本体105aの種類には、確認検査を行う回数(複数回(テストチャート102の場合)、又は1回(テストチャート120の場合))他、検査領域部に設ける検査領域のサイズなどが含まれる。計測用マーカの確認検査を自動的に行った場合には、確認検査の自動判定結果をプロセッサ装置16の判定結果保存メモリに保存するようにしてもよい。また、チャート本体105には、ユーザーが目視で確認検査を行う場合に備えて、チャート識別子103の他、チャート本体の種類を表すシリアル番号又は文字などが付されている。
10mmの計測用マーカMqの確認検査を行う場合には、移動量調整部114の操作により、チャート保持部112を上下方向Vに移動させて、計測光の出射位置とチャート本体105との間の距離を距離L2(>距離L1)(図28参照)に設定する。そして、ユーザーは、ディスプレイ18に表示された検査画像を確認しながら、チャート保持部112を左右方向Wに移動させて、計測光の照射位置を検査基準位置108に合わせる。そして、図31に示すように、検査画像において、計測用マーカMqが検査領域106aの内部に入っているかどうかによって、10mmの計測用マーカMqが適正に表示されているかどうかを判断する。
20mmの計測用マーカMrの確認検査を行う場合には、移動量調整部114の操作により、チャート保持部112を上下方向Vに移動させて、計測光の出射位置とチャート本体105との間の距離を距離L3(>距離L1、L2)(図28参照)に設定する。そして、ユーザーは、ディスプレイ18に表示された検査画像を確認しながら、チャート保持部112を左右方向Wに移動させて、計測光の照射位置を検査基準位置108に合わせる。そして、図32に示すように、検査画像において、計測用マーカMrが検査領域106aの内部に入っているかどうかによって、20mmの計測用マーカMrが適正に表示されているかどうかを判断する。
また、テストチャート102には、確認検査を補助するための確認検査補助部111が設けられている(図26参照)。テストチャート102を用いる場合の確認検査補助部111は、検査基準位置108から放射状に延び、且つ、各検査領域106a~106cと交差する8本の放射状ラインである。これら8本の放射状ラインは、線対称であり、また、45度の等角度間隔を有している。確認検査を行う場合において、計測用マーカMが検査領域全体で入っているどうかを目視で確認するのが難しい場合もあるため、放射状ラインと検査領域との交差部分CA(図29参照)の8か所で、計測用マーカMが検査領域内に入っているかどうかを確認できるようにしている。例えば、交差部分CAの8か所全てで、計測用マーカMpが検査領域に入っている場合には、ユーザーは、計測用マーカMpが適正に表示されていると判断する。一方、交差領域CAのうち1か所でも、計測用マーカMが検査領域から出ている場合には、ユーザーは、計測用マーカMpが適正に表示されていないと判断する。
図33に示すように、テストチャート120は、特定形状の検査領域として、3つの円形の検査領域106a、106b、106cを備えている。これら3つの円形の検査領域106a~106cは、特定の一点で共有している。テストチャート120では、特定の一点を検査基準位置108としている。検査領域106a~106cは、検査基準位置108を通る線108aに関して、線対称となっている。検査領域106aは、上記と同様に、5mmの計測用マーカMpの確認検査に用いられる。また、検査領域106bは、上記と同様に、10mmの計測用マーカMqの確認検査に用いられる。また、検査領域106cは、上記と同様に、20mmの計測用マーカMrの確認検査に用いられる。
テストチャート120を用いることで、全ての検査領域106a~106cの確認検査を1回で行うことが可能である。テストチャート120を用いる確認検査を行う場合には、移動量調整部114の操作により、チャート保持部112を上下方向Vに移動させて、計測光の出射位置とチャート本体105との間の距離を特定距離(図28参照)に設定する。また、テストチャート120を用いる確認検査の場合には、表示制御部40は、計測光の照射位置に基づく5mm、10mm、20mmの全ての計測用マーカMp、Mq、Mrを検査画像上に表示するようにする。そして、ユーザーは、ディスプレイ18に表示された検査画像を確認しながら、チャート保持部112を左右方向Wに移動させて、計測光の照射位置を検査基準位置108に合わせる。
図34に示すように、検査画像において、計測光の照射位置に基づいて表示される全ての計測用マーカMp、Mq、Mrが検査領域106a、106b、106cの内部に入っている場合には、ユーザーは、5mm、10mm、20mmの計測用マーカMp、Mq、Mrが適正に表示されていると判断する。これに対して、図35に示すように、計測用マーカMpが検査領域106aしている一方、計測用マーカMq、Mrは検査領域106b、106cに入っている場合には、ユーザーは、5mmの計測用マーカMpは適正に表示されていないと判断する一方、10mm、20mmの計測用マーカMq、Mrは適正に表示されていると判断する。
なお、計測用マーカMp、Mq、Mrが検査領域に入っているかどうかの確認検査については、ユーザーが目視で行う他、画像処理を用いて、自動で行うようにしてもよい。この場合、各検査領域106a、106b、106cを自動検出し易くするために、検査領域106a、106b、106cの色相を維持しつつの彩度を異ならせることが好ましい。例えば、検査領域106aの彩度>検査領域106bの彩度>検査領域106cの彩度とすることが好ましい。
なお、テストチャート120については、検査対象の計測用マーカが円形の場合に、特定形状の検査領域を円形の検査領域106a、106b、106cにする他に、図36に示すように、検査対象の計測用マーカがひし形の場合には、計測用マーカの形状に合わせて、特定形状の検査領域をひし形の検査領域122a、122b、122cとする。検査領域122a、122b、122cは、それぞれ5mm、10mm、20mmの計測用マーカの確認検査に用いられる。また、図37に示すように、検査対象の計測用マーカが矩形の場合には、計測用マーカの形状に合わせて、特定形状の検査領域を矩形の検査領域124a、124b、124cとする。検査領域124a、124b、124cは、それぞれ5mm、10mm、20mmの計測用マーカの確認検査に用いられる。
テストチャート102、及びテストチャート120については、チャート本体105に照射した場合の計測光の色相が、実際の被写体(食道、胃、大腸などの人体)に照射した場合の計測光の色相と同じになるように、チャート本体105の色相を設定することが好ましい。ここで、色相が同じとは、それぞれの色相が完全に一致する場合の他、互いの色相の違い(色相の値の差分)が一定範囲内であることも含まれる。なお、検査領域と、チャート本体105のうち、検査領域以外の領域は、上記の理由(被写体における計測光と同色相とするため)から、それぞれ同じ色相であるが、検査領域とそれ以外の部分を識別し易くするために、彩度が異なっている。
上記のように、チャート本体105の色相を設定するために、図38に示すように、テストチャート102においては、PSF(ポリサルフォン)板105aの上に粘着シート105bを設け、その粘着シート105bに対して検査領域部106を設ける。検査領域部106は、レーザープリンターなどのトナーもしくはオフセット印刷インキで印刷することが好ましい。そして、検査領域部106をトレーシングペーパー105cで覆うようにする。ここで、PSF板105aは反射率を高くし、且つ、若干の光散乱を有するようにすることが好ましい。一方、トレーシングペーパー105cについては、食道、胃、大腸などの被写体の平均的な粘膜の反射率及び光散乱率を有することが好ましい。以上のように、テストチャート102を構成することで、チャート本体105に照射した場合の計測光の色相が、実際の被写体(食道、胃、大腸などの人体)に照射した場合の計測光の色相と同じになるようになる。したがって、テストチャート102に計測光を照射した場合であっても、テストチャート102の反射率等が被写体の反射率等と同じであるため、プロセッサ装置16の照射位置検出部58は、計測光(スポット光)を確実に検出することができる。
なお、計測光としてスポット光を用いる場合には、検査基準位置をスポット光に対応させたスポット光用のテストチャート102、及びテストチャート120(図26、図33参照)を用いているが、計測光としてライン状の計測光を用いる場合には、図39に示すように、検査基準位置128をライン状の計測光に対応させたライン用のテストチャート130を用いて、計測用マーカの確認検査を行うことが好ましい。また、計測光としてパターン状の計測光を用いる場合には、図40に示すように、検査基準位置132を格子状の計測光に対応させた格子パターン用のテストチャート134を用いて、計測用マーカの確認検査を行うことが好ましく、別の形態ではパターン状の計測光から生成されたマーカの形状(設計目的によって任意)に従い、その許容誤差範囲を持たせたテストチャートを使用する方法も選択可能である。すなわち、パターン状の計測光から、水平線状もしくは略楕円のマーカを生成表示することが可能であれば、本実施形態のテストチャート102を準用することができる。
次に、キャリブレーションモードの一連の流れについて、図41のフローチャートに沿って説明する。検査システム100において、テストチャート102をチャート保持部112に載置し、内視鏡の先端部12dとテストチャート102を対向した状態で、内視鏡12を内視鏡保持部110に取り付ける。そして、モード切替スイッチ13aの操作により、キャリブレーションに切り替える。これにより、内視鏡12から計測光がテストチャート102に向けて照射される。
内視鏡12は、計測光が照射されたチャート本体105を撮像することにより、検査画像を得る。検査画像はディスプレイ18に表示される。検査画像においては、計測光の照射位置に合わせて表示される計測用マーカが表示されている。ユーザーは、検査画像を確認して、計測光の照射位置が検査基準位置108に一致するように、移動量調整部114を操作して、計測光の出射位置とチャート本体105との距離、又は、チャート本体105における計測光の照射位置の少なくともいずれかを変化させる。そして、照明光の照射位置が検査基準位置に一致した場合に、ユーザーは、計測用マーカが適正に表示されているか否かの確認検査を行う。
テストチャート102を用いる場合の確認検査については、まず、5mmの計測用マーカMpが検査領域106aに入るように、移動量調整部114を操作してチャート本体105を上下方向V又は左右方向Wに移動させる。そして、計測光の照射位置が検査基準位置108に合わさった場合に、検査画像において、計測用マーカMpが検査領域106aの内部に入っている場合には、計測用マーカMpが適正に表示されていると判断する。計測用マーカMpが検査領域106aの内部に入っていない場合には、計測用マーカMpが適正に表示されていないと判断する。
次に、10mmの計測用マーカMqが検査領域106bに入るように、チャート本体105を上下方向V又は左右方向Wに移動させる。そして、計測光の照射位置が検査基準位置108に合わさった場合に、5mmの計測用マーカMpの場合と同様に、検査画像において、計測用マーカMqが検査領域106aの内部に入っているかどうかを判断する。次に、検査用マーカMqに関する確認検査が完了した後は、20mmの計測用マーカMrが検査領域106cに入るように、チャート本体105を上下方向V又は左右方向Wに移動させる。そして、計測光の照射位置が検査基準位置108に合わさった場合に、5mmの計測用マーカMpの場合と同様に、検査画像において、計測用マーカMrが検査領域106cの内部に入っているかどうかを判断する。以上により、特定距離でのテストチャート102を用いた場合の確認検査が完了する。ここまでの流れを、予め設定した1つもしくは複数の内視鏡-チャート間距離にて繰り返し実施し、判定基準によって製品としての合否を判断することができる。
上記実施形態において、受信部38、信号処理部39、表示制御部40、システム制御部41、静止画保存部42、第1信号処理部50、第2信号処理部52、モード制御部56、照射位置検出部58、マーカ用テーブル62といった各種の処理を実行する処理部(processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ(processor)である。各種のプロセッサには、ソフトウエア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサであるCPU(Central Processing Unit)、FPGA (Field Programmable Gate Array) などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、各種の処理を実行するために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
1つの処理部は、これら各種のプロセッサのうちの1つで構成されてもよいし、同種または異種の2つ以上のプロセッサの組み合せ(例えば、複数のFPGAや、CPUとFPGAの組み合わせ)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。複数の処理部を1つのプロセッサで構成する例としては、第1に、クライアントやサーバなどのコンピュータに代表されるように、1つ以上のCPUとソフトウエアの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)などに代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを1つ以上用いて構成される。
さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた形態の電気回路(circuitry)である。また、記憶部のハードウェア的な構造はHDD(hard disc drive)やSSD(solid state drive)等の記憶装置である。
なお、計測光と計測光の照射に関しては、以下であることが好ましい。計測光はスポット光であることが好ましい。計測光はライン状の計測光であることが好ましい。計測光は格子状パターンの計測光であることが好ましい。計測光は3次元平面光であることが好ましい。計測光を間欠的に被写体に照射することが好ましい。計測光は縞状パターン光であることが好ましい。位相又は周期が異なる複数の縞状パターン光を切り替えて被写体に照射することが好ましい。
10 内視鏡システム
12 内視鏡
12a 挿入部
12b 操作部
12c 湾曲部
12d 先端部
13a モード切替スイッチ
13b フリーズスイッチ
13c ズーム操作部
14 光源装置
16 プロセッサ装置
18 ディスプレイ
20 ユーザーインターフェース
21 撮像光学系
21a 対物レンズ
21b ズームレンズ
22 照明光学系
22a 照明レンズ
23 ビーム光出射部
23a 光源
23b DOE
23c プリズム
23d 出射部
24 開口
25 送気送水ノズル
26 光源部
27 光源制御部
28 ライトガイド
29 コネクタ
32 撮像素子
33 撮像制御部
34 CDS/AGC回路
35 A/D変換器
36 通信I/F
37 通信I/F
38 受信部
39 信号処理部
40 表示制御部
41 システム制御部
42 静止画保存部
50 第1信号処理部
52 第2信号処理部
56 モード制御部
58 照射位置検出部
62 マーカ用テーブル
80 交差ライン
82 目盛り
100 検査システム
101a 実線
101b 点線
102 テストチャート
103 チャート識別子
104 移動機構部
105 チャート本体
105a PSF板
105b 粘着シート
105c トレーシングペーパー
106 検査領域部
106a、106b、106c 検査領域
108 検査基準位置
108a 線
109 基台
110 内視鏡保持部
111 確認検査補助部
112 チャート保持部
114 移動量調整部
120 テストチャート
122a、122b、122c 検査領域
124a、124b、124c 検査領域
128 検査基準位置
130 テストチャート
132 検査基準位置
134 テストチャート
M1、M2、M3 十字型のマーカ
tm1、tm2、tm3、tm4、tm5 腫瘍
SP スポット
SP1、SP2、SP3、SP4、SP5 スポット
M4A、M4B、M4C、M5A、M5B、M5C 同心円状のマーカ
M6A、M6B、M6C 歪曲同心円状のマーカ
P ポリープ

Claims (23)

  1. 被写体のサイズを計測するための計測用マーカに関する検査に用いられるテストチャートにおいて、
    特定形状の検査領域を有する検査領域部と、検査基準位置とが設けられたチャート本体を有し、
    前記検査領域部は、
    計測光が照射された前記チャート本体を内視鏡で撮像して得られる検査画像において、前記計測光の照射位置を前記検査基準位置に合わせた場合に、前記照射位置に基づいて前記検査画像に表示される前記計測用マーカが前記検査領域に入っているかどうかの確認検査に用いられるテストチャート。
  2. 前記チャート本体には、前記計測用マーカのサイズに対応する複数の検査領域が設けられており、
    各検査領域の確認検査は、前記計測光の出射位置と前記チャート本体との距離を変化させて複数に分けて行われる請求項1記載のテストチャート。
  3. 前記チャート本体は、前記確認検査を補助するための確認検査補助部を有する請求項2記載のテストチャート。
  4. 前記特定形状は円形であり、
    前記複数の検査領域は、前記検査基準位置を中心として、同心状に設けられており、
    前記確認検査補助部は、前記検査基準位置から放射状に延び、且つ、前記検査領域と交差する複数の放射状ラインである請求項3記載のテストチャート。
  5. 前記放射状ラインの角度間隔は、等角度間隔である請求項4記載のテストチャート。
  6. 前記放射状ラインは線対称である請求項4記載のテストチャート。
  7. 前記テストチャートには、前記計測用マーカのサイズに対応する複数の検査領域が設けられており、
    各検査領域の確認検査は、前記計測光の出射位置と前記チャート本体との距離を一定に保持して、1回で行われる請求項1記載のテストチャート。
  8. 前記特定形状は円形であり、
    前記複数の検査領域は、各検査領域の特定の1点を、前記検査基準位置として共有している請求項7記載のテストチャート。
  9. 前記複数の検査領域は互いに彩度が異なっている請求項7または8記載のテストチャート。
  10. 前記チャート本体に照射した場合の前記計測光の色相は、前記被写体に照射した場合の前記計測光の色相と同じである請求項1ないし9いずれか1項記載のテストチャート。
  11. 前記検査領域と前記チャート本体のうち前記検査領域以外の領域は、それぞれ同じ色相である請求項1ないし10いずれか1項記載のテストチャート。
  12. 前記検査領域の幅は、前記計測用マーカのサイズに対応する誤差範囲を有する請求項1ないし11いずれか1項記載のテストチャート。
  13. 前記検査領域の幅は、前記計測用マーカのサイズが大きくなる程、大きくなる請求項12記載のテストチャート。
  14. 前記チャート本体の種類を識別可能なチャート識別子を有する請求項1ないし13いずれか1項記載のテストチャート。
  15. 検査基準位置が設けられたチャート本体を有するテストチャートと、
    内視鏡からの計測光が照射された前記チャート本体を前記内視鏡で撮像して得られる検査画像を表示するディスプレイと、
    前記内視鏡の先端部と前記テストチャートと対向した状態で前記内視鏡を保持し、且つ、前記テストチャートを移動可能に保持する移動機構部と、
    を備え、
    前記移動機構部は、前記計測光の出射位置と前記チャート本体との距離、又は、前記チャート本体における前記計測光の照射位置の少なくともいずれかを変化させることにより、前記検査画像において、前記計測光の照射位置を前記検査基準位置に合わせる検査システム。
  16. 前記チャート本体は、特定形状の検査領域を有する検査領域部を有し、
    前記検査領域部は、
    前記計測光が照射された前記チャート本体を前記内視鏡で撮像して得られる検査画像において、前記計測光の照射位置を前記検査基準位置に合わせた場合に、前記照射位置に基づいて前記検査画像に表示される計測用マーカが前記検査領域に入っているかどうかの確認検査に用いられる請求項15記載の検査システム。
  17. 前記テストチャートには、前記計測用マーカのサイズに対応する複数の検査領域が設けられており、
    前記移動機構部は、各検査領域の確認検査毎に、前記計測光の出射位置と前記チャート本体との距離を変化させ、
    前記ディスプレイは、前記距離を変化させる毎に、前記距離に対応する計測用マーカを表示することにより、各検査領域の確認検査を複数に分けて行う請求項16記載の検査システム。
  18. 前記テストチャートには、前記計測用マーカのサイズに対応する複数の検査領域が設けられており、
    前記移動機構部は、前記計測光の出射位置と前記チャート本体との距離を一定に保持し、
    前記ディスプレイは、前記複数の検査領域に対応する全ての計測用マーカを表示することにより、全ての検査領域の確認検査を1回で行う請求項16記載の検査システム。
  19. 前記計測光はスポット光である請求項15ないし18いずれか1項記載の検査システム。
  20. 前記計測光はライン状の計測光である請求項15ないし18いずれか1項記載の検査システム。
  21. 前記計測光はパターン状の計測光である請求項15ないし18いずれか1項記載の検査システム。
  22. 前記計測光は3次元平面光である請求項15ないし18いずれか1項記載の検査システム。
  23. 特定形状の検査領域を有する検査領域部、及び検査基準位置が設けられたチャート本体を有するテストチャートを用いて、被写体のサイズを計測するための計測用マーカに関する検査を行う検査方法において、
    内視鏡からの計測光が照射された前記チャート本体を前記内視鏡で撮像して検査画像を得るステップと、
    前記検査画像をディスプレイに表示するステップと、
    前記計測光の出射位置と前記チャート本体との距離、又は、前記チャート本体における前記計測光の照射位置の少なくともいずれかを変化させることにより、前記検査画像において、前記計測光の照射位置を前記検査基準位置に合わせるステップと
    前記検査画像において、前記計測光の照射位置を前記検査基準位置に合わせた場合に、前記照射位置に基づいて前記検査画像に表示される前記計測用マーカが前記検査領域に入っているかどうかの確認検査を行うステップとを有する検査方法。
JP2022519899A 2020-05-07 2021-03-04 テストチャート、検査システム、及び検査方法 Active JP7447249B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020082022 2020-05-07
JP2020082022 2020-05-07
PCT/JP2021/008526 WO2021225026A1 (ja) 2020-05-07 2021-03-04 テストチャート、検査システム、及び検査方法

Publications (2)

Publication Number Publication Date
JPWO2021225026A1 JPWO2021225026A1 (ja) 2021-11-11
JP7447249B2 true JP7447249B2 (ja) 2024-03-11

Family

ID=78467991

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022519899A Active JP7447249B2 (ja) 2020-05-07 2021-03-04 テストチャート、検査システム、及び検査方法

Country Status (2)

Country Link
JP (1) JP7447249B2 (ja)
WO (1) WO2021225026A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010046276A (ja) 2008-08-21 2010-03-04 Fujifilm Corp 内視鏡画像のズレ量測定装置及び方法、並びに電子内視鏡及び内視鏡用画像処理装置
JP2018000795A (ja) 2016-07-07 2018-01-11 オリンパス株式会社 内視鏡プロセッサ
WO2018051680A1 (ja) 2016-09-15 2018-03-22 富士フイルム株式会社 内視鏡システム
WO2018051679A1 (ja) 2016-09-15 2018-03-22 富士フイルム株式会社 計測支援装置、内視鏡システム、内視鏡システムのプロセッサ、及び計測支援方法
WO2018055933A1 (ja) 2016-09-20 2018-03-29 富士フイルム株式会社 計測支援装置、内視鏡システム、内視鏡システムのプロセッサ、及び計測支援方法
JP2020014807A (ja) 2018-07-27 2020-01-30 富士フイルム株式会社 内視鏡装置及びその作動方法並び内視鏡装置用プログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010046276A (ja) 2008-08-21 2010-03-04 Fujifilm Corp 内視鏡画像のズレ量測定装置及び方法、並びに電子内視鏡及び内視鏡用画像処理装置
JP2018000795A (ja) 2016-07-07 2018-01-11 オリンパス株式会社 内視鏡プロセッサ
WO2018051680A1 (ja) 2016-09-15 2018-03-22 富士フイルム株式会社 内視鏡システム
WO2018051679A1 (ja) 2016-09-15 2018-03-22 富士フイルム株式会社 計測支援装置、内視鏡システム、内視鏡システムのプロセッサ、及び計測支援方法
WO2018055933A1 (ja) 2016-09-20 2018-03-29 富士フイルム株式会社 計測支援装置、内視鏡システム、内視鏡システムのプロセッサ、及び計測支援方法
JP2020014807A (ja) 2018-07-27 2020-01-30 富士フイルム株式会社 内視鏡装置及びその作動方法並び内視鏡装置用プログラム

Also Published As

Publication number Publication date
WO2021225026A1 (ja) 2021-11-11
JPWO2021225026A1 (ja) 2021-11-11

Similar Documents

Publication Publication Date Title
JP6692440B2 (ja) 内視鏡システム
US10624540B2 (en) Method and instrument for surgical navigation
US20060122516A1 (en) Method and instrument for surgical navigation
EP3513703A1 (en) Measurement assistance device, endoscope system, processor for endoscope system, and measurement assistance method
JP7115897B2 (ja) 内視鏡装置
JP7116264B2 (ja) 内視鏡システム及びその作動方法
US20230218142A1 (en) Medical optical system, data processing system, computer program, and non-volatile computer-readable storage medium
JP7099971B2 (ja) 内視鏡装置、キャリブレーション装置、及びキャリブレーション方法
JP7447249B2 (ja) テストチャート、検査システム、及び検査方法
JP7069062B2 (ja) 内視鏡装置
KR20200117895A (ko) 증강현실 투영장치
JP7029359B2 (ja) 内視鏡装置及びその作動方法並び内視鏡装置用プログラム
JP7167352B2 (ja) 内視鏡システム及びその作動方法
WO2022049806A1 (ja) キャリブレーション装置及び方法
JP7214840B2 (ja) 内視鏡、内視鏡装置
WO2022049807A1 (ja) 内視鏡システム及びその作動方法
JP6924727B2 (ja) 内視鏡装置
JP2020014808A (ja) 内視鏡装置及びその作動方法並び内視鏡装置用プログラム
CN115399711A (zh) 内窥镜业务辅助装置及内窥镜业务辅助***以及内窥镜业务辅助装置的工作方法
JPWO2020153186A1 (ja) 内視鏡装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221027

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231121

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231208

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240220

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240228

R150 Certificate of patent or registration of utility model

Ref document number: 7447249

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150