JP7390482B2 - 内視鏡システム及びその作動方法 - Google Patents
内視鏡システム及びその作動方法 Download PDFInfo
- Publication number
- JP7390482B2 JP7390482B2 JP2022522531A JP2022522531A JP7390482B2 JP 7390482 B2 JP7390482 B2 JP 7390482B2 JP 2022522531 A JP2022522531 A JP 2022522531A JP 2022522531 A JP2022522531 A JP 2022522531A JP 7390482 B2 JP7390482 B2 JP 7390482B2
- Authority
- JP
- Japan
- Prior art keywords
- light
- amount ratio
- light amount
- period
- ratio
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000011017 operating method Methods 0.000 title description 2
- 238000009825 accumulation Methods 0.000 claims description 169
- 238000005286 illumination Methods 0.000 claims description 109
- 238000004458 analytical method Methods 0.000 claims description 29
- 238000000034 method Methods 0.000 claims description 22
- 238000003384 imaging method Methods 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 13
- 238000012545 processing Methods 0.000 description 70
- 230000009467 reduction Effects 0.000 description 13
- 101001090688 Homo sapiens Lymphocyte cytosolic protein 2 Proteins 0.000 description 10
- 102100034709 Lymphocyte cytosolic protein 2 Human genes 0.000 description 10
- 210000004204 blood vessel Anatomy 0.000 description 10
- 101000596046 Homo sapiens Plastin-2 Proteins 0.000 description 9
- 101000762938 Homo sapiens TOX high mobility group box family member 4 Proteins 0.000 description 9
- 102100026749 TOX high mobility group box family member 4 Human genes 0.000 description 9
- 238000010586 diagram Methods 0.000 description 9
- 230000003287 optical effect Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 239000004065 semiconductor Substances 0.000 description 8
- 101001043562 Homo sapiens Low-density lipoprotein receptor-related protein 2 Proteins 0.000 description 7
- 101000896414 Homo sapiens Nuclear nucleic acid-binding protein C1D Proteins 0.000 description 7
- 101001043564 Homo sapiens Prolow-density lipoprotein receptor-related protein 1 Proteins 0.000 description 7
- 102100021922 Low-density lipoprotein receptor-related protein 2 Human genes 0.000 description 7
- 102100021923 Prolow-density lipoprotein receptor-related protein 1 Human genes 0.000 description 7
- 238000006243 chemical reaction Methods 0.000 description 7
- 101150050055 LCP3 gene Proteins 0.000 description 6
- 230000000052 comparative effect Effects 0.000 description 6
- 238000012937 correction Methods 0.000 description 6
- 238000005096 rolling process Methods 0.000 description 5
- 239000002344 surface layer Substances 0.000 description 5
- 101001043596 Homo sapiens Low-density lipoprotein receptor-related protein 3 Proteins 0.000 description 4
- 102100021917 Low-density lipoprotein receptor-related protein 3 Human genes 0.000 description 4
- 238000005452 bending Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 238000003780 insertion Methods 0.000 description 4
- 230000037431 insertion Effects 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 230000000875 corresponding effect Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 239000013256 coordination polymer Substances 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 229910044991 metal oxide Inorganic materials 0.000 description 2
- 150000004706 metal oxides Chemical class 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000002834 transmittance Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000000295 emission spectrum Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0655—Control therefor
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Biomedical Technology (AREA)
- Optics & Photonics (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Biophysics (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Endoscopes (AREA)
Description
本発明は、発光スペクトルが異なる複数の照明光を切り替えて発光する内視鏡システム及びその作動方法に関する。
医療分野においては、医療画像を用いて診断することが広く行われている。例えば、医療画像を用いる装置として、光源装置、内視鏡、及びプロセッサ装置を備える内視鏡システムがある。内視鏡システムでは、観察対象に対して照明光を照射し、照明光で照明された観察対象を撮像することにより、医療画像としての内視鏡画像を取得する。内視鏡画像は、ディスプレイに表示され、診断に使用される。
また、近年では、光量比が異なる複数の照明光を切り替えて発光し、各照明光に対応する複数の画像を取得し、表示することが行われつつある。このように複数の照明光を切り替えて発光する場合において、観察対象の撮像には、CMOS(Complementary Metal Oxide Semiconductor)型の撮像センサが用いられつつある。CMOS型の撮像センサでは、行方向と列方向に配列された複数の画素を有する場合において、画素にて電荷の蓄積を行い、行方向のライン単位で、列方向の順で順次信号読み出しを行うローリングシャッタ方式を採用している。ローリングシャッタ方式による撮像を行う場合には、複数の照明光の切り替え時に混色が生ずるおそれがある。
これに対して、特許文献1では、第1光と第2光を切り替えて発光する場合において、各光の発光は、電荷を蓄積する蓄積期間のみ行い、信号読み出しを行う読出期間は消灯することで、第1光と第2光の切り替えに伴う混色を防止している。
上記のように、複数の照明光を切り替えて発光し、各照明光に対応する複数の画像を取得し、ディスプレイに表示する場合においては、ユーザーにとって動きが滑らかな画像を見せるためには、フレームレートを一定以上に維持する必要がある。また、有意な診断を行うためには、画像の明るさも必要となる。しかしながら、特許文献1のように、蓄積期間のみ発光を行う場合には、蓄積期間で十分な光量が得られず、明るさが不足するおそれがある。これに対して、蓄積期間で十分な光量を得るために、蓄積期間を長くすることが考えられるが、蓄積期間を長くすることに伴って、フレームレートを低くする必要が生じる。この場合には、動きが滑らかな画像を表示することができない場合がある。
本発明は、複数の照明光を切り替えて発光する場合に、ローリングシャッタ方式の撮像センサを使用する場合において、フレームレートを維持しつつ、画像の明るさを確保することができる内視鏡システム及びその作動方法を提供することを目的とする。
本発明の内視鏡システムは、互いに波長帯域が異なる複数の波長帯域の光を発する光源部と、光源部を制御して、複数の波長帯域の光を組み合わせて特定の光量比で照明光を発光させる光源用プロセッサであって、特定の光量比として、発光モード毎に光量比を切り替える光源用プロセッサと、複数の画素が行方向と列方向に配列された撮像センサと、画素にて電荷の蓄積を行い、行方向のライン単位で画素から列方向の順で信号読み出しを行う撮像用プロセッサとを備え、光源用プロセッサは、撮像センサに対する設定露光時間が第1露光時間に設定されている場合には、第1光量比を有する第1照明光を発する第1発光モードにおいては、電荷の蓄積を行う第1蓄積期間にて、第1蓄積期間用光量比で発光し、信号読み出しを行う第1読出期間にて、第1蓄積期間用光量比から第1読出期間用光量比に切り替えて発光し、第2光量比を有する第2照明光を発する第2発光モードにおいては、電荷の蓄積を行う第2蓄積期間にて、第2蓄積期間用光量比で発光し、信号読み出しを行う第2読出期間にて、第2蓄積期間用光量比から第2読出期間用光量比に切り替えて発光することにより、第1読出期間用光量比と第1蓄積期間用光量比とを加算して第1光量比とし、第2読出期間用光量比と第2蓄積期間用光量比とを加算して第2光量比とする。
第1読出期間用光量比と第2読出期間用光量比は、それぞれ同じ読出期間用共通光量比を用いることが好ましい。読出期間用共通光量比における各波長帯域の比率は、第1光量比又は第2光量比の各波長帯域の比率のうち小さい比率を用いることが好ましい。第1照明光及び第2照明光が、波長帯域が紫色帯域である紫色光を少なくとも含む場合において、第2光量比における紫色光の比率は、第1光量比における紫色光の比率よりも大きいことが好ましい。
第1照明光及び第2照明光が、波長帯域が紫色帯域である紫色光を少なくとも含む場合であって、第1読出期間が第1蓄積期間よりも長い場合において、第1発光モード又は第2発光モードのうち紫色光の比率が低い発光モードに関しては、読出期間における紫色光の比率を蓄積期間の紫色光の比率よりも大きくすることが好ましい。
光源用プロセッサは、撮像センサの露光時間が、第1露光時間よりも短く、且つ、第1蓄積期間又は第2蓄積期間よりも短い第2露光時間に設定されている場合には、第1発光モードにおいては、第1蓄積期間にて、第1光量比で発光し、第1読出期間にて、第1光量比から減光状態に切り替え、第2発光モードにおいては、第2蓄積期間にて、第2光量比で発光し、第2読出期間にて、第2光量比から減光状態に切り替えることが好ましい。
光源用プロセッサは、撮像センサの露光時間が第1露光時間に設定されている場合には、第3光量比を有する第3照明光を発光する第3発光モードにおいては、電荷の蓄積を行う第3蓄積期間にて、第3蓄積期間用光量比で発光し、信号読み出しを行う第3読出期間にて、第3蓄積期間用光量比から第3読出期間用光量比に切り替えて発光することにより、第3読出期間用光量比と第3蓄積期間用光量比とを加算して第3光量比とすることが好ましい。
光源用プロセッサは、第1発光モードと第2発光モードとを自動的に切り替えること、第1発光モードと第3発光モードとを自動的に切り替えること、又は、第2発光モードと第3発光モードとを自動的に切り替えることの3つの自動発光切替のうちいずれかを行うことが好ましい。
自動発光切替の発光パターンは、各照明光を発光する照明期間のフレーム数が、それぞれの照明期間において同じである等フレーム数発光パターンと、照明期間のフレーム数が、それぞれの照明期間において異なっている異フレーム数発光パターンとのうちのいずれかであることが好ましい。
画像制御用プロセッサを有し、画像制御用プロセッサは、第1発光モードで得られる第1画像と、第2発光モードで得られる第2画像とを自動的に切り替えてディスプレイに表示することが好ましい。画像制御用プロセッサを有し、画像制御用プロセッサは、第1発光モードで得られる第1画像に対して、第2発光モードで得られる第2画像に基づく解析処理から得られる解析結果を表示する解析結果付き表示用画像をディスプレイに表示することが好ましい。
本発明は、互いに波長帯域が異なる複数の波長帯域の光を発する光源部と、光源部を制御して、複数の波長帯域の光を組み合わせて特定の光量比で照明光を発光させる光源用プロセッサであって、特定の光量比として、発光モード毎に光量比を切り替える光源用プロセッサと、複数の画素が行方向と列方向に配列された撮像センサと、画素にて電荷の蓄積を行い、行方向のライン単位で画素から列方向の順で信号読み出しを行う撮像用プロセッサとを備える内視鏡システムの作動方法において、光源用プロセッサは、撮像センサに対する設定露光時間が第1露光時間に設定されている場合には、第1光量比を有する第1照明光を発する第1発光モードにおいては、電荷の蓄積を行う第1蓄積期間にて、第1蓄積期間用光量比で発光し、信号読み出しを行う第1読出期間にて、第1蓄積期間用光量比から第1読出期間用光量比に切り替えて発光し、第2光量比を有する第2照明光を発する第2発光モードにおいては、電荷の蓄積を行う第2蓄積期間にて、第2蓄積期間用光量比で発光し、信号読み出しを行う第2読出期間にて、第2蓄積期間用光量比から第2読出期間用光量比に切り替えて発光することにより、第1読出期間用光量比と第1蓄積期間用光量比とを加算して第1光量比とし、第2読出期間用光量比と第2蓄積期間用光量比とを加算して第2光量比とする。
本発明によれば、複数の照明光を切り替えて発光する場合に、ローリングシャッタ方式の撮像センサを使用する場合において、フレームレートを維持しつつ、画像の明るさを確保することができる。
図1において、内視鏡システム10は、内視鏡12と、光源装置14と、プロセッサ装置16と、ディスプレイ18と、ユーザーインターフェース19とを有する。内視鏡12は、光源装置14と光学的に接続され、且つ、プロセッサ装置16と電気的に接続される。内視鏡12は、観察対象の体内に挿入される挿入部12aと、挿入部12aの基端部分に設けられた操作部12bと、挿入部12aの先端側に設けられた湾曲部12c及び先端部12dとを有している。湾曲部12cは、操作部12bのアングルノブ12eを操作することにより湾曲動作する。先端部12dは、湾曲部12cの湾曲動作によって所望の方向に向けられる。
また、操作部12bには、アングルノブ12eの他、モードの切り替え操作に用いるモード切替SW(モード切替スイッチ)12fと、観察対象の静止画の取得指示に用いられる静止画取得指示部12gと、ズームレンズ43(図2参照)の操作に用いられるズーム操作部12hとが設けられている。
なお、内視鏡システム10は、第1発光モード、第2発光モード、第3発光モード、マルチ発光モードの4つのモードを有している。第1発光モードでは、白色光などの広帯域光である第1照明光を観察対象に照明して撮像することによって、自然な色合いの第1画像をディスプレイ18に表示する。第2発光モードでは、第1照明光と波長帯域が異なる第2照明光を観察対象に照明して撮像することによって、第1構造を強調した第2画像をディスプレイ18に表示する。第1構造としては、粘膜表層の血管情報が含まれる。第2照明光を用いることで、第1照明光の場合よりも、粘膜表層の血管情報を強調することができる。
第3発光モードでは、第1照明光及び第2照明光と波長帯域が異なる第3照明光を観察対象に照明して撮像することによって、第2構造を強調した第2画像をディスプレイ18に表示する。第2構造としては、粘膜表層よりも深い血管情報が含まれる。第3照明光を用いることで、第1照明光の場合よりも、粘膜表層よりも深い血管情報を強調することができる。マルチ発光モードでは、第1発光モードと第2発光モードとを自動的に切り替えて発光すること、第1発光モードと第3発光モードとを自動的に切り替えて発光すること、又は、第2発光モードと第3発光モードとを自動的に切り替えて発光することの3つの自動発光切り替えのいずれかを行う。いずれの自動発光切り替えを設定するかについては、ユーザーインターフェース19を操作することにより行われる。また、マルチ発光モードでは、自動発光切り替えにより得られた複数の画像に基づいて、特定の目的に対応する画像をディスプレイ18に表示する。
プロセッサ装置16は、ディスプレイ18及びユーザーインターフェース19と電気的に接続される。ディスプレイ18は、観察対象の画像や、観察対象の画像に付帯する情報などを出力表示する。ユーザーインターフェース19は、キーボード、マウス、タッチパッドなどを有し、機能設定などの入力操作を受け付ける機能を有する。なお、プロセッサ装置16には、画像や画像情報などを記録する外付けの記録部(図示省略)を接続してもよい。
図2において、光源装置14は、光源部20と、光源部20を制御する光源用プロセッサ21とを備えている。光源部20は、互いに波長帯域が異なる複数の波長帯域の光を発する。光源部20は、例えば、複数の半導体光源を有し、これらをそれぞれ点灯または消灯し、点灯する場合には各半導体光源の発光量を制御することにより、観察対象を照明する照明光を発する。本実施形態では、光源部20は、V-LED(Violet Light Emitting Diode)20a、B-LED(Blue Light Emitting Diode)20b、G-LED(Green Light Emitting Diode)20c、及びR-LED(Red Light Emitting Diode)20dの4色のLEDを有する。
図3に示すように、V-LED20aは、中心波長405±10nm、波長帯域380~420nmの紫色光Vを発生する。B-LED20bは、中心波長450±10nm、波長帯域420~500nmの青色光Bを発生する。G-LED20cは、波長帯域が480~600nmに及ぶ緑色光Gを発生する。R-LED20dは、中心波長620~630nmで、波長帯域が600~650nmに及ぶ赤色光Rを発生する。
光源用プロセッサ21は、光源部20を制御して、複数の波長帯域の光を組み合わせて特定の光量比で照明光を発光させる。本実施形態では、光源用プロセッサ21は、V-LED20a、B-LED20b、G-LED20c、及びR-LED20dを制御する。光源用プロセッサ21は、各LED20a~20dをそれぞれ独立に制御することで、紫色光V、青色光B、緑色光G、又は赤色光Rをそれぞれ独立に光量を変えて発光可能である。
図4に示すように、光源用プロセッサ21は、特定の光量比として、発光モード毎に光量比を切り替えている。本実施形態では、光源用プロセッサ21は、第1発光モード、第2発光モード、第3発光モード、又は、マルチ発光モードにおいて、第1照明光、第2照明光、第3照明光を発光する場合には、以下のようにして、各LED20a~20dに対する発光制御を行う。
第1照明光を発光する場合には、紫色光V、青色光B、緑色光G、及び赤色光R間の第1光量比が0.4:0.6:0.6:0.5となるように、各LED20a~20dを制御する。また、第2照明光を発光する場合には、紫色光V、青色光B、緑色光G、及び赤色光R間の第2光量比が1:0.3:0.3:0.3となるように、各LED20a~20dを制御する。また、第3照明光を発光する場合には、紫色光V、青色光B、緑色光G、及び赤色光R間の第3光量比が1:0.6:0.3:0.5となるように、各LED20a~20dを制御する。
なお、図4では、紫色光Vの比率を「V」とし、青色光Bの比率を「B」とし、緑色光Gの比率を「G」とし、赤色光Rの比率を「R」として表している(図12、図15、図17も同様)。また、本明細書において、光量比は、少なくとも1つの半導体光源の比率が0(ゼロ)の場合を含む。したがって、各半導体光源のいずれか1つまたは2つ以上が点灯しない場合を含む。例えば、紫色光V、青色光B、緑色光G、及び赤色光R間の光量比が1:0:0:0の場合のように、半導体光源の1つのみを点灯し、他の3つは点灯しない場合も、光量比を有するものとする。
また、光源用プロセッサ21は、マルチ発光モードの場合には、第1発光モードと第2発光モードとを自動的に切り替えて発光すること、第1発光モードと第3発光モードとを自動的に切り替えて発光すること、又は、第2発光モードと第3発光モードとを自動的に切り替えて発光することの3つの自動発光切り替えのいずれかを行う。また、本実施形態では、マルチ発光モードの場合には、光源プロセッサ21は、CMOS型の撮像センサ44を用いる場合において、蓄積期間だけでなく、読出期間にも、照明光を発光させる制御を行う。この発光制御については、後述する。
なお、自動発光切り替えの発光パターンとして、各照明光を発光する照明期間のフレーム数が、それぞれの照明期間において同じである等フレーム数発光パターンと、それぞれの照明期間において異なっている異フレーム数発光パターンのうちのいずれかである。例えば、等フレーム数発光パターンとして、第1照明光の照明期間を1フレームとし、第2照明光の照明期間を1フレームとする場合には、図5に示すように、1フレーム毎に、第1照明光と第2照明光とが自動的に切り替えて発光される。なお、フレームとは、ディスプレイ18に表示する1フレーム分の画像を取得するために必要な期間をいい、本実施形態のように、CMOS型の撮像センサ44を用いる場合には、電荷の蓄積を行う蓄積期間と、信号読み出しを行う読出期間を含む期間を1フレームとすることが好ましい。
図2に示すように、各LED20a~20dが発する光は、ミラーやレンズなどで構成される光路結合部23を介して、ライトガイド25に入射される。ライトガイド25は、内視鏡12及びユニバーサルコード(内視鏡12と、光源装置14及びプロセッサ装置16を接続するコード)に内蔵されている。ライトガイド25は、光路結合部23からの光を、内視鏡12の先端部12dまで伝搬する。
内視鏡12の先端部12dには、照明光学系30aと撮像光学系30bが設けられている。照明光学系30aは照明レンズ32を有しており、ライトガイド25によって伝搬した照明光は照明レンズ32を介して観察対象に照射される。撮像光学系30bは、対物レンズ42、撮像センサ44を有している。照明光を照射したことによる観察対象からの光は、対物レンズ42及びズームレンズ43を介して撮像センサ44に入射する。これにより、撮像センサ44に観察対象の像が結像される。ズームレンズ43は観察対象を拡大するためのレンズであり、ズーム操作部12hを操作することによって、テレ端とワイド端と間を移動する。
撮像センサ44は、CMOS(Complementary Metal Oxide Semiconductor)型であり、撮像制御等の詳細については後述する。なお、撮像センサ44は、原色系のカラーセンサであり、青色カラーフィルタを有するB画素(青色画素)、緑色カラーフィルタを有するG画素(緑色画素)、及び、赤色カラーフィルタを有するR画素(赤色画素)の3種類の画素を備える。図6に示すように、青色カラーフィルタBFは、主として青色帯域の光、具体的には波長帯域が380~560nmの波長帯域の光を透過する。青色カラーフィルタBFの透過率は、波長460~470nm付近においてピークになる。緑色カラーフィルタはGF、主として緑色帯域の光、具体的には、460~620nmの波長帯域の光を透過する。赤色カラーフィルタRFは、主として赤色帯域の光、具体的には、580~760nmの波長帯域の光を透過する。
CDS/AGC(Correlated Double Sampling/Automatic Gain Control)回路46は、撮像センサ44から得られるアナログの画像信号に相関二重サンプリング(CDS)や自動利得制御(AGC)を行う。CDS/AGC回路46を経た画像信号は、A/D(Analog/Digital)コンバータ48により、デジタルの画像信号に変換される。A/D変換後のデジタル画像信号がプロセッサ装置16に入力される。
プロセッサ装置16は、画像取得部50と、DSP(Digital Signal Processor)52と、ノイズ低減部54と、画像処理切替部56と、画像処理部58と、表示制御部60と、中央制御部68とを備えている。画像処理部58は、第1画像生成部62と、第2画像生成部64と、第3画像生成部66と、解析処理部67とを備えている。
プロセッサ装置16では、自動表示切替、解析処理など各種処理に関するプログラムがプログラム用メモリ(図示しない)に組み込まれている。画像制御用プロセッサによって構成される中央制御部68がプログラムを実行することによって、プロセッサ装置16では、画像取得部50と、DSP52と、ノイズ低減部54と、画像処理切替部56と、画像処理部58と、表示制御部60の機能が実現する。また、画像処理部58に含まれる第1画像生成部62と、第2画像生成部64と、第3画像生成部66と、解析処理部67との機能も実現する。
画像取得部50は、内視鏡12から入力されるカラー画像を取得する。取得したカラー画像はDSP52に送信される。DSP52は、受信したカラー画像に対して、欠陥補正処理、オフセット処理、ゲイン補正処理、マトリクス処理、ガンマ変換処理、デモザイク処理、及びYC変換処理等の各種信号処理を行う。欠陥補正処理では、撮像センサ44の欠陥画素の信号が補正される。オフセット処理では、欠陥補正処理を施した画像信号から暗電流成分を除かれ、正確な零レベルを設定される。ゲイン補正処理は、オフセット処理後の各色の画像信号に特定のゲインを乗じることによりカラー画像の信号レベルを整える。ゲイン補正処理後の各色の画像信号には、色再現性を高めるマトリクス処理が施される。
その後、ガンマ変換処理によって、カラー画像の明るさや彩度が整えられる。マトリクス処理後のカラー画像には、デモザイク処理(等方化処理,同時化処理とも言う)が施され、補間により各画素の欠落した色の信号を生成される。デモザイク処理によって、全画素がRGB各色の信号を有するようになる。DSP52は、デモザイク処理後のカラー画像にYC変換処理を施し、輝度信号Yと色差信号Cb及び色差信号Crをノイズ低減部54に出力する。
ノイズ低減部54は、DSP56でデモザイク処理等を施したカラー画像に対して、例えば移動平均法やメディアンフィルタ法等によるノイズ低減処理を施す。ノイズを低減したカラー画像は、画像処理切替部56に入力される。
画像処理切替部56は、設定されている発光モードによって、ノイズ低減部54からの画像信号の送信先を、第1画像生成部62と、第2画像生成部64と、第3画像生成部66のいずれかに切り替える。具体的には、第1発光モードにセットされている場合には、ノイズ低減部54からの画像信号を第1画像生成部62に入力する。第2発光モードにセットされている場合には、ノイズ低減部54からの画像信号を第2画像生成部64に入力する。第3発光モードにセットされている場合には、ノイズ低減部54からの画像信号を第3画像生成部66に入力する。
第1画像生成部62は、入力した1フレーム分の画像信号に対して、通常観察画像用画像処理を施す。第1画像用画像処理には、3×3のマトリクス処理、階調変換処理、3次元LUT(Look Up Table)処理等の色変換処理、色彩強調処理、空間周波数強調等の構造強調処理が含まれる。なお、第1画像用画像処理は、自然な色合いを出すために用いられる。第1画像用画像処理が施された画像信号は、第1画像として表示制御部60に入力される。
その他の第2画像生成部64、第3画像生成部66についても、第1画像生成部62と同様に、第2画像用画像処理、第3画像用画像処理が画像信号に対して施されて、第2画像、第3画像として表示制御部60に入力される。なお、第2画像用画像処理は、第1構造を強調するために用いられる。第3画像用画像処理は、第2構造を強調するために用いられる。
解析処理部67は、ノイズ低減部54から入力した画像信号、又は、第1画像、第2画像、第3画像うち、少なくともいずれかを用いて、解析処理を行う。例えば、第2画像に基づいて解析処理を行った場合には、表示用画像として使用する第1画像に対して、解析処理の解析結果を表示した解析結果付き表示用画像を生成する。生成された解析結果付き表示用画像は、表示制御部60に入力される。
なお、解析処理としては、例えば、血管の形状情報を抽出する血管抽出処理、抽出した血管の形状情報に基づいて、血管に関する指標値を算出する指標値算出処理、及び、算出した指標値を表示用画像に重畳表示するための重畳表示制御処理が含まれる。その他、解析処理は、機械学習を用いた処理などAI(Artificial Intelligence)関連処理であってもよい。
表示制御部60は、画像処理部58から出力される画像をディスプレイ18に表示するための制御を行う。具体的には、表示制御部60は、第1画像、第2画像、第3画像、又は、解析結果付き表示用画像を、ディスプレイ18においてフルカラーで表示可能にする映像信号に変換する。変換済みの映像信号はディスプレイ18に入力される。これにより、ディスプレイ18には第1画像、第2画像、第3画像、又は、解析結果付き表示用画像が表示される。
ディスプレイ60においていずれの画像を表示するかについては、ユーザーインターフェース19等を操作することによって、適宜設定される。例えば、マルチ発光モードに設定されており、且つ、第1画像と第2画像とを自動的に切り替えて表示する自動表示切替に設定されている場合には、図7に示すように、第1照明光と第2照明光との自動発光切り替えに伴って、表示画像として、第1画像と第2画像とが切り替えてディスプレイ18に表示される。第1画像と第2画像の切替表示によって、第1照明光と第2照明光の違いによる色調及びコントラストの差分効果で、第1構造など特定の対象(表層血管、病変など)を認識しやすくなる。
また、マルチ発光モードに設定されており、且つ、解析結果付き表示用画像を表示する解析結果表示に設定されている場合には、図8に示すように、第1照明光の照明から第1画像(表示用画像)を生成し、第1照明光の後に発光される第2照明光の照明により得られる第2画像に対し、解析処理を施す。そして、解析処理によって得られる解析結果を表示させる解析結果付き表示用画像を、表示画像として、ディスプレイ18に表示する。
以下、CMOS型の撮像センサ44について、説明する。撮像センサ44は、図9に示すように、行方向と列方向に配列された複数の画素Pxを有している。複数の画素Pxには、B画素、G画素、及びR画素が含まれる。CMOS型の撮像センサ44は、撮像用プロセッサ45(図2参照)によって撮像制御される。具体的には、撮像用プロセッサ45は、画素Pxにて電荷の蓄積を行った後に、行方向のライン単位LUで、画素Pxから列方向の順で信号読み出しを行う。この信号読み出し方式は、ローリングシャッタと呼ばれている。撮像センサ44が、列方向に対して、第1~第Nラインの画素Pxを有する場合には、図10に示すように、第1ラインの画素群、第2ラインの画素群、・・・、第Nラインの画素群の時間順で、信号読み出しが行われる(Nは2以上の自然数)。図10の読み出し完了線FLは、各ラインの画素群の読み出しが完了したタイミングを表している。読み出し完了線FL上のT1、T2、TNは、第1、第2、第Nラインの画素群の読み出しが完了したタイミングを表しており、T1<T2<TNとなっている。なお、図10では、電荷の蓄積を行う蓄積期間を「CP」として、信号読み出しを行う読出期間を「RP」として表している。読出期間は、T1~TNまでの間の合計で表される。
また、CMOS型の撮像センサ44を用いる場合の発光制御について、以下説明する。光源用プロセッサ21は、第1発光モードと第2発光モードを自動的に切り替える場合において、撮像センサ44に対する設定露光時間が第1露光時間に設定されている場合には、図11に示すように、第1発光モードにおいては、電荷の蓄積を行う第1蓄積期間CP1にて、第1蓄積期間用光量比LCP1で発光し、信号読み出しを行う第1読出期間RP1にて、第1蓄積期間用光量比LCP1から第1読出期間用光量比LRP1に切り替えて発光する。また、第2発光モードにおいては、電荷の蓄積を行う第2蓄積期間CP2にて、第2蓄積期間用光量比LCP2で発光し、信号読み出しを行う第2読出期間RP2にて、第2蓄積期間用光量比LCP2から第2読出期間用光量比LRP2に切り替えて発光する。なお、設定露光時間は、シャッタースピードに相当し、本実施形態では、1フレーム単位において、撮像センサ44に対して同一種類の照明光を露光する時間をいう。設定露光時間は、ユーザーなどによって、ユーザーインターフェース19を用いて予め設定される。
上記のように、光源用プロセッサ21によって、蓄積期間だけでなく読出期間にも発光制御を行って、第1蓄積期間用光量比LCP1と第1読出期間用光量比LRP1とを加算することで、第1照明光に必要な第1光量比X1を得ることができる。同様にして、第2蓄積期間用光量比LCP2と第2読出期間用光量比LRP2とを加算することで、第2照明光に必要な第2光量比X2を得ることができる。このように、蓄積期間と読出期間の両方で発光を行うことで、蓄積期間だけ発光を行う場合と比較して、より多くの光量を得ることができて、観察対象の明るさを向上させることができる。
ここで、第1読出期間用光量比と第2読出期間用光量比とはそれぞれ同じ読出期間用共通光量比を用いることが好ましい。同一の読出期間用共通光量比を用いることで、光量を向上させるとともに、第1画像と第2画像を切り替えて表示する場合などに色ムラを軽減することができる。また、読出期間用共通光量比における各波長帯域の比率は、第1光量比又は第2光量比の各波長帯域の比率のうち最も小さい最小光量比を用いることが好ましい。
例えば、第1光量比と第2光量比において紫色光Vの比率を比較すると、小さいほうの比率は「0.4」である(図4参照)。また、第1光量比と第2光量比において青色光Bの比率を比較すると、小さいほうの比率は「0.3」である。また、第1光量比と第2光量比において緑色光Gの比率を比較すると、小さいほうの比率は「0.3」である。また、第1光量比と第2光量比において赤色光Rの比率を比較すると、小さいほうの比率は「0.3」である。したがって、読出期間用共通光量比は、「0.4:0.3:0.3:0.3」となる。なお、第1読出期間用光量比と第3読出期間用光量比についても、同一の共通光量比を用いることが好ましく、第2読出期間用光量比と第3読出期間用光量比についても、同一の共通光量比を用いることが好ましい。
以上のような読出期間用共通光量比を用いる場合、図12に示すように、第1光量比を得るためには、第1蓄積期間用光量比を「0:0.3:0.3:0.3」とすることが好ましい。これにより、第1蓄積期間用光量比の紫色光Vの比率「0」と読出期間用共通光量比の紫色光Vの比率「0.4」を加算することで、第1光量比における紫色光Vの比率「0.4」を得ることができる。また、第1蓄積期間用光量比の青色光Bの比率「0.3」と読出期間用共通光量比の青色光Bの比率「0.3」を加算することで、第1光量比における青色光Bの比率「0.6」を得ることができる。また、第1蓄積期間用光量比の緑色光Gの比率「0.3」と読出期間用共通光量比の緑色光Gの比率「0.3」を加算することで、第1光量比における緑色光Gの比率「0.6」を得ることができる。また、第1蓄積期間用光量比の赤色光Rの比率「0.3」と読出期間用共通光量比の赤色光Rの比率「0.2」を加算することで、第1光量比における赤色光Rの比率「0.5」を得ることができる。
また、第2光量比を得るためには、第2蓄積期間用光量比を「0.6:0:0:0」とすることが好ましい。これにより、第2蓄積期間用光量比の紫色光Vの比率「0.6」と読出期間用共通光量比の紫色光Vの比率「0.4」を加算することで、第2光量比における紫色光Vの比率「1」を得ることができる。また、第2蓄積期間用光量比の青色光Bの比率「0」と読出期間用共通光量比の青色光Bの比率「0.3」を加算することで、第2光量比における青色光Bの比率「0.3」を得ることができる。また、第2蓄積期間用光量比の緑色光Gの比率「0」と読出期間用共通光量比の緑色光Gの比率「0.3」を加算することで、第2光量比における緑色光Gの比率「0.3」を得ることができる。また、第2蓄積期間用光量比の赤色光Rの比率「0」と読出期間用共通光量比の赤色光Rの比率「0.3」を加算することで、第2光量比における赤色光Rの比率「0.3」を得ることができる。
なお、第2光量比における紫色光Vの比率は、第1光量比における紫色光Vの比率よりも大きいことが好ましい。これにより、第1光量比を有する第1照明光の場合よりも、第1構造である粘膜表層の血管情報を強調することができる。また、読出期間が蓄積期間よりも長い場合であって、第1発光モード又は第2発光モードのうち紫色光Vの比率が低い発光モードに関しては、読出期間における紫色光Vの比率を蓄積期間の紫色光Vの比率よりも大きくすることが好ましい。本実施形態では、第1発光モード又は第2発光モードのうち紫色光Vの比率が低い発光モードは、第1発光モードであるので、第1読出期間用光量比における紫色光Vの比率(図12では「0.4」)は、第1蓄積期間用光量比における紫色光Vの比率(図12では「0」)よりも大きくしている。
一方、光源用プロセッサ21は、第1発光モードと第2発光モードを切り替える場合であって、撮像センサ44に対する設定露光時間が、第1露光時間よりも短く、且つ、第1蓄積期間又は第2蓄積期間よりも短い第2露光時間に設定されている場合には、図13に示すように、第1発光モードにおいては、第1蓄積期間CP1にて、第1光量比X1で発光し、第1読出期間RP1にて、第1光量比X1から減光状態BPに切り替え、第2発光モードにおいては、第2蓄積期間CP1にて、第2光量比X2で発光し、第2読出期間RP2にて、第2光量比X2から減光状態BPに切り替える。設定露光時間が、第2露光時間のように、蓄積期間と読出期間の和よりも短い場合には、読出期間ではなく、より多くの光量を得ることができる蓄積期間に発光するようにする。一方、読出期間は、第1光量比又は第2光量比よりも光量を小さくした、好ましくはほぼ消灯状態となる減光状態BPとすることで、第1画像と第2画像を切り替えて表示する場合などに色ムラを目立たなくすることができる。
また、光源用プロセッサ21は、第1発光モードと第3発光モードと切り替える場合において、撮像センサ44に対する設定露光時間が第1露光時間に設定されている場合には、図14に示すように、第1発光モードにおいては、第1蓄積期間CP1にて、第1蓄積期間用光量比LCP1で発光し、第1読出期間RP1にて、第1蓄積期間用光量比LCP1から第1読出期間用光量比LRP1に切り替えて発光する。また、第3発光モードにおいては、電荷の蓄積を行う第3蓄積期間CP3にて、第3蓄積期間用光量比LCP3で発光し、信号読み出しを行う第3読出期間RP3にて、第3蓄積期間用光量比LCP3から第3読出期間用光量比LRP3に切り替えて発光する。
上記のように、光源用プロセッサ21によって、蓄積期間だけでなく読出期間にも発光制御を行って、第1蓄積期間用光量比LCP2と第1読出期間用光量比LRP1とを加算することで、第1照明光に必要な第1光量比X1を得ることができる。同様にして、第3蓄積期間用光量比LCP3と第3読出期間用光量比LRP3とを加算することで、第3照明光に必要な第3光量比X3を得ることができる。このように、蓄積期間と読出期間の両方で発光を行うことで、蓄積期間だけ発光を行う場合と比較して、より多くの光量を得ることができて、観察対象の明るさを向上させることができる。
ここで、第1読出期間用光量比と第3読出期間用光量比については、上記と同様に、同一の読出期間用共通光量比を用いることが好ましい。第2読出期間用光量比と第3読出期間用光量比における同一の読出期間用共通光量比は、上記と同様の算出方法をもちいること、「0.4:0.6:0.3:0.3」となる。このような読出期間用共通光量比を用いる場合、図15に示すように、第1光量比を得るためには、第1蓄積期間用光量比を「0:0:0.3:0.2」とすることが好ましい。これにより、第1蓄積期間用光量比の紫色光Vの比率「0」と読出期間用共通光量比の紫色光Vの比率「0.4」を加算することで、第1光量比における紫色光Vの比率「0.4」を得ることができる。また、第1蓄積期間用光量比の青色光Bの比率「0」と読出期間用共通光量比の青色光Bの比率「0.6」を加算することで、第1光量比における青色光Bの比率「0.6」を得ることができる。また、第1蓄積期間用光量比の緑色光Gの比率「0.3」と読出期間用共通光量比の緑色光Gの比率「0.3」を加算することで、第1光量比における緑色光Gの比率「0.6」を得ることができる。また、第1蓄積期間用光量比の赤色光Rの比率「0.2」と読出期間用共通光量比の赤色光Rの比率「0.3」を加算することで、第1光量比における赤色光Rの比率「0.5」を得ることができる。
また、第3光量比を得るためには、第3蓄積期間用光量比を「0.6:0:0:0」とすることが好ましい。これにより、第3蓄積期間用光量比の紫色光Vの比率「0.6」と読出期間用共通光量比の紫色光Vの比率「0.4」を加算することで、第3光量比における紫色光Vの比率「1」を得ることができる。また、第3蓄積期間用光量比の青色光Bの比率「0」と読出期間用共通光量比の青色光Bの比率「0.6」を加算することで、第3光量比における青色光Bの比率「0.6」を得ることができる。また、第3蓄積期間用光量比の緑色光Gの比率「0」と読出期間用共通光量比の緑色光Gの比率「0.3」を加算することで、第3光量比における緑色光Gの比率「0.3」を得ることができる。また、第3蓄積期間用光量比の赤色光Rの比率「0」と読出期間用共通光量比の赤色光Rの比率「0.3」を加算することで、第3光量比における赤色光Rの比率「0.3」を得ることができる。
また、光源用プロセッサ21は、第2発光モードと第3発光モードと切り替える場合において、撮像センサ44に対する設定露光時間が第1露光時間に設定されている場合には、図16に示すように、第2発光モードにおいては、第2蓄積期間CP1にて、第2蓄積期間用光量比LCP2で発光し、第2読出期間RP2にて、第2蓄積期間用光量比LCP2から第2読出期間用光量比LRP2に切り替えて発光する。また、第3発光モードにおいては、第3蓄積期間CP3にて、第3蓄積期間用光量比LCP3で発光し、第3読出期間RP3にて、第3蓄積期間用光量比LCP3から第3読出期間用光量比LRP3に切り替えて発光する。
上記のように、光源用プロセッサ21によって、蓄積期間だけでなく読出期間にも発光制御を行って、第2蓄積期間用光量比LCP2と第2読出期間用光量比LRP2とを加算することで、第2照明光に必要な第2光量比X2を得ることができる。同様にして、第3蓄積期間用光量比LCP3と第3読出期間用光量比LRP3とを加算することで、第3照明光に必要な第3光量比X3を得ることができる。このように、蓄積期間と読出期間の両方で発光を行うことで、蓄積期間だけ発光を行う場合と比較して、より多くの光量を得ることができて、観察対象の明るさを向上させることができる。
ここで、第2読出期間用光量比と第3読出期間用光量比については、上記と同様に、同一の読出期間用共通光量比を用いることが好ましい。第2読出期間用光量比と第3読出期間用光量比における同一の読出期間用共通光量比は、上記と同様の算出方法を用いると、「0.67:0.3:0.3:0.3」となる。このような読出期間用共通光量比を用いる場合、図17に示すように、第2光量比を得るためには、第2蓄積期間用光量比を「0.33:0:0:0」とすることが好ましい。これにより、第2蓄積期間用光量比の紫色光Vの比率「0.33」と読出期間用共通光量比の紫色光Vの比率「0.67」を加算することで、第2光量比における紫色光Vの比率「1」を得ることができる。また、第2蓄積期間用光量比の青色光Bの比率「0」と読出期間用共通光量比の青色光Bの比率「0.3」を加算することで、第2光量比における青色光Bの比率「0.3」を得ることができる。また、第2蓄積期間用光量比の緑色光Gの比率「0」と読出期間用共通光量比の緑色光Gの比率「0.3」を加算することで、第1光量比における緑色光Gの比率「0.3」を得ることができる。また、第2蓄積期間用光量比の赤色光Rの比率「0」と読出期間用共通光量比の赤色光Rの比率「0.3」を加算することで、第2光量比における赤色光Rの比率「0.3」を得ることができる。
また、第3光量比を得るためには、第3蓄積期間用光量比を「0.33:0.3:0:0」とすることが好ましい。これにより、第3蓄積期間用光量比の紫色光Vの比率「0.33」と読出期間用共通光量比の紫色光Vの比率「0.67」を加算することで、第3光量比における紫色光Vの比率「1」を得ることができる。また、第3蓄積期間用光量比の青色光Bの比率「0」と読出期間用共通光量比の青色光Bの比率「0.6」を加算することで、第3光量比における青色光Bの比率「0.6」を得ることができる。また、第3蓄積期間用光量比の緑色光Gの比率「0」と読出期間用共通光量比の緑色光Gの比率「0.3」を加算することで、第3光量比における緑色光Gの比率「0.3」を得ることができる。また、第3蓄積期間用光量比の赤色光Rの比率「0」と読出期間用共通光量比の赤色光Rの比率「0.3」を加算することで、第3光量比における赤色光Rの比率「0.3」を得ることができる。
次に、マルチ発光モードにおける一連の流れについて、図18のフローチャートにそって説明する。モード切替スイッチ12fを操作して、マルチ発光モードに切り替える。マルチ発光モードに切り替えられると、第1発光モードと第2発光モードとが自動的に切り替えて行われる。また、マルチ発光モードでは、設定露光時間が第1露光時間であるかどうかが判定される。設定露光時間が第1露光時間である場合には、第1発光モードでは、第1蓄積期間CP1において第1蓄積期間用光量比LCP1で発光が行われ、第1読出期間RP1において、第1読出期間用光量比LRP1で発光が行われる。以上の第1蓄積期間用光量比LCP1と第1読出期間用光量比LRP1とを加算して、第1光量比X1が得られる。また、第2発光モードでは、第2蓄積期間CP2において第2蓄積期間用光量比LCP2で発光が行われ、第2読出期間RP2において、第2読出期間用光量比LRP2で発光が行われる。以上の第2蓄積期間用光量比LCP2と第2読出期間用光量比LRP2とを加算して、第2光量比X2が得られる。
一方、設定露光時間が第2露光時間である場合には、第1発光モードでは、第1蓄積期間CP1において第1光量比X1で発光が行われ、第1読出期間RP1においては、減光状態BPとする。また、第2発光モードでは、第2蓄積期間CP2において第2光量比X2で発光が行われ、第2読出期間RP2においては、減光状態BPとする。
[実施例]
実施例では、第1光量比(V:B:G:R)を「0.6:1:1:1」とする第1照明光を発光する第1発光モードと、第2光量比(V:B:G:R)を「1:0.3:0.3:0.3」とする第2照明光を発光する第2発光モードを自動的に切り替えて発光した。また、フレームレートを1/60秒、撮像センサ44における読出期間を1/90秒、蓄積期間を1/180秒とし、読出期間と蓄積期間の両方で発光を行った。第1発光モードと第2発光モードにおいては、読出期間において共通の光量比として、各波長帯域の光で小さいほうの比率「0.6:0.3:0.3:0.3」を用いた。
実施例では、第1光量比(V:B:G:R)を「0.6:1:1:1」とする第1照明光を発光する第1発光モードと、第2光量比(V:B:G:R)を「1:0.3:0.3:0.3」とする第2照明光を発光する第2発光モードを自動的に切り替えて発光した。また、フレームレートを1/60秒、撮像センサ44における読出期間を1/90秒、蓄積期間を1/180秒とし、読出期間と蓄積期間の両方で発光を行った。第1発光モードと第2発光モードにおいては、読出期間において共通の光量比として、各波長帯域の光で小さいほうの比率「0.6:0.3:0.3:0.3」を用いた。
そして、蓄積期間が1/60秒である場合における第1発光モードと第2発光モードの光量が最大となる光量比に対して、蓄積期間を1/180秒とした場合における第1発光モードと第2発光モードの光量が最大となる光量比がどの程度になるかを示す蓄積期間比較用の最大光量比算を出した。
[比較例]
比較例では、蓄積期間のみ発光を行った(特許文献1参照)。それ以外は比較例と同様の条件で実施した。
比較例では、蓄積期間のみ発光を行った(特許文献1参照)。それ以外は比較例と同様の条件で実施した。
[結果]
実施例では、蓄積期間比較用の最大光量比(V:B:G:R)は、
「0.6×2/3+1/3:0.3×2/3+1/3:0.3×2/3+1/3:0.3×2/3+1/3」となった。
実施例では、蓄積期間比較用の最大光量比(V:B:G:R)は、
「0.6×2/3+1/3:0.3×2/3+1/3:0.3×2/3+1/3:0.3×2/3+1/3」となった。
一方比較例では、蓄積期間比較用の最大光量比(V:B:G:R)は、
「1/3:1/3:1/3:1/3」となった。
「1/3:1/3:1/3:1/3」となった。
以上から、実施例では、紫色光Vの比率に関しては、「2.2/3」の光量が得られるのに対して、比較例では、紫色光Vの比率に関しては、「1/3」の光量しか得ることができなかった。その他の青色光B、緑色光G、赤色光Rの比率に関しても、比較例より実施例のほうが大きい光量を得ることができた。
上記実施形態において、光源用プロセッサ21、撮像用プロセッサ45、画像取得部50、ノイズ低減部54、画像処理切替部56、画像処理部58、表示制御部60、第1画像生成部62、第2画像生成部64、第3画像生成部66、解析処理部67といった各種の処理を実行する処理部(processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ(processor)である。各種のプロセッサには、ソフトウエア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサであるCPU(Central Processing Unit)、FPGA (Field Programmable Gate Array) などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、各種の処理を実行するために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
1つの処理部は、これら各種のプロセッサのうちの1つで構成されてもよいし、同種または異種の2つ以上のプロセッサの組み合せ(例えば、複数のFPGAや、CPUとFPGAの組み合わせ)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。複数の処理部を1つのプロセッサで構成する例としては、第1に、クライアントやサーバなどのコンピュータに代表されるように、1つ以上のCPUとソフトウエアの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)などに代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを1つ以上用いて構成される。
さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた形態の電気回路(circuitry)である。また、記憶部のハードウェア的な構造はHDD(hard disc drive)やSSD(solid state drive)等の記憶装置である。
10 内視鏡システム
12 内視鏡
12a 挿入部
12b 操作部
12c 湾曲部
12d 先端部
12e アングルノブ
12f モード切替スイッチ
12g 静止画取得指示部
12h ズーム操作部
14 光源装置
16 プロセッサ装置
18 モニタ
19 ユーザーインターフェース
20 光源部
20a V-LED
20b B-LED
20c G-LED
20d R-LED
21 光源用プロセッサ
23 光路結合部
25 ライトガイド
30a 照明光学系
30b 撮像光学系
32 照明レンズ
42 対物レンズ
43 ズームレンズ
44 撮像センサ
45 撮像用プロセッサ
46 CDS/AGC回路
48 A/Dコンバータ
50 画像取得部
52 DSP
54 ノイズ低減部
56 画像処理切替部
58 画像処理部
60 表示制御部
62 第1画像生成部
64 第2画像生成部
66 第3画像生成部
67 解析処理部
68 中央制御部
Px 画素
LU ライン単位
CP1 第1蓄積期間
CP2 第2蓄積期間
RP1 第1読出期間
RP2 第2読出期間
FL 読み出し完了線
LCP1 第1蓄積期間用光量比
LCP2 第2蓄積期間用光量比
LRP1 第1読出期間用光量比
LRP2 第2読出期間用光量比
X1 第1光量比
X2 第2光量比
BP 減光状態
12 内視鏡
12a 挿入部
12b 操作部
12c 湾曲部
12d 先端部
12e アングルノブ
12f モード切替スイッチ
12g 静止画取得指示部
12h ズーム操作部
14 光源装置
16 プロセッサ装置
18 モニタ
19 ユーザーインターフェース
20 光源部
20a V-LED
20b B-LED
20c G-LED
20d R-LED
21 光源用プロセッサ
23 光路結合部
25 ライトガイド
30a 照明光学系
30b 撮像光学系
32 照明レンズ
42 対物レンズ
43 ズームレンズ
44 撮像センサ
45 撮像用プロセッサ
46 CDS/AGC回路
48 A/Dコンバータ
50 画像取得部
52 DSP
54 ノイズ低減部
56 画像処理切替部
58 画像処理部
60 表示制御部
62 第1画像生成部
64 第2画像生成部
66 第3画像生成部
67 解析処理部
68 中央制御部
Px 画素
LU ライン単位
CP1 第1蓄積期間
CP2 第2蓄積期間
RP1 第1読出期間
RP2 第2読出期間
FL 読み出し完了線
LCP1 第1蓄積期間用光量比
LCP2 第2蓄積期間用光量比
LRP1 第1読出期間用光量比
LRP2 第2読出期間用光量比
X1 第1光量比
X2 第2光量比
BP 減光状態
Claims (12)
- 互いに波長帯域が異なる複数の波長帯域の光を発する光源部と、
前記光源部を制御して、複数の波長帯域の光を組み合わせて特定の光量比で照明光を発光させる光源用プロセッサであって、前記特定の光量比として、発光モード毎に光量比を切り替える光源用プロセッサと、
複数の画素が行方向と列方向に配列された撮像センサと、
前記画素にて電荷の蓄積を行い、前記行方向のライン単位で前記画素から前記列方向の順で信号読み出しを行う撮像用プロセッサとを備え、
前記光源用プロセッサは、
前記撮像センサに対する設定露光時間が第1露光時間に設定されている場合には、
第1光量比を有する第1照明光を発する第1発光モードにおいては、前記電荷の蓄積を行う第1蓄積期間にて、第1蓄積期間用光量比で発光し、前記信号読み出しを行う第1読出期間にて、前記第1蓄積期間用光量比から第1読出期間用光量比に切り替えて発光し、
第2光量比を有する第2照明光を発する第2発光モードにおいては、前記電荷の蓄積を行う第2蓄積期間にて、第2蓄積期間用光量比で発光し、前記信号読み出しを行う第2読出期間にて、前記第2蓄積期間用光量比から第2読出期間用光量比に切り替えて発光することにより、
前記第1読出期間用光量比と前記第1蓄積期間用光量比とを加算して第1光量比とし、前記第2読出期間用光量比と前記第2蓄積期間用光量比とを加算して第2光量比とする内視鏡システム。 - 前記第1読出期間用光量比と前記第2読出期間用光量比は、それぞれ同じ読出期間用共通光量比を用いる請求項1記載の内視鏡システム。
- 前記読出期間用共通光量比における各波長帯域の比率は、前記第1光量比又は前記第2光量比の各波長帯域の比率のうち小さい比率を用いる請求項2記載の内視鏡システム。
- 前記第1照明光及び前記第2照明光が、前記波長帯域が紫色帯域である紫色光を少なくとも含む場合において、前記第2光量比における前記紫色光の比率は、前記第1光量比における前記紫色光の比率よりも大きい請求項1ないし3いずれか1項記載の内視鏡システム。
- 前記第1照明光及び前記第2照明光が、前記波長帯域が紫色帯域である紫色光を少なくとも含む場合であって、前記第1読出期間が前記第1蓄積期間よりも長い場合において、前記第1発光モード又は前記第2発光モードのうち紫色光の比率が低い発光モードに関しては、読出期間における紫色光の比率を蓄積期間の紫色光の比率よりも大きくする請求項1ないし3いずれか1項記載の内視鏡システム。
- 前記光源用プロセッサは、
前記撮像センサの露光時間が、前記第1露光時間よりも短く、且つ、前記第1蓄積期間又は前記第2蓄積期間よりも短い第2露光時間に設定されている場合には、
前記第1発光モードにおいては、前記第1蓄積期間にて、前記第1光量比で発光し、前記第1読出期間にて、前記第1光量比から減光状態に切り替え、
前記第2発光モードにおいては、前記第2蓄積期間にて、前記第2光量比で発光し、前記第2読出期間にて、前記第2光量比から前記減光状態に切り替える請求項1ないし5いずれか1項記載の内視鏡システム。 - 前記光源用プロセッサは、
前記撮像センサの露光時間が第1露光時間に設定されている場合には、
第3光量比を有する第3照明光を発光する第3発光モードにおいては、前記電荷の蓄積を行う第3蓄積期間にて、第3蓄積期間用光量比で発光し、前記信号読み出しを行う第3読出期間にて、前記第3蓄積期間用光量比から第3読出期間用光量比に切り替えて発光することにより、
前記第3読出期間用光量比と前記第3蓄積期間用光量比とを加算して前記第3光量比とする請求項1ないし6いずれか1項記載の内視鏡システム。 - 前記光源用プロセッサは、前記第1発光モードと前記第2発光モードとを自動的に切り替えること、前記第1発光モードと前記第3発光モードとを自動的に切り替えること、又は、前記第2発光モードと前記第3発光モードとを自動的に切り替えることの3つの自動発光切替のうちいずれかを行う請求項7記載の内視鏡システム。
- 前記自動発光切替の発光パターンは、各照明光を発光する照明期間のフレーム数が、それぞれの前記照明期間において同じである等フレーム数発光パターンと、前記照明期間のフレーム数が、それぞれの前記照明期間において異なっている異フレーム数発光パターンとのうちのいずれかである請求項8記載の内視鏡システム。
- 画像制御用プロセッサを有し、
前記画像制御用プロセッサは、
前記第1発光モードで得られる第1画像と、前記第2発光モードで得られる第2画像とを自動的に切り替えてディスプレイに表示する請求項1ないし9いずれか1項記載の内視鏡システム。 - 画像制御用プロセッサを有し、
前記画像制御用プロセッサは、前記第1発光モードで得られる第1画像に対して、前記第2発光モードで得られる第2画像に基づく解析処理から得られる解析結果を表示する解析結果付き表示用画像をディスプレイに表示する請求項1ないし9いずれか1項記載の内視鏡システム。 - 互いに波長帯域が異なる複数の波長帯域の光を発する光源部と、
前記光源部を制御して、複数の波長帯域の光を組み合わせて特定の光量比で照明光を発光させる光源用プロセッサであって、前記特定の光量比として、発光モード毎に光量比を切り替える光源用プロセッサと、
複数の画素が行方向と列方向に配列された撮像センサと、
前記画素にて電荷の蓄積を行い、前記行方向のライン単位で前記画素から前記列方向の順で信号読み出しを行う撮像用プロセッサとを備える内視鏡システムの作動方法において、
前記光源用プロセッサは、
前記撮像センサに対する設定露光時間が第1露光時間に設定されている場合には、
第1光量比を有する第1照明光を発する第1発光モードにおいては、前記電荷の蓄積を行う第1蓄積期間にて、第1蓄積期間用光量比で発光し、前記信号読み出しを行う第1読出期間にて、前記第1蓄積期間用光量比から第1読出期間用光量比に切り替えて発光し、
第2光量比を有する第2照明光を発する第2発光モードにおいては、前記電荷の蓄積を行う第2蓄積期間にて、第2蓄積期間用光量比で発光し、前記信号読み出しを行う第2読出期間にて、前記第2蓄積期間用光量比から第2読出期間用光量比に切り替えて発光することにより、
前記第1読出期間用光量比と前記第1蓄積期間用光量比とを加算して第1光量比とし、前記第2読出期間用光量比と前記第2蓄積期間用光量比とを加算して第2光量比とする内視鏡システムの作動方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020084490 | 2020-05-13 | ||
JP2020084490 | 2020-05-13 | ||
PCT/JP2021/008525 WO2021229900A1 (ja) | 2020-05-13 | 2021-03-04 | 内視鏡システム及びその作動方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2021229900A1 JPWO2021229900A1 (ja) | 2021-11-18 |
JP7390482B2 true JP7390482B2 (ja) | 2023-12-01 |
Family
ID=78525680
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022522531A Active JP7390482B2 (ja) | 2020-05-13 | 2021-03-04 | 内視鏡システム及びその作動方法 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP7390482B2 (ja) |
WO (1) | WO2021229900A1 (ja) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013161900A1 (ja) | 2012-04-26 | 2013-10-31 | オリンパスメディカルシステムズ株式会社 | 撮像システム |
WO2016056476A1 (ja) | 2014-10-10 | 2016-04-14 | オリンパス株式会社 | 撮像システム |
US20190191974A1 (en) | 2017-12-27 | 2019-06-27 | Ethicon Llc | Fluorescence imaging in a light deficient environment |
-
2021
- 2021-03-04 WO PCT/JP2021/008525 patent/WO2021229900A1/ja active Application Filing
- 2021-03-04 JP JP2022522531A patent/JP7390482B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013161900A1 (ja) | 2012-04-26 | 2013-10-31 | オリンパスメディカルシステムズ株式会社 | 撮像システム |
WO2016056476A1 (ja) | 2014-10-10 | 2016-04-14 | オリンパス株式会社 | 撮像システム |
US20190191974A1 (en) | 2017-12-27 | 2019-06-27 | Ethicon Llc | Fluorescence imaging in a light deficient environment |
Also Published As
Publication number | Publication date |
---|---|
WO2021229900A1 (ja) | 2021-11-18 |
JPWO2021229900A1 (ja) | 2021-11-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2019093355A1 (ja) | 内視鏡システム及びその作動方法 | |
US20200237201A1 (en) | Endoscope system | |
US20200260933A1 (en) | Endoscope system and method of operating the same | |
JP6285370B2 (ja) | 内視鏡用のプロセッサ装置、内視鏡用のプロセッサ装置の作動方法、内視鏡用の制御プログラム、及び内視鏡システム | |
JP6891294B2 (ja) | 内視鏡システム及びその作動方法 | |
US11969152B2 (en) | Medical image processing system | |
CN111712178A (zh) | 内窥镜***及其工作方法 | |
JP7390482B2 (ja) | 内視鏡システム及びその作動方法 | |
US20220225866A1 (en) | Endoscope system and method of operating the same | |
JP7217351B2 (ja) | 画像処理装置、内視鏡システム、及び画像処理装置の作動方法 | |
JP7411515B2 (ja) | 内視鏡システム及びその作動方法 | |
JP7386266B2 (ja) | 内視鏡システム及びその作動方法 | |
JP7337190B2 (ja) | 内視鏡システム及びその作動方法 | |
JP7390465B2 (ja) | 内視鏡システム、及び内視鏡システムの作動方法 | |
US12004723B2 (en) | Endoscope system for controlling an amount of illumination light | |
JP7273988B2 (ja) | 内視鏡システム | |
JP7362778B2 (ja) | 内視鏡システム及びその作動方法 | |
WO2021182048A1 (ja) | 内視鏡システム、及び内視鏡システムの作動方法 | |
US20230132998A1 (en) | Endoscope system and operation method therefor | |
WO2021250952A1 (ja) | 内視鏡システム及びその作動方法 | |
JP2023018543A (ja) | 内視鏡システム及びその作動方法 | |
CN115956870A (zh) | 内窥镜***及其工作方法 | |
CN112472011A (zh) | 内窥镜***及其工作方法 | |
JP2020178738A (ja) | プロセッサ装置及び内視鏡システム並びにキャリブレーション方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221027 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231114 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231120 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7390482 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |