JP6970825B2 - 撮像システム - Google Patents

Description

本発明は、撮像システムに関する。

従来、被検体の内部の被写体を撮像する内視鏡、及び、内視鏡により撮像された被写体の観察画像を生成するプロセッサ等を具備する内視鏡システムが、医療分野及び工業分野等において広く用いられている。

このような内視鏡システムにおける内視鏡としては、固体撮像素子として、例えばＣＭＯＳ撮像素子を採用し、このＣＭＯＳ撮像素子から出力される撮像信号（映像データ）を後段の画像処理装置に対して伝送する内視鏡が広く知られている。

上述したＣＭＯＳ撮像素子等の撮像素子は、一般に、画像処理装置から内視鏡の挿入部内およびユニバーサルコード内に配設されたケーブルを介して、所定の電源電圧の供給および制御信号を受けて駆動されるようになっている。また、撮像素子から出力される撮像信号（映像データ）もこのケーブルを経由して挿入部基端部に配設されたコネクタ部、さらには画像処理装置に向けて転送するようになっている。

ところで、このような内視鏡システムに搭載されるＣＭＯＳ撮像素子は、内視鏡の挿入部の先端に配置させることになるため、小型のＣＭＯＳ撮像素子が用いられる。小型のＣＭＯＳ撮像素子はライン数が少ないため、電子シャッタを搭載しても十分な分解能の露光制御を行うことができない。

そのため、従来の内視鏡システムは、光源からの照明光の明るさを制御することで、小型なＣＭＯＳ撮像素子を搭載した内視鏡の露光制御を行っている。また、日本国特開２０１１−２０６３３６号公報には、グローバルリセット信号及び照明期間（露光時間）を制御することで全画素行の露光期間を一致させる内視鏡システムが開示されている。

ところで、従来の内視鏡システムでは、ＫＴＰレーザー等の可視光レーザー、あるいは、ＹＡＧレーザー等の非可視光レーザーを照射して治療を行うための治療用レーザー装置が併用されることがある。

しかしながら、従来の内視鏡システムは、治療用レーザー装置を使用している場合、照明光の明るさ、あるいは、照明光の露光時間等、自照明を制御することはできるが、治療用レーザー装置からのレーザー光の光量、あるいは、レーザー光の照射時間等を制御することができない。

そのため、従来の内視鏡システムは、治療用レーザー装置を使用している場合、ＣＭＯＳ撮像素子が電荷飽和してしまい、治療用レーザー装置と併用することができないという問題があった。

本発明は、上記事情に鑑みてなされたもので、ＣＭＯＳ撮像素子の電荷飽和を抑制し、自照明ではない治療用レーザーを照射しても、電荷飽和しない画像を得ることができる撮像システムを提供することを目的とする。

本発明の一態様の撮像システムは、被写体に照明光を照射する照明部と、前記被写体を撮像する撮像装置と、前記撮像装置と接続可能な情報処理装置と、を備える撮像システムであって、前記撮像装置は、二次元マトリクス状に配置され、外部から光を受光して電荷として蓄積し、蓄積した前記電荷を画像信号として出力する複数の有効画素を有する有効画素領域と、前記有効画素が蓄積した前記電荷をリセットするためのグローバルリセット信号を出力するグローバルリセット回路と、前記有効画素領域を複数の分割領域に分割し、前記複数の分割領域のそれぞれに含まれる前記有効画素が蓄積した前記電荷の読み出しを、任意のタイミングで一時停止および再開する読み出しタイミング生成回路と、を有し、前記情報処理装置は、前記撮像装置から読み出された画像信号を受信し一時的にメモリに格納し、前記複数の分割領域から読み出された前記画像信号を結合して出力する画像結合部と、前記画像結合部から出力された前記画像信号に基づいて前記被写体の明るさを検出し、明るさ検出信号を出力する明るさ検出部と、前記明るさ検出部から出力された前記明るさ検出信号に基づいて、前記複数の分割領域の分割数と、前記複数の分割領域のそれぞれに含まれる前記有効画素が蓄積した前記電荷の読み出しタイミングと、前記グローバルリセット信号の出力タイミングと、を決定する分割数決定部と、を備える。

本発明の一実施形態に係わる内視鏡システムの全体構成の一例を示す図である。 内視鏡システムの通常動作の一例を説明するためのタイミングチャートである。 内視鏡システムの分割読み出し動作の一例を説明するためのタイミングチャートである。

以下、図面を参照して本発明の実施形態を説明する。

図１は、本発明の一実施形態に係わる内視鏡システムの全体構成の一例を示す図である。

内視鏡システム１は、内視鏡２と、ビデオプロセッサ３と、治療用レーザー装置４と、レーザープローブ５と、モニタ６とを備えて構成されている。

内視鏡２は、被検体内に挿入するための挿入部２１と、挿入部２１の基端に設けられた操作部２２と、操作部２２から延出するユニバーサルコード２３と、ユニバーサルコード２３の基端に設けられたコネクタ２４とを有して構成されている。

挿入部２１は、先端側から先端部、湾曲部及び可撓管部を有して構成されている。挿入部２１の先端部には、照明光学系２５と、対物光学系２６と、ＣＭＯＳ撮像素子により構成されるＣＭＯＳ撮像装置２７とが設けられている。

照明光学系２５は、後述する光源３７から発生した照明光を挿入部２１の先端部の先端面から被検体内の被写体に照射する。また、対物光学系２６は、照明光により照明された被写体の光学像を結像する。

ＣＭＯＳ撮像装置２７は、外部から光を受光して電荷として蓄積し、蓄積した電荷を画像信号として出力する二次元マトリクス状に配置された複数の有効画素を有する有効画素領域２７ａと、有効画素領域２７ａの有効画素が蓄積した電荷をリセットするためグローバルリセット信号を出力するグローバルリセット回路２７ｂと、有効画素領域２７ａの有効画素の領域が分割された分割領域の電荷の読出しを任意のタイミングで一時停止および再開することができる読み出しタイミング生成回路２７ｃと、前記ＣＭＯＳ撮像装置２７の駆動タイミング信号（垂直同期信号ＶＤ）を生成するタイミングジェネレータ（ＴＧ）により構成されるタイミング生成回路２７ｄと、を備える。

情報処理装置としてのビデオプロセッサ３は、画像結合部３１と、明るさ検出部３２と、分割数決定部３３と、撮像制御部３４と、光源制御部３５と、画像処理部３６と、光源３７とを有して構成されている。画像結合部３１は、受信部３１ａ及びメモリ３１ｂを有している。なお、光源３７は、ビデオプロセッサ３とは別体の光源装置に設けられていてもよい。

治療用レーザー装置４は、治療用のレーザー光を出射するレーザー出射部４１を備える。また、治療用レーザー装置４には、レーザープローブ５及びフットスイッチ７が接続されている。

操作者がフットスイッチ７を必要に応じて踏む（操作）することで、操作信号が治療用レーザー装置４に入力される。治療用レーザー装置４のレーザー出射部４１は、操作信号が入力されるとレーザー光を出射する。レーザー出射部４１から出射されたレーザー光は、レーザープローブ５の基端部に入射された後、レーザープローブ５の先端部から出射される。

このように、治療用レーザー装置４は、操作者により任意のタイミング、及び、任意の期間、レーザー光を出射することができる。なお、レーザープローブ５は、挿入部２１の図示しない鉗子チャンネルに挿通され、挿入部２１の先端部から突出した状態で使用される構成であってもよい。

有効画素領域２７ａから出力された画像信号は、受信部３１ａにより受信された後、メモリ３１ｂに一時的に記憶される。画像結合部３１は、メモリ３１ｂに記憶された１フレーム分の画像信号を結合し、明るさ検出部３２及び画像処理部３６に出力する。

明るさ検出部３２は、画像結合部３１から出力された画像信号に基づいて、被写体の明るさを検出し、明るさ検出信号を分割数決定部３３及び光源制御部３５に出力する。

分割数決定部３３は、明るさ検出部３２から出力された明るさ検出信号に基づいて、有効画素領域２７ａを複数の領域に分割した分割領域の領域数と、複数の分割領域のそれぞれに含まれる有効画素が蓄積した電荷の読み出しタイミングと、グローバルリセット回路２７ｂから出力されるグローバルリセット信号の出力タイミングとを決定し、撮像制御部３４に出力する。

送信回路としての撮像制御部３４は、分割数決定部３３により決定された有効画素領域２７ａの分割領域の領域数と、分割領域の有効画素が蓄積した電荷の読み出しタイミングと、グローバルリセット信号の出力タイミングとを制御するためのパラメータをＣＭＯＳ撮像装置２７に送信し、ＣＭＯＳ撮像装置２７を制御する。

光源制御部３５は、明るさ検出部３２から出力された明るさ検出信号に基づいて、照明部である光源３７の目標照度値を算出し、光源３７から出射される照明光の発光量、発光時間、及び、発光タイミングを制御する。

光源３７は、光源制御部３５の制御に基づいて、任意の期間、発光制御可能なランプにより構成されている。なお、光源３７は、ランプに限定されることなく、例えばＬＥＤ等であってもよい。

画像処理部３６は、明るさ検出部３２を介して入力された画像信号に所定の画像処理を施し、被写体の画像を生成してモニタ６に出力する。また、画像処理部３６は、明るさ検出部３２により検出された被写体の明るさが小さい場合、ＡＧＣ（オートゲインコントロール）制御、または、治療用レーザー装置４による電荷の蓄積分を除去する画像処理（画像補正）を行う。これにより、内視鏡２による観察画像がモニタ６に表示されることになる。

次に、このように構成された内視鏡システムの動作について説明する。

まず、内視鏡システム１の通常動作について説明する。この通常動作とは、有効画素領域２７ａの有効画素領域を分割しないで読み出す動作である。

図２は、内視鏡システムの通常動作の一例を説明するためのタイミングチャートである。

内視鏡システム１の通常動作は、例えば、治療用レーザー装置４による治療用のレーザーが出射されておらず、明るさ検出部３２により検出された被写体の明るさの検出値が所定の閾値未満の場合に実行される。

内視鏡システム１の通常動作は、有効画素領域２７ａのライン毎にタイミングをずらして露光と読出しを行う一般的なローリングシャッタ方式により画像を生成するものである。このとき、ライン毎の露光時間は、前回の読み出しから次回の読出しまでの期間となる。また、通常動作では、グローバルリセット回路２７ｂからグローバルリセット信号は入力されない。

画像結合部３１のメモリ３１ｂには、ライン毎に読み出された画像信号が順次書き込まれて結合される。その後、メモリ３１ｂに書き込まれた１フレーム分の画像信号が結合されて明るさ検出部３２及び画像処理部３６に出力される。

次に、分割読み出し動作について説明する。この分割読み出し動作とは、有効画素領域２７ａの有効画素領域を分割して読み出す動作である。

図３は、内視鏡システムの分割読み出し動作の一例を説明するためのタイミングチャートである。

内視鏡システム１の分割読み出し動作は、例えば、治療用レーザー装置４による治療用のレーザーが出射され、明るさ検出部３２により検出された被写体の明るさの検出値が所定の閾値以上の場合に実行される。

操作者がフットスイッチ７を踏むことで治療用レーザー装置４のレーザー出射部４１から治療用レーザーが出射される。治療用レーザーは、レーザープローブ５の先端から出射される。この場合、光源３７からの照明光とレーザー出射部４１からの治療用レーザー光とにより光量が増大し、有効画素領域２７ａにおいて電荷飽和が発生する虞がある。

そのため、分割数決定部３３は、明るさ検出部３２により検出された明るさ情報に基づいて、有効画素領域２７ａの撮像領域を読み出す分割数、読み出しタイミング、グローバルリセットのタイミングを決定する。

図３の例は、有効画素領域２７ａを５つの分割領域５１〜５５に分割したものを示している。例えば、有効画素領域２７ａのライン数が１００ラインの場合、分割領域５１〜５５は、それぞれ２０ライン有している。なお、図３では、有効画素領域２７ａを５つの分割領域５１〜５５に分割しているが、分割領域の分割数は、５つに限定されるものではなく、４つ以下あるいは６つ以上であってもよい。

例えば、分割数決定部３３は、明るさ検出部３２により検出された明るさ情報に基づいて、有効画素領域２７ａの分割領域の分割数を決定する際、明るさ検出部３２により検出された被写体の明るさが高くなるに従って分割領域の分割数を増やすように制御する。

そして、読み出しタイミング生成回路２７ｃの制御により、分割領域５１〜５５の有効画素に蓄積した電荷の読み出しを任意のタイミングで一時停止および再開する。具体的には、分割領域５１の１〜２０ラインが順次読み出されると、読み出し動作が停止される。そして、グローバルリセット回路２７ｂからグローバルリセット信号が入力され、有効画素領域２７ａに蓄積した電荷がリセットされる。

グローバルリセット信号が入力された後、所定時間の露光時間を設け、有効画素領域２７ａに電荷を蓄積する。すなわち、ライン毎の露光時間は、最後のグローバルリセット信号から画素読み出しまでの期間となる。その後、分割領域５１の次の分割領域５２の２１〜４０ラインの読み出しが再開される。

このとき、タイミング生成回路２７ｄはグローバルリセット信号によりリセットされないようにする。これにより、分割領域５２の１ライン目（有効画素領域２７ａ全体では２１ライン目）から読み出しが再開されることになる。その後、分割領域５３、分割領域５４及び分割領域５５の順で同様の分割読み出し動作が実行される。 画像結合部３１のメモリ３１ｂには、分割領域５１〜５５の順で間欠的に読み出された画像信号が順次書き込まれて結合される。その後、メモリ３１ｂに書き込まれた１フレーム分の画像信号が結合されて明るさ検出部３２及び画像処理部３６に出力される。

以上のように、内視鏡システム１は、分割された分割領域５１〜５５のラインが読み出される毎に、画素の読み出しの停止し、グローバルリセット信号を入力して有効画素領域２７ａに蓄積された電荷をリセットしている。その後、内視鏡システム１は、次の画素の読み出しまでの期間に露光を行い、読み出しを再開する。

この結果、内視鏡システム１は、治療用レーザー装置４から出射される治療用レーザー光による電荷の蓄積をキャンセルしながら露光制御を行うことができる。例えば、分割領域５２のラインの画素を読み出す場合、最後のグローバルリセット信号が入力されてから次の画素の読み出しまでの期間までの短い期間に照射された治療用レーザー光の電荷が蓄積される。このため、光源３７と治療用レーザー装置４とを併用していても、有効画素領域２７ａにおいて電荷飽和が発生することがなくなる。

よって、本実施形態の内視鏡システムによれば、ＣＭＯＳ撮像装置の電荷飽和を抑制し、自照明ではない治療用レーザーを照射しても、電荷飽和しない画像を得ることができる。

本発明は、上述した実施形態に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。

本出願は、２０１８年５月２９日に日本国に出願された特願２０１８−１０２３４６号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲に引用されるものとする。

Claims (8)

1. 被写体に照明光を照射する照明部と、前記被写体を撮像する撮像装置と、前記撮像装置と接続可能な情報処理装置と、を備える撮像システムであって、
   前記撮像装置は、
   二次元マトリクス状に配置され、外部から光を受光して電荷として蓄積し、蓄積した前記電荷を画像信号として出力する複数の有効画素を有する有効画素領域と、前記有効画素が蓄積した前記電荷をリセットするためのグローバルリセット信号を出力するグローバルリセット回路と、前記有効画素領域を複数の分割領域に分割し、前記複数の分割領域のそれぞれに含まれる前記有効画素が蓄積した前記電荷の読み出しを、任意のタイミングで一時停止および再開する読み出しタイミング生成回路と、を有し、
   前記情報処理装置は、
   前記撮像装置から読み出された前記画像信号を受信し一時的にメモリに格納し、前記複数の分割領域から読み出された前記画像信号を結合して出力する画像結合部と、
   前記画像結合部から出力された前記画像信号に基づいて前記被写体の明るさを検出し、明るさ検出信号を出力する明るさ検出部と、
   前記明るさ検出部から出力された前記明るさ検出信号に基づいて、前記複数の分割領域の分割数と、前記複数の分割領域のそれぞれに含まれる前記有効画素が蓄積した前記電荷の読み出しタイミングと、前記グローバルリセット信号の出力タイミングと、を決定する分割数決定部と、を備えることを特徴とする撮像システム。
2. 前記読み出しタイミング生成回路は、前記複数の分割領域のうち、所定の分割領域の有効画素の前記電荷の読み出した後、前記電荷の読み出しを一時停止し、
   前記グローバルリセット回路は、前記一時停止した期間中に前記グローバルリセット信号を出力することで、前記複数の有効画素の蓄積電荷をリセットして所定の露光時間を再設定し、
   前記読み出しタイミング生成回路は、前記一時停止した前記所定の分割領域の次の分割領域から前記有効画素に蓄積された前記電荷の読み出しを再開することを特徴とする請求項１に記載の撮像システム。
3. 前記撮像装置は、前記撮像装置の駆動タイミング信号を生成するタイミング生成回路を更に備え、
   前記タイミング生成回路は、前記グローバルリセット信号によりリセットされないことを特徴とする請求項１に記載の撮像システム。
4. 前記情報処理装置は、前記明るさ検出部から出力された前記明るさ検出信号に基づいて、前記照明部の目標照度値を算出し、前記照明光の発光量、発光時間及び発光タイミングを制御する光源制御部を更に備えることを特徴とする請求項１に記載の撮像システム。
5. 前記情報処理装置は、前記分割領域のそれぞれに含まれる前記有効画素が蓄積した前記電荷の読み出しタイミングと、前記グローバルリセット信号の出力タイミングとを制御するパラメータを前記撮像装置に送信する送信回路を更に備えることを特徴とする請求項１に記載の撮像システム。
6. 前記情報処理装置は、前記明るさ検出部で検出された前記被写体の明るさが小さい場合、ゲイン制御、または、治療用レーザー装置による電荷の蓄積分を除去する画像処理を行う画像処理部を更に備えることを特徴とする請求項１に記載の撮像システム。
7. 前記照明部は、前記光源制御部の制御に基づいて、任意の期間、発光制御可能なランプであることを特徴とする請求項４に記載の撮像システム。
8. 前記画像処理部は、前記画像結合部により前記メモリに一時的に格納された後に結合された前記画像信号をモニタに出力することを特徴とする請求項６に記載の撮像システム。

Images