JP2004321414A - Light quantity controller of electronic endoscope - Google Patents

Light quantity controller of electronic endoscope Download PDF

Info

Publication number
JP2004321414A
JP2004321414A JP2003118890A JP2003118890A JP2004321414A JP 2004321414 A JP2004321414 A JP 2004321414A JP 2003118890 A JP2003118890 A JP 2003118890A JP 2003118890 A JP2003118890 A JP 2003118890A JP 2004321414 A JP2004321414 A JP 2004321414A
Authority
JP
Japan
Prior art keywords
unit
imaging
control
target value
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003118890A
Other languages
Japanese (ja)
Other versions
JP4231726B2 (en
Inventor
Kin Ryu
忻 劉
Tsutomu Hirai
力 平井
Yutaka Fujisawa
豊 藤澤
Kazumasa Takahashi
和正 高橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2003118890A priority Critical patent/JP4231726B2/en
Publication of JP2004321414A publication Critical patent/JP2004321414A/en
Application granted granted Critical
Publication of JP4231726B2 publication Critical patent/JP4231726B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Studio Devices (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Endoscopes (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a light quantity controller of an electronic endoscope capable of eliminating halation by performing electronic shutter control faster when the halation occurs and controlling a light quantity so as to prevent hunting near a halation threshold after the halation is eliminated. <P>SOLUTION: In the light quantity controller of the electronic endoscope, when the halation occurs, a halation discrimination circuit 47 supplies the halation control signals 106 of "High" to a loop filter 46 and controls switching so as to conduct H output terminals of first and second circuits 46A and 46B. Thus, since element shutter control signals 104 can be outputted to a CCD driver 16 as they are without passing them through the loop filter 46, the element shutter control is performed fast and the halation is eliminated quickly. Thereafter, by switching the first and second switch circuits 46A and 46B, the loop filter 46 is operated and the hunting near a target value is prevented. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

【0001】
【発明の属する技術分野】
本発明は、電子内視鏡システムに係り、詳しくはハレーション発生時により反応速度を速く電子シャッタ制御を実行させることでハレーションを解消でき、ハレーション解消後にはハレーション閾値近傍のハンチングを防ぐように光量制御することのできる電子内視鏡の光量制御装置に関する。
【0002】
【従来の技術】
一般に、電子内視鏡システムにおいては、光源装置からの光量を調節制御する光量制御装置が用いられている。
【0003】
通常、このような光量制御装置は、固体撮像素子(以下、Charge Coupled Device でCCDと称す)の電荷の蓄積時間を制御して光量制御する電子シャッタ制御と、電子内視鏡の光学系に配された絞りを調節することで光量制御する絞り制御とを行うことが可能に構成されたものもある。
【0004】
この種の電子内視鏡の光量調光制御装置においては、より鮮明な観察対象物のモニタ画像を得、手術の安全化を図るために、従来より数多くの提案がなされており、例えば従来の関連技術としては、特開2000ー193896号公報に記載の内視鏡の光量制御装置や、特開平1−277221号公報に記載のビデオカメラがある。
【0005】
前者の特開2000ー193896号公報に記載の内視鏡の光量制御装置は、主に絞り制御に関して提案されたものであり、具体的には内視鏡を介して光源からの光を被写体に照射する手段と、前記被写体に光を照射することにより得られる被写体像を撮像して画面に映し出す手段と、前記被写体像を撮像することにより得られる画像信号に基づいて、前記被写体像が写し出される前記画面の明るさを示す輝度値を求める輝度値算出手段と、前記輝度値と参照値との差に基づき、前記被写体に照射される光量を調整する光量制御手段とを備え、前記光量制御手段が、前記輝度値が所定値を越える場合、前記被写体に照射される光量を前記輝度値と参照値との差にかかわらず所定の割合だけ減らす、例えば絞りの開度がいままでの5割から7割の開度となるように絞りを閉じるようにしたことが特徴である。
【0006】
このような構成により、常に画面を適度な明るさに保ち、画面がハレーション状態となった場合、速やかに画面を適度な明るさに戻すことができる内視鏡の光量制御装置を得る目的を達成しようとしている。
【0007】
一方、後者の特開平1−277221号公報に記載のビデオカメラは、絞り手段と、該絞り手段の開口径を電気的に検出する開口径検出手段と、前記絞り手段の後方に位置した固体撮像子と、該固体撮像子の電荷蓄積時間を制御する電子シャッター手段と、前記固定撮像子の受光量及び絞り手段の開口径に基づいて絞り手段の開口径及び電子シャッタ手段のシャッタースピードの制御を行う露出制御手段とを備え、前記固定撮像子の受光量が所定値以下のときは、電子シャッタ手段のシャッタースピードを所定値で一定に保つとともに固体撮像子の受光量に応じて前記絞り手段の開口径を可変にして露出制御を行い、前記固体撮像子の受光量が所定値以上のときは絞り手段の開口径を所定値で一定に保持するとともに固体撮像子の受光量に応じて前記シャッター手段のシャッタースピードを可変して露出制御を行うように構成したことが特徴である。
【0008】
このような構成により、高照度の被写体を撮像する際に必要以上に絞り手段の開口径を小さくすることなく、画質の低下及びハンチングの発生を防止することができるとともに、被写体照度の低い領域と高い領域における動作の切換え時に機械的な接触音が発生することなく、また動作開始点を任意にしかも正確に設定できる目的を達成しようとしている。
【0009】
ところで、光量制御手段を有する電子内視鏡においては、該電子内視鏡を用いて医療処置を行う場合を考えると、レーザー処置等の外部強光が照射されることもあり、このような場合には、絞りによる光源光量制御では画面の明度を適切な明るさに調節することが困難である。また、観察対象物に電子内視鏡先端部が近づく時に、一瞬画面には上記のようにハレーションが発生することがあり、従来よりこのハレーションの時間を短くすることが望まれている。
【0010】
一方、電子内視鏡装置において、上述した電子シャッタ光量制御では、フィールド毎に動作するため、非常に早いスピードで電荷の蓄積時間を調節でき、画面上に映し出される映像の光量を制御することができるといった利点がある。
【0011】
従来では、このような電子シャッタ制御による光量調節するには、例えば図4に示すような素子シャッタ制御回路によって制御されており、また、ループフィルタなどの位相調節手段を設けることによって光量目標値近傍におけるハンチングを防止するようにしている。
【0012】
図7は従来の光量制御装置に搭載された素子シャッタ制御回路の一例を示すブロック図である。図7に示すように、このような素子シャッタ制御回路50は、ループフィルタ51,偏差値計算回路52,露光時間計算回路53,素子シャッタデータ変換回路54及び遅延回路(Delay回路であり図中にはDと記載)55とを含んで構成されている。また、前記偏差値計算回路52には、目標値設定回路56が接続されており、該目標値設定回路56により設定された光量目標値が供給されるようになっている。
【0013】
上記構成の素子シャッタ制御回路50に入力される検波信号は、まずループフィルタ51でループ特性が整えられ、偏差値計算回路52にて目標値設定回路5632で設定された目標値との偏差値が計算される。そして、計算された偏差値は露光時間計算回路43に入力され、遅延回路55から入力される前フィールドの露光時間との除法計算により、次のフィールドの露光時間が得られる。そして、この得られた露光時間を素子シャッタデータ変換回路54でシャッタ制御するための素子シャッタ制御信号に変換され、図示しないCCDドライバに供給されることにより、該CCDドライバは素子シャッタ制御信号に基づき、図示しないCCDの露光時間を制御することになる。
【0014】
【特許文献1】
特開2000ー193896号公報
【0015】
【特許文献2】
特開平1−277221号公報
【0016】
【発明が解決しようとする課題】
しかしながら、上記従来の光量制御装置では、図4に示すようなループフィルタが素子シャッタ制御回路内の前段に配された構成だと、素子シャッタの応答速度に影響を及ぼしてしまうといった不都合がある。
【0017】
また、前記特開2000ー193896号公報に記載の内視鏡の光量制御装置では、前記光量制御手段が、前記輝度値が所定値を越える場合、前記被写体に照射される光量を前記輝度値と参照値との差にかかわらず所定の割合だけ減らすといった制御を行っているため、所定値を越えると強制的に絞り制御による光量を減らしてしまうことになり、その結果、この所定値近傍、すなわち光量目標値近傍では不安定な動作状態となってしまい、ハンチングを確実に防止することが困難である。
【0018】
さらに、前記特開平1−277221号公報に記載のビデオカメラでは、固定撮像子の受光量及び絞り手段の開口径に基づいて、絞り手段の開口径と電子シャッタ手段のシャッタースピードのどちらか一方を所定値で固定し、他方を可変するといった、絞り追従型の電子シャッタ制御を行っているため、ハンチングは防止することができるが、反応速度が遅くなってしまい、本来の電シャッタ制御の利点を活かすことができないといった問題点があった。
【0019】
そこで、本発明は上記問題点に鑑みてなされたもので、ハレーション発生時により反応速度を速く電子シャッタ制御を実行させることでハレーションを解消でき、ハレーション解消後にはハレーション閾値近傍のハンチングを防ぐように光量制御することのできる電子内視鏡の光量制御装置を提供することを目的とする。
【0020】
【課題を解決するための手段】
上記目的を達成するために請求項1の発明の電子内視鏡の光量制御装置は、被検体の被検部位を撮像して撮像信号を生成する撮像手段と、前記撮像手段の露光量を制御する撮像駆動手段と、前記撮像手段により生成された前記撮像信号から輝度情報を検出する検波手段と、前記検波手段により検出された前記輝度情報に応じて前記撮像駆動手段に前記撮像手段の露光量を制御させる制御信号を生成する撮像駆動制御手段と、前記撮像駆動制御手段より生成された前記制御信号の位相調整をして前記撮像駆動手段へ出力するための位相調整手段と、前記検波手段により検出された前記輝度情報に応じて、前記位相調整手段による処理をせずに前記撮像駆動制御手段からの前記制御信号を前記撮像駆動手段へ入力させる制御を行う位相調整省略手段と、を具備したことを特徴とするものである。
【0021】
請求項2の発明の電子内視鏡の光量制御装置は、被検体の被検部位に照射される照明光を発光する発光手段と、前記照明光が照射された前記被検部位を撮像して撮像信号を生成する撮像手段と、前記撮像手段を駆動させる撮像駆動手段と、前記撮像手段が生成した撮像信号に所定の信号処理を施して前記被検部位の画像を生成するための信号処理手段と、前記撮像手段により生成された前記撮像信号から輝度情報を検出する検波手段と、前記信号処理手段により生成された前記画像の明るさの変更に関する所望の目標値を設定する目標値設定手段と、前記検波手段により検出された前記輝度情報と前記目標値入力手段により入力された前記目標値に応じて前記発光手段から前記被検部位に照射される前記照明光の光量を制御する照明制御手段と、前記検波手段により検出された前記輝度情報と前記目標値入力手段により入力された前記目標値に応じて前記撮像駆動手段の動作を制御して前記撮像手段の露光量を制御させるための制御信号を生成する撮像駆動制御手段と、前記撮像駆動制御手段より生成された前記制御信号の位相調整をして前記撮像駆動手段へ出力するための位相調整手段と、前記検波手段により検出された前記輝度情報に応じて、前記位相調整手段による処理をせずに前記撮像駆動制御手段からの前記制御信号を前記撮像駆動手段へ入力させる制御を行う位相調整省略手段と、を具備したことを特徴とするものである。
【0022】
請求項3の発明の電子内視鏡の光量制御装置は、請求項1又は請求項2に記載の電子内視鏡の光量制御装置において、前記撮像駆動制御手段が生成した前記制御信号を、前記位相調整手段を介して前記撮像駆動手段へ入力させる経路と前記位相調整手段を介さずに入力させる経路とを選択的に切り替え可能に構成された切替手段をさらに具備し、前記位相調整省略手段は、前記検波手段により検出された前記輝度情報の大きさとあらかじめ設定した前記撮像信号の輝度情報に関する所定の値との比較結果に応じて、前記切替手段を制御することを特徴とするものである。
【0023】
請求項4の発明の電子内視鏡の光量制御装置は、請求項2に記載の電子内視鏡の光量制御装置において、前記撮像駆動制御手段は、前記検波手段により検出された前記輝度情報と前記目標値入力手段により入力された前記目標値との間の偏差値を計算し、この計算結果に基づいて前記撮像駆動手段に駆動される前記撮像手段の露光量を制御することを特徴とするものである。
【0024】
請求項5の発明の電子内視鏡の光量制御装置は、請求項2に記載の電子内視鏡の光量制御装置において、前記照明制御手段が前記被検部位に照射する前記照明光の光量を制御することで前記目標値入力手段により入力された前記目標値に達するまでに第1の時間を要し、且つ、前記撮像駆動手段に駆動される前記撮像手段の露光量を制御することで前記目標値入力手段により入力された前記目標値に応じて設定された前記撮像手段の露光量に達するまでに前記第1の時間よりも短い第2の時間を要することを特徴とするものである。
【0025】
請求項6の発明の電子内視鏡の光量制御装置は、請求項5に記載の電子内視鏡の光量制御装置において、前記照明制御手段は、前記発光手段と前記被検部位との間に配置されて、前記発光手段から発光された照明光の光軸に挿脱されることで、前記照明光の光量を機械的に調整する絞り手段であることを特徴とすることを特徴とするものである。
【0026】
この構成によれば、前記位相調整省略手段は、前記検波手段により検出された前記輝度情報に応じて、前記位相調整手段による処理をせずに前記撮像駆動制御手段からの前記制御信号を前記撮像駆動手段へ入力させる制御を行うので、具体的には、ハレーション発生時、素子シャッタをより速く制御するように、ある閾値を越える時、素子シャッタ制御回路内のループフィルタを動作せずに制御することができ、その閾値以下では、ハンチングを防ぐため、ループフィルタを動作するように制御できる。
【0027】
【発明の実施の形態】
以下、本発明の実施の形態を図面を参照して説明する。
(構成)
図1は本発明の電子内視鏡の光量制御装置の一実施の形態を示し、該光量制御装置を備えた電子内視鏡システム全体の構成を示す概念図である。
【0028】
本実施の形態の光量制御装置を備えた電子内視鏡システムは、図1に示すように、被検体の被検部位に照射される照明光を発光する発光手段としてのランプ20を備え、このランプ20からの照明光は絞り21、ライトガイド22を介して被写体に照射し、該被写体から反射像はCCD11の受光面に供給されるようになっている。
【0029】
このCCD11は、被検体の被検部位を撮像して撮像信号を生成する撮像手段であり、生成した撮像信号(映像信号)をプリアンプ12に供給する。この場合、CCD11は、CCDドライバ16によってその駆動が制御されるようになっている。
【0030】
プリアンプ12は、CCD11から伝送される画像信号を所定の増幅率で増幅し、CDS回路13に供給する。
【0031】
CDS回路13は、供給された画像信号にリセット雑音の除去などの処理を施し、A/D変換器14に供給する。
【0032】
A/D変換器14は、CDS回路13からのアナログの映像信号をデジタル信号に変換し、映像処理回路15及び光量調節回路部18に供給する。
【0033】
映像処理回路15は、デジタルの画像データに対し、同期信号発生回路17からの同期信号に基づき図示しないモニター表示するのに必要な処理を施し、モニター(図示せず)に出力する。これにより、図示しないモニターには、CCD11により撮像された被検体の被検部位に対応する撮像信号に基づく画像が表示されることになる。
【0034】
また、電子内視鏡システムには、同期信号発生回路17,CCDドライバー16,本実施の形態の特徴となる光量調節回路部18及び光量操作部19が設けられている。
【0035】
同期信号発生回路(SSGとも称す)17は、水平及び垂直の同期信号を発生し、前記映像処理回路15,CCDドライバ16及び光量調節回路部18に供給する。
【0036】
CCDドライバ16は、同期信号発生回路17からの同期信号のタイミングに基づき光量調節回路部18の制御によりCCD11の駆動を制御するものである。
【0037】
光量調節回路18には光量操作部19が接続されている。該光量操作部19は、映像処理回路15により処理されモニタ表示する画像の明るさを術者の所望の明るさに変更するための画像の明るさの目標値を入力する目標値入力手段であり、例えば操作パネルや操作レバー等で構成されている。したがって、光量操作部19により目標値が操作指示された操作信号(以下、指定信号と称す)105が光量調節回路部18に供給されるようになっている。
【0038】
本実施の形態では、前記光量調節回路18は、A/D変換器14からの映像信号から輝度成分を検出する検波手段と、この検波手段により検出された輝度成分に応じてCCDドライバ16にCCD11の露光量を制御させる制御信号を生成する撮像駆動制御手段と、この撮像駆動制御手段より生成された制御信号の位相調整をしてCCDドライバ16へ出力するための位相調整手段と、検波手段により検出された輝度成分に応じて、位相調整手段による処理をせずに撮像駆動制御手段からの制御信号をCCDドライバ16へ入力させる制御を行う位相調整省略手段と、を具備して構成されている。
【0039】
すなわち、光量調節回路部18はA/D変換器14から入力する画像信号を検波してその中の輝度情報を取り出し、この輝度情報が光量操作部19に設定された所定の基準レベルになるように絞り21、及びCCD11の露光時間を制御する。
【0040】
次に、上記光量調節回路部18の具体的な回路構成を図2及び図3を参照しながら詳細に説明する。
【0041】
図2は図1に示す光量調節回路部の具体的な構成を示すブロック図で、図3は図2に示す素子シャッタ制御回路の具体的な構成を示すブロック図である。
【0042】
図2に示すように、光量調節回路部18は、上述した検波手段としての検波回路31と、目標値設定手段としての目標値設定回路32と、照明制御手段としての絞り制御用ループフィルタ33及び比較回路34と、撮像駆動制御手段としての素子シャッタ制御回路39と、を含んで構成されている。
【0043】
検波回路31には、A/D変換器14からの映像信号101及び同期信号発生回路17からの同期信号103が供給される。検波回路31は、入力された映像信号101に検波処理を施す。これにより、映像信号の1画面分(1フィールド分)の輝度の平均値が求められる。この検波された輝度情報(以下、検波信号と称す)は、絞り制御用ループフィルタ33と素子シャッタ制御回路39とにそれぞれ供給される。
【0044】
絞り制御用ループフィルタ33は、絞り制御用として検波信号の位相調整し、その後比較回路34に供給する。比較回路34は、絞り制御用ループフィルタ33の出力信号と、所定の基準値とで比較を行い、比較結果に基づき絞り制御信号102を作成し、この絞り制御信号102を絞り21に送り該絞り21の駆動を制御する。
【0045】
この場合、比較回路34により比較する前記基準値は、目標値設定回路32で決定されることになる。この目標値設定回路32は、上述した光量操作部19と接続されている。すなわち、比較回路34は、光量操作部19からの指定信号105に対応する値の目標値をそれぞれ設定することになる。
【0046】
また、素子シャッタ制御回路39は、前記目標値設定回路32からの目標値と検波信号とに基づき素子シャッタ制御信号104を作成し、この素子シャッタ制御信号104をCCDドライバ16に送り該CCDドライバ16の駆動制御する。つまり、CCD11の電荷の蓄積時間を調整制御する。
【0047】
このように、前記比較回路34と同様に素子シャッタ制御回路39にも、モニタ画面の明るさが適切になるように其々目標値が入力されるようになっている。
【0048】
したがって、この場合も同様に素子シャッタ制御回路39の目標値は、接続された目標値設定回路32で決定されることになり、つまり、該素子シャッタ制御回路39は、光量操作部19からの指定信号105に対応する値の目標値をそれぞれ設定することになる。
【0049】
本実施の形態では、前記素子シャッタ制御回路39を図3に示すように構成したことが特徴である。
【0050】
具体的には、素子シャッタ制御回路39は、図3に示すように、前記撮像駆動制御手段として主要構成部位である、ハレーション判別回路47,偏差値計算回路42,露光時間計算回路43,遅延回路45と、位相調整手段及び位相調整省略手段としてのループフィルタ46と、を含んで構成されている。
【0051】
前記検波回路31で得られた検波信号は、偏差値計算回路42及びハレーション判別回路47にそれぞれ供給される。
【0052】
ハレーション判別回路47は、入力された検波信号とある値(以下、ハレーション閾値と称す)との比較を行うことでハレーションの発生の有無を判別するもので、入力された検波信号が前記ハレーション閾値以上であれば、ハレーションが発生したと認識し、ハイレベル(“High”)のハレーション制御信号106を後述するループフィルタ46に供給する。逆にハレーション閾値より小さいものである場合にはローレベル(“Low”)のハレーション制御信号106をループフィルタ46に供給する。
【0053】
なお、ハレーション判別回路47においては、別の手法として、光量調節回路部18に入力された1画面映像信号のうち、ある面積以上の信号レベルがハレーション閾値より大きければ、ハレーション発生として認識し、“High”のハレーション制御信号106をループフィルタ46に供給し、逆にハレーション閾値より小さいものである場合には“Low”のハレーション制御信号106をループフィルタ46に供給するようにしても良い。
【0054】
一方、素子シャッタ制御回路39に入力された検波信号と目標値設定回路32に設定された目標値は偏差値計算回路42に供給されるようになっている。
【0055】
偏差値計算回路42は、入力された検波信号と目標値との偏差値を計算する。また、この場合、収束点近傍でのハンチングを防止するために、偏差値計算回路42は、偏差値の変動が3%より小さいものであるかの判定を行い、3%以下である場合には、偏差値の出力が1となるように設定する。この場合の偏差値処理ルーチンが図6に示されている。
【0056】
例えば、偏差値計算回路42は、ステップS1の処理にて、入力された検波信号−目標値との差を目標値で割ったものを偏差値の変動率とし、この変動率が3%より再々ものであるか否かを判定し、小さいものであると判定した場合には、続くステップS2の処理にて偏差値を1として露光時間計算回路43に出力させ、逆に大きいものであると判定した場合には、ステップS3の処理にて検波信号を目標値で割った値を偏差値として露光時間計算回路43に出力する。したがって、このような処理を行うことにより、不感帯を設けたことになり、目標値近傍のハンチングが防止されることになる。
【0057】
露光時間計算回路43は、供給された前記偏差値計算回路42からの偏差値に基づき、露光時間を計算処理する。この場合、露光時間計算回路43は、入力された偏差値と前フィールドの露光時間との商を次のフィールドの露光時間として計算処理する。なお、該露光時間計算回路43には、遅延回路(Delay回路であり図中にはDと記載)45が並列に接続されており、該露光時間計算回路43の出力を前記遅延回路45に入力し、得られた遅延出力をフィードバックして露光時間計算回路43に再入力することにより、上述した前フィールドの露光時間が生成されるようになっている。
【0058】
そして、露光時間計算回路43により求められた露光時間計算結果は、素子シャッタデータ変換回路44に供給される。
【0059】
この素子シャッタデータ変換回路44は、供給された露光時間を素子シャッタ制御信号104に変換処理し、後段の位相調整手段及び位相調整省略手段としてのループフィルタ46を介して、CCDドライバ15に供給している。
【0060】
なお、本実施の形態では、前記素子シャッタ制御信号104は、例えば図5(C)に示す掃出しパルスPaに相当するものである。
【0061】
図5には前記素子シャッタ制御回路39による制御動作を示す波形図が示されており、図5(A)は垂直同期信号、図5(B)は水平同期信号、図5(C)は制御パルス(素子シャッタ制御信号104)、図5(D)は蓄積信号をそれぞれ示している。
【0062】
前記素子シャッタ制御回路39では、図5(A)に示されている垂直走査期間(1V)に図5(B)に示す水平同期信号が、例えば262.5個生成されるようになっている。
【0063】
そして、素子シャッタ制御信号等を水平同期信号の有効期間に形成すると、画像上にノイズが発生するという不都合があるため、これを防止するために、素子シャッタ制御信号は、図5(B)中な示す水平同期信号の各ブランキング期間Bの間に形成されるようにする。
【0064】
例えば、図5(C)に示す例では、露出制御信号に基づいて掃出しパルスPaが水平同期信号1から水平同期信号131のブランキング期間Bまで形成され、読出しパルスPbは最後のブランキング期間Bで、且つ垂直同期信号のブランキング期間内に形成されるようになっている。
【0065】
そうすると、図5(D)に示されるように、CCD11の各素子に蓄積された蓄積信号は、上記掃出しパルスPaで一旦掃き出された後に、さらに蓄積され、符号100の蓄積電荷量が読出しパルスPbで読み出されることになる。
【0066】
ところで、本実施の形態では、前記素子シャッタ制御信号が供給されるループフィルタ46は、素子シャッタ制御回路39内の各回路ブロックの最後段に配され定る。
【0067】
このループフィルタ46は、例えば図4に示すようなラグリードフィルタ位相特性を有するデジタルフィルタで構成される。具体的には、ループフィルタ46は、図5に示すように、切替手段としての第1及び第2のスイッチ回路46A,46Bと、3つの乗算器46a1,46a2,46a3と、2つの遅延回路46b1,46b2と、加算器46Cとを有して構成されている。
【0068】
前記第1のスイッチ回路46Aには、素子シャッタデータ回路44(図3参照)からの素子シャッタ制御信号が供給されており、上述したハレーション判別回路47からのハレーション制御信号106に応じて入力素子シャッタ制御信号をL出力端子、またはH出力端子に切換えて出力させる。
【0069】
また、前記第2の切換えスイッチ46Bには、上記と同様にハレーション制御信号106が供給されており、該ハレーション制御信号106に基づき前記第1の切換えスイッチ46Aと連動して該ループフィルタ46の出力を、L出力端子、またはH出力端子に切換えて、素子シャッタ制御信号104としてCCDドライバ16に出力する。
【0070】
なお、前記第1のスイッチ回路46AのH出力端子と、前記第2のスイッチ回路46BのH出力端子とは、図4に示すように電気的に接続されており、ハレーションが発生した場合に前記素子シャッタデータ変換回路44からの素子シャッタ制御信号104を該ループフィルタ46を通さずにそのままCCDドライバ16に出力するための経路が形成されている。
【0071】
一方、ループフィルタ46においては、第1のスイッチ回路46AのL出力端子を介して前記乗算器46a1が接続され、該乗算器46a1は、入力された素子シャッタ制御信号を所定係数eにて乗算処理を行い、加算器46C,遅延回路46b1に出力する。
【0072】
遅延回路46b1は、乗算器46a1からの出力信号に対し遅延処理を行い、次の乗算器46a2に出力する。そしてこの乗算器46a2は、遅延回路46b1からの出力信号に対し所定係数fで乗算処理を行い、前記加算器46Cに出力する。
【0073】
前記加算器46Cの出力信号は、前記第2のスイッチ回路46BのL出力端子及び他の遅延回路46b2に出力されるようになっている。遅延回路46b2は、加算器46Cの出力信号に対し減算処理を行い、乗算器46a3に出力する。そしてこの乗算器46a3は、遅延回路46b2からの出力信号に対し所定係数gで乗算処理を行い、前記加算器46Cに出力する。
【0074】
加算器46Cは、前段の乗算器46a1と、乗算器46a2と、フィードバックする乗算器46a3との各出力信号を加算し、加算結果を上記したように前記第2のスイッチ回路46BのL出力端子及び前記遅延回路46b2に出力する。
【0075】
つまり、第1のスイッチ回路46AのL出力端子と、第2のスイッチ回路46BのL出力端子との間に配される各回路群が、通常のループフィルタ46による動作特性を得るための経路を形成していることになる。
【0076】
このような構成により、素子シャッタのループ特性を整え、ハンチングの発生を防ぐことを図るようにしている。
【0077】
本実施の形態において、いま、図2に示す光量調節回路部18が起動しているものとし、画面上にハレーションが発生したものとする。
【0078】
すると、図2に示すハレーション判別回路47は、“High”のハレーション制御信号106を、図4中に示す第1,第2のスイッチ回路46A,46Bに供給することにより、これらのスイッチを各H出力端子となるように切換え制御する。
【0079】
すなわち、第1,第2のスイッチ回路46A,46Bの各H出力端子間が導通することで、素子シャッタデータ変換回路44からの素子シャッタ制御信号104は、該ループフィルタ46に通すことなく、そのままCCDドライバ16に出力されることになる。
【0080】
これにより、ハレーションが発生する際は、ループフィルタ46を動作させないので、より早い応答速度が保証されることになる。
【0081】
一方、画面上にハレーションが発生してない場合には、前記ハレーション判別回路47は、“Low”のハレーション制御信号106を、図4中に示す第1,第2のスイッチ回路46A,46Bに供給することにより、これらのスイッチを各L出力端子となるように切換え制御する。
【0082】
すなわち、素子シャッタデータ変換回路44からの素子シャッタ制御信号104は、該ループフィルタ46を構成する3つの乗算器46a1,46a2,46a3と、2つの遅延回路46b1,46b2と、加算器46Cとの回路群によって位相が調整された後、CCDドライバ16に出力されることになる。
【0083】
その後、ループフィルタ46から出力された素子シャッタ制御信号104は、上記の如くCCDドライバ16に入力され、該素子シャッタ制御信号104に基づき固体撮像素子CCD11の露光時間が制御される。
【0084】
したがって、本実施の形態によれば、画面上にハレーションが発生した場合には、素子シャッタ制御信号104をループフィルタ46を通さずにCCDドライバー16に出力することができるので、素子シャッタ制御を素早く動作させることができるため、発生したハレーションを早く解消することができ、その後、ハレーション解消後には、ループフィルタ46を動作させることができるので、目標値近傍に生じるハンチングを防止することが可能となる。
【0085】
また、本実施の形態では、上述したようにループフィルタ46を素子シャッタデータ変換後回路44の後段に配置することにより、前段における各回路群の誤差も踏まえて動作させることができるため、図7に示している素子シャッタ制御回路50と比べて、露光時間計算で要求される精度をより向上させることができる。但し、このようなループフィルタ46の配置構成は素子シャッタ制御と絞り制御を同時に行う光量制御装置を構成する場合に有効である。
【0086】
なお、本発明は、上記実施の形態に限定されるものではなく、発明の範囲を逸脱しない範囲であれば本発明に適用される。
【0087】
【発明の効果】
以上、説明したように本発明によれば、ハレーション発生時により反応速度を速く電子シャッタ制御を実行させることでハレーションを解消でき、ハレーション解消後にはハレーション閾値近傍のハンチングを防ぐように光量制御することのできる電子内視鏡を実現できる。
【図面の簡単な説明】
【図1】本発明の電子内視鏡の光量制御装置の一実施の形態を示し、該光量制御装置を含む電子内視鏡システム全体の構成を示す概念図。
【図2】図1の光量調節回路部の具体的な構成を示すブロック図。
【図3】図2の素子シャッタ制御回路の具体的な構成を示すブロック図。
【図4】図3に示すループフィルタの具体的な構成を示す回路図。
【図5】図2に示す素子シャッタ制御回路による制御動作を説明するための波形図。
【図6】図3に示す偏差値計算回路による偏差値計算処理ルーチンを示すフローチャート。
【図7】従来の素子シャッタ制御回路の具体的な構成を示すブロック図。
【符号の説明】
11…撮像素子(CCD)、
12…プリアンプ、
13…CDS回路、
14…A/D変換器、
15…映像処理回路、
16…CCDドライバ、
17…同期信号発生回路(SSG)、
18…光量調節回路部、
19…光量操作部、
20…ランプ、
21…絞り、
22…ライトガイド、
31…検波回路、
32…目標値設定回路、
33…絞り制御用ループフィルタ、
34…比較回路、
39…素子シャッタ制御回路、
42…偏差値計算回路、
43…露光時間計算回路、
44…素子シャッタデータ変換回路、
45…遅延回路、
46…ループフィルタ、
46A…第1の切換えスイッチ、
46B…第2の切換えスイッチ、
46a1〜46a3…乗算器、
46b1,46b2…減算器、
46C…加算器、
47…ハレーション判別回路。
[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an electronic endoscope system, and more particularly, to reduce the halation by executing an electronic shutter control at a higher reaction speed when halation occurs, and by controlling the light amount so as to prevent hunting near the halation threshold after the halation is eliminated. The present invention relates to a light amount control device for an electronic endoscope that can perform the operation.
[0002]
[Prior art]
Generally, in an electronic endoscope system, a light amount control device that adjusts and controls a light amount from a light source device is used.
[0003]
Usually, such a light amount control device is provided in an electronic shutter control for controlling the light amount by controlling a charge accumulation time of a solid-state imaging device (hereinafter, referred to as a CCD in a Charge Coupled Device), and an optical system of an electronic endoscope. There is a configuration in which it is possible to perform aperture control for controlling the amount of light by adjusting the aperture provided.
[0004]
In this type of light amount dimming control device of an electronic endoscope, many proposals have been made conventionally in order to obtain a clearer monitor image of an observation object and to make the operation safer. Related technologies include an endoscope light amount control device described in JP-A-2000-193896 and a video camera described in JP-A-1-277221.
[0005]
The former Japanese Patent Application Laid-Open No. 2000-193896 discloses a light amount control device for an endoscope, which is mainly proposed for controlling an aperture. Specifically, light from a light source is applied to a subject via an endoscope. Means for irradiating, means for imaging a subject image obtained by irradiating the subject with light and projecting the image on a screen, and the subject image is projected based on an image signal obtained by capturing the subject image. Brightness value calculation means for obtaining a brightness value indicating the brightness of the screen; and light amount control means for adjusting a light amount applied to the subject based on a difference between the brightness value and a reference value, wherein the light amount control means However, when the luminance value exceeds a predetermined value, the light amount applied to the subject is reduced by a predetermined ratio regardless of the difference between the luminance value and the reference value. For example, the aperture of the aperture is reduced from 50% so far. 70% It is characterized that to close the aperture so as to be opening.
[0006]
With this configuration, the objective is to obtain an endoscope light amount control device that can always maintain the screen at an appropriate brightness and quickly return the screen to an appropriate brightness when the screen is in a halation state. Trying to.
[0007]
On the other hand, the latter video camera described in Japanese Patent Application Laid-Open No. 1-277221 has a diaphragm means, an aperture diameter detecting means for electrically detecting the aperture diameter of the diaphragm means, and a solid-state imaging device located behind the diaphragm means. Electronic shutter means for controlling the charge accumulation time of the solid-state image pickup element, and controlling the aperture diameter of the stop means and the shutter speed of the electronic shutter means based on the amount of light received by the fixed image pickup element and the aperture diameter of the stop means. When the received light amount of the fixed image pickup element is equal to or less than a predetermined value, the shutter speed of the electronic shutter means is kept constant at a predetermined value, and the stop means of the diaphragm means is controlled in accordance with the light reception amount of the solid-state image pickup element. Exposure control is performed by varying the aperture diameter, and when the amount of light received by the solid-state image sensor is equal to or greater than a predetermined value, the aperture diameter of the diaphragm means is kept constant at a predetermined value and the amount of light received by the solid-state image sensor is adjusted. Is characterized in that configured to perform exposure control by varying the shutter speed of said shutter means Te.
[0008]
With such a configuration, it is possible to prevent the image quality from deteriorating and the occurrence of hunting without reducing the aperture diameter of the aperture unit unnecessarily when capturing an object with high illuminance, An object of the present invention is to achieve an object in which a mechanical contact sound is not generated at the time of operation switching in a high region and an operation start point can be arbitrarily and accurately set.
[0009]
By the way, in the case of an electronic endoscope having a light amount control unit, considering a case where a medical treatment is performed using the electronic endoscope, external strong light such as a laser treatment may be applied. Therefore, it is difficult to adjust the brightness of the screen to an appropriate brightness by controlling the light amount of the light source by the aperture. Further, when the distal end of the electronic endoscope approaches the observation object, halation may occur on the screen for a moment as described above, and it has been desired to shorten the time of the halation than before.
[0010]
On the other hand, in the electronic endoscope apparatus, in the above-described electronic shutter light amount control, since the operation is performed for each field, the charge accumulation time can be adjusted at a very fast speed, and the light amount of the image projected on the screen can be controlled. There is an advantage that it can be done.
[0011]
Conventionally, to control the light amount by such electronic shutter control, the light amount is controlled by an element shutter control circuit as shown in FIG. 4, for example. To prevent hunting.
[0012]
FIG. 7 is a block diagram showing an example of an element shutter control circuit mounted on a conventional light quantity control device. As shown in FIG. 7, such an element shutter control circuit 50 includes a loop filter 51, a deviation value calculation circuit 52, an exposure time calculation circuit 53, an element shutter data conversion circuit 54, and a delay circuit (Delay circuit and is shown in FIG. Is described as D) 55). Further, a target value setting circuit 56 is connected to the deviation value calculation circuit 52 so that the light amount target value set by the target value setting circuit 56 is supplied.
[0013]
The detection signal input to the element shutter control circuit 50 having the above-described configuration is first adjusted in the loop characteristics by the loop filter 51, and the deviation value from the target value set by the target value setting circuit 5632 is calculated by the deviation value calculation circuit 52. Is calculated. Then, the calculated deviation value is input to the exposure time calculation circuit 43, and the exposure time of the next field is obtained by division calculation with the exposure time of the previous field input from the delay circuit 55. The obtained exposure time is converted into an element shutter control signal for shutter control by an element shutter data conversion circuit 54, and is supplied to a CCD driver (not shown). , The exposure time of a CCD (not shown) is controlled.
[0014]
[Patent Document 1]
JP 2000-193896 A
[0015]
[Patent Document 2]
JP-A-1-277221
[0016]
[Problems to be solved by the invention]
However, in the above-described conventional light amount control device, if the loop filter as shown in FIG. 4 is arranged in the preceding stage in the element shutter control circuit, there is a disadvantage that the response speed of the element shutter is affected.
[0017]
In the light amount control device for an endoscope described in JP-A-2000-193896, when the luminance value exceeds a predetermined value, the light amount control unit determines the amount of light emitted to the subject as the luminance value. Regardless of the difference from the reference value, the control is performed such that the light amount is reduced by a predetermined ratio. When the control value exceeds the predetermined value, the light amount by the aperture control is forcibly reduced. As a result, the vicinity of the predetermined value, that is, In the vicinity of the light amount target value, an unstable operation state occurs, and it is difficult to reliably prevent hunting.
[0018]
Further, in the video camera described in JP-A-1-277221, one of the aperture diameter of the aperture means and the shutter speed of the electronic shutter means is determined based on the amount of light received by the fixed image pickup element and the aperture diameter of the aperture means. Aperture-following electronic shutter control, such as fixing at a predetermined value and changing the other, is performed, so hunting can be prevented, but the reaction speed is reduced, and the advantage of the original electric shutter control is reduced. There was a problem that it could not be used.
[0019]
In view of the above, the present invention has been made in view of the above-described problems, and it is possible to eliminate halation by executing an electronic shutter control at a higher reaction speed when halation occurs, and to prevent hunting near the halation threshold after halation is eliminated. An object of the present invention is to provide a light amount control device for an electronic endoscope capable of controlling the light amount.
[0020]
[Means for Solving the Problems]
In order to achieve the above object, a light amount control device for an electronic endoscope according to the invention of claim 1 controls an exposure amount of the imaging unit, the imaging unit generating an imaging signal by capturing an image of a part to be examined of a subject. Driving means for detecting, detecting means for detecting luminance information from the imaging signal generated by the imaging means, and the exposure amount of the imaging means to the imaging driving means according to the luminance information detected by the detecting means Imaging drive control means for generating a control signal for controlling the imaging control means, a phase adjustment means for adjusting the phase of the control signal generated by the imaging drive control means and outputting to the imaging drive means, and the detection means A phase adjustment omitting means for performing control for inputting the control signal from the imaging drive control unit to the imaging drive unit without performing processing by the phase adjustment unit in accordance with the detected luminance information. When and is characterized by comprising a.
[0021]
A light amount control device for an electronic endoscope according to a second aspect of the present invention includes: a light emitting unit that emits illumination light applied to a test site of a subject; and an image of the test site irradiated with the illumination light. Imaging means for generating an imaging signal, imaging driving means for driving the imaging means, and signal processing means for performing predetermined signal processing on the imaging signal generated by the imaging means to generate an image of the test site Detection means for detecting luminance information from the imaging signal generated by the imaging means; and target value setting means for setting a desired target value related to a change in brightness of the image generated by the signal processing means; An illumination control means for controlling a light amount of the illumination light emitted from the light emitting means to the test site in accordance with the luminance information detected by the detection means and the target value inputted by the target value input means; A control signal for controlling an operation of the image pickup driving means to control an exposure amount of the image pickup means in accordance with the luminance information detected by the detection means and the target value inputted by the target value input means; Image drive control means for generating the image signal, phase adjustment means for adjusting the phase of the control signal generated by the image drive control means and outputting the control signal to the image drive means, and the luminance detected by the detection means Phase adjustment omitting means for performing control to input the control signal from the imaging drive control means to the imaging drive means without performing processing by the phase adjustment means in accordance with information. Things.
[0022]
According to a third aspect of the present invention, in the light quantity control device for an electronic endoscope according to the first or second aspect, the control signal generated by the imaging drive control unit is transmitted to the electronic endoscope. A switching unit configured to be selectively switchable between a path to be input to the imaging driving unit via the phase adjustment unit and a path to be input without passing through the phase adjustment unit, wherein the phase adjustment omitting unit is And controlling the switching means in accordance with a comparison result between a magnitude of the luminance information detected by the detection means and a predetermined value relating to luminance information of the imaging signal set in advance.
[0023]
A light amount control device for an electronic endoscope according to a fourth aspect of the present invention is the light amount control device for an electronic endoscope according to the second aspect, wherein the imaging drive control unit includes the luminance information and the luminance information detected by the detection unit. Calculating a deviation value from the target value input by the target value input unit, and controlling an exposure amount of the imaging unit driven by the imaging driving unit based on the calculation result. Things.
[0024]
A light amount control device for an electronic endoscope according to a fifth aspect of the present invention is the light amount control device for an electronic endoscope according to the second aspect, wherein the illumination control means adjusts the light amount of the illumination light applied to the test site. It takes a first time to reach the target value input by the target value input means by controlling, and by controlling the exposure amount of the imaging means driven by the imaging driving means, It is characterized in that it takes a second time shorter than the first time to reach the exposure amount of the imaging means set according to the target value input by the target value input means.
[0025]
A light amount control device for an electronic endoscope according to a sixth aspect of the present invention is the light amount control device for an electronic endoscope according to the fifth aspect, wherein the illumination control means is provided between the light emitting means and the portion to be inspected. A diaphragm means which is arranged and is inserted into and removed from the optical axis of the illumination light emitted from the light emitting means, thereby mechanically adjusting the light quantity of the illumination light. It is.
[0026]
According to this configuration, the phase adjustment omitting unit captures the control signal from the imaging drive control unit without performing processing by the phase adjustment unit in accordance with the luminance information detected by the detection unit. Since the control for inputting to the driving means is performed, specifically, when the halation occurs, the control is performed without operating the loop filter in the element shutter control circuit when a certain threshold value is exceeded so that the element shutter is controlled faster. Below that threshold, the loop filter can be controlled to operate to prevent hunting.
[0027]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
(Constitution)
FIG. 1 is a conceptual diagram showing an embodiment of a light amount control device for an electronic endoscope according to the present invention, and showing a configuration of an entire electronic endoscope system including the light amount control device.
[0028]
As shown in FIG. 1, the electronic endoscope system including the light amount control device according to the present embodiment includes a lamp 20 as a light emitting unit that emits illumination light applied to a test site of a subject. Illumination light from the lamp 20 irradiates a subject via a diaphragm 21 and a light guide 22, and a reflected image from the subject is supplied to a light receiving surface of the CCD 11.
[0029]
The CCD 11 is an imaging unit that captures an image of a portion to be examined of a subject and generates an imaging signal, and supplies the generated imaging signal (video signal) to the preamplifier 12. In this case, the driving of the CCD 11 is controlled by the CCD driver 16.
[0030]
The preamplifier 12 amplifies the image signal transmitted from the CCD 11 at a predetermined amplification rate and supplies the amplified signal to the CDS circuit 13.
[0031]
The CDS circuit 13 performs processing such as removal of reset noise on the supplied image signal, and supplies the processed image signal to the A / D converter 14.
[0032]
The A / D converter 14 converts an analog video signal from the CDS circuit 13 into a digital signal, and supplies the digital signal to the video processing circuit 15 and the light amount adjustment circuit unit 18.
[0033]
The video processing circuit 15 performs processing required for displaying on a monitor (not shown) based on the synchronization signal from the synchronization signal generation circuit 17 on the digital image data, and outputs the processed data to a monitor (not shown). As a result, an image based on the image pickup signal corresponding to the test site of the subject picked up by the CCD 11 is displayed on a monitor (not shown).
[0034]
Further, the electronic endoscope system is provided with a synchronizing signal generation circuit 17, a CCD driver 16, a light amount adjustment circuit 18 and a light amount operation unit 19 which are features of the present embodiment.
[0035]
A synchronizing signal generating circuit (also referred to as SSG) 17 generates horizontal and vertical synchronizing signals, and supplies them to the video processing circuit 15, CCD driver 16, and light amount adjusting circuit section 18.
[0036]
The CCD driver 16 controls the driving of the CCD 11 by controlling the light amount adjustment circuit 18 based on the timing of the synchronization signal from the synchronization signal generation circuit 17.
[0037]
A light amount operation unit 19 is connected to the light amount adjustment circuit 18. The light amount operation unit 19 is a target value input unit for inputting a target value of image brightness for changing the brightness of an image processed and displayed on the monitor by the video processing circuit 15 to a brightness desired by the operator. , For example, an operation panel and an operation lever. Therefore, an operation signal (hereinafter, referred to as a designation signal) 105 whose target value has been instructed by the light amount operation unit 19 is supplied to the light amount adjustment circuit unit 18.
[0038]
In the present embodiment, the light amount adjusting circuit 18 includes a detecting means for detecting a luminance component from a video signal from the A / D converter 14, and a CCD 11 for the CCD driver 16 according to the luminance component detected by the detecting means. Imaging drive control means for generating a control signal for controlling the amount of exposure, phase adjustment means for adjusting the phase of the control signal generated by the imaging drive control means and outputting the control signal to the CCD driver 16, and detection means. Phase adjustment omitting means for performing control to input a control signal from the imaging drive control means to the CCD driver 16 without performing processing by the phase adjustment means in accordance with the detected luminance component. .
[0039]
That is, the light amount adjustment circuit unit 18 detects the image signal input from the A / D converter 14 and extracts the luminance information therein, so that the luminance information becomes a predetermined reference level set in the light amount operation unit 19. The exposure time of the aperture 21 and the CCD 11 is controlled.
[0040]
Next, a specific circuit configuration of the light amount adjusting circuit section 18 will be described in detail with reference to FIGS.
[0041]
FIG. 2 is a block diagram showing a specific configuration of the light amount adjustment circuit unit shown in FIG. 1, and FIG. 3 is a block diagram showing a specific configuration of the element shutter control circuit shown in FIG.
[0042]
As shown in FIG. 2, the light amount adjustment circuit unit 18 includes a detection circuit 31 as the above-described detection means, a target value setting circuit 32 as a target value setting means, an aperture control loop filter 33 as an illumination control means, It is configured to include a comparison circuit 34 and an element shutter control circuit 39 as an imaging drive control unit.
[0043]
The video signal 101 from the A / D converter 14 and the synchronization signal 103 from the synchronization signal generation circuit 17 are supplied to the detection circuit 31. The detection circuit 31 performs a detection process on the input video signal 101. Thereby, the average value of the luminance of one screen (one field) of the video signal is obtained. The detected luminance information (hereinafter, referred to as a detection signal) is supplied to the aperture control loop filter 33 and the element shutter control circuit 39, respectively.
[0044]
The aperture control loop filter 33 adjusts the phase of the detection signal for aperture control, and then supplies it to the comparison circuit 34. The comparison circuit 34 compares the output signal of the aperture control loop filter 33 with a predetermined reference value, creates an aperture control signal 102 based on the comparison result, and sends the aperture control signal 102 to the aperture 21 to send the aperture control signal to the aperture 21. 21 is controlled.
[0045]
In this case, the reference value to be compared by the comparison circuit 34 is determined by the target value setting circuit 32. The target value setting circuit 32 is connected to the light amount operation unit 19 described above. That is, the comparison circuit 34 sets the target value of the value corresponding to the designation signal 105 from the light amount operation unit 19, respectively.
[0046]
Further, the element shutter control circuit 39 creates an element shutter control signal 104 based on the target value from the target value setting circuit 32 and the detection signal, and sends the element shutter control signal 104 to the CCD driver 16 so that the CCD driver 16 Drive control. That is, the charge accumulation time of the CCD 11 is adjusted and controlled.
[0047]
As described above, similarly to the comparison circuit 34, the target values are also input to the element shutter control circuit 39 so that the brightness of the monitor screen is appropriate.
[0048]
Therefore, also in this case, similarly, the target value of the element shutter control circuit 39 is determined by the connected target value setting circuit 32, that is, the element shutter control circuit 39 A target value corresponding to the signal 105 is set.
[0049]
The present embodiment is characterized in that the element shutter control circuit 39 is configured as shown in FIG.
[0050]
Specifically, as shown in FIG. 3, the element shutter control circuit 39 includes a halation discrimination circuit 47, a deviation value calculation circuit 42, an exposure time calculation circuit 43, a delay circuit 45, and a loop filter 46 as a phase adjusting unit and a phase adjusting omitting unit.
[0051]
The detection signal obtained by the detection circuit 31 is supplied to a deviation value calculation circuit 42 and a halation determination circuit 47, respectively.
[0052]
The halation determination circuit 47 determines whether or not halation has occurred by comparing the input detection signal with a certain value (hereinafter, referred to as a halation threshold). If so, it is recognized that halation has occurred, and a halation control signal 106 at a high level (“High”) is supplied to a loop filter 46 described later. Conversely, when the value is smaller than the halation threshold, the halation control signal 106 of a low level (“Low”) is supplied to the loop filter 46.
[0053]
In the halation determination circuit 47, as another method, if the signal level of a certain area or more in the one-screen video signal input to the light amount adjustment circuit unit 18 is larger than the halation threshold, it is recognized as occurrence of halation. The “High” halation control signal 106 may be supplied to the loop filter 46, and if it is smaller than the halation threshold, the “Low” halation control signal 106 may be supplied to the loop filter 46.
[0054]
On the other hand, the detection signal input to the element shutter control circuit 39 and the target value set in the target value setting circuit 32 are supplied to the deviation value calculation circuit 42.
[0055]
The deviation value calculation circuit 42 calculates a deviation value between the input detection signal and the target value. In this case, in order to prevent hunting near the convergence point, the deviation value calculation circuit 42 determines whether or not the variation of the deviation value is smaller than 3%. , The output of the deviation value is set to 1. The deviation value processing routine in this case is shown in FIG.
[0056]
For example, in the process of step S1, the deviation value calculation circuit 42 sets a value obtained by dividing a difference between the input detection signal and the target value by a target value as a fluctuation rate of the deviation value. It is determined whether or not the value is small, and when it is determined that the value is small, the exposure value calculation circuit 43 outputs the deviation value as 1 in the processing of the subsequent step S2, and conversely determines that the value is large. In this case, a value obtained by dividing the detection signal by the target value in the process of step S3 is output to the exposure time calculation circuit 43 as a deviation value. Therefore, by performing such processing, a dead zone is provided, and hunting near the target value is prevented.
[0057]
The exposure time calculation circuit 43 calculates the exposure time based on the supplied deviation value from the deviation value calculation circuit 42. In this case, the exposure time calculation circuit 43 calculates the quotient of the input deviation value and the exposure time of the previous field as the exposure time of the next field. The exposure time calculation circuit 43 is connected in parallel with a delay circuit (delay circuit, which is denoted by D in the figure) 45. The output of the exposure time calculation circuit 43 is input to the delay circuit 45. Then, the obtained delay output is fed back to the exposure time calculation circuit 43 to be input again, so that the above-described exposure time of the previous field is generated.
[0058]
Then, the exposure time calculation result obtained by the exposure time calculation circuit 43 is supplied to the element shutter data conversion circuit 44.
[0059]
The element shutter data conversion circuit 44 converts the supplied exposure time into an element shutter control signal 104, and supplies it to the CCD driver 15 via a loop filter 46 as a phase adjustment unit and a phase adjustment omitting unit at a subsequent stage. ing.
[0060]
In the present embodiment, the element shutter control signal 104 corresponds to, for example, a sweep pulse Pa shown in FIG.
[0061]
5A and 5B are waveform diagrams showing the control operation by the element shutter control circuit 39. FIG. 5A is a vertical synchronizing signal, FIG. 5B is a horizontal synchronizing signal, and FIG. FIG. 5D shows a pulse (element shutter control signal 104) and an accumulation signal, respectively.
[0062]
In the element shutter control circuit 39, for example, 262.5 horizontal synchronization signals shown in FIG. 5B are generated in the vertical scanning period (1 V) shown in FIG. .
[0063]
If the element shutter control signal and the like are formed in the effective period of the horizontal synchronization signal, there is a disadvantage that noise is generated on the image. To prevent this, the element shutter control signal is generated as shown in FIG. It is formed during each blanking period B of the horizontal synchronization signal shown in FIG.
[0064]
For example, in the example shown in FIG. 5C, the sweep pulse Pa is formed from the horizontal synchronization signal 1 to the blanking period B of the horizontal synchronization signal 131 based on the exposure control signal, and the readout pulse Pb is generated in the last blanking period B. And within the blanking period of the vertical synchronizing signal.
[0065]
Then, as shown in FIG. 5D, the accumulated signal accumulated in each element of the CCD 11 is once swept by the sweep pulse Pa, and further accumulated, and the accumulated charge amount of 100 is read out pulse. It will be read by Pb.
[0066]
In the present embodiment, the loop filter 46 to which the element shutter control signal is supplied is arranged at the last stage of each circuit block in the element shutter control circuit 39.
[0067]
The loop filter 46 is constituted by a digital filter having a lag-lead filter phase characteristic as shown in FIG. 4, for example. Specifically, as shown in FIG. 5, the loop filter 46 includes first and second switch circuits 46A and 46B as switching means, three multipliers 46a1, 46a2 and 46a3, and two delay circuits 46b1. , 46b2 and an adder 46C.
[0068]
The first switch circuit 46A is supplied with an element shutter control signal from the element shutter data circuit 44 (see FIG. 3), and receives an input element shutter signal in accordance with the halation control signal 106 from the halation determination circuit 47 described above. The control signal is switched to the L output terminal or the H output terminal for output.
[0069]
The halation control signal 106 is supplied to the second changeover switch 46B in the same manner as described above, and the output of the loop filter 46 is interlocked with the first changeover switch 46A based on the halation control signal 106. Is switched to the L output terminal or the H output terminal, and is output to the CCD driver 16 as the element shutter control signal 104.
[0070]
The H output terminal of the first switch circuit 46A and the H output terminal of the second switch circuit 46B are electrically connected as shown in FIG. A path for outputting the element shutter control signal 104 from the element shutter data conversion circuit 44 to the CCD driver 16 without passing through the loop filter 46 is formed.
[0071]
On the other hand, in the loop filter 46, the multiplier 46a1 is connected via the L output terminal of the first switch circuit 46A, and the multiplier 46a1 multiplies the input element shutter control signal by a predetermined coefficient e. And outputs the result to the adder 46C and the delay circuit 46b1.
[0072]
The delay circuit 46b1 performs a delay process on an output signal from the multiplier 46a1, and outputs the signal to the next multiplier 46a2. The multiplier 46a2 multiplies the output signal from the delay circuit 46b1 by a predetermined coefficient f and outputs the result to the adder 46C.
[0073]
The output signal of the adder 46C is output to the L output terminal of the second switch circuit 46B and another delay circuit 46b2. The delay circuit 46b2 performs a subtraction process on the output signal of the adder 46C, and outputs the result to the multiplier 46a3. The multiplier 46a3 multiplies the output signal from the delay circuit 46b2 by a predetermined coefficient g, and outputs the result to the adder 46C.
[0074]
The adder 46C adds the output signals of the previous-stage multiplier 46a1, the multiplier 46a2, and the multiplier 46a3 that feeds back, and adds the addition result to the L output terminal of the second switch circuit 46B as described above. Output to the delay circuit 46b2.
[0075]
That is, each circuit group disposed between the L output terminal of the first switch circuit 46A and the L output terminal of the second switch circuit 46B establishes a path for obtaining the operating characteristics of the normal loop filter 46. It is forming.
[0076]
With such a configuration, the loop characteristics of the element shutter are adjusted to prevent the occurrence of hunting.
[0077]
In the present embodiment, it is assumed that the light amount adjustment circuit unit 18 shown in FIG. 2 has been activated, and that halation has occurred on the screen.
[0078]
Then, the halation determination circuit 47 shown in FIG. 2 supplies the halation control signal 106 of “High” to the first and second switch circuits 46A and 46B shown in FIG. Switching control is performed so as to be an output terminal.
[0079]
In other words, the conduction between the H output terminals of the first and second switch circuits 46A and 46B allows the element shutter control signal 104 from the element shutter data conversion circuit 44 to pass through the loop filter 46 without passing through the loop filter 46. This is output to the CCD driver 16.
[0080]
As a result, when halation occurs, the loop filter 46 is not operated, so that a faster response speed is guaranteed.
[0081]
On the other hand, when no halation occurs on the screen, the halation discriminating circuit 47 supplies the "Low" halation control signal 106 to the first and second switch circuits 46A and 46B shown in FIG. By doing so, switching control is performed so that these switches become the respective L output terminals.
[0082]
That is, the element shutter control signal 104 from the element shutter data conversion circuit 44 is output to a circuit of three multipliers 46a1, 46a2, 46a3, two delay circuits 46b1, 46b2, and an adder 46C which constitute the loop filter 46. After the phase is adjusted by the group, the output is output to the CCD driver 16.
[0083]
Thereafter, the element shutter control signal 104 output from the loop filter 46 is input to the CCD driver 16 as described above, and the exposure time of the solid-state imaging device CCD 11 is controlled based on the element shutter control signal 104.
[0084]
Therefore, according to the present embodiment, when halation occurs on the screen, the element shutter control signal 104 can be output to the CCD driver 16 without passing through the loop filter 46. Since the operation can be performed, the generated halation can be eliminated quickly, and after the halation is eliminated, the loop filter 46 can be operated. Therefore, hunting occurring near the target value can be prevented. .
[0085]
Further, in the present embodiment, by arranging the loop filter 46 after the element shutter data conversion circuit 44 as described above, the operation can be performed in consideration of the error of each circuit group in the previous stage. As compared with the element shutter control circuit 50 shown in (1), the accuracy required in the exposure time calculation can be further improved. However, such an arrangement configuration of the loop filter 46 is effective when configuring a light amount control device that simultaneously performs element shutter control and aperture control.
[0086]
Note that the present invention is not limited to the above embodiment, and is applied to the present invention as long as it does not depart from the scope of the invention.
[0087]
【The invention's effect】
As described above, according to the present invention, the halation can be eliminated by performing the electronic shutter control at a higher reaction speed when the halation occurs, and after the halation is eliminated, the light amount control is performed so as to prevent hunting near the halation threshold. An electronic endoscope that can be realized.
[Brief description of the drawings]
FIG. 1 is a conceptual diagram illustrating an embodiment of a light amount control device for an electronic endoscope according to the present invention, and illustrating a configuration of an entire electronic endoscope system including the light amount control device.
FIG. 2 is a block diagram showing a specific configuration of a light amount adjustment circuit unit in FIG. 1;
FIG. 3 is a block diagram showing a specific configuration of an element shutter control circuit of FIG. 2;
FIG. 4 is a circuit diagram showing a specific configuration of the loop filter shown in FIG.
FIG. 5 is a waveform chart for explaining a control operation by an element shutter control circuit shown in FIG. 2;
FIG. 6 is a flowchart showing a deviation value calculation processing routine by the deviation value calculation circuit shown in FIG. 3;
FIG. 7 is a block diagram showing a specific configuration of a conventional element shutter control circuit.
[Explanation of symbols]
11 ... imaging device (CCD),
12 ... preamplifier,
13 ... CDS circuit,
14 ... A / D converter,
15 ... Video processing circuit,
16 ... CCD driver,
17. Synchronous signal generation circuit (SSG)
18. Light amount adjustment circuit section
19 ... light amount operation unit,
20 ... lamp,
21 ... Aperture,
22 ... Light guide,
31 ... Detection circuit,
32: target value setting circuit
33 ... Aperture control loop filter
34 ... Comparison circuit,
39: element shutter control circuit
42 ... deviation value calculation circuit
43 ... Exposure time calculation circuit
44 ... Element shutter data conversion circuit
45 delay circuit,
46 ... Loop filter,
46A: first changeover switch,
46B: second changeover switch,
46a1 to 46a3 ... multipliers,
46b1, 46b2 ... subtractors,
46C: Adder,
47 ... Halation discrimination circuit.

Claims (6)

被検体の被検部位を撮像して撮像信号を生成する撮像手段と、
前記撮像手段の露光量を制御する撮像駆動手段と、
前記撮像手段により生成された前記撮像信号から輝度情報を検出する検波手段と、
前記検波手段により検出された前記輝度情報に応じて前記撮像駆動手段に前記撮像手段の露光量を制御させる制御信号を生成する撮像駆動制御手段と、
前記撮像駆動制御手段より生成された前記制御信号の位相調整をして前記撮像駆動手段へ出力するための位相調整手段と、
前記検波手段により検出された前記輝度情報に応じて、前記位相調整手段による処理をせずに前記撮像駆動制御手段からの前記制御信号を前記撮像駆動手段へ入力させる制御を行う位相調整省略手段と、
を具備したことを特徴とする電子内視鏡の光量制御装置。
Imaging means for imaging a test site of a subject to generate an imaging signal,
Imaging drive means for controlling the amount of exposure of the imaging means,
Detection means for detecting luminance information from the imaging signal generated by the imaging means,
Imaging drive control means for generating a control signal for causing the imaging drive means to control the amount of exposure of the imaging means according to the luminance information detected by the detection means;
A phase adjustment unit for adjusting the phase of the control signal generated by the imaging drive control unit and outputting the control signal to the imaging drive unit;
A phase adjustment omitting unit that performs control to input the control signal from the imaging drive control unit to the imaging drive unit without performing processing by the phase adjustment unit in accordance with the luminance information detected by the detection unit; ,
A light amount control device for an electronic endoscope, comprising:
被検体の被検部位に照射される照明光を発光する発光手段と、
前記照明光が照射された前記被検部位を撮像して撮像信号を生成する撮像手段と、
前記撮像手段を駆動させる撮像駆動手段と、
前記撮像手段が生成した撮像信号に所定の信号処理を施して前記被検部位の画像を生成するための信号処理手段と、
前記撮像手段により生成された前記撮像信号から輝度情報を検出する検波手段と、
前記信号処理手段により生成された前記画像の明るさの変更に関する所望の目標値を設定する目標値設定手段と、
前記検波手段により検出された前記輝度情報と前記目標値入力手段により入力された前記目標値に応じて前記発光手段から前記被検部位に照射される前記照明光の光量を制御する照明制御手段と、
前記検波手段により検出された前記輝度情報と前記目標値入力手段により入力された前記目標値に応じて前記撮像駆動手段の動作を制御して前記撮像手段の露光量を制御させるための制御信号を生成する撮像駆動制御手段と、
前記撮像駆動制御手段より生成された前記制御信号の位相調整をして前記撮像駆動手段へ出力するための位相調整手段と、
前記検波手段により検出された前記輝度情報に応じて、前記位相調整手段による処理をせずに前記撮像駆動制御手段からの前記制御信号を前記撮像駆動手段へ入力させる制御を行う位相調整省略手段と、
を具備したことを特徴とする電子内視鏡の光量制御装置。
A light emitting unit that emits illumination light applied to a test site of the subject,
Imaging means for generating an imaging signal by imaging the test site irradiated with the illumination light,
Imaging driving means for driving the imaging means;
A signal processing unit for performing predetermined signal processing on the imaging signal generated by the imaging unit to generate an image of the test site;
Detection means for detecting luminance information from the imaging signal generated by the imaging means,
Target value setting means for setting a desired target value for a change in brightness of the image generated by the signal processing means,
An illumination control unit that controls the amount of the illumination light emitted from the light emitting unit to the test site according to the luminance information detected by the detection unit and the target value input by the target value input unit; ,
A control signal for controlling the operation of the imaging drive unit and controlling the exposure amount of the imaging unit according to the luminance information detected by the detection unit and the target value input by the target value input unit. Imaging drive control means for generating;
A phase adjustment unit for adjusting the phase of the control signal generated by the imaging drive control unit and outputting the control signal to the imaging drive unit;
A phase adjustment omitting unit that performs control to input the control signal from the imaging drive control unit to the imaging drive unit without performing processing by the phase adjustment unit in accordance with the luminance information detected by the detection unit; ,
A light amount control device for an electronic endoscope, comprising:
前記撮像駆動制御手段が生成した前記制御信号を、前記位相調整手段を介して前記撮像駆動手段へ入力させる経路と前記位相調整手段を介さずに入力させる経路とを選択的に切り替え可能に構成された切替手段をさらに具備し、
前記位相調整省略手段は、前記検波手段により検出された前記輝度情報の大きさとあらかじめ設定した前記撮像信号の輝度情報に関する所定の値との比較結果に応じて、前記切替手段を制御することを特徴とする請求項1又は請求項2に記載の電子内視鏡の光量制御装置。
The control signal generated by the imaging drive control means can be selectively switched between a path for inputting the control signal to the imaging drive means via the phase adjustment means and a path for inputting the control signal without passing through the phase adjustment means. Further comprising switching means,
The phase adjustment omitting unit controls the switching unit according to a comparison result between a magnitude of the luminance information detected by the detection unit and a predetermined value related to luminance information of the imaging signal set in advance. The light amount control device for an electronic endoscope according to claim 1 or 2, wherein
前記撮像駆動制御手段は、前記検波手段により検出された前記輝度情報と前記目標値入力手段により入力された前記目標値との間の偏差値を計算し、この計算結果に基づいて前記撮像駆動手段に駆動される前記撮像手段の露光量を制御することを特徴とする請求項2に記載の電子内視鏡の光量制御装置。The imaging drive control unit calculates a deviation value between the luminance information detected by the detection unit and the target value input by the target value input unit, and calculates the deviation value based on the calculation result. 3. The light amount control device for an electronic endoscope according to claim 2, wherein the exposure amount of the image pickup means driven in a controlled manner is controlled. 前記照明制御手段が前記被検部位に照射する前記照明光の光量を制御することで前記目標値入力手段により入力された前記目標値に達するまでに第1の時間を要し、且つ、前記撮像駆動手段に駆動される前記撮像手段の露光量を制御することで前記目標値入力手段により入力された前記目標値に応じて設定された前記撮像手段の露光量に達するまでに前記第1の時間よりも短い第2の時間を要することを特徴とする請求項2に記載の電子内視鏡の光量制御装置。The illumination control means controls a light amount of the illumination light applied to the test site, so that a first time is required to reach the target value input by the target value input means, and the imaging is performed. By controlling the exposure amount of the imaging unit driven by the driving unit, the first time until the exposure amount of the imaging unit set in accordance with the target value input by the target value input unit is reached. 3. The light amount control device for an electronic endoscope according to claim 2, wherein a second time shorter than that is required. 前記照明制御手段は、前記発光手段と前記被検部位との間に配置されて、前記発光手段から発光された照明光の光軸に挿脱されることで、前記照明光の光量を機械的に調整する絞り手段であることを特徴とすることを特徴とする請求項5に記載の電子内視鏡の光量制御装置。The illumination control unit is disposed between the light emitting unit and the inspection site, and is inserted into and removed from an optical axis of the illumination light emitted from the light emitting unit, thereby mechanically controlling the light amount of the illumination light. 6. A light amount control device for an electronic endoscope according to claim 5, wherein said control means is a stop means for adjusting the light amount.
JP2003118890A 2003-04-23 2003-04-23 Light control device for electronic endoscope Expired - Fee Related JP4231726B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003118890A JP4231726B2 (en) 2003-04-23 2003-04-23 Light control device for electronic endoscope

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003118890A JP4231726B2 (en) 2003-04-23 2003-04-23 Light control device for electronic endoscope

Publications (2)

Publication Number Publication Date
JP2004321414A true JP2004321414A (en) 2004-11-18
JP4231726B2 JP4231726B2 (en) 2009-03-04

Family

ID=33498303

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003118890A Expired - Fee Related JP4231726B2 (en) 2003-04-23 2003-04-23 Light control device for electronic endoscope

Country Status (1)

Country Link
JP (1) JP4231726B2 (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008125821A (en) * 2006-11-21 2008-06-05 Pentax Corp Electronic endoscope apparatus
JP2009095526A (en) * 2007-10-18 2009-05-07 Hoya Corp Endoscope apparatus
JP2013099573A (en) * 2006-07-11 2013-05-23 General Hospital Corp System and method for generating fluorescent light image
JP2014000259A (en) * 2012-06-19 2014-01-09 Hoya Corp Imaging operation control device of electronic endoscope
JP2014022828A (en) * 2012-07-13 2014-02-03 Toshiba Corp Camera module
US9226645B2 (en) 2004-12-08 2016-01-05 The General Hospital Corporation System and method for normalized diffuse emission epi-illumination imaging and normalized diffuse emission transillumination imaging

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9226645B2 (en) 2004-12-08 2016-01-05 The General Hospital Corporation System and method for normalized diffuse emission epi-illumination imaging and normalized diffuse emission transillumination imaging
JP2013099573A (en) * 2006-07-11 2013-05-23 General Hospital Corp System and method for generating fluorescent light image
JP2013121520A (en) * 2006-07-11 2013-06-20 General Hospital Corp System and method for generating fluorescent light image
JP2008125821A (en) * 2006-11-21 2008-06-05 Pentax Corp Electronic endoscope apparatus
JP2009095526A (en) * 2007-10-18 2009-05-07 Hoya Corp Endoscope apparatus
JP2014000259A (en) * 2012-06-19 2014-01-09 Hoya Corp Imaging operation control device of electronic endoscope
JP2014022828A (en) * 2012-07-13 2014-02-03 Toshiba Corp Camera module

Also Published As

Publication number Publication date
JP4231726B2 (en) 2009-03-04

Similar Documents

Publication Publication Date Title
JP4516503B2 (en) Imaging system and control method thereof
JP2010074313A (en) Imaging apparatus and method for controlling the same
JP2009145913A (en) Electronic camera and automatic focusing method
JPH0795151B2 (en) Endoscope device
JP2006047954A (en) Electronic camera and automatic focusing method
JP4231726B2 (en) Light control device for electronic endoscope
JP5922955B2 (en) Electronic endoscope system
JP5653163B2 (en) Endoscope device
JP2010187113A (en) Imaging apparatus, and white balance bracketing photographing program
JP2006215391A (en) Autofocus system
JP5225146B2 (en) Automatic dimming processing device for diagnostic medical device, image signal processing device for diagnostic medical device, and medical system
JP2006149935A (en) Light source unit for endoscope, and electronic endoscope device
JP4787032B2 (en) Endoscope image signal processing apparatus and electronic endoscope system
JP2011024901A (en) Electronic endoscope system and light control signal correcting method
JP2011235021A (en) Electronic endoscope system
JP2004349837A (en) Imaging apparatus and method thereof
JP4187578B2 (en) Light control device for electronic endoscope
JP2012095910A (en) Endoscopic image brightness detecting system and endoscope processor
JP2004321610A (en) Light intensity control device for electronic endoscope
JP2011040799A (en) Imaging device
JP2014023828A (en) Endoscope apparatus
JP2007209506A (en) Electronic endoscopic apparatus
JP4426220B2 (en) Electronic endoscope device capable of split photometry
JP4764295B2 (en) Infrared measurement display device
JP2007202951A (en) Endoscopic image signal processor and electronic endoscope system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050428

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20071221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080603

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080804

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20081118

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20081208

R151 Written notification of patent or utility model registration

Ref document number: 4231726

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111212

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111212

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121212

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131212

Year of fee payment: 5

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees