JP3691634B2 - 電子内視鏡装置 - Google Patents

電子内視鏡装置 Download PDF

Info

Publication number
JP3691634B2
JP3691634B2 JP12260497A JP12260497A JP3691634B2 JP 3691634 B2 JP3691634 B2 JP 3691634B2 JP 12260497 A JP12260497 A JP 12260497A JP 12260497 A JP12260497 A JP 12260497A JP 3691634 B2 JP3691634 B2 JP 3691634B2
Authority
JP
Japan
Prior art keywords
color
signal
correction
luminance signal
circuit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP12260497A
Other languages
English (en)
Other versions
JPH10313465A (ja
Inventor
学 矢島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP12260497A priority Critical patent/JP3691634B2/ja
Publication of JPH10313465A publication Critical patent/JPH10313465A/ja
Application granted granted Critical
Publication of JP3691634B2 publication Critical patent/JP3691634B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Endoscopes (AREA)
  • Color Television Image Signal Generators (AREA)
  • Processing Of Color Television Signals (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、表示手段に表示される画像に対する色信号に対して色補正を行う電子内視鏡装置に関する。
【0002】
【従来の技術】
近年、内視鏡は医療分野における診断とか必要に応じて処置具を用いた治療処置などに広く用いられるようになった。
図12は従来の電子内視鏡装置1を示す。この電子内視鏡装置1は電子内視鏡2を有し、この電子内視鏡2は細長で、例えば、可撓性の挿入部3を有し、この挿入部3の後端に太径の操作部4が連設されている。
【0003】
上記操作部4の後端付近からは側方に可撓性のユニバーサルケーブル5が延設され、このケーブル5の端部にコネクタ6が設けられている。
上記電子内視鏡2は上記コネクタ6を介して、光源装置7及び映像信号処理装置としてのビデオプロセッサ8(図13参照)が内蔵された制御装置9に接続されるようになっている。
更に、上記制御装置9には、カラーモニタ10が接続されるようになっている。
【0004】
上記挿入部3はその先端側に設けた硬性の先端部11と、この先端部11の後端にに隣接して設けられた湾曲可能な湾曲部12と、この湾曲部12の後端から操作部4の前端まで延出された可撓性の可撓部13とが順次設けられている。
【0005】
また、上記操作部4に設けられた湾曲操作ノブ14を回動操作することによって、上記湾曲部12を左右方向あるいは上下方向に湾曲できるようになっている。
また、上記操作部4の前端付近には、上記挿入部3内に設けられた図示しない処置具チャンネルに連通する挿入口15が設けられている。
【0006】
図13は図12における電子内視鏡2等の内部構成を示す。図13に示すように、電子内視鏡2の挿入部3内には照明光を伝達するライトガイド17が挿通されている。このライトガイド17の先端面は挿入部3の先端部11に配置され、この先端面から照明光を出射できるようになっている。また、上記ライトガイド17の入射端側はユニバーサルケーブル5内に挿通されて、上記コネクタ6に接続されている。
【0007】
また、上記先端部11には対物レンズ系18が設けられ、この対物レンズ系18の結像位置に固体撮像素子19が配設されている。この固体撮像素子19は可視領域を含め、紫外領域から赤外領域に至る広い波長域で感度を有している。上記固体撮像素子19には、信号線21、22が接続され、これら信号線21、22は上記挿入部3及びユニバーサルケーブル5内に挿通されて上記コネクタ6に接続されている。
【0008】
一方、制御装置9内に設けた光源装置7は紫外光から赤外光に至る広帯域の光を発光するランプ23を備えている。このランプ23としては、一般的なキセノンランプやストロボランプなどを用いることができる。上記キセノンランプやストロボランプは可視光のみならず、紫外光及び赤外光を発光する。
【0009】
このランプ23の光はコンデンサレンズ24により集光されてライトガイド17の入射端に入射され、このライトガイド17を介して先端面に導かれ、この先端面から出射されて、観察部位等を照明するようになっている。
【0010】
この照明光による観察部位等の被検体(被写体)からの戻り光は対物レンズ系18によって、固体撮像素子19上に結像され、光電変換されるようになっている。
【0011】
この固体撮像素子19は上記信号線21を介して上記制御装置9内のビデオプロセッサ8を構成するドライバ25からの駆動パルスが印加され、この駆動パルスによって光電変換された被検体の画像に対応した電気信号(映像信号)の読み出しが行われるようになっている。
【0012】
この固体撮像素子14から読み出された電気信号は上記信号線22を介して上記制御装置9内または電子内視鏡1内に設けられたプリアンプ26に入力されるようになっている。このプリアンプ26で増幅された映像信号はA/Dコンバータ27によってデジタル信号に変換され、プロセス回路28に入力される。このプロセス回路28にて色差色信号作成、γ補正及びホワイトバランスなどの信号処理を施され、画質補正回路29に入力する。
【0013】
前記画質補正回路29では、Y,R−Y,B−Y色信号がそれぞれに入力され、入力信号の大きさにより所定の補正を受ける。この補正は予め設定された値あるいは外部より設定された値によって行われる。
【0014】
上記画質補正回路29によって、色補正された色差色信号は3つのメモリ31a、31b、31cに記憶されるようになっている。これらメモリ31a、31b、31cに記憶された色差色信号は同時に読み出されD/Aコンバータ32によってアナログ信号に変換され、色差色信号として出力されるとともに、エンコーダ33に入力され、このエンコーダ33からNTSCコンポジット信号として出力されるようになっている。
【0015】
そして、上記色差色色信号またはNTSCコンポジット信号がカラーモニタ10に入力され、このカラーモニタ10によって観察部位がカラー表示されるようになっている。
【0016】
また、上記制御装置9内には、システム全体のタイミングを作るタイミングジェネレータ34が設けられ、このタイミングジェネータ34によってドライバ25などの各回路間の同期が取られている。
【0017】
電子内視鏡装置1を使用した診断ではカラーモニタ10に映し出された映像をもとに術者は患部の状態を診断する。画質補正回路29はその処置のために術者が電子内視鏡2による映像を適正と思われる色や、患部がより浮き出るような色調に補正できるようにする回路である。
【0018】
図14は画質補正回路29内の色差色信号による色補正回路36を示す。また、図15は通常の処理は色差色信号にて行い、色補正をRGB色信号による補正の場合である。
【0019】
図14では色補正前の値を(Y,R−Y,B−Y)とし、色補正後の値を(Y′,(R−Y)′,(B−Y)′)とする。色補正を式で表すと以下のようになる。この場合、色補正式Cを式(2)で示す。
【0020】
【数1】
Figure 0003691634
式(1)からも輝度信号Y′には補正による係数は掛かっておらず、輝度成分が補正の前後にて保たれていることがわかる。また、輝度信号を意識的に変化させる場合は式(2)中の下線部の係数を変えれば良い。
【0021】
次に色補正をRGB色信号にて行う場合である。図15は通常の処理が色差色信号の画質補正回路内でRGB色信号にて色補正を行うときのブロック図である。
【0022】
色差/RGB変換回路37は色差色信号からRGB色信号への変換を行う。色補正回路38は色補正を行う。そして、RGB/色差変換回路39はRGB色信号から色差色信号へ戻す色差/RGB変換回路37の逆変換を行う。
【0023】
これらの段取りを経て色補正を行う。色補正前の(色差色信号→RGB色信号への変換前)の色差色信号を(Y,R−Y,B−Y)、色変更前のRGB色信号を(R,G,B)、色補正後のRGB色信号を(R′,G′,B′)、色補正後(RGB→色差色変換後)の色差色信号を(Y′,(R−Y)′,(B−Y)′)とし色差色信号からRGB色信号への変換式をA-1、色補正式をK、RGB色信号から色差色信号への逆変換式をAとすると下記のように(3)、(4)、(5)となり、(5)に(4),(3)を代入することにより(6)となり、(6)におけるK,A,A-1として(7)を代入して計算すると、(8)となる。
【0024】
【数2】
Figure 0003691634
RGB色信号での色補正は色差色空間での補正範囲の限定などで自由度があるなどの利点がある。
【0025】
【発明が解決しようとする課題】
しかしながら、RGBによる色補正は(8)式からもわかるように輝度信号成分に係数が掛かってくるためなんらかの輝度変化が起きる。つまりRGB色信号にて色補正を行う場合、色相が変化するが、輝度の変化もしてしまう。
【0026】
輝度信号が変化することは明るさの変化であり、見え方にも影響を与えるため、同じ輝度値に保つためには輝度レベルを調整しなけらばならない。カラーモニタ10に表示される色調により診断を行う電子内視鏡装置にとって所望以外の部分(色相を換えるつもりが、明るさまで変化してしまう)が変化してしまうことは必ずしも良いことではない。
【0027】
(発明の目的)
本発明は、上述した点に鑑みてなされたもので、RGB等の色信号て色補正を行う際でも輝度変化の少ない色補正を行うことができる電子内視鏡装置を提供することを目的とする。
【0028】
【課題を解決するための手段】
本発明による電子内視鏡装置は、被写体からの光情報を電気信号に変換する撮像手段を有する電子内視鏡と前記撮像手段から出力される電気信号を映像信号に処理する映像信号処理手段と入力された前記映像信号の色調を補正し出力を行う色調補正手段と前記色調補正手段で補正された色調で画像を表示する画像表示手段と、前記色調補正手段に入力される前の前記映像信号における第1の輝度信号レベルと前記色調補正手段から出力される補正された映像信号における第2の輝度信号レベルとを比較する輝度信号比較手段と、前記輝度信号比較手段の比較結果に基づき、前記色調補正手段から出力される補正された色調における輝度信号レベルを補正し、前記色調補正手段による色調補正前の輝度信号レベルに補正する輝度信号補正手段と、を具備したことを特徴とし、前記映像信号処理手段は前記撮像手段から出力される電気信号から第1の色信号を生成する第1の色信号生成手段と前記第1の色信号から第1の輝度信号を生成する第1の輝度信号生成手段と前記第1の色信号に対して色調の補正を行い、第2の色信号を生成する色調補正手段と前記第2の色信号から第2の輝度信号を生成する第2の輝度信号生成手段と前記第1の輝度信号と前記第2の輝度信号を比較する輝度信号比較手段と前記輝度信号比較手段の比較結果に基づき、前記第2の輝度信号を補正するための輝度信号補正手段とを有することを特徴とする。
【0029】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を具体的に説明する。
(第1の実施の形態)
図1及び図2は本発明の第1の実施の形態に係り、図1は本発明の第1の実施の形態における画質補正回路の構成を示し、図2は図1における輝度信号比較回路の構成を示す。
【0030】
本発明の映像信号処理装置の第1の実施の形態は図13のビデオプロセッサ8において、画質補正回路29の代わりに図1の構成の画質補正回路41を用いた構成となっている。
【0031】
図1の画質補正回路41は基本的には色差色信号にて映像処理を行い、色補正のみRGB色信号にて処理する場合の構成になっている。
【0032】
図12のプロセス回路28から出力される色差色信号は色差/RGB変換回路42に入力され、RGB色信号に変換される。この色差/RGB変換回路42から出力されるRGB色信号は色補正回路43に入力され、RGB色信号に対して決められた補正式を施すことにより色補正を行う。
【0033】
この色補正回路43から出力されるRGB色信号はRGB/色差変換回路44に入力され、色補正を施されたRGB色信号を再び色差色信号に変換される。
【0034】
また、プロセス回路28から出力される色補正前の輝度信号YとRGB/色差変換回路44から出力される色補正後の輝度信号Y′とは輝度信号比較回路45に入力され、比較した値に応じた出力信号を出力する。
【0035】
この輝度信号比較回路45の出力信号は輝度信号補正回路46に入力され、この輝度信号補正回路46は色補正後の輝度信号Y′を再補正する。
【0036】
ここでは色補正前の色差色信号を(Y,R−Y,B−Y)、色補正後の色差色信号(Y′,(R−Y)′,(B−Y)′)とし、さらに輝度信号補正回路46によるは色補正後の輝度信号Y′を再補正した輝度信号をY″とする。
【0037】
図2は輝度信号比較回路45の構成をブロック図で示す。一方の端子Aに入力された輝度信号Yは時間合わせ回路47を経て比較回路48に入力される。この時間合わせ回路47はこの輝度信号Yと色補正後の輝度信号Y′、つまり信号処理分の時間を合わせるためである。他方の端子Bに入力された輝度時間Y′はそのまま比較回路48に入力される。
比較回路48に入力された両輝度信号Y、Y′はここでその大きさが比較され、その差分に応じた補正係数値を出力する。
【0038】
つまり、比較回路48ではC=Y′−Yの計算を行う。C>0のとき色補正後の輝度信号Y′は色補正前より大きくなっていることを示し、C=0のとき大きさの変化はなし、C<0のとき小さくなっている。
【0039】
この計算結果により、輝度信号補正値作成回路49はC<0のときは輝度信号Y′を小さくする補正係数値を、C=0のきは1を、C<0のときは輝度信号Y′を大きくする補正係数値を輝度信号補正値作成回路49に出力する。
【0040】
そして、輝度信号補正値作成回路49は輝度信号比較回路45からの補正係数値により、色補正後の輝度信号Y′に対して乗除算或いは加減算等して色補正後の輝度信号Y′の値を加減する補正をして輝度信号Yの値と殆ど同じ値の再補正された輝度信号Y″を生成する。
【0041】
この画質補正回路41から出力される色差色信号(Y″,(R−Y)′,(B−Y)′)は図のメモリに一時記憶され、所定のタイミングで読み出された後D/Aコンバータなどを経てカラーモニタ10に表示される。
【0042】
このような構成によればRGB色信号によって色補正を行った場合でも輝度信号の大きさは変化しないような色補正を行うことができる。従って、色補正により、輝度レベルを変化させることなく、純粋に色調による色強調等ができ、病変の初期状態のように微妙な色変化を検出し易くできる。
【0043】
従って、本実施の形態によれば、輝度信号の大きさは変化しないような色補正を行うことができるので、色補正の後にさらに輝度調整を行って、同じ輝度値に設定する操作を不要にできる効果がある。
【0044】
(第2の実施の形態)
第1の実施の形態では入力される信号が色差色信号の場合に対して色補正することを説明した。これに対し、本実施の形態では信号処理方式としてRGB色信号による方式の場合について説明する。
【0045】
例えば、図13において、プロセス回路28によりRGB色信号が生成され、そのRGB色信号に対して図3の画質補正回路51で画質補正し、その出力信号をメモリ31a,31b,31cで一時記憶し、D/Aコンバータ32でアナログの信号に変換し、さらにエンコーダ33でコンポジット信号に変換してカラーモニタ10で表示されるようにしている。
【0046】
画質補正回路51に入力される色補正前のRGB色信号は色補正回路52に入力され、この色補正回路52は予め決められた補正式を施し色補正をRGB色信号に行う。
【0047】
この色補正回路52で色補正されたR′G′B′信号はマトリクス回路53に入力される。
また、色補正前のRGB色信号は輝度信号作成回路54に入力され、色補正前のRGB色信号より輝度信号Yを作成する。
【0048】
また、輝度信号作成回路55は色補正後のR′G′B′信号から輝度信号Y′作成する。そして、輝度信号作成回路54及び55で生成された両輝度信号Y,Y′は輝度信号比較回路56に入力される。この輝度信号比較回路56は第1の実施の形態で説明した輝度信号比較回路45と同じ構成のものを使用できる。
【0049】
この輝度信号補正回路56の出力信号は切換え回路57を介してマトリクス回路53に入力される。
【0050】
切換え回路57にはこの画質補正回路51の外部の装置、例えばはCPUからのCPUデータが入力され、切換え回路57で選択された補正係数値或いはCPUデータをマトリクス回路53に出力する。
【0051】
このマトリクス回路53は輝度信号補正回路56からの出力信号或いはCPUデータに応じて色補正後のRGB色信号を補正して、再補正されたR″G″B″色信号を出力する。
【0052】
次に本実施の形態の作用を説明する。
輝度信号作成回路54は色補正前のRGB色信号より輝度信号Yを作成し輝度信号比較回路56へ出力する。一方、色補正回路52に入力されたRGB色信号は予め決められた補正式にて色補正され出力される。
【0053】
色補正後のR′G′B′信号は輝度作成回路55とマトリクス回路53に入力され、輝度信号作成回路55は色補正後のR′G′B′より輝度信号Y′を作成し、両輝度信号YとY′は輝度信号比較回路56に入力される。
【0054】
この輝度信号比較回路56では第1の実施の形態と同様な手順にて比較が行われ、その結果の補正値が切換え回路57に出力される。この切換え回路57が輝度信号比較回路56の出力信号を選択した状態では、その補正係数値がマトリクス回路53に出力される。
【0055】
マトリクス回路53は輝度信号比較回路56の補正係数値を用いて、色相や、色のバランスを変えないように輝度信号を上げたり、下げたりするような補正式を色補正回路41の出力R′G′B′に対して行う。マトリクス回路45の出力は輝度信号Yのレベルを保ったものとなる。
【0056】
このような作用をすることにより全体をRGB色信号で信号処理を行う系に関しても色補正を行った際に、輝度変化を起こすことなく行うようになる。
【0057】
これにより、診断中に色補正を行ったときでも輝度変化によるコントラスト変化による見え方が異なってしまうような影響を与えることを少なくできるので、的確な診断をし易くできる。
【0058】
また、意識的に輝度差(コントラスト)等をつけたい補正を行う場合、図示しない選択手段にからの信号により切換え回路57をCPUデータ側に切換え、図示しないCPUより送られたCPUデータによりマトリクス回路53に供給する。これにより輝度値も変更するような様々の補正をさらに行うことができる。
【0059】
なお、この他に以下のようにして輝度信号のレベルを色補正の前後で変わらないようにして色補正を行うようにしても良い。
例えば、図4において、色補正回路52の入力信号と出力信号と色調整信号とをCPUに取り込み、このCPUの制御のもとで輝度信号のレベルを色補正の前後で変わらないように保って色調整を行うようにする。
【0060】
より具体的には、入力されるRGB信号から色補正前の輝度信号のレベルを検出し、その状態から輝度信号を一定に保って、例えば色調整を行った際にはその色調整を行った操作の色信号の増減に応じて他の色信号を輝度信号のレベルが一定になるように増減する。例えば、赤の色信号のレベルを増加した場合には、緑或いは青のレベルを減少し、輝度レベルが色補正の前後で一定になるようにする。
【0061】
この場合、輝度レベルを一定に保つために、さまざまな選択することができる。上記のように例えば赤の色信号のレベルを増加した場合には、緑或いは青のいずれのレベルを減少しても良いし、同時緑及び青を減少しても良いし、重み付けして減少させるようにしても良く、術者がそれらを選択できるようにしても良い。
【0062】
(第3の実施の形態)
次に本発明の第3の実施の形態を備えた電子内視鏡装置を説明する。本実施の形態は画像設定値を自動的に標準値に戻す機能を設けたものである。
【0063】
まず、その背景を図16を参照して説明する。図16は特開平8−122660号に開示されたものとほぼ同様の電子内視鏡装置61を示す。この電子内視鏡装置61は、電子内視鏡2と、この電子内視鏡2に照明光を供給する光源装置7と、電子内視鏡2の固体撮像素子19に対する映像信号処理を行う映像信号処理装置としてのビデオプロセッサ8と、このビデオプロセッサ8から出力される映像信号を表示するカラーモニタ10と、ビデオプロセッサ8に接続された画像ファイリング装置等の外部機器62とから構成される。
【0064】
なお、図12及び図13で説明した構成要素と同じものには同じ符号で示している。この電子内視鏡装置61では、固体撮像素子19に対する信号処理で作成した内視鏡画像の映像信号と、外部機器62からの映像信号とを切換回路63を介して選択的にカラーモニタ10に出力できるようにすると共に、ビデオプロセッサ8側にリセットスイッチ64を設け、外部機器62に異常が発生した場合、リセットスイッチ64を押すことによって、ビデオプロセッサ8側の内視鏡画像をカラーモニタ10に強制的に出力できるようにしている。
【0065】
具体的には図16に示すように、プロセス回路28の出力信号は切換回路63の接点Aに印加されると共に、映像信号出力端8Aを介して外部機器62に映像入力端62Aから入力される。また、この外部機器62の映像出力端62Bから出力される映像信号は外部映像信号入力端8Bを介して切換回路63の他方の接点Bに印加され、この切換回路63の共通接点Cはカラーモニタ10と接続され、この共通接点Cに接続された接点からの映像信号がカラーモニタ10に出力されるようになっている。
【0066】
この切換回路63の共通接点Cには通常は接点Bが接続され、この状態でリセットスイッチ64を操作することで、接点Aが共通接点Cと導通し、固体撮像素子19の内視鏡画像がカラーモニタ10に表示されるようにしている。
【0067】
図4に示す第3の実施の形態のビデオプロセッサ8を備えた電子内視鏡装置61Aは図16の電子内視鏡装置61のように固体撮像素子19に対する信号処理で作成した内視鏡画像の映像信号と、外部機器62からの映像信号とを切換回路63を介して選択的にカラーモニタ10に出力できるようにすると共に、ビデオプロセッサ8側にリセットスイッチ64を設け、外部機器62に異常が発生した場合、リセットスイッチ64を押すことによって、(固体撮像素子19に対する映像信号処理する)ビデオプロセッサ8側の内視鏡画像をカラーモニタ10に強制的に出力できるようにしたのもである。
【0068】
図4に示すようにプロセス回路28の出力信号は画質補正回路65を構成する色補正回路66に入力され、色補正された後、エンハンス回路(輪郭強調回路)67に入力され、輪郭が強調された後、切換回路63の接点Aに印加されると共に、映像信号出力端8Aを介して外部機器62の映像信号入力端62Aに入力される。
【0069】
また、この外部機器62で映像信号処理された或いは外部機器62の画像記録装置から再生されて出力される映像信号は映像出力端62Bからビデオプロセッサ8の外部映像信号入力端8Bを介して切換回路63の他方の接点Bに印加され、この切換回路63の共通接点Cはカラーモニタ10と接続され、この共通接点Cに接続された接点からの映像信号がカラーモニタ10に出力されるようになっている。
【0070】
この切換回路63の共通接点Cには通常は接点Bが接続され、この状態でリセットスイッチ64を操作することで、接点Aが共通接点Cと導通し、固体撮像素子19の内視鏡画像がカラーモニタ10に表示されるようにしている。
【0071】
また、色補正回路66は信号線aを介して色補正の補正値を設定する補正値設定回路68と接続され、この補正値設定回路68はさらにビデオプロセッサ8のフロントパネル等に設けた色調調整を行う色調調整スイッチ69と接続され、この色調調整スイッチ69を操作することにより色調整を自由に調整できる。色補正回路66は例えば第1の実施の形態のように輝度信号レベルを変えることなく色補正できるものである。
【0072】
また輪郭強調回路67は信号線bを介して輪郭強調の補正値を設定する補正値設定回路70と接続され、この補正値設定回路70はさらにビデオプロセッサ8のフロントパネル等に設けた輪郭強調の調整を行うエンハンス調整スイッチ71と接続され、このエンハンス調整スイッチ71を操作することによりエンハンス量(輪郭強調量)を自由に調整できる。
【0073】
また、リセットスイッチ64によるリセット信号は切換回路63に入力されると共に、補正値設定回路68、70にも入力されるようにしている。
【0074】
そして、このリセットスイッチ64を操作することにより、切換回路63の接点Aを強制的に共通接点Cと導通するようにすると共に、補正値設定回路68、70による補正値を標準の補正値に設定することができるようにしている。
【0075】
図5はこの電子内視鏡装置61のビデオプロセッサ8の正面図を示す。この図5に示すようにビデオプロセッサ8のフロントパネルには電源スイッチ74、信号コネクタ受け75、リセットスイッチ64、エンハンス調整スイッチ71、色調調整スイッチ69等が設けてある。
【0076】
この他に、ホワイトバランス設定スイッチなどが設けてある。また、プリント、スチルビデオ装置、ビデオディスク装置等が接続でき、静止画がプリント或いは記録するスイッチを操作することにより対応する装置でハードコピー或いは記録する機能を有する。
【0077】
次に本実施の形態の作用を説明する。
電子内視鏡装置61Aがカラーモニタ10への出力に外部機器62からの信号を出力している場合に外部機器62に異常等が起きたときカラーモニタ10へ出力する画像も乱れる。とりわけ、色調なども乱れる場合が多い。
【0078】
そのとき、リセットスイッチ64を押すことにより、カラーモニタ10への出力画像を内視鏡画像に切り換えると同時に色調等を標準値に戻すことにより外部機器62に異常が発生した場合でも安定した画像を供給することができる。
【0079】
上記ではリセットスイッチ64操作後の状態を標準値(工場出荷値)としているが、補正値設定回路68、70に於いて図示しない設定スイッチにより任意の色調及び輪郭強調量の画質設定状態に設定する操作を行っておくことにより、リセット後の状態を任意の値に設定することができるようにしても良い。
【0080】
また、このリセットにより初期設定の状態に戻した場合には、マニュアルによる画質設定手段としての色調調整スイッチ69及び輪郭強調調整スイッチ71の設定値(操作値)はリセットされて0に戻されるようにして、この状態からスイッチ操作を行うことにより、標準設定状態から設定することができる。
【0081】
本実施の形態では検査中場面に応じた色補正を行ったのち通常値(標準設定)にもどしたい場合や複数の術者が共通してこの電子内視鏡装置61Aを使用する場合に、他の術者の設定のために現在の画質設定状態が分からなくなったような場合にも、リセットスイッチ64を操作することによって標準的な画質設定状態に戻すことが可能である。
【0082】
なお、画質調整機能として、上記の他にコントラスト調整などにも同様に適用できる。
また、本実施の形態ではリセットスイッチ64により、カラーモニタ10に出力する画像をビデオプロセッサ8側の画像にすると共に、色補正及び輪郭強調の画質設定状態も標準値に戻すようにしているが、これに限定されることなくカラーモニタ10に出力する画像をビデオプロセッサ8側の画像にするリセットスイッチと色補正等の画質設定を標準値に戻す画質設定リセットスイッチとをそれぞれ設けるようにしても良い。
【0083】
さらに初期設定用リセットスイッチ或いは標準状態設定用スイッチを設け、画質を標準状態に設定すると共に、外部機器11との電気的接続状態を標準的な電気的接続状態(例えば外部機器からの画質制御を行うことが可能であるが、その制御が行われていない状態)に設定するようにしても良い。
【0084】
これら画質設定リセットスイッチの場合には、外部機器11は異常ではないので、画質設定リセットスイッチの操作によりカラーモニタ10への出力を外部機器11のものから内視鏡画像へ切り換える必要はない。
【0085】
図6は第3の実施の形態の第1の変形例の電子内視鏡装置61Bを示す。この第1の変形例は図4のビデオプロセッサ8が2接点A,Bを切り換える切換回路63の代わりに例えば4接点A,B,C,Dを切り換える切換回路63′を有する。
【0086】
また、接点Aは映像信号出力端8Aと接続され、この映像信号出力端8AはVTR、ビデオプリンタ、写真撮影装置等の複数の外部機器62ー1、62ー2、62ー3の各映像信号入力端62Aに接続され、他の接点B,C,Dは外部機器62ー1、62ー2、62ー3の各映像信号出力端62Bにそれぞれ接続されている。
【0087】
その他の構成は図4と同様である。そして、切換回路63′により、4接点A,B,C,Dの内の任意の接点を共通接点Eと導通させることにより、その接点Eと接続された外部機器62−J(J=1又は2又は3)の映像出力をカラーモニタ10に出力することができる。
【0088】
そして、仮にその外部機器62−Jに異常等が起きたときカラーモニタ10へ出力する画像も乱れる。とりわけ、色調なども乱れる場合が多い。
【0089】
そのとき、リセットスイッチ64を押すことにより、カラーモニタ10への出力画像をビデオプロセッサ8による固体撮像素子19で撮像された内視鏡画像に切り換えると同時に色調等を標準値に戻すことにより外部機器62−Jに異常が発生した場合でも安定した画像を供給することができる。
【0090】
従来の切換回路では、切り換えの順序は接点A→B→C→D→Aとなる。従って接点BがONの状態で異常が起きた場合は3回もスイッチを押さないと内視鏡画像には戻らない。これに対し、このビデオプロセッサ8ではリセットスイッチ64を押すことにより出力画像がどれであっても速やかに内視鏡画像に戻すことが出来る。
【0091】
なお、図6では色調等も標準値に戻す構成にしているが、図11に示す電子内視鏡装置61Cのように図6における色補正回路66等の画質補正回路65を設けない構成のビデオプロセッサ8にして、リセットスイッチ64の操作により、ビデオプロセッサ8側の内視鏡画像を出力できるようにしても良い。
【0092】
また、図4の第2の変形例として図7のような構成にしても良い。この第2の変形例は外部機器からの映像信号を監視して切り換えるものである。図7の電子内視鏡装置61Dは図4のビデオプロセッサ8において、信号監視回路72を設け、この信号監視回路72は映像信号入力端8Aからビデオプロセッサ8に入力される外部機器62からの映像信号を監視する。
【0093】
この信号監視回路72はその第1の出力端72Aから(外部機器62より入力された)映像信号を出力すると共に、この映像信号を監視して、異常を検知した場合には第2の出力端72Bからリセット信号を出力する。
【0094】
第1の出力端72Aは切換回路63の接点Bに接続され、第2の出力端72Bは論理和回路73一方の入力端に接続され、この論理和回路73の他方の入力端にはリセットスイッチ64が接続され、この論理和回路73の出力信号で切換回路63をリセットする。
【0095】
内視鏡検査中に外部機器62に何らかの異常が発生した場合、外部機器62から出力される映像信号も異常になる恐れがある。
特に出力される映像信号がコンポジット信号の場合、映像信号と同時に同期信号にも波形の乱れや信号レベルの変化、不連続といった異常が現れる。信号監視回路72はその異常(電圧レベルなど)を検知すると、リセット信号を発する。そして、論理和回路73は信号監視回路72またはリセットスイッチ64からの信号を受けると、切換信号を発し、切換回路63を切り換えてカラーモニタ10への出力を内視鏡画像へと切り換える。
【0096】
この装置61Dでは術者が術中に手を離せないような場面において外部機器62に何らかの異常が発生した場合、速やかに外部機器62に依存しない映像信号を出力することにより安全を保つことができる。
ここでは映像信号に信号監視回路72を設けたが後述のように通信回路に監視手段を設けても良い。
【0097】
この第2の変形例によれば、第3の実施の形態の作用及び効果の他に、さらに信号監視回路72によっても異常を検出した場合には自動的にリセットスイッチを操作したのと同様の作用及び効果を有する。
【0098】
なお、自動的に切り換えるのではなく、カラーモニタ10のコメント表示枠などに画質設定が許容される範囲から逸脱し、逸脱しない範囲に設定するにはリセットスイッチ64を操作して標準状態から必要に応じて画質の設定し直し行うような主旨の表示を行うようにしても良い。
【0099】
なお、図7においても画質補正回路65を有しない構成にしてもリセットスイッチ64の操作によってビデオプロセッサ8の内視鏡画像がカラーモニタ10に出力されるようにしても良い。
【0100】
図8は図4の第3の変形例の電子内視鏡装置61Eを示す。この第3の変形例では外部機器側に切換スイッチの制御機能を設けたものである。
図8の電子内視鏡装置61Dは図4の電子内視鏡装置61Bにおける外部機器62として記録装置81を用いている。
【0101】
この記録装置81は電気的にスルー信号を出力する機能を備えた装置である。つまり、図8に示すように映像信号入力端81Aに入力された映像信号は、バッファ82を介して出力信号切換回路83の接点Aに印加される信号処理系統(単に経路と略記)84Aと、記録補正の処理のため画質補正回路85及びこの画質補正回路85の出力信号の状態を検知する出力検知回路86を経て出力信号切換回路83の接点Bに印加される経路84Bとを有する。
【0102】
なお、画質補正回路85の出力は図示しない画像記録部にも入力される。
出力信号切換回路83の共通接点Cはこの記録装置81の映像信号出力端81Bと接続され、この映像信号出力端81Bはビデオプロセッサ8の映像入力端8Bを介して切換回路63の接点Bに接続されている。
【0103】
また、出力検知回路86は図示しないCPUなどを介して出力信号切換回路83の切換を制御している。
【0104】
外部機器としての記録装置81の基本的な動作は第3の形態と同様である。この基本動作に加えこの記録装置81は、以下の作用を行う。経路84Bで(画像記録部に記録される)映像信号を出力(モニタ)している際(切換回路83は接点Bを選択している。)その経路84Bに異常が発生した場合、その経路84Bの出力信号は異常になる。
【0105】
その信号を入力する出力検知回路86はそれを検知して図示しないCPUに検知信号を送る。それを受け取ったCPUは出力信号切換回路83に切換信号を送り、切換回路83を接点Bから接点Aに切り換える。
【0106】
この接点A側の経路84Aの信号は電気的なスルー信号であり経路84Bの異常には依存しないため入力と同等の信号を出力する。外部機器としての記録装置81としては経路84Bから経路84Aを経て出力することにより途切れなく映像信号を出力できる。この構成をとることにより、内視鏡検査中に記録装置81内の信号処理の経路84Bに異常が発生しても、途切れることなく内視鏡画像を出力することがでる。
【0107】
なおここでは、外部機器として記録装置81について説明を行ったが、同様の構成をとることにより、ビデオプロセッサ8に接続される外部機器においても同様に効果がある。
【0108】
(第4実施の形態)
次に図9を参照して本発明の第4の実施の形態を備えた電子内視鏡装置61Fを説明する。本実施の形態のビデオプロセッサ8は外部通信端子にて画像の設定を行う機能を備えたものである。図9の電子内視鏡装置61Fは図4のビデオプロセッサ8においてさらに外部機器用の通信端子8Eを有する。
【0109】
そして、この通信端子8Eには通信機能を有する外部機器62′の通信端子62Cと接続することにより、ビデオプロセッサ8内の画質補正回路65を経て外部機器62′に入力される映像信号に対し、外部機器62′側から色調及び輪郭強調量をそれぞれ調整することができるようにしている。
【0110】
ビデオプロセッサ8の色調調整及びエンハンス調整は補正値設定回路68′,70′の設定値により信号線a,bを経由して色調及び輪郭強調量を設定するようになっている。
【0111】
また、本実施の形態では図10に示す補正値設定回路68′のようにその設定値切換が制御できるようにしている。なお、補正値設定回路70′も同様の構成である。
【0112】
通信端子8Eと62Cとは制御信号線77とで接続され、通信端子62Cから補正値設定回路68′,70′に導かれる。外部機器62′が接続されているときは図10で接点68Aが導通する。このときに外部機器62′から送信される設定信号によって、ビデオプロセッサ8のフロントパネルからと同様に色調及びエンハンス量を可変設定できる。
【0113】
設定された色調及びエンハンス量の映像信号で外部機器62′内の図示しない記録装置で映像信号の記録が行われると共に、この映像信号が映像信号出力端62Bから出力され、切換回路63の接点Bを介してカラーモニタ10に出力され、この映像信号に対応する内視鏡画像が表示される。
【0114】
リセットスイッチ64からのリセット信号が送られると図10で接点68Bから接点68Aに切り換わり、外部機器62′からの送信信号を強制的に切り放し、図示しないディップスイッチ等の初期設定スイッチ(或いはプリセットスイッチ)と接続される状態に切り換え、この初期設定スイッチにより決定される標準的な色調及び輪郭強調量の設定状態にするようにしている。
【0115】
本実施の形態によれば、第3の実施の形態と同様に外部機器62′が異常な映像信号を出力する状態になった場合には外部機器62′からの通信信号も乱れている可能性がある。リセットスイッチ64をONする操作を行うことにより、図10に示すように補正値設定回路68′の接点68B(及び補正値設定回路70′の図示しない接点70B)から接点68A(及び補正値設定回路70′の図示しない接点70A)がONするように切り換えられて外部機器62′から電気的に切り放す。
【0116】
そして、第3の実施の形態と同様に映像信号が切換回路63の接点Aを介してカラーモニタ10に出力され、ビデオプロセッサ8自身の映像信号処理系による内視鏡画像となり、その補正信号も予め設定された値になる。
【0117】
一方、リセット後の外部機器62′側からの画質設定の制御は、例えば外部機器62′をリセットした後に、ビデオプロセッサ8に戻す応答信号に応じて決定される。例えばビデオプロセッサ8により外部機器62′が正常であると判断した場合には制御が開始され、正常でないと判断した場合には外部機器62′からの制御を受け付けない状態を維持する。
【0118】
このように本実施の形態は外部機器62′と通信手段で接続された場合にもリセットスイッチ64を操作することにより、第3の実施の形態と同様の作用及び効果を有すると共に、外部機器62′からの画質調整の制御も開放するようにしているので、外部機器62′が異常な状態になっても速やかにビデオプロセッサ8による内視鏡画像を表示できる。
【0119】
[付記]
1.複数の色信号が入力され、該色信号の信号レベルを調整することにより表示手段に表示される画像の色状態を補正する色補正手段を有する映像信号処理装置において、
前記色補正手段に入力された以前の前記複数の色信号における第1の輝度信号レベルと前記色補正手段から出力される補正された複数の色信号における第2の輝度信号レベルとを比較す輝度信号比較手段と、
前記輝度信号比較手段の比較結果に基づき、前記色補正手段から出力される補正された複数の色信号における輝度信号レベルを補正し、前記色補正手段による色補正前の輝度信号レベルに補正する輝度信号補正手段と
を具備したことを特徴とする映像信号処理装置。
【0120】
2.複数の色信号が入力され、該色信号の信号レベルを調整することにより表示手段に表示される画像の色状態を補正する色補正手段を有する映像信号処理装置において、
前記色補正手段に入力される複数の色信号に基づき第1の輝度信号を生成する第1の輝度信号生成手段と、
前記色補正手段から出力される補正され複数の色信号に基づき第2の輝度信号を生成する第2の輝度信号生成手段と、
前記第1の輝度信号と前記第2の輝度信号とを比較する輝度信号比較手段と、
前記輝度信号比較手段の比較結果に基づき、前記色補正手段から出力される補正された複数の色信号に対する輝度信号レベルを補正する輝度信号補正手段と
を具備したことを特徴とする映像信号処理装置。
【0121】
3.複数の色信号が入力され、該色信号の信号レベルを調整することにより表示手段に表示される画像の色状態を補正する色補正手段を有する映像信号処理装置において、
づき作成する第1の信号変換手段と、
前記色信号補正手段から出力される補正された複数の色信号に基づき補正された輝度信号および色差信号を出力する第2の信号変換手段と、
前記第1の信号変換手段に入力される輝度信号と前記第2の信号変換手段から出力される補正された輝度信号とを比較する輝度信号比較手段と、
前記輝度信号比較手段の比較結果に基づき前記第2の輝度信号変換手段から出力される補正された輝度信号の信号レベルをさらに補正する輝度信号補正手段と、
を具備したことを特徴とする映像信号処理装置。
【0122】
4.被写体からの光情報を電気信号に変換する撮像手段を備えた電子内視鏡と、
前記撮像手段の電気信号を映像信号処理する映像信号処理手段とを有する電子内視鏡装置において、
色調補正前後の輝度信号を検出する輝度信号検出手段と、
映像信号の色調を補正する色調補正手段と、
色調補正手段の前後の輝度信号を比較する輝度信号比較手段と
前記輝度信号比較手段の出力により色補正後の色信号を補正する補正手段とを備え、色調補正をRGB色信号で行い、色調補正前後において輝度信号のレベルを保つことを特徴とする電子内視鏡装置。
【0123】
5.内視鏡の撮像手段に対して画質調整手段を備えた映像信号処理装置により生成した第1の映像信号を切換回路を介してモニタ手段に出力すると共に、外部機器から入力される第2の映像信号を前記切換回路を介してモニタ手段に出力する電子内視鏡装置において、
第1の映像信号を前記切換回路から強制的に出力させると共に、画質調整手段を所定の設定値に強制的に設定するリセットスイッチを設けたことを特徴とする電子内視鏡装置。
【0124】
6.付記5において、前記画質調整手段は色調整を行う色補正回路と輪郭強調を行う輪郭強調回路とを有する。
7.付記5において、前記切換回路は複数の外部機器が接続された場合にも、リセットスイッチの操作により第1の映像信号を前記切換回路から強制的に出力させると共に、画質調整手段を所定の設定値に強制的に設定する。
8.付記6において、前記色補正回路は色補正の前後で輝度信号レベルが変わらないようにする。
9.付記5において、前記映像信号処理装置は外部機器と通信手段で接続され、
前記リセットスイッチの操作により通信手段による接続を解放する。
【0125】
(付記5〜9の背景)
現在の電子内視鏡装置の使用状態として、外部入力画像を電子内視鏡装置に入力し、双方、または片方の映像をモニタに映したり、電子内視鏡装置からの内視鏡画像を画像ファイル装置に入力し、その映像出力を電子内視鏡装置を経由してモニタに映したりしている。
これらの状態において電子内視鏡装置以外の装置にトラブルが発生、それら機器の出力の映像信号が乱れると、モニタの映像も乱れてしまっていた。そのような状態から復帰するとき、各装置ごとにリセットをしなければならず、これは時間もかかり、不便であった、また、色調等の設定値がDr.の好みにより異なる場合も多く、他のDr.が使用後に標準の値に戻すことが煩雑でめんどうであった。
【0126】
(付記5〜9の目的)
電子内視鏡装置に接続される機器にトラブルが発生したときに、それらの機器に電子内視鏡装置よりリセットできるようにすること。また、色調等の各種設定値があらかじめ決められた値に戻るようにできること。
【0127】
【発明の効果】
以上説明したように本発明によれば、色補正を行っても、色補正の前後において輝度信号レベルが変化しない状態で色補正のできる電子内視鏡装置を提供することできる
【図面の簡単な説明】
【図1】本発明の第1の実施の形態における画質補正回路の構成を示すブロック図。
【図2】図1における輝度信号比較回路の構成を示すブロック図。
【図3】本発明の第2の実施の形態における画質補正回路の構成を示すブロック図。
【図4】本発明の第3の実施の形態を備えた電子内視鏡装置の構成を示すブロック図。
【図5】第3の実施の形態のビデオプロセッサを示す正面図。
【図6】第3の実施の形態の第1の変形例の電子内視鏡装置の構成を示すブロック図。
【図7】第3の実施の形態の第2の変形例の電子内視鏡装置の構成を示すブロック図。
【図8】第3の実施の形態の第3の変形例の電子内視鏡装置の構成を示すブロック図。
【図9】本発明の第4の実施の形態を備えた電子内視鏡装置の構成を示すブロック図。
【図10】補正値設定回路の具体的な構成を示す図。
【図11】リセットスイッチによりビデオプロセッサ側の画像を出力する電子内視鏡装置の構成を示すブロック図。
【図12】従来例の電子内視鏡装置の全体を示す図。
【図13】図13における電子内視鏡などの構成を示す図。
【図14】図13の画質補正回路内の色差信号による色補正回路を示す図。
【図15】RGB信号で色補正を行う場合の色補正回路を示す図。
【図16】従来例の電子内視鏡装置を示すブロック図。
【符号の説明】
2…電子内視鏡
7…光源装置
8…ビデオプロセッサ
10…カラーモニタ
41…画質補正回路
42…色差/RGB変換回路
43…色補正回路
44…RGB/色差変換回路
45…輝度信号比較回路
46…輝度信号補正回路
47…時間合わせ回路
48…比較回路
49…輝度信号補正値作成回路

Claims (2)

  1. 被写体からの光情報を電気信号に変換する撮像手段を有する電子内視鏡と
    前記撮像手段から出力される電気信号を映像信号に処理する映像信号処理手段と
    入力された前記映像信号の色調を補正し出力を行う色調補正手段と
    前記色調補正手段で補正された色調で画像を表示する画像表示手段と
    前記色調補正手段に入力される前の前記映像信号における第1の輝度信号レベルと前記色調補正手段から出力される補正された映像信号における第2の輝度信号レベルとを比較する輝度信号比較手段と、
    前記輝度信号比較手段の比較結果に基づき、前記色調補正手段から出力される補正された色調における輝度信号レベルを補正し、前記色調補正手段による色調補正前の輝度信号レベルに補正する輝度信号補正手段と、
    を具備したことを特徴とする電子内視鏡装置
  2. 前記映像信号処理手段は
    前記撮像手段から出力される電気信号から第1の色信号を生成する第1の色信号生成手段と
    前記第1の色信号から第1の輝度信号を生成する第1の輝度信号生成手段と
    前記第1の色信号に対して色調の補正を行い、第2の色信号を生成する色調補正手段と
    前記第2の色信号から第2の輝度信号を生成する第2の輝度信号生成手段と
    前記第1の輝度信号と前記第2の輝度信号を比較する輝度信号比較手段と
    前記輝度信号比較手段の比較結果に基づき、前記第2の輝度信号を補正するための輝度信号補正手段と
    を有することを特徴とする請求項1記載の電子内視鏡装置
JP12260497A 1997-05-13 1997-05-13 電子内視鏡装置 Expired - Fee Related JP3691634B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP12260497A JP3691634B2 (ja) 1997-05-13 1997-05-13 電子内視鏡装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP12260497A JP3691634B2 (ja) 1997-05-13 1997-05-13 電子内視鏡装置

Publications (2)

Publication Number Publication Date
JPH10313465A JPH10313465A (ja) 1998-11-24
JP3691634B2 true JP3691634B2 (ja) 2005-09-07

Family

ID=14840061

Family Applications (1)

Application Number Title Priority Date Filing Date
JP12260497A Expired - Fee Related JP3691634B2 (ja) 1997-05-13 1997-05-13 電子内視鏡装置

Country Status (1)

Country Link
JP (1) JP3691634B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4786910B2 (ja) * 2005-02-07 2011-10-05 Hoya株式会社 電子内視鏡
JP4681407B2 (ja) * 2005-09-22 2011-05-11 日本放送協会 合焦領域表示画像生成装置及び合焦領域表示画像生成プログラム
JP4767649B2 (ja) * 2005-10-14 2011-09-07 富士フイルム株式会社 内視鏡装置
JP4895834B2 (ja) * 2007-01-23 2012-03-14 Hoya株式会社 画像処理装置
JP6456459B2 (ja) * 2017-11-16 2019-01-23 富士フイルム株式会社 医用画像処理装置

Also Published As

Publication number Publication date
JPH10313465A (ja) 1998-11-24

Similar Documents

Publication Publication Date Title
JP3730672B2 (ja) 電子内視鏡装置
KR100707896B1 (ko) 내시경 화상 처리 장치
US10523911B2 (en) Image pickup system
US11045079B2 (en) Endoscope device, image processing apparatus, image processing method, and program
US11330962B2 (en) Endoscope system, processor device, and method of operating endoscope system
JP2009131324A (ja) フィールドシーケンシャル撮像表示システム
JPH0690900A (ja) 電子内視鏡装置
JP3691634B2 (ja) 電子内視鏡装置
JP5855795B2 (ja) 内視鏡装置
JP5289176B2 (ja) 医療用ビデオプロセッサ
JPH1132983A (ja) 内視鏡撮像装置
JP2006346196A (ja) 内視鏡撮像システム
JP2902691B2 (ja) モニタ画像撮影装置
JPH0467851B2 (ja)
JP2004033334A (ja) 電子内視鏡
JP2713837B2 (ja) 電子内視鏡装置
JP4575538B2 (ja) 電子内視鏡の切替装置を含む電子内視鏡システム
JP4422474B2 (ja) 映像信号処理装置及び内視鏡撮像システム
JP2003153859A (ja) 電子内視鏡スコープ
JPH08313826A (ja) 電子内視鏡装置
JP4652681B2 (ja) 内視鏡撮像システム
JP2010279457A (ja) 電子内視鏡、電子内視鏡システムおよび色調整方法
JP3898896B2 (ja) 測光範囲を持つ内視鏡システム
JP2004321608A (ja) 内視鏡システム
JP2007125069A (ja) 画像信号処理装置、及び、電子内視鏡システム

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20040901

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20041005

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20041129

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050614

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050616

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080624

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090624

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090624

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100624

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110624

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120624

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees