JP4358531B2 - 内視鏡装置 - Google Patents
内視鏡装置 Download PDFInfo
- Publication number
- JP4358531B2 JP4358531B2 JP2003041607A JP2003041607A JP4358531B2 JP 4358531 B2 JP4358531 B2 JP 4358531B2 JP 2003041607 A JP2003041607 A JP 2003041607A JP 2003041607 A JP2003041607 A JP 2003041607A JP 4358531 B2 JP4358531 B2 JP 4358531B2
- Authority
- JP
- Japan
- Prior art keywords
- optical
- optical system
- solid
- optical axis
- imaging device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 0 CC1C*CCC1 Chemical compound CC1C*CCC1 0.000 description 1
Images
Landscapes
- Endoscopes (AREA)
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
Description
【発明の属する技術分野】
本発明は、内視鏡装置に関し、特に、仕様や用途の異なる複数種の内視鏡を接続し、被写体の画像をモニタで観察するための内視鏡装置に関する。
【0002】
【従来の技術】
内視鏡は、周知の通り、直接目視できない生体内等を観察することができ、医療分野を中心に診断、治療に広く使用されている。そして、近年、被写体像をCCD等の固体撮像素子によって電気信号に変換し、モニタにて観察可能とした電子内視鏡が普及している。
【0003】
このような内視鏡は、観察する部位に応じて種々の内視鏡が用いられる。内視鏡は、光源装置や信号処理回路を含むカメラコントローラ(信号処理装置)等に接続されて使用される。また、信号処理回路には、画質向上や被写体の強調を目的とした画像処理回路が搭載されており、コントラスト改善のために、例えば、次に示すような、対称な2次元デジタルフィルタが用いられている。この次に示すマトリックスは、中心画素とその周囲の画素の値に対する係数を決定するものである。
【0004】
−1 −5 −1
−5 25 −5
−1 −5 −1
一方、内視鏡光学系には、光学系の簡易さ、操作性の良さから、固定焦点光学系が一般的に用いられ、その観察部位に応じて必要な被写界深度が得られるように設計されている。しかし、固定焦点光学系で被写界深度を広くすると光学系のFナンバーを大きくする必要があり、明るさが低下するといった問題が生じる。さらに、光の回折限界の理由から被写界深度の拡大には限界がある。
これに対し、光学系の被写界深度を拡大する手法は、例えば、米国特許5,748,371号や「Edward R.Dowski, Jr., W.Thomas Cathey, ”Extended depth of fieldthrough wave−front coding”, Appl.Opt.Vol.34, 1859−1866(1995)」等に開示されている。図21は、従来例による拡大被写界深度光学系の構成を概略的に示す図である。
【0005】
この手法による装置は、図21に示されるように、CCD等の撮像手段104と、物体101の像を撮像手段104の受光面に結像させるレンズ系103である光学系の瞳位置に配置されたキュービック位相変調マスク102と、撮像手段104からの画像データに基づいて画像を構築する画像処理装置105とを有している。
【0006】
キュービック位相変調マスク102は、一方の面は平面で、他方の面は図22に示されるようにZ=A(X3+Y3)で表される形状をなしている。図22は、このキュービック位相変調マスクの外観形状を説明するための図である。Aは、任意の係数である。すなわち、一方の面は、XY平面上の平面であり、他方の面は、XY平面に直交するZ軸方向に上記の式を満たす三次元曲面である。図22は、X及びYが−1から+1の範囲における三次元曲面の状態を説明するための図である。従って、三次元曲面形状は、係数Aに応じて変化する。
【0007】
キュービック位相変調マスク102は、これを通過する光の位相にP(X,Y)=exp(jα(X3+Y3))のずれを与える。ここで、係数αは、20よりも十分に大きな値が好ましく、これにより光学的伝達関数(以下、OTFともいう。)のレスポンスは0.2以下となり、回転非対称な収差(ボケ)による点像の大きさは、撮像手段104の画素に比べ十分に大きくなる。
【0008】
このようなキュービック位相変調マスク102を持たない通常の光学系の場合、物体101が合焦位置からずれるに従って光学的伝達関数のレスポンスの様子は、図23から図24へ変化し、物体101がさらにずれると図24から図25へと変化する。
【0009】
図23は通常の光学系において物体が焦点位置にあるときの光学的伝達関数(OTF)のレスポンスを示すグラフである。図24は通常の光学系において物体が焦点位置から外れたときの光学的伝達関数(OTF)のレスポンスを示すグラフである。図25は通常の光学系において物体が焦点位置から図24のときよりも更に外れたときの光学的伝達関数(OTF)のレスポンスを示すグラフである。
【0010】
これに対してキュービック位相変調マスク102を持つ拡大被写界深度光学系の場合、同じずれに対するOTFのレスポンスはそれぞれ図26〜図28に示されるようになり、合焦位置においてもOTFのレスポンスに低下が見られるが、合焦位置からのずれに対する変化は少ない。
【0011】
図26は拡大被写界深度光学系において物体が焦点位置にあるときの光学的伝達関数(OTF)のレスポンスを示すグラフである。図27は拡大被写界深度光学系において物体が焦点位置から外れたときの光学的伝達関数(OTF)の強度分布を示すグラフである。図28は拡大被写界深度光学系において物体が焦点位置から図27のときよりも更に外れたときの光学的伝達関数(OTF)のレスポンスを示すグラフである。
【0012】
この光学系によって結像された画像は、画像処理装置105によって、図29に示されるキュービック位相変調マスク102のOTF特性の逆フィルタによる処理が行われることによって、図22〜図24に示されるOTFに対してそれぞれ図30〜図32に示されるOTFのレスポンスが得られる。
【0013】
図29は拡大被写界深度光学系において光学的伝達関数(OTF)のレスポンスに対して行なわれる処理の逆フィルタの特性を示すグラフである。図30は図26の光学的伝達関数(OTF)のレスポンスに対して図29の特性を持つ逆フィルタによる処理を行なって得られる光学的伝達関数(OTF)のレスポンスを示すグラフである。図31は図27の光学的伝達関数(OTF)のレスポンスに対して図29の特性を持つ逆フィルタによる処理を行なって得られる光学的伝達関数(OTF)のレスポンスを示すグラフである。図32は図28の光学的伝達関数(OTF)のレスポンスに対して図29の特性を持つ逆フィルタによる処理を行なって得られる光学的伝達関数(OTF)のレスポンスを示すグラフである。
【0014】
図29〜図32に示されるOTFのレスポンスは、いずれも、通常の光学系の合焦時のOTFのレスポンスに近い形を有している。その逆フィルタとして、例えば次に示すような非対称な2次元デジタルフィルタが用いられる。次に示すマトリックスは、中心画素とその周囲の画素の値に対する係数を決定するものである。
【0015】
次に、実際の画像で説明する。通常の光学系では、物体の焦点位置からずれるにつれて、焦点ずれによるボケが生じてくる。
【0016】
これに対して、拡大被写界深度光学系を用いた場合、焦点位置をずらしたときの画像処理前の画像はボケてはいるが、焦点位置をずらしたそれぞれの画像においてボケ方が変化しない。そして、これらの画像に対し、前述の逆フィルタ(図29)による画像処理を行うと、通常の光学系の焦点ずれがしていない画像と同等の画像が得られ、被写界深度が拡大できる。
【0017】
さらに、これを内視鏡に応用したものが、特開2000−5127号公報の明細書に開示されている。開示された内視鏡システムは、図33に示すように、複数種の内視鏡を接続し、被写体の画像をモニタ116で観察するための内視鏡システムである。
【0018】
この内視鏡システムは、図33に示すように、固体撮像素子114と、その固体撮像素子114の受光面上に被写体の像を結像する対物光学系112とを有する内視鏡111と、内視鏡111で得られた画像信号を処理して映像信号を出力するカメラコントローラ(信号処理装置)117と、観察用の照明光を発生する光源装置118と、カメラコントローラ117からの映像信号を表示するモニタ116とを備えている。
【0019】
複数種の内視鏡の内、少なくとも1つの内視鏡111は、光学系112の中にキュービック位相変調マスク等のような光位相変調部材113を有する。さらに、内視鏡111は、撮像装置114の出力側に内視鏡の光位相変調部材113に対応した光学的伝達関数復元手段115を備えている。
【0020】
また、カメラコントローラ117は、図34に示すように、接続された内視鏡111からの画像信号をデジタル信号に変換するA/D変換部121と、前記デジタル信号を映像信号に変換する信号変換部122と、信号変換部122からの映像信号を信号処理する画像処理回路123と、前記画像処理回路123で信号処理された映像信号をモニタ4で表示可能なアナログ信号に変換するD/A変換部124とで構成されている。
【0021】
光学的伝達関数復元手段115は、光学系112内の光位相変調部材113の逆フィルタに相当する復元手段を含んでいる必要がある。光学的伝達関数復元手段115は、図33に示されるように内視鏡111内部に設けられても良いし、内視鏡111が接続されかつモニタ116に映像を表示するカメラコントローラ(信号処理装置)117内に設けられても良い。これによれば、光位相変調部材113の種類や有無に関わらず、様々な内視鏡を接続しても、被写界深度の拡大や、高解像の画像を生成することができる。
【0022】
【特許文献1】
米国特許5,748,371号
【0023】
【特許文献2】
特開2000−5127号公報
【0024】
【非特許文献1】
Edward R.Dowski, Jr., W.Thomas Cathey, ”Extended depth of field throughwave−front coding”, Appl.Opt.Vol.34, 1859−1866(1995)
【0025】
【発明が解決しようとする課題】
米国特許5,748,371号や、特開2000−5127号公報等に示されるように、光字系に光位相変調部材113を用いて、被写界深度を拡大する技術を内視鏡に適用する場合、光位相変調部材113による光学的伝達関数の悪化を復元し、高解像の画像を得るための光学的伝達関数復元手段115が必要になるため、光位相変調部材113に一対一に応じた復元手段が、カメラコントローラ(信号処理装置)117内の画像処理回路、もしくは内視鏡111内部に搭載されている必要がある。
【0026】
しかしながら、現状の一般的な内視鏡システムにおけるカメラコントローラ内の画像処理回路においては、撮像光学系を介して得られた画像の光学的伝達関数のレスポンスに対し、特定の周波数帯域を強調することによって画像の見えを調整する画像処理回路は搭載されているものの、例えば被写界深度拡大を目的とした、内視鏡光学系内に搭載した光位相変調部材に応じた復元手段は有していないため、前記内視鏡光学系内に光位相変調部材を有する内視鏡を接続すると、解像した画像を得ることができず、互換性を確保できない。
【0027】
また、互換性を確保するために、内視鏡内部に光学的伝達関数復元手段を設ける場合、画像信号をデジタル信号に変換するA/D変換部と、デジタル信号化された画像信号を映像信号に変換する信号変換部と、光学的伝達関数復元のための画像処理部と、再び映像信号から画像信号に信号変換するための信号変換部、D/A変換部が内視鏡内部に必要となるが、前記回路は複雑であり回路規模も大きくなるため、内視鏡本体の肥大化を招き、操作性が悪くなるという欠点が生じる。
【0028】
本発明は、上記事情に鑑みてなされたものであり、内視鏡光学系に配置した光位相変調部材に応じた復元処理手段が搭載されていない信号処理装置に、光光位相変調部材を有した内視鏡を接続しても、被写界深度の拡大、ならびに高解像の画像を生成できる内視鏡装置を提供することを目的としている。
【0029】
【課題を解決するための手段】
本発明の第1の内視鏡装置は、被写体像光を入光する対物光学系と、前記対物光学系の光軸上後段側の当該光軸に対して垂直な平面上において、前記対物光学系に入光した被写体像光を結像する受光面の中心を前記光軸と一致させて配設され、前記対物光学系に入光した被写体像を撮像する固体撮像素子と、前記対物光学系に設けられ、前記光軸を軸として非対称な光学的伝達関数を有する光位相変調部材と、を備え、前記光位相変調部材は、前記光軸に対して垂直な平面上において当該光軸と交わる点を含む当該平面上の軸方向であって、前記光学的伝達関数のレスポンスが最も低くなる軸方向を、前記固体撮像素子からの映像信号を表示するモニタにおける略対角方向に一致させるように、当該光軸周りに回転した位置に配置したことを特徴とする。
【0030】
本発明の第2の内視鏡装置は、被写体像光を入光する対物光学系と、前記対物光学系の光軸上後段側の当該光軸に対して垂直な平面上において、前記対物光学系に入光した被写体像光を結像する受光面の中心を前記光軸と一致させて配設され、前記対物光学系に入光した被写体像を撮像する固体撮像素子と、前記対物光学系に設けられ、前記光軸を軸として非対称な光学的伝達関数を有する光位相変調部材と、を備え、前記光位相変調部材は、前記光軸に対して垂直な平面上において当該光軸と交わる点を含む当該平面上の軸方向であって、前記光学的伝達関数のレスポンスが最も低くなる軸方向を、前記固体撮像素子における前記受光面において当該固体撮像素子の画素ピッチが最も大きくなる方向に一致させるように、当該固体撮像素子に対して相対的に当該光軸周りに回転した位置に配置したことを特徴とする。
本発明の第3の内視鏡装置は、被写体像光を入光する対物光学系と、前記対物光学系の光軸上後段側の当該光軸に対して垂直な平面上において、前記対物光学系に入光した被写体像光を結像する受光面の中心を前記光軸と一致させて配設され、前記対物光学系に入光した被写体像を撮像する固体撮像素子と、前記対物光学系に設けられ、前記光軸を軸として非対称な光学的伝達関数を有する光位相変調部材と、を備え、前記光位相変調部材は、前記光軸に対して垂直な平面上において当該光軸と交わる点を含む当該平面上の軸方向であって、前記光学的伝達関数のレスポンスが最も低くなる軸方向を、前記固体撮像素子における前記受光面において当該固体撮像素子の画素ピッチが最も大きくなる方向に一致させると共に、前記固体撮像素子からの映像信号を表示するモニタにおける略対角方向に一致させるように、当該固体撮像素子に対して相対的に当該光軸周りに回転した位置に配置したことを特徴とする。
【0031】
【発明の実施の形態】
以下、図面を参照しながら本発明の実施の形態について述べる。
【0032】
第1の実施の形態:
図1ないし図18は本発明の第1の実施の形態に係わり、図1は内視鏡システムの概略の構成を示す構成図、図2は図1の光位相変調部材を含む撮像ユニットの構成を説明するための図、図3は図2の明るさ絞りを配置した瞳変調素子の構造を説明するための概略説明図、図4は図3の瞳変調素子と固体撮像素子の光軸に対する回転位置の関係を示す概略説明図、図5は図2の瞳変調素子を含む撮像ユニットの物体距離71mmのときに得られる点像のシミュレーション結果を説明するための図、図6は図2の瞳変調素子を含む撮像ユニットの物体距離13.5mmのときに得られる点像のシミュレーション結果を説明するための図、図7は図2の瞳変調素子を含む撮像ユニットの物体距離7.2mmのときに得られる点像のシミュレーション結果を説明するための図、図8は図2の瞳変調素子を含む撮像ユニットの物体距離4mmのときに得られる点像のシミュレーション結果を説明するための図、図9は図2の瞳変調素子を含む撮像ユニットの各物体距離の光学的伝達関数のレスポンスのシミュレーション結果を説明するための図、図10は図2の瞳変調素子を含む撮像ユニットの物体距離13.5mmのときの瞳変調素子X軸方向及び対角方向の光学的伝達関数のレスポンスのシミュレーション結果を説明するための図、図11は通常の光学系における図2の撮像ユニットの物体距離71mmのときに得られる点像のシミュレーション結果を説明するための図、図12は通常の光学系における図2の撮像ユニットの物体距離13.5mmのときに得られる点像のシミュレーション結果を説明するための図、図13は通常の光学系における図2の撮像ユニットの物体距離7.2mmのときに得られる点像のシミュレーション結果を説明するための図、図14は通常の光学系における図2の撮像ユニットの物体距離4mmのときに得られる点像のシミュレーション結果を説明するための図、図15は通常の光学系における図2の撮像ユニットの各物体距離についての光学的伝達関数のレスポンスのシミュレーション結果を説明するための図、図16は図2のレンズ枠、平凹レンズ及び両凸レンズで構成される部材の第1の変形例を示す図、図17は図2のレンズ枠、平凹レンズ及び両凸レンズで構成される部材の第2の変形例を示す図、図18は図2のレンズ枠、平凹レンズ及び両凸レンズで構成される部材の第3の変形例を示す図である。
【0033】
(構成)
図1に示すように、固体操像素子19と、前記固体撮像素子19の受光面上に被写体の像を結像する対物光学系32とで構成される撮像ユニット31を設けた内視鏡1と、内視鏡1で得られた画像信号を処理して映像信号を出力するカメラコントローラ(信号処理装置)2と、カメラコントローラ2からの映像信号を表示するモニタ4と、観察用の照明光を発生する光源装置3とを備えている。
【0034】
そして、本発明の内視鏡システムでは、複数の種類の内視鏡1を接続することができるようになっており、複数の種類の内視鏡1のうち、少なくとも1つの内視鏡1は、その対物光学系32内に光位相変調部材(光位相変調マスク)13が設けられている。
【0035】
撮像ユニット31は、図2に示すように、固体撮像素子19と固体撮像素子19の受光面上に被写体像を結像する対物光学系32で構成される。本実施の形態で用いられる固体撮像素子19は、例えば、画素ピッチが7μmのものが用いられる。
【0036】
対物光学系32は、レンズ枠21に接着固定される平凹レンズ11、両凸レンズ12と、レンズ枠22に接着固定される瞳変調素子13a、平レンズ14、接合レンズ15、平レンズ16とで構成される。
【0037】
レンズ枠22に組みつけられる各レンズは、適当なレンズ間隔が得られるよう、各レンズの間に間隔環25、26が配置されている。固体撮像素子19は平レンズ17、及び受光面を保護するカバーガラス18とともに撮像素子枠23に接着固定されている。レンズ枠21、22は、両凸レンズ12と光位相変調部材としての瞳変調素子13aの面間隔を保つように突き当てられ、かつ、各レンズ粋が保持するレンズの光軸が一致するよう嵌合し、かつ、光軸周りに回転可能に構成されている。
【0038】
さらに、レンズ枠22と撮像素子枠23は、各枠が保持するレンズの光軸ならびに固体撮像素子19の受光面中心が一致するよう嵌合し、かつ、平レンズ16と平レンズ17の面間隔を調整できるように光軸方向に摺動し、かつ、光軸周りに回転可能となるよう構成されている。
【0039】
図3は光が入射する方向から見たときの瞳変調素子13aと明るさ絞り24の外観を示す図である。入射光に垂直なXY平面に平行に明るさ絞り24が設けられ、明るさ絞り24の開口部を通して入射した光が瞳変調素子13aに入射する。また、光が入射する方向から見て明るさ絞り24の背面の位置に、光位相変調部材13として瞳変調素子13aが配置されている。
【0040】
光位相変調部材13として用いた瞳変調素子13aは、例えば屈折率1.523の光学的に透明なガラスで形成されており、広い被写界深度にわたって光学的伝達関数が略一定となる変換手段である。該瞳変調素子13aは、図3に示すように、対物光学系32の光軸をZ軸としたときに、Z軸と直行する面内にX、Y軸を座標とし、Z=A(X3+Y3)の形状をした自由曲面を有していて、本実施の形態ではA=0.051とする。
【0041】
図2に示される前記撮像ユニット31のレンズデータを表1に示す。この光学系の焦点距離は1.61mm、Fナンバーは8.722であり、明るさ絞り24は第6面に、瞳変調素子13aの自由曲面部は第7面に相当する。
【0042】
【表1】
明るさ絞り24は、図3に示すように、正方形の開口を有するものであり、その正方形の形状は一辺0.408mmである。また、瞳変調素子13aのX軸と、明るさ絞り24の正方形開口の一辺は平行となるよう配置されている。
【0043】
次に、撮像ユニット31の組立方法について説明する。
まず、レンズ枠21にレンズ11、12を接着固定する。また、レンズ枠22に、明るさ絞り24を貼り付けた瞳変調素子を接着固定し、さらに、レンズ14、間隔環25、レンズ15、間隔環26、レンズ16の順でレンズ枠22に挿入し接着固定する。また、撮像素子枠23にはレンズ17、カバーガラス18、固体撮像素子19を接着固定する。図示しないが、固体撮像素子には電気信号を伝達するケーブルが半田付けされており、カメラコントローラ2に接続される。
【0044】
次に、図4に示すように、レンズ枠22に固定されている瞳変調素子13aと撮像素子枠23に固定されている固体撮像素子19の光軸(Z軸)周りの回転位置関係が、前記瞳変調素子13aのX軸と前記固体撮像素子19の画素配列の水平(走査)方向(以降、H方向とする)が平行で、且つ、前記瞳変調素子13aのY軸と固体撮像素子19の画素配列の垂直(走査方向と直交)方向(以降、V方向とする)が平行になるように、レンズ枠22と撮像素子枠23を位置決めする。さらに、光軸周りに回転位置決めした前記レンズ枠22と前記撮像素子枠23は、レンズ枠21、22で構成される対物光学系32と前記撮像素子枠とのピント位置が適正となるように、平レンズ16と平レンズ17間の面間隔が調整された位置で接着固定される。
【0045】
次に、レンズ枠22にレンズ枠21を組付け、光軸周りにレンズ枠21を回転させることで、撮像ユニット31の光学系のばらつきで発生する偏角が最小となるように調整し、接着固定する。固体撮像素子19は、カメラコントローラ2を経由して、モニタ4に接続されている。
【0046】
カメラコントローラ2は、接続された内視鏡1からの画像信号をディジタル信号に変換するA/D変換器(図示せず)と、前記ディジタル信号を映像信号に変換する信号変換部(図示せず)と、前記映像信号をモニタ4で表示可能なアナログ信号に変換するD/A変換器(図示せず)とで構成されている。
【0047】
(作用)
前記形状の瞳変調素子13aは、波長587.6nmの平行光に対し、exp{i×2.414(X3+Y3)/0.2043}の位相変調を行う。
【0048】
観察する被写体は、前記瞳変調素子13aを含む対物光学系を通して、前記画素ピッチ7μmの固体撮像素子19上の受光面に結像し、固体撮像素子19によって電気信号(画像信号)に変換される。前記電気信号はカメラコントローラ2内のA/D変換器にてディジタル信号に変換され、信号変換部にて映像信号に変換される。前記映像信号は、D/A変換器によってモニタ4に表示可能なアナログ信号に変換され、モニタ4に被写体が映し出される。
【0049】
ここで、固体撮像素子19上のH方向、V方向は、それぞれ、モニタ4の水平(走査)方向(以降、H方向)、垂直(走査方向と直交)方向(以降、V方向)と一致するようカメラコントローラ2により信号処理される。瞳変調素子13aのX軸方向、Y軸方向は前述したように固体撮像素子19のH方向、V方向と一致しているため、それぞれ、モニタ4のH方向、V方向とも一致する。
【0050】
前記撮像ユニット31に対し、物体距離13.5mmの位置での固体撮像素子19の受光面上での点像強度分布関数(PSF)の面積がもっとも小さくなるようにピント調整行った。
【0051】
物体距離を7 1mm、13.5mm、7.2mm、4mmとしたときの固体撮像素子19の受光面上での点像、および各物体距離での光軸上の光学的伝達関数のレスポンスについて、光学シミユレーションソフトCode−V(登録商標)を用いて計算をおこなった。この結果、各物体距離における固体撮像素子受光面上での点像の面積は、それぞれ1辺を22μm、14μm、20μm、31μmとした正方形の領域内の大きさの点像として得られた。
【0052】
前記点像について固体撮像素子受光面をXY平面とし、各画素における光の強度(パーセント)をZ軸とした結果を図5〜8に示す。また、各物体距離における光軸上で、且つ瞳変調素子X軸方向の光学的伝達関数のレスポンスの計算結果を図9に示す。また、物体距離13.5mmの時の、光軸上で、且つ、瞳変調素子X軸方向及び、対角方向の光学的伝達関数のレスポンスの計算結果を図10に示す。
【0053】
図5〜8において、XY平面は固体撮像素子受光面に相当し、Z軸は光の強度である。図9において、Aは物体距離7 1mm、Bは物体距離13.5mm、Cは物体距離7.2mm、Dは物体距離4mmの時の光学的伝達関数のレスポンスである。図10において、Bは瞳変調素子X軸方向、Eは瞳変調素子のXY軸を軸とするXY平面内で第1象限及び第3象限を通る対角方向、Fは瞳変調素子XY軸を軸とするXY平面内で第2象限及び第4象限を通る対角方向の光学的伝達関数のレスポンスである。
【0054】
なお、ここでは瞳変調素子X軸方向の計算結果のみについて示したが、瞳変調素子Y軸方向についてはX軸方向と同一の結果が得られるため、割愛した。
【0055】
物体距離が13.5mmの場合の点像は、一辺が14μmの正方領域、つまり画素ピッチ7μmの固体撮像素子の一辺が2画素分、面積にして4画素分に相当する、図6に示される光の強度分布を持つ点像として得られる。
【0056】
また、物体距離が71mm、7.2mm、4mmの場合の点像は、それぞれ1辺が22μm、20μm、31μmつまり、一辺が3.1画素分、2.9画素分、4.4画素分に相当する正方領域に、図5、7〜9に示される光の強度分布として得られる。
【0057】
さらに、画素ピッチ7μmの固体撮像素子19では、ナイキスト周波数は71ラインペア/mmとなるが、図9に示したように、物体距離が4mmの位置におけるナイキスト周波数での光学的伝達関数のレスポンスが0.2以上あり、解像していることがわかる。
【0058】
また、図10に示すように、瞳変調素子X軸方向に比べ、対角方向では特に高周波領域でレスポンスが0.1程度低下することがわかる。
【0059】
比較例として、図2の撮像ユニット31で瞳変調素子13aの代わりに同材質の平行平板を用いた通常の光学系の場合について説明する。前記通常の光学系のレンズデータは表1の第7面の形状を自由曲面から平面に変更したものである。
【0060】
前記の瞳変調素子13aが配置された撮像ユニット31の場合と同様に、物体距離13.5mmの位置での固体撮像素子受光面上の点像(PSF)の面積がもっとも小さくなるように調整を行った。このときの物体距離を71mm、13.5mm、7.2mm、4mmとしたときの固体撮像素子19の受光面上での点像、および各物体距離での光軸上の光学的伝達関数のレスポンスについて、光学シミュレーションソフトCode−V(登録商標)を用いて計算をおこなった。
【0061】
この結果、各物体距離における固体操像素子受光面上での点像の面積は、それぞれ1辺を16μm、1μm、14μm、36μmとした正方形の領域内の大きさの点像として得られた。前記点像について固体撮像素子受光面をXY平面とし、各画素における光の強度(パーセント)をZ軸とした結果を図11〜14に示す。また、各物体距離での光軸上の光学的伝達関数のレスポンスの計算結果を図15に示す。
【0062】
図15において、Aは物体距離71mm、Bは物体距離13.5mm、Cは物体距離7.2mm、Dは物体距離4mmの時の光学的伝達関数のレスポンスである。
【0063】
物体距離が13.5mmの場合の点像は、1辺が1μmの正方領域、つまり画素ピッチ7μmの固体撮像素子11の一辺が1画素分、面積にして1画素分に相当する、図12に示される光の強度分布を持つ点像として得られる。また、物体距離が71mm、7.2mm、4mmの場合の点像は、それぞれ1辺が16μm、14μm、36μm、つまり、一辺が2.3画素分、2画素分、5.1画素分に相当する正方領域に、図11、図13、14に示される光の強度分布を持つ点像として得られる。さらに、図15に示したように、ナイキスト周波数での光学的伝達関数のレスポンスが0.2以上となるのは物体距離が7.2mm以上71mm未満のときであることがわかる。
【0064】
(効果)
前述したように、瞳変調素子13aを含まない通常の内視鏡の場合、物体距離7.2mmより近接すると、ナイキスト周波数における光学的伝達関数のレスポンスが0.2より下回るため解像しない。
【0065】
これに対し、本実施の形態における瞳変調素子13aを含む内視鏡の場合、物体距離4mmでもナイキスト周波数における光学的伝達関数のレスポンスが0.2を上回っているため、解像することがわかる。さらに、前記瞳変調素子13aによる位相変調量aは2.4 1 4と十分小さな値に設定されているため、前記光学的伝達関数のレスポンスが0.2以上となる被写界深度内において瞳変調素子13aによって発生する非対称な収差(ボケ)は最大でも数画素程度となり非対称な収差はモニタ4上で認識できないレベルとなる。このことから、被写界深度が拡大されていることがわかる。
【0066】
さらに、本実施の形態における瞳変調素子13aのX軸方向、Y軸方向は、それぞれモニタ4のH方向、V方向と一致しているため、モニタ4上のH方向、V方向は光学的伝達関数のレスポンスが比較的高くなり、モニタ4上の対角方向は光学的伝達関数のレスポンスが比較的低く表示される。人間の視覚の特性上、水平、垂直方向の分解能に比べ、対角方向の分解能は低いことが知られており、本実施の形態では、光学的伝達関数のレスポンスが比較的高い方向が視覚上の水平、垂直方向に、比較的低い方向が視覚上の対角方向に位置することとなるため、対角方向の光学的伝達関数のレスポンスの低下は視認しにくくなり、見かけ上の解像感の低下を防ぐことができる。
【0067】
ここで、本実施の形態では、瞳変調素子13aのX軸方向とY軸方向を、それぞれモニタ4のH方向、V方向と一致するよう配置したが、これに限ったものではなく、モニタ4の対角方向と、瞳変調素子13aの対角方向が一致すれば、瞳変調素子13aのX軸方向、Y軸方向が、それぞれモニタ4のV方向、H方向と一致させても同様の効果が得られることは言及するまでもない。
【0068】
本実施の形態では固体撮像素子の画素ピッチを7μmのものとしたが、これに限ったものではなく、固体撮像素子受光面上での点像の面積がもっとも小さくなるピント位置における点像の大きさが、一辺を画素ピッチの2画素分、面積にして4画素分となるように明るさ絞り24の開口寸法、および瞳変調素子13aの形状を調整することで、同様の被写界深度の拡大が可能となる。
【0069】
また、本実施の形態では固体撮像素子受光面上の点像の面積がもっとも小さくなるピント位置における点像の大きさを、一辺が固体撮像素子の画素ピッチの2画素分、面積にして4画素分となるように調整したが、点像の大きさを、一辺が画素ピッチの6画素分、面積にして36画素分となるようにした場合、瞳変調素子の変調係数αは7.243で、物体距離4mmにおける光学的伝達関数のレスポンスが0.2以上となり、かつ物体距離4mmにおける点像の大きさも一辺が8画素程度であるために、同様の被写界深度の拡大が可能となる。
【0070】
本実施の形態では瞳変調素子13aにガラス材料を用いているが、樹脂材料を用いても良い。また、本実施の形態では瞳変調素子13aは光学的に透明なガラスが用いられているが、特定の波長のみ透過する光学フィルタ材料を用いても良い。また、本実施の形態での瞳変調素子13aの形状はX軸方向、Y軸方向の光学的伝達関数の変換量を同一としているが、X軸方向、Y軸力向で変換量が異なる構成にしても良い。例えば、明るさ絞り24の開口形状を長方形に設定しても良いし、瞳変調素子13aの自由曲面の形状をX軸方向、Y軸方向で異なる係数を使用しても良い。また、前記明るさ絞り24は円形としても同様の効果が得られる。この場合は、明るさ絞り24と瞳変調素子13aとの光軸に対する回転方向調整が必要なくなるという効果がある。また、明るさ絞り24は瞳変調素子13aと別体でなくとも良く、瞳変調素子13aに蒸着等により直接形成されていても良い。
【0071】
本実施の形態では、光軸周りにレンズ枠21を回転させることで、撮像ユニット31の光学系のばらつきで発生する偏角が最小となるように調整を行っているが、撮像ユニット31で発生する偏角が大きい場合に対応できるよう、レンズ11、12を含むレンズ枠の構成を図16〜18に示したような構成としても良い。
【0072】
図16は、レンズ枠21とレンズ11の間にスペーサ27を挿入し、レンズ枠21の軸とレンズ11の軸を傾けて構成したものである。図17は、レンズ枠21aのレンズ11の挿入部と、レンズ12の挿入部との軸をずらして構成したものである。図18は、レンズ枠21bのレンズ11の挿入部が、レンズ11の外径より大きく加工されており、レンズ11の軸をレンズ枠21bの軸に対しずらして配置、固定して構成したものである。
【0073】
上記図16〜18に示した構成では、レンズ枠22と撮像素子枠23とで発生する光学系のばらつきによる偏角が大きくても、レンズ11、12が接着固定されたレンズ枠部材の光軸が比較的大きく偏芯して構成されているため、撮像ユニット31の偏角調整を行うことができる。
【0074】
第2の実施の形態:
本実施の形態は、基本的な構成は第1の実施の形態と同じであり、瞳変調素子と固体撮像素子の光軸周りの回転位置関係が異なる。以下、相違点に重点をおいて説明する。
【0075】
図19に本発明の内視鏡システムの第2の実施の形態を示す瞳変調素子と固体撮像素子の光軸に対する回転位置の関係を示す概略図、図20に固体撮像素子の画素ピッチを示す概略図を示している。
【0076】
本実施の形態の撮像ユニットでは、図19に示すように、レンズ枠22に固定されている瞳変調素子13aと撮像素子枠23に固定されている固体撮像素子19の光軸(Z軸)周りの回転位置関係が、前記瞳変調素子13aのX軸と前記固体撮像素子19の画素配列のH方向が略45度の角度を成し、且つ、前記瞳変調素子13aのY軸と固体撮像素子19の画素配列のV方向が略45度の角度を成すように、レンズ枠22と撮像素子枠23を位置決めされている。
【0077】
(作用)
図20に示すように、格子状に画素が配列されている固体撮像素子では、V方向、及びH方向の画素ピッチに対し、斜め方向の画素ピッチが小さくなる。つまり、V方向、およびH方向と比較し、斜め方向の方が固体撮像素子の分解能が高いことになる。
【0078】
本実施の形態では、瞳変調素子13aのX軸方向、Y軸方向は、固体操像素子19の斜め方向と一致し、かつ瞳変調素子13aの対角方向は、固体撮像素子19のH方向、V方向と一致する。
【0079】
(効果)
瞳変調素子1 3 aの光学的伝達関数のレスポンスが比較的高いX軸方向、Y軸方向は、固体撮像素子19の分解能が比較的高い斜め方向と一致しており、且つ、瞳変調素子13aの光学的伝達関数のレスポンスが比較的低い対角方向が、固体撮像素子19の分解能が比較的低いV方向、H方向と一致しているため、瞳変調素子13aで発生する光軸回りの光学的伝達関数のレスポンス変化の影響を最小限とすることが可能となる。
【0080】
本実施の形態では固体撮像素子の画素配列が格子状のもので説明したが、これに限らず、ハニカム配列の固体撮像素子を用いても同様の効果を得ることが可能である。ハニカム配列の場合は、斜め方向よりも、H方向、及びV方向の方が、画素ピッチが小さいため、斜め方向と比較してH方向、V方向の分解能が高くなる。このため、瞳変調素子のX軸方向、Y軸方向は、分解能の比較的高いH方向、V方向と一致するよう配置すれば良い。
【0081】
本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。
【0082】
【発明の効果】
以上説明したように本発明によれば、内視鏡光学系に配置した光位相変調部材に応じた復元処理手段が搭載されていない信号処理装置に、光位相変調部材を有した内視鏡を接続しても、被写界深度の拡大、ならびに高解像の画像を生成できるという効果がある。
【図面の簡単な説明】
【図1】本発明の第1の実施の形態に係る内視鏡システムの概略の構成を示す構成図
【図2】第1の実施の形態を示す光位相変調部材を含む撮像ユニットの断面図
【図3】第1の実施の形態を示す明るさ絞りを配置した瞳変調素子の概略図
【図4】第1の実施の形態を示す瞳変調素子と固体撮像素子の光軸周りの位置関係を示す概略図
【図5】第1の実施の形態を示す瞳変調素子を含む撮像ユニツトでの物体距離7 1mmの時に得られる点像のシミュレーション結果の図
【図6】第1の実施の形態を示す瞳変調素子を含む撮像ユニットでの物体距離13.5mmの時に得られる点像のシミュレーション結果の図
【図7】第1の実施の形態を示す瞳変調素子を含む撮像ユニットでの物体距離7.2mmの時に得られる点像のシミュレーション結果の図
【図8】第1の実施の形態を示す瞳変調素子を含む撮像ユニットでの物体距離4mmの時に得られる点像のシミュレーション結果の図
【図9】第1の実施の形態を示す瞳変調素子を含む撮像ユニットでの各物体距離における光学的伝達関数のレスポンスのシミュレーション結果の図
【図10】第1の実施の形態を示す瞳変調素子を含む撮像ユニットでの物体距離13.5mmにおける光学的伝達関数のレスポンスのシミュレーション結果の図
【図11】通常の対物光学系における撮像ユニットでの物体距離71mmの時に得られる点像のシミュレーション結果の図
【図12】通常の対物光学系における撮像ユニットでの物体距離13.5mmの時に得られる点像のシミュレーション結果の図である。
【図13】通常の対物光学系における撮像ユニットでの物体距離7.2mmの時に得られる点像のシミュレーション結果の図
【図14】通常の対物光学系における撮像ユニットでの物体距離4mmの時に得られる点像のシミュレーション結果の図
【図15】通常の対物光学系における撮像ユニットでの各物体距離における光学的伝達関数のレスポンスのシミュレーション結果の図
【図16】第1の実施の形態のレンズ枠21、平凹レンズ11及び両凸レンズ12で構成される部材の1の変形例の断面図
【図17】第1の実施の形態のレンズ枠21、平凹レンズ11及び両凸レンズ12で構成される部材のその第2の変形例の断面図
【図18】第1の実施の形態のレンズ枠21、平凹レンズ11及び両凸レンズ12で構成される部材のその第3の変形例の断面図
【図19】本発明の第2の実施の形態に係る瞳変調素子と固体撮像素子の光軸に対する回転位置の関係を示す概略図
【図20】第2の実施の形態を示す固体撮像素子の画素ピッチを示す概略図
【図21】従来例による拡大被写界深度光学系の構成を概略的に示す図
【図22】従来例によるキュービック位相変調マスクの外観形状を説明するための図
【図23】通常の光学系において物体が焦点位置にあるときの光学的伝達関数(OTF)のレスポンスを示すグラフ
【図24】通常の光学系において物体が焦点位置から外れたときの光学的伝達関数(OTF)のレスポンスを示すグラフ
【図25】通常の光学系において物体が焦点位置から図24のときよりも更に外れたときの光学的伝達関数(OTF)のレスポンスを示すグラフ
【図26】拡大被写界深度光学系において物体が焦点位置にあるときの光学的伝達関数(OTF)のレスポンスを示すグラフ
【図27】拡大被写界深度光学系において物体が焦点位置から外れたときの光学的伝達関数(OTF)の強度分布を示すグラフ
【図28】拡大被写界深度光学系において物体が焦点位置から図27のときよりも更に外れたときの光学的伝達関数(OTF)のレスポンスを示すグラフ
【図29】拡大被写界深度光学系において光学的伝達関数(OTF)のレスポンスに対して行なわれる処理の逆フィルタの特性を示すグラフ
【図30】図26の光学的伝達関数(OTF)のレスポンスに対して図29の特性を持つ逆フィルタによる処理を行なって得られる光学的伝達関数(OTF)のレスポンスを示すグラフ
【図31】図27の光学的伝達関数(OTF)のレスポンスに対して図29の特性を持つ逆フィルタによる処理を行なって得られる光学的伝達関数(OTF)のレスポンスを示すグラフ
【図32】図28の光学的伝達関数(OTF)のレスポンスに対して図29の特性を持つ逆フィルタによる処理を行なって得られる光学的伝達関数(OTF)のレスポンスを示すグラフ
【図33】複数種の内視鏡を接続し、被写体の画像をモニタで観察するための従来の内視鏡システムの概略の構成を示す構成図
【図34】図33の従来のカメラコントローラの構成を示すブロック図
【符号の説明】
1…内視鏡
2…カメラコントローラ(信号処理装置)
3…光源装置
4…モニタ
11…平凹レンズ
12…両凸レンズ
13…光位相変調部材
13a…瞳変調素子
14,16,17…平レンズ
15…接合レンズ
18…カバーガラス
19…固体撮像素子
21,22…レンズ枠
23…撮像素子枠
24…明るさ絞り
25,26…間隔環
31…撮像ユニット
32…対物光学系
Claims (6)
- 被写体像光を入光する対物光学系と、
前記対物光学系の光軸上後段側の当該光軸に対して垂直な平面上において、前記対物光学系に入光した被写体像光を結像する受光面の中心を前記光軸と一致させて配設され、前記対物光学系に入光した被写体像を撮像する固体撮像素子と、
前記対物光学系に設けられ、前記光軸を軸として非対称な光学的伝達関数を有する光位相変調部材と、
を備え、
前記光位相変調部材は、前記光軸に対して垂直な平面上において当該光軸と交わる点を含む当該平面上の軸方向であって、前記光学的伝達関数のレスポンスが最も低くなる軸方向を、前記固体撮像素子からの映像信号を表示するモニタにおける略対角方向に一致させるように、当該光軸周りに回転した位置に配置した
ことを特徴とする内視鏡装置。 - 被写体像光を入光する対物光学系と、
前記対物光学系の光軸上後段側の当該光軸に対して垂直な平面上において、前記対物光学系に入光した被写体像光を結像する受光面の中心を前記光軸と一致させて配設され、前記対物光学系に入光した被写体像を撮像する固体撮像素子と、
前記対物光学系に設けられ、前記光軸を軸として非対称な光学的伝達関数を有する光位相変調部材と、
を備え、
前記光位相変調部材は、前記光軸に対して垂直な平面上において当該光軸と交わる点を含む当該平面上の軸方向であって、前記光学的伝達関数のレスポンスが最も低くなる軸方向を、前記固体撮像素子における前記受光面において当該固体撮像素子の画素ピッチが最も大きくなる方向に一致させるように、当該固体撮像素子に対して相対的に当該光軸周りに回転した位置に配置した
ことを特徴とする内視鏡装置。 - 被写体像光を入光する対物光学系と、
前記対物光学系の光軸上後段側の当該光軸に対して垂直な平面上において、前記対物光学系に入光した被写体像光を結像する受光面の中心を前記光軸と一致させて配設され、前記対物光学系に入光した被写体像を撮像する固体撮像素子と、
前記対物光学系に設けられ、前記光軸を軸として非対称な光学的伝達関数を有する光位相変調部材と、
を備え、
前記光位相変調部材は、前記光軸に対して垂直な平面上において当該光軸と交わる点を含む当該平面上の軸方向であって、前記光学的伝達関数のレスポンスが最も低くなる軸方向を、前記固体撮像素子における前記受光面において当該固体撮像素子の画素ピッチが最も大きくなる方向に一致させると共に、前記固体撮像素子からの映像信号を表示するモニタにおける略対角方向に一致させるように、当該固体撮像素子に対して相対的に当該光軸周りに回転した位置に配置した
ことを特徴とする内視鏡装置。 - 前記光位相変調部材を有する対物光学系の前記光学的伝達関数のレスポンスは、前記光位相変調部材を持たない場合の対物光学系の被写界深度よりも広い物体距離にわたって、前記固体撮像素子のナイキスト周波数までレスポンスが0.2以上ある
ことを特徴とする請求項1−3のいずれか一項に記載の内視鏡装置。 - 点像の前記固体撮像素子受光面上の面積が最も小さくなる物体距離において、前記光位相変調部材を有する内視鏡の対物光学系の前記点像の固体撮像素子受光面上の面積Wは、前記固体撮像素子の画素ピッチをPとしたときに、
W≦36×P2
を満たす
ことを特徴とする請求項1−4のいずれか一項に記載の内視鏡装置。 - 前記光位相変調部材は、前記対物光学系の光軸をZ軸としたときに互いに直交する2軸をX、Yとしたとき、
exp{i×α(X3+Y3)} (但し、|X|≦1、|Y|≦1)
の位相の変換を行うものであり、前記係数αは8以下である
ことを特徴とする請求項1−5のいずれか一項に記載の内視鏡装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003041607A JP4358531B2 (ja) | 2003-02-19 | 2003-02-19 | 内視鏡装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003041607A JP4358531B2 (ja) | 2003-02-19 | 2003-02-19 | 内視鏡装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004248832A JP2004248832A (ja) | 2004-09-09 |
JP4358531B2 true JP4358531B2 (ja) | 2009-11-04 |
Family
ID=33025143
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003041607A Expired - Fee Related JP4358531B2 (ja) | 2003-02-19 | 2003-02-19 | 内視鏡装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4358531B2 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4948967B2 (ja) * | 2006-10-27 | 2012-06-06 | 京セラ株式会社 | 撮像装置、並びにその製造装置および製造方法 |
JP4948990B2 (ja) * | 2006-11-29 | 2012-06-06 | 京セラ株式会社 | 撮像装置、並びにその製造装置および製造方法 |
JP4916869B2 (ja) * | 2006-12-22 | 2012-04-18 | 京セラ株式会社 | 撮像装置、並びにその製造装置および製造方法 |
WO2008105431A1 (ja) * | 2007-02-26 | 2008-09-04 | Kyocera Corporation | 撮像装置、撮像方法、並びに撮像装置の製造装置および製造方法 |
JP5866321B2 (ja) * | 2013-09-02 | 2016-02-17 | 富士フイルム株式会社 | 光学ユニット、内視鏡装置、及び光学ユニットの製造方法 |
-
2003
- 2003-02-19 JP JP2003041607A patent/JP4358531B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2004248832A (ja) | 2004-09-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3791777B2 (ja) | 電子内視鏡 | |
JP3958603B2 (ja) | 電子内視鏡システム及び電子内視鏡システム用の信号処理装置 | |
US10185138B2 (en) | Imaging apparatus | |
JP5415973B2 (ja) | 撮像装置、内視鏡システム及び撮像装置の作動方法 | |
JP5866565B1 (ja) | 内視鏡 | |
JP2000005127A (ja) | 内視鏡システム | |
JP5677366B2 (ja) | 撮像装置 | |
JP2010256627A (ja) | 広角レンズおよび撮像装置 | |
KR101591937B1 (ko) | 수술용 헤드 마운트 디스플레이 | |
JP2014164174A (ja) | 固体撮像装置、携帯情報端末、および固体撮像システム | |
JP2017003810A (ja) | 電気レンズ、光学ユニット及び撮像装置 | |
JP4358531B2 (ja) | 内視鏡装置 | |
WO2006106737A1 (ja) | 撮像装置および撮像方法 | |
JP6352673B2 (ja) | 内視鏡装置及び内視鏡装置の操作方法 | |
WO2021084835A1 (ja) | 光学系及び光学機器 | |
JPH07294827A (ja) | 内視鏡 | |
JP2012253602A (ja) | 結像光学系及び撮像装置 | |
JP2000152063A (ja) | 撮像装置 | |
JP2001221961A (ja) | 双眼光学アダプタ | |
JPH11183809A (ja) | 内視鏡用撮像装置 | |
JP2018063309A (ja) | 顕微鏡装置 | |
JP2021152594A (ja) | 撮像光学系および撮像装置および車両 | |
JP3047831U (ja) | デジタル式光学顕微鏡及び望遠鏡 | |
WO2022209125A1 (ja) | 撮像制御装置、撮像装置、撮像制御方法、及びプログラム | |
JP2019050508A (ja) | 立体視撮像装置および立体視内視鏡 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051222 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090216 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090414 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090615 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090714 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090806 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120814 Year of fee payment: 3 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 4358531 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120814 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130814 Year of fee payment: 4 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |