JP2004229222A - Adjustment method of pixel shifting digital camera, sample for adjustment, and pixel shifting digital camera system - Google Patents
Adjustment method of pixel shifting digital camera, sample for adjustment, and pixel shifting digital camera system Download PDFInfo
- Publication number
- JP2004229222A JP2004229222A JP2003017718A JP2003017718A JP2004229222A JP 2004229222 A JP2004229222 A JP 2004229222A JP 2003017718 A JP2003017718 A JP 2003017718A JP 2003017718 A JP2003017718 A JP 2003017718A JP 2004229222 A JP2004229222 A JP 2004229222A
- Authority
- JP
- Japan
- Prior art keywords
- pixel shift
- drive voltage
- adjustment
- image
- sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title abstract description 62
- 238000003384 imaging method Methods 0.000 claims abstract description 72
- 238000006073 displacement reaction Methods 0.000 claims description 84
- 230000003287 optical effect Effects 0.000 claims description 52
- 238000004364 calculation method Methods 0.000 claims description 14
- 230000008859 change Effects 0.000 claims description 11
- 230000008569 process Effects 0.000 abstract description 12
- 230000007704 transition Effects 0.000 abstract 3
- 230000007246 mechanism Effects 0.000 description 65
- 238000010586 diagram Methods 0.000 description 35
- 239000011295 pitch Substances 0.000 description 17
- 238000012545 processing Methods 0.000 description 17
- 230000004048 modification Effects 0.000 description 10
- 238000012986 modification Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 8
- 230000000694 effects Effects 0.000 description 7
- 230000003321 amplification Effects 0.000 description 6
- 238000003199 nucleic acid amplification method Methods 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 5
- 239000011521 glass Substances 0.000 description 5
- 238000007781 pre-processing Methods 0.000 description 5
- 238000012935 Averaging Methods 0.000 description 4
- 238000005286 illumination Methods 0.000 description 4
- 238000005259 measurement Methods 0.000 description 3
- 238000009434 installation Methods 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 230000002265 prevention Effects 0.000 description 2
- VYZAMTAEIAYCRO-UHFFFAOYSA-N Chromium Chemical compound [Cr] VYZAMTAEIAYCRO-UHFFFAOYSA-N 0.000 description 1
- 229910052804 chromium Inorganic materials 0.000 description 1
- 239000011651 chromium Substances 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000007740 vapor deposition Methods 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Color Television Image Signal Generators (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
Description
【0001】
【発明の属する技術分野】
本発明は、光像と撮像手段の相対位置を変化させて各位置で静止画を撮像し、それらの画像を合成することにより高解像化を行う画素シフトデジタルカメラシステムに関する。
【0002】
【従来の技術】
被写体の光像をCCD等の撮像素子により撮像するデジタルカメラシステムにおいて、撮像素子自体の画素数を上げることなく高解像度化を図る方法としていわゆる画素シフト法が開発されている。
【0003】
図32は、画素シフト法を用いたデジタルカメラを顕微鏡の標本像の撮像に適用したデジタルカメラシステムの構成を示す図である。
【0004】
本デジタルカメラシステムは、デジタルカメラヘッド部71、顕微鏡72、デジタルカメラヘッド部71の操作及び制御を行うパーソナルコンピュータ(PC)73で構成されている。顕微鏡72のステージ上に置かれた標本の光像は顕微鏡の出力ポートを介してデジタルカメラヘッド部71へ射出される。デジタルカメラヘッド部71は顕微鏡72からの入射光像を撮像するCCD74、CCD74と入射された光像の撮像面内の相対位置を2次元的に変化させる画素シフト機構75、撮像素子74や画素シフト機構75の駆動を行う制御処理部76からなる。
【0005】
つぎにこのデジタルカメラシステムの動作について説明する。
【0006】
画素シフト機構75はCCD74の撮像素子間の間隔(画素ピッチ)に対して、n/mピッチ(n,mは整数)ごとの変位を水平方向及び垂直方向に与え、それぞれの位置で入射光像を撮像する。そして、これらの各位置で撮影した画像を合成することにより画像の解像度を上げることができる。
【0007】
例えばn=1、m=2とし、x方向及びy方向にそれぞれ初期位置、(1/2画素ピッチ、0画素ピッチ)、(0画素ピッチ、1/2画素ピッチ)、(1/2画素ピッチ、1/2画素ピッチ)の変位を与え、計4ヶ所で入射光像の撮像を行なう。そして、それらの画像を合成処理することにより、4倍の画素数の画像を得ることができる。尚、以下の説明では、(n/m画素ピッチ、n/m画素ピッチ)を(n/m画素、n/m画素)と記載する。
【0008】
ところで、画素シフト法による高解像化では、この変位量の誤差が数%あると画質の劣化を招く。画素シフト機構75により与えられる変位量は、この例では、CCD74の画素ピッチが4μmであった場合、その1/2の2μmである。即ち、変位量の許容誤差5%とすると0.1μm以下の精度で画素シフト機構75による入射光像とCCD74の相対変位を制御しなければならない。
【0009】
この制御精度を実現するため、初期状態において高精度の変位測定器などを使用してCCD74の変位を測定しながら、画素シフト機構75の駆動電圧等の調整が行われる。そして調整後は、その調整電圧によって画素シフト機構75が駆動動作を行う。しかしながら上述のように調整しなければならない変位量が0.1μm程度と小さいため高精度の変位測定器等を用いた調整では、測定器の組み付けによる誤差も無視することができない。このため精度良い調整は熟練を要するものであった。
【0010】
そこでこのような測定器を用いない調整が求められている。このような画素シフトデジタルカメラの調整方法として、画素シフト機構の初期位置で撮像した画像から、目標移動量だけ変位したときの画像を計算により求め、画素シフト機構を移動させたとき撮影した画像と計算により求めた画像の差が最小となるように移動量を調節する技術が開示されている(例えば、特許文献1参照)。
【0011】
【特許文献1】
特開平9−135381号公報。
【0012】
【発明が解決しようとする課題】
通常、画素シフト機構は撮像面内で、CCD74を水平方向及び垂直方向へ格子状へ移動させる。したがって画素シフト機構は水平方向の駆動機構と垂直方向の駆動機構の2つを備えている。
【0013】
ところで特許文献1で開示された方法では、目標画像と移動したときに得られた画像の差を最小にするため、水平方向と垂直方向のそれぞれの駆動機構毎に画素シフト動作を行って画像の差を求める演算処理を繰り返し、目標精度へ収束させる必要がある。したがって画像処理に関する計算量が極めて大きなものとなり目標精度へ収束させるために要する計算時間も長くなるという問題がある。またこの計算をハードウェアなどにより構成し、時間の短縮化を図ろうとするとコストが増大するという問題が生ずる。
【0014】
本発明は、かかる事情に鑑みてなされたもので、安価かつ短時間で、画素シフトデジタルカメラのシフト変位量を精度良く調整できる画素シフトデジタルカメラの調整方法、調整用標本、画素シフトデジタルカメラシステム、顕微鏡画素シフトデジタルカメラシステムを提供することを目的とする。
【0015】
【課題を解決するための手段】
上記課題を解消するため、本発明の第1の局面に係る画素シフトデジタルカメラの調整方法は、少なくとも2つの直線状の端辺をもつ図形を有する調整用標本の光像を、撮像手段に対して所定の初期位置に配置する第1の工程と、画素シフト手段に駆動電圧を設定して、調整用標本の光像と撮像手段との相対位置を変化させる第2の工程と、撮像手段により調整用標本の光像を撮像する第3の工程と、撮像された図形の第1の端辺上にある点について、初期位置からの変位量の水平方向成分値を求める第4の工程と、撮像された図形の第2の端辺上にある点について、初期位置からの変位量の垂直方向成分値を求める第5の工程と、第2から第5の工程を、調整用標本の光像と撮像手段との相対位置をそれぞれ異ならせる駆動電圧を画素シフト手段に設定して繰り返す第6の工程と、画像シフト手段に設定した複数の駆動電圧と求めた複数の変位量の水平及び垂直方向成分値とから、調整用標本の光像と撮像手段との相対位置が所定値となるように画像シフト手段に設定する駆動電圧を求める第7の工程とを備えている。
【0016】
また本発明の他の局面に係る画素シフトデジタルカメラシステムは、入射光像を撮像する撮像手段と、入射光像と撮像手段との相対位置を変化させる画素シフト手段と、画素シフト手段を駆動するための複数の駆動電圧を記憶する駆動電圧記憶手段と、駆動電圧記憶手段に記憶された駆動電圧に基づいて画素シフト手段を駆動する画素シフト駆動手段と、少なくとも2つの直線状の端辺をもつ図形を有する調整用標本と、記憶された駆動電圧に対応して画素シフト手段が駆動される位置毎に調整用標本の光像を撮像手段により撮像させる撮像制御手段と、撮影された相対位置の異なる2つの画像に基づいて、図形の第1の端辺上にある点について、変位量の水平方向成分値を求める水平相対変位量算出手段と、撮影された相対位置の異なる2つの画像に基づいて、図形の第2の端辺上にある点について、変位量の垂直方向成分値を求める垂直相対変位量算出手段と、画像シフト手段に与えた駆動電圧と求めた変位量の水平及び垂直方向成分値とから、調整用標本と撮像手段との相対位置が所定値となる駆動電圧を求める駆動電圧算出手段と算出した駆動電圧を駆動電圧記憶手段に記憶させる記憶更新手段とを備えている。
【0017】
また本発明の他の局面に係る調整用標本は、画素シフトデジタルカメラシステムに用いる調整用標本であって、少なくとも2つの直線状の端辺をもつ図形を有する。
【0018】
また本発明の他の局面に係る顕微鏡画素シフトデジタルカメラシステムは、標本を積載するステージとこの標本に対向して配置される対物レンズとを有する顕微鏡と、対物レンズによる標本の光像を撮像する撮像手段と、標本の光像と撮像手段との相対位置を変化させる画素シフト手段と、画素シフト手段を駆動するための駆動電圧を記憶する駆動電圧記憶手段と、駆動電圧記憶手段に記憶された駆動電圧に基づいて画素シフト手段を駆動する画素シフト駆動手段と、少なくとも2つの直線状の端辺をもつ図形を有する調整用標本と、記憶された駆動電圧に対応して画素シフト手段が駆動される位置毎に調整用標本の光像を撮像手段により撮像させる撮像制御手段と、撮影された相対位置の異なる2つの画像に基づいて、図形の第1の端辺上にある点について、変位量の水平方向成分値を求める水平相対変位量算出手段と、撮影された相対位置の異なる2つの画像に基づいて、図形の第2の端辺上にある点について、変位量の垂直方向成分値を求める垂直相対変位量算出手段と、画像シフト手段に与えた駆動電圧と求めた変位量の水平及び垂直方向成分値とから、調整用標本と撮像手段との相対位置が所定値となる駆動電圧を求める駆動電圧算出手段と、算出した駆動電圧を駆動電圧記憶手段に記憶させる記憶更新手段とを備えている。
【0019】
また本発明の他の局面に係る調整用標本は、顕微鏡画素シフトデジタルカメラシステムに用いる調整用標本であって、少なくとも2つの直線状の端辺をもつ図形を有する。
【0020】
【発明の実施の形態】
第1の実施の形態の画素シフトデジタルカメラの調整方法について説明する。
【0021】
図1は、画素シフトの原理を示す図である。図1の(1)に示すベイヤ配列のCCDを2/3画素ピッチで9回画素シフトを行うことにより、図1の(2)に示すように高解像化された合成画像を得ることができる。図2は、画素のシフト位置を示す図である。画素シフト機構は図2中のPos0からPos8の○に示す位置に画像と撮像素子の相対位置を正確に変化させることが求められる。
【0022】
次に、画素シフト機構が画素を図2中の○位置へ正確に変位させるための設定電圧の調整方法について説明する。
【0023】
図3は本実施の形態の調整方法を示すフローチャートである。このフローチャートと図2を参照しつつ、図2のPos4の位置に駆動電圧を調整する方法を説明する。
【0024】
ステップS101では、図4に示すように調整用標本を撮像素子の水平及び垂直それぞれの方向に対して約5度傾けて設置する。そしてこの状態において画素シフト機構をPos1、Pos3、Pos4a、Pos4b、Pos4c、Pos4dに変位させた各位置で撮影する。ここで、Pos4a、Pos4b、Pos4c、Pos4dは、Pos4の近傍の周囲の水平及び垂直方向の位置を示す点であり、図2では×印で表わしている。
【0025】
ステップS102では、Pos3及び水平方向のPos4の近傍の位置であるPos4a、Pos4bで撮影した画像からPos3のエッジ部aの位置とPos4a、Pos4bのそれぞれのエッジ部aの位置の水平方向の位置差を求める。ここで、エッジ部aは、図5に示すように傾いた調整用標本の1つの端辺(エッジ)を表わしている。
【0026】
図6はエッジ部aに注目した図である。x軸に平行な直線cに沿った画像の輝度信号レベルをグラフにすると図7のようになる。図7中の3つの曲線はそれぞれPos3、Pos4a、Pos4bの輝度信号曲線を示す。図7の点線で示す各曲線の半値位置を求め、Pos3の半値位置とPos4a、Pos4bの半値位置との変位量を求める。
【0027】
ところで輝度信号をY=0.3R+0.59G+0.11Bとし、Pos3に対するPos4aの相対変位を図6中のy方向位置を変えて表わすと図8のようになる。ここで、図8のy軸はPos3に対するPos4aへの変位量(画素ピッチ数)を表わし、x軸は垂直方向の画素数を表わしている。図8に示すように、求めた変位量は目標となる変位量2/3画素ピッチ(≒0.67)を中心として周期的に変化している。
【0028】
同様に、輝度信号としてG信号を使った場合もレベルは小さいが図9のように周期的に変化する。周期的に変化するのは、Y信号の場合は、ベイヤ配列の場合にRとBの画素の解像度がGに比べて低いために、モアレが発生しその結果垂直方向の位置によって変位量が変動するためである。またG信号の場合もY信号に比べると大きさは小さいがY信号の1/2周期の周期的変化が見られる。G信号の変化周期がY信号の1/2の周期となるのは、ベイヤ配列ではGの画素がR、Bの画素よりも多く使用され出現頻度が高いことによる。
【0029】
従って、エッジのどの位置を測定するかによって変位量にふくまれる誤差が変化するため、正確な変位量が測定できないことがわかる。したがって、測定するエッジの位置が水平方向及び垂直方向に一定の値に固定化されないように、エッジ部分は水平方向及び垂直方向に対して傾きを持たせるとともに、エッジの異なる位置において変位量を複数測定し、その複数の測定値を平均化することにより誤差を小さくすることができる。
【0030】
図10は変化の周期とエッジの傾きとの関係を示す図である。
【0031】
図8,9の横軸に示す画素数を単位として、変化が繰り返す画素数(以下、便宜的に「周期」という)をT画素、エッジの水平方向及び垂直方向に対する傾きをθ度とすると、その1周期の間にY信号では水平方向に2画素分変化し、G信号では1画素分の変化が生じている。
【0032】
従って、Y信号では式(1)の関係が成立し、G信号では式(2)の関係が成立する。
【0033】
Y信号の場合:T=2/tanθ …(1)
G信号の場合:T=1/tanθ …(2)
図11は、Y信号について平均化する周期数と平均化結果の関係を示す図であり、図12は、G信号について平均化する周期数と平均化結果の関係を示す図である。
【0034】
図11、図12より1周期以上の画素数について平均化することで、実用上問題のない誤差レベルで測定が可能となることがわかる。垂直方向に平均化する画素数をHとすると、H>Tの関係が成立する必要がある。従って、この式を変形してエッジ部分の傾きθを求めると、Y信号では式(3)が成立し、G信号では式(4)が成立する
Y信号の場合:θ>tan−1(2/H) …(3)
G信号の場合:θ>tan−1(1/H) …(4)
以上のように各y位置のPos3に対するPos4a及びPos4bの相対変位量を平均化して、Pos3に対するPos4aとPos4bの水平位置を求める。
【0035】
ステップS103では、画素シフト機構がPos3,Pos4a,Pos4bの位置に変位させたときの水平方向駆動電圧とステップS102で求めた水平方向のエッジ位置の関係から、画素シフト機構を目標位置に変位させるときの設定電圧を算出する。
【0036】
Pos3,Pos4a,Pos4bの位置に変位させたときの水平方向駆動電圧をVx3,Vx4a、Vx4bとし、ステップS102で求めたPos4a,Pos4bの相対変位をS4a,S4bとする。Pos4の目標変位をS4x、そのときの駆動電圧をVx4とすると、駆動電圧を式(5)で求めることができる。
【0037】
Vx4=(Vx4b−Vx4a)/(S4b−S4a)×(S4x−S4a)
+Vx4a …(5)
画素シフト機構として、ピエゾ圧電素子を使用している場合、駆動電圧と変位量との関係は線形ではないが、S4aとS4bの差が小さいため線形と仮定しても問題ない。
【0038】
ステップS104では、Pos1、Pos4c、Pos4dで撮影した画像からPos1のエッジ部bの位置を基準としたPos4c、Pos4dのエッジ部bの垂直位置を求める。そして、ステップS102と同様の方法により相対変位量を算出する。
【0039】
ステップS105では、画素シフト機構がPos1,Pos4c,Pos4dの位置に変位させたときの垂直方向駆動電圧とステップS104で求めた垂直方向のエッジ位置の関係から、画素シフト機構を目標位置に変位させるときの設定電圧を算出する。
【0040】
Pos1,Pos4c,Pos4dの位置に変位させたときの垂直方向駆動電圧をVy1,Vy4c、Vy4dとし、ステップS104で求めたPos4c,Pos4dの相対変位をS4c,S4dする。Pos4の目標変位をS4y、そのときの駆動電圧をVy4とすると、駆動電圧を式(6)で求めることができる。
【0041】
Vy4=(Vy4d−Vy4c)/(S4d−S4c)×(S4y−S4c)
+Vy4c …(6)
以上のステップをPos1からPos8について行うことで、各画素シフト位置の駆動電圧を算出することができる。ただし、Pos1及びPos2の垂直方向駆動電圧はPos0と同じとし、Pos3及びPos7の水平方向駆動電圧はPos0のそれと等しいとして設定する。通常、画素シフト機構の水平垂直方向変位の直交性は良いため、このようにしても問題ない。
【0042】
以上のように画素シフトデジタルカメラの調整を行うことでコストと調整時間を増大することなく、画素シフトデジタルカメラのシフト変位量を精度良く調整できるようになる。
【0043】
次に、第1の実施の形態の調整方法の第1の変形例について説明する。
【0044】
前述のエッジ位置算出では、エッジの各点の位置の変位量の平均から、画素シフト機構の変位量を求めたが以下のようにして求めることもできる。
【0045】
図6のエッジ部aの水平方向変位量の測定について説明する。
【0046】
前述の実施の形態と同様にPos3,Pos4a,Pos4bそれぞれについて、エッジの半値位置のx、y座標を求める。そして、このx、y座標を平面座標に表わすと、図13に示す3本の直線が得られる。
【0047】
次に、それぞれの直線の方程式を最小2乗法により求めて、式(7)、式(8)、式(9)を得る。
【0048】
Pos3について:x=p3*y+q3 …(7)
Pos4aについて:x=p4a*y+q4a …(8)
Pos4bについて:x=p4b*y+q4b …(9)
ここで、p3、p4a、p4b、q3、q4a、q4bは定数である。
【0049】
上式でy方向位置が中央値をとるときのPos3,Pos4a,Pos4bのx位置を各画素シフト位置における直線の位置として相対変位を算出する。図13の例ではy=40のときのxの値を用いる。
【0050】
このようにして相対変位を求めた場合、上述の周期的変化の影響は最小2乗法により除去されるので前述の実施の形態と同様に精度良く変位量を測定できる。そして、その変位量によって上述と同様に駆動電圧を算出する。
【0051】
次に、第1の実施の形態の調整方法の第2の変形例について説明する。
【0052】
図14は、標本の撮影位置を示す図である。図14に示すようにPos0からPos8までの各画素シフト位置についてそれぞれ上下左右方向の4箇所(×の位置)変位させた位置の標本像を撮影する。以下には、Pos5の駆動電圧を算出する方法について説明する。
【0053】
まずPos5a,Pos5b,Pos5c,Pos5dの位置で調整用標本を撮影する。それぞれの位置で撮影した画像のエッジ部a,bについて第1の変形例で述べたようにエッジの直線の方程式を求め、この2本の直線の方程式の交点を求める。これによりPos5a,Pos5b,Pos5c,Pos5dそれぞれの交点として(x5a,y5a)、(x5b,y5b)、(x5c,y5c)、(x5d,y5d)を得る。
【0054】
Pos5a,Pos5b,Pos5c,Pos5dへ画素シフト機構を変位させたときの駆動電圧を(V5xa,V5ya)、(V5xb,V5yb)、(V5xc,V5yc)、(V5xd,V5yd)とすると、Pos5を目標位置(x5,y5)へ変位させるための駆動電圧(V5x,V5y)は式(10)、式(11)で表わされる。
【0055】
V5x=(V5xb−V5xa)/(x5b−x5a)×(x5−x5a)
+V5xb …(10)
V5y=(V5yd−V5yc)/(y5d−y5c)×(y5−y5c)
+V5yc …(11)
この処理をPos0からPos8の全てについて行い、それぞれの目標位置に対する駆動電圧を算出する。
【0056】
この第2の変形例によれば、第1の実施の形態及び第1の変形例ではPos1,Pos2の垂直位置、Pos3,Pos6の水平位置が画素シフト機構の直交性に依存していたのに対し、画素シフト機構の直交性が悪い場合でも、精度良く駆動電圧を調整することができる。
【0057】
次に、第1の実施の形態の調整方法の第3の変形例について説明する。
【0058】
本第3の変形例では、上記の第1の実施の形態及び第1、第2の変形例に示される調整方法を繰返し行うことでさらに高精度に調整する。
【0059】
図2、図14の×で示される位置での処理に基づいて目標の駆動電圧を調整した後、その駆動電圧に基づいて、図15の△で示されるようなより狭い範囲に再設定した上で、目標位置の駆動電圧を算出する。
【0060】
目標位置のより近傍の位置のデータに基づいて処理を行うことにより、変位量の測定誤差を小さくすることができる。
【0061】
この再設定処理は、所定回数繰り返すことで調整精度を高めても良く、また、前回求めた目標位置の駆動電圧との差が小さくなったことで、収束したと判断しても良い。
【0062】
続いて、本発明の第2の実施の形態について説明する。本第2の実施の形態は、本発明の画素シフトデジタルカメラシステムを顕微鏡の標本像の撮影に適用するものであるが、顕微鏡をカメラレンズとし、標本の大きさを適宜変更することで、一般の被写体を撮影する画素シフトデジタルカメラシステムへの応用も可能である。
【0063】
図16は、本発明に係る顕微鏡デジタルカメラシステムの構成を示す図であり、図17は、本発明に係る顕微鏡デジタルカメラシステムに用いられる信号処理部の構成を示す図である。
【0064】
図16において、顕微鏡本体2の光源4から発せられた照明光は、レンズ5、ミラー6、レンズ7、視野絞り8、開口絞り9、コンデンサレンズ10を介して、ステージ11上の試料Sを照明する。ここでステージ11は、光軸方向及び光軸に垂直な平面内で水平方向及び垂直方向への移動調整が可能である。
【0065】
照明光による試料Sの像は、対物レンズ12および結像レンズ13によって結像され、プリズム14に入射する。プリズム14では、試料Sの像を分岐し、一方を接眼レンズ15を介して射出し、もう一方はカメラアダプタ30を介して顕微鏡デジタルカメラのカメラヘッド部1へ入射させる。
【0066】
カメラヘッド部1では、入射された像はCCDなどの撮像素子16上に結像され、制御処理部18で画像処理等が行われる。カメラヘッド部1は、ケーブル19を介してPC3に接続される。
【0067】
次に図17を参照してカメラヘッド部について説明する。
【0068】
カメラヘッド部1は、ピエゾ圧電素子によりxy方向へ移動可能なxyステージからなる画素シフト機構17にCCDなどの撮像素子16が取り付けられている。CCDは例えばベイヤー配列の単板カラーCCDとし、その画素ピッチは6μmとする。
【0069】
撮像素子16には制御処理部18が接続されている。撮像素子16は撮像素子駆動部20からの駆動信号により撮像素子16上に結像された標本の光像を光電変換し、それに応じた信号を前置処理部19へ出力する。
【0070】
前置処理部19には撮像素子駆動部20と増幅部21が接続される。前置処理部19は、撮像素子駆動部20からの同期信号により撮像素子16と同期を取って、入力された信号を映像信号として増幅部21へ出力する。
【0071】
増幅部21には前置処理部19、A/D変換部22、制御部28が接続される。増幅部21は制御部28によるゲイン設定にしたがって前置処理部19からの映像信号を増幅してA/D変換部22へ出力する。
【0072】
A/D変換部22は撮像素子駆動部20、増幅部21、メモリコントローラ23に接続される。A/D変換部22では撮像素子駆動部20からの同期信号により撮像素子16と同期をとって増幅部21からの映像信号をデジタル化し、メモリコントローラ23へ出力する。
【0073】
メモリコントローラ23には、A/D変換部22、メモリ24、信号処理部25とバス26が接続される。メモリコントローラ23では、バス26を介して制御部28からの制御に応じてA/D変換部22からのデジタル信号をメモリ24へ出力し、またそのデジタル信号を信号処理部25へ出力する。
【0074】
信号処理部25はバス26に接続され、バス26を介した制御部28からの制御により、ベイヤ配列からの画素補間や色補正などの所定の信号処理を行ない、処理結果のデジタル信号をバス26を介して制御部へ出力する。
【0075】
制御部28にはI/F29が接続され、さらにI/F29を介してPC3が接続されている。制御部28は入力された画像データをI/F29を介してPC3へ出力する。
【0076】
画素シフト機構17には画素シフト機構駆動部31が接続され、さらに制御部28が接続される。制御部28は後述する静止画撮影の際に、バス26に接続される画素シフト機構駆動電圧記憶部27に記憶されている画素シフト機構17を所定の位置に移動させるための電圧値を読み出し、画素シフト機構駆動部31へ設定して、画素シフト機構17を変位させる。
【0077】
PC3のモニタには図18に示すような操作画面が表示され、図示しない画面上のマウスなどのポインティングデバイスによる操作指示に基づいて、I/F29を介して制御部28へ、標本の光像の静止画取得、撮像素子駆動部20の電子シャッタ設定、増幅部21のゲイン設定などを指示する。
【0078】
通常カメラヘッドは動画モードで動作しており、前述の処理を毎秒10数フレームで行ない、操作画面上に顕微鏡で観察している標本の画像をライブ像として表示する。
【0079】
次に、画素シフト動作と静止画撮影動作について説明する。
【0080】
操作画面上において、静止画撮影ボタンが押され、それに応じてPC3から制御部28へ撮影指示があると、以下の順で静止画撮影が行われる。なお本実施の形態では2/3画素ピッチ、9回シフトによる画素シフト法を例に説明する。この場合、画素シフト機構17は撮像素子16を(0,0)、(2/3画素,0)、(4/3画素,0)、(0,2/3画素)、(2/3画素,2/3画素)、(4/3画素、2/3画素)、(0,4/3画素)、(2/3画素,4/3画素)、(4/3画素、4/3画素)の9個所の位置に移動させる。
【0081】
手順1:制御部28は画素シフト機構駆動電圧記憶部27から初期位置の駆動電圧を読み込み画素シフト機構駆動部31に設定する。
【0082】
手順2:画素シフト機構駆動部31は設定された電圧に応じて画素シフト機構17を変位させる。
【0083】
手順3:制御部28は撮像素子駆動部20へ撮像素子16からの電荷読み出し等を指示すると共にメモリコントローラ23へ、撮影した画像データのメモリ24への記憶を指示する。
【0084】
手順4:制御部28は画素シフト機構駆動電圧記憶部27から第2の位置の駆動電圧を読み込み画素シフト駆動部31に設定する。
【0085】
手順5:画素シフト機構駆動部31は設定された電圧に応じて画素シフト機構17を変位させる。
【0086】
手順6:制御部28は撮像素子駆動部20へ撮像素子16からの電荷読み出し等を指示すると共にメモリコントローラ23へ、撮影した画像データのメモリ24への記憶を指示する。
【0087】
手順7: 手順4〜 手順6を第3〜第9の位置について繰り返す。
【0088】
手順8:画素シフト撮影終了後、制御部28はメモリコントローラへメモリ23からの読み出しを指示する。
【0089】
手順9:メモリコントローラ23は前述の画素シフト撮影によってメモリ24へ記憶された複数枚分の画像データを、図19のように画素シフトを考慮して相対的位置関係が整うように読み出し、信号処理部25へ出力する。
【0090】
手順10:信号処理部25は制御部28の指示に応じて入力された信号を処理し、制御部28へ出力する。
【0091】
手順11:制御部28は処理結果の画像データをPC3へ転送する。
【0092】
手順12:PC3は転送された画像データをPC3内のメモリへ記憶し、モニタへ表示して撮影を完了する。
【0093】
手順13:PC3のメモリを記憶された画像データを適宜ハードディスクへ保存する。
【0094】
本第2の実施の形態の顕微鏡画素シフトデジタルカメラシステムは、上述の顕微鏡デジタルカメラの構成に加えて、以下の構成及び機能を有する。
【0095】
▲1▼調整用標本
図20に示す調整用標本で、スライドガラス40上にクロム蒸着などにより図形が形成されている。図形は、撮像素子の水平垂直方向と平行な外枠41と、撮像素子の水平垂直方向に対して5度傾いた四角42で構成されている。
【0096】
▲2▼PC3上のプログラムによる図21の○△▽によって示す画素シフト機構17の変位を与える画素シフト機構駆動電圧データを記憶する機能。
【0097】
このデータは、画素シフト機構駆動電圧記憶部27に記憶させるものであっても良い。
【0098】
図21は画素シフト機構が静止画撮影時に変位させるべき位置を○で示しており、その間隔は撮像素子の画素ピッチの2/3である。Pos0が初期位置で、以下Pos8までの9箇所の位置で撮像を行ない、その画像を合成して高精細静止画を得ている。初期状態の○△▽の位置は正確な位置である必要はなく、未調整の画素シフト機構において○△▽の位置関係になると予想される位置であればよい。
【0099】
▲3▼PC上のプログラムによる機能として、画素シフト機構駆動電圧データをカメラヘッド1の制御部28を介して画素シフト機構駆動部31へ設定し、その状態で標本像の撮像を行ない、所定の信号処理を施してPCへ取り込む機能。
【0100】
▲4▼PC上のプログラムによる機能として、図5の標本のエッジ部aの水平方向の位置を計算する機能。
【0101】
▲5▼PC上のプログラムによる機能として、図5の標本のエッジ部bの垂直方向の位置を計算する機能。
【0102】
▲6▼PC上のプログラムによる機能として、複数組の画素シフト機構駆動電圧データとエッジ部の位置との関係から、画素シフト機構への入力電圧と変位量の関係を求め、目標移動量に対する入力電圧を算出する機能。
【0103】
続いて、本実施の形態に係る顕微鏡画素シフトデジタルカメラシステムにおいて、画素シフト機構17を目標通りの位置に変位させるための調整作用について図22のフローチャートにしたがって説明する。
【0104】
ステップS201では、ステージ11上に図20に示す調整用標本を置く。
【0105】
ステップS202では、標本のピント調整及び標本Sと撮像素子16の方向を調整する。ピント調整は顕微鏡のステージの上下動により行う。回転方向の調整は標本Sの載置方向を直接回転させたり、カメラヘッド1の取り付けられたアダプタ30の回転や、またステージ11に回転機構がついている場合はそれを利用し、図23のように操作画面の水平方向及び垂直方向と標本の外枠の水平方向及び垂直方向とが一致するように調整する。
【0106】
ステップS203では、図23のように操作画面上において撮影モードを「調整」に変更し、静止画撮影ボタンを押す。
【0107】
ステップS204では、PC3は制御部28を介して画素シフト機構が図21のPos0位置のときの標本像の撮影を行い、エッジ部aの水平位置及びエッジ部bの垂直位置を算出する
ステップS205では、PC3は制御部28を介して画素シフト機構が図21の△位置のときの標本像の撮影を行い、各位置のエッジ部aの水平位置を算出する
ステップS206では、PC3は制御部28を介して画素シフト機構17が図21の▽位置のときの標本像の撮影を行い、各位置のエッジ部bの垂直位置を算出する。
【0108】
ステップS207では、第1実施の形態で説明した計算方法により、図21に示す正確な目標位置○の画素シフト機構駆動電圧を算出する。
【0109】
ステップS208では、算出した駆動電圧値を制御部28を介して画素シフト機構駆動電圧記憶部27へ記憶させる。
【0110】
以上説明した構成及び作用によればコストと調整時間を増大することなく、画素シフトデジタルカメラの画素シフト変位量を精度良く調整できる画素シフトデジタルカメラシステムを提供することができる。
【0111】
尚、標本の変形例として、調整用標本は水平方向及び垂直方向それぞれに対し傾きを持ったエッジ部を有する標本であれば、その形状は図20に限定されるものではなく、その他さまざまなバリエーションが考えられる。たとえば図24に示すようなものでもよい。
【0112】
また顕微鏡用の通常使うスライドガラスの一部にエッジ部を形成するようにすれば、日常使う標本に常に調整用標本が付属するようになり、いつでも調整ができるようになる。さらには、図25に示すように標本の番号整理のためにバーコード付きのスライドガラスにエッジを形成することも可能である。
【0113】
更に、図26、図27に示すように調整用標本を、エッジ部とともにテストチャートや文字、数字、幾何学的模様と共に形成し、調整前後でエッジ部と共に形成した図柄を表示できるようにしても良い。比較画像の形状が滑らかに表示されることを確認することにより、操作者が調整の効果を確認することができる。
【0114】
また、製造時の調整専用の場合の操作画面の変形例として、図28に示すように静止画撮影ボタン等は設けず、調整を開始するボタンだけを設けても良く、標本に枠を設けるのではなく、操作画面上に合わせるべきエッジの傾きを表す直線を表示するようにしても良い。
【0115】
また、市販用アプリケーションの操作画面の変形例として、図29に示すように、画素シフト機構の調整開始はメニューのオプションの下に入れて、プルダウンメニューで表示しても良い。前述の実施の形態では操作画面上で直接調整モードに変更していたのに対し、オプションの下に入れてプルダウンメニューに表示することにより調整開始操作に2アクションが必要になるため誤操作を防止できる。
【0116】
また、顕微鏡構成の変形例として、図16の視野絞り8の位置に調整用標本を挿抜可能に顕微鏡に配置するようにしても良い。視野絞り8の位置は、標本面と光学的に共役な位置になっており、この位置の光像も撮像素子面上に結像されるからである。
【0117】
このように顕微鏡に調整用標本を組み込むことで、調整用標本の紛失防止等の効果がある。
【0118】
また視野絞り8を絞ると図30のようになるため、視野絞り8自体を調整用標本としてもよい。これにより調整用標本を付属させる必要がなくなりコストダウンさせることができる。
【0119】
また、図31に示すアダプタ30aのように中間に結像位置があるリレーレンズ光学系を有するものがある。このような場合、中間結像位置32に調整用標本を置くようにしても良い。このように顕微鏡に調整用標本を組み込むことで、調整用標本の紛失防止等の効果がある。
【0120】
尚、本発明は、上記記載の各実施の形態に基づいて、以下のように構成することができる。
【0121】
(1) 少なくとも2つの直線状の端辺をもつ図形を有する調整用標本の光像を、撮像手段に対して所定の初期位置に配置する第1の工程と、
画素シフト手段に駆動電圧を設定して、前記調整用標本の光像と前記撮像手段との相対位置を変化させる第2の工程と、
前記撮像手段により前記調整用標本の光像を撮像する第3の工程と、
前記撮像された図形の第1の端辺上にある複数の点それぞれについて、初期位置からの変位量の水平方向成分値を求めて、この複数の水平方向成分値を平均した平均水平方向成分値を算出する第4の工程と、
前記撮像された図形の第2の端辺上にある複数の点それぞれについて、初期位置からの変位量の垂直方向成分値を求めて、この複数の垂直方向成分値を平均した平均垂直方向成分値を算出する第5の工程と、
第2から第5の工程を、前記調整用標本の光像と前記撮像手段との相対位置をそれぞれ異ならせる駆動電圧を前記画素シフト手段に設定して繰り返す第6の工程と、
前記画像シフト手段に設定した複数の駆動電圧と求めた平均水平方向成分値及び平均垂直方向成分値とから、前記調整用標本の光像と前記撮像手段との相対位置が所定値となるように前記画像シフト手段に設定する駆動電圧を求める第7の工程と
を備えたことを特徴とする画素シフトデジタルカメラの調整方法。
【0122】
(2) 少なくとも2つの直線状の端辺をもつ図形を有する調整用標本の光像を、撮像手段に対して所定の初期位置に配置する第1の工程と、
画素シフト手段に駆動電圧を設定して、前記調整用標本の光像と前記撮像手段との相対位置を変化させる第2の工程と、
前記撮像手段により前記調整用標本の光像を撮像する第3の工程と、
前記撮像された画像中に設定された座標系において、前記撮像された図形の第1の端辺を表わす直線の式を最小2乗法で求め、この直線の式に基づいて初期位置からの変位量の水平方向成分値を求める第4の工程と、
前記撮像された画像中に設定された座標系において、前記撮像された図形の第2の端辺を表わす直線の式を最小2乗法で求め、この直線の式に基づいて初期位置からの変位量の垂直方向成分値を求める第5の工程と、
第2から第5の工程を、前記調整用標本の光像と前記撮像手段との相対位置をそれぞれ異ならせる駆動電圧を前記画素シフト手段に設定して繰り返す第6の工程と、
前記画像シフト手段に設定した複数の駆動電圧と求めた複数の変位量の水平及び垂直方向成分値とから、前記調整用標本の光像と前記撮像手段との相対位置が所定値となるように前記画像シフト手段に設定する駆動電圧を求める第7の工程と
を備えたことを特徴とする画素シフトデジタルカメラの調整方法。
【0123】
(3) 少なくとも2つの直線状の端辺をもつ図形を有する調整用標本の光像を、撮像手段に対して所定の初期位置に配置する第1の工程と、
画素シフト手段に駆動電圧を設定して、前記調整用標本の光像と前記撮像手段との相対位置を変化させる第2の工程と、
前記撮像手段により前記調整用標本の光像を撮像する第3の工程と、
前記撮像された画像中に設定された座標系において、前記撮像された図形の第1の端辺を表わす直線の式を最小2乗法で求める第4の工程と、
前記撮像された画像中に設定された座標系において、前記撮像された図形の第2の端辺を表わす直線の式を最小2乗法で求める第5の工程と、
前記求めた2つの直線の式に基づいてその交点の座標を求める第6の工程と、第2から第6の工程を、前記調整用標本の光像と前記撮像手段との相対位置をそれぞれ異ならせる駆動電圧を前記画素シフト手段に設定して繰り返す第7の工程と、
前記画像シフト手段に設定した複数の駆動電圧と求めた複数の交点の座標値とから、前記調整用標本の光像と前記撮像手段との相対位置が所定値となるように前記画像シフト手段に設定する駆動電圧を求める第8の工程と
を備えたことを特徴とする画素シフトデジタルカメラの調整方法。
【0124】
(4) 上記(1)〜(3)に記載の画素シフトデジタルカメラの調整方法において、
前記撮像手段が単板カラー撮像素子であり、
前記撮像された図形は、この単板カラー撮像素子からの映像信号であるRGB信号から求めた輝度信号によって表わされていることを特徴とする画素シフトデジタルカメラの調整方法。
【0125】
(5) 上記(1)〜(3)に記載の画素シフトデジタルカメラの調整方法において、
前記撮像手段が単板カラー撮像素子であり、
前記撮像された図形は、この単板カラー撮像素子からの映像信号であるRGB信号の内G信号によって表わされていることを特徴とする画素シフトデジタルカメラの調整方法。
【0126】
(6)少なくとも2つの直線状の端辺をもつ図形を有する調整用標本の光像を、撮像手段に対して所定の初期位置に配置する第1の工程と、
画素シフト手段に駆動電圧を設定して、前記調整用標本の光像と前記撮像手段との相対位置を変化させる第2の工程と、
前記撮像手段により前記調整用標本の光像を撮像する第3の工程と、
前記撮像された図形の第1の端辺上にある点について、初期位置からの変位量の水平方向成分値を求める第4の工程と、
前記撮像された図形の第2の端辺上にある点について、初期位置からの変位量の垂直方向成分値を求める第5の工程と、
第2から第5の工程を、前記調整用標本の光像と前記撮像手段との相対位置をそれぞれ異ならせる駆動電圧を前記画素シフト手段に設定して繰り返す第6の工程と、
前記画像シフト手段に設定した複数の駆動電圧と求めた複数の変位量の水平及び垂直方向成分値とから、前記調整用標本の光像と前記撮像手段との相対位置が所定値となるように前記画像シフト手段に設定する駆動電圧を求める第7の工程と、
前記第2工程の駆動電圧を前記第7の工程で求めた駆動電圧との差がより少ない駆動電圧に更新して、前記第2から第7の工程を繰り返す第8の工程と
を備えたことを特徴とする画素シフトデジタルカメラの調整方法。
【0127】
(7) 標本を積載するステージとこの標本に対向して配置される対物レンズとを有する顕微鏡と、
対物レンズによる標本の光像を撮像する撮像手段と、
前記標本の光像と前記撮像手段との相対位置を変化させる画素シフト手段と、前記画素シフト手段を駆動するための駆動電圧を記憶する駆動電圧記憶手段と、
前記駆動電圧記憶手段に記憶された駆動電圧に基づいて前記画素シフト手段を駆動する画素シフト駆動手段と、
少なくとも2つの直線状の端辺をもつ図形を有する調整用標本と、
前記記憶された駆動電圧に対応して前記画素シフト手段が駆動される位置毎に前記調整用標本の光像を撮像手段により撮像させる撮像制御手段と、
撮影された前記相対位置の異なる2つの画像に基づいて、前記図形の第1の端辺上にある点について、変位量の水平方向成分値を求める水平相対変位量算出手段と、
撮影された前記相対位置の異なる2つの画像に基づいて、前記図形の第2の端辺上にある点について、変位量の垂直方向成分値を求める垂直相対変位量算出手段と、
前記画像シフト手段に与えた駆動電圧と求めた変位量の水平及び垂直方向成分値とから、前記調整用標本と前記撮像手段との相対位置が所定値となる前記駆動電圧を求める駆動電圧算出手段と
算出した駆動電圧を駆動電圧記憶手段に記憶させる記憶更新手段と
を備えたことを特徴とする顕微鏡画素シフトデジタルカメラシステム。
【0128】
(8) 上記(7)に記載の顕微鏡画素シフトデジタルカメラシステムにおいて、
前記調整用標本を前記ステージ上の載置すべき標本位置とは異なる、撮像手段と光学的に共役な位置に配置することを特徴とする顕微鏡画素シフトデジタルカメラシステム。
【0129】
(9) 上記(8)に記載の顕微鏡画素シフトデジタルカメラシステムにおいて、
前記顕微鏡は、照明光源、視野絞り、コンデンサレンズからなる照明光学系を有し、前記調整用標本は、前記視野絞りであり、前記少なくとも2つの直線状の端辺をもつ図形は、前記視野絞りの縁であることを特徴とする顕微鏡画素シフトデジタルカメラシステム。
【0130】
(10) 上記(9)に記載の顕微鏡画素シフトデジタルカメラシステムにおいて、
前記顕微鏡の対物レンズと撮像手段との間にリレーレンズ光学系を有し、
前記リレーレンズ光学系の中間結像位置に前記調整用標本を挿抜自在に配置することを特徴とする顕微鏡画素シフトデジタルカメラシステム。
【0131】
(11) 上記(7)に記載の顕微鏡画素シフトデジタルカメラシステムにおいて、
前記駆動電圧記憶手段に算出した駆動電圧を記憶させる前後の前記調整用標本の画素シフト静止画撮影結果を比較表示することを特徴とする顕微鏡画素シフトデジタルカメラシステム。
【0132】
(12) 画素シフトデジタルカメラシステムまたは顕微鏡画素シフトデジタルカメラシステムに用いられる少なくとも2つの直線状の端辺をもつ図形を有する調整用標本あって、
スライドガラスを用いて構成することを特徴とする調整用標本。
【0133】
(13) 画素シフトデジタルカメラシステムまたは顕微鏡画素シフトデジタルカメラシステムに用いられる少なくとも2つの直線状の端辺をもつ図形を有する調整用標本あって、
撮像手段の水平方向及び垂直方向を示す基準線を有することを特徴とする調整用標本。
【0134】
(14) 画素シフトデジタルカメラシステムまたは顕微鏡画素シフトデジタルカメラシステムに用いられる少なくとも2つの直線状の端辺をもつ図形を有する調整用標本あって、
バーコードを備えたことを特徴とする調整用標本。
【0135】
(15) 画素シフトデジタルカメラシステムまたは顕微鏡画素シフトデジタルカメラシステムに用いられる少なくとも2つの直線状の端辺をもつ図形を有する調整用標本あって、
文字、数字、幾何学模様の内少なくとも1つを有することを特徴とする調整用標本。
【0136】
上述の本発明に係る各実施の形態は以下のような効果を有する。
【0137】
上記(1)、(2)、(4)、(5)、(6)によればコストと調整時間を増大することなく、画素シフトデジタルカメラのシフト変位量を精度良く調整できるようになる。
【0138】
上記(3)によれば、上述の効果に加えて、画素シフト機構の直交性が悪い場合でも精度良く調整できるようになる。
【0139】
上記(6)によれば、上述の効果に加えさらに精度良く調整できるようになる。
【0140】
上記(7)によればコストと調整時間を増大することなく画素シフトデジタルカメラのシフト変位量を精度良く調整でき、撮影画像の画質向上させることができる。
【0141】
上記(12)によれば顕微鏡のステージ上に調整用標本を置けるようになり、調整が簡便になる。
【0142】
上記(13)によれば、調整用標本の撮像手段の水平垂直方向を示す基準線を、撮像手段の水平垂直方向と合わせることで調整を簡便になる。
【0143】
上記(8)、(10)によれば、顕微鏡に組み込むことができ、利便性が向上する。
【0144】
上記(11)によれば従来からある顕微鏡構成の一部を標本として利用でき、コストダウンを図ることができる。
【0145】
上記(11)、(14)、(15)によれば、調整精度を容易に確認できるようになり、調整の信頼性を向上することができる。
【0146】
【発明の効果】
以上説明したように、本発明によれば、安価かつ短時間で、画素シフトデジタルカメラのシフト変位量を精度良く調整できる。
【図面の簡単な説明】
【図1】画素シフトの原理を示す図。
【図2】画素のシフト位置を示す図。
【図3】調整方法を示すフロー図。
【図4】調整用標本の設置例を示す図。
【図5】エッジ部を示す図。
【図6】エッジ部に注目して示す図。
【図7】輝度信号レベルを示す図。
【図8】垂直方向の相対変位を示す図。
【図9】垂直方向の相対変位を示す図。
【図10】変化の周期とエッジの傾きとの関係を示す図。
【図11】Y信号について平均化する周期数と平均化結果の関係を示す図。
【図12】G信号について平均化する周期数と平均化結果の関係を示す図。
【図13】3本の直線を示す図。
【図14】標本の撮影位置を示す図。
【図15】標本の撮影位置を示す図。
【図16】顕微鏡デジタルカメラシステムの構成を示す図。
【図17】顕微鏡デジタルカメラシステムに用いられる信号処理部の構成を示す図。
【図18】操作画面を示す図。
【図19】画像の合成を示す図。
【図20】調整用標本を示す図。
【図21】標本の撮影位置を示す図。
【図22】画素シフト機構を目標通りの位置に変位させるための調整動作を示すフロー図。
【図23】操作画面を示す図。
【図24】調整用標本を示す図。
【図25】調整用標本を示す図。
【図26】調整用標本を示す図。
【図27】調整用標本を示す図。
【図28】操作画面を示す図。
【図29】操作画面を示す図。
【図30】視野絞りを示す図。
【図31】調整用標本の設置位置を示す図。
【図32】画素シフト法を用いたデジタルカメラを顕微鏡の標本像の撮像に適用したデジタルカメラシステムの構成を示す図。
【符号の説明】
1…カメラヘッド部、 2…顕微鏡本体、 3…PC、 8…視野絞り、
11…ステージ、 12…対物レンズ、 16…撮像素子、
17…画素シフト機構、 25…信号処理部、 27…画素シフト機構駆動電圧記憶部、 30…アダプタ、 31…画素シフト機構駆動部、
32…中間結像位置、 40…スライドガラス[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a pixel shift digital camera system that captures a still image at each position by changing a relative position between an optical image and an imaging unit, and combines these images to achieve high resolution.
[0002]
[Prior art]
In a digital camera system that captures a light image of a subject with an image sensor such as a CCD, a so-called pixel shift method has been developed as a method for increasing the resolution without increasing the number of pixels of the image sensor itself.
[0003]
FIG. 32 is a diagram showing a configuration of a digital camera system in which a digital camera using the pixel shift method is applied to imaging a specimen image of a microscope.
[0004]
This digital camera system includes a digital
[0005]
Next, the operation of this digital camera system will be described.
[0006]
The
[0007]
For example, n = 1 and m = 2, and the initial positions in the x and y directions are respectively (1/2 pixel pitch, 0 pixel pitch), (0 pixel pitch, 1/2 pixel pitch), (1/2 pixel pitch). , 1/2 pixel pitch), and incident light images are taken at a total of four locations. Then, by synthesizing these images, an image having four times the number of pixels can be obtained. In the following description, (n / m pixel pitch, n / m pixel pitch) is described as (n / m pixel, n / m pixel).
[0008]
By the way, in the case of high resolution by the pixel shift method, if the displacement amount error is several percent, the image quality is deteriorated. In this example, when the pixel pitch of the
[0009]
In order to achieve this control accuracy, the drive voltage of the
[0010]
Therefore, adjustment without using such a measuring instrument is required. As an adjustment method of such a pixel shift digital camera, an image obtained by calculating a displacement by a target movement amount from an image captured at an initial position of the pixel shift mechanism is obtained by calculation, and an image captured when the pixel shift mechanism is moved A technique for adjusting the movement amount so that the difference between images obtained by calculation is minimized is disclosed (for example, see Patent Document 1).
[0011]
[Patent Document 1]
Japanese Patent Laid-Open No. 9-135381.
[0012]
[Problems to be solved by the invention]
Normally, the pixel shift mechanism moves the
[0013]
By the way, in the method disclosed in
[0014]
The present invention has been made in view of such circumstances, and an adjustment method of a pixel shift digital camera, an adjustment sample, and a pixel shift digital camera system capable of accurately adjusting the shift displacement amount of the pixel shift digital camera at low cost and in a short time. An object of the present invention is to provide a microscope pixel shift digital camera system.
[0015]
[Means for Solving the Problems]
In order to solve the above-described problem, an adjustment method for a pixel shift digital camera according to the first aspect of the present invention provides an optical image of an adjustment sample having a figure having at least two straight edges to an imaging unit. A first step of disposing at a predetermined initial position, a second step of setting a driving voltage in the pixel shift unit, and changing a relative position between the optical image of the adjustment sample and the imaging unit, and an imaging unit. A third step of capturing an optical image of the adjustment specimen, a fourth step of obtaining a horizontal component value of the displacement from the initial position for a point on the first edge of the captured figure, For the points on the second edge of the imaged figure, the fifth step for obtaining the vertical component value of the displacement from the initial position and the second to fifth steps are the optical image of the adjustment sample. Drive voltage to vary the relative position of the image sensor and the image pickup means. The optical image of the adjustment sample and the imaging means are obtained from the sixth step which is set and repeated in the means, the plurality of drive voltages set in the image shift means and the horizontal and vertical component values of the obtained displacement amounts. And a seventh step of obtaining a drive voltage set in the image shift means so that the relative position becomes a predetermined value.
[0016]
A pixel shift digital camera system according to another aspect of the present invention drives an image pickup means for picking up an incident light image, a pixel shift means for changing the relative position between the incident light image and the image pickup means, and the pixel shift means. Drive voltage storage means for storing a plurality of drive voltages for driving, pixel shift drive means for driving the pixel shift means based on the drive voltage stored in the drive voltage storage means, and at least two linear edges An adjustment sample having a figure, an imaging control unit that causes the imaging unit to capture an optical image of the adjustment sample for each position at which the pixel shift unit is driven corresponding to the stored drive voltage, and a relative position of the captured image Based on two different images, horizontal relative displacement amount calculating means for obtaining a horizontal direction component value of the displacement amount at a point on the first edge of the figure, and two different relative positions of the captured images The vertical relative displacement amount calculation means for obtaining the vertical component value of the displacement amount for the point on the second end side of the figure based on the image of the image, the drive voltage applied to the image shift means and the obtained displacement amount Drive voltage calculation means for obtaining a drive voltage at which the relative position between the adjustment sample and the imaging means becomes a predetermined value from the horizontal and vertical direction component values, and storage update means for storing the calculated drive voltage in the drive voltage storage means. I have.
[0017]
An adjustment sample according to another aspect of the present invention is an adjustment sample used for a pixel shift digital camera system, and has a figure having at least two straight edges.
[0018]
In addition, a microscope pixel shift digital camera system according to another aspect of the present invention captures an optical image of a specimen by the microscope having a stage on which the specimen is loaded and an objective lens arranged opposite to the specimen, and the objective lens. The image pickup means, the pixel shift means for changing the relative position of the sample optical image and the image pickup means, the drive voltage storage means for storing the drive voltage for driving the pixel shift means, and the drive voltage storage means The pixel shift driving means for driving the pixel shift means based on the drive voltage, the adjustment sample having a figure having at least two linear edges, and the pixel shift means are driven in accordance with the stored drive voltage. On the first edge of the figure based on the image pickup control means for picking up the optical image of the adjustment sample for each position by the image pickup means and the two images taken at different relative positions Based on the horizontal relative displacement amount calculating means for obtaining the horizontal direction component value of the displacement amount for a certain point and the two images taken with different relative positions, the displacement amount for the point on the second edge of the figure The relative position between the adjustment sample and the imaging means is determined from the vertical relative displacement amount calculating means for obtaining the vertical component value of the image, the drive voltage applied to the image shift means and the horizontal and vertical component values of the obtained displacement amount. Drive voltage calculation means for obtaining a drive voltage to be a value, and storage update means for storing the calculated drive voltage in the drive voltage storage means.
[0019]
An adjustment sample according to another aspect of the present invention is an adjustment sample used for a microscope pixel shift digital camera system, and has a figure having at least two straight edges.
[0020]
DETAILED DESCRIPTION OF THE INVENTION
An adjustment method of the pixel shift digital camera according to the first embodiment will be described.
[0021]
FIG. 1 is a diagram illustrating the principle of pixel shift. A Bayer array CCD shown in (1) of FIG. 1 is pixel-shifted nine times at a 2/3 pixel pitch, thereby obtaining a high-resolution composite image as shown in (2) of FIG. it can. FIG. 2 is a diagram illustrating pixel shift positions. The pixel shift mechanism is required to accurately change the relative position of the image and the image sensor from the position Pos0 to Pos8 in FIG.
[0022]
Next, a method of adjusting the set voltage for the pixel shift mechanism to accurately displace the pixel to the position “◯” in FIG.
[0023]
FIG. 3 is a flowchart showing the adjustment method of the present embodiment. A method of adjusting the drive voltage to the position of Pos4 in FIG. 2 will be described with reference to this flowchart and FIG.
[0024]
In step S101, as shown in FIG. 4, the adjustment specimen is installed with an inclination of about 5 degrees with respect to the horizontal and vertical directions of the image sensor. In this state, photographing is performed at each position where the pixel shift mechanism is displaced to Pos1, Pos3, Pos4a, Pos4b, Pos4c, and Pos4d. Here, Pos4a, Pos4b, Pos4c, and Pos4d are points indicating the horizontal and vertical positions around Pos4, and are represented by crosses in FIG.
[0025]
In step S102, the horizontal position difference between the position of the edge part a of Pos3 and the position of the edge part a of Pos4a and Pos4b from the images photographed by Pos4a and Pos4b, which are positions in the vicinity of Pos3 and Pos4 in the horizontal direction, is obtained. Ask. Here, the edge part a represents one end (edge) of the adjustment specimen tilted as shown in FIG.
[0026]
FIG. 6 is a diagram focusing on the edge portion a. When the luminance signal level of the image along the straight line c parallel to the x-axis is graphed, it is as shown in FIG. The three curves in FIG. 7 indicate luminance signal curves of Pos3, Pos4a, and Pos4b, respectively. The half-value position of each curve shown by the dotted line in FIG. 7 is obtained, and the displacement amount between the half-value position of Pos3 and the half-value positions of Pos4a and Pos4b is obtained.
[0027]
When the luminance signal is Y = 0.3R + 0.59G + 0.11B and the relative displacement of Pos4a with respect to Pos3 is expressed by changing the position in the y direction in FIG. 6, the result is as shown in FIG. Here, the y-axis in FIG. 8 represents the amount of displacement (number of pixel pitches) from Pos3 to Pos4a, and the x-axis represents the number of pixels in the vertical direction. As shown in FIG. 8, the obtained displacement amount changes periodically with a
[0028]
Similarly, when the G signal is used as the luminance signal, the level is small but periodically changes as shown in FIG. In the case of the Y signal, the resolution periodically changes because the resolution of the R and B pixels is lower than that of G in the case of the Bayer array, so that moire occurs, and as a result, the amount of displacement varies depending on the position in the vertical direction. It is to do. The G signal is smaller in size than the Y signal, but a periodic change of 1/2 cycle of the Y signal is observed. The reason why the change period of the G signal is ½ that of the Y signal is that the G pixel is used more frequently than the R and B pixels in the Bayer array, and the appearance frequency is high.
[0029]
Therefore, it can be understood that an accurate displacement amount cannot be measured because an error included in the displacement amount changes depending on which position of the edge is measured. Therefore, the edge portion is inclined with respect to the horizontal direction and the vertical direction so that the position of the edge to be measured is not fixed to a constant value in the horizontal direction and the vertical direction, and a plurality of displacement amounts are set at different positions of the edge. The error can be reduced by measuring and averaging the measured values.
[0030]
FIG. 10 is a diagram showing the relationship between the period of change and the slope of the edge.
[0031]
8 and 9, with the number of pixels shown on the horizontal axis as a unit, the number of pixels in which the change repeats (hereinafter referred to as “period” for convenience) is T pixels, and the inclination of the edge with respect to the horizontal and vertical directions is θ degrees. During one period, the Y signal changes by two pixels in the horizontal direction, and the G signal changes by one pixel.
[0032]
Therefore, the relationship of equation (1) is established for the Y signal, and the relationship of equation (2) is established for the G signal.
[0033]
For Y signal: T = 2 / tan θ (1)
For G signal: T = 1 / tan θ (2)
FIG. 11 is a diagram showing the relationship between the number of cycles averaged for the Y signal and the averaged result, and FIG. 12 is a diagram showing the relationship between the number of cycles averaged for the G signal and the averaged result.
[0034]
11 and 12, it can be seen that measurement can be performed with an error level that is not problematic in practice by averaging the number of pixels of one period or more. If the number of pixels to be averaged in the vertical direction is H, a relationship of H> T needs to be established. Therefore, when this equation is modified to obtain the inclination θ of the edge portion, equation (3) is established for the Y signal and equation (4) is established for the G signal.
For Y signal: θ> tan -1 (2 / H) (3)
For G signal: θ> tan -1 (1 / H) (4)
As described above, the relative displacement amounts of Pos4a and Pos4b with respect to Pos3 at each y position are averaged to determine the horizontal positions of Pos4a and Pos4b with respect to Pos3.
[0035]
In step S103, the pixel shift mechanism is displaced to the target position based on the relationship between the horizontal driving voltage when the pixel shift mechanism is displaced to positions Pos3, Pos4a, and Pos4b and the horizontal edge position obtained in step S102. Calculate the set voltage.
[0036]
The horizontal driving voltages when displaced to the positions Pos3, Pos4a and Pos4b are Vx3, Vx4a and Vx4b, and the relative displacements of Pos4a and Pos4b obtained in step S102 are S4a and S4b. Assuming that the target displacement of Pos4 is S4x and the driving voltage at that time is Vx4, the driving voltage can be obtained by Expression (5).
[0037]
Vx4 = (Vx4b−Vx4a) / (S4b−S4a) × (S4x−S4a)
+ Vx4a (5)
When a piezoelectric element is used as the pixel shift mechanism, the relationship between the drive voltage and the displacement amount is not linear, but there is no problem even if it is assumed linear because the difference between S4a and S4b is small.
[0038]
In step S104, the vertical positions of the edge portions b of Pos4c and Pos4d are obtained from the images photographed by Pos1, Pos4c, and Pos4d with reference to the position of the edge portion b of Pos1. Then, the relative displacement amount is calculated by the same method as in step S102.
[0039]
In step S105, when the pixel shift mechanism is displaced to the target position based on the relationship between the vertical driving voltage when the pixel shift mechanism is displaced to positions Pos1, Pos4c, and Pos4d and the vertical edge position obtained in step S104. Calculate the set voltage.
[0040]
The vertical driving voltages when displaced to the positions Pos1, Pos4c and Pos4d are Vy1, Vy4c and Vy4d, and the relative displacements of Pos4c and Pos4d obtained in step S104 are S4c and S4d. Assuming that the target displacement of Pos4 is S4y and the driving voltage at that time is Vy4, the driving voltage can be obtained by Expression (6).
[0041]
Vy4 = (Vy4d−Vy4c) / (S4d−S4c) × (S4y−S4c)
+ Vy4c (6)
By performing the above steps for Pos1 to Pos8, the driving voltage at each pixel shift position can be calculated. However, the vertical driving voltage of Pos1 and Pos2 is set to be the same as Pos0, and the horizontal driving voltage of Pos3 and Pos7 is set to be equal to that of Pos0. Usually, since the orthogonality of the horizontal and vertical displacements of the pixel shift mechanism is good, this is not a problem.
[0042]
By adjusting the pixel shift digital camera as described above, the shift displacement amount of the pixel shift digital camera can be accurately adjusted without increasing cost and adjustment time.
[0043]
Next, a first modification of the adjustment method of the first embodiment will be described.
[0044]
In the above-described edge position calculation, the displacement amount of the pixel shift mechanism is obtained from the average displacement amount of the position of each point of the edge, but can also be obtained as follows.
[0045]
The measurement of the amount of horizontal displacement of the edge part a of FIG. 6 is demonstrated.
[0046]
Similar to the above-described embodiment, the x and y coordinates of the half-value position of the edge are obtained for each of Pos3, Pos4a, and Pos4b. When these x and y coordinates are expressed as plane coordinates, three straight lines shown in FIG. 13 are obtained.
[0047]
Next, equations of the respective straight lines are obtained by the method of least squares to obtain Equations (7), (8), and (9).
[0048]
About Pos3: x = p3 * y + q3 (7)
About Pos4a: x = p4a * y + q4a (8)
About Pos4b: x = p4b * y + q4b (9)
Here, p3, p4a, p4b, q3, q4a, and q4b are constants.
[0049]
The relative displacement is calculated with the x position of Pos3, Pos4a and Pos4b when the y-direction position takes the median value in the above equation as the position of the straight line at each pixel shift position. In the example of FIG. 13, the value of x when y = 40 is used.
[0050]
When the relative displacement is obtained in this way, the influence of the above-mentioned periodic change is removed by the least square method, so that the displacement amount can be measured with high accuracy as in the above-described embodiment. Then, the drive voltage is calculated according to the displacement amount in the same manner as described above.
[0051]
Next, a second modification of the adjustment method according to the first embodiment will be described.
[0052]
FIG. 14 is a diagram illustrating the imaging position of the specimen. As shown in FIG. 14, sample images are taken at positions displaced by four positions (× positions) in the vertical and horizontal directions for each pixel shift position from Pos0 to Pos8. Hereinafter, a method for calculating the driving voltage of Pos5 will be described.
[0053]
First, the adjustment specimen is photographed at positions Pos5a, Pos5b, Pos5c, and Pos5d. As described in the first modification, the edge straight line equation is obtained for the edge portions a and b of the images photographed at the respective positions, and the intersection of the two straight line equations is obtained. As a result, (x5a, y5a), (x5b, y5b), (x5c, y5c), and (x5d, y5d) are obtained as intersections of Pos5a, Pos5b, Pos5c, and Pos5d.
[0054]
When driving voltages when the pixel shift mechanism is displaced to Pos5a, Pos5b, Pos5c, Pos5d are (V5xa, V5ya), (V5xb, V5yb), (V5xc, V5yc), (V5xd, V5yd), Pos5 is the target position. The drive voltages (V5x, V5y) for displacing to (x5, y5) are expressed by equations (10) and (11).
[0055]
V5x = (V5xb-V5xa) / (x5b-x5a) * (x5-x5a)
+ V5xb (10)
V5y = (V5yd−V5yc) / (y5d−y5c) × (y5−y5c)
+ V5yc (11)
This process is performed for all of Pos0 to Pos8, and the drive voltage for each target position is calculated.
[0056]
According to the second modification, the vertical positions of Pos1 and Pos2 and the horizontal positions of Pos3 and Pos6 depend on the orthogonality of the pixel shift mechanism in the first embodiment and the first modification. On the other hand, even when the orthogonality of the pixel shift mechanism is poor, the drive voltage can be adjusted with high accuracy.
[0057]
Next, a third modification of the adjustment method according to the first embodiment will be described.
[0058]
In the third modified example, the adjustment method shown in the first embodiment and the first and second modified examples is repeatedly performed to adjust with higher accuracy.
[0059]
After adjusting the target drive voltage based on the processing at the position indicated by x in FIGS. 2 and 14, the target drive voltage is reset to a narrower range as indicated by Δ in FIG. 15 based on the drive voltage. Thus, the driving voltage at the target position is calculated.
[0060]
By performing processing based on data at a position closer to the target position, the displacement measurement error can be reduced.
[0061]
This resetting process may be repeated a predetermined number of times to improve the adjustment accuracy, or may be determined to have converged because the difference from the previously obtained target position drive voltage has become smaller.
[0062]
Next, a second embodiment of the present invention will be described. In the second embodiment, the pixel shift digital camera system of the present invention is applied to the photographing of a specimen image of a microscope, but the microscope is used as a camera lens, and the size of the specimen is changed as appropriate. Application to a pixel shift digital camera system for photographing a subject is also possible.
[0063]
FIG. 16 is a diagram illustrating a configuration of a microscope digital camera system according to the present invention, and FIG. 17 is a diagram illustrating a configuration of a signal processing unit used in the microscope digital camera system according to the present invention.
[0064]
In FIG. 16, the illumination light emitted from the
[0065]
The image of the sample S by the illumination light is imaged by the
[0066]
In the
[0067]
Next, the camera head unit will be described with reference to FIG.
[0068]
In the
[0069]
A
[0070]
An imaging
[0071]
A preprocessing
[0072]
The A /
[0073]
Connected to the
[0074]
The
[0075]
An I /
[0076]
A pixel shift
[0077]
An operation screen as shown in FIG. 18 is displayed on the monitor of the
[0078]
Usually, the camera head operates in a moving image mode, and the above-described processing is performed at a dozen frames per second, and an image of a specimen observed with a microscope is displayed on the operation screen as a live image.
[0079]
Next, a pixel shift operation and a still image shooting operation will be described.
[0080]
When a still image shooting button is pressed on the operation screen and a shooting instruction is issued from the
[0081]
Procedure 1: The
[0082]
Procedure 2: The pixel shift
[0083]
Procedure 3: The
[0084]
Procedure 4: The
[0085]
Procedure 5: The pixel shift
[0086]
Procedure 6: The
[0087]
Step 7:
[0088]
Procedure 8: After the pixel shift photographing is completed, the
[0089]
Step 9: The
[0090]
Procedure 10: The
[0091]
Procedure 11: The
[0092]
Procedure 12: The
[0093]
Procedure 13: The image data stored in the memory of the
[0094]
The microscope pixel shift digital camera system of the second embodiment has the following configuration and functions in addition to the configuration of the above-described microscope digital camera.
[0095]
(1) Specimen for adjustment
In the adjustment specimen shown in FIG. 20, a figure is formed on the
[0096]
(2) A function of storing pixel shift mechanism drive voltage data for giving displacement of the
[0097]
This data may be stored in the pixel shift mechanism drive
[0098]
In FIG. 21, the position where the pixel shift mechanism should be displaced during still image shooting is indicated by ◯, and the interval is 2/3 of the pixel pitch of the image sensor. Pos0 is the initial position, and imaging is performed at nine positions up to Pos8, and the images are synthesized to obtain a high-definition still image. In the initial state, the position of .DELTA..DELTA. Does not need to be an accurate position, and may be a position that is expected to have a position relationship of .DELTA..DELTA. In an unadjusted pixel shift mechanism.
[0099]
(3) As a function by a program on the PC, pixel shift mechanism drive voltage data is set to the pixel shift
[0100]
(4) A function for calculating the horizontal position of the edge portion a of the sample in FIG.
[0101]
(5) A function for calculating the vertical position of the edge portion b of the sample in FIG.
[0102]
(6) As a function by the program on the PC, the relationship between the input voltage to the pixel shift mechanism and the displacement amount is obtained from the relationship between the plurality of sets of pixel shift mechanism drive voltage data and the position of the edge portion, and the input to the target movement amount Function to calculate voltage.
[0103]
Next, an adjustment operation for displacing the
[0104]
In step S201, the adjustment specimen shown in FIG.
[0105]
In step S202, the focus of the sample and the direction of the sample S and the
[0106]
In step S203, the shooting mode is changed to “adjustment” on the operation screen as shown in FIG. 23, and the still image shooting button is pressed.
[0107]
In step S204, the
In step S205, the
In step S206, the
[0108]
In step S207, the pixel shift mechanism drive voltage at the correct target position ◯ shown in FIG. 21 is calculated by the calculation method described in the first embodiment.
[0109]
In step S208, the calculated drive voltage value is stored in the pixel shift mechanism drive
[0110]
According to the configuration and operation described above, it is possible to provide a pixel shift digital camera system capable of accurately adjusting the pixel shift displacement amount of the pixel shift digital camera without increasing cost and adjustment time.
[0111]
As a modification of the sample, the shape of the adjustment sample is not limited to that shown in FIG. 20 as long as the sample has an edge portion that is inclined with respect to the horizontal direction and the vertical direction. Can be considered. For example, it may be as shown in FIG.
[0112]
If an edge portion is formed on a part of a slide glass that is usually used for a microscope, an adjustment sample is always attached to a sample for daily use, and adjustment can be made at any time. Furthermore, as shown in FIG. 25, it is also possible to form an edge on a slide glass with a bar code in order to arrange the specimen numbers.
[0113]
Furthermore, as shown in FIG. 26 and FIG. 27, an adjustment specimen is formed with a test chart, letters, numbers, and a geometric pattern together with the edge portion so that the pattern formed with the edge portion before and after the adjustment can be displayed. good. By confirming that the shape of the comparative image is displayed smoothly, the operator can confirm the effect of the adjustment.
[0114]
Further, as a modification of the operation screen in the case of dedicated adjustment at the time of manufacture, as shown in FIG. 28, a still image shooting button or the like may not be provided, but only a button for starting adjustment may be provided, and a frame is provided on the specimen. Instead, a straight line representing the inclination of the edge to be matched may be displayed on the operation screen.
[0115]
As a modification of the operation screen of the commercial application, as shown in FIG. 29, the pixel shift mechanism adjustment start may be put under the menu option and displayed in a pull-down menu. In the above-described embodiment, the adjustment mode is directly changed on the operation screen. However, since two actions are required for the adjustment start operation by placing it under the option and displaying it in the pull-down menu, an erroneous operation can be prevented. .
[0116]
Further, as a modification of the microscope configuration, the adjustment specimen may be arranged in the microscope so that it can be inserted and removed at the position of the
[0117]
By incorporating the adjustment specimen into the microscope in this way, there are effects such as prevention of loss of the adjustment specimen.
[0118]
In addition, since the
[0119]
Some adapters have a relay lens optical system with an imaging position in the middle, such as an
[0120]
In addition, this invention can be comprised as follows based on each embodiment described above.
[0121]
(1) a first step of disposing an optical image of an adjustment specimen having a figure having at least two straight edges on a predetermined initial position with respect to the imaging means;
A second step of setting a driving voltage in the pixel shift means and changing a relative position between the optical image of the adjustment sample and the imaging means;
A third step of capturing an optical image of the adjustment specimen by the imaging means;
For each of a plurality of points on the first edge of the imaged figure, the horizontal component value of the displacement amount from the initial position is obtained, and the average horizontal component value obtained by averaging the plurality of horizontal component values A fourth step of calculating
For each of a plurality of points on the second edge of the imaged figure, the vertical component value of the displacement amount from the initial position is obtained, and the average vertical component value obtained by averaging the plurality of vertical component values A fifth step of calculating
A sixth step in which the second to fifth steps are repeated by setting a driving voltage in the pixel shift unit to change the relative positions of the optical image of the adjustment sample and the imaging unit, and
Based on a plurality of drive voltages set in the image shift means and the obtained average horizontal direction component value and average vertical direction component value, the relative position between the optical image of the adjustment sample and the imaging means becomes a predetermined value. A seventh step of obtaining a drive voltage set in the image shift means;
A method for adjusting a pixel shift digital camera, comprising:
[0122]
(2) a first step of arranging an optical image of an adjustment specimen having a figure having at least two straight edges at a predetermined initial position with respect to the imaging means;
A second step of setting a driving voltage in the pixel shift means and changing a relative position between the optical image of the adjustment sample and the imaging means;
A third step of capturing an optical image of the adjustment specimen by the imaging means;
In a coordinate system set in the captured image, a straight line expression representing the first edge of the captured graphic is obtained by the least square method, and the displacement from the initial position is calculated based on the straight line expression. A fourth step of obtaining a horizontal component value of
In a coordinate system set in the captured image, a straight line expression representing the second edge of the captured graphic is obtained by the least square method, and the displacement amount from the initial position based on the straight line expression A fifth step of obtaining a vertical direction component value of
A sixth step in which the second to fifth steps are repeated by setting a driving voltage in the pixel shift unit to change the relative positions of the optical image of the adjustment sample and the imaging unit, and
Based on a plurality of drive voltages set in the image shift means and horizontal and vertical component values of the obtained displacement amounts, the relative position between the optical image of the adjustment sample and the imaging means becomes a predetermined value. A seventh step of obtaining a drive voltage set in the image shift means;
A method for adjusting a pixel shift digital camera, comprising:
[0123]
(3) a first step of disposing an optical image of an adjustment specimen having a figure having at least two straight edges on a predetermined initial position with respect to the imaging means;
A second step of setting a driving voltage in the pixel shift means and changing a relative position between the optical image of the adjustment sample and the imaging means;
A third step of capturing an optical image of the adjustment specimen by the imaging means;
A fourth step of obtaining, in a coordinate system set in the imaged image, a straight line expression representing the first edge of the imaged figure by the least square method;
A fifth step of obtaining, in a coordinate system set in the captured image, an equation of a straight line representing a second edge of the captured graphic by a least square method;
The sixth step for obtaining the coordinates of the intersection point based on the obtained two straight line formulas and the second to sixth steps are different from each other in that the relative positions of the optical image of the adjustment sample and the imaging means are different. A seventh step of setting and repeating the driving voltage to be set in the pixel shift means;
From the plurality of drive voltages set in the image shift means and the obtained coordinate values of the plurality of intersections, the image shift means is set so that the relative position between the optical image of the adjustment sample and the imaging means becomes a predetermined value. An eighth step for obtaining a driving voltage to be set;
A method for adjusting a pixel shift digital camera, comprising:
[0124]
(4) In the adjustment method of the pixel shift digital camera according to (1) to (3) above,
The imaging means is a single-plate color imaging device;
The method of adjusting a pixel shift digital camera, wherein the captured figure is represented by a luminance signal obtained from an RGB signal which is a video signal from the single-plate color image sensor.
[0125]
(5) In the adjustment method of the pixel shift digital camera according to (1) to (3) above,
The imaging means is a single-plate color imaging device;
The method of adjusting a pixel shift digital camera, wherein the captured figure is represented by a G signal of RGB signals which are video signals from the single-plate color image sensor.
[0126]
(6) a first step of disposing an optical image of an adjustment specimen having a figure having at least two straight edges on a predetermined initial position with respect to the imaging unit;
A second step of setting a driving voltage in the pixel shift means and changing a relative position between the optical image of the adjustment sample and the imaging means;
A third step of capturing an optical image of the adjustment specimen by the imaging means;
A fourth step of obtaining a horizontal component value of a displacement amount from an initial position for a point on the first edge of the imaged figure;
A fifth step of obtaining a vertical component value of a displacement amount from an initial position for a point on the second edge of the imaged figure;
A sixth step in which the second to fifth steps are repeated by setting a driving voltage in the pixel shift unit to change the relative positions of the optical image of the adjustment sample and the imaging unit, and
Based on a plurality of drive voltages set in the image shift means and horizontal and vertical component values of the obtained displacement amounts, the relative position between the optical image of the adjustment sample and the imaging means becomes a predetermined value. A seventh step of obtaining a drive voltage set in the image shift means;
An eighth step in which the driving voltage of the second step is updated to a driving voltage having a smaller difference from the driving voltage obtained in the seventh step, and the second to seventh steps are repeated;
A method for adjusting a pixel shift digital camera, comprising:
[0127]
(7) a microscope having a stage on which a specimen is loaded and an objective lens arranged opposite to the specimen;
An image pickup means for picking up an optical image of the sample by the objective lens;
Pixel shift means for changing a relative position between the optical image of the sample and the imaging means; drive voltage storage means for storing a drive voltage for driving the pixel shift means;
Pixel shift drive means for driving the pixel shift means based on the drive voltage stored in the drive voltage storage means;
An adjustment sample having a figure with at least two straight edges;
An imaging control unit that causes the imaging unit to capture an optical image of the adjustment sample for each position at which the pixel shift unit is driven corresponding to the stored drive voltage;
A horizontal relative displacement amount calculating means for obtaining a horizontal direction component value of a displacement amount for a point on the first edge of the graphic, based on the two images taken with different relative positions;
A vertical relative displacement amount calculating means for obtaining a vertical direction component value of a displacement amount for a point on the second end side of the figure based on the two images taken with different relative positions;
Drive voltage calculation means for obtaining the drive voltage at which the relative position between the adjustment sample and the imaging means is a predetermined value from the drive voltage applied to the image shift means and the horizontal and vertical component values of the obtained displacement. When
Storage update means for storing the calculated drive voltage in the drive voltage storage means;
A microscope pixel shift digital camera system characterized by comprising:
[0128]
(8) In the microscope pixel shift digital camera system described in (7) above,
2. A microscope pixel shift digital camera system characterized in that the adjustment specimen is arranged at a position optically conjugate with an imaging means, which is different from a specimen position on the stage.
[0129]
(9) In the microscope pixel shift digital camera system described in (8) above,
The microscope includes an illumination optical system including an illumination light source, a field stop, and a condenser lens, the adjustment specimen is the field stop, and the figure having the at least two linear edges is the field stop. Microscope pixel shift digital camera system characterized by
[0130]
(10) In the microscope pixel shift digital camera system described in (9) above,
A relay lens optical system between the objective lens and the imaging means of the microscope;
A microscope pixel shift digital camera system, wherein the adjustment specimen is detachably disposed at an intermediate image forming position of the relay lens optical system.
[0131]
(11) In the microscope pixel shift digital camera system described in (7) above,
2. A microscope pixel shift digital camera system characterized by comparing and displaying pixel shift still image photographing results of the adjustment specimen before and after storing the calculated drive voltage in the drive voltage storage means.
[0132]
(12) An adjustment specimen having a figure having at least two straight edges used for a pixel shift digital camera system or a microscope pixel shift digital camera system,
A specimen for adjustment characterized by comprising a slide glass.
[0133]
(13) An adjustment specimen having a figure having at least two straight edges used for a pixel shift digital camera system or a microscope pixel shift digital camera system,
An adjustment specimen having a reference line indicating a horizontal direction and a vertical direction of an imaging means.
[0134]
(14) An adjustment specimen having a figure having at least two straight edges used for a pixel shift digital camera system or a microscope pixel shift digital camera system,
A specimen for adjustment characterized by having a barcode.
[0135]
(15) An adjustment specimen having a figure having at least two straight edges used for a pixel shift digital camera system or a microscope pixel shift digital camera system,
An adjustment specimen having at least one of letters, numbers, and geometric patterns.
[0136]
Each embodiment according to the present invention described above has the following effects.
[0137]
According to the above (1), (2), (4), (5), and (6), the shift displacement amount of the pixel shift digital camera can be accurately adjusted without increasing the cost and the adjustment time.
[0138]
According to the above (3), in addition to the above-described effect, it is possible to adjust with high accuracy even when the orthogonality of the pixel shift mechanism is bad.
[0139]
According to the above (6), in addition to the above-described effect, it can be adjusted with higher accuracy.
[0140]
According to the above (7), the shift displacement amount of the pixel shift digital camera can be accurately adjusted without increasing the cost and the adjustment time, and the image quality of the captured image can be improved.
[0141]
According to (12) above, the adjustment specimen can be placed on the stage of the microscope, and the adjustment becomes simple.
[0142]
According to the above (13), the adjustment is simplified by aligning the reference line indicating the horizontal and vertical direction of the imaging means for the specimen for adjustment with the horizontal and vertical direction of the imaging means.
[0143]
According to the above (8) and (10), it can be incorporated into a microscope, and convenience is improved.
[0144]
According to the above (11), a part of a conventional microscope configuration can be used as a specimen, and the cost can be reduced.
[0145]
According to the above (11), (14), and (15), the adjustment accuracy can be easily confirmed, and the adjustment reliability can be improved.
[0146]
【The invention's effect】
As described above, according to the present invention, the shift displacement amount of the pixel shift digital camera can be accurately adjusted in a low cost and in a short time.
[Brief description of the drawings]
FIG. 1 is a diagram showing the principle of pixel shift.
FIG. 2 is a diagram showing a shift position of a pixel.
FIG. 3 is a flowchart showing an adjustment method.
FIG. 4 is a diagram illustrating an installation example of an adjustment specimen.
FIG. 5 is a diagram showing an edge portion.
FIG. 6 is a view showing an edge portion.
FIG. 7 is a diagram showing luminance signal levels.
FIG. 8 is a diagram showing a relative displacement in the vertical direction.
FIG. 9 is a diagram showing a relative displacement in the vertical direction.
FIG. 10 is a diagram showing a relationship between a change cycle and an edge inclination;
FIG. 11 is a diagram showing the relationship between the number of periods to be averaged for the Y signal and the averaged result.
FIG. 12 is a diagram showing the relationship between the number of periods averaged for a G signal and the averaged result.
FIG. 13 is a diagram showing three straight lines.
FIG. 14 is a diagram showing a photographing position of a specimen.
FIG. 15 is a diagram showing a photographing position of a specimen.
FIG. 16 is a diagram showing a configuration of a microscope digital camera system.
FIG. 17 is a diagram showing a configuration of a signal processing unit used in a microscope digital camera system.
FIG. 18 is a diagram showing an operation screen.
FIG. 19 is a diagram showing image composition.
FIG. 20 is a view showing a specimen for adjustment.
FIG. 21 is a diagram showing a photographing position of a specimen.
FIG. 22 is a flowchart showing an adjustment operation for displacing the pixel shift mechanism to a target position.
FIG. 23 is a diagram showing an operation screen.
FIG. 24 is a diagram showing a specimen for adjustment.
FIG. 25 is a diagram showing a specimen for adjustment.
FIG. 26 is a view showing a specimen for adjustment.
FIG. 27 is a view showing a specimen for adjustment.
FIG. 28 is a diagram showing an operation screen.
FIG. 29 is a diagram showing an operation screen.
FIG. 30 shows a field stop.
FIG. 31 is a diagram showing the installation position of a specimen for adjustment.
FIG. 32 is a diagram illustrating a configuration of a digital camera system in which a digital camera using a pixel shift method is applied to capturing a specimen image of a microscope.
[Explanation of symbols]
DESCRIPTION OF
11 ... Stage, 12 ... Objective lens, 16 ... Image sensor,
17 ... Pixel shift mechanism, 25 ... Signal processing unit, 27 ... Pixel shift mechanism drive voltage storage unit, 30 ... Adapter, 31 ... Pixel shift mechanism drive unit,
32 ... Intermediate imaging position, 40 ... Slide glass
Claims (5)
画素シフト手段に駆動電圧を設定して、前記調整用標本の光像と前記撮像手段との相対位置を変化させる第2の工程と、
前記撮像手段により前記調整用標本の光像を撮像する第3の工程と、
前記撮像された図形の第1の端辺上にある点について、初期位置からの変位量の水平方向成分値を求める第4の工程と、
前記撮像された図形の第2の端辺上にある点について、初期位置からの変位量の垂直方向成分値を求める第5の工程と、
第2から第5の工程を、前記調整用標本の光像と前記撮像手段との相対位置をそれぞれ異ならせる駆動電圧を前記画素シフト手段に設定して繰り返す第6の工程と、
前記画像シフト手段に設定した複数の駆動電圧と求めた複数の変位量の水平及び垂直方向成分値とから、前記調整用標本の光像と前記撮像手段との相対位置が所定値となるように前記画像シフト手段に設定する駆動電圧を求める第7の工程と
を備えたことを特徴とする画素シフトデジタルカメラの調整方法。A first step of disposing an optical image of an adjustment specimen having a figure having at least two straight edges at a predetermined initial position with respect to the imaging means;
A second step of setting a driving voltage in the pixel shift means and changing a relative position between the optical image of the adjustment sample and the imaging means;
A third step of capturing an optical image of the adjustment specimen by the imaging means;
A fourth step of obtaining a horizontal component value of a displacement amount from an initial position for a point on the first edge of the imaged figure;
A fifth step of obtaining a vertical component value of a displacement amount from an initial position for a point on the second edge of the imaged figure;
A sixth step in which the second to fifth steps are repeated by setting a driving voltage in the pixel shift unit to change the relative positions of the optical image of the adjustment sample and the imaging unit, and
Based on a plurality of drive voltages set in the image shift means and horizontal and vertical component values of the obtained displacement amounts, the relative position between the optical image of the adjustment sample and the imaging means becomes a predetermined value. And a seventh step of obtaining a driving voltage to be set in the image shift means.
前記入射光像と前記撮像手段との相対位置を変化させる画素シフト手段と、
前記画素シフト手段を駆動するための複数の駆動電圧を記憶する駆動電圧記憶手段と、
前記駆動電圧記憶手段に記憶された駆動電圧に基づいて前記画素シフト手段を駆動する画素シフト駆動手段と、
少なくとも2つの直線状の端辺をもつ図形を有する調整用標本と、
前記記憶された駆動電圧に対応して前記画素シフト手段が駆動される位置毎に前記調整用標本の光像を撮像手段により撮像させる撮像制御手段と、
撮影された前記相対位置の異なる2つの画像に基づいて、前記図形の第1の端辺上にある点について、変位量の水平方向成分値を求める水平相対変位量算出手段と、
撮影された前記相対位置の異なる2つの画像に基づいて、前記図形の第2の端辺上にある点について、変位量の垂直方向成分値を求める垂直相対変位量算出手段と、
前記画像シフト手段に与えた駆動電圧と求めた変位量の水平及び垂直方向成分値とから、前記調整用標本と前記撮像手段との相対位置が所定値となる前記駆動電圧を求める駆動電圧算出手段と
算出した駆動電圧を駆動電圧記憶手段に記憶させる記憶更新手段と
を備えたことを特徴とする画素シフトデジタルカメラシステム。An imaging means for capturing an incident light image;
Pixel shift means for changing a relative position between the incident light image and the imaging means;
Drive voltage storage means for storing a plurality of drive voltages for driving the pixel shift means;
Pixel shift drive means for driving the pixel shift means based on the drive voltage stored in the drive voltage storage means;
An adjustment sample having a figure with at least two straight edges;
An imaging control unit that causes the imaging unit to capture an optical image of the adjustment sample for each position at which the pixel shift unit is driven corresponding to the stored drive voltage;
A horizontal relative displacement amount calculating means for obtaining a horizontal direction component value of a displacement amount for a point on the first edge of the graphic, based on the two images taken with different relative positions;
A vertical relative displacement amount calculating means for obtaining a vertical direction component value of a displacement amount for a point on the second end side of the figure based on the two images taken with different relative positions;
Drive voltage calculation means for obtaining the drive voltage at which the relative position between the adjustment sample and the imaging means is a predetermined value from the drive voltage applied to the image shift means and the horizontal and vertical component values of the obtained displacement. And a storage update means for storing the calculated drive voltage in the drive voltage storage means.
対物レンズによる標本の光像を撮像する撮像手段と、
前記標本の光像と前記撮像手段との相対位置を変化させる画素シフト手段と、
前記画素シフト手段を駆動するための駆動電圧を記憶する駆動電圧記憶手段と、
前記駆動電圧記憶手段に記憶された駆動電圧に基づいて前記画素シフト手段を駆動する画素シフト駆動手段と、
少なくとも2つの直線状の端辺をもつ図形を有する調整用標本と、
前記記憶された駆動電圧に対応して前記画素シフト手段が駆動される位置毎に前記調整用標本の光像を撮像手段により撮像させる撮像制御手段と、
撮影された前記相対位置の異なる2つの画像に基づいて、前記図形の第1の端辺上にある点について、変位量の水平方向成分値を求める水平相対変位量算出手段と、
撮影された前記相対位置の異なる2つの画像に基づいて、前記図形の第2の端辺上にある点について、変位量の垂直方向成分値を求める垂直相対変位量算出手段と、
前記画像シフト手段に与えた駆動電圧と求めた変位量の水平及び垂直方向成分値とから、前記調整用標本と前記撮像手段との相対位置が所定値となる前記駆動電圧を求める駆動電圧算出手段と
算出した駆動電圧を駆動電圧記憶手段に記憶させる記憶更新手段と
を備えたことを特徴とする顕微鏡画素シフトデジタルカメラシステム。A microscope having a stage on which a specimen is loaded and an objective lens arranged opposite to the specimen;
An image pickup means for picking up an optical image of the sample by the objective lens;
Pixel shift means for changing a relative position between the optical image of the sample and the imaging means;
Drive voltage storage means for storing a drive voltage for driving the pixel shift means;
Pixel shift drive means for driving the pixel shift means based on the drive voltage stored in the drive voltage storage means;
An adjustment sample having a figure with at least two straight edges;
An imaging control unit that causes the imaging unit to capture an optical image of the adjustment sample for each position at which the pixel shift unit is driven corresponding to the stored drive voltage;
A horizontal relative displacement amount calculating means for obtaining a horizontal direction component value of a displacement amount for a point on the first edge of the graphic, based on the two images taken with different relative positions;
A vertical relative displacement amount calculating means for obtaining a vertical direction component value of a displacement amount for a point on the second end side of the figure based on the two images taken with different relative positions;
Drive voltage calculation means for obtaining the drive voltage at which the relative position between the adjustment sample and the imaging means is a predetermined value from the drive voltage applied to the image shift means and the horizontal and vertical component values of the obtained displacement. And a storage update means for storing the calculated drive voltage in the drive voltage storage means.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003017718A JP4217493B2 (en) | 2003-01-27 | 2003-01-27 | Pixel shift digital camera adjustment method, pixel shift digital camera system, and microscope pixel shift digital camera system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003017718A JP4217493B2 (en) | 2003-01-27 | 2003-01-27 | Pixel shift digital camera adjustment method, pixel shift digital camera system, and microscope pixel shift digital camera system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004229222A true JP2004229222A (en) | 2004-08-12 |
JP4217493B2 JP4217493B2 (en) | 2009-02-04 |
Family
ID=32904803
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003017718A Expired - Fee Related JP4217493B2 (en) | 2003-01-27 | 2003-01-27 | Pixel shift digital camera adjustment method, pixel shift digital camera system, and microscope pixel shift digital camera system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4217493B2 (en) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008123328A1 (en) * | 2007-03-28 | 2008-10-16 | Acutelogic Corporation | Method and device for detecting chromatic aberration in imaging device |
CN103037166A (en) * | 2012-12-27 | 2013-04-10 | 广东圣洋信息科技实业有限公司 | Method of and device for digital stereo microscope system calibration and digital stereo microscope system |
CN103929635A (en) * | 2014-04-25 | 2014-07-16 | 哈尔滨工程大学 | Binocular vision image compensation method used when UUV rocks vertically and horizontally |
EP3504577A4 (en) * | 2016-08-26 | 2020-04-01 | Huron Technologies International Inc. | Scanning microscope using a mosaic scan filter |
CN112581538A (en) * | 2020-12-11 | 2021-03-30 | 昆山丘钛光电科技有限公司 | Method and device for obtaining motor sensitivity |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107833217B (en) * | 2017-11-14 | 2021-08-10 | 安徽森力汽车电子有限公司 | Graph card detection method based on mathematical morphology |
-
2003
- 2003-01-27 JP JP2003017718A patent/JP4217493B2/en not_active Expired - Fee Related
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008123328A1 (en) * | 2007-03-28 | 2008-10-16 | Acutelogic Corporation | Method and device for detecting chromatic aberration in imaging device |
KR101009229B1 (en) | 2007-03-28 | 2011-01-19 | 어큐트로직 가부시키가이샤 | Method and device for detecting chromatic aberration in imaging device |
CN103037166A (en) * | 2012-12-27 | 2013-04-10 | 广东圣洋信息科技实业有限公司 | Method of and device for digital stereo microscope system calibration and digital stereo microscope system |
CN103037166B (en) * | 2012-12-27 | 2016-03-30 | 广东清立方科技有限公司 | The method of digital stereo microscope system calibration, device and digital stereo microscope system |
CN103929635A (en) * | 2014-04-25 | 2014-07-16 | 哈尔滨工程大学 | Binocular vision image compensation method used when UUV rocks vertically and horizontally |
CN103929635B (en) * | 2014-04-25 | 2015-12-02 | 哈尔滨工程大学 | Binocular vision image compensation method when a kind of UUV shakes in length and breadth |
EP3504577A4 (en) * | 2016-08-26 | 2020-04-01 | Huron Technologies International Inc. | Scanning microscope using a mosaic scan filter |
CN112581538A (en) * | 2020-12-11 | 2021-03-30 | 昆山丘钛光电科技有限公司 | Method and device for obtaining motor sensitivity |
Also Published As
Publication number | Publication date |
---|---|
JP4217493B2 (en) | 2009-02-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6702323B2 (en) | Camera module, solid-state imaging device, electronic device, and imaging method | |
JP4699995B2 (en) | Compound eye imaging apparatus and imaging method | |
JP6209002B2 (en) | Imaging apparatus and control method thereof | |
JPH0481178A (en) | Dc offset correction method for irccd detector | |
KR100298466B1 (en) | Method and apparatus for acquiring an image for inspection of a flat panel display | |
JP2002071309A (en) | Three-dimensional image-detecting device | |
US20150138430A1 (en) | Image-capturing apparatus | |
JP5028164B2 (en) | Surveying instrument | |
JP2017003479A (en) | Three-dimensional measurement device | |
JP4217493B2 (en) | Pixel shift digital camera adjustment method, pixel shift digital camera system, and microscope pixel shift digital camera system | |
JP2012002564A (en) | Three-dimensional shape measuring device, calibration method for three-dimensional shape measuring device and robot device | |
JP2013246052A (en) | Distance measuring apparatus | |
JP5788197B2 (en) | Image processing apparatus, image processing method, image processing program, and imaging apparatus | |
JP2010272957A (en) | Image correction apparatus and program thereof | |
JP6576114B2 (en) | IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD | |
JP2005252680A (en) | Lens system | |
JP5444928B2 (en) | Photometric device and imaging device | |
JPS62190980A (en) | High-resolution television camera | |
JP2008154195A (en) | Method of creating pattern for calibration of lens, pattern for calibration of lens, method and device for calibrating lens utilizing pattern for calibration, and method and device for calibrating imaging apparatus | |
JP2005340872A (en) | Image input apparatus | |
JP7504579B2 (en) | Image capture device, image capture device control method and program | |
JP6704803B2 (en) | Imaging device and control method thereof | |
JP3065699B2 (en) | Focus position detection device | |
JP7237701B2 (en) | IMAGING DEVICE, CONTROL METHOD AND PROGRAM | |
JP2012134826A (en) | Imaging apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060116 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080722 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080729 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080922 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081021 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081110 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 4217493 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111114 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111114 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121114 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131114 Year of fee payment: 5 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees | ||
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |