JPWO2007116636A1 - 静止画像取り込み装置及び静止画像取り込み方法、並びに画像揺れ補正装置 - Google Patents
静止画像取り込み装置及び静止画像取り込み方法、並びに画像揺れ補正装置 Download PDFInfo
- Publication number
- JPWO2007116636A1 JPWO2007116636A1 JP2008509715A JP2008509715A JPWO2007116636A1 JP WO2007116636 A1 JPWO2007116636 A1 JP WO2007116636A1 JP 2008509715 A JP2008509715 A JP 2008509715A JP 2008509715 A JP2008509715 A JP 2008509715A JP WO2007116636 A1 JPWO2007116636 A1 JP WO2007116636A1
- Authority
- JP
- Japan
- Prior art keywords
- image
- camera shake
- still image
- shake
- reference time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B5/00—Adjustment of optical system relative to image or object surface other than for focusing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6811—Motion detection based on the image signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/685—Vibration or motion blur correction performed by mechanical compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/685—Vibration or motion blur correction performed by mechanical compensation
- H04N23/686—Vibration or motion blur correction performed by mechanical compensation with a variable apex prism
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B2205/00—Adjustment of optical system relative to image or object surface other than for focusing
- G03B2205/0007—Movement of one or more optical elements for control of motion blur
- G03B2205/003—Movement of one or more optical elements for control of motion blur by a prism with variable angle or the like
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Studio Devices (AREA)
- Adjustment Of Camera Lenses (AREA)
Abstract
Description
する機能をカメラ本体に装備したものが知られている。特許文献1には、この画像揺れ補正の1つの方法としてプリズムを利用した方式が提案されている。
(1)撮影した画像の中から静止画像を取り込む際に、色収差により生じる像ズレを最小限に抑える静止画像取り込み装置及び静止画像取り込み方法、及び、
(2)色収差により生じる像ズレを非光学的に補正する機能を搭載した画像揺れ補正装置、
を提供することを目的とする。
光学レンズから入射した光による被写体像を撮像素子により電気信号へ変換して画像を得る撮像装置の振れに起因する画像の揺れを補正し、補正した手振れ補正画像から静止画像を取り込む静止画像取り込み装置において、
撮像装置に生じる水平又は垂直振れを検出する振れ検出部と、
撮像素子に入射するまでの光路上に配置され、前記光を任意の方向に屈折させる光屈折手段と、
振れ検出部で検出した振れを打ち消すように光屈折手段による前記光の屈折方向を制御する手振れ制御手段と、
手振れ制御手段により制御される光屈折手段の制御量を検出する制御量検出手段と、
制御量検出手段により検出した制御量から水平方向又は垂直方向の手振れ角を算出する手振れ角算出手段と、
静止画像の取り込みを要求する要求信号を受信したときに、前記手振れ角算出手段により算出した水平方向又は垂直方向の手振れ角の絶対値がゼロ、又は極小値となる時点に基づき静止画像の取り込み基準時を決定する取り込み基準時決定手段と、
取り込み基準時決定手段により決定した取り込み基準時の直後に前記撮像素子から読み出された手振れ補正画像を静止画像として取り込む静止画処理部と
を備えたことを要旨とする。
光学レンズから入射した光による被写体像を撮像素子により電気信号へ変換して画像を得る撮像装置の振れに起因する前記画像の揺れを補正し、補正した手振れ補正画像から静止画像を取り込む静止画像取り込み装置において、
撮像装置に生じる水平又は垂直振れを検出する振れ検出部と、
振れ検出部により検出した振れから水平方向又は垂直方向の手振れ角を算出する手振れ角算出手段と、
静止画像取り込みの要求信号を受信したときに、手振れ角算出手段により算出した水平方向又は垂直方向の手振れ角の絶対値がゼロ、又は極小値となる時点に基づき静止画像の取り込み基準時を決定する取り込み基準時決定手段と、
取り込み基準時決定手段により決定した取り込み基準時の直後に撮像素子から読み出された手振れ補正画像を静止画像として取り込む静止画処理部と
を備えたことを要旨とする。
光学レンズから入射した光による被写体像を撮像素子により電気信号へ変換して画像を得る撮像装置の振れに起因する前記画像の揺れを補正し、補正した手振れ補正画像から静止画像を取り込む静止画像取り込み装置において、
撮像装置に生じる水平又は垂直振れを検出する振れ検出部と、
撮像素子に入射するまでの光路上に配置され、前記光を任意の方向に屈折させる光屈折手段と、
振れ検出部で検出した振れを打ち消すように光屈折手段による光の屈折方向を制御する手振れ制御手段と、
手振れ制御手段により制御される光屈折手段の制御量を検出する制御量検出手段と、
制御量検出手段により検出した制御量から水平方向又は垂直方向の手振れ角を算出する手振れ角算出手段と、
予め定めた所定の時間内に前記撮像素子から読み出された複数の手振れ補正画像と該複数の手振れ補正画像それぞれの撮影時期を特定する情報と手振れ角算出手段により算出した水平方向又は垂直方向の手振れ角とを対応付けて記憶部に記憶する記憶手段と、
静止画像取り込みの要求信号を受信したときに、手振れ角算出手段により算出した水平方向又は垂直方向の手振れ角の絶対値がゼロ、若しくは極小値となる第1の時点、又は前記記憶部に記憶された水平方向又は垂直方向の手振れ角の絶対値がゼロ、若しくは極小値となる第2の時点を静止画像の取り込み基準時として決定する取り込み基準時決定手段と、
第2の時点を静止画像の取り込み基準時として決定した場合に、前記取り込み基準時決定手段により決定した取り込み基準時の直後又は直前に撮像素子から読み出されて記憶部に記憶された手振れ補正画像を静止画像として取り込む静止画処理部と
を備えたことを要旨とする。
光学レンズから入射した光による被写体像を撮像素子により電気信号へ変換して画像を得る撮像装置の振れに起因する前記画像の揺れを補正し、補正した手振れ補正画像から静止画像を取り込む静止画像取り込み装置において、
撮像装置に生じる水平又は垂直振れを検出する振れ検出部と、
撮像素子に入射するまでの光路上に配置され、光を任意の方向に屈折させる光屈折手段と、
振れ検出部で検出した振れを打ち消すように光屈折手段による前記光の屈折方向を制御する手振れ制御手段と、
手振れ制御手段により制御される前記光屈折手段の制御量を検出する制御量検出手段と、
制御量検出手段により検出した制御量から水平方向又は垂直方向の手振れ角を算出する手振れ角算出手段と、
手振れ角算出手段にて算出した水平方向又は垂直方向の手振れ角がゼロである直後に前記撮像素子から読み出された手振れ補正画像と該複数の手振れ画像それぞれの撮影時期を特定する情報とを対応付けて記憶部に記憶する記憶手段と、
静止画像取り込みの要求信号を受信したときに、手振れ角算出手段により算出した水平方向又は垂直方向の手振れ角の絶対値がゼロ、若しくは極小値となる第1の時点、又は記憶部に記憶された水平方向又は垂直方向の手振れ角がゼロとなる最新の第2の時点を静止画像の取り込み基準時として決定する取り込み基準時決定手段と、
第2の時点を静止画像取り込み基準時として決定した場合に、取り込み基準時決定手段により決定した取り込み基準時の直後に撮像素子から読み出されて記憶部に記憶された手振れ補正画像を静止画像として取り込む静止画処理部と
を備えたことを要旨とする。
光学レンズから入射した光による被写体像を撮像素子により電気信号へ変換して画像を得る撮像装置の振れに起因する前記画像の揺れを該揺れに対応した補正量で補正された手振れ補正画像から、静止画像を取り込む静止画像取り込み装置において、
振れ補正量の絶対値がゼロ、又は極小値となる時点に基づき静止画像の取り込み基準時を決定する取り込み基準時決定手段と、
取り込み基準時決定手段により決定した取り込み基準時の直後に前記撮像素子から読み出された手振れ補正画像を静止画像として取り込む静止画処理部と
を備えたことを特徴とする静止画像取り込み装置であることを要旨とする。
光学レンズから入射した撮像光を撮像素子により電気信号に変換して画像を得る撮影機器の撮影中の振れに起因する撮影画像の揺れを補正する画像揺れ補正装置において、
撮影機器に生じる振れを検出する振れ検出手段と、
光学レンズの入射側に配置され、前記光学レンズに入射する光の屈折方向を変化させる一対の可動屈折素子と、
可動屈折素子をそれぞれ光軸回りに回動させる2つの回動手段と、
振れ検出手段で検出した振れを打ち消すように前記2つの回動手段を制御する回動制御手段と、
可動屈折素子の回動量を検出する回動量検出手段と、
得られた画像の画像データを3原色の画像に分離する色分離手段と、
色分離手段によって分離した各色画像を回動に伴い出力する際、各色画像の出力位置の像ズレ量を回動量検出手段によって検出した回動量から算出する像ズレ量算出手段と、
像ズレ量算出手段により各色画像間の相対的な像ズレを補正する色収差補正手段と
を備えたことを要旨とする。
光学レンズから入射した撮像光を撮像素子により電気信号に変換して画像を得る撮影機器の撮影中の振れに起因する撮影画像の揺れを補正する画像揺れ補正装置において、
得られた画像の画像データを3原色の画像に分離する色分離手段と、
色分離手段により分離した各色画像を重ね合わせ、重ね合わせた色画像を上下左右1画素ずつずらし、画素ごとの出力値の差分を合計し、合計した差分値合計を最小とする各色画像の位置を決定する像ズレ量算出手段と、
像ズレ量算出手段により決定した各色画像の位置に基づいて各色画像の出力位置を補正する色収差補正手段と
を備えたことを要旨とする。
まず、静止画像取り込み装置の実施形態について説明する。本実施形態では、プリズムを用いて手振れを補正し、この手振れ補正した画像の中から静止画像を取り込む際、プリズムの色収差により生じる像ズレを最小限に抑える静止画像取り込み装置を例に挙げて説明する。
本実施形態の静止画像取り込み装置では、手振れ検出部5で検出した振れを打ち消すように可動プリズム10A,10Bを回動させることより手振れによる画像揺れを補正する。
vectorθ=θvectore (式1)
である。
θ=i´−i (式2)
が成り立つ。さらに、スネルの法則により、
sini´=Nsini (式3)
が成り立つ。
i´=Ni (式4)
と近似できるので、(式4)を(式2)に代入すると、
θ=(N−1)i (式5)
となる。
Lα=(L/2)α (式6)
つまり、
α=(2/L)Lα (式7)
が成り立つ。また、
δ=Ltani+δ1 (式8)
つまり、
L=(δ−δ1)/tani (式9)
が成り立つ。
vectorθa=vectorθ2´−vectorθ2 (式10)
vectorθb=vectorθ3´−vectorθ3 (式11)
とする。
vectorθ=vectorθa+vectorθb=(θX,θY) (式12)
となる。
θX=θ2sinα1−θ3(1−cosα2) (式13)
θY=θ3sinα2−θ2(1−cosα1) (式14)
が成り立つ。ここで、θ2はvectorθ2のスカラーを表し、θ3はvectorθ3のスカラーを表す。
α1=±cos−1(C/D)+α1 * (式15)
α2=±cos−1{[(θX+θ3)−θ2sinα1]/θ3} (式16)
を得る。ここで、
C=[A2+B2+θ2 2−θ3 2]/2θ2 (式17)
D=(A2+B2)1/2 (式18)
α1 *=±cos−1(A/D) (Bの符号を選択) (式19)
A=(θY+θ2) (式20)
B=(θX+θ3) (式21)
である。
fm=f+SB (式22)
SB=f2/SF (式23)
で表される。
S=fmtanθ (式24)
で表される。
vectorθ*=θ* vectore* (式25)
である。
vectorθ=−vectorθ* (式26)
を満たすとき、被写体像14A’が被写体像14Aの位置に移動して手振れが補正される。
vectorθ*=(θX *,θY *) (式27)
により計算する。ここで、(式26)より、
(θX,θY)=(−θX *,−θY *) (式28)
となる。
次に、上記のようにして手振れ補正された被写体像からの静止画像取り込み処理ついて、以下に説明する。
する。
θX=θ2sinα10−(1−cosα20)θ3 (式29)
θY=θ3sinα20−(1−cosα10)θ2 (式30)
として算出する。ここで、θ2、θ3は可動プリズム10A、10B各々の像シフト角である。
(θX *,θY *)=(−θX,−θY) (式31)
により算出する(ステップS203)。
次に、CPU6の取り込み基準時決定部6Cは、外部操作系26にて受け付けた利用者の押し釦操作等によって静止画像取り込みの要求信号を受信したときに(ステップS205)、CPU6の手振れ角算出部6Bにより算出した水平方向又は垂直方向の手振れ角の絶対値がゼロ、又は極小値となる手振れ角に対応する時点を静止画像の取り込み基準時として決定する(ステップS207、S209)。
<変形例1>
本実施形態の静止画像取り込み装置では、可動プリズム10A,10Bの回転角を検出し、検出した回転角から手振れ角を算出し、手振れ角がゼロ又は最小となる直後の読み出し画像を静止画像として取り込むことで、色収差により生じる像ズレを最小限に抑えるようにした。
本実施形態の静止画像取り込み装置では、手振れ角がゼロ又は最小となる直後に読み出される画像をカメラDSP部20から直接的に静止画像として取り込むが、変形例2では、記憶部24に記憶された画像のなかから静止画像を選択して取り込むことを可能とする。
本実施形態の静止画像取り込み装置では、手振れ角がゼロ又は最小となる直後に対応する画像をカメラDSP部20から直接的に静止画像として取り込むが、変形例3では、予め手振れ角がゼロとなる手振れ補正画像を記憶した記憶部24から静止画像を取り込むことを可能にする。
本実施形態の静止画像取り込み装置では、水平方向又は垂直方向の手振れ角のうち、予め定めたいずれか一方がゼロ又は最小となる直後に対応する画像を静止画像として取り込むが、変形例4では、水平又は垂直方向の手振れ角のうち、取り込み要求信号を受信した後、先にゼロ又は最小となる直後に読み出された画像を静止画像として取り込む。
本実施形態の静止画像取り込み装置では、手振れ角がゼロ又は最小となる直後に対応する画像をカメラDSP部20から直接的に静止画像として取り込むが、変形例5では、所定の時間を経過したとき、その直後を取り込み基準時として決定する。
図1に示す本実施形態におけるビデオカメラ1では、レンズ系3は1つのブロックとして描いてあるが、複数枚のレンズ群として構成されていてもよい。図20は、図1におけるレンズ系3を示す図であり、図21は、図1に示す補正部2とレンズ系3とのその他の配置関係を示す図であり、図21(a)はレンズ系3内に補正部2を配置した図、図21(b)はレンズ系3の後方に補正部2を配置した図である。
次に、画像揺れ補正装置の実施形態について説明する。本実施形態では、プリズムの色収差により生じる像ズレを非光学的に補正する画像揺れ補正装置を例に挙げて説明する。
≪手触れ補正≫
本実施形態の画像揺れ補正装置では、手振れ検出部55で検出した振れを打ち消すように可動プリズム60A,60Bを回動させることより手振れによる画像揺れを補正する。
vectorθ=θvectore (式32)
である。
θ=i´−i (式33)
が成り立つ。さらに、スネルの法則により、
sini´=Nsini (式34)
が成り立つ。
i´=Ni (式35)
と近似できるので、(式35)を(式33)に代入すると、
θ=(N−1)i (式36)
となる。
Lα=(L/2)α (式37)
つまり、
α=(2/L)Lα (式38)
が成り立つ。また、
δ=Ltani+δ1 (式39)
つまり、
L=(δ−δ1)/tani (式40)
が成り立つ。
vectorθa=vectorθ2´−vectorθ2 (式41)
vectorθb=vectorθ3´−vectorθ3 (式42)
とする。
vectorθ=vectorθa+vectorθb=(θX,θY) (式43)
となる。
θX=θ2sinα1−θ3(1−cosα2) (式44)
θY=θ3sinα2−θ2(1−cosα1) (式45)
が成り立つ。ここで、θ2はvectorθ2のスカラーを表し、θ3はvectorθ3のスカラーを表す。
α1=±cos−1(C/D)+α1 * (式46)
α2=±cos−1{[(θX+θ3)−θ2sinα1]/θ3} (式47)
を得る。ここで、
C=[A2+B2+θ2 2−θ3 2]/2θ2 (式48)
D=(A2+B2)1/2 (式49)
α1 *=±cos−1(A/D) (Bの符号を選択) (式50)
A=(θY+θ2) (式51)
B=(θX+θ3) (式52)
である。
fm=f+SB (式53)
SB=f2/SF (式54)
で表される。
S=fmtanθ (式55)
で表される。
vectorθ*=θ* vectore* (式56)
である。
vectorθ=−vectorθ* (式57)
を満たすとき、被写体像14A´が被写体像14Aの位置に移動して手振れが補正される。
vectorθ*=(θX *,θY *) (式58)
により計算する。ここで、(式57)より、
(θX,θY)=(−θX *,−θY *) (式59)
となる。
次に、上記のようにして手振れ補正された被写体像の色収差よる像ズレ補正について、以下に説明する。
θaR=−(1−NaR)ia (式60)
θaG=−(1−NaG)ia (式61)
θaB=−(1−NaB)ia (式62)
により算出する(ステップS703)。ここで、NaR、NaG、NaBはR、G、B出力ごとの可動プリズム60Aの屈折率、iaを可動プリズム60Aの頂角を表す。
同様に、NbR、NbG、NbBをR、G、B出力ごとの可動プリズム60Bの屈折率、ibを可動プリズム10Bの頂角とすると、可動プリズム60BについてのR、G、B出力ごとの像シフト角θbR、θbG、θbGは、それぞれ、
θbR=−(1−NbR)ib (式63)
θbG=−(1−NbG)ib (式64)
θbB=−(1−NbB)ib (式65)
により算出される。
θxR=θaRsinα10−(1−cosα20)θbR (式66)
θyR=θbRsinα20−(1−cosα10)θaR (式67)
により算出する(ステップS705)。
同様に、G,B出力の像シフト角のx、y成分(θxG,θyB)、(θxB,θyB)についても、(式66),(式67)を用いて算出する。
SxR=fm*tanθxR (式68)
SyR=fm*tanθyR (式69)
により算出する(ステップS707)。
同様に、G,B出力の像シフト量のx、y成分(SxG,SyG)、(SxB,SyB)ついても、(式68)、(式69)を用いて算出する。
ΔSR=(SxR−SxG,SyR−SyG) (式70)
ΔSB=(SxB−SxG,SyB−SyG) (式71)
により算出する(ステップS709)。
次に、色収差補正部70Bは、像ズレ量算出部56BによりステップS709で算出した像ズレ量ΔSR、ΔSBをなくすように色分離画像を補正する。具体的には、R出力について、像ズレ量ΔSRの成分を(ΔSxR,ΔSyR)とすると、色収差補正前のR出力の位置座標(SxR,SyR)から(ΔSxR,ΔSyR)と分だけ差し引いた値を補正後のRの位置座標として新たに上書きすることで、補正を行う。即ち、補正後のR、B出力の位置座標を(newSxR,newSyR)、(newSxB,newSyB)とすると、これらの座標は、
(newSxR,newSyR)=(SxR−ΔSxR,SyR−ΔSyR) (式72)
(newSxB,newSyB)=(SxB−ΔSxB,SyB−ΔSyB) (式73)
と表される。
<変形例1>
本実施形態の画像揺れ補正装置では、色収差によって発生するRGB出力画像の像ズレ量を算出し、撮像素子の素子ごとにリアルタイムに像ズレをなくすように補正を行うが、回路を簡素化するため、変形例1では、この色収差による像ズレ補正を画面単位で行うことを特徴とする。
本実施形態の画像揺れ補正装置では、可動プリズム60A,60Bの回転角α10,α20から色収差によって発生するRGB出力画像の位置座標の像ズレ量ΔSR、ΔSBを算出し、算出した像ズレ量をなくすように補正を行ったが、実際には、装置誤差等の影響により算出した像ズレ量と実際の像ズレ量との間に誤差が生じることがある。
ΔSRk=KR*ΔSR (式74)
ΔSBk=KB*ΔSR (式75)
を用いて算出した新たな像ズレ量ΔSRk、ΔSBkにより色収差補正を行う。
さらに、この誤差補正係数KR、KBを可変とし、利用者が入力したKR、KBによって新たな像ズレ量ΔSRk、ΔSBkを算出し、これにより色収差補正を行うようにしてもよい。
本実施形態の画像揺れ補正装置では、可動プリズム60A,60Bの回転角α10,α20から色収差によって発生するRGB出力画像の位置座標の像ズレ量を算出し、算出した像ズレ量をなくすように補正を行うため、図39に示すように画面の周囲部分にはR、G、B出力の一部しか出力されない領域が生じることになる。
本実施形態の画像揺れ補正装置では、図25に示すCCD部63のように、1枚のCCD受光部をもつ単板式を例に挙げているので、カメラDSP部70のRGB分離部70Aにおいて、前処理用IC部69からの入力された被写体像の信号をR、G、B出力信号に色分離する必要があった。
本実施形態の画像揺れ補正装置では、画像揺れ補正した画像の画像データを色ごとに分離し、センサ58A及び58Bによって検出した可動プリズム60A,60Bの回転角α10,α20から色収差によって発生するRGB出力画像の位置座標の像ズレ量を算出し、算出した像ズレ量をなくすように補正を行ったが、変形例5では、出力する画像から直接的に補正処理を行う。
図25に示す本実施形態の画像揺れ補正装置では、レンズ系53は1つのブロックとして描いてあるが、実際には複数枚のレンズ群として構成されている。
Claims (16)
- 光学レンズから入射した光による被写体像を撮像素子により電気信号へ変換して画像を得る撮像装置の振れに起因する前記画像の揺れを補正し、補正した手振れ補正画像から静止画像を取り込む静止画像取り込み装置において、
前記撮像装置に生じる水平又は垂直振れを検出する振れ検出部と、
前記撮像素子に入射するまでの光路上に配置され、前記光を任意の方向に屈折させる光屈折手段と、
前記振れ検出部で検出した振れを打ち消すように光屈折手段による前記光の屈折方向を制御する手振れ制御手段と、
前記手振れ制御手段により制御される前記光屈折手段の制御量を検出する制御量検出手段と、
前記制御量検出手段により検出した制御量から水平方向又は垂直方向の手振れ角を算出する手振れ角算出手段と、
静止画像の取り込みを要求する要求信号を受信したときに、前記手振れ角算出手段により算出した水平方向又は垂直方向の手振れ角の絶対値がゼロ、又は極小値となる時点に基づき静止画像の取り込み基準時を決定する取り込み基準時決定手段と、
前記取り込み基準時決定手段により決定した取り込み基準時の直後に前記撮像素子から読み出された手振れ補正画像を静止画像として取り込む静止画処理部と
を備えたことを特徴とする静止画像取り込み装置。 - 光学レンズから入射した光による被写体像を撮像素子により電気信号へ変換して画像を得る撮像装置の振れに起因する前記画像の揺れを補正し、補正した手振れ補正画像から静止画像を取り込む静止画像取り込み装置において、
前記撮像装置に生じる水平又は垂直振れを検出する振れ検出部と、
前記振れ検出部により検出した振れから水平方向又は垂直方向の手振れ角を算出する手振れ角算出手段と、
静止画像取り込みの要求信号を受信したときに、前記手振れ角算出手段により算出した水平方向又は垂直方向の手振れ角の絶対値がゼロ、又は極小値となる時点に基づき静止画像の取り込み基準時を決定する取り込み基準時決定手段と、
前記取り込み基準時決定手段により決定した取り込み基準時の直後に前記撮像素子から読み出された手振れ補正画像を静止画像として取り込む静止画処理部と
を備えたことを特徴とする静止画像取り込み装置。 - 光学レンズから入射した光による被写体像を撮像素子により電気信号へ変換して画像を得る撮像装置の振れに起因する前記画像の揺れを補正し、補正した手振れ補正画像から静止画像を取り込む静止画像取り込み装置において、
前記撮像装置に生じる水平又は垂直振れを検出する振れ検出部と、
前記撮像素子に入射するまでの光路上に配置され、前記光を任意の方向に屈折させる光屈折手段と、
前記振れ検出部で検出した振れを打ち消すように光屈折手段による前記光の屈折方向を制御する手振れ制御手段と、
前記手振れ制御手段により制御される前記光屈折手段の制御量を検出する制御量検出手段と、
前記制御量検出手段により検出した制御量から水平方向又は垂直方向の手振れ角を算出する手振れ角算出手段と、
予め定めた所定の時間内に前記撮像素子から読み出された複数の手振れ補正画像と該複数の手振れ補正画像それぞれの撮影時期を特定する情報と前記手振れ角算出手段により算出した水平方向又は垂直方向の手振れ角とを対応付けて記憶部に記憶する記憶手段と、
静止画像取り込みの要求信号を受信したときに、前記手振れ角算出手段により算出した水平方向又は垂直方向の手振れ角の絶対値がゼロ、若しくは極小値となる第1の時点、又は前記記憶部に記憶された水平方向又は垂直方向の手振れ角の絶対値がゼロ、若しくは極小値となる第2の時点を静止画像の取り込み基準時として決定する取り込み基準時決定手段と、
前記第2の時点を静止画像の取り込み基準時として決定した場合に、前記取り込み基準時決定手段により決定した取り込み基準時の直後、又は直前に前記撮像素子から読み出されて前記記憶部に記憶された手振れ補正画像を静止画像として取り込む静止画処理部と
を備えたことを特徴とする静止画像取り込み装置。 - 光学レンズから入射した光による被写体像を撮像素子により電気信号へ変換して画像を得る撮像装置の振れに起因する前記画像の揺れを補正し、補正した手振れ補正画像から静止画像を取り込む静止画像取り込み装置において、
前記撮像装置に生じる水平又は垂直振れを検出する振れ検出部と、
前記撮像素子に入射するまでの光路上に配置され、前記光を任意の方向に屈折させる光屈折手段と、
前記振れ検出部で検出した振れを打ち消すように光屈折手段による前記光の屈折方向を制御する手振れ制御手段と、
前記手振れ制御手段により制御される前記光屈折手段の制御量を検出する制御量検出手段と、
前記制御量検出手段により検出した制御量から水平方向又は垂直方向の手振れ角を算出する手振れ角算出手段と、
前記手振れ角算出手段にて算出した水平方向又は垂直方向の手振れ角がゼロである直後に前記撮像素子から読み出された手振れ補正画像と該複数の手振れ画像それぞれの撮影時期を特定する情報とを対応付けて記憶部に記憶する記憶手段と、
静止画像取り込みの要求信号を受信したときに、前記手振れ角算出手段により算出した水平方向又は垂直方向の手振れ角の絶対値がゼロ、若しくは極小値となる第1の時点、又は前記記憶部に記憶された水平方向又は垂直方向の手振れ角がゼロとなる最新の第2の時点を静止画像の取り込み基準時として決定する取り込み基準時決定手段と、
前記第2の時点を静止画像取り込み基準時として決定した場合に、前記取り込み基準時決定手段により決定した取り込み基準時の直後に前記撮像素子から読み出されて前記記憶部に記憶された手振れ補正画像を静止画像として取り込む静止画処理部と
を備えたことを特徴とする静止画像取り込み装置。 - 前記取り込み基準時決定手段は、
前記手振れ角算出手段により算出した水平又は垂直方向の手振れ角、又は前記記憶部に記憶された水平方向又は垂直方向の手振れ角のうち、手振れ角の絶対値が先にゼロ、又は極小値となる手振れ角に対応する時点に基づき静止画像の取り込み基準時を決定する
ことを特徴とする請求項1乃至4のいずれか1項記載の静止画像取り込み装置。 - 前記取り込み基準時決定手段は、
前記手振れ角算出手段により算出した手振れ角、又は前記記憶部に記憶された水平方向又は垂直方向の手振れ角が予め定めた取り込み制限時間内にゼロ、又は極小値にならない場合は、この取り込み制限時間経過時を静止画像の取り込み基準時として決定する
ことを特徴とする請求項1乃至5のいずれか1項記載の静止画像取り込み装置。 - 光学レンズから入射した光による被写体像を撮像素子により電気信号へ変換して画像を得る撮像装置の振れに起因する前記画像の揺れを該揺れに対応した補正量で補正された手振れ補正画像から、静止画像を取り込む静止画像取り込み装置において、
前記振れ補正量の絶対値がゼロ、又は極小値となる時点に基づき静止画像の取り込み基準時を決定する取り込み基準時決定手段と、
前記取り込み基準時決定手段により決定した取り込み基準時の直後に前記撮像素子から読み出された手振れ補正画像を静止画像として取り込む静止画処理部と
を備えたことを特徴とする静止画像取り込み装置。 - 光学レンズから入射した光による被写体像を撮像素子により電気信号へ変換して画像を得る撮像装置の振れに起因する前記画像の揺れを補正し、補正した手振れ補正画像から静止画像を取り込む静止画像取り込み方法において、
前記撮像装置に生じる水平又は垂直振れを検出する振れ検出ステップと、
前記撮像素子に入射するまでの光路上に配置された光屈折手段による前記光の屈折方向を前記振れ検出ステップで検出した振れを打ち消すように制御する手振れ制御ステップと、
前記手振れ制御ステップにより制御される前記光屈折手段の制御量を検出する制御量検出ステップと、
前記制御量検出ステップにより検出した制御量から水平方向又は垂直方向の手振れ角を算出する手振れ角算出ステップと、
静止画像の取り込みを要求する要求信号を受信したときに、前記手振れ角算出ステップにより算出した水平方向又は垂直方向の手振れ角の絶対値がゼロ、又は極小値となる時点に基づき静止画像の取り込み基準時を決定する取り込み基準時決定ステップと、
前記取り込み基準時決定ステップにより決定した取り込み基準時の直後に前記撮像素子から読み出された手振れ補正画像を静止画像として取り込む静止画処理ステップと
を有することを特徴とする静止画像取り込み方法。 - 光学レンズから入射した光による被写体像を撮像素子により電気信号へ変換して画像を得る撮像装置の振れに起因する前記画像の揺れを補正し、補正した手振れ補正画像から静止画像を取り込む静止画像取り込み方法において、
前記撮像装置に生じる水平又は垂直振れを検出する振れ検出ステップと、
前記振れ検出ステップにより検出した振れから水平方向又は垂直方向の手振れ角を算出する手振れ角算出ステップと、
静止画像取り込みの要求信号を受信したときに、前記手振れ角算出ステップにより算出した水平方向又は垂直方向の手振れ角の絶対値がゼロ、又は極小値となる時点に基づき静止画像の取り込み基準時を決定する取り込み基準時決定ステップと、
前記取り込み基準時決定ステップにより決定した取り込み基準時の直後に前記撮像素子から読み出された手振れ補正画像を静止画像として取り込む静止画処理ステップと
を有することを特徴とする静止画像取り込み方法。 - 光学レンズから入射した光による被写体像を撮像素子により電気信号へ変換して画像を得る撮像装置の振れに起因する前記画像の揺れを補正し、補正した手振れ補正画像から静止画像を取り込む静止画像取り込み方法において、
前記撮像装置に生じる水平又は垂直振れを検出する振れ検出ステップと、
前記撮像素子に入射するまでの光路上に配置された光屈折手段による前記光の屈折方向を前記振れ検出ステップで検出した振れを打ち消すように制御する手振れ制御ステップと、
前記手振れ制御ステップにより制御される前記光屈折手段の制御量を検出する制御量検出ステップと、
前記制御量検出ステップにより検出した制御量から水平方向又は垂直方向の手振れ角を算出する手振れ角算出ステップと、
予め定めた所定の時間内に前記撮像素子から読み出された複数の手振れ補正画像と該複数の手振れ補正画像それぞれの撮影時期を特定する情報と前記手振れ角算出ステップにより算出した水平方向又は垂直方向の手振れ角とを対応付けて記憶部に記憶する記憶ステップと、
静止画像取り込みの要求信号を受信したときに、前記手振れ角算出ステップにより算出した水平方向又は垂直方向の手振れ角の絶対値がゼロ、若しくは極小値となる第1の時点、又は前記記憶部に記憶された水平方向又は垂直方向の手振れ角の絶対値がゼロ、若しくは極小値となる第2の時点を静止画像の取り込み基準時として決定する取り込み基準時決定ステップと、
前記第2の時点を静止画像の取り込み基準時として決定した場合に、前記取り込み基準時決定ステップにより決定した取り込み基準時の直後、又は直前に前記撮像素子から読み出されて前記記憶部に記憶された手振れ補正画像を静止画像として取り込む静止画処理ステップと
を有することを特徴とする静止画像取り込み方法。 - 光学レンズから入射した光による被写体像を撮像素子により電気信号へ変換して画像を得る撮像装置の振れに起因する前記画像の揺れを補正し、補正した手振れ補正画像から静止画像を取り込む静止画像取り込み方法において、
前記撮像装置に生じる水平又は垂直振れを検出する振れ検出ステップと、
前記撮像素子に入射するまでの光路上に配置された光屈折手段による前記光の屈折方向を前記振れ検出ステップで検出した振れを打ち消すように制御する手振れ制御ステップと、
前記手振れ制御ステップにより制御される前記光屈折手段の制御量を検出する制御量検出ステップと、
前記制御量検出ステップにより検出した制御量から水平方向又は垂直方向の手振れ角を算出する手振れ角算出ステップと、
前記手振れ角算出ステップにて算出した水平方向又は垂直方向の手振れ角がゼロである直後に前記撮像素子から読み出された手振れ補正画像と該複数の手振れ画像それぞれの撮影時期を特定する情報とを対応付けて記憶部に記憶する記憶ステップと、
静止画像取り込みの要求信号を受信したときに、前記手振れ角算出ステップにより算出した水平方向又は垂直方向の手振れ角の絶対値がゼロ、若しくは極小値となる第1の時点、又は前記記憶部に記憶された水平方向又は垂直方向の手振れ角がゼロとなる最新の第2の時点を静止画像の取り込み基準時として決定する取り込み基準時決定ステップと
前記第2の時点を静止画像取り込み基準時として決定した場合に、前記取り込み基準時決定ステップにより決定した取り込み基準時の直後に前記撮像素子から読み出されて前記記憶部に記憶された手振れ補正画像を静止画像として取り込む静止画処理ステップと
を有することを特徴とする静止画像取り込み方法。 - 前記取り込み基準時決定ステップは、
前記手振れ角算出ステップにより算出した水平又は垂直方向の手振れ角、又は前記記憶部に記憶された水平方向又は垂直方向の手振れ角のうち、手振れ角の絶対値が先にゼロ、又は極小値となる手振れ角に対応する時点に基づき静止画像の取り込み基準時を決定することを特徴とする請求項8乃至11のいずれか1項記載の静止画像取り込み方法。 - 前記取り込み基準時決定ステップは、
前記手振れ角算出ステップにより算出した手振れ角、又は前記記憶部に記憶された水平方向又は垂直方向の手振れ角が予め定めた取り込み制限時間内にゼロ、又は極小値にならない場合は、この取り込み制限時間経過時を静止画像の取り込み基準時として決定することを特徴とする請求項8乃至12のいずれか1項記載の静止画像取り込み方法。 - 光学レンズから入射した光による被写体像を撮像素子により電気信号へ変換して画像を得る撮像装置の振れに起因する前記画像の揺れを該揺れに対応した補正量で補正された手振れ補正画像から、静止画像を取り込む静止画像取り込み方法において、
前記振れ補正量の絶対値がゼロ、又は極小値となる時点に基づき静止画像の取り込み基準時を決定する取り込み基準時決定ステップと、
前記取り込み基準時決定ステップにより決定した取り込み基準時の直後に前記撮像素子から読み出された手振れ補正画像を静止画像として取り込む静止画処理ステップと
を備えたことを特徴とする静止画像取り込み方法。 - 光学レンズから入射した撮像光を撮像素子により電気信号に変換して画像を得る撮影機器の撮影中の振れに起因する撮影画像の揺れを補正する画像揺れ補正装置において、
前記撮影機器に生じる振れを検出する振れ検出手段と、
前記光学レンズの入射側に配置され、前記光学レンズに入射する光の屈折方向を変化させる一対の可動屈折素子と、
前記可動屈折素子をそれぞれ光軸回りに回動させる2つの回動手段と、
前記振れ検出手段で検出した振れを打ち消すように前記2つの回動手段を制御する回動制御手段と、
前記可動屈折素子の回動量を検出する回動量検出手段と、
前記得られた画像の画像データを3原色の画像に分離する色分離手段と、
前記色分離手段によって分離した各色画像を回動に伴い出力する際、各色画像の出力位置の像ズレ量を前記回動量検出手段によって検出した回動量から算出する像ズレ量算出手段と、
前記像ズレ量算出手段により前記各色画像間の相対的な像ズレを補正する色収差補正手段と
を備えたことを特徴とする画像揺れ補正装置。 - 光学レンズから入射した撮像光を撮像素子により電気信号に変換して画像を得る撮影機器の撮影中の振れに起因する撮影画像の揺れを補正する画像揺れ補正装置において、
前記得られた画像の画像データを3原色の画像に分離する色分離手段と、
前記色分離手段により分離した各色画像を重ね合わせ、重ね合わせた色画像を上下左右1画素ずつずらし、画素ごとの出力値の差分を合計し、合計した差分値合計を最小とする各色画像の位置を決定する像ズレ量算出手段と、
前記像ズレ量算出手段により決定した各色画像の位置に基づいて前記各色画像の出力位置を補正する色収差補正手段と
を備えたことを特徴とする画像揺れ補正装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008509715A JP4893737B2 (ja) | 2006-03-22 | 2007-03-22 | 静止画像取り込み装置及び静止画像取り込み方法 |
Applications Claiming Priority (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006079747 | 2006-03-22 | ||
JP2006079747 | 2006-03-22 | ||
JP2006094815 | 2006-03-30 | ||
JP2006094815 | 2006-03-30 | ||
JP2008509715A JP4893737B2 (ja) | 2006-03-22 | 2007-03-22 | 静止画像取り込み装置及び静止画像取り込み方法 |
PCT/JP2007/055900 WO2007116636A1 (ja) | 2006-03-22 | 2007-03-22 | 静止画像取り込み装置及び静止画像取り込み方法、並びに画像揺れ補正装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2007116636A1 true JPWO2007116636A1 (ja) | 2009-08-20 |
JP4893737B2 JP4893737B2 (ja) | 2012-03-07 |
Family
ID=38580937
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008509715A Expired - Fee Related JP4893737B2 (ja) | 2006-03-22 | 2007-03-22 | 静止画像取り込み装置及び静止画像取り込み方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US8139149B2 (ja) |
EP (1) | EP2023610A4 (ja) |
JP (1) | JP4893737B2 (ja) |
CN (1) | CN101411180B (ja) |
WO (1) | WO2007116636A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114593672B (zh) * | 2022-02-17 | 2023-06-23 | 阿尔法森紧固科技(常州)有限公司 | 一种铆钉紧固度检测装置及其使用方法 |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8390724B2 (en) * | 2009-11-05 | 2013-03-05 | Panasonic Corporation | Image capturing device and network camera system |
CN102103301B (zh) * | 2009-12-17 | 2014-03-05 | 深圳富泰宏精密工业有限公司 | 拍照装置及方法 |
JP5505135B2 (ja) * | 2010-06-30 | 2014-05-28 | ソニー株式会社 | 画像処理装置、画像処理方法、および、プログラム |
JP5249377B2 (ja) * | 2011-03-22 | 2013-07-31 | キヤノン株式会社 | 撮像装置、及びその制御方法、プログラム |
JP6561000B2 (ja) * | 2016-03-09 | 2019-08-14 | 富士フイルム株式会社 | 内視鏡システム及びその作動方法 |
JP2019145956A (ja) | 2018-02-19 | 2019-08-29 | キヤノン株式会社 | 撮像装置およびその制御方法ならびにプログラム |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3135379B2 (ja) | 1992-09-08 | 2001-02-13 | キヤノン株式会社 | 像ブレ補正装置 |
JPH0832864A (ja) | 1994-07-12 | 1996-02-02 | Canon Inc | 撮像装置 |
JP3728608B2 (ja) * | 1995-04-28 | 2005-12-21 | 株式会社ニコン | ブレ補正光学装置 |
JPH0951469A (ja) | 1995-05-31 | 1997-02-18 | Sony Corp | 撮像装置及び画像揺れの補正方法 |
JP3548308B2 (ja) | 1995-12-25 | 2004-07-28 | キヤノン株式会社 | 撮像装置 |
US5790490A (en) * | 1996-05-10 | 1998-08-04 | Olympus Optical Co., Ltd. | Anti-shake camera |
JP4086332B2 (ja) | 1996-07-26 | 2008-05-14 | キヤノン株式会社 | 電子スチルカメラ |
JP2000019576A (ja) | 1998-07-03 | 2000-01-21 | Sony Corp | 静止画撮像装置 |
US6930708B1 (en) * | 1998-11-30 | 2005-08-16 | Ricoh Company, Ltd. | Apparatus and system for correction based upon detecting a camera shaking |
JP2000338533A (ja) * | 1999-05-28 | 2000-12-08 | Olympus Optical Co Ltd | 手ぶれ補正装置 |
-
2007
- 2007-03-22 US US12/225,380 patent/US8139149B2/en active Active
- 2007-03-22 EP EP07739343A patent/EP2023610A4/en not_active Withdrawn
- 2007-03-22 WO PCT/JP2007/055900 patent/WO2007116636A1/ja active Application Filing
- 2007-03-22 JP JP2008509715A patent/JP4893737B2/ja not_active Expired - Fee Related
- 2007-03-22 CN CN200780009816.9A patent/CN101411180B/zh not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114593672B (zh) * | 2022-02-17 | 2023-06-23 | 阿尔法森紧固科技(常州)有限公司 | 一种铆钉紧固度检测装置及其使用方法 |
Also Published As
Publication number | Publication date |
---|---|
US20100220200A1 (en) | 2010-09-02 |
EP2023610A1 (en) | 2009-02-11 |
WO2007116636A1 (ja) | 2007-10-18 |
US8139149B2 (en) | 2012-03-20 |
EP2023610A4 (en) | 2010-09-22 |
CN101411180A (zh) | 2009-04-15 |
JP4893737B2 (ja) | 2012-03-07 |
CN101411180B (zh) | 2011-05-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4893737B2 (ja) | 静止画像取り込み装置及び静止画像取り込み方法 | |
JP5012495B2 (ja) | 撮像素子、焦点検出装置、焦点調節装置および撮像装置 | |
JP4976310B2 (ja) | 撮像装置 | |
US8786676B2 (en) | Imaging device for generating stereoscopic image | |
JP5157400B2 (ja) | 撮像装置 | |
CN107534747B (zh) | 拍摄元件以及拍摄装置 | |
JP2012226213A (ja) | 撮像装置及びその制御方法 | |
JP2008035282A (ja) | 撮像装置と該撮像装置を備えた携帯機器 | |
JP7352359B2 (ja) | 撮像素子および撮像装置 | |
WO2012073727A1 (ja) | 撮像装置及びその合焦位置検出方法 | |
JPH0356924A (ja) | 防振撮像装置 | |
JP2017183992A (ja) | 撮像素子、焦点検出装置および撮像装置 | |
JP5634614B2 (ja) | 撮像素子及び撮像装置 | |
US20200092489A1 (en) | Optical apparatus, control method, and non-transitory computer-readable storage medium | |
JPH09163215A (ja) | 撮像装置 | |
JPWO2007023718A1 (ja) | 画像揺れ補正装置 | |
KR20100085728A (ko) | 촬영장치 및 이를 이용한 초점 검출 방법 | |
JP5907668B2 (ja) | 撮像装置及び撮像素子 | |
JP5399627B2 (ja) | 焦点検出装置、焦点調節装置および撮像装置 | |
JP7397626B2 (ja) | 撮像装置及びその制御方法 | |
JP2016046774A (ja) | 撮像装置 | |
JP3495842B2 (ja) | 撮像装置 | |
JP5476702B2 (ja) | 撮像素子および撮像装置 | |
JPH0974512A (ja) | 撮像装置 | |
JP5691440B2 (ja) | 撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110719 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110912 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20111012 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20111122 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20111205 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4893737 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150106 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |