JP4551636B2 - 撮像装置 - Google Patents
撮像装置 Download PDFInfo
- Publication number
- JP4551636B2 JP4551636B2 JP2003209601A JP2003209601A JP4551636B2 JP 4551636 B2 JP4551636 B2 JP 4551636B2 JP 2003209601 A JP2003209601 A JP 2003209601A JP 2003209601 A JP2003209601 A JP 2003209601A JP 4551636 B2 JP4551636 B2 JP 4551636B2
- Authority
- JP
- Japan
- Prior art keywords
- scanning
- image
- scanned
- unit
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
- G02B26/08—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
- G02B26/10—Scanning systems
- G02B26/101—Scanning systems with both horizontal and vertical deflecting means, e.g. raster or XY scanners
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
- G02B23/14—Viewfinders
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Mechanical Optical Scanning Systems (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
- Studio Devices (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、撮像装置に関し、例えば光源手段から画像情報に基づいて光変調され出射した光束で所定面上を２次元にラスタ走査する走査手段（光走査手段ともいう。）を用いて、所定面上に画像を表示し、該所定面上の画像を光学系を介して観察する際に好適なものである。
【０００２】
【従来の技術】
デジタルカメラやビデオカメラ等に用いられている電子ビューファンダーシステムなどの画像表示装置では、透過型液晶や、反射型液晶などの２次元表示素子と接眼光学系とを組み合わせ、２次元表示素子上に形成される画像を接眼光学系で虚像として表示し観察するように構成されている。
【０００３】
近年、そのような画像表示装置では、表示される画像がより高精細であることが要求されている。このような要求に対して、前述の２次元表示素子では表示素子上に必要な画素数に対応する数の画素を製作しなければならないため、画素数が増えた分だけ画素欠陥が増加したり、２次元表示素子の大きさに対して相対的に画素が小さくなり製造が困難になるなどの問題があった。また、さらに液晶を利用した２次元表示素子では、液晶の応答速度が遅い為、動画像を表示した場合などに残像が残るなどの問題があった。
【０００４】
一方、２次元表示素子を用いる代わりに、光源手段からの画像情報に基づいて光変調された光束を２次元の走査が可能な光走査手段を用いて被走査面上を走査することにより画像を表示し、該画像を観察する画像表示装置が知られている（例えば特許文献１）。特許文献１は、赤色、青色、緑色の光束を走査手段で水平方向と垂直方向の２次元方向に走査し、光学系を介して網膜上に直接２次元画像を形成する技術を示している。
【０００５】
このような画像表示技術は、１つの光束を走査して画像を表示するために、２次元表示素子を用いた画像表示装置のように必要な解像度にあわせて複数の画素を形成した表示素子を用いる必要がなく、また原理的に画素欠陥というものが発生しないという特徴を有している。
【０００６】
このような走査手段を用いた画像表示装置を実現するにあたって、光走査手段として半導体プロセスにより製造された微小機械システム（Micro Electro Mechanical SYSTEM:以下MEMS技術という。）が知られている（例えば特許文献２、３）。ＭＥＭＳ技術で製造された光走査手段は、小型軽量でありかつ高速で動作可能なものであり、こうした特長が画像表示装置として適している。又頭部装着型の画像表示装置用の２次元走査手段のMEMS技術が知られている（例えば非特許文献１）。これらのMEMS技術による光走査手段は、光を反射する面をトーションバーなどで機械的に共振動作させ、その際に生じるねじれを利用して光を反射する面を傾斜させその反射面に入射する光を偏向し走査するものである。ねじれを利用するため、光を反射する面は回転ではなく揺動するものである。
【０００７】
これらの機械的な共振動作の基本的な周波数は、光走査手段の機械的寸法により決定され、静電気力、電磁力により共振駆動することにより光走査手段を駆動するものである。
【０００８】
先の特許文献１などでは、こうした共振型の光走査手段を第１の方向とし、さらに第１の方向とは異なる第２の方向に光を走査する光走査手段を配置して２次元走査を実現している。
【特許文献１】
米国特許第５４６７１０４号
【特許文献２】
特開平０７−１７５００５号公報
【特許文献３】
特開平０８−３３４７２３号公報
【非特許文献１】
SPIE Conference ＃ 4407,19(Jun2001)
Wafer scale packaging for a MEMS
video Scanner
【０００９】
【発明が解決しようとする課題】
デジタルカメラ等の画像撮像装置に用いる電子ビューファンダーシステムに走査手段を用いた画像表示装置を適用する場合、動体の被写体に対して実時間的に被写体を画像表示装置で表示し観察者に観察させることが要望される。したがって、高速に動く被写体に対しては、画像のフレームレートの速いものが必要となってくる。
【００１０】
先の特許文献１、２、３などでは、走査手段を用いて画像を表示する技術に関しては開示されているだけである。
【００１１】
本発明は、第１の方向と、それとは異なる第２の方向の双方で光走査が可能な光走査手段を用いて被走査面上を走査し、画像を表示し、該画像を観察するとき、第２の方向の繰り返し周期（フレーム周波数）の基本的な状態を、複数の状態に制御することによって、被写体によって画像表示のフレームレートを可変にし、常に良好なる画質の画像を所定面上に表示し、該所定面上の画像を観察することができる撮像装置の提供を目的とする。
【００１２】
【課題を解決するための手段】
請求項１の発明の撮像装置は、画像情報に基づいて変調された光束を出射する光源手段と、該光源手段からの光束を被走査面上に２次元的に走査する走査手段と、該被走査面上に形成される画像を観察するための光学系と、被写体を撮像する撮像素子とを有し、該撮像素子によって撮像された画像を前記被走査面上に表示する撮像装置において、前記走査手段は、前記光源手段からの光束を第１の方向と該第１の方向とは異なる第２の方向に走査し、前記第１の方向について機械的共振型の揺動によって走査しており、前記撮像素子により撮像された被写体の動きの大小に応じて前記第２の方向の走査周期を自動的に制御する走査手段制御回路を有することを特徴としている。
【００１８】
【発明の実施の形態】
（実施形態）
本発明にかかる各実施形態を各図を用いて説明する。
【００１９】
（実施形態１）
図１は、本発明の実施形態１の走査型の画像表示装置の構成概要の説明図である。図１において、光源手段１０１は、出射光束が光源駆動回路１３２からの信号により光変調した光束を出射している。光源手段１０１より発光した（光変調された）光束１１４は、順に複数の色光を１つの光束として合成する色合成光学系１０２、コンデンサーレンズやコリメーターレンズ等の集光光学系１０３、偏向ミラー１０７とカバーガラス１０６を介して２次元的な走査が可能な光走査手段１０４に向かう。光源手段１０１は、赤色光を出射する赤色光源１０１ｒ，緑色光を出射する緑色光源１０１ｇ、青色光を出射する青色光源１０１ｂを有している。色合成光学系１０２は、光源手段１０１から出射した複数の光束を、１つの光束に合成し出射するように構成されている。
【００２０】
光走査手段１０４に入射した光は、偏向点１０５を中心に偏向ミラー（反射ミラー）で反射偏向され、走査光学系１０８を介して、被走査面１０９上を２次元的に走査する。光源手段１０１と被走査面１０９は、集光光学系１０３と走査光学系１０８により実質的に共役の関係になっており、被走査面１０９上は、光源手段１０１の光源像で走査されるようになっている。被走査面１０９は透明な面又は拡散面となり、そこに像が形成される。
【００２１】
光束１１４ａ，１１４ｂ，１１４ｃは、光源手段１０１からの光束１１４が、光走査手段１０４により走査され走査光学系１０８に向かう３つの光束（走査光束）の例を示したものである。被走査面１０９上では走査光束１１４ａ、１１４ｂ、１１４ｃに対応した集光点１１４ａ’，１１４ｂ’，１１４ｃ’を示している。集光点１１４ａ’，１１４ｂ’，１１４ｃ’は被走査面１０９上で、図中にｙで示す方向（ｙ方向）（第２の方向）に、走査された例を示している。光走査手段１０４は、このｙ方向とそれとは垂直のｘで示す方向（ｘ方向）（第１の方向）にも走査することができる２次元走査が可能な構成より成っている。光走査手段１０４は、光走査手段制御回路１３３により駆動制御され、光走査手段制御回路１３３と光源駆動回路１３２は、表示部制御回路１３４等に電気的に接続され同期を取られて駆動制御され、所望のフレーム数の画像を被走査面１０９上に表示している。
【００２２】
光走査手段制御回路１３３は垂直方向の走査周期を制御する制御回路１３３Ｖによってｙ方向の繰り返し周期数を制御してフレーム周波数を変化させている。
１３３Ｈは水平方向の走査を行う制御回路である。
【００２３】
観察者は、アイポイント１１３に観察者の瞳を置くことで、接眼光学系１１０を介して、被走査面１０９上に形成された画像の虚像を残像効果を利用して観察している。図１においては、便宜上観察者は、ｘ方向を水平方向、ｙ方向を垂直方向として、被走査面１０９上の画像を観察することとする。
【００２４】
光走査手段１０４の概要を、図２を用いて説明する。図２は、光走査手段１０４の主要部構成と、被走査面１０９との相対的な位置関係を示したものである。光走査手段１０４は、基板１４０を有し、基板１４０は偏向点１０５に反射ミラー１４３が形成されている。反射ミラー１４３には水平方向（ｘ方向）に、揺動動作させるためのトーションバー１４２と、垂直方向（ｙ方向）に揺動動作させるためのトーションバー１４１とが設けられ、これらによりジンバル構造を形成している。水平方向（ｘ方向）に対しては、不図示のアクチュエータより反射ミラー１４３は駆動され、この構造のねじれの機械的共振作用で反射ミラー１４３の反射面の偏向角が変わり、光を走査する。垂直方向（ｙ方向）に対しては、水平方向（ｘ方向）と同期を取るように制御され、不図示のアクチュエータにより鋸歯波状又は３角波形に駆動される。図２において、線１１７は、揺動動作による走査線の往路を、線１１８は走査線の復路の例を示している。実際には、走査線の本数は、本図よりも多いがわかりやすくするため、間引いた形で示している。揺動動作するのに同期して、ｙ方向である図中矢印１４５方向に走査するように反射ミラー１４３を動作させ、かつ光源手段１０１を同期して出射する光束を光変調することで有効エリア１２１内で画像の表示を行う。垂直方向（ｙ方向）の走査端１４６にいくと、帰線１２０に示すように走査開始点１４７まで帰線する。つまり、垂直方向（ｙ方向）の繰り返し周期が、画像のフレームレート（フレーム周波数）を決定している。
【００２５】
表１は、画像表示の解像度およびその垂直方向（ｙ方向）の走査線の本数と、水平方向（ｘ方向）の機械的共振作用の共振周波数とから計算されるフレームレートを示したものである。
【００２６】
表中たとえば、ＳＶＧＡの解像力（８００ｘ６００）の場合、共振周波数２０，０００（２０ｋＨｚ）では、フレームレートが６６．６７Ｈｚと計算される。図２は、走査線を間引いた形で表記したが、往路の走査線１１７と復路の走査線１１８を合わせて、ＳＶＧＡの場合、画像を表示するエリア内に６００本あることになる。
【００２７】
本実施形態ではフレームレートは走査線の数を変えて行っている。即ちフレームレートと走査線の数とを掛け合わせた値が一定となるようにしている。
【００２８】
図３は、図１に示す走査型の画像表示装置を搭載した撮像装置（ビデオカメラ、やデジタルカメラ）の構成概略図である。図３において、表示部１４９は、図１に記載の走査型の画像表示装置を簡略化して示している。図中、図１で示した筒番と同部材には同筒番を付している、１４８は撮像部であり、撮像光学系１１５、撮像光学系１１５による像が形成される撮像素子（ＣＣＤ）１１６、撮像素子１１６を駆動制御する撮像素子駆動回路１３５を有している。表示部１４９と撮像部１４８は、カメラ装置（撮像装置）１５０に内包されており、機器制御回路１３６により駆動制御される。
【００２９】
不図示の観察者は、撮像部１４８により撮影された画像や撮像する機器制御回路１３６を介して表示部１４９の表示部駆動回路１３４に入力される、そして表示部１４９の被走査面１０９に走査表示された画像をアイポイント１１３に位置した観察者の目１１２により観察する。また、本撮像装置１５０には、観察者のインターフェース部１３７が接続されている。
【００３０】
図４は、撮像部１４８で撮像される被写体の例を示している。図中、１２２は視野枠、１２３は撮像されるエリアの例を示している。図４（ａ）は、植物等の動きの少ない被写体１２４、図４（ｂ）は、競争自動車等の動きの速い（大きい）被写体１２５の例を示している。被写体に応じて、撮像部１４８に設けるシャッターのシャッタースピード等のパラメータを変化させることは、一般的であるが、それと同時に、動きの少ない（小さい）被写体１２４の場合に、観察者が撮影される被写体を細部まで詳細に表示することが要求されたり、動きの速い被写体１２５の場合、できるだけリアルタイムに画像を表示することが要求たりすることが生じる。観察者は、インターフェース部１３７を介して、どのような被写体をとるのかというモードを選択できる。
【００３１】
動きの少ない被写体１２４の場合と動きの速い被写体１２５のような場合を、観察者がモードを選択した場合の表示部１４９の被走査面１０９上に表示される画像を図５に示す。図５でも、走査線の本数をわかりやすくするため間引いて表示している。
【００３２】
図５（ａ）は、動きの小さい被写体１２４の場合であって詳細な画像を観察できるように、走査線の本数を多く設定しフレーム数を少なくした場合である。図５（ｂ）は、動きの大きい被写体１２５の場合であって走査線の本数を減らして、その分フレームレートを多くした場合である。図５において図２で示した筒番と同要素には同筒番を付している。本実施例において走査手段制御回路１３３は撮像素子１２４により撮像された被写体の動きの大小に応じて第２の方向の走査周期を自動的に制御している。
【００３３】
表２に走査手段の共振作用の共振周波数が２０ｋＨｚで駆動することを基本にした場合を例として説明する。垂直方向の走査の基本となる周波数（フレームレート）を６６．６７Ｈｚと設定すると、走査線本数は、６００本となる。この走査線本数を、４００本とすると、周波数（フレームレート）８３．３３Ｈｚがえられ、フレームレートを向上することができる。
【００３４】
以上のように本実施形態では共振周波数は一定であるので共振周波数＝（走査線数）×（フレーム周波数）より走査線数とフレーム周波数との組合せを線々と変えている。
【００３５】
このように、本実施形態では走査線数を変えることで、フレームレート（フレーム周波数）を変えることが可能となっている。
【００３６】
本実施形態では、観察者がインターフェース部１３７を介して、被写体に応じて、撮像のモードを設定してそれに応じて、表示部１４９のフレームレートを変えるように構成したが、これに限定するものではなく撮像素子１１６上の被写体を自動的に認識させるなどして、それに応じて設定してもよいし、また、撮像のシャッタースピード条件などにより表示部１４９のフレームレートを変更しても同様の効果が得られる。例えば走査手段制御回路１３３によって撮像素子１１６によって撮像された被写体の動きの大小に応じて垂直方向の走査周期を自動的に制御するようにしても良い。
【００３７】
また、撮像している状態と、記録している画像を観察する状態において切り替えてもよい。
【００３８】
また本実施形態では、走査手段としてジンバル構造の２次元走査手段を用いた場合について説明したが、これに限定するものではなく、共振動作する走査手段とそれと垂直方向に走査する垂直走査手段により構成され、垂直走査手段の繰り返し周波数をかえることで、フレームレートを可変にすることができる走査手段であれば同様の効果が得られる。
【００３９】
また、本実施形態において走査線の本数をあげて高解像の画像を観察する場合でも、垂直方向のフレームレートは４０Ｈｚ以上が望ましい。
【００４０】
また、水平方向の共振周波数は、温度等により変化するため、それに応じて、垂直方向の周波数、あるいは、光源手段から出射される光の変調の同期を制御する必要が生じるが、被写体あるいは、観察者の意図に応じて走査線本数を制御してフレームレートを制御するものであれば、同様に適用可能である。
【００４１】
さらに、フレームレートの変更に伴って、被走査面上の光源像の大きさを変えるなどをしてもよい。このようにすると、走査線間の隙間を埋めることが可能となる。
【００４２】
（実施形態２）
図６は本発明の実施形態２の走査型の画像表示装置を用いたビデオカメラ等の撮像装置（カムコーダ）の要部概略図である。図６において、図３で示した筒番と同部材には、同筒番を付している。
【００４３】
本実施形態は、撮像部１４８で、動画像を通常は撮像し、不図示の記録部に記録するように構成されている。実施形態１と同様に、観察者が操作できるインターフェース部１３７が機器制御回路１３６に接続されている。本実施形態のカムコーダは、動画像以外にも静止画像を不図示の記録部に記録できるように構成されており、観察者がその設定をインターフェース部１３７を介して行えるようになっている。１１５はズームレンズ等の撮影系である。
【００４４】
動画像を撮像する場合と静止画を撮像する場合、撮像部１４８内の撮像素子１３５により撮像を行うが、静止画の場合により高解像の画像が得られるように撮像素子の有効画素数が多くなっている。
【００４５】
撮影した静止画を表示する場合には、表示画像に高い解像力が要求されるため、走査線数を多くして解像力の高い画像の表示を行いこのときフレーム周波数を下げる。又このとき表示する手法は、実施形態１と同様である。また、動画像の撮影時には、記録するフレームレートを高くし、その分走査線の数を少なくした画像になるように走査線本数を制御する。
【００４６】
これにより、観察者に対して、使用環境に最適な画像を提供できる。
【００４７】
以上のように、本実施形態によれば、観察者に対して最適な画質の画像を表示できる撮像装置を提供することができる。又撮像環境に適した画像を表示できる撮像装置を提供することができる。
【００４８】
【表１】
【００４９】
【表２】
【００５０】
【発明の効果】
本発明によれば被写体によって画像表示のフレームレートを可変にし、常に良好なる画質の画像を所定面上に表示し、該所定面上の画像を観察することができる撮像装置を達成することができる。
【図面の簡単な説明】
【図１】本発明の撮像装置に用いられる画像表示装置の実施形態１の構成概要図
【図２】図１の走査手段の要部説明図
【図３】本発明の撮像装置の実施形態１の構成概要図
【図４】被写体の説明図
【図５】本発明に係る走査手段の走査線の説明図
【図６】本発明の撮像装置の実施形態２の構成概要図
【符号の説明】
１０１ 光源手段
１０２ 色合成手段
１０３ 集光光学系
１０４ 光走査手段
１０５ 偏向点
１０６ カバーガラス
１０７ 偏向ミラー
１０８ 走査光学系
１０９ 被走査面
１１０ 接眼光学系
１１２ 観察者の目
１１３ 瞳
１１４ 走査光束
１１５ 撮像光学系
１１６ 撮像素子
１１７ １１８ 走査線
１２０ 帰線
１２１ 有効エリア
１３２ 光源駆動回路
１３３ 走査手段制御回路
１３４ 表示手段部制御回路
１３５ 撮像素子駆動回路
１３６ 機器駆動回路
１３７ インターフェース部
【発明の属する技術分野】
本発明は、撮像装置に関し、例えば光源手段から画像情報に基づいて光変調され出射した光束で所定面上を２次元にラスタ走査する走査手段（光走査手段ともいう。）を用いて、所定面上に画像を表示し、該所定面上の画像を光学系を介して観察する際に好適なものである。
【０００２】
【従来の技術】
デジタルカメラやビデオカメラ等に用いられている電子ビューファンダーシステムなどの画像表示装置では、透過型液晶や、反射型液晶などの２次元表示素子と接眼光学系とを組み合わせ、２次元表示素子上に形成される画像を接眼光学系で虚像として表示し観察するように構成されている。
【０００３】
近年、そのような画像表示装置では、表示される画像がより高精細であることが要求されている。このような要求に対して、前述の２次元表示素子では表示素子上に必要な画素数に対応する数の画素を製作しなければならないため、画素数が増えた分だけ画素欠陥が増加したり、２次元表示素子の大きさに対して相対的に画素が小さくなり製造が困難になるなどの問題があった。また、さらに液晶を利用した２次元表示素子では、液晶の応答速度が遅い為、動画像を表示した場合などに残像が残るなどの問題があった。
【０００４】
一方、２次元表示素子を用いる代わりに、光源手段からの画像情報に基づいて光変調された光束を２次元の走査が可能な光走査手段を用いて被走査面上を走査することにより画像を表示し、該画像を観察する画像表示装置が知られている（例えば特許文献１）。特許文献１は、赤色、青色、緑色の光束を走査手段で水平方向と垂直方向の２次元方向に走査し、光学系を介して網膜上に直接２次元画像を形成する技術を示している。
【０００５】
このような画像表示技術は、１つの光束を走査して画像を表示するために、２次元表示素子を用いた画像表示装置のように必要な解像度にあわせて複数の画素を形成した表示素子を用いる必要がなく、また原理的に画素欠陥というものが発生しないという特徴を有している。
【０００６】
このような走査手段を用いた画像表示装置を実現するにあたって、光走査手段として半導体プロセスにより製造された微小機械システム（Micro Electro Mechanical SYSTEM:以下MEMS技術という。）が知られている（例えば特許文献２、３）。ＭＥＭＳ技術で製造された光走査手段は、小型軽量でありかつ高速で動作可能なものであり、こうした特長が画像表示装置として適している。又頭部装着型の画像表示装置用の２次元走査手段のMEMS技術が知られている（例えば非特許文献１）。これらのMEMS技術による光走査手段は、光を反射する面をトーションバーなどで機械的に共振動作させ、その際に生じるねじれを利用して光を反射する面を傾斜させその反射面に入射する光を偏向し走査するものである。ねじれを利用するため、光を反射する面は回転ではなく揺動するものである。
【０００７】
これらの機械的な共振動作の基本的な周波数は、光走査手段の機械的寸法により決定され、静電気力、電磁力により共振駆動することにより光走査手段を駆動するものである。
【０００８】
先の特許文献１などでは、こうした共振型の光走査手段を第１の方向とし、さらに第１の方向とは異なる第２の方向に光を走査する光走査手段を配置して２次元走査を実現している。
【特許文献１】
米国特許第５４６７１０４号
【特許文献２】
特開平０７−１７５００５号公報
【特許文献３】
特開平０８−３３４７２３号公報
【非特許文献１】
SPIE Conference ＃ 4407,19(Jun2001)
Wafer scale packaging for a MEMS
video Scanner
【０００９】
【発明が解決しようとする課題】
デジタルカメラ等の画像撮像装置に用いる電子ビューファンダーシステムに走査手段を用いた画像表示装置を適用する場合、動体の被写体に対して実時間的に被写体を画像表示装置で表示し観察者に観察させることが要望される。したがって、高速に動く被写体に対しては、画像のフレームレートの速いものが必要となってくる。
【００１０】
先の特許文献１、２、３などでは、走査手段を用いて画像を表示する技術に関しては開示されているだけである。
【００１１】
本発明は、第１の方向と、それとは異なる第２の方向の双方で光走査が可能な光走査手段を用いて被走査面上を走査し、画像を表示し、該画像を観察するとき、第２の方向の繰り返し周期（フレーム周波数）の基本的な状態を、複数の状態に制御することによって、被写体によって画像表示のフレームレートを可変にし、常に良好なる画質の画像を所定面上に表示し、該所定面上の画像を観察することができる撮像装置の提供を目的とする。
【００１２】
【課題を解決するための手段】
請求項１の発明の撮像装置は、画像情報に基づいて変調された光束を出射する光源手段と、該光源手段からの光束を被走査面上に２次元的に走査する走査手段と、該被走査面上に形成される画像を観察するための光学系と、被写体を撮像する撮像素子とを有し、該撮像素子によって撮像された画像を前記被走査面上に表示する撮像装置において、前記走査手段は、前記光源手段からの光束を第１の方向と該第１の方向とは異なる第２の方向に走査し、前記第１の方向について機械的共振型の揺動によって走査しており、前記撮像素子により撮像された被写体の動きの大小に応じて前記第２の方向の走査周期を自動的に制御する走査手段制御回路を有することを特徴としている。
【００１８】
【発明の実施の形態】
（実施形態）
本発明にかかる各実施形態を各図を用いて説明する。
【００１９】
（実施形態１）
図１は、本発明の実施形態１の走査型の画像表示装置の構成概要の説明図である。図１において、光源手段１０１は、出射光束が光源駆動回路１３２からの信号により光変調した光束を出射している。光源手段１０１より発光した（光変調された）光束１１４は、順に複数の色光を１つの光束として合成する色合成光学系１０２、コンデンサーレンズやコリメーターレンズ等の集光光学系１０３、偏向ミラー１０７とカバーガラス１０６を介して２次元的な走査が可能な光走査手段１０４に向かう。光源手段１０１は、赤色光を出射する赤色光源１０１ｒ，緑色光を出射する緑色光源１０１ｇ、青色光を出射する青色光源１０１ｂを有している。色合成光学系１０２は、光源手段１０１から出射した複数の光束を、１つの光束に合成し出射するように構成されている。
【００２０】
光走査手段１０４に入射した光は、偏向点１０５を中心に偏向ミラー（反射ミラー）で反射偏向され、走査光学系１０８を介して、被走査面１０９上を２次元的に走査する。光源手段１０１と被走査面１０９は、集光光学系１０３と走査光学系１０８により実質的に共役の関係になっており、被走査面１０９上は、光源手段１０１の光源像で走査されるようになっている。被走査面１０９は透明な面又は拡散面となり、そこに像が形成される。
【００２１】
光束１１４ａ，１１４ｂ，１１４ｃは、光源手段１０１からの光束１１４が、光走査手段１０４により走査され走査光学系１０８に向かう３つの光束（走査光束）の例を示したものである。被走査面１０９上では走査光束１１４ａ、１１４ｂ、１１４ｃに対応した集光点１１４ａ’，１１４ｂ’，１１４ｃ’を示している。集光点１１４ａ’，１１４ｂ’，１１４ｃ’は被走査面１０９上で、図中にｙで示す方向（ｙ方向）（第２の方向）に、走査された例を示している。光走査手段１０４は、このｙ方向とそれとは垂直のｘで示す方向（ｘ方向）（第１の方向）にも走査することができる２次元走査が可能な構成より成っている。光走査手段１０４は、光走査手段制御回路１３３により駆動制御され、光走査手段制御回路１３３と光源駆動回路１３２は、表示部制御回路１３４等に電気的に接続され同期を取られて駆動制御され、所望のフレーム数の画像を被走査面１０９上に表示している。
【００２２】
光走査手段制御回路１３３は垂直方向の走査周期を制御する制御回路１３３Ｖによってｙ方向の繰り返し周期数を制御してフレーム周波数を変化させている。
１３３Ｈは水平方向の走査を行う制御回路である。
【００２３】
観察者は、アイポイント１１３に観察者の瞳を置くことで、接眼光学系１１０を介して、被走査面１０９上に形成された画像の虚像を残像効果を利用して観察している。図１においては、便宜上観察者は、ｘ方向を水平方向、ｙ方向を垂直方向として、被走査面１０９上の画像を観察することとする。
【００２４】
光走査手段１０４の概要を、図２を用いて説明する。図２は、光走査手段１０４の主要部構成と、被走査面１０９との相対的な位置関係を示したものである。光走査手段１０４は、基板１４０を有し、基板１４０は偏向点１０５に反射ミラー１４３が形成されている。反射ミラー１４３には水平方向（ｘ方向）に、揺動動作させるためのトーションバー１４２と、垂直方向（ｙ方向）に揺動動作させるためのトーションバー１４１とが設けられ、これらによりジンバル構造を形成している。水平方向（ｘ方向）に対しては、不図示のアクチュエータより反射ミラー１４３は駆動され、この構造のねじれの機械的共振作用で反射ミラー１４３の反射面の偏向角が変わり、光を走査する。垂直方向（ｙ方向）に対しては、水平方向（ｘ方向）と同期を取るように制御され、不図示のアクチュエータにより鋸歯波状又は３角波形に駆動される。図２において、線１１７は、揺動動作による走査線の往路を、線１１８は走査線の復路の例を示している。実際には、走査線の本数は、本図よりも多いがわかりやすくするため、間引いた形で示している。揺動動作するのに同期して、ｙ方向である図中矢印１４５方向に走査するように反射ミラー１４３を動作させ、かつ光源手段１０１を同期して出射する光束を光変調することで有効エリア１２１内で画像の表示を行う。垂直方向（ｙ方向）の走査端１４６にいくと、帰線１２０に示すように走査開始点１４７まで帰線する。つまり、垂直方向（ｙ方向）の繰り返し周期が、画像のフレームレート（フレーム周波数）を決定している。
【００２５】
表１は、画像表示の解像度およびその垂直方向（ｙ方向）の走査線の本数と、水平方向（ｘ方向）の機械的共振作用の共振周波数とから計算されるフレームレートを示したものである。
【００２６】
表中たとえば、ＳＶＧＡの解像力（８００ｘ６００）の場合、共振周波数２０，０００（２０ｋＨｚ）では、フレームレートが６６．６７Ｈｚと計算される。図２は、走査線を間引いた形で表記したが、往路の走査線１１７と復路の走査線１１８を合わせて、ＳＶＧＡの場合、画像を表示するエリア内に６００本あることになる。
【００２７】
本実施形態ではフレームレートは走査線の数を変えて行っている。即ちフレームレートと走査線の数とを掛け合わせた値が一定となるようにしている。
【００２８】
図３は、図１に示す走査型の画像表示装置を搭載した撮像装置（ビデオカメラ、やデジタルカメラ）の構成概略図である。図３において、表示部１４９は、図１に記載の走査型の画像表示装置を簡略化して示している。図中、図１で示した筒番と同部材には同筒番を付している、１４８は撮像部であり、撮像光学系１１５、撮像光学系１１５による像が形成される撮像素子（ＣＣＤ）１１６、撮像素子１１６を駆動制御する撮像素子駆動回路１３５を有している。表示部１４９と撮像部１４８は、カメラ装置（撮像装置）１５０に内包されており、機器制御回路１３６により駆動制御される。
【００２９】
不図示の観察者は、撮像部１４８により撮影された画像や撮像する機器制御回路１３６を介して表示部１４９の表示部駆動回路１３４に入力される、そして表示部１４９の被走査面１０９に走査表示された画像をアイポイント１１３に位置した観察者の目１１２により観察する。また、本撮像装置１５０には、観察者のインターフェース部１３７が接続されている。
【００３０】
図４は、撮像部１４８で撮像される被写体の例を示している。図中、１２２は視野枠、１２３は撮像されるエリアの例を示している。図４（ａ）は、植物等の動きの少ない被写体１２４、図４（ｂ）は、競争自動車等の動きの速い（大きい）被写体１２５の例を示している。被写体に応じて、撮像部１４８に設けるシャッターのシャッタースピード等のパラメータを変化させることは、一般的であるが、それと同時に、動きの少ない（小さい）被写体１２４の場合に、観察者が撮影される被写体を細部まで詳細に表示することが要求されたり、動きの速い被写体１２５の場合、できるだけリアルタイムに画像を表示することが要求たりすることが生じる。観察者は、インターフェース部１３７を介して、どのような被写体をとるのかというモードを選択できる。
【００３１】
動きの少ない被写体１２４の場合と動きの速い被写体１２５のような場合を、観察者がモードを選択した場合の表示部１４９の被走査面１０９上に表示される画像を図５に示す。図５でも、走査線の本数をわかりやすくするため間引いて表示している。
【００３２】
図５（ａ）は、動きの小さい被写体１２４の場合であって詳細な画像を観察できるように、走査線の本数を多く設定しフレーム数を少なくした場合である。図５（ｂ）は、動きの大きい被写体１２５の場合であって走査線の本数を減らして、その分フレームレートを多くした場合である。図５において図２で示した筒番と同要素には同筒番を付している。本実施例において走査手段制御回路１３３は撮像素子１２４により撮像された被写体の動きの大小に応じて第２の方向の走査周期を自動的に制御している。
【００３３】
表２に走査手段の共振作用の共振周波数が２０ｋＨｚで駆動することを基本にした場合を例として説明する。垂直方向の走査の基本となる周波数（フレームレート）を６６．６７Ｈｚと設定すると、走査線本数は、６００本となる。この走査線本数を、４００本とすると、周波数（フレームレート）８３．３３Ｈｚがえられ、フレームレートを向上することができる。
【００３４】
以上のように本実施形態では共振周波数は一定であるので共振周波数＝（走査線数）×（フレーム周波数）より走査線数とフレーム周波数との組合せを線々と変えている。
【００３５】
このように、本実施形態では走査線数を変えることで、フレームレート（フレーム周波数）を変えることが可能となっている。
【００３６】
本実施形態では、観察者がインターフェース部１３７を介して、被写体に応じて、撮像のモードを設定してそれに応じて、表示部１４９のフレームレートを変えるように構成したが、これに限定するものではなく撮像素子１１６上の被写体を自動的に認識させるなどして、それに応じて設定してもよいし、また、撮像のシャッタースピード条件などにより表示部１４９のフレームレートを変更しても同様の効果が得られる。例えば走査手段制御回路１３３によって撮像素子１１６によって撮像された被写体の動きの大小に応じて垂直方向の走査周期を自動的に制御するようにしても良い。
【００３７】
また、撮像している状態と、記録している画像を観察する状態において切り替えてもよい。
【００３８】
また本実施形態では、走査手段としてジンバル構造の２次元走査手段を用いた場合について説明したが、これに限定するものではなく、共振動作する走査手段とそれと垂直方向に走査する垂直走査手段により構成され、垂直走査手段の繰り返し周波数をかえることで、フレームレートを可変にすることができる走査手段であれば同様の効果が得られる。
【００３９】
また、本実施形態において走査線の本数をあげて高解像の画像を観察する場合でも、垂直方向のフレームレートは４０Ｈｚ以上が望ましい。
【００４０】
また、水平方向の共振周波数は、温度等により変化するため、それに応じて、垂直方向の周波数、あるいは、光源手段から出射される光の変調の同期を制御する必要が生じるが、被写体あるいは、観察者の意図に応じて走査線本数を制御してフレームレートを制御するものであれば、同様に適用可能である。
【００４１】
さらに、フレームレートの変更に伴って、被走査面上の光源像の大きさを変えるなどをしてもよい。このようにすると、走査線間の隙間を埋めることが可能となる。
【００４２】
（実施形態２）
図６は本発明の実施形態２の走査型の画像表示装置を用いたビデオカメラ等の撮像装置（カムコーダ）の要部概略図である。図６において、図３で示した筒番と同部材には、同筒番を付している。
【００４３】
本実施形態は、撮像部１４８で、動画像を通常は撮像し、不図示の記録部に記録するように構成されている。実施形態１と同様に、観察者が操作できるインターフェース部１３７が機器制御回路１３６に接続されている。本実施形態のカムコーダは、動画像以外にも静止画像を不図示の記録部に記録できるように構成されており、観察者がその設定をインターフェース部１３７を介して行えるようになっている。１１５はズームレンズ等の撮影系である。
【００４４】
動画像を撮像する場合と静止画を撮像する場合、撮像部１４８内の撮像素子１３５により撮像を行うが、静止画の場合により高解像の画像が得られるように撮像素子の有効画素数が多くなっている。
【００４５】
撮影した静止画を表示する場合には、表示画像に高い解像力が要求されるため、走査線数を多くして解像力の高い画像の表示を行いこのときフレーム周波数を下げる。又このとき表示する手法は、実施形態１と同様である。また、動画像の撮影時には、記録するフレームレートを高くし、その分走査線の数を少なくした画像になるように走査線本数を制御する。
【００４６】
これにより、観察者に対して、使用環境に最適な画像を提供できる。
【００４７】
以上のように、本実施形態によれば、観察者に対して最適な画質の画像を表示できる撮像装置を提供することができる。又撮像環境に適した画像を表示できる撮像装置を提供することができる。
【００４８】
【表１】
【表２】
【発明の効果】
本発明によれば被写体によって画像表示のフレームレートを可変にし、常に良好なる画質の画像を所定面上に表示し、該所定面上の画像を観察することができる撮像装置を達成することができる。
【図面の簡単な説明】
【図１】本発明の撮像装置に用いられる画像表示装置の実施形態１の構成概要図
【図２】図１の走査手段の要部説明図
【図３】本発明の撮像装置の実施形態１の構成概要図
【図４】被写体の説明図
【図５】本発明に係る走査手段の走査線の説明図
【図６】本発明の撮像装置の実施形態２の構成概要図
【符号の説明】
１０１ 光源手段
１０２ 色合成手段
１０３ 集光光学系
１０４ 光走査手段
１０５ 偏向点
１０６ カバーガラス
１０７ 偏向ミラー
１０８ 走査光学系
１０９ 被走査面
１１０ 接眼光学系
１１２ 観察者の目
１１３ 瞳
１１４ 走査光束
１１５ 撮像光学系
１１６ 撮像素子
１１７ １１８ 走査線
１２０ 帰線
１２１ 有効エリア
１３２ 光源駆動回路
１３３ 走査手段制御回路
１３４ 表示手段部制御回路
１３５ 撮像素子駆動回路
１３６ 機器駆動回路
１３７ インターフェース部
Claims (1)
- 画像情報に基づいて変調された光束を出射する光源手段と、該光源手段からの光束を被走査面上に２次元的に走査する走査手段と、該被走査面上に形成される画像を観察するための光学系と、被写体を撮像する撮像素子とを有し、該撮像素子によって撮像された画像を前記被走査面上に表示する撮像装置において、前記走査手段は、前記光源手段からの光束を第１の方向と該第１の方向とは異なる第２の方向に走査し、前記第１の方向について機械的共振型の揺動によって走査しており、前記撮像素子により撮像された被写体の動きの大小に応じて前記第２の方向の走査周期を自動的に制御する走査手段制御回路を有することを特徴とする撮像装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003209601A JP4551636B2 (ja) | 2003-08-29 | 2003-08-29 | 撮像装置 |
| US10/928,536 US7508553B2 (en) | 2003-08-29 | 2004-08-26 | Image displaying apparatus and image pickup apparatus having the same |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003209601A JP4551636B2 (ja) | 2003-08-29 | 2003-08-29 | 撮像装置 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2005077432A JP2005077432A (ja) | 2005-03-24 |
| JP2005077432A5 JP2005077432A5 (ja) | 2006-10-12 |
| JP4551636B2 true JP4551636B2 (ja) | 2010-09-29 |
Family
ID=34209036
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003209601A Expired - Fee Related JP4551636B2 (ja) | 2003-08-29 | 2003-08-29 | 撮像装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US7508553B2 (ja) |
| JP (1) | JP4551636B2 (ja) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7215492B2 (en) | 2005-03-17 | 2007-05-08 | Konica Minolta Opto, Inc. | Image pickup lens, image pickup apparatus, and mobile terminal provided with image pickup apparatus |
| JP4731986B2 (ja) * | 2005-05-12 | 2011-07-27 | キヤノン株式会社 | 画像表示装置及びそれを有する撮像装置 |
| JP5389576B2 (ja) * | 2008-09-10 | 2014-01-15 | パナソニック株式会社 | 撮像装置 |
| DE102012201481A1 (de) * | 2012-02-02 | 2013-08-08 | Robert Bosch Gmbh | Vorrichtung zum Projizieren eines Bildes, tragbares Mobilgerät mit einer entsprechenden Vorrichtung und Verfahren zum Projizieren eines Bildes |
| US10417975B2 (en) * | 2017-04-03 | 2019-09-17 | Microsoft Technology Licensing, Llc | Wide field of view scanning display |
| EP3869783A4 (en) * | 2018-10-19 | 2022-03-09 | Sony Group Corporation | SENSOR DEVICE AND SIGNAL PROCESSING METHOD |
| JP6705534B2 (ja) | 2018-10-19 | 2020-06-03 | ソニー株式会社 | センサ装置、信号処理方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0451008A (ja) * | 1990-06-18 | 1992-02-19 | Seiko Epson Corp | 画像表示装置 |
| JPH05137716A (ja) * | 1991-11-18 | 1993-06-01 | Aloka Co Ltd | 超音波診断装置 |
| JPH06217981A (ja) * | 1993-01-29 | 1994-08-09 | Toshiba Corp | 超音波診断装置 |
| JPH07178053A (ja) * | 1993-12-21 | 1995-07-18 | Canon Inc | 光走査眼科装置 |
| JPH08502372A (ja) * | 1992-10-22 | 1996-03-12 | ボード オブ リージェンツ オブ ザ ユニバーシティ オブ ワシントン | 仮想網膜表示装置 |
| JP2002196260A (ja) * | 2000-12-26 | 2002-07-12 | Canon Inc | 観察光学系および光学機器 |
| JP2003036056A (ja) * | 2001-07-23 | 2003-02-07 | Hitachi Ltd | 液晶表示装置 |
Family Cites Families (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2175705B (en) * | 1985-05-24 | 1989-04-19 | Stc Plc | Dirigible reflector and mounting made of crystal material |
| US5765010A (en) * | 1989-10-13 | 1998-06-09 | Texas Instruments Incorporated | Timing and control circuit and method for a synchronous vector processor |
| GB2247756A (en) * | 1990-09-08 | 1992-03-11 | British Aerospace | Helmut-moulded display |
| JP2722314B2 (ja) | 1993-12-20 | 1998-03-04 | 日本信号株式会社 | プレーナー型ガルバノミラー及びその製造方法 |
| JP3496207B2 (ja) * | 1994-06-22 | 2004-02-09 | ソニー株式会社 | ビデオカメラ |
| JPH08334723A (ja) | 1995-06-06 | 1996-12-17 | Olympus Optical Co Ltd | 光偏向素子 |
| US5914801A (en) * | 1996-09-27 | 1999-06-22 | Mcnc | Microelectromechanical devices including rotating plates and related methods |
| JP3554172B2 (ja) * | 1998-01-09 | 2004-08-18 | キヤノン株式会社 | 放射線撮影装置 |
| US6428155B1 (en) * | 1999-05-25 | 2002-08-06 | Silverbrook Research Pty Ltd | Printer cartridge including machine readable ink |
| US6661393B2 (en) * | 1999-08-05 | 2003-12-09 | Microvision, Inc. | Scanned display with variation compensation |
| US6245590B1 (en) * | 1999-08-05 | 2001-06-12 | Microvision Inc. | Frequency tunable resonant scanner and method of making |
| JP2001238134A (ja) * | 2000-02-23 | 2001-08-31 | Sony Corp | 固体撮像素子およびその駆動方法並びにカメラシステム |
| JP2003050569A (ja) * | 2000-11-30 | 2003-02-21 | Hitachi Ltd | 液晶表示装置 |
| US7180556B2 (en) * | 2001-05-15 | 2007-02-20 | Microvision, Inc. | System and method for capturing, transmitting, and displaying an image |
| JP4139866B2 (ja) * | 2002-01-16 | 2008-08-27 | 株式会社リコー | 光走査装置および表示装置 |
| JP2004128587A (ja) * | 2002-09-30 | 2004-04-22 | Minolta Co Ltd | デジタルカメラ |
| US6867753B2 (en) * | 2002-10-28 | 2005-03-15 | University Of Washington | Virtual image registration in augmented display field |
| US6856445B2 (en) * | 2003-06-24 | 2005-02-15 | Microsoft Corporation | Rastering arrays of MEMS optical display systems |
-
2003
- 2003-08-29 JP JP2003209601A patent/JP4551636B2/ja not_active Expired - Fee Related
-
2004
- 2004-08-26 US US10/928,536 patent/US7508553B2/en not_active Expired - Fee Related
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0451008A (ja) * | 1990-06-18 | 1992-02-19 | Seiko Epson Corp | 画像表示装置 |
| JPH05137716A (ja) * | 1991-11-18 | 1993-06-01 | Aloka Co Ltd | 超音波診断装置 |
| JPH08502372A (ja) * | 1992-10-22 | 1996-03-12 | ボード オブ リージェンツ オブ ザ ユニバーシティ オブ ワシントン | 仮想網膜表示装置 |
| JPH06217981A (ja) * | 1993-01-29 | 1994-08-09 | Toshiba Corp | 超音波診断装置 |
| JPH07178053A (ja) * | 1993-12-21 | 1995-07-18 | Canon Inc | 光走査眼科装置 |
| JP2002196260A (ja) * | 2000-12-26 | 2002-07-12 | Canon Inc | 観察光学系および光学機器 |
| JP2003036056A (ja) * | 2001-07-23 | 2003-02-07 | Hitachi Ltd | 液晶表示装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20050046909A1 (en) | 2005-03-03 |
| US7508553B2 (en) | 2009-03-24 |
| JP2005077432A (ja) | 2005-03-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6046720A (en) | Point source scanning apparatus and method | |
| JP2006235274A (ja) | 走査型画像表示装置 | |
| JP2012533769A (ja) | 走査振幅を変化させることによる走査型プロジェクタの歪みの補正 | |
| US7609229B2 (en) | Image displaying apparatus | |
| US6639719B2 (en) | System and method for using multiple beams to respectively scan multiple regions of an image | |
| EP1736811A1 (en) | Scanning display | |
| JP4497861B2 (ja) | 画像表示装置及びそれを有する撮像装置 | |
| US7453613B2 (en) | Scanning type image forming apparatus having the same containing scanning mirror in a space sealed by first and second optical members and the housing, the second optical member includes five surfaces | |
| JP4551636B2 (ja) | 撮像装置 | |
| US7361878B2 (en) | Image display apparatus and image pickup apparatus with two dimensional scanning | |
| JP2000105348A (ja) | 画像観察装置 | |
| JP2006350257A (ja) | 走査型表示装置 | |
| JP2012255883A (ja) | 映像投影システム | |
| JP2011070093A (ja) | ヘッドマウントディスプレイ | |
| JP2000275534A (ja) | 共焦点顕微鏡 | |
| JPH1184306A (ja) | 映像観察装置 | |
| JP4298457B2 (ja) | 走査型画像表示装置およびそれを有する映像撮影装置 | |
| JP4817637B2 (ja) | 画像表示装置及びそれを有する撮像装置 | |
| CN114488539A (zh) | 一种扫描显示模组及近眼显示设备 | |
| JP2006259078A (ja) | 一眼レフカメラのファインダー内表示装置 | |
| JP2010107529A (ja) | ファインダ装置および光学装置 | |
| JP2006235488A (ja) | 走査型画像観察装置 | |
| JP2007121581A (ja) | 走査型画像表示装置、撮像装置および画像表示システム | |
| JP2007121802A (ja) | 画像表示装置及び画像表示方法 | |
| EP1655629A2 (en) | Point source scanning apparatus and method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060828 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060830 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100105 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100305 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100420 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100617 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100706 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100712 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130716 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |