JP4733068B2 - 撮影装置および方法並びにプログラム - Google Patents
撮影装置および方法並びにプログラム Download PDFInfo
- Publication number
- JP4733068B2 JP4733068B2 JP2007131248A JP2007131248A JP4733068B2 JP 4733068 B2 JP4733068 B2 JP 4733068B2 JP 2007131248 A JP2007131248 A JP 2007131248A JP 2007131248 A JP2007131248 A JP 2007131248A JP 4733068 B2 JP4733068 B2 JP 4733068B2
- Authority
- JP
- Japan
- Prior art keywords
- shooting
- moving image
- camera shake
- amount
- image file
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
- H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
- H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
- H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
- H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
- H04N9/8047—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction using transform coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
- H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
Description
本発明は、撮影により動画像の画像ファイルを生成する撮影装置および方法並びに撮影方法をコンピュータに実行させるためのプログラムに関するものである。
デジタルカメラにおいては、静止画像のみならず動画像を撮影することができるが、記録メディアの大容量化により、より気軽に動画像を撮影することが可能となってきている。
一方、撮影時に手ぶれを生じると、再生時の画像が非常に見にくくなる。このため、手ぶれを検出して、動画像の記録および停止を制御するようにしたデジタルカメラが提案されている(特許文献1参照)。また、撮影中に生じた、ズームやパン等のデジタルカメラの操作を検出して動画像の画像ファイルにその情報を付与しておき、撮影後にその情報を用いて画像ファイルを複数に分割する手法も提案されている(特許文献2参照)。
特開2005−348178号公報
特開2004−56397号公報
しかしながら、動画像を連続して記録すると、動画像のファイル容量が非常に大きくなるため、画像ファイルのコピーや移動に長時間を要するものとなる。また、画像ファイルを誤って消去してしまうと、動画像のすべてが消去されてしまうことになるため、その被害が大きい。このため、上記特許文献1に記載されたように手ぶれを検出して動画像の記録および停止を制御することにより、1つの動画像を複数の画像ファイルに分割して記録することができる。また、特許文献2に記載されたように、長時間の動画像であっても短時間の動画像を再生可能な画像ファイルに分割することも可能である。
しかしながら、手ぶれを検出する毎に動画像の記録および停止を繰り返した場合、手ぶれの頻度が高いと動画像が細切れとなってしまうため、動画像が非常に見にくいものとなる。また、特許文献2に記載された手法では、ズームやパン等の操作を行わないと、画像ファイルを分割することができない。
本発明は上記事情に鑑みなされたものであり、動画像を細切れにすることなく、適切に画像ファイルを分割できるようにすることを目的とする。
本発明による第1の撮影装置は、撮影により動画像を取得して該動画像の画像ファイルを生成する撮影手段と、
撮影時における手ぶれ量を検出する手ぶれ検出手段と、
前記動画像の撮影開始の指示を受け付け、該動画像の撮影時間が、あらかじめ設定された1つの画像ファイルを生成する連続撮影時間よりも短い所定時間となった以降に前記手ぶれ量を検出し、該手ぶれ量が所定量以上となったか否かを判定し、該手ぶれ量が所定量以上となると、前記動画像の撮影を停止してそれまでの時間の動画像を再生可能な画像ファイルの生成を終了するよう、前記撮影手段および前記手ぶれ検出手段を制御する撮影制御手段とを備えたことを特徴とするものである。
撮影時における手ぶれ量を検出する手ぶれ検出手段と、
前記動画像の撮影開始の指示を受け付け、該動画像の撮影時間が、あらかじめ設定された1つの画像ファイルを生成する連続撮影時間よりも短い所定時間となった以降に前記手ぶれ量を検出し、該手ぶれ量が所定量以上となったか否かを判定し、該手ぶれ量が所定量以上となると、前記動画像の撮影を停止してそれまでの時間の動画像を再生可能な画像ファイルの生成を終了するよう、前記撮影手段および前記手ぶれ検出手段を制御する撮影制御手段とを備えたことを特徴とするものである。
ここで、所定時間を超えた場合において手ぶれ量が所定量以上とならなかった場合には、連続撮影時間となったときに撮影が停止されて画像ファイルの生成が終了されることとなる。
なお、本発明による第1の撮影装置においては、前記撮影制御手段を、前記画像ファイルの生成の終了に続いて前記動画像の撮影を再開して新たな画像ファイルの生成を開始し、前記動画像の撮影の終了指示を受け付けるまで、前記新たな画像ファイルの生成を繰り返すよう、前記撮影手段および前記手ぶれ検出手段を制御する手段としてもよい。
本発明による第2の撮影装置は、撮影により動画像を取得して該動画像の画像ファイルを生成する撮影手段と、
撮影時における手ぶれ量を検出する手ぶれ検出手段と、
前記動画像の撮影開始の指示を受け付け、該動画像の撮影時間が、あらかじめ設定された1つの画像ファイルを生成する連続撮影時間よりも短い所定時間となった以降に前記手ぶれ量を検出し、該手ぶれ量が所定量以上となったか否かを判定し、該手ぶれ量が所定量以上となると、前記連続撮影時間の撮影が終了するまで、それまでよりも容量が小さくなるように前記画像ファイルを生成し、前記連続撮影時間となると前記動画像の撮影を停止して前記画像ファイルの生成を終了するよう、前記撮影手段および前記手ぶれ検出手段を制御する撮影制御手段とを備えたことを特徴とするものである。
撮影時における手ぶれ量を検出する手ぶれ検出手段と、
前記動画像の撮影開始の指示を受け付け、該動画像の撮影時間が、あらかじめ設定された1つの画像ファイルを生成する連続撮影時間よりも短い所定時間となった以降に前記手ぶれ量を検出し、該手ぶれ量が所定量以上となったか否かを判定し、該手ぶれ量が所定量以上となると、前記連続撮影時間の撮影が終了するまで、それまでよりも容量が小さくなるように前記画像ファイルを生成し、前記連続撮影時間となると前記動画像の撮影を停止して前記画像ファイルの生成を終了するよう、前記撮影手段および前記手ぶれ検出手段を制御する撮影制御手段とを備えたことを特徴とするものである。
ここで、所定時間を超えた場合において手ぶれ量が所定量以上とならなかった場合には、動画像の容量を小さくすることなく連続撮影時間となるまで撮影が行われることとなる。
ここで、画像ファイルの容量を小さくするためには、動画像のフレームレートを小さくする、圧縮率を高くするおよび通常撮影時よりも画像処理の程度を低くする等、公知の任意の手法を用いることができる。
なお、本発明による第2の撮影装置においては、前記撮影制御手段を、前記画像ファイルの生成の終了に続いて前記動画像の撮影を再開して新たな画像ファイルの生成を開始し、前記動画像の撮影の終了指示を受け付けるまで、前記新たな画像ファイルの生成を繰り返すよう、前記撮影手段および前記手ぶれ検出手段を制御する手段としてもよい。
また、本発明による第2の撮影装置においては、前記撮影制御手段を、前記手ぶれ量が大きいほど前記容量が小さくなるように前記画像ファイルを生成するよう、前記撮影手段を制御する手段としてもよい。
本発明による第1の撮影方法は、撮影により動画像を取得して該動画像の画像ファイルを生成する撮影手段を備えた撮影装置における撮影方法において、
前記動画像の撮影開始の指示を受け付け、
該動画像の撮影時間が、あらかじめ設定された1つの画像ファイルを生成する連続撮影時間よりも短い所定時間となった以降に前記手ぶれ量を検出し、
該手ぶれ量が所定量以上となったか否かを判定し、
該手ぶれ量が所定量以上となると、前記動画像の撮影を停止してそれまでの時間の動画像を再生可能な画像ファイルの生成を終了することを特徴とするものである。
前記動画像の撮影開始の指示を受け付け、
該動画像の撮影時間が、あらかじめ設定された1つの画像ファイルを生成する連続撮影時間よりも短い所定時間となった以降に前記手ぶれ量を検出し、
該手ぶれ量が所定量以上となったか否かを判定し、
該手ぶれ量が所定量以上となると、前記動画像の撮影を停止してそれまでの時間の動画像を再生可能な画像ファイルの生成を終了することを特徴とするものである。
本発明による第2の撮影方法は、撮影により動画像を取得して該動画像の画像ファイルを生成する撮影手段を備えた撮影装置における撮影方法において、
前記動画像の撮影開始の指示を受け付け、
該動画像の撮影時間が、あらかじめ設定された1つの画像ファイルを生成する連続撮影時間よりも短い所定時間となった以降に前記手ぶれ量を検出し、
該手ぶれ量が所定量以上となったか否かを判定し、
該手ぶれ量が所定量以上となると、前記連続撮影時間の撮影が終了するまで、それまでよりも容量が小さくなるように前記画像ファイルを生成し、
前記連続撮影時間となると前記動画像の撮影を停止して前記画像ファイルの生成を終了することを特徴とするものである。
前記動画像の撮影開始の指示を受け付け、
該動画像の撮影時間が、あらかじめ設定された1つの画像ファイルを生成する連続撮影時間よりも短い所定時間となった以降に前記手ぶれ量を検出し、
該手ぶれ量が所定量以上となったか否かを判定し、
該手ぶれ量が所定量以上となると、前記連続撮影時間の撮影が終了するまで、それまでよりも容量が小さくなるように前記画像ファイルを生成し、
前記連続撮影時間となると前記動画像の撮影を停止して前記画像ファイルの生成を終了することを特徴とするものである。
なお、本発明による第1および第2の撮影方法をコンピュータに実行させるためのプログラムとして提供してもよい。
本発明の第1の撮影装置および方法によれば、動画像の撮影開始の指示が受け付けられ、動画像の撮影時間が、あらかじめ設定された1つの画像ファイルを生成する連続撮影時間よりも短い所定時間となった以降に手ぶれ量が検出され、手ぶれ量が所定量以上となったか否かが判定される。そして、手ぶれ量が所定量以上となると、動画像の撮影が停止されてそれまでの時間の動画像を再生可能な画像ファイルの生成が終了される。このため、所定時間となった以降においては手ぶれ量が大きく、有用性の低い動画像が記録されることがなくなるため、手ぶれをしながらも連続撮影時間まで撮影を行うことにより生成した画像ファイルよりも容量を小さくすることができ、その結果、画像ファイルを記録する記録媒体を無駄に使用することがなくなる。また、少なくとも所定時間までは連続して撮影がなされることから、動画像をそれほど細切れにすることなく、撮影をしながら動画像を複数の画像ファイルに分割することができる。
本発明の第2の撮影装置および方法によれば、動画像の撮影開始の指示を受け付けられ、動画像の撮影時間が、あらかじめ設定された1つの画像ファイルを生成する連続撮影時間よりも短い所定時間となった以降に手ぶれ量が検出され、手ぶれ量が所定量以上となったか否かが判定される。そして、手ぶれ量が所定量以上となると、連続撮影時間の撮影が終了するまで、それまでよりも容量が小さくなるように画像ファイルが生成され、連続撮影時間となると動画像の撮影が停止されて画像ファイルの生成が終了される。このため、所定時間となった以降においては、手ぶれ量が大きく有用性の低い動画像の容量が小さくなるため、連続撮影時間まで撮影を行うことにより生成した画像ファイルよりも容量を小さくすることができ、その結果、画像ファイルを記録する記録媒体を無駄に使用することがなくなる。また、連続撮影時間までは連続して撮影がなされることから、動画像をそれほど細切れにすることなく、撮影をしながら動画像を複数の画像ファイルに分割することができる。
また、手ぶれ量が大きいほど容量が小さくなるように画像ファイルを生成することにより、より効率よく画像ファイルの容量を小さくすることができる。
以下、図面を参照して本発明の実施形態について説明する。図1は本発明の第1の実施形態による撮影装置を適用したデジタルカメラの内部構成を示す概略ブロック図である。図1に示すように第1の実施形態によるデジタルカメラ1は、レリーズボタンおよびモードダイヤル等を含む操作系2を有する。
撮像系10としては、フォーカスレンズおよびズームレンズからなる撮影レンズ12を有する。撮影レンズ12を構成するフォーカスレンズおよびズームレンズは、レンズ駆動部13によって光軸方向に移動可能である。
また、絞り14は絞り駆動部15によって駆動される。絞り駆動部15は、AE/AWB処理部31から出力される絞り値データに基づいて絞り径の調整を行う。
シャッタ16はメカニカルシャッタであり、シャッタ駆動部17によって駆動される。シャッタ駆動部17は、レリーズボタンの押下により発生する信号と、AE/AWB処理部31から出力されるシャッタスピードデータとに応じて、シャッタ16の開閉の制御を行う。
シャッタ16の後方には撮像素子であるCCD18を有している。CCD18は、多数の受光素子を2次元的に配列した光電面を有しており、撮影レンズ12等の光学系を通過した被写体光がこの光電面に結像し、光電変換される。光電面の前方には、各画素に光を集光するためのマイクロレンズアレイと、R,G,B各色のフィルタが規則的に配列されたカラーフィルタアレイとが配置されている。CCD18は、CCD制御部19から供給される垂直転送クロックおよび水平転送クロックに同期して、画素毎に蓄積された電荷を1ラインずつシリアルなアナログ撮影信号として出力する。各画素において電荷を蓄積する時間、すなわち、露光時間は、CCD制御部19から与えられる電子シャッタ駆動信号によって決定される。また、CCD18はCCD制御部19により、あらかじめ定められた大きさのアナログ撮像信号が得られるようにゲインが調整されている。
CCD18から取り込まれたアナログ撮影信号は、アナログ信号処理部20に入力される。アナログ信号処理部20は、アナログ信号のノイズを除去する相関2重サンプリング回路(CDS)と、アナログ信号のゲインを調節するオートゲインコントローラ(AGC)と、アナログ信号をデジタル信号に変換するA/Dコンバータ(ADC)とからなる。なお、アナログ信号処理部20が行う処理をアナログ信号処理とする。このデジタル信号に変換された画像データは、画素毎にR,G,Bの濃度値を持つCCD−RAWデータである。
タイミングジェネレータ21は、タイミング信号を発生させるものであり、このタイミング信号をシャッタ駆動部17、CCD制御部19、およびアナログ信号処理部20に供給することにより、レリーズボタンの操作、シャッタ16の開閉、CCD18の電荷の取込み、およびアナログ信号処理部20の処理の同期をとっている。
また、デジタルカメラ1は撮影時において必要なときに発光されるフラッシュ24を有する。
画像入力コントローラ25は、アナログ信号処理部20から入力されたCCD−RAWデータをフレームメモリ26に書き込む。
フレームメモリ26は、画像データに対して後述の各種画像処理(信号処理)を行う際に使用する作業用メモリであり、例えば、一定周期のバスクロック信号に同期してデータ転送を行うSDRAM(Synchronous Dynamic Random Access Memory)が使用される。
表示制御部27は、フレームメモリ26に格納された画像データをスルー画像としてモニタ28に表示させたり、再生モード時に記録メディア35に保存されている静止画像および動画像をモニタ28に表示させたりするためのものである。
AF処理部30およびAE/AWB処理部31は、プレ画像に基づいて撮影条件を決定する。このプレ画像とは、レリーズボタンが半押しされることによって発生する半押し信号を検出したCPU40がCCD18にプレ撮影を実行させた結果、フレームメモリ26に格納された画像データにより表される画像である。
AF処理部30は、プレ画像に基づいて焦点位置を検出し、フォーカス駆動量データを出力する(AF処理)。焦点位置の検出方式としては、例えば、所望とする被写体にピントが合った状態では画像のコントラストが高くなるという特徴を利用して合焦位置を検出するパッシブ方式が考えられる。
AE/AWB処理部31は、プレ画像に基づいて被写体輝度を測定し、測定した被写体輝度に基づいて、撮影した画像が所望とする明るさとなるように、ISO感度、絞り値およびシャッタスピード等を決定し、ISO感度データ、絞り値データおよびシャッタスピードデータを露出設定値として決定するとともに(AE処理)、撮影時のホワイトバランスを自動調整する(AWB処理)。
画像処理部32は、本画像の画像データに対して、階調補正、シャープネス補正、色補正等の画質補正処理、およびCCD−RAWデータを輝度信号であるYデータと、青色色差信号であるCbデータおよび赤色色差信号であるCrデータとからなるYCデータに変換するYC処理を行う。この本画像とは、レリーズボタンが全押しされることによって実行される本撮影によりCCD18から取り込まれ、アナログ信号処理部20、画像入力コントローラ25経由でフレームメモリ26に格納された画像データによる画像である。また、画像処理部32は、動画像の画像データに対しても必要な処理を行う。
圧縮/伸長処理部33は、画像処理部32によって処理が行われた本画像の画像データに対して、例えば、JPEG等の圧縮形式で圧縮処理を行い、画像ファイルを生成する。この画像ファイルには、Exifフォーマット等に基づいて、撮影日時等の付帯情報が格納されたタグが付加される。なお、動画像撮影モードにおける撮影時には、圧縮/伸長処理部33は、動画像の画像データをモーションJPEG、MPEG1,2,4およびH.264等の圧縮方式にて圧縮し、動画像の画像ファイルを生成する。
メディア制御部34は、記録メディア35にアクセスして画像ファイルの書き込みと読み込みの制御を行う。
内部メモリ36は、デジタルカメラ1において設定される各種定数、およびCPU40が実行するプログラム等を記憶する。
手ぶれ検出部37は、撮影時における手ぶれ量を検出する。具体的には、動画像の連続する2つのフレーム間の移動ベクトルを算出し、移動ベクトルから動画像の水平方向および垂直方向のそれぞれについての手ぶれ幅に対応する画素数を算出し、算出した水平方向および垂直方向の画素数のうち、小さい方の画素数、大きい方の画素数または平均値を手ぶれ量として検出する。なお、手ぶれ検出部37としては、振動ジャイロ等のメカニカルなセンサ、および加速度を検出する加速度検出センサを用いることもできる。
CPU40は、操作系2およびAF処理部30等の各種処理部からの信号に応じてデジタルカメラ1の本体各部を制御する。また、デジタルカメラ1の動作モードが動画撮影モードである場合に、ユーザによる動画像を撮影する際の連続撮影時間の設定、後述する手ぶれ量検出開始時間の設定、および手ぶれ量のしきい値Th1の設定を操作系2から受け付ける。なお、設定結果は内部メモリ36に記憶される。ここで手ぶれ量検出開始時間は、連続撮影時間の終了前の所望とする時間に設定される。例えば、連続撮影時間を60分に設定した場合、手ぶれ検出開始時間は55分に設定される。
また、手ぶれ量のしきい値Th1としては、手ぶれ幅に対応する最大の画素数を、例えば10画素のように設定する。なお、連続撮影時間、手ぶれ量検出開始時間、およびしきい値Th1は、ユーザに設定させてもよいが、あらかじめ出荷時にデフォルトで設定した値を内部メモリ36に記憶しておいてもよい。
そして、CPU40は、ユーザにより動画像の撮影開始の指示がなされると、動画像の撮影時間が設定された連続撮影時間よりも短い手ぶれ量検出開始時間となったか否かを判定し、手ぶれ量検出開始時間以降に手ぶれ量がしきい値Th1以上となると、撮影を停止してそれまで撮影を行うことにより取得した動画像の画像ファイルをクローズして、それまでの時間の動画像を再生可能な画像ファイルの生成を終了し、続いて動画像の撮影を再開して新たな画像ファイルをオープンして新たな画像ファイルの生成を開始し、ユーザにより動画像の撮影の終了指示がなされるまで、上記判定、画像ファイルのクローズおよび新たな画像ファイルのオープンを繰り返すよう、撮像系10および手ぶれ検出部37を含むデジタルカメラ1の各部を制御する。
データバス41は、各種処理部、フレームメモリ26およびCPU40等に接続されており、画像データおよび各種指示等のやり取りを行う。
次いで、第1の実施形態において行われる処理について説明する。図2は第1の実施形において行われる処理を示すフローチャートである。デジタルカメラ1の動作モードが撮影モードに設定されることによりCPU40が処理を開始し、ユーザが操作系2を操作することによる連続撮影時間、手ぶれ量検出開始時間およびしきい値Th1の設定を受け付ける(設定受け付け:ステップST1)。なお、設定の受け付けは、あらかじめ行われていれば省略してもよい。
次いで、CPU40は撮影モードが動画撮影モードであるか否かを判定し(ステップST2)、ステップST2が肯定されると、直ちに動画像の撮影を行うことができるように動画像の撮影準備を行う(ステップST3)。なお、ステップST2が否定されると、静止画像の撮影処理を行う(ステップST4)。静止画像の撮影処理については後述する。そして、撮影時間をリセットし(ステップST5)。ユーザがレリーズボタンを押下することにより撮影開始の指示がなされたか否かの監視を開始する(ステップST6)。ステップST6が肯定されると、動画像の撮影、記録および撮影時間のカウントを開始する(ステップST7)。
そして、撮影時間が連続撮影時間となったか否かを判定し(ステップST8)、ステップST8が否定されると、さらに手ぶれ量検出開始時間となったか否かを判定する(ステップST9)。ステップST9が肯定されると、手ぶれ検出部37が手ぶれ量を検出し(ステップST10)、CPU40が手ぶれ量がしきい値Th1以上となった否かを判定する(ステップST11)。なお、ステップST9が否定されると、後述するステップST14に進む。
ステップST11が肯定されると、動画像の撮影を停止して動画像の画像ファイルをクローズし(ステップST12)、続いて撮影を再開して新たな画像ファイルをオープンする(ステップST13)。すなわち、撮影開始から手ぶれ量がしきい値Th1以上となったときまでの動画像を表す画像ファイルの生成を終了し、これに続いて動画像の新たな画像ファイルの生成を開始する。
そして、ユーザがレリーズボタンを押下することにより撮影終了の指示がなされたか否かを判定し(ステップST14)、ステップST14が肯定されると、撮影を停止して動画像の画像ファイルをクローズし(ステップST15)、処理を終了する。ステップST14が否定されるとステップST8に戻ってステップST8以降の処理を繰り返す。
一方、ステップST8が肯定されると、ステップST12に進んで撮影を停止して連続撮影時間未満の動画像を再生可能なように画像ファイルをクローズし、ステップST13において撮影を再開して新たな画像ファイルをオープンする。すなわち、撮影を停止して連続撮影時間未満の再生時間を有する動画像を表す画像ファイルの生成を終了し、これに続いて撮影を再開して新たな画像ファイルの生成を開始する。
なお、連続撮影時間未満の再生時間としては、例えば、連続撮影時間が例えば60分に設定されていたとするとそれよりも1秒短い59分59秒とすればよい。なお、連続撮影時間よりも短くするための時間は1秒に限定されるものではない。また、フレームレートが30fpsであった場合、59分59秒29フレームまでの時間としてもよい。この場合も、連続撮影時間よりも短くするためのフレーム数は1フレームに限定されるものではない。
図3は静止画像撮影処理のフローチャートである。まず、CPU40は静止画像の撮影準備を行い(ステップST21)、ユーザがレリーズボタンを押下することにより撮影を行ったか否かの監視を開始する(ステップST22)。ステップST22が肯定されると、静止画像の撮影および記録メディア35への記録を行い(ステップST23)、電源オフまたは動作モードの切替等により静止画像の撮影終了の指示がなされたか否かを判定する(ステップST24)。ステップST24が否定されるとステップST22に戻る。ステップST24が肯定されると処理を終了する。
このように、第1の実施形態においては、記録メディア35に記録される画像ファイルによる動画像の撮影時間が設定された連続撮影時間よりも短い手ぶれ量検出開始時間となった以降に手ぶれ量がしきい値Th1以上となると、撮影を停止してそれまでの時間の動画像を再生可能な画像ファイルの生成を終了するとともに、撮影を再開して新たな画像ファイルの生成を開始し、動画像の撮影終了の指示がなされるまで新たな画像ファイルの生成を繰り返すようにしたものである。
このため、少なくとも手ぶれ量検出開始時間までは連続して撮影がなされることから、動画像を細切れにすることなく、撮影をしながら動画像を複数の画像ファイルに分割することができる。また、手ぶれ量検出開始時間となった以降においては手ぶれ量が大きく有用性の低い画像が記録されることがなくなるため、手ぶれをしながらも連続撮影時間まで撮影を行うことにより生成した画像ファイルよりも容量を小さくすることができ、その結果、記録メディア35を無駄に使用することがなくなる。
次いで、本発明の第2の実施形態について説明する。図4は本発明の第1の実施形態による撮影装置を適用したデジタルカメラの内部構成を示す概略ブロック図である。なお、第2の実施形態において第1の実施形態と同一の構成については同一の参照番号を付与し、ここでは詳細な説明は省略する。第2の実施形態によるデジタルカメラ1Aは、手ぶれ量がしきい値Th2以上となったときに、動画像のフレームレートを変更するフレームレート変更部38を備えた点が第1の実施形態と異なる。
次いで、第2の実施形態において行われる処理について説明する。図5は第2の実施形において行われる処理を示すフローチャートである。デジタルカメラ1Aの動作モードが撮影モードに設定されることによりCPU40が処理を開始し、ユーザが操作系2を操作することによる連続撮影時間、手ぶれ量検出開始時間およびしきい値Th2の設定を受け付ける(設定受け付け:ステップST31)。なお、設定の受け付けは、あらかじめ行われていれば省略してもよい。以下、ステップST32〜ステップST37の処理は、第1の実施形態におけるステップST2〜ステップST7の処理と同一であるため、ここでは詳細な説明は省略する。
ステップST37に続いて、撮影時間が連続撮影時間となったか否かを判定し(ステップST38)、ステップST38が否定されると、さらに手ぶれ量検出開始時間となったか否かを判定する(ステップST39)。ステップST39が肯定されると、手ぶれ検出部37が手ぶれ量を検出し(ステップST40)、CPU40が手ぶれ量がしきい値Th2以上となった否かを判定する(ステップST41)。なお、ステップST39が否定されると、後述するステップST43に進む。
ステップST41が肯定されると、フレームレート変更部38が、動画像のフレームレートを通常撮影のフレームレートよりも小さい手ぶれ用フレームレートに変更する(ステップST40)。本実施形態においては、手ぶれ用フレームレートは通常撮影のフレームレートの1/2とする。したがって、通常撮影のフレームレートが30fpsである場合には、その半分の15fpsに変更する。なお、手ぶれ用フレームレートは通常撮影のフレームレートの1/2に限定されるものではなく、通常撮影のフレームレートの2/3,1/3,1/4等であってもよい。ここで、手ぶれ用フレームレートは、あらかじめ出荷時にデフォルトで設定されているものであってもよく、ユーザが入力することにより設定されたものであってもよい。この場合、手ぶれ用フレームレートを通常撮影のフレームレートに対する割合で入力してもよく、フレームレートの実際の値(例えば20fps等)の数値を入力するようにしてもよい。
ステップST41が否定されると、現在のフレームレートを通常撮影のフレームレートに変更し(ステップST47)、ステップST43に進む。ここで、ステップST47の処理においては、現在のフレームレートが通常撮影のフレームレートである場合には、フレームレートは変更されないこととなる。
そして、ユーザがレリーズボタンを押下することにより撮影終了の指示がなされたか否かを判定し(ステップST43)、ステップST43が肯定されると、撮影を停止して動画像の画像ファイルをクローズし(ステップST44)、処理を終了する。ステップST43が否定されるとステップST38に戻ってステップST38以降の処理を繰り返す。
一方、ステップST38が肯定されると、撮影を停止して連続撮影時間未満の再生が可能なように画像ファイルをクローズし(ステップST45)、続いて撮影を再開して新たな画像ファイルをオープンし(ステップST46)、ステップST43に進む。すなわち、連続撮影時間未満の再生時間を有する動画像を表す画像ファイルの生成を終了し、これに続いて撮影を再開して新たな画像ファイルの生成を開始する。
このように、第2の実施形態においては、記録メディア35に記録される画像ファイルによる動画像の撮影時間が設定された連続撮影時間よりも短い手ぶれ量検出開始時間となった以降に手ぶれ量がしきい値Th2以上となると、フレームレートを変更して画像ファイルを生成するようにしたものである。このため、連続撮影時間までは連続して撮影がなされることから、動画像を細切れにすることなく、撮影をしながら動画像を複数の画像ファイルに分割することができる。また、手ぶれ量検出開始時間となった以降においては手ぶれ量が大きく有用性の低い画像の容量が小さくなるため、連続撮影時間まで撮影を行うことにより生成した画像ファイルよりも画像ファイルの容量を小さくすることができ、その結果、記録メディア35を無駄に使用することがなくなる。
なお、上記第2の実施形態においては、手ぶれ量がしきい値Th2以上となったときに、通常撮影のフレームレートをあらかじめ定めたフレームレートに変更しているが、手ぶれ量が大きいほどフレームレートが小さくなるようにフレームレートを変更してもよい。以下、これを第3の実施形態として説明する。
図6は第3の実施形において行われる処理を示すフローチャートである。なお、第3の実施形態においては、ステップST51〜ステップST57までの処理は、第2の実施形態におけるステップST31〜ステップST37までの処理と同一であるため、ここでは詳細な説明は省略する。
ステップST57に続いて、撮影時間が連続撮影時間となったか否かを判定し(ステップST58)、ステップST58が否定されると、さらに手ぶれ量検出開始時間となったか否かを判定する(ステップST59)。ステップST59が肯定されると、手ぶれ検出部37が手ぶれ量を検出し(ステップST60)、CPU40が手ぶれ量がしきい値Th2以上となった否かを判定する(ステップST61)。なお、ステップST59が否定されると、後述するステップST64に進む。
ステップST61が肯定されると、フレームレート変更部38が、手ぶれ量が大きいほどフレームレートが小さくなるように手ぶれ用フレームレートを算出し(ステップST62)、現在のフレームレートを手ぶれ用フレームレートに変更する(ステップST63)。
本実施形態においては、通常撮影のフレームレートをF、動画像の水平方向の最大記録画素数をH、垂直方向の最大記録画素数をV、水平方向の手ぶれ幅の画素数をh、垂直方向の手ぶれ幅の画素数をv、最小のフレームレートをFcとすると、フレームレート変更部38は、下記の式(1)、(2)により水平方向および垂直方向に対応したフレームレートFh,Fvを算出し、フレームレートFh,Fvのうち小さい方、大きい方または平均値のフレームレートを、手ぶれ用フレームレートとする。なお、最小のフレームレートFcとは、動画像を再生可能な最小のフレームレートであり、例えば5fpsを最小のフレームレートFcとして用いることができる。
Fh=(F−Fc)×(1−h/H)+Fc (1)
Fv=(F−Fc)×(1−v/V)+Fc (2)
なお、ステップST61が否定されると、現在のフレームレートを通常撮影のフレームレートに変更し(ステップST68)、ステップST64に進む。ここで、ステップST68の処理においては、現在のフレームレートが通常撮影のフレームレートである場合には、フレームレートは変更されないこととなる。
Fv=(F−Fc)×(1−v/V)+Fc (2)
なお、ステップST61が否定されると、現在のフレームレートを通常撮影のフレームレートに変更し(ステップST68)、ステップST64に進む。ここで、ステップST68の処理においては、現在のフレームレートが通常撮影のフレームレートである場合には、フレームレートは変更されないこととなる。
そして、ユーザがレリーズボタンを押下することにより撮影終了の指示がなされたか否かを判定し(ステップST64)、ステップST64が肯定されると、撮影を停止して動画像の画像ファイルをクローズし(ステップST65)、処理を終了する。ステップST64が否定されるとステップST58に戻ってステップST58以降の処理を繰り返す。
一方、ステップST58が肯定されると、撮影を停止して連続撮影時間未満の再生が可能なように画像ファイルをクローズし(ステップST66)、続いて撮影を再開して新たな画像ファイルをオープンし(ステップST67)、ステップST64に進む。すなわち、連続撮影時間未満の再生時間を有する動画像を表す画像ファイルの生成を終了し、これに続いて撮影を再開して新たな画像ファイルの生成を開始する。
このように、第3の実施形態においては、手ぶれ量に応じてフレームレートを変更するようにしたため、効率よく画像ファイルの容量を小さくすることができる。
なお、上記第2および第3の実施形態においては、手ぶれ量がしきい値Th2以上となったときに動画像のフレームレートを変更しているが、画像ファイルの容量を低減することができれば、例えば、動画像の圧縮率および画像処理の程度を変更するようにしてもよい。とくに第3の実施形態においては、手ぶれ量が大きいほど圧縮率を高くしたり、画像処理の程度を低くして画像ファイルの容量を通常撮影時よりも低下させればよい。
また、上記第1から第3の実施形態においては、連続撮影時間となったときに撮影を停止して連続撮影時間未満の再生時間が可能なように画像ファイルをクローズした後、直ちに撮影を再開して新たな画像ファイルをオープンし、動画像の画像ファイルの生成を続けているが、画像ファイルのクローズ後、所定時間待ってから画像ファイルをオープンしてもよい。例えば、連続撮影時間が例えば60分に設定されていたとすると、59分59秒まで撮影を行って画像ファイルをクローズし、1秒待った後に撮影を再開して新たな画像ファイルをオープンすればよい。また、フレームレートが30fpsであった場合、59分59秒29フレームまで撮影を行って画像ファイルをクローズし、1フレーム分の時間待ってから撮影を再開して新たな画像ファイルをオープンしてもよい。
また、上記第1から第3の実施形態において、連続撮影時間となって撮影を終了する際に、その旨を警告メッセージや音声によりユーザに知らせるようにしてもよい。
また、上記第1の実施形態においては、手ぶれ量がしきい値Th1以上となって画像ファイルをクローズする際に、その旨を警告メッセージや音声によりユーザに知らせるようにしてもよい。
また、上記第2および第3の実施形態においては、フレームレートを変更する際に、その旨を警告メッセージや音声によりユーザに知らせるようにしてもよい。
また、上記第2および第3の実施形態においては、連続撮影時間未満の動画像を再生可能なように画像ファイルを生成しているが、連続撮影時間丁度の動画像を再生可能なように画像ファイルを生成するようにしてもよい。
以上、本発明の実施形態に係る装置について説明したが、コンピュータに図2,3,5,6に示すような処理を行わせるプログラムも、本発明の実施形態の1つである。また、そのようなプログラムを記録したコンピュータ読取り可能な記録媒体も、本発明の実施形態の1つである。
1,1A デジタルカメラ
2 操作系
34 画像記録再生部
37 手ぶれ検出部
38 フレームレート変更部
40 CPU
2 操作系
34 画像記録再生部
37 手ぶれ検出部
38 フレームレート変更部
40 CPU
Claims (9)
- 撮影により動画像を取得して該動画像の画像ファイルを生成する撮影手段と、
撮影時における手ぶれ量を検出する手ぶれ検出手段と、
前記動画像の撮影開始の指示を受け付け、該動画像の撮影時間が、あらかじめ設定された1つの画像ファイルを生成する連続撮影時間よりも短い所定時間となった以降に前記手ぶれ量を検出し、該手ぶれ量が所定量以上となったか否かを判定し、該手ぶれ量が所定量以上となると、前記動画像の撮影を停止してそれまでの時間の動画像を再生可能な画像ファイルの生成を終了するよう、前記撮影手段および前記手ぶれ検出手段を制御する撮影制御手段とを備えたことを特徴とする撮影装置。 - 前記撮影制御手段は、前記画像ファイルの生成の終了に続いて前記動画像の撮影を再開して新たな画像ファイルの生成を開始し、前記動画像の撮影の終了指示を受け付けるまで、前記新たな画像ファイルの生成を繰り返すよう、前記撮影手段および前記手ぶれ検出手段を制御する手段であることを特徴とする請求項1記載の撮影装置。
- 撮影により動画像を取得して該動画像の画像ファイルを生成する撮影手段と、
撮影時における手ぶれ量を検出する手ぶれ検出手段と、
前記動画像の撮影開始の指示を受け付け、該動画像の撮影時間が、あらかじめ設定された1つの画像ファイルを生成する連続撮影時間よりも短い所定時間となった以降に前記手ぶれ量を検出し、該手ぶれ量が所定量以上となったか否かを判定し、該手ぶれ量が所定量以上となると、前記連続撮影時間の撮影が終了するまで、それまでよりも容量が小さくなるように前記画像ファイルを生成し、前記連続撮影時間となると前記動画像の撮影を停止して前記画像ファイルの生成を終了するよう、前記撮影手段および前記手ぶれ検出手段を制御する撮影制御手段とを備えたことを特徴とする撮影装置。 - 前記撮影制御手段は、前記画像ファイルの生成の終了に続いて前記動画像の撮影を再開して新たな画像ファイルの生成を開始し、前記動画像の撮影の終了指示を受け付けるまで、前記新たな画像ファイルの生成を繰り返すよう、前記撮影手段および前記手ぶれ検出手段を制御する手段であることを特徴とする請求項3記載の撮影装置。
- 前記撮影制御手段は、前記手ぶれ量が大きいほど前記容量が小さくなるように前記画像ファイルを生成するよう、前記撮影手段を制御する手段であることを特徴とする請求項3または4記載の撮影装置。
- 撮影により動画像を取得して該動画像の画像ファイルを生成する撮影手段を備えた撮影装置における撮影方法において、
前記動画像の撮影開始の指示を受け付け、
該動画像の撮影時間が、あらかじめ設定された1つの画像ファイルを生成する連続撮影時間よりも短い所定時間となった以降に前記手ぶれ量を検出し、
該手ぶれ量が所定量以上となったか否かを判定し、
該手ぶれ量が所定量以上となると、前記動画像の撮影を停止してそれまでの時間の動画像を再生可能な画像ファイルの生成を終了することを特徴とする撮影方法。 - 撮影により動画像を取得して該動画像の画像ファイルを生成する撮影手段を備えた撮影装置における撮影方法において、
前記動画像の撮影開始の指示を受け付け、
該動画像の撮影時間が、あらかじめ設定された1つの画像ファイルを生成する連続撮影時間よりも短い所定時間となった以降に前記手ぶれ量を検出し、
該手ぶれ量が所定量以上となったか否かを判定し、
該手ぶれ量が所定量以上となると、前記連続撮影時間の撮影が終了するまで、それまでよりも容量が小さくなるように前記画像ファイルを生成し、
前記連続撮影時間となると前記動画像の撮影を停止して前記画像ファイルの生成を終了することを特徴とする撮影方法。 - 撮影により動画像を取得して該動画像の画像ファイルを生成する撮影手段を備えた撮影装置における撮影方法をコンピュータに実行させるためのプログラムにおいて、
前記動画像の撮影開始の指示を受け付ける手順と、
該動画像の撮影時間が、あらかじめ設定された1つの画像ファイルを生成する連続撮影時間よりも短い所定時間となった以降に前記手ぶれ量を検出する手順と、
該手ぶれ量が所定量以上となったか否かを判定する手順と、
該手ぶれ量が所定量以上となると、前記動画像の撮影を停止してそれまでの時間の動画像を再生可能な画像ファイルの生成を終了する手順とを有することを特徴とするプログラム。 - 撮影により動画像を取得して該動画像の画像ファイルを生成する撮影手段を備えた撮影装置における撮影方法をコンピュータに実行させるためのプログラムにおいて、
前記動画像の撮影開始の指示を受け付ける手順と、
該動画像の撮影時間が、あらかじめ設定された1つの画像ファイルを生成する連続撮影時間よりも短い所定時間となった以降に前記手ぶれ量を検出する手順と、
該手ぶれ量が所定量以上となったか否かを判定する手順と、
該手ぶれ量が所定量以上となると、前記連続撮影時間の撮影が終了するまで、それまでよりも容量が小さくなるように前記画像ファイルを生成する手順と、
前記連続撮影時間となると前記動画像の撮影を停止して前記画像ファイルの生成を終了する手順とを有することを特徴とするプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007131248A JP4733068B2 (ja) | 2007-05-17 | 2007-05-17 | 撮影装置および方法並びにプログラム |
EP08251735A EP1993280B1 (en) | 2007-05-17 | 2008-05-16 | Imaging apparatus and method , and computer program product |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007131248A JP4733068B2 (ja) | 2007-05-17 | 2007-05-17 | 撮影装置および方法並びにプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008288829A JP2008288829A (ja) | 2008-11-27 |
JP4733068B2 true JP4733068B2 (ja) | 2011-07-27 |
Family
ID=39710937
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007131248A Expired - Fee Related JP4733068B2 (ja) | 2007-05-17 | 2007-05-17 | 撮影装置および方法並びにプログラム |
Country Status (2)
Country | Link |
---|---|
EP (1) | EP1993280B1 (ja) |
JP (1) | JP4733068B2 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5024351B2 (ja) * | 2008-11-28 | 2012-09-12 | 株式会社ニコン | 画像ファイル生成装置、カメラ、および画像ファイル生成プログラム |
CN102469245B (zh) | 2010-11-11 | 2015-07-29 | 奥林巴斯映像株式会社 | 摄像装置和摄像方法 |
JP5695400B2 (ja) * | 2010-11-29 | 2015-04-01 | オリンパスイメージング株式会社 | 撮像装置および撮像プログラム |
US9516230B2 (en) | 2013-05-20 | 2016-12-06 | Acp Japan Co., Ltd. | Medical image recording/playback device |
JP5411380B1 (ja) | 2013-05-20 | 2014-02-12 | 正一 中村 | 医療用撮像記録装置 |
WO2014188820A1 (ja) * | 2013-05-20 | 2014-11-27 | 日本エー・シー・ピー株式会社 | 医療用撮像記録装置 |
DE102016219391A1 (de) | 2016-10-06 | 2018-04-12 | Robert Bosch Gmbh | Verfahren zu einer Rauschoptimierung einer Kamera, insbesondere einer handgehaltenen Wärmebildkamera |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7027087B2 (en) * | 1998-08-21 | 2006-04-11 | Nikon Corporation | Electronic camera |
JP4099973B2 (ja) * | 2001-10-30 | 2008-06-11 | 松下電器産業株式会社 | 映像データ送信方法及び映像データ受信方法、並びに映像監視システム |
JP2004056397A (ja) | 2002-07-18 | 2004-02-19 | Canon Inc | 画像処理装置および方法 |
WO2004112380A1 (ja) * | 2003-06-17 | 2004-12-23 | Matsushita Electric Industrial Co., Ltd. | 情報生成装置、撮影装置および撮影方法 |
JP2005348178A (ja) * | 2004-06-03 | 2005-12-15 | Canon Inc | 動画記録再生装置、画像表示方法、及びプログラム |
JP2006165853A (ja) * | 2004-12-06 | 2006-06-22 | Konica Minolta Photo Imaging Inc | デジタルカメラ |
KR100718124B1 (ko) * | 2005-02-04 | 2007-05-15 | 삼성전자주식회사 | 카메라의 움직임을 표현하는 방법 및 장치 |
JP2008160564A (ja) * | 2006-12-25 | 2008-07-10 | Toshiba Corp | カメラ装置およびカメラ装置におけるチャプタデータ生成方法 |
-
2007
- 2007-05-17 JP JP2007131248A patent/JP4733068B2/ja not_active Expired - Fee Related
-
2008
- 2008-05-16 EP EP08251735A patent/EP1993280B1/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
EP1993280A3 (en) | 2011-08-10 |
JP2008288829A (ja) | 2008-11-27 |
EP1993280B1 (en) | 2013-01-16 |
EP1993280A2 (en) | 2008-11-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8878951B2 (en) | Image processing apparatus and method of controlling the same | |
JP4444936B2 (ja) | 撮影装置および方法並びにプログラム | |
JP4637045B2 (ja) | 撮像装置 | |
JP4733068B2 (ja) | 撮影装置および方法並びにプログラム | |
JP2007221284A (ja) | 撮影装置および方法並びにプログラム | |
JP2010226702A (ja) | 撮像装置 | |
JP2008301013A (ja) | 撮影装置および方法並びにプログラム | |
JP2007299339A (ja) | 画像再生装置および方法並びにプログラム | |
JP4033456B2 (ja) | デジタルカメラ | |
JP2004274285A (ja) | 電子カメラ | |
JP2004207805A (ja) | デジタルスチルカメラ | |
JP2008301357A (ja) | 撮像装置及びその制御方法 | |
JP2010050784A (ja) | デジタルカメラ | |
JP2008205953A (ja) | 撮像装置、及び画像再生装置 | |
JP2007208355A (ja) | 撮影装置および方法並びにプログラム | |
JP2008072412A (ja) | 撮影装置および方法並びにプログラム | |
JP2010087723A (ja) | 撮影装置及び動画像編集方法 | |
JP2005045511A (ja) | 立体撮影装置及びその制御方法 | |
JP2004186919A (ja) | デジタルカメラ | |
JP5600935B2 (ja) | 画像記録装置、画像記録方法及び画像記録プログラム | |
JP2007243769A (ja) | カメラ | |
JP2002252804A (ja) | 電子カメラ | |
JP5027055B2 (ja) | 画像処理装置および方法並びにプログラム | |
JP4236603B2 (ja) | 電子カメラ | |
JP2008289027A (ja) | 撮影装置および方法並びにプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100224 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110329 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110421 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140428 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |