JP4315085B2 - カメラ装置、及び動画撮影方法 - Google Patents

カメラ装置、及び動画撮影方法 Download PDF

Info

Publication number
JP4315085B2
JP4315085B2 JP2004261798A JP2004261798A JP4315085B2 JP 4315085 B2 JP4315085 B2 JP 4315085B2 JP 2004261798 A JP2004261798 A JP 2004261798A JP 2004261798 A JP2004261798 A JP 2004261798A JP 4315085 B2 JP4315085 B2 JP 4315085B2
Authority
JP
Japan
Prior art keywords
shooting
time
moving image
imaging
photographing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004261798A
Other languages
English (en)
Other versions
JP2006080809A (ja
Inventor
圭一 今村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2004261798A priority Critical patent/JP4315085B2/ja
Priority to US11/220,863 priority patent/US20060050997A1/en
Publication of JP2006080809A publication Critical patent/JP2006080809A/ja
Application granted granted Critical
Publication of JP4315085B2 publication Critical patent/JP4315085B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/21Intermediate information storage
    • H04N1/2104Intermediate information storage for one or a few pictures
    • H04N1/2112Intermediate information storage for one or a few pictures using still video cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/21Intermediate information storage
    • H04N1/2104Intermediate information storage for one or a few pictures
    • H04N1/2112Intermediate information storage for one or a few pictures using still video cameras
    • H04N1/212Motion video recording combined with still video recording
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32106Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title separate from the image data, e.g. in a different computer file
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2101/00Still video cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0098User intervention not otherwise provided for, e.g. placing documents, responding to an alarm
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3212Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to a job, e.g. communication, capture or filing of an image
    • H04N2201/3215Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to a job, e.g. communication, capture or filing of an image of a time or duration
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3274Storage or retrieval of prestored additional information

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Television Signal Processing For Recording (AREA)

Description

本発明は、動画撮影機能を有するデジタルカメラ等に用いて好適なカメラ装置、及び動画撮影方法に関するものである。
従来、CCDやCMOSセンサ等の撮像素子によって被写体を撮像し記録するデジタルカメラにあっては動画撮影機能を備えたものが多く、撮影した動画像をファイルとして記録するときのデータ形式としては、例えばMotion JPEG(Joint Photographic coding Experts Group)やMPEG(Moving Picture coding Experts Group)などが用いられている。また、かかる動画撮影機能では、周知のごとく、シャッターキーが押された時点で動画撮影(録画)開始し、その後シャッターキーが再び押された時点で撮影を終了するものと、シャッターキーが押されたら、それが押されている間は撮影を継続し、シャッターキーの押下が解除された時点で撮影を終了するものとが一般的である。
一方、デジタルカメラにおいて、シャッターキーが押される前後の一定時間の動画像を記録するものが本出願人により提案されている(下記の特許文献1参照。)。かかる技術では、シャッターキーが押される以前のスルー画像を表示している間に、一定間隔で撮影した最新の一定時間分の動画像(連続する複数枚の撮影画像)を半導体メモリに逐次更新しながら記憶しておくとともに、シャッターによる撮影操作が行われた直後の一定時間は、半導体メモリへの動画像の記憶を継続するというものである。
特許第3042485号公報
しかしながら、動画撮影に際して、前述したように撮影開始と撮影終了との双方をシャッターキーの操作によって指示するものでは、動画撮影の開始時にシャッターチャンスを逃す場合がある。また、シャッターキーが押される前後の一定時間の動画像を記録するものでは、上記問題は生じないものの撮影時間が固定されており、撮影者の意志によって撮影開始タイミングや撮影終了タイミングを決めることができない。そのため、例えば撮影時間が短か過ぎて撮影者の意図する時点までの撮影ができず、重要な瞬間を撮り逃したり、逆に撮影時間が長すぎ、次回の静止画撮影や動画撮影のシャッターチャンスを逃してしまう場合があるという問題があった。
本発明は、かかる従来の課題に鑑みてなされたものであり、次回の撮影タイミングに影響を及ぼすことなく、動画撮影の開始前や終了後における意図した瞬間の撮り逃しのない動画撮影を可能とするカメラ装置、及び動画撮影方法と、その実現に使用されるプログラムを提供すること目的とする。
前記課題を解決するため請求項1の発明にあっては、被写体を撮像する撮像手段を備えたカメラ装置において、使用者による所定の指定操作に基づき第1の撮影時間及び第2の撮影時間を指定する撮影時間指定手段と、使用者の意図に応じた撮影要求があった直前の時間内であって前記撮影時間指定手段により指定された第1の撮影時間内に前記撮像手段によって撮像されていた第1の動画像、及び前記撮影要求があった以後の時間内であって前記撮影時間指定手段により指定された第2の撮影時間内に前記撮像手段によって撮像された第2の動画像を保存記録する画像記録手段とを備え、前記撮影時間指定手段は、前記第1の撮影時間を前記撮影要求に先立って予め設定し、前記第2の撮影時間を前記撮影要求の後に指定するものとした。
また、請求項2の発明にあっては、使用者が動画撮影の終了を指示するための終了指示手段を更に備え、前記撮影時間指定手段は、前記撮影要求があった以後の前記撮像手段による動画像の撮像動作を、前記終了指示手段による終了指示により終了させることにより前記第2の撮影時間を指定するものとした。
また、請求項3の発明にあっては、使用者が前記撮影要求を行うための撮影指示手段と、この撮影指示手段による使用者の撮影指示に応答して、前記撮像手段による前記動画像の撮像動作を中断させるとともに、前記撮像手段に記録用の静止画像の撮像動作を行わせ記録用の静止画像を取得する静止画撮影処理を実行した後、前記撮像手段による前記動画像の撮像動作を再開させる撮影制御手段とを備えたものとした。
かかる構成においては、使用者による撮影操作があると、その時点の前後における第1及び第2の撮影時間が、使用者によって指定された時間となった動画撮影が行われると同時に、撮影操作時点の被写体の静止画撮影が行われる。
また、請求項4の発明にあっては、前記撮像手段によって撮像された第1の動画像と第2の動画像を含む動画ファイルと、前記撮影制御手段による静止画撮影処理により取得された記録用の静止画像を含む静止画ファイルを生成する画像ファイル生成手段を備え、前記画像記録手段は、前記画像ファイル生成手段により生成された動画ファイル及び静止画ファイルを保存記録するものとした。
かかる構成においては、撮影操作前後の撮影時間に撮像された動画像を動画像ファイルとして記録することができると同時に、撮影操作時に撮像された静止画像を静止画ファイルとして記録することができる。
また、請求項5の発明にあっては、前記動画ファイルと前記静止画ファイルとを互いに関連付けて前記画像記録手段に保存記録させる記録制御手段を備えたものとした。
かかる構成においては、撮影後における、互いに同時期に撮影された動画像と静止画像との判別作業が容易となる。
また、請求項6の発明にあっては、被写体を撮像する撮像手段を備えたカメラ装置における動画撮影方法において、使用者による所定の指定操作に基づき第1の撮影時間を設定する工程と、前記第1の撮影時間の設定後、使用者の意図に応じた撮影要求がある以前に動画像を撮像するとともに、その間に、使用者により指定された第1の撮影時間分の最新の動画像を逐次更新しながら記憶する工程と、前記撮影要求があった以後の使用者による所定の指定操作に基づき第2の撮影時間を指定するとともに、前記撮影要求があった以後、前記第2の撮影時間内に動画像を撮像する工程と、前記撮影要求があった直前に記憶しておいた前記第1の撮影時間分の第1の動画像、及び前記第2の撮影時間内に撮像した第2の動画像を保存記録する工程と、を含む方法とした。
また、請求項7の発明にあっては、被写体を撮像する撮像手段を備えたカメラ装置が有するコンピュータを、使用者による所定の指定操作に基づき第1の撮影時間及び第2の撮影時間を指定する撮影時間指定手段と、使用者の意図に応じた撮影要求があった直前の時間内であって前記撮影時間指定手段により指定された第1の撮影時間内に前記撮像手段によって撮像されていた第1の動画像、及び前記撮影要求があった以後の時間内であって前記撮影時間指定手段により指定された第2の撮影時間内に前記撮像手段によって撮像された第2の動画像を画像記録手段に保存記録させる制御手段と、して機能させるためのプログラムであって、前記撮影時間指定手段は、前記第1の撮影時間を前記撮影要求に先立って予め設定し、前記第2の撮影時間を前記撮影要求の後に指定するプログラムとした。
以上のように請求項1、6、7の発明においては、撮影要求があった時点の前後の撮影時間に使用者の意図を反映した動画撮影を行うことができるようにしたので、次回の撮影タイミングに影響を及ぼすことなく、動画撮影の開始前や終了後における意図した瞬間の撮り逃しのない動画撮影が可能となり、更に、使用者が、撮影要求の前の撮影時間をこの撮影要求に先立って設定できるとともに、撮影要求の後の撮影時間をこの撮影要求の後に適宜決めることができるようにしたので、動画像の終了後における瞬間の撮り逃しを確実に防止することができる。
以下、本発明の一実施の形態を図にしたがって説明する。
(実施形態1)
図1は、本発明の各実施の形態に共通するデジタルカメラのブロック図である。このデジタルカメラは、撮影モードとして一般的な静止画撮影モード及び動画撮影モードに加え、静止画像と動画像とを同時に撮影することができるPASTムービー撮影モードを備えたものであり、以下の構成を備えている。
すなわちデジタルカメラは、カメラ本体1と、カメラ本体1に着脱可能な記録メディア20から構成されており、カメラ本体1には複数枚のレンズからなる光学系2、及び光学系2を介して自己の受光面に被写体の光像を結像される撮像手段であるベイヤ配列等の色フィルタが装着されたCCD3が配置されている。CCD3はタイミングジェネレータ7から送られる駆動信号により駆動され、被写体の光像を光電変換し撮像信号として出力する。CCD3からの出力信号はCDS回路4で相関二重サンプリング及びゲイン調整が行われ、A/D変換回路5でデジタル信号に変換される。A/D変換されたベイヤデータはDSP部6に入力され、ペデスタルクランプ等の処理が施された後、ブロック内の輝度・色差マトリックス回路で輝度(Y)信号及び色差(UV)信号に変換される。なお、DSP部6では、オートアイリス、オートホワイトバランス、輪郭強調などの画品質向上のための処理も行われる。
DSP部6で変換されたYUVデータは解像度変換ブロック8で予め設定された画像サイズに変換された後、1フレーム分のデータが順次内蔵メモリ14(例えばSDRAM)に格納される。内蔵メモリ14に格納された1フレーム分のYUVデータは表示コントローラ11へ送られ、そこでビデオ信号に変換された後、LCD(液晶表示器)12によりスルー画像として表示される。
動画撮影時に内蔵メモリ14に格納されたYUVデータは順次データ圧縮伸長ブロック9へ送られ、所定の動画記録方式(例えばMotion−JPEGやMPEG)のコーデックによりデータ圧縮後コード化されて、内蔵メモリ14及びメディアコントローラ10を介してフレームデータ(ビデオデータ)として記録メディア20に順次書き込まれる。係る一連の動作はフレーム毎に繰り返し実行され、内蔵メモリ14内のYUVデータ(圧縮データ)は順次書き換えられる。つまりストリーム記録される。なお、その際のフレームレートはタイミングジェネレータ7で作成されるタイミング信号によって決まり、コード化されるデータの圧縮率はデータ圧縮伸長ブロック9内の量子化テーブル値によって決定される。
また、静止画撮影時に内蔵メモリ14に格納された1フレームの分YUVデータは、前記データ圧縮伸長ブロック9でJPEG方式等でデータ圧縮後コード化され、内蔵メモリ14内でファイル化された後、メディアコントローラ10を介して本発明の画像記録手段である記録メディア20に静止画データとして記録される。
データ圧縮伸長ブロック9は、静止画又は動画の再生時には記録メディア20から読み出された静止画や動画のデータを伸張し、静止画データやフレームデータとして内蔵メモリ14に展開する。展開された画像は表示コントローラ11へ送られ、そこでビデオ信号に変換された後、LCD12により再生画像として表示される。なお、LCD12にはスルー画像や再生画像だけでなく、必要に応じて、デジタルカメラにおける各種の機能に関する選択や設定を行うときには、選択又は設定用のメニュー画面や設定画面が表示される。
音声処理ブロック15は、動画撮影時においてカメラ本体1に内蔵されたマイク16に入力した音声をデジタル信号に変換し、データ圧縮後にオーディオデータとして内蔵メモリ14へ送る。内蔵メモリ14に送られたオーディオデータはフレームデータと共にストリームデータとして記録メディア20に順次書き込まれる。また、音声処理ブロック15は、動画再生時には、内蔵メモリ14から送られたオーディオデータを復号し、アナログの音声信号に変換した後、カメラ本体1に内蔵された内蔵スピーカ17から音声出力させる。
キー入力ブロック18は、シャッターボタン、電源キー、MENUキー、セットキー等の複数の操作キーを含み、使用者によるキー操作に応じたキー入力信号をCPU13に出力する。前記シャッターボタンは、通常の動画撮影においては録画開始/終了ボタンとして機能するとともに、PASTムービー撮影モードにおいては本発明の撮影指示手段として機能する。
上述した各ブロックはCPU13により制御されており、CPU13が各ブロックの制御に必要とされるプログラムやデータはプログラムメモリ19に記憶されている。CPU13は上記プログラム及びキー入力信号に基づき動作することにより本発明の撮影時間指定手段、設定手段、指定手段、計算手段、撮影指示手段、撮影制御手段、画像ファイル生成手段、記録制御手段、制御手段として機能する。
また、プログラムメモリ19はEEPROMやフラッシュメモリ等の書き換え可能な不揮発性メモリからなり、上記プログラムやデータ以外にも、ユーザーにより設定されたシステムや各機能に関する設定データ、例えばPASTムービー撮影モードにおいて使用される後述するPAST撮影時間及びFUTURE撮影時間(本発明の第1の撮影時間、第1の撮影時間)が随時記憶される。
さらに、PASTムービー撮影モードが設定されたとき、前記内蔵メモリ14には、撮像データ格納領域14aと、第1及び第2の動画データ格納領域14b,14c、その他の作業用領域14dとが確保される(図2参照)。なお、撮像データ格納領域14aは、その大きさが予め固定的に決められているとともに、CCD3により撮像されてDSP部6から送られる撮像データを逐次格納する領域である。第1の動画データ格納領域14bはPAST画像用、第2の動画データ格納領域14cはFUTURE画像用であって、各々の大きさは、PAST撮影時間(T1)及びFUTURE撮影時間(T2)として設定可能な各々の最大時間と、PASTムービー撮影モードで撮影する動画像のフレームレート及び画像サイズとによって決まる大きさである。
次に、以上の構成からなるデジタルカメラにおける本発明に係る動作を説明する。図3は、動作モードとしてPASTムービー撮影モード時の撮影時間を設定するため用意されている撮影時間設定モードがユーザーにより設定されたとき、CPU13が実施する処理内容を示すフローチャートである。撮影時間設定モードは、PASTムービー撮影モードでの撮影時において、シャッターによる撮影操作が行われる直前の過去分の動画の撮影時間であるPAST撮影時間と、撮影操作が行われた以後の未来分の動画の撮影時間であるFUTURE撮影時間を設定するためのモードである。
CPU13は、撮影時間設定モードの設定とともに動作を開始し、その時点で設定されている前述したPAST撮影時間T1、FUTURE撮影時間T2のデータをプログラムメモリ19から読み出し(ステップSA1)(なお、初期時はデフォルト値が読み出されることになる)、PAST撮影時間T1とFUTURE撮影時間T2との合計時間である全ムービー時間Tを計算する(ステップSA2)。しかる後、現在設定されている全ムービー時間Tと、PAST撮影時間T1及びFUTURE撮影時間T2と、撮影操作タイミングとの関係を視覚的に示すとともに、全ムービー時間TとFUTURE撮影時間T2の変更操作を促す、図4に示した撮影時間設定画面100をLCD12に表示する(ステップSA3)。なお、図示した例は、その時点でPAST撮影時間T1が「13秒」、FUTURE撮影時間T2が「9秒」に設定されており、全ムービー時間Tが「22秒」となっている場合の例である。また、前記FUTURE撮影時間T2を変更するとき「0」〜全ムービー時間Tまでの時間を設定可能とする。
そして、所定のキー操作によってユーザーによりFUTURE撮影時間T2が変更(増減)されたら(ステップSA4でYES)、変更後のFUTURE撮影時間T2と全ムービー時間Tとから新たなPAST撮影時間T1を計算するとともに(ステップSA5)、撮影時間設定画面100を更新表示する(ステップSA3)。また、所定のキー操作によってユーザーにより全ムービー時間Tが変更されたら(ステップSA6でYES)、その場合においてもFUTURE撮影時間T2を基準として、変更後の全ムービー時間TとFUTURE撮影時間T2とから新たなPAST撮影時間T1を計算するとともに(ステップSA5)、撮影時間設定画面100を更新表示する(ステップSA3)。
そして、ユーザーによる決定操作があるまでは(ステップSA7でNO)、ステップSA3〜SA7の処理を繰り返す。つまりユーザーに、全ムービー時間(T)とFUTURE撮影時間(T2)とを直接設定させ、かつPAST撮影時間(T1)を間接的に設定させる。そして、ユーザーにより決定操作(セットキー操作)が行われたら(ステップSA7でYES)、プログラムメモリ19に記憶されているPAST撮影時間T1及びFUTURE撮影時間T2のデータを、前述した処理に伴い設定(変更)された新たなPAST撮影時間T1及びFUTURE撮影時間T2のデータに更新して(ステップSA8)、撮影時間設定モードによる動作を終了する。
一方、図5は、ユーザーにより撮影モードとしてPASTムービー撮影モードが設定されたときのCPU13が実施する処理内容を示すフローチャートである。
CPU13は、PASTムービー撮影モードの設定とともに動作を開始し、まずその時点で設定されている前述したPAST撮影時間T1、FUTURE撮影時間T2をプログラムメモリ19から読み出してから(ステップSB1)、CCD3をPASTムービー撮影モードで撮影する動画像(以下、PASTムービーという。)のフレームレートに応じた周期(少なくともPASTムービーのフレームレート以上のレート)で駆動し、内蔵メモリ14の前記第1の撮像データ格納領域14aへの被写体画像の取り込み、及びLCD12におけるスルー画像の表示を開始する(ステップSB2)。そして、第1の撮像データ格納領域14aに取り込んだ被写体画像のデータからPASTムービー用のサイズの静止画データを生成し、それをPAST撮影時間T1分の動画データとして内蔵メモリ14の前記第1の動画データ格納領域14bに記憶する(ステップSB3)。以後、シャッターキーによる撮影操作があるまでの間に(ステップSB4でNO)、ステップSB2,SB3の処理を繰り返し、スルー画像を更新して表示させながら、上記動画データの生成及び記憶を継続する。ただしステップSB3においては、前記PAST撮影時間T1分のデータを上限として上記動画データを循環的に記憶する。すなわち、いったんPAST撮影時間T1分のデータを記憶した後には、最も古いデータを消去して新たな動画データを記憶する処理を繰り返す。
そして、上記の処理を繰り返す間にユーザーによって撮影操作や、セルフタイマーによる撮影指示が行われると(ステップSB4でYES)、動画データの記憶を中断し、CCD3の駆動を静止画撮影用に変更して通常の静止画撮影処理を実行し、撮像した静止画データを内蔵メモリ14の作業用領域14dに記憶する(ステップSB5)。引き続き、CCD3の駆動周期を動画像のフレームレートに応じた周期に戻すとともに、内蔵メモリ14の撮像データ格納領域14aへの被写体画像の取り込み、及びLCD12におけるスルー画像の表示を再開する(ステップSB6)。以後、撮像データ格納領域14aに取り込んだ被写体画像のデータからPASTムービー用のサイズの静止画データを生成し、それをFUTURE撮影時間T2分の動画データとして内蔵メモリ14の前記第2の動画データ格納領域14cに記憶する(ステップSB8)。また、上記動画データの記憶を再開した時点(撮影指示時点でもよい)からの経過時間を内部クロックのタイマ機能によりカウントし、その時間がFUTRE撮影時間T2に達するまでは(ステップSB8でNO)、ステップSB6,SB7の処理を繰り返し、スルー画像を更新して表示させながら、上記動画データの生成及び記憶を継続する。
やがて、動画データの記憶を再開した時点からの経過時間がFUTRE撮影時間T2に達したら(ステップSB8でYES)、その時点で動画撮影を終了し、LCD12に「撮影完了」を表示する(ステップSB9)。次に、内蔵メモリ14の作業用領域14dに記憶してある静止画データを圧縮し、それに所定の付加情報を加えて静止画ファイルを内蔵メモリ14内で生成し、記録メディアへ記録する(ステップSB10)。さらに、内蔵メモリ14の第1及び第2の動画データ格納領域14b,14cに記憶してあるPAST撮影時間T1分の動画像データとFUTRE撮影時間T2分の動画像データとからなる全ムービー時間T分の動画データを圧縮し、それに所定の付加情報を加えて動画像のファイルを内蔵メモリ14内で作成する(ステップSB11)。しかる後、作成した動画ファイルを、先に記録した静止画ファイルと関係付けて、記録メディア20へ記録する(ステップSB12)。静止画ファイルと動画ファイルとの関係付けは任意の方法でよく、例えばファイル名にファイルの種別を示す拡張子(MPEGの場合の「.mpg」等)が含まれる場合には、拡張子を除く部分のファイル名を一致させる。これにより、PASTムービー撮影モードによる動作を終了する。
以上のようにPASTムービー撮影モードによる撮影では、1回の撮影操作を行うだけで、その撮影操作前後における被写体の複数コマの静止画から構成される動画像を撮影して記録することができる。そして、撮影する動画像については、その撮影時間すなわちPAST撮影時間T1及びFUTURE撮影時間T2を撮影時間設定モードによって予め設定することができる。したがって、動画撮影の開始前や終了後における意図した瞬間の撮り逃しのない、つまりユーザーが撮影前に想定していた瞬間が欠落していない意図した動画を撮影することができる。しかも、PAST撮影時間T1及びFUTURE撮影時間T2を必要最小限に止めることができ、次回の撮影タイミングに影響及ぼすこともない。つまり次回の静止画撮影や動画撮影のシャッターチャンスを逃してしまうようなこともない。
また、前述した撮影時間設定モードでPAST撮影時間T1及びFUTURE撮影時間T2を設定する際には、全ムービー時間Tに対するPAST撮影時間T1及びFUTURE撮影時間T2の配分を容易に設定することができるため、使い勝手もよい。また、撮影により得られた静止画ファイルと動画ファイルとを互いに関係付けて記録メディア20へ記録するため、撮影後には、同時期に撮影された動画像と静止画像との判別作業が容易であり、これによっても使い勝手がよい。
ここで、以上説明したPASTムービー撮影モードの使用例をあげると、記念撮影等の集合写真をPASTムービー撮影モードで撮影することが考えられる。その場合には、記念撮影を行う前の緊張感の漂うシーン、及び記念撮影が終わった後のざわめきが生じたシーン(記念撮影後によくある、誰かが「あ〜目つぶっちゃったよ〜」を発しているようなシーン)が含まれる動画を撮影することができる。
なお、本実施の形態においては、撮影時間設定モードでは、ユーザーに全ムービー時間TとFUTURE撮影時間T2とを指定させるようにしたが、全ムービー時間TとPAST撮影時間T1とを指定させるようにしてもよい。また、PASTムービー撮影モードが設定されているとき、所定のキー操作で一時的に撮影時間設定モードに移行して全ムービー時間Tと、PAST撮影時間T1又はFUTURE撮影時間T2を指定できる構成としても構わない。
また、PASTムービー撮影モードでは、動画撮影と同時に静止画撮影を行うものを示したが、これに限らず、PASTムービー撮影モードでは動画撮影のみを行う構成としてもよく、さらには、動画撮影と同時に静止画撮影を行うか否かをユーザーが必要に応じて設定可能な構成としてもよい。
(実施形態2)
次に、本発明の第2の実施の形態を説明する。本実施の形態は、図1に示した構成を備えたデジタルカメラにおいて、上述したプログラムメモリ19に、CPU13を本発明の撮影時間指定手段、設定手段、終了指示手段、指定手段、撮影指示手段、撮影制御手段、画像ファイル生成手段、記録制御手段、制御手段として機能させるためのプログラムが記憶され、PASTムービー撮影モードの設定時にCPU13が後述する処理を実行するものである。また、本実施の形態においては、前述した撮影時間設定モードが用意されておらず、PASTムービー撮影モードが設定されたとき、前記内蔵メモリ14には、前述した第2の動画データ格納領域14cを除いて、撮像データ格納領域14aと、第1の動画データ格納領域14b、その他の作業用領域14dが確保される(図示せず)。なお、第1の動画データ格納領域14bはPAST画像用であって、その大きさが、PAST撮影時間(T1)として設定可能な各々の最大時間と、PASTムービー撮影モードで撮影する動画像のフレームレート及び画像サイズとによって決まる大きさである点については第1の実施の形態と同様である。
図6は、ユーザーにより撮影モードとしてPASTムービー撮影モードが設定されたときのCPU13が実施する処理内容を示すフローチャートである。
CPU13は、PASTムービー撮影モードの設定とともに動作を開始し、まずシャッターによる撮影操作が行われる直前の過去分の動画の撮影時間であるPAST撮影時間の設定画面をLCD12に表示し、PAST撮影時間をユーザーに設定させる(ステップSC1)。なお、図示しないが、このとき表示する設定画面はPAST撮影時間のみを表示するものであり、また、設定画面の表示中には、ユーザーによる所定の操作に応じて設定画面のPAST撮影時間を変更(増減)させる。そして、ユーザーによる決定操作があるまでは(ステップSC2でNO)、設定画面の表示、及びユーザーの操作に応じたPAST撮影時間の変更を継続して行う。
その後、ユーザーによる決定操作があったら(ステップSC2でYES)、CCD3をPASTムービーのフレームレートに応じた周期(少なくともPASTムービーのフレームレート以上のレート)で駆動し、内蔵メモリ14の前記第1の撮像データ格納領域14aへの被写体画像の取り込み、及びLCD12におけるスルー画像の表示を開始する(ステップSC3)。そして、第1の撮像データ格納領域14aに取り込んだ被写体画像のデータからPASTムービー用のサイズの静止画データを生成し、それをPAST撮影時間T1分の動画データとして内蔵メモリ14の前記第1の動画データ格納領域14bに記憶する(ステップSC4)。以後、シャッターキーによる撮影操作があるまでの間に(ステップSC5でNO)、ステップSC3,SC4の処理を繰り返し、スルー画像を更新して表示させながら、上記動画データの生成及び記憶を継続する。ただしステップSC4においては、第1の実施の形態と同様、前記PAST撮影時間T1分のデータを上限として上記動画データを循環的に記憶する。
そして、上記の処理を繰り返す間にユーザーによって撮影操作が行われると(ステップSC5でYES)、動画データの記憶を中断し、CCD3の駆動を静止画撮影用に変更して通常の静止画撮影処理を実行し、撮像した静止画データを内蔵メモリ14の作業用領域14dに記憶する(ステップSC6)。引き続き、CCD3の駆動周期を動画像のフレームレートに応じた周期に戻すとともに、内蔵メモリ14の撮像データ格納領域14aへの被写体画像の取り込み、及びLCD12におけるスルー画像の表示を再開する(ステップSC7)。以後、撮像データ格納領域14aに取り込んだ被写体画像のデータからPASTムービー用のサイズの静止画データを生成し、それを、その後におけるユーザーによるシャッターキーの操作による録画終了指示があるまでの時間(FUTURE撮影時間Tn)分の動画データとして内蔵メモリ14の前記第2の動画データ格納領域14cに記憶する(ステップSC8)。そして、ユーザーによるシャッターキーの操作による録画終了指示があるまでの間は(ステップSC9でNO)、ステップSC7,SC8の処理を繰り返し、上記動画データの生成及び記憶を継続する。
やがて、録画終了指示があったら(ステップSC9でYES)、その時点で動画撮影を終了して、内蔵メモリ14の作業用領域14dに記憶してある静止画データを圧縮し、それに所定の付加情報を加えて静止画ファイルを生成し、記録メディアへ記録する(ステップSC10)。さらに、内蔵メモリ14の第1及び第2の動画データ格納領域14b,14cに記憶してあるPAST撮影時間T1分の動画像データとFUTRE撮影時間Tn分の動画像データとからなる全ムービー時間T分の動画データを圧縮し、それに所定の付加情報を加えて動画像のファイルを作成する(ステップSC11)。しかる後、作成した動画ファイルを、先に記録した静止画ファイルと関係付けて、記録メディア20へ記録する(ステップSC12)。静止画ファイルと動画ファイルとの関係付けは任意の方法でよく、例えばファイル名にファイルの種別を示す拡張子(MPEGの場合の「.mpg」等)が含まれる場合には、拡張子を除く部分のファイル名を一致させる。これにより、PASTムービー撮影モードによる動作を終了する。
以上のように本実施の形態においては、PASTムービー撮影モードによる撮影では、使用者が、PAST撮影時間T1を撮影に先立って設定できるとともに、動画撮影の終了タイミングを動画撮影の開始後に適宜決めることができる。したがって、本実施の形態においても、動画撮影の開始前や終了後における意図した瞬間の撮り逃しのない、つまりユーザーが撮影前に想定していた瞬間が欠落していない意図した動画を撮影することができる。しかも、PAST撮影時間T1及びFUTURE撮影時間T2を必要最小限に止めることができ、次回の撮影タイミングに影響及ぼすこともない。つまり次回の静止画撮影や動画撮影のシャッターチャンスを逃してしまうようなこともない。また、最初に撮影操作を行った時点で、静止画撮影を行うことができる。
また、撮影により得られた静止画ファイルと動画ファイルとを互いに関係付けて記録メディア20へ記録するため、撮影後には、同時期に撮影された動画像と静止画像との判別作業が容易であり、使い勝手がよい。
そして、第1実施の形態に比べると、動画撮影の終了タイミングを動画撮影の開始後に適宜決めることができることから、動画像の終了後における瞬間の撮り逃しを確実に防止することができる。係ることから、以上説明したPASTムービー撮影モードを使用すれば、例えば「サッカーの試合のゴールシーンなどの決定的タイミング」を静止画像として記録し、その後の「選手のよい表情やリアクション(ガッツポーズ等)」を漏らさず撮りきることが可能となる。
なお、本実施の形態においては、PAST撮影時間T1を設定するための撮影時間設定モードを特に設けていないものを示したが、そのような撮影時間設定モードを別途設けたり、さらに、前述したPASTムービー撮影モードが設定されているとき、所定のキー操作で一時的に上記撮影時間設定モードに移行してPAST撮影時間T1を指定できる構成としても構わない。
また、本実施の形態においても、PASTムービー撮影モードでは、動画撮影と同時に静止画撮影を行うものを示したが、これに限らず、PASTムービー撮影モードでは動画撮影のみを行う構成としてもよく、さらには、動画撮影と同時に静止画撮影を行うか否かをユーザーが必要に応じて設定可能な構成としてもよい。
本発明に係る各実施の形態に共通するデジタルカメラのブロック図である。 第1の実施の形態において、PASTムービー撮影モードが設定されたとき内蔵メモリに確保されるデータ格納領域を示す模式図である。 同実施の形態における撮影時間設定モードによる動作を示すフローチャートである。 撮影時間設定モードで表示する撮影時間設定画面の例を示す図である。 同実施の形態におけるPASTムービー撮影モードによる動作を示すフローチャートである。 第2の実施の形態におけるPASTムービー撮影モードによる動作を示すフローチャートである。
符号の説明
3 CCD
6 DSP部
7 タイミングジェネレータ
8 解像度変換ブロック
9 データ圧縮伸長ブロック
12 LCD
13 CPU
14 内蔵メモリ
14a 撮像データ格納領域
14b 第1の動画データ格納領域
14c 第2の動画データ格納領域
14d 作業用領域
18 キー入力ブロック
19 プログラムメモリ
20 記録メディア
100 撮影時間設定画面

Claims (7)

  1. 被写体を撮像する撮像手段を備えたカメラ装置において、
    使用者による所定の指定操作に基づき第1の撮影時間及び第2の撮影時間を指定する撮影時間指定手段と、
    使用者の意図に応じた撮影要求があった直前の時間内であって前記撮影時間指定手段により指定された第1の撮影時間内に前記撮像手段によって撮像されていた第1の動画像、及び前記撮影要求があった以後の時間内であって前記撮影時間指定手段により指定された第2の撮影時間内に前記撮像手段によって撮像された第2の動画像を保存記録する画像記録手段と、
    を備え、
    前記撮影時間指定手段は、前記第1の撮影時間を前記撮影要求に先立って予め設定し、前記第2の撮影時間を前記撮影要求の後に指定することを特徴とするカメラ装置。
  2. 使用者が動画撮影の終了を指示するための終了指示手段を更に備え、
    前記撮影時間指定手段は、前記撮影要求があった以後の前記撮像手段による動画像の撮像動作を、前記終了指示手段による終了指示により終了させることにより前記第2の撮影時間を指定することを特徴とする請求項1記載のカメラ装置。
  3. 使用者が前記撮影要求を行うための撮影指示手段と、
    この撮影指示手段による使用者の撮影指示に応答して、前記撮像手段による前記動画像の撮像動作を中断させるとともに、前記撮像手段に記録用の静止画像の撮像動作を行わせ記録用の静止画像を取得する静止画撮影処理を実行した後、前記撮像手段による前記動画像の撮像動作を再開させる撮影制御手段と
    を備えたことを特徴とする請求項1乃至2のいずれかに記載のカメラ装置。
  4. 前記撮像手段によって撮像された第1の動画像と第2の動画像を含む動画ファイルと、前記撮影制御手段による静止画撮影処理により取得された記録用の静止画像を含む静止画ファイルを生成する画像ファイル生成手段を備え、
    前記画像記録手段は、前記画像ファイル生成手段により生成された動画ファイル及び静止画ファイルを保存記録することを特徴とする請求項3記載のカメラ装置。
  5. 前記動画ファイルと前記静止画ファイルとを互いに関連付けて前記画像記録手段に保存記録させる記録制御手段を備えたことを特徴とする請求項4記載のカメラ装置。
  6. 被写体を撮像する撮像手段を備えたカメラ装置における動画撮影方法において、
    使用者による所定の指定操作に基づき第1の撮影時間を設定する工程と、
    前記第1の撮影時間の設定後、使用者の意図に応じた撮影要求がある以前に動画像を撮像するとともに、その間に、使用者により指定された第1の撮影時間分の最新の動画像を逐次更新しながら記憶する工程と、
    前記撮影要求があった以後の使用者による所定の指定操作に基づき第2の撮影時間を指定するとともに、前記撮影要求があった以後、前記第2の撮影時間内に動画像を撮像する工程と、
    前記撮影要求があった直前に記憶しておいた前記第1の撮影時間分の第1の動画像、及び前記第2の撮影時間内に撮像した第2の動画像を保存記録する工程と、
    を含むことを特徴とする動画撮影方法。
  7. 被写体を撮像する撮像手段を備えたカメラ装置が有するコンピュータを、
    使用者による所定の指定操作に基づき第1の撮影時間及び第2の撮影時間を指定する撮影時間指定手段と、
    使用者の意図に応じた撮影要求があった直前の時間内であって前記撮影時間指定手段により指定された第1の撮影時間内に前記撮像手段によって撮像されていた第1の動画像、及び前記撮影要求があった以後の時間内であって前記撮影時間指定手段により指定された第2の撮影時間内に前記撮像手段によって撮像された第2の動画像を画像記録手段に保存記録させる制御手段と、
    して機能させるためのプログラムであって、
    前記撮影時間指定手段は、前記第1の撮影時間を前記撮影要求に先立って予め設定し、前記第2の撮影時間を前記撮影要求の後に指定することを特徴とするプログラム。
JP2004261798A 2004-09-09 2004-09-09 カメラ装置、及び動画撮影方法 Expired - Fee Related JP4315085B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2004261798A JP4315085B2 (ja) 2004-09-09 2004-09-09 カメラ装置、及び動画撮影方法
US11/220,863 US20060050997A1 (en) 2004-09-09 2005-09-07 Camera device with movie capture function

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004261798A JP4315085B2 (ja) 2004-09-09 2004-09-09 カメラ装置、及び動画撮影方法

Publications (2)

Publication Number Publication Date
JP2006080809A JP2006080809A (ja) 2006-03-23
JP4315085B2 true JP4315085B2 (ja) 2009-08-19

Family

ID=35996290

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004261798A Expired - Fee Related JP4315085B2 (ja) 2004-09-09 2004-09-09 カメラ装置、及び動画撮影方法

Country Status (2)

Country Link
US (1) US20060050997A1 (ja)
JP (1) JP4315085B2 (ja)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4379409B2 (ja) * 2005-11-08 2009-12-09 ソニー株式会社 撮像装置、および情報処理方法、並びにコンピュータ・プログラム
JP2008011349A (ja) * 2006-06-30 2008-01-17 Nikon Corp 動画撮影が可能なカメラ
TWI394437B (zh) * 2006-09-28 2013-04-21 Casio Computer Co Ltd 攝影裝置、記錄電腦程式之記錄媒體及攝影控制方法
US7676145B2 (en) * 2007-05-30 2010-03-09 Eastman Kodak Company Camera configurable for autonomous self-learning operation
JP2009038649A (ja) * 2007-08-02 2009-02-19 Panasonic Corp 信号処理回路、及び撮影装置
JP4991665B2 (ja) * 2008-09-17 2012-08-01 キヤノン株式会社 記録装置
JP5230381B2 (ja) * 2008-11-28 2013-07-10 三星電子株式会社 撮像装置及び撮像装置の制御方法
JP5474964B2 (ja) * 2009-06-23 2014-04-16 クロテッコ有限会社 画像処理装置、それを備えるカメラ機能付き電子機器、及び、画像処理プログラム
WO2013100924A1 (en) * 2011-12-28 2013-07-04 Intel Corporation Virtual shutter image capture
US9264627B2 (en) * 2012-01-09 2016-02-16 Lifetouch Inc. Video photography system
JP5975771B2 (ja) * 2012-07-26 2016-08-23 キヤノン株式会社 表示制御装置及び表示制御方法、プログラム、並びに記憶媒体
JP5648866B2 (ja) * 2012-10-02 2015-01-07 カシオ計算機株式会社 撮影システム、撮影方法、撮影装置、及びプログラム
US9380198B2 (en) 2012-09-28 2016-06-28 Casio Computer Co., Ltd. Photographing system, photographing method, light emitting apparatus, photographing apparatus, and computer-readable storage medium
JP5965981B2 (ja) * 2014-12-25 2016-08-10 オリンパス株式会社 撮影装置、撮影装置の制御方法、およびプログラム
US9681111B1 (en) 2015-10-22 2017-06-13 Gopro, Inc. Apparatus and methods for embedding metadata into video stream
US10033928B1 (en) 2015-10-29 2018-07-24 Gopro, Inc. Apparatus and methods for rolling shutter compensation for multi-camera systems
US9973696B1 (en) 2015-11-23 2018-05-15 Gopro, Inc. Apparatus and methods for image alignment
US9792709B1 (en) 2015-11-23 2017-10-17 Gopro, Inc. Apparatus and methods for image alignment
US9848132B2 (en) 2015-11-24 2017-12-19 Gopro, Inc. Multi-camera time synchronization
US9667859B1 (en) 2015-12-28 2017-05-30 Gopro, Inc. Systems and methods for determining preferences for capture settings of an image capturing device
US9922387B1 (en) * 2016-01-19 2018-03-20 Gopro, Inc. Storage of metadata and images
US9967457B1 (en) 2016-01-22 2018-05-08 Gopro, Inc. Systems and methods for determining preferences for capture settings of an image capturing device
US9665098B1 (en) 2016-02-16 2017-05-30 Gopro, Inc. Systems and methods for determining preferences for flight control settings of an unmanned aerial vehicle
US9743060B1 (en) 2016-02-22 2017-08-22 Gopro, Inc. System and method for presenting and viewing a spherical video segment
US9602795B1 (en) 2016-02-22 2017-03-21 Gopro, Inc. System and method for presenting and viewing a spherical video segment
US9973746B2 (en) 2016-02-17 2018-05-15 Gopro, Inc. System and method for presenting and viewing a spherical video segment
US9934758B1 (en) 2016-09-21 2018-04-03 Gopro, Inc. Systems and methods for simulating adaptation of eyes to changes in lighting conditions
US10268896B1 (en) 2016-10-05 2019-04-23 Gopro, Inc. Systems and methods for determining video highlight based on conveyance positions of video content capture
US9973792B1 (en) 2016-10-27 2018-05-15 Gopro, Inc. Systems and methods for presenting visual information during presentation of a video segment
JP6652039B2 (ja) * 2016-12-05 2020-02-19 カシオ計算機株式会社 撮像装置、撮像方法及びプログラム
US10194101B1 (en) 2017-02-22 2019-01-29 Gopro, Inc. Systems and methods for rolling shutter compensation using iterative process
US10187607B1 (en) 2017-04-04 2019-01-22 Gopro, Inc. Systems and methods for using a variable capture frame rate for video capture
JP2020136932A (ja) * 2019-02-20 2020-08-31 オリンパス株式会社 撮像装置、撮像方法およびプログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3713973B2 (ja) * 1998-08-31 2005-11-09 カシオ計算機株式会社 電子スチルカメラおよび撮影方法
JP2000352759A (ja) * 1999-06-10 2000-12-19 Olympus Optical Co Ltd 電子カメラ
JP2001078137A (ja) * 1999-09-01 2001-03-23 Olympus Optical Co Ltd 電子カメラ
JP3860367B2 (ja) * 1999-09-14 2006-12-20 富士フイルムホールディングス株式会社 撮像装置
JP4541610B2 (ja) * 2001-09-17 2010-09-08 キヤノン株式会社 画像処理装置、画像処理方法、プログラム、記憶媒体
JP4360781B2 (ja) * 2002-07-31 2009-11-11 富士フイルム株式会社 デジタルカメラ
US7593619B2 (en) * 2002-08-27 2009-09-22 Sony Corporation Data processing unit and method, and program
JP2004207805A (ja) * 2002-12-24 2004-07-22 Fuji Photo Film Co Ltd デジタルスチルカメラ

Also Published As

Publication number Publication date
JP2006080809A (ja) 2006-03-23
US20060050997A1 (en) 2006-03-09

Similar Documents

Publication Publication Date Title
JP4315085B2 (ja) カメラ装置、及び動画撮影方法
KR100735999B1 (ko) 동화상을 기록하는 동화상 기록장치
JP4730402B2 (ja) 撮像装置、撮像制御方法及びプログラム
JP5117280B2 (ja) 撮像装置、撮像方法、再生装置および再生方法
JP4853932B2 (ja) 撮影装置及びプログラム
TW201251446A (en) Digital camera having variable duration burst mode
JP2004304642A (ja) 電子カメラ、及び画像再生装置
JP2007221570A (ja) 撮像装置及びそのプログラム
JP2008078837A (ja) 撮像装置、画像表示制御プログラム及び画像表示制御方法
JP5578442B2 (ja) 撮像装置、画像合成方法、及びプログラム
US7995104B2 (en) Image pick-up apparatus, image data processing apparatus, and recording medium
TW200904184A (en) Imaging device, method of processing captured image signal and computer program
JP2009111518A (ja) 撮像装置、画像再生装置及びそのプログラム、画像ファイルのデータ構造
JP2008153795A (ja) 動画撮影装置、動画再生制御方法、及び動画再生制御プログラム
JP2003219341A (ja) ムービ・スチル・カメラおよびその動作制御方法
JP2004159183A (ja) 撮像装置
JP4962503B2 (ja) 画像記録装置、画像記録方法、及びプログラム
JP2007325152A (ja) 撮像装置及びそのプログラム
JP2004080376A (ja) 動画撮像装置及び動画再生装置
JP5433459B2 (ja) 撮像装置
JP5338293B2 (ja) 撮像装置、及び撮像方法、撮像制御プログラム
KR101480407B1 (ko) 디지털 영상 처리 장치, 이의 제어 방법 및 상기 제어방법을 기록한 기록 매체
JP2005252499A (ja) 電子カメラ装置
JP2008005350A (ja) 撮像装置及びその制御方法
JP2005278037A (ja) 撮像装置、撮影制御方法及び撮影制御プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060607

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090129

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090210

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090403

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090428

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090511

R150 Certificate of patent or registration of utility model

Ref document number: 4315085

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120529

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120529

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130529

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130529

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees