JP5600935B2 - 画像記録装置、画像記録方法及び画像記録プログラム - Google Patents

画像記録装置、画像記録方法及び画像記録プログラム Download PDF

Info

Publication number
JP5600935B2
JP5600935B2 JP2009292577A JP2009292577A JP5600935B2 JP 5600935 B2 JP5600935 B2 JP 5600935B2 JP 2009292577 A JP2009292577 A JP 2009292577A JP 2009292577 A JP2009292577 A JP 2009292577A JP 5600935 B2 JP5600935 B2 JP 5600935B2
Authority
JP
Japan
Prior art keywords
still image
image data
data
shooting time
still
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009292577A
Other languages
English (en)
Other versions
JP2011135286A5 (ja
JP2011135286A (ja
Inventor
磨 野嶋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2009292577A priority Critical patent/JP5600935B2/ja
Publication of JP2011135286A publication Critical patent/JP2011135286A/ja
Publication of JP2011135286A5 publication Critical patent/JP2011135286A5/ja
Application granted granted Critical
Publication of JP5600935B2 publication Critical patent/JP5600935B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Description

本発明は、画像記録装置、画像記録方法及び画像記録プログラムに関する。
例えば、特許文献1には、連写撮影を開始する前に、連写撮影によって得られることとなる画像のデータ量とメモリの空き容量とを比較して、メモリの空き容量の方が少ない場合に、メモリに記憶されているサムネイル画像を削除することにより空き容量を確保してから、連写撮影を実行する技術が開示されている。この特許文献1の技術によれば、メモリの空き容量によって制限されることなく連写撮影を実行できる。
特開2009−44296号公報
しかし、特許文献1の技術では、撮影状況(静止画像の取得状況(画像の変化状況も含まれる)をいい、メモリの残量等の状況は含まない。)に応じて、連写撮影により得られた静止画像のデータ量を調整することができない。
本発明は、上記のような問題点を鑑みてなされたものであり、連写撮影によって得られる静止画像のデータ量を撮影状況に応じて調整することができる画像記録装置、画像記録方法及び画像記録プログラムを提供することを目的とする。
上記の課題を解決するために、本発明の第1の観点に係る画像記録装置は、
撮影部を用いて連続的な静止画像の撮影を行い、第1静止画像を表す第1静止画像データと前記第1静止画像の次に撮影された第2静止画像を表す第2静止画像データとを取得する静止画像取得手段と、
前記静止画像取得手段が取得した、前記第1静止画像データが表す前記第1静止画像と前記第2静止画像データが表す前記第2静止画像とが所定の関係にあるかを判別し、前記第1静止画像と前記第2静止画像とが所定の関係にある場合に、前記第1静止画像データと前記第2静止画像データとを個々に記憶部に記録し、前記第1静止画像と前記第2静止画像とが所定の関係にない場合に、前記第2静止画像データを前記第1静止画像データとの画像上の差分を表す差分データに変換し、変換した前記差分データと前記第1静止画像データとを前記記憶部に記録する記録手段と、
を備え、
前記第1静止画像と前記第2静止画像とが前記所定の関係にあるとは、(1)前記第1静止画像の撮影時期と前記第2静止画像の撮影時期との間隔の長さが第3基準を満たすか、(2)前記第1静止画像の撮影時期と前記第2静止画像の撮影時期との間隔の長さが前記第3基準を満たさないが第4基準を満たし、前記第1静止画像と前記第2静止画像との画像間の像の変化が第5基準を満たすことであり、
前記第1静止画像と前記第2静止画像とが前記所定の関係にないとは、(3)前記第1静止画像の撮影時期と前記第2静止画像の撮影時期との間隔の長さが前記第4基準を満たさないか、(4)前記第1静止画像の撮影時期と前記第2静止画像の撮影時期との間隔の長さが前記第3基準を満たさないが前記第4基準を満たし、前記第1静止画像と前記第2静止画像との画像間の像の変化が前記第5基準を満たさないことであり、
前記第4基準とは、前記第3基準で定義される長さよりも短く、且つ、所定の長さよりも長いことである、
ことを特徴とする。
また、本発明の第1の観点に係る画像記録方法は、
撮影部を備える装置を用いた画像記録方法であって、
前記撮影部を用いて連続的な静止画像の撮影を行い、第1静止画像を表す第1静止画像データと前記第1静止画像の次に撮影された第2静止画像を表す第2静止画像データとを取得する静止画像取得ステップと、
前記静止画像取得ステップで取得した、前記第1静止画像データが表す前記第1静止画像と前記第2静止画像データが表す前記第2静止画像とが所定の関係にあるかを判別し、前記第1静止画像と前記第2静止画像とが所定の関係にある場合に、前記第1静止画像データと前記第2静止画像データとを個々に記憶部に記録し、前記第1静止画像と前記第2静止画像とが所定の関係にない場合に、前記第2静止画像データを前記第1静止画像データとの画像上の差分を表す差分データに変換し、変換した前記差分データと前記第1静止画像データとを前記記憶部に記録する記録ステップと、
を含み、
前記第1静止画像と前記第2静止画像とが前記所定の関係にあるとは、(1)前記第1静止画像の撮影時期と前記第2静止画像の撮影時期との間隔の長さが第3基準を満たすか、(2)前記第1静止画像の撮影時期と前記第2静止画像の撮影時期との間隔の長さが前記第3基準を満たさないが第4基準を満たし、前記第1静止画像と前記第2静止画像との画像間の像の変化が第5基準を満たすことであり、
前記第1静止画像と前記第2静止画像とが前記所定の関係にないとは、(3)前記第1静止画像の撮影時期と前記第2静止画像の撮影時期との間隔の長さが前記第4基準を満たさないか、(4)前記第1静止画像の撮影時期と前記第2静止画像の撮影時期との間隔の長さが前記第3基準を満たさないが前記第4基準を満たし、前記第1静止画像と前記第2静止画像との画像間の像の変化が前記第5基準を満たさないことであり、
前記第4基準とは、前記第3基準で定義される長さよりも短く、且つ、所定の長さよりも長いことである、
ことを特徴とする。
また、本発明の第1の観点に係る画像記録プログラムは、
コンピュータを、
撮影部を用いて連続的な静止画像の撮影を行い、第1静止画像を表す第1静止画像データと前記第1静止画像の次に撮影された第2静止画像を表す第2静止画像データとを取得する静止画像取得手段と、
前記静止画像取得手段が取得した、前記第1静止画像データが表す前記第1静止画像と前記第2静止画像データが表す前記第2静止画像とが所定の関係にあるかを判別し、前記第1静止画像と前記第2静止画像とが所定の関係にある場合に、前記第1静止画像データと前記第2静止画像データとを個々に記憶部に記録し、前記第1静止画像と前記第2静止画像とが所定の関係にない場合に、前記第2静止画像データを前記第1静止画像データとの画像上の差分を表す差分データに変換し、変換した前記差分データと前記第1静止画像データとを前記記憶部に記録する記録手段、
として機能させるプログラムであって、
前記第1静止画像と前記第2静止画像とが前記所定の関係にあるとは、(1)前記第1静止画像の撮影時期と前記第2静止画像の撮影時期との間隔の長さが第3基準を満たすか、(2)前記第1静止画像の撮影時期と前記第2静止画像の撮影時期との間隔の長さが前記第3基準を満たさないが第4基準を満たし、前記第1静止画像と前記第2静止画像との画像間の像の変化が第5基準を満たすことであり、
前記第1静止画像と前記第2静止画像とが前記所定の関係にないとは、(3)前記第1静止画像の撮影時期と前記第2静止画像の撮影時期との間隔の長さが前記第4基準を満たさないか、(4)前記第1静止画像の撮影時期と前記第2静止画像の撮影時期との間隔の長さが前記第3基準を満たさないが前記第4基準を満たし、前記第1静止画像と前記第2静止画像との画像間の像の変化が前記第5基準を満たさないことであり、
前記第4基準とは、前記第3基準で定義される長さよりも短く、且つ、所定の長さよりも長いことである、
ことを特徴とする。
上記の課題を解決するために、本発明の第2の観点に係る画像記録装置は、
撮影部を用いて連続的な静止画像の撮影を行い、第1静止画像を表す第1静止画像データと前記第1静止画像の次に撮影された第2静止画像を表す第2静止画像データとを取得する静止画像取得手段と、
前記静止画像取得手段が取得した、前記第1静止画像データが表す前記第1静止画像と前記第2静止画像データが表す前記第2静止画像とが所定の関係にあるかを判別し、前記第1静止画像と前記第2静止画像とが所定の関係にある場合に、前記第1静止画像データと前記第2静止画像データとを個々に記憶部に記録し、前記第1静止画像と前記第2静止画像とが所定の関係にない場合に、前記第2静止画像データを前記第1静止画像データとの画像上の差分を表す差分データに変換し、変換した前記差分データと前記第1静止画像データとを前記記憶部に記録する記録手段と、
を備え、
前記第1静止画像と前記第2静止画像とが前記所定の関係にあるとは、(1)前記第1静止画像の撮影時期と前記第2静止画像の撮影時期との間隔の長さが第3基準を満たすか、(2)前記第1静止画像の撮影時期と前記第2静止画像の撮影時期との間隔の長さが前記第3基準を満たさないが前記第4基準を満たし、静止画像取得手段が前記第1静止画像データを取得する前に取得した静止画像データの画像間の像の変化が第6基準を満たすことであり、
前記第1静止画像と前記第2静止画像とが前記所定の関係にないとは、(3)前記第1静止画像の撮影時期と前記第2静止画像の撮影時期との間隔の長さが前記第4基準を満たさないか、(4)前記第1静止画像の撮影時期と前記第2静止画像の撮影時期との間隔の長さが前記第3基準を満たさないが前記第4基準を満たし、静止画像取得手段が前記第1静止画像データを取得する前に取得した静止画像データの画像間の像の変化が前記第6基準を満たさないことであり、
前記第4基準とは、前記第3基準で定義される長さよりも短く、且つ、所定の長さよりも長いことである、
ことを特徴とする。
また、本発明の第2の観点に係る画像記録方法は、
撮影部を備える装置を用いた画像記録方法であって、
前記撮影部を用いて連続的な静止画像の撮影を行い、第1静止画像を表す第1静止画像データと前記第1静止画像の次に撮影された第2静止画像を表す第2静止画像データとを取得する静止画像取得ステップと、
前記静止画像取得ステップで取得した、前記第1静止画像データが表す前記第1静止画像と前記第2静止画像データが表す前記第2静止画像とが所定の関係にあるかを判別し、前記第1静止画像と前記第2静止画像とが所定の関係にある場合に、前記第1静止画像データと前記第2静止画像データとを個々に記憶部に記録し、前記第1静止画像と前記第2静止画像とが所定の関係にない場合に、前記第2静止画像データを前記第1静止画像データとの画像上の差分を表す差分データに変換し、変換した前記差分データと前記第1静止画像データとを前記記憶部に記録する記録ステップと、
を含み、
前記第1静止画像と前記第2静止画像とが前記所定の関係にあるとは、(1)前記第1静止画像の撮影時期と前記第2静止画像の撮影時期との間隔の長さが第3基準を満たすか、(2)前記第1静止画像の撮影時期と前記第2静止画像の撮影時期との間隔の長さが前記第3基準を満たさないが前記第4基準を満たし、静止画像取得手段が前記第1静止画像データを取得する前に取得した静止画像データの画像間の像の変化が第6基準を満たすことであり、
前記第1静止画像と前記第2静止画像とが前記所定の関係にないとは、(3)前記第1静止画像の撮影時期と前記第2静止画像の撮影時期との間隔の長さが前記第4基準を満たさないか、(4)前記第1静止画像の撮影時期と前記第2静止画像の撮影時期との間隔の長さが前記第3基準を満たさないが前記第4基準を満たし、静止画像取得手段が前記第1静止画像データを取得する前に取得した静止画像データの画像間の像の変化が前記第6基準を満たさないことであり、
前記第4基準とは、前記第3基準で定義される長さよりも短く、且つ、所定の長さよりも長いことである、
ことを特徴とする。
また、本発明の第2の観点に係る画像記録プログラムは、
コンピュータを、
撮影部を用いて連続的な静止画像の撮影を行い、第1静止画像を表す第1静止画像データと前記第1静止画像の次に撮影された第2静止画像を表す第2静止画像データとを取得する静止画像取得手段と、
前記静止画像取得手段が取得した、前記第1静止画像データが表す前記第1静止画像と前記第2静止画像データが表す前記第2静止画像とが所定の関係にあるかを判別し、前記第1静止画像と前記第2静止画像とが所定の関係にある場合に、前記第1静止画像データと前記第2静止画像データとを個々に記憶部に記録し、前記第1静止画像と前記第2静止画像とが所定の関係にない場合に、前記第2静止画像データを前記第1静止画像データとの画像上の差分を表す差分データに変換し、変換した前記差分データと前記第1静止画像データとを前記記憶部に記録する記録手段、
として機能させるプログラムであって、
前記第1静止画像と前記第2静止画像とが前記所定の関係にあるとは、(1)前記第1静止画像の撮影時期と前記第2静止画像の撮影時期との間隔の長さが第3基準を満たすか、(2)前記第1静止画像の撮影時期と前記第2静止画像の撮影時期との間隔の長さが前記第3基準を満たさないが前記第4基準を満たし、静止画像取得手段が前記第1静止画像データを取得する前に取得した静止画像データの画像間の像の変化が第6基準を満たすことであり、
前記第1静止画像と前記第2静止画像とが前記所定の関係にないとは、(3)前記第1静止画像の撮影時期と前記第2静止画像の撮影時期との間隔の長さが前記第4基準を満たさないか、(4)前記第1静止画像の撮影時期と前記第2静止画像の撮影時期との間隔の長さが前記第3基準を満たさないが前記第4基準を満たし、静止画像取得手段が前記第1静止画像データを取得する前に取得した静止画像データの画像間の像の変化が前記第6基準を満たさないことであり、
前記第4基準とは、前記第3基準で定義される長さよりも短く、且つ、所定の長さよりも長いことである、
ことを特徴とする。
本発明に係る画像記録装置、画像記録方法及び画像記録プログラムによれば、連写撮影によって得られる静止画像のデータ量を撮影状況に応じて調整することができる。
本発明の実施形態1に係る画像記録装置の構成を説明するための図である。 本発明の実施形態1に係る画像記録装置のハードウェア構成を説明するための図である。 本発明の実施形態1に係る画像記録装置が行う画像記録処理(1)を説明するためのフローチャートである。 画像記録処理(1)によって記憶媒体に記録された静止画像データと差分データとの例を説明するための概念図である。 画像記録処理(1)によって記憶媒体に記録された静止画像データと差分データとの他の例を説明するための概念図である。 本発明の実施形態2に係る画像記録装置が行う画像記録処理(2)を説明するためのフローチャートである。 画像記録処理(2)によって記憶媒体に記録された静止画像データと差分データとの例を説明するための概念図である。 本発明の実施形態3に係る画像記録装置が行う画像記録処理(3)を説明するためのフローチャートである。 画像記録処理(3)によって記憶媒体に記録された静止画像データと差分データとの例を説明するための概念図である。
本発明に係る実施形態について図面を参照して説明する。
(実施形態1)
まず、本実施形態に係る画像記録装置100の構成を、図1を参照して説明する。
本実施形態に係る画像記録装置100は、デジタルカメラ等の撮影装置である。画像記録装置100は、所定のフレームレート(1秒間に生成される静止画像の枚数)で連写撮影を行う。連写撮影とは、静止画像の連続的な撮影であり、例えば、ユーザがシャッターキーを押下し続けることによって行われる静止画像の連続的な撮影(動画撮影も適宜含まれる)である。画像記録装置100は、連写撮影によって連続する一連の静止画像データを取得する。なお、フレームレートは、ユーザの操作によって設定されるか、所定の場合に自動で設定される。画像記録装置110は、取得した静止画像データを記憶部に記録するが、所定の場合において、静止画像データを、静止画像間の差分を表すデータである差分データに変換し、前記静止画像データに代わるものとして記憶部に記録する。
画像記録装置100は、図1のように、制御部110と、I/F部120と、撮影部130と、操作部140と、表示部150と、を備える。
制御部110は、画像記録装置100全体を制御する。制御部110は、静止画像取得部110aと記録部110bとを備える。静止画像取得部110aと記録部110bとは、特に後述の画像記録処理を行う。
静止画像取得部110aは、後述の画像記録処理で、撮影部130を用いて所定のフレームレートで連写撮影を行い、連続する一連の静止画像をそれぞれ表す一連の静止画像データを取得する。例えば、静止画像取得部110aは、撮影部130を制御して、撮影部130に撮影を行わせる。撮影部130は、撮影によって、元画像データを生成し、生成した元画像データを静止画像取得部110aに供給する。静止画像取得部110aは、撮影部130から供給された元画像データをもとにして静止画像データを生成(取得)する。このような一連の処理を所定のフレームレートで行う。
記録部110bは、後述の画像記録処理で、静止画像取得部110aが取得した一連の静止画像データを記憶部に記録するが、このときに、所定の場合に、記録する静止画像データの少なくとも一つを、静止画像間の差分を表す差分データに変換し、変換前の静止画像データの代わりに記憶部に記録する。
I/F部120は、外部とのインターフェース(I/F)である。I/F部120は、記録部110bが記憶媒体50にデータを読み書きする場合に使用される。例えば、記録部110bは、静止画像データ、差分データ等のデータを記憶媒体50に記録するときに使用される。
撮影部130は、制御部110の制御のもと、ユーザの撮影操作により取り込まれる画像(つまり、撮影画像)を表す元画像データを生成し、生成した元画像データを制御部110に供給する。
操作部140は、制御部110の制御のもと、ユーザからの操作入力(連写撮影の開始を指示する開始入力、連写撮影の終了を指示する終了入力)を受け付け、受け付けた操作入力に応じた操作信号を制御部110に対して供給する。制御部110は、供給された操作信号に応じて、処理を行う。操作部140は、例えば、連写撮影のフレームレートの設定にも用いられる。
表示部150は、制御部110の制御のもと、画像記録装置100を操作するために必要なメニュー画面、設定画面、ライブビュー画像等を表示する。
記憶媒体50は、画像記録装置100に接続される、画像記録装置100の外部記憶装置である。記憶媒体50は、例えば、フラッシュメモリを搭載したメモリーカードによって構成される。記録部110bは、I/F部120を介して、画像記録処理によって生成した静止画像データ、差分データ等を記憶媒体50に記録する。
なお、制御部110(静止画像取得部110a及び記録部110b)は、後述の画像記録処理で取得等した、静止画像データ、差分データ等を一時記憶するが、一時記憶する静止画像データ、差分データ等を記憶媒体50に一時記録してもよい。この場合、制御部110は、適宜、記憶媒体50に対して、静止画像データ、差分データ等を読み書きする。
なお、本実施形態では、記憶媒体50が記憶部を構成する。記憶部は、静止画像データ、差分データ等を最終的に記録(保存)する記憶装置によって構成される。画像記録装置100内にハードディスク、フラッシュメモリ等を形成し、これらの記憶装置を記憶媒体50の代わりに記憶部としてもよい。また、画像記録装置100と通信可能な画像記録部100の外部の記憶装置(例えば、サーバ内の記憶装置)を用意し、この記憶装置を記憶媒体50の代わりに記憶部としてもよい。
次に、図2を参照して、本実施形態に係る画像記録装置100のハードウェア構成を説明する。
画像記録装置100は、CPU(Central Processing Unit)111と、ROM(Read Only Memory)112と、RAM(Random Access Memory)114と、メディアコントローラ121と、撮像素子131と、撮像レンズ群132と、撮像駆動部133と、AFE(Analog Front End)134と、TG(Timing Generator)135と、ドライバ136と、操作キー群141と、ディスプレイ151と、バス199と、を備える。CPU111等は、適宜、バス199等に接続される。
図1の撮影部130は、撮像素子131と、撮像レンズ群132と、撮像駆動部133と、AFE134と、TG135と、ドライバ136と、によって構成される。
撮像レンズ群132は、フォーカスレンズ及びズームレンズ等から構成されるレンズ群からなる。
撮像レンズ群132を構成する複数のレンズは、それぞれ、撮像駆動部133が備えるレンズ駆動部によって駆動される。レンズ駆動部は、撮像レンズ群132を光軸方向にそれぞれ移動させるモータと、このモータを駆動するモータドライバとから構成される。レンズ駆動部は、CPU111の制御のもと、モータドライバによってモータを駆動させ、撮像レンズ群132を光軸方向にそれぞれ移動させる。
さらに、撮像駆動部133は、絞り兼用シャッター部を備える。この絞り兼用シャッター部は、絞り兼用シャッターと、駆動回路とを含む。駆動回路はCPU111の制御のもと、絞り兼用シャッターを動作させる。この絞り兼用シャッターは、絞りとシャッターとして機能する。絞りとは、撮像レンズ群132を介して入射する光の量を制御する機構のことをいい、シャッターとは、撮像素子131に光を当てる時間、つまり、受光素子が受光する時間を制御する機構のことをいう。
撮像素子131は、例えば、ベイヤー配列の色フィルタを有する各種CCD(Charge Coupled Device:電荷結合素子)イメージセンサによって構成される。撮像素子131は、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサ等、他のイメージセンサであってもよい。
撮像素子131は、ドライバ136から供給される駆動信号に従い、撮像レンズ群132を介して入射する光による画像を取り込んで画素毎に光電変換し、光電変換により発生した画素毎の電荷をアンプにより増幅し、増幅した信号を撮影信号としてAFE134に供給する。このようにして、撮像素子131は、CPU111によって制御され、撮影信号をAFE134に供給する。
TG135は、CPU111によって制御され、ドライバ136を動作させるためのパルス信号を生成し、ドライバ136に供給する。つまり、後述の撮像素子131から1フレーム分(つまり、1画像分)の撮影信号が供給される間隔(シャッタースピード)は、TG135からドライバ136に供給されるパルス信号等に依存する。また、TG135は、AFE134にも同様のパルス信号を供給する。TG135は、パルス信号の供給によって、AFE134とドライバ136との動作タイミングの同期を図る。このようにして、AFE134とドライバ136とは、TG135を介してCPU111によって制御される。
ドライバ136は、TG135からのパルス信号に従い、撮像素子131に駆動信号を供給する駆動回路である。
AFE134は、撮像素子131から供給される撮影信号に所定の処理(以下、処理Aという。)を行い、撮像素子131が撮影した画像を表すデータ(元画像のデータ、以下同じ)を生成して出力する。AFE134は、例えば、OB(Optical Black)クランプ部、CDS(Correlated Double Sampling)回路、AGC(Automatic Gain Control)回路、A/D(Analog/digital)変換器等(図示しない)を備え、これらによって処理Aを行う。
OBクランプ部は、撮像素子131から供給される撮影信号を受け取り、受け取った撮影信号に対してクランプ処理を行い、クランプ処理後の信号(以下、クランプ後信号という)をCDS回路に供給する。CDS回路は、OBクランプ部から供給されたクランプ後信号に対して、相関二重サンプリングを行い、相関二重サンプリング後の信号(以下、サンプリング後信号という。)をAGC回路に供給する。AGC回路は、CDS回路から供給されたサンプリング後信号に対して、自動利得調整を行い、自動利得調整後の信号(以下、調整後信号という。)を、A/D変換器に供給する。なお、AGC回路のゲインは、CPU111が制御することもできる。A/D変換器は、AGC回路から供給されたアナログ信号である調整後信号をデジタル信号に変換し、変換後のデジタル信号による元画像データをRAM114に記録する。
ここで、元画像データは、撮像素子131の各有効画素(OB等を除いた画像の再生に寄与する画素)の画素値等によって表現される、1フレーム分の画像データである。元画像データは、例えば、RGB(Red-Green-Blue)データ、ベイヤデータ等である。
図1の制御部110(静止画像取得部110a及び記録部110b)は、CPU111と、ROM112と、RAM114とによって構成される。
CPU111は、画像記録装置100の各構成要素を制御する。また、CPU111は、ROM112に記録されている画像記録プログラム113に従い、さらに、ROM112に記録されている各種データを用いる等して、後述の画像記録処理等、制御部110(静止画像取得部110a及び記録部110b)が行う処理を実行する。ROM112に記録されている画像記録プログラム113、各種データ等は、一度、RAM114に読み出されても良い。
CPU111の機能の少なくとも一部は、各種専用回路によって実現されてもよい。つまり、制御部110(静止画像取得部110a又は記録部110b)の少なくとも一部を各種専用回路によって構成してもよい。各種専用回路としては、例えば、DSP(Digital Signal Processor)、エンコーダ、デコーダ等がある。
ROM112は、適宜の半導体記憶装置によって構成される。ROM112には、画像記録プログラム113等の各種プログラム、及び、CPU111が使用する各種データ等が記憶されている。
RAM114は、適宜の半導体記憶装置によって構成される。RAM114は、CPU111のワーキングメモリ等として機能し、CPU111が使用するデータ、CPU111が生成したデータ(静止画像データ、差分データ等)、CPU111に供給されるデータ等を一時記憶する。
なお、画像記録プログラム113は、OS(Operation System)と協働してCPU111に後述の画像記録処理を行わせるものであってもよい。この場合、OSもROM112に記録される。また、画像記録プログラム113は、持ち運び可能な記憶媒体(例えば、CD−ROM(Compact Disk Read Only Memory)、DVD−ROM(Digital Versatile Disk Read Only Memory))に記録され、画像記録装置100に供給されてもよい。また、画像記録プログラム113は、ネットワークを介して画像記録装置100に供給されてもよい。
画像記録プログラム113が記録されたROM112、RAM114、又は、持ち運び可能な記憶媒体は、コンピュータが読み取り可能なプログラム製品(プログラムを記憶したコンピュータが読み取り可能な記憶媒体)になる。画像記録プログラム113は、機能の少なくとも一部が専用回路によって実現されたコンピュータを動作させるものであってもよい。つまり、コンピュータは、全体として、後述の画像記録処理を行うものであればよく、画像記録プログラム113は、そのようなコンピュータを動作させるものであればよい。
CPU111は、適宜、RAM114に記録された元画像データを読み出す。CPU111は、必要に応じて、取得した元画像データに対して各種処理(以下、処理Bという)を行い、YUV(輝度・色差)形式の静止画像データへの変換を行う。処理Bは、輪郭強調、オートホワイトバランス、オートアイリス等の画質を向上させる処理を含む。CPU111は、処理Bによって変換した静止画像データをRAM114に記録する。このように、CPU111は、静止画像データを生成することによって、静止画像データを取得する。
なお、制御部110がDSPを含む場合、DSPは、AFE134から元画像データを受け取り、受け取った元画像データを前記の処理Bと同様の処理によって静止画像(YUV形式)データに変換し、変換した静止画像データをRAM114に記録する。
CPU111は、適宜、RAM114に記録した静止画像データを表示用データに変換し、RAM114に記録する。CPU111は、RAM114に記録した表示用データをディスプレイ151に供給する。また、CPU111は、適宜、メニュー画面、設定画面等を表す表示用データ(これらのテンプレート画像のデータは、ROM112に記録されている。)を生成し、生成した表示用データをRAM114に記録する。CPU111は、RAM114に記録した表示用データをディスプレイ151に供給する。表示用データは、例えば、RGBデータである。
CPU111は、適宜、RAM114に記録された静止画像データを圧縮し、圧縮した圧縮画像データ(これも静止画像データの一例である。)をRAM114に記録する。制御部110がエンコーダを含む場合、このエンコーダが圧縮を行っても良い。CPU111は、適宜、RAM114に記録した圧縮画像を、メディアコントローラ121を介して記憶媒体に記録する。圧縮画像は、例えば、JPEG(Joint Photographic Experts Group)画像である。
また、CPU111は、適宜、RAM114に記録された複数の静止画像データをもとにして、静止画像間の差分を表す差分データを生成し、この差分データをRAM114に記録する(詳しくは後述する。)。また、必要に応じてCPU111は、適宜、RAM114に記録した差分データを、メディアコントローラ121を介して記憶媒体に記録する。CPU111は、差分データを生成するとき、複数の静止画像データそれぞれを適宜RGBデータ等(これも静止画像データの一例である。)に変換して用いる。CPU111は、差分データの生成に限らず、各種処理を行うとき、必要に応じて、静止画像データを適宜RGBデータ等(これも静止画像データの一例である。)に変換して用いる。
ここで、差分データは、静止画像間の差分を表現するデータである。基準となる静止画像の静止画像データ(基準画像データ)と差分データとによって、差分データの元の静止画像が表現される。差分データについての技術は適宜の公知技術を採用できる。CPU111は、例えば、基準となる基準画像データが表す基準画像と、差分データを生成しようとしている静止画像データが表す画像とに基づいて、動きベクトルを抽出し、この動きベクトルによって差分を表す差分データを生成してもよい。この場合、基準画像をもとにして、差分データが表す差分(動きベクトル)を合成すれば、元の静止画像が表現される。また、差分データは、基準画像データと差分データを生成しようとしている静止画像データの各画素間の差によって表現される差分画像データ等であってもよい。差分画像データと基準画像データとを足し合わせ、各種補正処理を施すことによって元の静止画像が表現される。
図1のI/F部120は、メディアコントローラ121によって構成される。メディアコントローラ121は、CPU111の制御のもと、CPU111からデータ(静止画像データ、差分データ等)を受け取り、受け取ったデータを記憶媒体50に保存(記録)する等、CPU111と記憶媒体50とを仲立ちする。これによって、記憶部に静止画データ及び差分データが記録等される。
なお、RAM114に記録され、CPU111によって処理される静止画像データ、差分データ等は、一時、記憶媒体50に記録されてもよい。この場合、CPU111は、メディアコントローラ121を介して、適宜のタイミングで静止画像データ、差分データ等を、記憶媒体50に記録し、CPU111は、必要に応じてこれらデータを記憶媒体50から読み出す。
図1の操作部140は、操作キー群141によって構成される。操作キー群141は、半押し全押しの二段階操作可能なシャッターキー、モード切り替えキー、十字キー、ズームキー、及び、メニューキー、セットキー、電源キー等の複数の操作キーを含む。操作キー群141は、さらに、各キーの操作に対応した操作信号を出力する信号出力部(基板、接点等によって構成される。)を備える。操作キー群141は、CPU111に制御され、各キーの操作に応じた操作信号をCPU111に供給する。
図1の表示部150は、ディスプレイ151によって構成される。ディスプレイ151は、表示パネルと表示コントローラとを備える。表示コントローラには、CPU111の制御のもと、RAM114が記憶する表示用データが供給される。表示コントローラは、CPU111の制御のもと、供給された表示用データをアナログ信号に変換し、変換したアナログ信号に基づいて表示パネルに画像を表示する。つまりディスプレイ151は、CPU111の制御のもと、供給された画像に基づいて、この画像が表す画像(メニュー画面、設定画面、ライブビュー画像等)を表示する。
次に、画像記録装置100が行う画像記録処理(1)の一例を、図3及び図4を参照して説明する。この処理は、画像記録装置100の操作部140が操作されて、連写撮影モードが選択されたことを契機として開始される。
なお、連写撮影モードにおけるフレームレートは、予め設定されているものとする。このフレームレートは、例えば、ユーザが操作部140を操作して設定したものとする。また、このフレームレートは、連写撮影中であっても、ユーザが操作部140を操作して変更されるか、自動で変更されるものとする。静止画像取得部110aは、予め設定されているフレームレートを初期のフレームレートとして初期設定する(ステップS101)。
また、連写撮影モードが選択されると、静止画像取得部110aは、撮影部130を制御し、例えば、設定されたフレームレートよりも高いレートの間隔で、撮影部130に元画像データを生成させ(上述の処理A)、出力させる。この元画像データは、RAM114に記録される。静止画像取得部110aは、元画像データに対して処理Bを行い、静止画像データを生成する。また、静止画像取得部110aは、静止画データを表示用データに変換し、変換した表示用データを表示部150に供給し、表示部150に表示用データが表す画像を表示させる。静止画像取得部110aは、このような処理を繰り返すことによって、表示部150に所謂ライブビュー画像を表示する。このとき、静止画像取得部110aは、静止画像データをRAM114に一時記憶するか、必要に応じて記憶媒体50に一時記憶することによって、適宜静止画像データを保持する。
静止画像取得部110aは、連写撮影を開始するかを判別する(ステップS102)。例えば、ユーザは連写撮影を開始したいタイミングでシャッターキーを押下する。操作部140が備えるシャッターキーが操作(押下)されることによって、操作部140はこの操作に応じた操作信号を静止画像取得部110aに供給する。静止画像取得部110aは、この操作信号が供給されていれば、ユーザが連写撮影を指示しているということなので、連写撮影を開始すると判別する(ステップS102;YES)。なお、静止画像取得部110aは、例えば、タイマ等によって時間を測定し、所定のタイミングで連写撮影を自動で開始してもよい。この場合には、静止画像取得部110aは、経時した時間が所定の時間になったときのタイミングで、連写撮影を開始すると判別する(ステップS102;YES)。
静止画像取得部110aは、例えば、操作信号が供給されていない等によって、連写撮影を開始しないと判別すると(ステップS102;NO)、再びステップS102の処理を行う。このようにして、静止画像取得部110aは、連写撮影を開始する時期まで待機する。
静止画像取得部110aは、ステップS102の処理において、連写撮影を開始すると判別すると(ステップS102;YES)、静止画像取得部110aは、撮影部130を制御し(シャッタースピード等を制御し)、静止画像取得部110aに設定されているフレームレートに応じた時間間隔で、撮影部130に元画像データを生成させ、撮影部130から供給される元画像データに処理Bを施し、静止画像データを生成する(ステップS103)。静止画像取得部110aは、このステップで生成した静止画像データを、RAM114に一時記憶するか、必要に応じて記憶媒体50に一時記憶することによって、静止画像データを保持する。静止画像データは、本画像記録処理が終了すると削除される。
静止画像取得部110aは、設定されているフレームレートが高いかを判別する(ステップS104)。例えば、静止画像取得部110aは、設定されているフレームレートが第1の閾値以上である場合に、フレームレートが高いと判別し(ステップS104;YES)、設定されているフレームレートが第1の閾値未満である場合に、フレームレートが低いと判別する(ステップS104;NO)。
第1の閾値は、フレームレートの高さについての基準であり、フレームレートが高い場合、連写撮影される一連の静止画像が撮影された時間間隔Tは短い。この時間間隔は、静止画像を取得する間隔(静止画像の撮影時期の間隔)である。なお、フレームレートは、この時間間隔の逆数になる。第1の閾値は、例えば、30fps(frame per second)とする。
フレームレートが高い場合、各静止画像間の時間的な間隔は狭いので、被写体の変化(被写体の位置又は状態の変化)が少ない場合が多い。このような画像については、前の静止画像と後の静止画像との像の変化が予測し易いので、後の静止画像を前の静止画像(基準画像であり、直前の静止画像でなくてもよい。)との差分によって表現しても、画像として問題が無い場合が多い。
このため、本実施形態では、静止画像取得部110aがステップS104でフレームレートが高いと判別すると(ステップS104;YES)、記録部110bは、差分データを生成し(ステップS105)、ステップS106の処理を行う。
なお、本実施形態では、記録部110bは、ステップS104でフレームレートが高いと判別した後に最初に行うステップS105の処理、連写撮影開始後に最初に行うステップS105の処理では、差分データを生成しない。このとき、静止画像取得部110aは、生成した静止画像データを差分データの基準となる基準画像データとして特定して保持する。
静止画像取得部110aがステップS104でフレームレートが高いと判別した(ステップS104;YES)後に、記録部110bは、2回目以降に行うステップS105の処理で、静止画像取得部110aが保持する前記基準画像データと直前のステップS103で生成された静止画像データとを比較して、前記の差分データを生成して保持する。
静止画像取得部110aがステップS104でフレームレートが高くないと判別すると(ステップS104;NO)、記録部110bは、ステップS106の処理を行う。フレームレートが高くない場合、静止画像間の時間間隔は長くなるので、静止画像間の像の変化は大きい可能性がある。この場合には、差分データを生成し、差分データを用いて元の静止画像を再現しようとすると、画像間の像の変化が大きくて元の静止画像を再現しきれない場合がある。このため、記録部110bは、差分データを生成しないものとして、ステップS105の処理をスキップする。
記録部110bは、ステップS106において、設定されているフレームレートが変更されたか判別する(ステップS106)。
フレームレートは、本画像記録処理と並行して適宜変更される。例えば、ユーザが操作部140の十字キー等を操作することによって、フレームレートは変更される。操作部140は、このような操作が行われると、この操作に応じた操作信号を静止画像取得部110aに供給する。静止画像取得部110aは、このような操作信号が操作部140から供給されると現在設定されているフレームレートを操作信号に応じたフレームレートに変更する。例えば、静止画像取得部110aは、フレームレートを上げる旨の操作信号が供給された場合に、予め定められた値でフレームレートを上げる。
静止画像取得部110aは、例えば、自動でフレームレートを変更してもよい。例えば、静止画像取得部110aは、連写撮影している静止画像の像の変化が大きい場合、又は、生成した最新の静止画像が興味を引く画像である場合等には、フレームレートを上げる。これによって、ユーザが撮影したいシーン(風景、被写体等)を撮影し損じることが少なくなる。また、静止画像取得部110aは、連写撮影している静止画像の像の変化が小さい場合、又は、生成した最新の静止画像が興味を引かない画像である場合等には、フレームレートを下げる。これによって、余計な静止画像データが生成されず、RAM114等の記憶容量の節約になる。
静止画像取得部110aは、例えば、保持している最新の静止画像データとその前の静止画像データとを用いて、例えば、SAD(Sum of Absolute Difference)、SSD(Sum of Squared Difference)によって得られる値が第2の閾値以上(第3の閾値以下)等であれば、これら画像は像の変化が大きい(小さい)可能性が高いので、静止画像取得部110aは、フレームレートを上げる(下げる)。
また、静止画像取得部110aは、例えば、保持している最新の静止画像データについて笑顔度を検出し、笑顔度が第4の閾値以上(第5の閾値以下)であれば、最新の静止画像が興味を引く画像である(興味を引く画像でない)可能性が高いので、静止画像取得部110aは、フレームレートを上げる(下げる)。笑顔度は、例えば、所定の笑顔の画像のテンプレート(このデータもROM112に記録されている。)と、静止画像が表す静止画像における所定領域との類似度(例えば、SAD、SSD等を用いたテンプレートマッチングによって算出される。)である。
記録部110bは、ステップS106において、静止画像取得部110aを監視し、静止画像取得部110aがフレームレートを変更した場合(ステップS106;YES)、静止画像取得部110aに変更後のフレームレートを新たなフレームレートとして設定し(ステップS107)、ステップS108の処理を行う。これ以降、ステップS103の処理において、静止画像取得部110aは新たなフレームレートで静止画像データを生成する。また、記録部110bは、静止画像取得部110aがフレームレートを変更していない場合(ステップS106;NO)、ステップS108の処理を行う。
記録部110bは、連写撮影を終了するかを判別する(ステップS108)。例えば、ユーザは連写撮影を終了したいタイミングでシャッターキーの押し下げを中止する。このようにして、操作部140が備えるシャッターキーが操作されることによって、操作部140はこの操作に応じた操作信号を記録部110bに供給する。記録部110bは、この操作信号が供給されていれば、ユーザが連写撮影の終了を指示しているということなので、連写撮影を終了すると判別する(ステップS108;YES)。なお、静止画像取得部110aは、例えば、タイマ等によって時間を測定し、所定のタイミングで連写撮影を自動で終了してもよい、又は所定の枚数の静止画像を撮影した場合に連写撮影を自動で終了してもよい。この場合には、静止画像取得部110aは、測定した時間(期間)が所定の時間(期間)になったとき又は所定の枚数の静止画像を撮影したときのタイミングで、連写撮影を終了すると判別する(ステップS108;YES)。
記録部110bが例えば、操作信号が供給されていない等によって、連写撮影を終了しないと判別すると(ステップS108;NO)、静止画像取得部110aは、再びステップS103の処理を行う。このようにして、静止画像取得部110aは、連写撮影を終了するまで、設定されたフレームレートで静止画像データを生成(取得)する。つまり、静止画像取得部110aは、所定のフレームレートで連写撮影を行う。
記録部110bは、連写撮影を終了すると判別すると(ステップS108;YES)、I/F部120を介して記憶媒体50に静止画像データ及び差分データを記録する(ステップS109)。記録部110bは、記録部110bが保持する差分データと、静止画像取得部110aが保持する静止画像データのうちの前記差分データが生成されている静止画像データ以外の静止画像データとを、記憶媒体50に記録する。なお、このとき、差分データは、基準画像データが前記静止画像データのどれであるかが特定できるように、記録される。なお、記録部110bは、静止画像データを圧縮して、例えば、JPEGデータ(静止画像データの一例である)として記録する。
上記のようにして、記憶媒体50に記録された静止画像データ及び差分データについて説明する。図4(下側が時系列的に新しいとする。)のように、フレームレートが高くない期間、すなわち第1の閾値未満である期間に撮影されて生成された画像データは、単独で静止画像を表現できる静止画像データになっている。フレームレートが高い期間、すなわち第1の閾値以上である期間に撮影されて生成された静止画像データは、基準画像データ(ここでは、先頭の静止画像データ)以外が差分データに変換されている。ここでは、基準画像データに続く各差分データは、それぞれ、基準画像データを参照して静止画像を再現できるデータである。
なお、フレームレートは固定であってもよい。この場合、ステップS106及びステップS107の処理は省略できる。
また、記録部110bは、ステップS109において、差分データを生成して、記憶媒体50に記録してもよい。この場合、静止画像取得部110aは、静止画像データを取得するときに、この時点でのフレームレートと前記静止画像データとを関連付けて保持しておく。そして、記録部110bは、ステップS109において、静止画像取得部110aが保持する、フレームレートが高いときの静止画像データに基づいて差分データを生成する。なお、この場合、ステップS104及びステップS105の処理が不要になる。また、差分データは、前後の静止画像データを参照して生成してもよい。このような、方法としては、モーションコンペンセーション等の技術を利用してもよい。
また、基準画像データは、フレームレートが高くなる直前の静止画像データとしてもよい。
なお、静止画像取得部110aがステップS104でフレームレートが高いと判別した後に、記録部110bが所定回数毎のステップS105の処理で差分データを生成せず、また、静止画像取得部110aは、このときに生成した静止画像データを差分データの基準となる基準画像データとして特定して保持してもよい。差分データが多くなっていくと、基準画像と差分データを生成しようとしている静止画像との差が大きくなってしまう場合がある。所定回数毎に基準画像データを特定すれば、前記の差が大きくなりすぎることを防止できる。このとき、記録部110bは、最新の基準画像データを用いて差分データを生成する。
このようにして、記憶媒体50に記録された静止画像データ及び差分データについて説明する。図5(下側が時系列的に新しいとする。)のように、フレームレートが高くない期間、すなわち第1の閾値未満である期間に撮影されて生成された静止画像データは、単独で静止画像を表現できるデータになっている。フレームレートが高い期間、すなわち第1の閾値以上である期間に撮影されて生成された静止画像データは、複数の基準画像データ(ここでは、所定枚数毎の静止画像データ)以外が差分データに変換されている。
本実施形態では、上記のような構成によって、画像記録装置100が、撮影部130を用いて連続的な静止画像の撮影を行い、第1静止画像を表す第1静止画像データと第1静止画像の次に撮影された第2静止画像を表す第2静止画像データとを取得する静止画像取得部110aと、静止画像取得部110aが取得した、第1静止画像データが表す第1静止画像と第2静止画像データが表す第2静止画像とが所定の関係にあるかを判別し、第1静止画像と第2静止画像とが所定の関係にある場合に、第1静止画像データと第2静止画像データとを個々に記憶部に記録し、第1静止画像と第2静止画像とが所定の関係にない場合に、第2静止画像データを第1静止画像データ(基準画像データになる。)との画像上の差分を表す差分データに変換し、変換した差分データと第1静止画像データとを記憶部に記録する記録部110bと、を備える。
差分データは、当然静止画像データよりもデータ量が少ない。本実施形態によれば、記録部110bは、第1静止画像と第2静止画像とが所定の関係にない場合に差分データを生成して記憶部(ここでは、記憶媒体50)に記録するので、第1静止画像と第2静止画像との関係に応じて記憶部の記憶容量を節約できる。このため、本実施形態によれば、連写撮影によって得られる静止画像のデータ量が撮影状況(フレームレート)に応じて調整される。
また、本実施形態では、上記のような構成によって、第1静止画像の撮影時期と第2静止画像の撮影時期との間隔(撮影間隔)の長さが長い(第1基準を満たす)とき、つまり、ここでは、フレームレートが第1の閾値未満のとき、記録部110bは、第1静止画像データと第2静止画像データとを個々に記憶部に記録している。また、第1静止画像の撮影時期と第2静止画像の撮影時期との間隔(撮影間隔)の長さが短い(第1基準を満たさない)とき、つまり、ここでは、フレームレートが第1の閾値以上のとき、記録部110bは、第2静止画像データを第1静止画像データとの画像上の差分を表す差分データに変換し、変換した差分データと第1静止画像データとを記憶部に記録する。
このようにすることで、撮影間隔が長い場合(つまり、静止画像間の像の変化が大きくなる可能性がある場合)は、第1静止画像データと第2静止画像データとを個々に記録する。これによって、像の変化が大きくても、それぞれは個々に第1静止画像と第2静止画像とを表すことができるので、第1静止画像データと第2静止画像データとをもとに、第1静止画像と第2静止画像とをある程度正確にそれぞれ再現できる。
また、撮影間隔が短い場合は、第2静止画像データを差分データに変換して記録する。この場合は、静止画像間の像の変化が小さい可能が高いので、差分によって画像を表現しても、画像として問題が無い場合が多い。これによって、全体のデータ量が減る。
このように、本実施形態では、フレームレート(つまり、撮影間隔)によってデータ量が調整される。
また、本実施形態では、上記構成によって、フレームレートが変更されても、最新のフレームレートに対応して、差分データを生成して記録するか、静止画像データを個別に記録する。このように、本実施形態では、上記構成によって、記録部110bが、第2静止画像データが表す第2静止画像と第3静止画像データが表す第3静止画像(第2静止画像の後に撮影された静止画像)とが所定の関係にあるかを判別し、第2静止画像と前記第3静止画像とが所定の関係にある場合に、第2静止画像データと第3静止画像データとを個々に記憶部に記録し、第2静止画像と第3静止画像とが所定の関係にない場合に、第3静止画像データを第2静止画像データとの画像上の差分を表す差分データに変換し、変換した差分データと第2静止画像データとを記憶部に記録する。このように、フレームレート等が変更されても、静止画像のデータ量が調整される。
(実施形態2)
次に実施形態2について説明する。実施形態1では、フレームレートが高いときに、差分データを生成したが、実施形態2では、静止画像間の変化が大きくないときに差分データを生成する。以下、実施形態2について説明するが、実施形態1における構成要素と同じ構成要素、同様の機能を有する構成要素等については同じ符号を付して説明する。
実施形態2に係る画像記録装置の構成は、実施形態1の画像記録装置100と略同じ構成なので、説明を省略する。以下、実施形態2に係る画像記録装置は、画像記録装置100であるとして説明する。
画像記録装置100(静止画像取得部110a及び記録部110b)は、画像記録処理(2)を行う。この画像記録処理(2)を、図6を参照して説明する。この画像記録処理(2)は、実施形態1における画像記録処理(1)と、略同様の処理であるが、差分データに関係するフレームレートについての処理が、静止画像間の変化についての処理に置き換わる。以下では、典型的に変更されるステップだけ説明し、他のステップの説明は画像記録処理(1)に準じるので、これらステップに画像記録処理(1)と同じ符号を付して説明を省略する。
静止画像取得部110aは、ステップS211において、静止画像間の像の変化が大きいか判別する。静止画像取得部110aは、例えば、静止画像取得部110aが保持している最新の静止画像データとその前の静止画像データとを用いて、例えば、SAD(Sum of Absolute Difference)、SSD(Sum of Squared Difference)等によって得られる値が第6の閾値以上であれば、像の変化は大きいので、これら画像は像の変化が大きいと判別し(ステップS211;YES)、第6の閾値未満であれば、これらの画像の像の変化が大きくない(ここでは小さいとする。)と判別する(ステップS211;NO)。
なお、静止画像取得部110aは、画像記録装置100が備える図示しないジャイロセンサ等のセンサを用いて、画像記録装置100自体の動きを検出し、この動きが大きい場合(検出される動きの値が第7の閾値を超える場合)に、静止画像間の像の変化が大きいと判別してもよい。画像記録装置100自体の動きが大きい場合、例えば、画像記録装置100の向き等が変更されるので、画像記録装置100が撮影する方向が変更され、静止画像間の像の変化は大きくなる。
ステップS211において、静止画像取得部110aが静止画像間の像の変化が大きいと判別した場合には(ステップS211;YES)、記録部110bは、ステップS106の処理を行う。また、静止画像取得部110aがステップS211において、静止画像間の像の変化が小さいと判別した場合には(ステップS211;NO)、記録部110bは、ステップS105の処理を行って、差分データを生成する。
本実施形態において、記憶媒体50に記録された静止画像データ及び差分データについて説明する。図7(下側が時系列的に新しいとする。)のように、静止画像間の像の変化が大きいと判別された期間に撮影されて生成された画像データは、単独で静止画像を表現できる静止画像データになっている。静止画像間の像の変化が小さいと判別された期間に撮影されて生成された静止画像データは、基準画像データ以外が差分データに変換されている。
ここでは、上記で説明した構成によって、記録部110bは、第1静止画像(実施形態1参照)と第2静止画像(実施形態1参照)との画像間の像の変化が大きい(第2基準を満たす)と判別すると、第1静止画像データと第2静止画像データとを個々に記憶部に記録している。また、記録部110bは、画像間の像の変化が大きくない(第2基準を満たさない)と判別すると第2静止画像データを第1静止画像データとの画像上の差分を表す差分データに変換し、変換した差分データと第1静止画像データとを記憶部に記録する。画像間の像の変化が大きいときは、差分データで静止画像を表すことが困難になる。上記のように、ここでは、画像の変化が大きくないと判別されたときに、第2静止画像データを差分データに変換するので、適切に静止画像のデータ量を撮影状況(画像の変化)調整できる。
本実施形態の他の説明は、実施形態1に準じるので、詳しい説明は省略する。
(実施形態3)
次に実施形態3について説明する。実施形態1では、フレームレートが高いときに、差分データを生成したが、実施形態3では、フレームレートが高くなくても、所定の場合に、差分データを生成する。以下、実施形態3について説明するが、実施形態1における構成要素と同じ構成要素、同様の機能を有する構成要素等については同じ符号を付して説明する。
実施形態3に係る画像記録装置の構成は、実施形態1の画像記録装置100と略同じ構成なので、説明を省略する。以下、実施形態3に係る画像記録装置は、画像記録装置100であるとして説明する。
画像記録装置100(静止画像取得部110a及び記録部110b)は、画像記録処理(3)を行う。この画像記録処理(3)を、図8を参照して説明する。この画像記録処理(3)は、実施形態1における画像記録処理(1)と略同様の処理であるが、さらに所定のステップの処理が画像記録処理(1)に加わる。以下では、典型的に変更されるステップだけ説明し、他のステップの説明は画像記録処理(1)に準じるので、これらステップに画像記録処理(1)と同じ符号を付して説明を省略する。
静止画像取得部110aは、ステップS104でフレームレートが高くないと判断すると(ステップS104;NO)、フレームレートが低いかを判断する(ステップS311)。例えば、静止画像取得部110aは、設定されているフレームレートが第8の閾値未満である場合に、フレームレートが低いと判別し(ステップS311;YES)、設定されているフレームレートが第8の閾値以上である場合に、フレームレートが低くないと判別する(ステップS311;NO、この場合、フレームレートは中間になる)。
第8の閾値は、フレームレートの低さについての基準であり、フレームレートが低い場合、連写撮影される一連の静止画像が撮影された時間間隔Tは長い。第8の閾値は、例えば、10fpsとする。
フレームレートが低い場合、各静止画像間の時間的な間隔は広いので、被写体の変化(被写体の位置又は状態の変化)が大きい場合が多い。このような画像については、前の静止画像と後の静止画像との像の変化が予測し難いので、後の静止画像を前の静止画像との差分によってうまく表現できない場合が多い。このため、静止画像取得部110aがフレームレートが低いと判別した場合(ステップS311;YES)には、記録部110bは、ステップS106の処理を行う。
フレームレートが高くも低くもない場合(中間の場合)、各静止画像間の時間的な間隔は広くも狭くもないので、後の静止画像を前の静止画像との差分によってうまく表現できない場合もあるし、後の静止画像を前の静止画像との差分によって表現できる場合もある。このため、本実施形態において、静止画取得手段110aは、このような場合に、静止画像間の変化が大きいかによって、差分データを生成するかしないかを判別する。
静止画像取得部110aは、フレームレートが低くないと判別した場合(ステップS311;NO)には、静止画像間の像の変化が大きいか判別する(ステップS312)。この判別ステップは実施形態2のステップS211の処理と同様であるので説明を省略する。静止画像取得部110aがステップS312において、静止画像間の像の変化が小さいと判別した場合には(ステップS312;NO)、記録部110bは、ステップS105の処理を行って、差分データを生成する。また、静止画像取得部110aは、ステップS312において、静止画像間の像の変化が大きいと判別した場合には(ステップS312;YES)、記録部110bはステップS106の処理を行う。このような処理によって、後の静止画像を前の静止画像との差分によって表現できる可能性が高い場合は、差分データを生成するので、静止画像データのデータ量の調整ができる。
本実施形態において、記憶媒体50に記録された静止画像データ及び差分データについて説明する。図9(下側が時系列的に新しいとする。)のように、フレームレートが低い期間では、各静止画像データが個々に記録され、フレームレートが高い期間については、差分データが生成され記録される。フレームレートが中間のとき、静止画像間の像の変化が大きいと判別された期間に撮影されて生成されたデータは、単独で静止画像を表現できる静止画像データになっている。静止画像間の像の変化が小さいと判別された期間に撮影されて生成されたデータは、基準画像データ以外が差分データに変換されている。
ここでは、上記で説明した構成によって、記録部110bは、(1)第1静止画像(実施形態1参照)の撮影時期と第2静止画像(実施形態1参照)の撮影時期との間隔の長さが第3基準を満たすか(フレームレートが低いか)、(2)第1静止画像の撮影時期と第2静止画像の撮影時期との間隔の長さが第3基準を満たさないが第4基準を満たし(フレームレートが中間であり)、第1静止画像と第2静止画像との画像間の像の変化が第5基準を満たす(変化が大きい)場合に、静止画像データを個々に記憶媒体50に記録する。
また、記録部110bは、(3)第1静止画像の撮影時期と第2静止画像の撮影時期との間隔の長さが第4基準を満たさないか(フレームレートが高いか)、(4)第1静止画像の撮影時期と第2静止画像の撮影時期との間隔の長さが第3基準を満たさないが第4基準を満たし(フレームレートが中間であり)、第1静止画像と第2静止画像との画像間の像の変化が第5基準を満たさない(変化が小さい)場合に、差分データを生成して、記憶媒体50に記録する。
上記のように、フレームレートが中間の場合、後の静止画像を前の静止画像との差分によってうまく表現できない場合もあるし、後の静止画像を前の静止画像との差分によって表現できる場合もある。このような場合、記録部110bは、画像間の像の変化をもとにして、差分データを生成したり、生成しなかったりするので、撮影状況によって静止画像データのデータ量を調整できるとともに、静止画像を適切な方法で記録する。
なお、静止画取得部110aは、ステップS312の処理において、連射撮影を開始する直前の静止画像データ(連射撮影開始前に静止画取得部110aが保持していた最新の静止画像データとこの静止画像データよりもひとつ古い静止画像データと)に基づいて静止画像間の像の変化が大きいか(第基準をたすか)を判別してもよい(判別方法は上記同様。)。この場合、静止画像間の像の変化についての判別の結果を固定できる。しかし、前記のように、最新の静止画像とこれよりもひとつ古い静止画像との像の変化を判別したほうがより適切に静止画像のデータ量を調整できる。
本実施形態の他の説明は、実施形態1及び2に準じるので、詳しい説明は省略する。
100・・・画像記録装置、110・・・制御部、110a・・・静止画像取得部、110b・・・記録部、111・・・CPU、112・・・ROM、113・・・画像記録プログラム、114・・・RAM、120・・・I/F部、121・・・メディアコントローラ、130・・・撮影部、131・・・撮像素子、132・・・撮像レンズ群、133・・・撮像駆動部、134・・・AFE、135・・・TG、136・・・ドライバ、140・・・操作部、141・・・操作キー群、150・・・表示部、151・・・ディスプレイ

Claims (6)

  1. 撮影部を用いて連続的な静止画像の撮影を行い、第1静止画像を表す第1静止画像データと前記第1静止画像の次に撮影された第2静止画像を表す第2静止画像データとを取得する静止画像取得手段と、
    前記静止画像取得手段が取得した、前記第1静止画像データが表す前記第1静止画像と前記第2静止画像データが表す前記第2静止画像とが所定の関係にあるかを判別し、前記第1静止画像と前記第2静止画像とが所定の関係にある場合に、前記第1静止画像データと前記第2静止画像データとを個々に記憶部に記録し、前記第1静止画像と前記第2静止画像とが所定の関係にない場合に、前記第2静止画像データを前記第1静止画像データとの画像上の差分を表す差分データに変換し、変換した前記差分データと前記第1静止画像データとを前記記憶部に記録する記録手段と、
    を備え、
    前記第1静止画像と前記第2静止画像とが前記所定の関係にあるとは、(1)前記第1静止画像の撮影時期と前記第2静止画像の撮影時期との間隔の長さが第3基準を満たすか、(2)前記第1静止画像の撮影時期と前記第2静止画像の撮影時期との間隔の長さが前記第3基準を満たさないが第4基準を満たし、前記第1静止画像と前記第2静止画像との画像間の像の変化が第5基準を満たすことであり、
    前記第1静止画像と前記第2静止画像とが前記所定の関係にないとは、(3)前記第1静止画像の撮影時期と前記第2静止画像の撮影時期との間隔の長さが前記第4基準を満たさないか、(4)前記第1静止画像の撮影時期と前記第2静止画像の撮影時期との間隔の長さが前記第3基準を満たさないが前記第4基準を満たし、前記第1静止画像と前記第2静止画像との画像間の像の変化が前記第5基準を満たさないことであり、
    前記第4基準とは、前記第3基準で定義される長さよりも短く、且つ、所定の長さよりも長いことである、
    ことを特徴とする画像記録装置。
  2. 撮影部を用いて連続的な静止画像の撮影を行い、第1静止画像を表す第1静止画像データと前記第1静止画像の次に撮影された第2静止画像を表す第2静止画像データとを取得する静止画像取得手段と、
    前記静止画像取得手段が取得した、前記第1静止画像データが表す前記第1静止画像と前記第2静止画像データが表す前記第2静止画像とが所定の関係にあるかを判別し、前記第1静止画像と前記第2静止画像とが所定の関係にある場合に、前記第1静止画像データと前記第2静止画像データとを個々に記憶部に記録し、前記第1静止画像と前記第2静止画像とが所定の関係にない場合に、前記第2静止画像データを前記第1静止画像データとの画像上の差分を表す差分データに変換し、変換した前記差分データと前記第1静止画像データとを前記記憶部に記録する記録手段と、
    を備え、
    前記第1静止画像と前記第2静止画像とが前記所定の関係にあるとは、(1)前記第1静止画像の撮影時期と前記第2静止画像の撮影時期との間隔の長さが第3基準を満たすか、(2)前記第1静止画像の撮影時期と前記第2静止画像の撮影時期との間隔の長さが前記第3基準を満たさないが前記第4基準を満たし、静止画像取得手段が前記第1静止画像データを取得する前に取得した静止画像データの画像間の像の変化が第6基準を満たすことであり、
    前記第1静止画像と前記第2静止画像とが前記所定の関係にないとは、(3)前記第1静止画像の撮影時期と前記第2静止画像の撮影時期との間隔の長さが前記第4基準を満たさないか、(4)前記第1静止画像の撮影時期と前記第2静止画像の撮影時期との間隔の長さが前記第3基準を満たさないが前記第4基準を満たし、静止画像取得手段が前記第1静止画像データを取得する前に取得した静止画像データの画像間の像の変化が前記第6基準を満たさないことであり、
    前記第4基準とは、前記第3基準で定義される長さよりも短く、且つ、所定の長さよりも長いことである、
    ことを特徴とする画像記録装置。
  3. 撮影部を備える装置を用いた画像記録方法であって、
    前記撮影部を用いて連続的な静止画像の撮影を行い、第1静止画像を表す第1静止画像データと前記第1静止画像の次に撮影された第2静止画像を表す第2静止画像データとを取得する静止画像取得ステップと、
    前記静止画像取得ステップで取得した、前記第1静止画像データが表す前記第1静止画像と前記第2静止画像データが表す前記第2静止画像とが所定の関係にあるかを判別し、前記第1静止画像と前記第2静止画像とが所定の関係にある場合に、前記第1静止画像データと前記第2静止画像データとを個々に記憶部に記録し、前記第1静止画像と前記第2静止画像とが所定の関係にない場合に、前記第2静止画像データを前記第1静止画像データとの画像上の差分を表す差分データに変換し、変換した前記差分データと前記第1静止画像データとを前記記憶部に記録する記録ステップと、
    を含み、
    前記第1静止画像と前記第2静止画像とが前記所定の関係にあるとは、(1)前記第1静止画像の撮影時期と前記第2静止画像の撮影時期との間隔の長さが第3基準を満たすか、(2)前記第1静止画像の撮影時期と前記第2静止画像の撮影時期との間隔の長さが前記第3基準を満たさないが第4基準を満たし、前記第1静止画像と前記第2静止画像との画像間の像の変化が第5基準を満たすことであり、
    前記第1静止画像と前記第2静止画像とが前記所定の関係にないとは、(3)前記第1静止画像の撮影時期と前記第2静止画像の撮影時期との間隔の長さが前記第4基準を満たさないか、(4)前記第1静止画像の撮影時期と前記第2静止画像の撮影時期との間隔の長さが前記第3基準を満たさないが前記第4基準を満たし、前記第1静止画像と前記第2静止画像との画像間の像の変化が前記第5基準を満たさないことであり、
    前記第4基準とは、前記第3基準で定義される長さよりも短く、且つ、所定の長さよりも長いことである、
    ことを特徴とする画像記録方法。
  4. コンピュータを、
    撮影部を用いて連続的な静止画像の撮影を行い、第1静止画像を表す第1静止画像データと前記第1静止画像の次に撮影された第2静止画像を表す第2静止画像データとを取得する静止画像取得手段と、
    前記静止画像取得手段が取得した、前記第1静止画像データが表す前記第1静止画像と前記第2静止画像データが表す前記第2静止画像とが所定の関係にあるかを判別し、前記第1静止画像と前記第2静止画像とが所定の関係にある場合に、前記第1静止画像データと前記第2静止画像データとを個々に記憶部に記録し、前記第1静止画像と前記第2静止画像とが所定の関係にない場合に、前記第2静止画像データを前記第1静止画像データとの画像上の差分を表す差分データに変換し、変換した前記差分データと前記第1静止画像データとを前記記憶部に記録する記録手段、
    として機能させるプログラムであって、
    前記第1静止画像と前記第2静止画像とが前記所定の関係にあるとは、(1)前記第1静止画像の撮影時期と前記第2静止画像の撮影時期との間隔の長さが第3基準を満たすか、(2)前記第1静止画像の撮影時期と前記第2静止画像の撮影時期との間隔の長さが前記第3基準を満たさないが第4基準を満たし、前記第1静止画像と前記第2静止画像との画像間の像の変化が第5基準を満たすことであり、
    前記第1静止画像と前記第2静止画像とが前記所定の関係にないとは、(3)前記第1静止画像の撮影時期と前記第2静止画像の撮影時期との間隔の長さが前記第4基準を満たさないか、(4)前記第1静止画像の撮影時期と前記第2静止画像の撮影時期との間隔の長さが前記第3基準を満たさないが前記第4基準を満たし、前記第1静止画像と前記第2静止画像との画像間の像の変化が前記第5基準を満たさないことであり、
    前記第4基準とは、前記第3基準で定義される長さよりも短く、且つ、所定の長さよりも長いことである、
    ことを特徴とする画像記録プログラム。
  5. 撮影部を備える装置を用いた画像記録方法であって、
    前記撮影部を用いて連続的な静止画像の撮影を行い、第1静止画像を表す第1静止画像データと前記第1静止画像の次に撮影された第2静止画像を表す第2静止画像データとを取得する静止画像取得ステップと、
    前記静止画像取得ステップで取得した、前記第1静止画像データが表す前記第1静止画像と前記第2静止画像データが表す前記第2静止画像とが所定の関係にあるかを判別し、前記第1静止画像と前記第2静止画像とが所定の関係にある場合に、前記第1静止画像データと前記第2静止画像データとを個々に記憶部に記録し、前記第1静止画像と前記第2静止画像とが所定の関係にない場合に、前記第2静止画像データを前記第1静止画像データとの画像上の差分を表す差分データに変換し、変換した前記差分データと前記第1静止画像データとを前記記憶部に記録する記録ステップと、
    を含み、
    前記第1静止画像と前記第2静止画像とが前記所定の関係にあるとは、(1)前記第1静止画像の撮影時期と前記第2静止画像の撮影時期との間隔の長さが第3基準を満たすか、(2)前記第1静止画像の撮影時期と前記第2静止画像の撮影時期との間隔の長さが前記第3基準を満たさないが前記第4基準を満たし、静止画像取得手段が前記第1静止画像データを取得する前に取得した静止画像データの画像間の像の変化が第6基準を満たすことであり、
    前記第1静止画像と前記第2静止画像とが前記所定の関係にないとは、(3)前記第1静止画像の撮影時期と前記第2静止画像の撮影時期との間隔の長さが前記第4基準を満たさないか、(4)前記第1静止画像の撮影時期と前記第2静止画像の撮影時期との間隔の長さが前記第3基準を満たさないが前記第4基準を満たし、静止画像取得手段が前記第1静止画像データを取得する前に取得した静止画像データの画像間の像の変化が前記第6基準を満たさないことであり、
    前記第4基準とは、前記第3基準で定義される長さよりも短く、且つ、所定の長さよりも長いことである、
    ことを特徴とする画像記録方法。
  6. コンピュータを、
    撮影部を用いて連続的な静止画像の撮影を行い、第1静止画像を表す第1静止画像データと前記第1静止画像の次に撮影された第2静止画像を表す第2静止画像データとを取得する静止画像取得手段と、
    前記静止画像取得手段が取得した、前記第1静止画像データが表す前記第1静止画像と前記第2静止画像データが表す前記第2静止画像とが所定の関係にあるかを判別し、前記第1静止画像と前記第2静止画像とが所定の関係にある場合に、前記第1静止画像データと前記第2静止画像データとを個々に記憶部に記録し、前記第1静止画像と前記第2静止画像とが所定の関係にない場合に、前記第2静止画像データを前記第1静止画像データとの画像上の差分を表す差分データに変換し、変換した前記差分データと前記第1静止画像データとを前記記憶部に記録する記録手段、
    として機能させるプログラムであって、
    前記第1静止画像と前記第2静止画像とが前記所定の関係にあるとは、(1)前記第1静止画像の撮影時期と前記第2静止画像の撮影時期との間隔の長さが第3基準を満たすか、(2)前記第1静止画像の撮影時期と前記第2静止画像の撮影時期との間隔の長さが前記第3基準を満たさないが前記第4基準を満たし、静止画像取得手段が前記第1静止画像データを取得する前に取得した静止画像データの画像間の像の変化が第6基準を満たすことであり、
    前記第1静止画像と前記第2静止画像とが前記所定の関係にないとは、(3)前記第1静止画像の撮影時期と前記第2静止画像の撮影時期との間隔の長さが前記第4基準を満たさないか、(4)前記第1静止画像の撮影時期と前記第2静止画像の撮影時期との間隔の長さが前記第3基準を満たさないが前記第4基準を満たし、静止画像取得手段が前記第1静止画像データを取得する前に取得した静止画像データの画像間の像の変化が前記第6基準を満たさないことであり、
    前記第4基準とは、前記第3基準で定義される長さよりも短く、且つ、所定の長さよりも長いことである、
    ことを特徴とする画像記録プログラム。
JP2009292577A 2009-12-24 2009-12-24 画像記録装置、画像記録方法及び画像記録プログラム Expired - Fee Related JP5600935B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009292577A JP5600935B2 (ja) 2009-12-24 2009-12-24 画像記録装置、画像記録方法及び画像記録プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009292577A JP5600935B2 (ja) 2009-12-24 2009-12-24 画像記録装置、画像記録方法及び画像記録プログラム

Publications (3)

Publication Number Publication Date
JP2011135286A JP2011135286A (ja) 2011-07-07
JP2011135286A5 JP2011135286A5 (ja) 2013-02-14
JP5600935B2 true JP5600935B2 (ja) 2014-10-08

Family

ID=44347561

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009292577A Expired - Fee Related JP5600935B2 (ja) 2009-12-24 2009-12-24 画像記録装置、画像記録方法及び画像記録プログラム

Country Status (1)

Country Link
JP (1) JP5600935B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014049838A (ja) * 2012-08-30 2014-03-17 Xacti Corp 電子カメラ

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63232691A (ja) * 1987-03-20 1988-09-28 Fujitsu Ltd 画像符号化方式
JPH09322154A (ja) * 1996-05-31 1997-12-12 Sony Corp 監視ビデオ装置
JP2008283276A (ja) * 2007-05-08 2008-11-20 Matsushita Electric Ind Co Ltd 撮像装置
JP4842919B2 (ja) * 2007-12-20 2011-12-21 富士フイルム株式会社 表示装置、撮影装置、および表示方法

Also Published As

Publication number Publication date
JP2011135286A (ja) 2011-07-07

Similar Documents

Publication Publication Date Title
JP4591325B2 (ja) 撮像装置及びプログラム
JP4943721B2 (ja) 画像データのカラーノイズ除去方法及びこの方法を用いた撮像装置
JP4441882B2 (ja) 撮影装置、表示制御方法、プログラム
JP4757113B2 (ja) 撮像装置及びその制御方法、情報処理装置、印刷装置、印刷データ生成方法
TWI459126B (zh) 可產生廣角影像之影像處理裝置、影像處理方法及記錄媒體
JP2008283629A (ja) 撮像装置、撮像信号処理方法、プログラム
JP5126207B2 (ja) 撮像装置
TW201301866A (zh) 可產生廣角影像之影像處理裝置、影像處理方法、及記錄媒體
JP5614425B2 (ja) 撮像装置及びプログラム
JP4635739B2 (ja) 撮像装置
JP4733068B2 (ja) 撮影装置および方法並びにプログラム
JP2006340070A (ja) 撮像装置及び撮像方法
JP5338373B2 (ja) 撮像装置
JP4123352B2 (ja) 動画撮像装置及び動画再生装置
JP4445662B2 (ja) 電子カメラ
JP5600935B2 (ja) 画像記録装置、画像記録方法及び画像記録プログラム
JP5352377B2 (ja) 画像処理装置及び画像処理方法
JP5625325B2 (ja) 画像データ記録装置および画像データ記録プログラム
JP2007208355A (ja) 撮影装置および方法並びにプログラム
JP4887733B2 (ja) 撮像装置、撮像方法及びプログラム
JP4270668B2 (ja) 電子カメラ
JP2011139123A (ja) 画像処理装置及び画像処理プログラム
JP2012109863A (ja) 撮像装置と画像処理方法
JP4236603B2 (ja) 電子カメラ
JP2010081345A (ja) 撮像装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121219

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20121219

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131127

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131203

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131219

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140520

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140606

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140722

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140804

R150 Certificate of patent or registration of utility model

Ref document number: 5600935

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees