JP2006054523A - スライドショー表示方法、画像表示装置、撮像装置、画像再生装置、及びプログラム - Google Patents

スライドショー表示方法、画像表示装置、撮像装置、画像再生装置、及びプログラム Download PDF

Info

Publication number
JP2006054523A
JP2006054523A JP2004232902A JP2004232902A JP2006054523A JP 2006054523 A JP2006054523 A JP 2006054523A JP 2004232902 A JP2004232902 A JP 2004232902A JP 2004232902 A JP2004232902 A JP 2004232902A JP 2006054523 A JP2006054523 A JP 2006054523A
Authority
JP
Japan
Prior art keywords
image
image data
information
storage memory
shooting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004232902A
Other languages
English (en)
Other versions
JP4345608B2 (ja
JP2006054523A5 (ja
Inventor
Hiroki Atsumi
広城 渥美
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2004232902A priority Critical patent/JP4345608B2/ja
Publication of JP2006054523A publication Critical patent/JP2006054523A/ja
Publication of JP2006054523A5 publication Critical patent/JP2006054523A5/ja
Application granted granted Critical
Publication of JP4345608B2 publication Critical patent/JP4345608B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)

Abstract

【課題】 画像の撮影情報からスライドショー表示の際の動きを自動的に決定し得るスライドショー表示方法、撮像装置、画像再生装置、及びプログラムの提供
【解決手段】 スライドショー表示が選択されると(T1)、再生カウンタiに1をセットし(T2)、保存メモリからi番目の画像データとAF情報(合焦位置と被写体距離)を読み出す(T3、T4)。次にAF情報に基づいて再生画像の動きを決定し(T5)、画像データを再生し、画像を決定された動きに従って表示させる(T6)。
ステップT5(画像の動作決定アルゴリズム)で決定された動作により、ステップT6で、遠景の被写体にはパン動作により遠景全体を見回すように画像が表示され、近景左側の被写体にはズームイン動作により合焦位置に焦点を合わすように画像がズームされる。
【選択図】 図5

Description

本発明は画像の撮影情報を利用したスライドショー表示技術に関する。
パソコンやデジタルカメラ等の画像表示装置で静止画に動きや音楽や切り替え効果を与え、画面上で静止画を見るスライドショー表示機能がある。スライドショー表示機能の一利用形態として、パソコンやデジタルカメラの電源が入っているときに所定時間以上操作がなされない場合に画面焼け防止のためにスクリーンセーバモードに移行して静止画を行うスクリーンセーバがよく知られている(例えば、特許文献1参照)。
従来技術のスライドショーにおいては、動き、音楽、切り替え効果の選択方法として、(1)被写体に無関係な、決められた、「動き」、「音楽」、「切り替え効果」を使う方法(例えば特許文献2参照)、又は(2)利用者が被写体に合った、「動き」、「音楽」、「切り替え効果」を指定する方法(例えば特許文献3参照)、がある。なお、「動き」とは、図19に示すズームイン動作や図7に示すパン動作などである。
特開平11−313229号公報 特開2004−64396号公報 特開2004−95019号公報
しかしながら、上記(1)の選択方法では被写体に無関係に決められた、「動き」、「音楽」、「切り替え効果」を使用するので、被写体と「動き」、「音楽」、「切り替え効果」が一致しない場合、例えば、重要でない部分へズームインする、といった課題があった。
具体例として、図19に示すズームインの例では単純にズームインすると中心部分をズームインするので図19(a)に示すように主要な被写体Aが中心部分に写っている場合はよいが、図19(b)に示すように主要な被写体Aが中心にない場合はズームイン部分が主要な被写体Aから外れてしまうといった課題があった。
また、上記(2)の選択方法では、「動き」、「音楽」、「切り替え効果」をユーザが一つ一つ選択するので上記(1)の選択方法のように被写体と「動き」、「音楽」、「切り替え効果」が一致しないといった問題は生じないが、「動き」、「音楽」、「切り替え効果」をユーザに強いるといった点で利便性が低いといった課題があった。
本発明は、上記課題を解決するためになされたものであり、画像の撮影情報からスライドショー表示の際の「動き」を自動的に決定しうるスライドショー表示方法、画像表示装置、撮像装置、画像再生装置、及びプログラムを提供することを目的とする。
上記課題を解決するために、請求項1に記載の発明では、保存メモリに保存されている画像データを再生し、再生された画像を表示する画像表示装置におけるスライドショー表示方法であって、保存メモリに保存されている画像データを読み出すステップと、画像データに対応付けられて保存メモリに保存されている撮影情報を読み出すステップと、読み出した撮影情報を基に再生画像の動きを決定するステップと、読み出した画像データから画像を再生して決定された動きに従って表示するステップと、を備えたことを特徴とするスライドショー表示方法を提供する。
これにより、画像表示装置は保存メモリに保存されている画像の動きをその画像の撮影情報をもとに自動的に決定して再生するので、被写体に合った動きの再生画像を表示できる。また、自動的に「動き」を決定するのでユーザが「動き」を一つ一つ選択して設定しておく必要がなく利便性が高い。
また、請求項2に記載の発明では、被写体を撮影してその画像データを生成し、生成した画像データを保存メモリに保存する撮影モードと、保存メモリに保存されている画像データを再生して表示する画像再生モードを備えた撮像装置におけるスライドショー表示方法であって、撮影モードで、撮影した画像の撮影情報を得るステップと、撮影により得た画像データを保存メモリに保存するステップと、撮影情報を画像データに対応付けて保存メモリに保存するステップと、画像再生モードにおいてスライドショー表示が選択されたとき、保存メモリに保存されている画像データを読み出すステップと、読み出された画像データに対応付けて保存されている撮影情報を保存メモリから読み出すステップと、読み出した撮影情報を基に再生画像の動きを決定するステップと、読み出した画像を再生して決定された動きに従って表示するステップと、を備えたことを特徴とするスライドショー表示方法を提供する。
これにより、撮像装置は撮影時に撮影画像の撮影情報を取得して保存メモリに画像と対応付けて保存し、画像再生時に、保存メモリに保存されている画像の動きをその画像の撮影情報をもとに自動的に決定して再生することができる。つまり、撮影時に取得した撮影情報を元に自動的に「動き」を決定するのでユーザが「動き」を一つ一つ選択して設定しておく必要がなく利便性が高い。
また、請求項3に記載の発明では、保存メモリに撮影情報とともに保存されている画像データを再生し、外部表示装置に表示させるスライドショー表示方法であって、前記保存メモリに保存されている画像データを読み出すステップと、前記画像データに対応付けられて前記保存メモリに保存されている撮影情報を読み出すステップと、読み出した撮影情報を基に再生画像の動きを決定するステップと、前記読み出した画像データから画像を再生し、前記決定された動きに従って外部表示装置に出力するステップと、を備えたことを特徴とするスライドショー表示方法を提供する。
これにより、画像再生装置は保存メモリに保存されている画像の動きをその画像の撮影情報をもとに自動的に決定して再生し、決定された動きに従って外部表示装置に出力するので、外部表示装置側では被写体に合った動きの再生画像を表示できる。また、画像再生装置で自動的に「動き」を決定するのでユーザが「動き」を一つ一つ選択して設定しておく必要がなく利便性が高い。
また、請求項4に記載の発明では、動きは、1枚の元となる静止画像に対し、パン、チルト、ズームなどの視覚的な変化を与える処理であることを特徴とする請求項1乃至3のいずれか1項に記載のスライドショー表示方法を提供する。
パン動作により遠景や風景全体を見回すように再生画像が表示され、チルト動作により夕日のような上から下への動き、花火等のような下から上への動きを表現され、ズームイン動作により主要な被写体に焦点を合わすように再生画像がズームされる。
また、請求項5に記載の発明では、撮影情報は複数の合焦位置のうち主要な被写体との合焦位置情報及び該主要な被写体との距離情報であることを特徴とする請求項1乃至3のいずれか1項に記載のスライドショー表示方法を提供する。
これにより、画像の動きを合焦位置及び被写体距離に基づいて決定するので、遠景の被写体には景色全体を見回すような動作で再生画像が表示され、近景左側の被写体には主要な被写体に焦点にあてるような動作を決定することができる。
また、請求項6に記載の発明では、再生画像の動きを決定するステップは、被写体との距離情報を基に再生画像が近景か遠景かを調べ、遠景の場合はパン動作を行うように再生画像の動きを決定するステップと、合焦位置情報を基に再生画像のズーム表示方向を決定するステップと、を含むことを特徴とする請求項5記載のスライドショー表示方法を提供する。
これにより、遠景の被写体にはパン動作により遠景全体を見回すように再生画像が表示され、近景の被写体にはズームイン動作により主要な被写体に焦点を合わすように再生画像がズームされるので、ユーザは静止画像であってもあたかも動画をみているかのような動きと臨場感を得ることができる。
また、請求項7に記載の発明では、撮影情報は、撮影条件設定の集合セットであることを特徴とする請求項1乃至3のいずれか1乃至3のいずれか1項に項に記載のスライドショー表示方法を提供する。
これにより、ベストショットモードで撮影された画像の動きを撮影条件セットに対応させた動きで制御することが可能となる。
また、請求項8に記載の発明では、再生画像の動きを決定するステップは、撮影条件設定の集合セット毎に設定された動き情報を元に再生画像の動きを決定するステップを含む、ことを特徴とする請求項7記載のスライドショー表示方法を提供する。
これにより、ベストショットモードで撮影された画像は撮影条件セットに対応してスライドショーの動きが制御されるので、被写体に最適なスライドショー表示を行うことができる。
また、請求項9に記載の発明では、保存メモリに保存されている画像データを再生し、再生された画像を表示する画像表示装置において、撮影画像の画像データと該撮影画像に対応付けられた撮影情報を保存している保存メモリと、保存メモリから画像データ及び該影画像データに対応付けられた撮影情報を保存メモリから読み出すデータ読み出し制御手段と、読み出した撮影情報に基づいて再生画像の動きを決定する動き決定手段と、画像データを再生して動き決定手段により決定された動きに従って表示する表示制御手段と、を備えたことを特徴とする画像表示装置を提供する。
これにより、画像表示装置は保存メモリに保存されている画像の動きをその画像の撮影情報をもとに自動的に決定して再生するので、被写体に合った動きの再生画像を表示できる。また、自動的に「動き」を決定するのでユーザが「動き」を一つ一つ選択して設定しておく必要がなく利便性が高い。
また、請求項10に記載の発明では、撮影情報は複数の合焦位置のうち主要な被写体との合焦位置情報及び該主要な被写体との距離情報であり、動き決定手段は被写体との距離情報を基に再生画像が近景か遠景かを調べ、遠景の場合はパン動作を行うように再生画像の動きを決定する手段と、合焦位置情報を基に再生画像のズーム表示方向を決定する手段と、を含むことを特徴とする請求項9記載の画像表示装置を提供する。
これにより、遠景の被写体にはパン動作により遠景全体を見回すように再生画像が表示され、近景の被写体にはズームイン動作により主要な被写体に焦点を合わすように再生画像がズームされるので、ユーザは静止画像であってもあたかも動画をみているかのような動きと臨場感を得ることができる。
また、請求項11に記載の発明では、撮影情報は、撮影条件設定の集合セットであり、前記動き決定手段は撮影条件設定の集合セット毎に設定された動き情報を元に再生画像の動きを決定する手段を含む、ことを特徴とする請求項9記載の画像表示装置を提供する。
これにより、画像表示装置に保存されていう画像のうち、ベストショットモードで撮影された画像は撮影条件セットに対応してスライドショーの動きが制御できるので、被写体に最適なスライドショー表示を行うことができる。
また、請求項12に記載の発明では、被写体を撮影してその画像データを生成する撮像手段と、生成した画像データを保存する保存メモリと、保存メモリに保存されている画像データを再生して表示する画像再生モードを備えた撮像装置において、画像再生モードにおいてスライドショー表示が選択されたとき、撮像手段による撮影時に撮影画像の撮影情報を取得する撮影情報取得手段と、撮影画像の画像データと該画像データと撮影情報を対応付けて保存メモリに保存する保存制御手段と、保存メモリから画像データ及び該影画像データに対応付けられた撮影情報を保存メモリから読み出すデータ読み出し制御手段と、読み出した撮影情報に基づいて再生画像の動きを決定する動き決定手段と、画像データを再生して動き決定手段により決定された動きに従って表示する表示制御手段と、を備えたことを特徴とする撮像装置を提供する。
これにより、撮像装置は撮影時に撮影画像の撮影情報を取得して保存メモリに画像と対応付けて保存し、画像再生時に、保存メモリに保存されている画像の動きをその画像の撮影情報をもとに自動的に決定して再生することができる。つまり、撮影時に取得した撮影情報を元に自動的に「動き」を決定するのでユーザが「動き」を一つ一つ選択して設定しておく必要がなく利便性が高い。
また、請求項13に記載の発明では、撮影情報は複数の合焦位置のうち主要な被写体との合焦位置情報及び該主要な被写体との距離情報であり、動き決定手段は被写体との距離情報を基に再生画像が近景か遠景かを調べ、遠景の場合はパン動作を行うように再生画像の動きを決定する手段と、合焦位置情報を基に再生画像のズーム表示方向を決定する手段と、を含むことを特徴とする請求項12記載の画像表示装置を提供する。
これにより、遠景の被写体にはパン動作により遠景全体を見回すように再生画像が表示され、近景の被写体にはズームイン動作により主要な被写体に焦点を合わすように再生画像がズームされるので、ユーザは静止画像であってもあたかも動画をみているかのような動きと臨場感を得ることができる。
また、請求項14に記載の発明では、撮影情報は、撮影条件設定の集合セットであり、前記動き決定手段は撮影条件設定の集合セット毎に設定された動き情報を元に再生画像の動きを決定する手段を含む、ことを特徴とする請求項12記載の撮像装置を提供する。
これにより、撮像装置でベストショットモードで撮影された画像は、撮影条件セットに対応してスライドショーの動きを制御できるので、被写体に最適なスライドショー表示を行うことができる。
また、請求項15に記載の発明では、保存メモリに保存されている画像データを再生し、外部表示装置に表示させる画像再生装置において、画像データと該画像データに対応付けられた撮影情報を保存している保存メモリと、前記保存メモリから画像データ及び該影画像データに対応付けられた撮影情報を前記保存メモリから読み出すデータ読み出し制御手段と、読み出した撮影情報に基づいて前記再生画像の動きを決定する動き決定手段と、前記画像データを再生し前記動き決定手段により決定された動きに従って外部表示装置に出力する手段と、を備えたことを特徴とする画像表示装置を提供する。
これにより、画像再生装置は保存メモリに保存されている画像の動きをその画像の撮影情報をもとに自動的に決定して再生し、決定された動きに従って外部表示装置に出力するので、外部表示装置側では被写体に合った動きの再生画像を表示できる。また、画像再生装置で自動的に「動き」を決定するのでユーザが「動き」を一つ一つ選択して設定しておく必要がなく利便性が高い。
また、請求項16に記載の発明では、前記撮影情報は複数の合焦位置のうち主要な被写体との合焦位置情報及び該主要な被写体との距離情報であり、前記動き決定手段は前記被写体との距離情報を基に再生画像が近景か遠景かを調べ、遠景の場合はパン動作を行うように再生画像の動きを決定する手段と、前記合焦位置情報を基に再生画像のズーム表示方向を決定する手段と、を含むことを特徴とする請求項15記載の画像再生装置を提供する。
これにより、外部表示装置において、遠景の被写体にはパン動作により遠景全体を見回すように再生画像が表示され、近景の被写体にはズームイン動作により主要な被写体に焦点を合わすように再生画像がズームされるので、ユーザは静止画像であってもあたかも動画をみているかのような動きと臨場感を得ることができる。
また、請求項17に記載の発明では、撮影情報は、撮影条件設定の集合セットであり、前記動き決定手段は撮影条件設定の集合セット毎に設定された動き情報を元に再生画像の動きを決定する手段を含む、ことを特徴とする請求項9記載の画像再生装置を提供する。
これにより、画像再生装置に保存されている画像のうち、ベストショットモードで撮影された画像は撮影条件セットに対応してスライドショーの動きが制御されるので、被写体に最適なスライドショー表示を行うことができる。
また、請求項18に記載の発明では、保存メモリに保存されている画像データを再生し、再生した画像を表示する画像表示装置において実行可能なプログラムであって、保存メモリに保存されている画像データを読み出させるプログラムステップと、画像データに対応付けられて保存メモリに保存されている撮影情報を読み出させるプログラムステップと、読み出した撮影情報を基に再生画像にパン、チルト、ズームなどの視覚的な変化を与える処理を決定させるステップと、読み出した画像データを再生させ決定された処理に従って表示させるプログラムステップと、を備えたことを特徴とするプログラムを提供する。
これにより、画像表示装置は保存メモリに保存されている画像の動きをその画像の撮影情報をもとに自動的に決定して再生できる。
また、請求項19に記載の発明では、被写体を撮影してその画像データを生成し、生成した画像データを保存メモリに保存する撮影モードと、保存メモリに保存されている画像データを再生して表示する画像再生モードを備えた撮像装置いて実行可能なプログラムであって、撮影モードで、画像の撮影時に当該画像の撮影情報を取得させるプログラムステップと、撮影した画像の画像データを保存メモリに保存させるプログラムステップと、撮影情報を画像データに対応付けて保存メモリに保存させるプログラムステップと、画像再生モードにおいてスライドショー表示が選択されたか否かを判定させるプログラムステップと、スライドショー表示が選択されたとき、保存メモリに保存されている画像データを読み出させるプログラムステップと、読み出した画像データに対応付けられて保存メモリに保存されている撮影情報を読み出させるプログラムステップと、読み出した撮影情報を基に再生画像にパン、チルト、ズームなどの視覚的な変化を与える処理を決定させるステップと、読み出した画像データを再生させ決定された処理に従って表示させるプログラムステップと、を備えたことを特徴とするプログラムを提供する。
これにより、撮像装置は撮影時に撮影画像の撮影情報を取得して保存メモリに画像と対応付けて保存し、画像再生時に、保存メモリに保存されている画像の動きをその画像の撮影情報をもとに自動的に決定して再生できる。
また、請求項20に記載の発明では、保存メモリに撮影情報と共に保存されている画像データを再生し、再生した画像を外部表示装置に表示させる画像再生装置おいて実行可能なプログラムであって、保存メモリに保存されている画像データを読み出させるプログラムステップと、前記画像データに対応付けられて前記保存メモリに保存されている撮影情報を読み出させるプログラムステップと、読み出した撮影情報を基に再生画像にパン、チルト、ズームなどの視覚的な変化を与える処理決定させるステップと、読み出した画像データを再生し、前記決定された処理に従って外部表示装置に表示させるプログラムステップと、を備えたことを特徴とするプログラムを提供する。
これにより、画像再生装置は、保存メモリに保存されている画像の動きをその画像の撮影情報をもとに自動的に決定して再生し、外部表示装置に決定された動きに従って表示させることができる。
本発明によれば、撮像情報に基づいて自動的に被写体に合った動きを決定し、再生画像を決定された動きに従って表示することができるので、被写体の最適な動きをスライドショーできる。また、自動的に動きを決定するのでユーザが動きを一つ一つ選択して設定しておく必要がなく利便性が高い。
(実施形態1)
<1−1.デジタルカメラの構成>
図1は本発明のスライドショー表示方法を実施可能なデジタルカメラの内部構成例を示すブロック図である。本実施形態では図3に示す3フォーカスAF(Automatic Focus:オートフォーカス)によるAF情報やベストショットモードを撮影情報として用いるが、AF情報のマルチフォーカスエリアの数は3に限定されない。また、撮影情報はAF情報やベストショットモードに限定されない。例えば、ズーム倍率、静止画/動画の別等を撮影情報として用いることができる。なお、本実施例ではAF情報は図2に示す合焦位置(AF1〜AF3)と被写体距離からなる。
ここで、ベストショットモードとは、風景、夕日、花火、人物、・・等のサンプルを表示し、各サンプルに最適撮影条件(例えば、シャッタースピード、露出、ホワイトバランス等・・)をセットとして対応付けユーザがサンプルを選択すると対応する最適撮影条件を撮影条件として自動設定して撮影できるというものである。つまり、ベストショットモードは撮影条件設定の集合セットである。
撮影条件セットとしては、例えば、下記(1)〜)3)のようなものがあるがこれらの例に限定されない。メーカーにより予め設定されるが、ユーザが設定することも可能である。下記で、AFはオートフォーカス、WBはホワイトバランスの略である。
(1)風景:AF=∞、フラッシュ=off、WB=太陽光、色強調=青、彩度=高
(2)夕日:AF=∞、フラッシュ=off、WB=太陽光、色強調=赤、彩度=高
(3)人物:AF=オート、フラッシュ=オート、WB=太陽光、色強調=肌色、彩度=普通
図1で、デジタルカメラ100は光学系11、信号変換部12、信号処理部13、DRAM14、制御部20、操作部30、表示部40、記録部50、画像カウンタ61、再生カウンタ62、及び電源90を有している。
光学系11は、撮像レンズ111、自動露出機構113、及びAF装置114を含み、撮像レンズ111を介して集光された被写体像の光束を後段の撮像素子(CCD)上に結像させる。カメラ視野内の複数の合焦位置(マルチフォーカスエリア)が仮の合焦位置として設定されており、撮影待機時に複数の合焦位置のうち主要な被写体に合焦している合焦位置がある場合にユーザが自動合焦開始指示(本実施例ではシャッターボタン36の半押)があるとAF装置114はAF情報(その合焦位置の位置情報及びその被写体との距離)を取得し撮影指示(本実施例ではシャッターボタン36の全押し)があるとAF情報を制御部20に送出する。
信号変換部12は、A/D変換器等の信号変換回路等(図示せず)を含み、前段の光学系11を介して結像した画像をCCDなどの撮像素子によって電気信号に変換し、その電気信号をデジタルデータに変換して一定の周期で出力する。
信号処理部13は、信号変換部12からのデジタルデータを受けてCCDの画素に対応したベイヤーベースの形で一旦保持し、それを補間してRGBデータを作成し、更に、輝度、色差マルチプレクス信号(Y,Cb,Crデータ)等の信号成分を得る。そのY,Cb,Crデータ(以下、画像データ)をDRAM14に転送し、一時的に記憶する。また、スルー画像(撮影待機画像)を表示するために、取込んだ画像データを間引いて表示部40に送る。また、シャッター操作がされるとその時点の画像データを表示部40に送って静止画表示させる。
また、信号処理部13は、記録保存の際にはDRAM14に書き込まれている画像データを読み出して、JPEG圧縮処理を施して記録部50のメモリーカード51(図2)等の保存メモリに保存記録し、再生時にはメモリーカード51に記録されている圧縮画像データに伸張処理を施して画像データを再生する圧縮伸張部と、サムネイル画像(縮小画像)を生成するサムネイル画像生成部を備えている。
また、上記圧縮伸張部は複数の圧縮率に対応しており、圧縮率に対応させて記憶するモードは圧縮率の低い高解像度(一般に、高精密、ファイン、ノーマルなどと呼ばれる)に対応するモードと圧縮率の高い低解像度(一般にエコノミーなどと呼ばれる)モードがある。
また、高画素数から低画素数にも対応している。例えば、SXGA(1600×1200)、XGA(1024×786)、SVGA(800×600)、VGA(640×480)等と呼ばれる画像サイズがある。
DRAM14は作業用メモリとして用いられ、撮像された静止画像を一時的に記憶する画像バッファ領域やJPEG圧縮/伸張時や画像合成時の作業用領域等が確保されている。
制御部20は、CPU、RAM、プログラム格納用ROMおよびタイマー等の計時機構を備えたマイクロプロセッサ構成を有しており、CPUは、上述の各回路および図示しない電源切換えスイッチ等にバスラインを介して接続し、プログラム格納用ROMに格納されている制御プログラムによりデジタルカメラ100全体の制御を行なうと共に、操作部30からの状態信号に対応してプログラム格納用ROMに格納されている各モードに対応の動作プログラムを取り出して、デジタルカメラ100の各機能の実行制御、例えば、撮影条件や撮影情報の取得、記録等を行う。
操作部30は、モード切替スイッチ31、液晶モニタスイッチ、ズームキー、メニューキー、カーソルキー、シャッターボタン36、及びスライドショーボタン38等のキーやスイッチを構成部分としており、これらのキーやスイッチが操作されると状態信号や設定値が制御部20に送出される。
表示部40はビデオエンコーダ(デジタル入出力表示部の場合は不要)、VRAM(図示せず)および液晶モニタ画面(LCD)等から構成されており、制御部20の表示制御により、撮像時のスルー画像の表示、再生時の再生画像の表示、処理選択時の選択用メニュー(或いはアイコン)の表示、スライドショー表示等を行なう。
記録部50は制御部20の制御下でメモリーカード等の着脱自在な保存メモリにアクセスしてデータの書き込み/読み出しを行い、画像データ(圧縮画像データ)と画像データに関連付けられた撮影条件を保存記録する画像データに関連付けて記録する。また、画像の撮影モード等を登録する画像情報リスト(図示せず)等を記録することができる。なお、メモリーカードに代えてフラッシュメモリのような内蔵メモリを用いるようにしてもよい。
図2はメモリーカード51の記憶領域構成の一実施例を示す図であり、メモリーカード51には、図2に示すように、管理領域51−0と、静止画や動画の各画像の圧縮画像データ(画像ファイル)をそれぞれ記録する画像データ記録領域51−1、縮小画像記憶領域51−2、撮影情報を記録する撮影情報記憶領域51−3等が設けられている。また、楽曲データや音声データを記録する音声データ記録領域を設けるようにしてもよい。なお、画像データ記録領域51−1の代わりに静止画データを記憶する領域と動画を記憶する領域を別々に確保するようにしてもよい。
管理領域51−0にはメモリーカード51に記録された各種画像の情報を登録した画像管理ファイルや、本発明のカレンダ表示用の動画情報を記録した動画管理ファイル等が格納されている。
<1−2.マルチフォーカスエリア>
図3はマルチフォーカスエリアの説明図であり、フォーカスエリアの数を長方形の枠線で示されているAF1、AF2、AF3とした例である。図示の例ではエリアの配列を横一列としたが、縦方向に列をなしていてもよく、或いは十字形配列等でもよい。図示の例では主要な被写体Aは合焦位置AF3にあるので、このとき撮影指示(シャッターボタン36の全押し)があるとAF装置114は撮影情報として合焦位置AF3の位置情報及び主要な被写体Aとの距離情報を取得し、制御部20に送出する。
<1−3.画像の動き>
デジタルカメラ100等の撮像装置によって撮影され、メモリーカード51に記録された画像データはスライドショーボタン38が押されることにより再生され、撮影時に得られたAF情報やベストショットモードのサンプルパターンの識別情報等の撮影情報から適切な画像の動きを判断してスライドショー表示される。
なお、本明細書で、画像の動きとは、1枚の元となる静止画像に対し、パン、チルト(tilt:傾ける)ズーム、などの視覚的な変化を与える処理を意味する。
以下、デジタルカメラ100の撮影時の動作例について図4のフローチャートで、スライドショー表示モード時の動作例について図5のフローチャートで説明する。また、動きの決定動作について図6及び図11のフローチャートで説明し、このときの動き、パン動作、ズームイン左動作、ズームイン中央動作、ズームイン右動作の例を図7〜10に、パン動作及びチルト動作の例を図13及び図14に示す。なお、図中の矢印は動きの方向を示す。
<1−4.撮影モード時のデジタルカメラの制御動作>
図4は、撮影モード時の動作プログラムによるデジタルカメラの制御部の制御動作例を示すフローチャート(本発明と直接関係しない部分は省略した概略フローチャート)である。以下、図1〜図3を基に説明する。
撮影モードで、制御部20は撮影モードがベストショットモードか否かを調べ、ベストショットモードの場合にはベストショットモードでの撮影処理(図示略)に進み、そうでない場合にはステップS1に進む(ステップS0)。
制御部20は、光学系11を制御して所定時間毎に被写体像を取り込み、信号変換部12及び信号処理部13により画像データに変換してDRAM14に一時記憶(上書き)し(ステップS1)、信号処理部13を制御してスルー画像(撮影待機画像)を生成し、表示部40に送ってスルー表示させる(ステップS2)。
制御部20は、表示部40に表示されているスルー画像上にマルチフォーカスエリアAF1、AF2、AF3(図3)を重畳表示してユーザに自動合焦開始指示(この例ではシャッターボタン36の半押し)を促し(ステップS3)、操作部30からの信号を調べて自動合焦開始指示があった場合はステップS5に進み、そうでない場合はステップS1に戻る(ステップS4)。
自動合焦開始指示があると制御部20はシャッターボタン36をロックすると共にAF装置114を制御して自動合焦を開始させる。AF装置114はユーザがカメラ操作を行って主要な被写体像がマルチフォーカスエリアAF1、AF2、AF3のうちの一つに合うようにするとそのエリアに合焦するように動作し、合焦が終わるとシャッターボタン36のロックを解除して撮影指示を可能とする(ステップS5)。
ユーザは所望のタイミングを捉えて撮影指示(実施例ではシャッターボタン36の全押し)を行うので、制御部20は操作部30からの信号を調べ撮影指示がなされた場合は、ステップS7に進み、そうでない場合は撮影指示を待つ(ステップS6)。
撮影指示があった場合は、AF装置114から合焦した際のAF情報(合焦位置及び主要な被写体との距離X)を取得してDRAM14に保持し(ステップS7)、撮影指示時点でDRAM14に記憶した画像データを取り出して静止画像を表示部40に表示させる(ステップS8)。
次に、ユーザが記録指示操作を行ったか否かを調べ(ステップS9)、記録指示操作がなされた場合はDRAM14に一時記憶されている画像データを圧縮してメモリーカード51の画像データ記憶領域51−1に記録すると共に、ステップS6で取得したAF情報及びその他の撮影情報を圧縮処理された画像データに関連付けてメモリーカード51の撮影情報記憶領域51−3に記録する(ステップS10)。また、制御部20は画像カウンタ61に1を加える(ステップS10)。
上記図4のフローチャートに示した動作によりデジタルカメラ100は撮影時にスライドショー表示の際動きを規定する撮影情報(この例ではAF情報(合焦位置及び被写体距離))を撮影画像に対応付けてメモリーカード51等の保存メモリに記録することができる。
なお、スライドショー表示の際動きを規定する撮影情報はAF情報に限定されず、ベストショットモード(最適撮影条件設定モード)、ズーム倍率、静止画/動画の別等を撮影時にスライドショー表示の際動きを規定する撮影情報として撮影画像に対応付けて保存メモリに記録するようにしてもよい。
例えば、ベストショットモードの場合は、図12(a)に示すように、選択されたベストショットのサンプルパターンの識別情報(「風景」→B001、「夕日」→B002、・・・)を撮影情報とし、図12(b)に示すようにこれらの識別情報に動きを示す動作コード(P1、C1、・・・)を対応付けた動作テーブル120を予めメモリカード51頭の保存メモリに記録しておき、撮影画像の保存時に撮影画像を動作テーブル120中の動きコードと対応付けてそれらを記録するように構成することができる。
また、楽曲や音声を撮影時或いは撮影後に撮影画像に対応付けて記録し、スライドショー表示の際動きを規定する撮影情報と共に撮影画像に対応付けて保存メモリに記録するようにしてもよい。
<1−5.スライドショー表示モード時のデジタルカメラの制御動作>
図5はスライドショー表示モード時の動作プログラムによるデジタルカメラの制御部の制御動作例を示すフローチャートである。以下、図1〜図3を基に説明する。
再生モードで制御部20はスライドショーボタン38が押されたか否かを調べ(ステップT1)、スライドショーボタン38が押されると再生カウンタ62に1をセットし(ステップT2)、メモリーカード51からi(i=再生カウンタ62の値)番目の画像データ(圧縮画像データ)を読み出してDRAM14に一時記憶する(ステップT3)。また、上記ステップT3で読み出した画像データに対応付けられているAF情報をメモリーカードから読み出してDRAM14に保持(一時記憶)する(ステップT4)。
次に制御部20は図6に示すような動き決定動作によりAF情報に基づいて再生画像の動きを決定し(ステップT5)、DRAM14に記憶した画像データを読み出して信号処理部13を制御して伸張処理を施させ再生データを表示部40に送って上記ステップT5で決定された動きに従って再生表示させる(ステップT6)。次に、再生カウンタ62に1を加え(ステップT7)、再生カウンタ62の値が画像カウンタ61の値より大きくなるまでステップT3〜T7の動作を繰り返す(ステップT8)。
上記図5に示したフローチャートの動作によりデジタルカメラ100はAF情報やベストショットモード等の撮影情報に基づいて決定された動き(例えば、パン動作、ズームイン動作、チルト動作)に従って再生画像を表示することができる。
つまり、ステップT5(図6に示す画像の動作決定アルゴリズム)で決定された動作により、ステップT6で、遠景の被写体にはパン動作により遠景全体を見回すように再生画像が表示され、近景左側の被写体にはズームイン左動作により左側に焦点を合わすように再生画像がズームされ、近景中央の被写体にはズームイン中央動作により中央に焦点を合わすように再生画像がズームされ、近景右側の被写体にはズームイン右動作により中央に焦点を合わすように再生画像がズームされるので、ユーザは静止画像であってもあたかも動画をみているかのような動きと臨場感を得ることができる。また、ベストショットモードで風景を撮影した画像は広がりのあるパノラマ感が横へのパン動作で表現され、夕日を撮影した画像はチルトダウン動作により画像を上方向から下方向に表示するので、日没時の上から下への動きや明るい空の比率を減らし夕暮れの進行が演出される。
また、楽曲や音声をスライドショー表示の際に動きと共に再生画像に対応付けて出力する場合には、例えば、上記ステップT6の前段に楽曲や音声の出力開始ステップを設け、ステップT6の後段に楽曲や音声の出力終了ステップを設けることにより、楽曲や音声出力を画像の動きに対応付けることができる。
なお、読み出して再生するデータは色々な選択方法がある。例えば、所定のフォルダ内の画像を所定の順序で表示しても良いし、個別に画像を指定しても良い。
上記図4及び図5のフローチャートの説明ではデジタルカメラ100が画像カウンタ61及び再生カウンタ62を備えた例を元に説明したが、画像表示装置がデジタルカメラ等の撮像装置でない場合やデジタルカメラ等の撮像装置が画像カウンタ61や再生カウンタ62を備えていない場合には、例えば、撮像装置側で撮像モード開始時にDRAM等の一時記憶メモリの所定エリアに画像カウンタを設定するように構成し、撮影時に図4のステップS11で画像カウンタ値に1を加え、撮影終了時に保存メモリの所定領域に設定済みの撮影枚数カウント領域に画像カウンタ値を追加記録するようにし、画像再生装置側でスライドショー表示モード時に一時記憶メモリの所定エリアに再生カウンタを設定するように構成し、以下、図5のステップT3〜T7の動作後、ステップT8で再生カウンタの値と保存メモリ内の画像カウンタ値を比較するようにすることにより、デジタルカメラ100と同様にスライドショー表示モードを実行することができる。
<1−6.動作決定アルゴリズム(1)>
図6は図5のステップT5(及び図18のステップV5)の詳細な動作を示すフローチャートであり、スライドショー表示モード時の動き決定動作プログラムによる制御部の制御動作例を示すフローチャートである。また、図7〜図10は画像の動きの説明図であり、図7はパン、図8はズームイン左、図9はズームイン中央、図10はズームイン右への動きを示す図である。また、図中の矢印は動きの方向を示す。
以下、図1、図3、図7〜図10を基に説明する。なお、図6のステップ順を示す符号のうち括弧内のV5、V5−0〜V5−7、V6は後述する実施形態2の図18のフローチャートのステップV5で本フローチャートを引用する場合に適用されるものである。
図6で、制御部20は再生画像の元画像がベストショットモードで撮影された画像か否かを調べ、ベストショットモードで撮影された画像の場合はステップT5−10(図11のベストショット撮影画像の動き決定処理)に進み、そうでない場合はステップT5−1に進む。なお、再生画像の撮影モードがベストショットモードか否かはメモリーカード51に保存されている撮影情報を参照する(例えば、対応するベストショットのサンプルパターンの識別情報の有無を調べる)ことにより判定できる(ステップT5−0)。
ベストショットモードで撮影された画像でない場合は、図5のステップT4又は図18のステップV4で保持したAF情報のうちの主要な被写体との距離X(被写体距離)を取り出して距離Xと所定値Kを比較し、距離X>K(この例ではK=10m)ならステップT5−2に進み距離X≦KならT5−3に進む(T5−1)。距離X>Kの場合は画像の動きを表示画像を水平方向或いは垂直方向に移動するようにして動かすパン動作と決定してステップT6に進む。図7の例は画像を向かって左から右方向に動かすパン動作の例である(ステップT5−2)。
距離X≦Kのとき、制御部20は図6のステップT4でDRAM14に保持したAF情報のうちの合焦位置を調べ、合焦位置がAF1のときはステップT5−4に進み、そうでない場合はステップT5−5に進む(ステップT5−3)。合焦位置がAF1のときは画像の動きを図8に示すようにフォーカスエリアAF1に焦点を合わせるよう左方向にズームインするズームイン左動作と決定してステップT6に進む(ステップT5−4)。
また、合焦位置がAF2のときはステップT5−6に進み、そうでない場合はステップT5−7に進む(ステップT5−5)。合焦位置がAF2のときは画像の動きを図9に示すようにフォーカスエリアAF2に焦点を合わせるよう中心方向にズームインするズームイン中央動作と決定してステップT6に進む(ステップT5−6)。
合焦位置がAF3のときは画像の動きを図10に示すようにフォーカスエリアAF3に焦点を合わせるよう右方向にズームインするズームイン右動作と決定してステップT6に進む(ステップT5−7)。
上記図6に示した画像の動作決定アルゴリズムにより、主要な被写体が遠景の被写体の場合にはパン動作、近景左側の被写体の場合にはズームイン左動作、近景中央の被写体の場合にはズームイン中央動作、近景右側の被写体の場合にはズームイン右動作を画像の「動作」として決定できる。
<1−7.動作決定アルゴリズム(2)>
図11は、再生画像の元画像がベストショットモードで撮影された画像の場合における、図5のステップT5(及び図18のステップV5)の詳細な動作を示すフローチャートであり、図6のステップT5−0(ステップV5−0)で、再生画像の元画像がベストショットモードで撮影された画像の場合のスライドショー表示モード時の動き決定動作プログラムによる制御部の制御動作例を示すフローチャートである。
また、図12はベストショットモード時の動作テーブルの一例を示す図であり、図12(a)はベストショットモードの各サンプルパターンとそれらに予め設定された動きの説明図であり、図12(b)は動作テーブルの一例を示す図である。図13、図14は画像の動きの説明図であり、図13はパン、図14はチルトアップの動きを示す図であり、図中矢印は動きの方向を示す。
以下、図1、図3、図12〜図14を基に説明する。なお、図11のステップ順を示す符号のうち括弧内のV5−0、V5−10〜V5−12、V6は後述する実施形態2の図18のフローチャートのステップV5で本フローチャートを引用する場合に適用されるものである。
図11で、再生画像の元画像がベストショットモードで撮影された画像の場合は、画像に対応付けられてメモリーカード51に記録されているベストショットモード時の動作テーブル120を参照し(ステップT5−10)、パターンコードに対応する動きコードを取り出し(ステップT5−11)、動きコードに対応付けられた動きをその画像の動きとして決定してステップT6に進む(ステップT5−12)。
上記図11のフローチャートに示した動作により、ベストショットモードで撮影された画像のパターンが「風景」の時はその画像は動作テーブル120のパターンコードB001に対応付けられているので対応の動きコード「P1」が取り出され、動きコード「P1」の意味(図12(a)参照)に従い、画像の動きを表示画像を水平方向或いは垂直方向に移動するようにして動かすパン動作と決定する。図12の例は「風景」画像を向かって左から右方向に動かすパン動作の例であり、広がりのあるパノラマ感が横へのパン動作で表現できる。
画像のパターンが「夕日」の時はその画像は動作テーブル120のパターンコードB002に対応付けられているので対応の動きコード「C1」が取り出され、動きコード「C1」の意味に従い、画像の動きを表示画像を垂直下方向に移動するようにして動かすチルトダウン動作と決定する。図12の例は「夕日」画像を上方向から下方向に動かすチルトダウン動作の例であり、日没時の上から下への動きや明るい空の比率を減らし夕暮れの進行が演出できる。
画像のパターンが「花火」の時はその画像は動作テーブル120のパターンコードB003に対応付けられているので対応の動きコード「C2」が取り出され、動きコード「C2」の意味に従い、画像の動きを表示画像を垂直上方向に移動するようにして動かすチルトアップ動作と決定する。
また、画像のパターンが「人物」の時はその画像は動作テーブル120のパターンコードB004に対応付けられているので対応の動きコード「Z2」が取り出され、動きコード「Z2」の意味に従い、画像の動きを中心方向にズームインするズームイン中央動作と決定する。
以下、同様にしてベストショットモードで撮影された画像は動作テーブル120のパターンコードに対応付けられているので対応の動きコードを取り出し、動きコードの意味に従い、画像の動きを決定することができる。つまり、撮影条件セットに対応してスライドショーの動きを決定することにより、被写体に最適なスライドショー表示を行うことができる。
なお、スライドショー表示の際、動きを規定する撮影情報はAF情報やベストショットモードに限定されず、ズーム倍率、静止画/動画の別等を撮影時にスライドショー表示の際動きを規定する撮影情報として用いることができ、このような撮影情報を図6の動作決定アルゴリズムに加えることもできる。
具体的には、図6のステップT5−1、T5−3、T5−5に示したような判断ステップを各撮影情報に対応づけて設け、ステップT5−2、T5−4、T5−6、T5−7に示したような動き規定ステップを判断ステップに対応付けて設けたり、撮影情報に対応させて図11に示したような動作テーブルを設定しておき、再生時に、動作テーブルを参照して動きコードを取り出し、動きを決定するようにすればよい。
上記実施形態ではデジタルカメラを画像表示装置の例として説明したが、画像表示装置という語はデジタルカメラに限定されない。本発明は、例えば、表示部を備えた電子カメラや撮像装置、カメラ付き携帯電話、携帯情報端末、パソコン、画像記憶部及び表示部を備えた通信端末、画像表示部を備えたクレードル等にも適用できる。
(実施形態2)
上記実施形態1では本発明のスライドショー表示方法をデジタルカメラ等の撮像装置や画像表示装置に適用する場合について説明したが、本発明は画像データを保存する保存メモリを備え、画像を再生して外部表示装置に出力して外部表示装置に表示させるデジタルアルバム装置等の画像再生装置にも適用できる。
図15は画像再生装置によるスライドショー表示の概略説明図であり、符号100はデジタルカメラ(図1)、符号150はデジタルカメラ100を装着したクレードル、符号200は画像再生装置(この例では、据え置き型のデジタルアルバム装置)、符号230は外部表示装置(この例ではテレビモニタ)であり、符号300はパソコンである。
クレードル150と画像再生装置200はUSBケーブル160で接続可能である。また、画像再生装置200はテレビモニタ等の外部表示装置230とケーブル240を介して接続可能である。更に、画像再生装置200とパソコン300はLANケーブル(又は無線LAN)310を介してLAN(Local Area Network)接続可能であり、パソコン300はADSL(Asymmetric Digital Subscriber Line)を介してインターネット(図示せず)と接続可能である。なお、画像再生装置200とパソコン300はUSBケーブルで接続するようにしてもよい。
画像再生装置200は保存・記録モードでクレードル150を介して転送されるデジタルカメラ100の撮影画像データ及び撮影情報(本実施例では、AF情報(合焦位置情報及び被写体距離)やベストショットモードのパターン情報)を取り込み保存メモリに画像データ及びその画像データとAF情報等の撮影情報を対応付けて保存・記録する。また、スライドショー表示モードでは指定された画像の画像データをそのAF情報の撮影情報と共に読み出して、画像の動きを決定してテレビモニタ等の外部表示装置230に出力して決定された動きに従ったスライドショー表示を行わせる。
また、画像再生装置200は保存・記録モードでLANケーブル310等を介して転送される画像データ及びAF情報の撮影情報を取り込み保存メモリに画像データ及びその画像データとAF情報の撮影情報を対応付けて保存・記録することもできる。また、スライドショー表示モードでは指定された画像の画像データをそのAF情報等の撮影情報と共に読み出して、画像の動きを決定しLANケーブル310等を介してパソコン300のモニタ画面に出力して画像表示装置200で決定した動きに従ったスライドショー表示を行わせることもできる。更に、パソコン300はADSLを介してインターネットと接続し、インターネットに接続する表示装置や閲覧サイトに画像再生装置200で決定した動きを伴う画像データを送信することもできる。
図16は本発明を適用可能な画像再生装置の電子回路構成例を示すブロック図であり、画像再生装置200は、制御部210、キー入力部211、USB部213、DRAM220、JPEG回路221、保存メモリ222、VRAM223、VRAMコントローラ224、デジタルビデオエンコーダ225、及び外部表示装置230とケーブル接続するためのケーブル接続部(図示せず)を備えている。なお、外部からの画像データ受信部としてUSB部213の外に(或いはUSB部213に代えて)赤外線通信やブルートゥース等の近距離通信部214や無線によりデータを送受信する無線通信部215を設けるようにしてもよい。
制御部210は、CPU、RAM、プログラム格納用ROMおよびタイマー等の計時機構を備えたマイクロプロセッサ構成を有しており、CPUは、上述の各回路および図示しない電源切換えスイッチ等にバスラインを介して接続し、プログラム格納用ROMに格納されている制御プログラムにより画像再生装置200全体の制御を行なうと共に、キー入力部11からの状態信号に対応してプログラム格納用ROMに格納されている各モードに対応の動作プログラムを取り出して、画像再生装置200の各機能の実行制御、例えば、再生画像の動き、つまり、元となる1枚の静止画像についてパン、チルト、ズームなどの視覚的な変化を与える処理決定、再生した画像データを決定された処理に従って外部表示装置に出力、表示させる際の実行制御等を行う。
制御部210は、保存記録モードにおいて、USB部213を介して外部撮像装置(本実施例ではデジタルカメラ100(図1))からDRAM220に取り込んだ1フレーム分の画像データ(圧縮画像データ)をその画像データのAF情報と関連付けて保存メモリ222に保存する。そして1フレーム分の画像データの書込み終了に伴って、制御部210はUSB部213からDRAM220への経路を再び起動する。
また、再生時には、保存メモリ222に記録されている画像データを選択的に読出し、JPEG回路221で圧縮されている画像データを伸張させ、伸張した画像データをVRAMコントローラ224を介してVRAM223に展開して記憶させた上で、デジタルビデオエンコーダ225にVRAM223から定期的に読出させ、これらの画像データを元にビデオ信号を生成させ表示部230に送って再生出力させる。
操作部211は、電源ボタン2111、モード選択ボタン2112、画像選択ボタン2113(図15)等からなる操作キー及び動作中に点灯する表示ランプ2114等のランプから構成され、それらのキー操作に伴う信号は直接制御部210に送出される。
USB部213はUSBケーブル160等のUSBケーブルを接続した場合にデータの授受を行うUSBインターフェイスであり、保存・記録モードにおいてデジタルカメラ等の撮像装置やクレードル等の転送装置から送信される画像データ及び撮影データ等を受信する。
DRAM220は作業用メモリとして用いられ、スライドショー表示モードにおいて、受信した画像データを一時的に記憶する画像バッファ領域やサムネイル画像記憶領域、AF情報等の撮影情報記憶領域、JPEG伸張時時の作業用領域等が確保される。
JPEG回路(Joint Photgraph cording Experts Group)221はADCT(Adaptive Discrete Cosine Transform:適応離散コサイン変換)、エントロピ符号化方式であるハフマン符号化等の逆処理により圧縮画像データを伸張する。なお、本実施例では圧縮データを伸張するための圧縮データ伸張部としてJPEG回路221を用いるようにしたが、JPEG回路221の代わりによく知られた圧縮データ伸張プログラムを用いるようにしてもよい。
保存メモリ222はフラッシュメモリや光ディスク等の記録媒体からなり画像データ(圧縮画像データ)を保存記録する。AF情報等の撮影情報を登録する画像情報登録リスト(図示せず)等を記録する。なお、フラッシュメモリに代えてメモリカードのように着脱可能な記憶媒体を用いるようにしてもよい。
デジタルビデオエンコーダ225は、JPEG回路221でデータ圧縮手順とまったく逆の手順で伸張された画像データをVRAMコントローラ224を介してVRAM23に展開して記憶させた上で、VRAM223から定期的に読出し、これらの画像データを元にビデオ信号を生成してテレビモニタ等の外部表示装置230に送って再生出力させる。なお、外部表示装置230がデジタル入出力表示装置の場合はデジタルビデオエンコーダ225は不要である。
外部表示装置230は、ケーブル240を介して画像再生装置200と接続してデジタルビデオエンコーダ225からのビデオ信号に基づいた表示を行うことで、その時点でVRAMコントローラ224から取込んでいる画像データに基づく画像をスライドショー表示することになる。
図17は保存記録モード時の動作プログラムによる画像再生装置の制御部の制御動作例を示すフローチャートである。以下、クレードル150を介してデジタルカメラ100から画像データ等を取り込む例について、図15及び図16を基に説明する
ユーザはデジタルカメラ100を装着したクレードル150と画像再生装置200がUSBケーブル160で接続しているか否かを調べ、接続している場合は選択ボタン2112(図16)を操作して保存記録モードの選択を行う(ステップU0)。 制御部210は操作部211からの信号を元にユーザが保存記録モードを選択したか否かを調べ、保存記録モードの選択がされた場合はステップU2に進み(ステップU1)、クレードル150を介してデジタルカメラ100から転送される画像データ、そのAF情報の撮影情報、及びサムネイル画像データを受信し(ステップU2)、受信した画像データ、AF情報の撮影情報、及びサムネイル画像データをDRAM220に一時記憶してから(ステップU3)、画像データ、サムネイル画像データ、及びAF情報を対応付けて保存メモリ222記録する(ステップU4)。
上記図17のフローチャートに示した動作により画像再生装置200はデジタルカメラ100等の撮影画像及びスライドショー表示の際動きを規定する撮影情報(この例ではAF情報やベストショットのサンプルパターンの識別情報(図12参照))を撮影画像に対応付けて保存メモリに記録することができる。
例えば、ベストショットモードの場合は、図12(a)に示したように、選択されたベストショットのサンプルパターンの識別情報(「風景」→B001、「夕日」→B002、・・・)を撮影情報とし、図12(b)に示したようにこれらの識別情報に動きを示す動作コード(P1、C1、・・・)を対応付けた動作テーブル120を予め保存メモリに記録しておき、撮影画像の保存時に撮影画像を動作テーブル120中の動作コードと対応付けてそれらを記録するように構成することができる。
なお、スライドショー表示の際動きを規定する撮影情報はAF情報やベストショット(最適撮影モード)に限定されず、ズーム倍率、静止画/動画の別等を撮影時にスライドショー表示の際動きを規定する撮影情報として撮影画像に対応付けて保存メモリに記録するようにしてもよい。
また、楽曲や音声を撮影時或いは撮影後に撮影画像に対応付けて記録し、スライドショー表示の際動きを規定する撮影情報と共に撮影画像に対応付けて保存メモリに記録するようにしてもよい。
図18はスライドショー表示モード時の動作プログラムによる画像再生装置の制御部の制御動作例を示すフローチャートである。以下、図15及び図16を基に説明する。
まず、制御部210はユーザがモード選択ボタン2112を操作してスライドショー表示モードを選択したか否かを調べ(ステップV1)、スライドショー表示モードが選択された場合は複数のサムネイル画像を外部表示装置230に送ってマルチ表示させてユーザに画像の選択を促し、ユーザが画像を選択するとステップV3に進む(ステップV2)。
画像が選択されると保存メモリ222から選択された画像の画像データ(圧縮画像データ)を読み出してDRAM220に一時記憶する(ステップV3)。また、上記ステップV3で読み出した画像データに対応付けられているAF情報等の撮影情報を保存メモリ222から読み出してDRAM220に保持(一時記憶)する(ステップV4)。
次に制御部210は図6又は図11に示したような決定動作によりDRAM220に保持したAF情報に基づいて再生画像の動きを決定し(ステップV5)、DRAM220に記憶した画像データを読み出してJPEG回路221を制御して伸張処理を施させ(ステップV6)、
伸張した画像データをVRAMコントローラ224を介してVRAM223に展開して記憶させた上で(ステップV7)、デジタルビデオエンコーダ225にVRAM223からステップV5で決定された動きに従って読出させてこれらの画像データを元にビデオ信号を生成させ(ステップV8)、外部表示装置230に送ってスライドショー表示させる(ステップV9)。
なお、上記ステップV5で引用する図6の動作決定フローチャートのステップT4、ステップT5−0〜ステップT5−7、ステップT6は、ステップV4、ステップV5−0〜ステップV5−7、ステップV6と読み替え、図11の動作決定フローチャートのステップT5、T5−0、T5−10〜ステップT5−12はステップV5、V5−0、V5−10〜ステップV5−12と読み替え、メモリーカード51は保存メモリ222と読み替え、DRAM14はDRAM220と読み替えるものとする。
上記図18に示したフローチャートの動作により画像再生装置200に保存されている画像をAF情報やベストショットモード等の撮影情報に基づいて決定された動き(例えば、パン動作、チルト動作、ズームイン動作)に従って再生し、テレビモニタ等の外部表示装置230に被写体に最適なスライドショー表示をさせることができる。
つまり、ステップV5(図6又は図11に示した画像の動作決定アルゴリズム)で決定された動作により、ステップV6で、外部表示装置230の画面上で遠景や風景の被写体はパン動作により遠景全体を見回すように再生画像が表示され、近景左側の被写体にはズームイン左動作により左側に焦点を合わすように再生画像がズームされ、近景中央の被写体にはズームイン中央動作により中央に焦点を合わすように再生画像がズームされ、近景右側の被写体にはズームイン右動作により中央に焦点を合わすように再生画像がズームされるので、ユーザは静止画像であってもあたかも動画をみているかのような動きと臨場感を得ることができる。また、ベストショットモードで風景を撮影した画像は広がりのあるパノラマ感が横へのパン動作で表現され、夕日を撮影した画像はチルトダウン動作により画像を上方向から下方向に表示するので、日没時の上から下への動きや明るい空の比率を減らし夕暮れの進行が演出される。
また、楽曲や音声をスライドショー表示の際に動きと共に再生画像に対応付けて出力する場合には、例えば、上記ステップV6の前段に楽曲や音声の出力開始ステップを設け、ステップV6の後段に楽曲や音声の出力終了ステップを設けることにより、楽曲や音声出力を画像の動きに対応付けることができる。
なお、読み出して再生するデータは色々な選択方法がある。例えば、所定のフォルダ内の画像を所定の順序で表示しても良い。
上記実施形態2では画像再生装置を専用装置として説明したが、本発明は画像再生装置として電子カメラや撮像装置、携帯情報端末、パソコン、画像記憶部を備えた通信端末、画像記憶部を備えたクレードル、などにも適用できる。
以上、本発明のいくつかの実施例について説明したが本発明は上記各実施例に限定されるものではなく、種々の変形実施が可能であることはいうまでもない。
本発明のスライドショー表示方法を実施可能なデジタルカメラの内部構成例を示すブロック図である。 メモリーカードの記憶領域構成の一実施例を示す図である。 マルチエリアAFの説明図である。 撮影モード時の動作プログラムによるデジタルカメラの制御部の制御動作例を示すフローチャートである。 スライドショー表示モード時の動作プログラムによるデジタルカメラの制御部の制御動作例を示すフローチャートである。 スライドショー表示モード時の動き決定動作プログラムによる制御部の制御動作例を示すフローチャートである。 パン動作による動きの説明図である。 ズームイン左への動きの説明図である。 ズームイン中央への動きの説明図である。 ズームイン右への動きの説明図である。 ベストショットモードで撮影された画像のスライドショー表示モード時の動き決定動作プログラムによる制御部の制御動作例を示すフローチャートである。 ベストショットモード時の動作テーブルの一例を示す図である。 パン動作による動きの説明図である。 チルトアップの動きの説明図である。 画像再生装置によるスライドショー表示の概略説明図である。 本発明を適用可能な画像再生装置の電子回路構成例を示すブロック図である。 保存記録モード時の動作プログラムによる画像再生装置の制御部の制御動作例を示すフローチャートである。 スライドショー表示モード時の動作プログラムによる画像再生装置の制御部の制御例を示すフローチャートである。 ズームイン動作の説明図である。
符号の説明
11 光学系(撮像手段)
12 信号変換部(撮像手段)
13 信号処理部
20 制御部(動き決定手段、データ読み出し制御手段、保存制御手段、表示制御手段)
51 メモリーカード(保存メモリ)
100 デジタルカメラ(画像表示装置、撮像装置)
114 AF装置(AF情報取得手段、撮影情報取得手段)
200 画像再生装置
220 保存メモリ
230 外部表示装置
300 パソコン

Claims (20)

  1. 保存メモリに撮影情報とともに保存されている画像データを再生し、再生された画像を表示する画像表示装置におけるスライドショー表示方法であって、
    前記保存メモリに保存されている画像データを読み出すステップと、前記画像データに対応付けられて前記保存メモリに保存されている撮影情報を読み出すステップと、読み出した撮影情報を基に再生画像の動きを決定するステップと、前記読み出した画像データから画像を再生し前記決定された動きに従って表示するステップと、
    を備えたことを特徴とするスライドショー表示方法。
  2. 被写体を撮影してその画像データを生成し、生成した画像データを保存メモリに保存する撮影モードと、前記保存メモリに保存されている画像データを再生して表示する画像再生モードを備えた撮像装置におけるスライドショー表示方法であって、
    撮影モードで、
    撮影した画像の撮影情報を得るステップと、前記撮影により得た画像データを保存メモリに保存するステップと、前記撮影情報を前記画像データに対応付けて保存メモリに保存するステップと、
    画像再生モードにおいてスライドショー表示が選択されたとき、
    前記保存メモリに保存されている画像データを読み出すステップと、読み出された画像データに対応付けて保存されている撮影情報を前記保存メモリから読み出すステップと、読み出した撮影情報を基に再生画像の動きを決定するステップと、前記読み出した画像を再生し前記決定された動きに従って表示するステップと、
    を備えたことを特徴とするスライドショー表示方法。
  3. 保存メモリに撮影情報とともに保存されている画像データを再生し、外部表示装置に表示させるスライドショー表示方法であって、
    前記保存メモリに保存されている画像データを読み出すステップと、前記画像データに対応付けられて前記保存メモリに保存されている撮影情報を読み出すステップと、読み出した撮影情報を基に再生画像の動きを決定するステップと、前記読み出した画像データから画像を再生し、前記決定された動きに従って外部表示装置に出力するステップと、
    を備えたことを特徴とするスライドショー表示方法。
  4. 前記動きは、1枚の元となる静止画像に対し、パン、チルト、ズーム、などの視覚的な変化を与える処理であることを特徴とする請求項1乃至3のいずれか1項に記載のスライドショー表示方法。
  5. 前記撮影情報は複数の合焦位置のうち主要な被写体との合焦位置情報及び該主要な被写体との距離情報であることを特徴とする請求項1乃至3のいずれか1項に記載のスライドショー表示方法。
  6. 前記再生画像の動きを決定するステップは、前記被写体との距離情報を基に再生画像が近景か遠景かを調べ、遠景の場合はパン動作を行うように再生画像の動きを決定するステップと、前記合焦位置情報を基に再生画像のズーム表示方向を決定するステップと、を含むことを特徴とする請求項5記載のスライドショー表示方法。
  7. 前記撮影情報は、撮影条件設定の集合セットであることを特徴とする請求項1乃至3のいずれか1乃至3のいずれか1項に項に記載のスライドショー表示方法。
  8. 前記再生画像の動きを決定するステップは、撮影条件設定の集合セット毎に設定された動き情報を元に再生画像の動きを決定するステップを含む、ことを特徴とする請求項7記載のスライドショー表示方法。
  9. 保存メモリに保存されている画像データを再生し、再生された画像を表示する画像表示装置において、
    撮影画像の画像データと該撮影画像に対応付けられた撮影情報を保存している保存メモリと、
    前記保存メモリから画像データ及び該影画像データに対応付けられた撮影情報を前記保存メモリから読み出すデータ読み出し制御手段と、
    読み出した撮影情報に基づいて前記再生画像の動きを決定する動き決定手段と、
    前記画像データを再生し前記動き決定手段により決定された動きに従って表示する表示制御手段と、
    を備えたことを特徴とする画像表示装置。
  10. 前記撮影情報は複数の合焦位置のうち主要な被写体との合焦位置情報及び該主要な被写体との距離情報であり、前記動き決定手段は前記被写体との距離情報を基に再生画像が近景か遠景かを調べ、遠景の場合はパン動作を行うように再生画像の動きを決定する手段と、前記合焦位置情報を基に再生画像のズーム表示方向を決定する手段と、を含むことを特徴とする請求項9記載の画像表示装置。
  11. 前記撮影情報は、撮影条件設定の集合セットであり、前記動き決定手段は撮影条件設定の集合セット毎に設定された動き情報を元に再生画像の動きを決定する手段を含む、ことを特徴とする請求項9記載の画像表示装置。
  12. 被写体を撮影してその画像データを生成する撮像手段と、生成した画像データを保存する保存メモリと、前記保存メモリに保存されている画像データを再生して表示する画像再生モードを備えた撮像装置において、
    画像再生モードにおいてスライドショー表示が選択されたとき、
    前記撮像手段による撮影時に撮影画像の撮影情報を取得する撮影情報取得手段と、
    前記撮影画像の画像データと該画像データと前記撮影情報を対応付けて前記保存メモリに保存する保存制御手段と、
    前記保存メモリから画像データ及び該影画像データに対応付けられた撮影情報を前記保存メモリから読み出すデータ読み出し制御手段と、
    読み出した撮影情報に基づいて前記再生画像の動きを決定する動き決定手段と、
    前記画像データを再生し前記動き決定手段により決定された動きに従って表示する表示制御手段と、
    を備えたことを特徴とする撮像装置。
  13. 前記撮影情報は複数の合焦位置のうち主要な被写体との合焦位置情報及び該主要な被写体との距離情報であり、前記動き決定手段は前記被写体との距離情報を基に再生画像が近景か遠景かを調べ、遠景の場合はパン動作を行うように再生画像の動きを決定する手段と、前記合焦位置情報を基に再生画像のズーム表示方向を決定する手段と、を含むことを特徴とする請求項12記載の撮像装置。
  14. 前記撮影情報は、撮影条件設定の集合セットであり、前記動き決定手段は撮影条件設定の集合セット毎に設定された動き情報を元に再生画像の動きを決定する手段を含む、ことを特徴とする請求項12記載の撮像装置。
  15. 保存メモリに保存されている画像データを再生し、外部表示装置に表示させる画像再生装置において、
    画像データと該画像データに対応付けられた撮影情報を保存している保存メモリと、
    前記保存メモリから画像データ及び該影画像データに対応付けられた撮影情報を前記保存メモリから読み出すデータ読み出し制御手段と、
    読み出した撮影情報に基づいて前記再生画像の動きを決定する動き決定手段と、
    前記画像データを再生し前記動き決定手段により決定された動きに従って外部表示装置に出力する手段と、
    を備えたことを特徴とする画像表示装置。
  16. 前記撮影情報は複数の合焦位置のうち主要な被写体との合焦位置情報及び該主要な被写体との距離情報であり、前記動き決定手段は前記被写体との距離情報を基に再生画像が近景か遠景かを調べ、遠景の場合はパン動作を行うように再生画像の動きを決定する手段と、前記合焦位置情報を基に再生画像のズーム表示方向を決定する手段と、を含むことを特徴とする請求項15記載の画像再生装置。
  17. 前記撮影情報は、撮影条件設定の集合セットであり、前記動き決定手段は撮影条件設定の集合セット毎に設定された動き情報を元に再生画像の動きを決定する手段を含む、ことを特徴とする請求項15記載の画像再生装置。
  18. 保存メモリに撮影情報と共に保存されている画像データを再生し、再生した画像を表示する画像表示装置において実行可能なプログラムであって、
    保存メモリに保存されている画像データを読み出させるプログラムステップと、
    前記画像データに対応付けられて前記保存メモリに保存されている撮影情報を読み出させるプログラムステップと、
    読み出した撮影情報を基に再生画像にパン、チルト、ズームなどの視覚的な変化を与える処理を決定させるステップと、
    読み出した画像データを再生し、前記決定された処理に従って表示させるプログラムステップと、
    を備えたことを特徴とするプログラム。
  19. 被写体を撮影してその画像データを生成し、生成した画像データを保存メモリに保存する撮影モードと、前記保存メモリに保存されている画像データを再生して表示する画像再生モードを備えた撮像装置において実行可能なプログラムであって、
    撮影モードで、
    画像の撮影時に当該画像の撮影情報を取得させるプログラムステップと、
    撮影した画像の画像データを保存メモリに保存させるプログラムステップと、
    前記撮影情報を前記画像データに対応付けて保存メモリに保存させるプログラムステップと、
    画像再生モードにおいてスライドショー表示が選択されたか否かを判定させるプログラムステップと、
    スライドショー表示が選択されたとき、
    保存メモリに保存されている画像データを読み出させるプログラムステップと、
    前記読み出した画像データに対応付けられて前記保存メモリに保存されている撮影情報を読み出させるプログラムステップと、
    読み出した撮影情報を基に再生画像にパン、チルト、ズームなどの視覚的な変化を与える処理を決定させるステップと、
    読み出した画像データを再生し、前記決定された処理に従って表示させるプログラムステップと、
    を備えたことを特徴とするプログラム。
  20. 保存メモリに撮影情報と共に保存されている画像データを再生し、再生した画像を外部表示装置に表示させる画像再生装置おいて実行可能なプログラムであって、
    保存メモリに保存されている画像データを読み出させるプログラムステップと、
    前記画像データに対応付けられて前記保存メモリに保存されている撮影情報を読み出させるプログラムステップと、
    読み出した撮影情報を基に再生画像にパン、チルト、ズームなどの視覚的な変化を与える処理を決定させるステップと、
    読み出した画像データを再生し、前記決定された処理に従って外部表示装置に表示させるプログラムステップと、
    を備えたことを特徴とするプログラム。










JP2004232902A 2004-08-10 2004-08-10 画像データ再生装置、及び、プログラム Expired - Fee Related JP4345608B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004232902A JP4345608B2 (ja) 2004-08-10 2004-08-10 画像データ再生装置、及び、プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004232902A JP4345608B2 (ja) 2004-08-10 2004-08-10 画像データ再生装置、及び、プログラム

Publications (3)

Publication Number Publication Date
JP2006054523A true JP2006054523A (ja) 2006-02-23
JP2006054523A5 JP2006054523A5 (ja) 2007-09-20
JP4345608B2 JP4345608B2 (ja) 2009-10-14

Family

ID=36031730

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004232902A Expired - Fee Related JP4345608B2 (ja) 2004-08-10 2004-08-10 画像データ再生装置、及び、プログラム

Country Status (1)

Country Link
JP (1) JP4345608B2 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006129453A (ja) * 2004-09-29 2006-05-18 Nikon Corp 画像再生装置、および画像再生プログラム
JP2007243570A (ja) * 2006-03-08 2007-09-20 Casio Comput Co Ltd 画像表示システム及び画像検索システム
JP2007267308A (ja) * 2006-03-30 2007-10-11 Sanyo Electric Co Ltd 画像再生装置
WO2008149925A1 (ja) * 2007-06-08 2008-12-11 Nikon Corporation 撮像装置、画像表示装置、プログラム
JP2009065291A (ja) * 2007-09-04 2009-03-26 Sony Corp 注目部生成表示システム、注目部生成装置及び注目部生成方法
EP2385692A1 (en) * 2009-01-19 2011-11-09 Sony Corporation Display control device, display control method and program
JP2016039513A (ja) * 2014-08-08 2016-03-22 カシオ計算機株式会社 画像生成装置、画像生成方法及びプログラム

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4581924B2 (ja) * 2004-09-29 2010-11-17 株式会社ニコン 画像再生装置、および画像再生プログラム
US8176426B2 (en) 2004-09-29 2012-05-08 Nikon Corporation Image reproduction apparatus and image reproduction program product
JP2006129453A (ja) * 2004-09-29 2006-05-18 Nikon Corp 画像再生装置、および画像再生プログラム
JP4692336B2 (ja) * 2006-03-08 2011-06-01 カシオ計算機株式会社 画像表示システム、画像表示装置及び画像表示方法
JP2007243570A (ja) * 2006-03-08 2007-09-20 Casio Comput Co Ltd 画像表示システム及び画像検索システム
JP2007267308A (ja) * 2006-03-30 2007-10-11 Sanyo Electric Co Ltd 画像再生装置
JP4744337B2 (ja) * 2006-03-30 2011-08-10 三洋電機株式会社 画像再生装置
WO2008149925A1 (ja) * 2007-06-08 2008-12-11 Nikon Corporation 撮像装置、画像表示装置、プログラム
US8587658B2 (en) 2007-06-08 2013-11-19 Nikon Corporation Imaging device, image display device, and program with intruding object detection
JP2009065291A (ja) * 2007-09-04 2009-03-26 Sony Corp 注目部生成表示システム、注目部生成装置及び注目部生成方法
EP2385692A1 (en) * 2009-01-19 2011-11-09 Sony Corporation Display control device, display control method and program
EP2385692A4 (en) * 2009-01-19 2014-01-22 Sony Corp DISPLAY CONTROL DEVICE, DISPLAY CONTROL PROCEDURE AND PROGRAM
JP2016039513A (ja) * 2014-08-08 2016-03-22 カシオ計算機株式会社 画像生成装置、画像生成方法及びプログラム

Also Published As

Publication number Publication date
JP4345608B2 (ja) 2009-10-14

Similar Documents

Publication Publication Date Title
JP4904108B2 (ja) 撮影装置及び画像表示制御方法
US8144230B2 (en) Camera, storage medium having stored therein camera control program, and camera control method
JP4730667B2 (ja) 自動再生方法及び装置
JP4395619B2 (ja) 撮像装置、撮影条件設定方法、及び、プログラム
US20070285533A1 (en) Image displaying apparatus
JP2007221570A (ja) 撮像装置及びそのプログラム
JP2005080059A (ja) 画像記録装置及び画像圧縮装置
JP2009290818A (ja) カメラ、カメラ制御プログラム及び撮影方法
JP2003274335A (ja) 情報記録装置
JP2008028960A (ja) 撮影装置及び露出制御方法
JP4696614B2 (ja) 画像表示制御装置及びプログラム
JP4735166B2 (ja) 画像表示装置及びプログラム
JP2003179798A (ja) デジタルカメラ
JP4992215B2 (ja) 撮像装置、及びプログラム
JP4696921B2 (ja) 画像処理装置、静止画生成方法、プログラム、および記憶媒体
JP4345608B2 (ja) 画像データ再生装置、及び、プログラム
JP4609315B2 (ja) 撮像装置、ズーム時の画角枠表示方法、およびプログラム
JP4529561B2 (ja) 撮像装置、画像合成方法、及び、画像合成プログラム
JP2015106843A (ja) 撮像装置、撮像制御方法およびプログラム
JP4678273B2 (ja) 撮像装置、動画記憶方法および動画記憶プログラム
JP4966680B2 (ja) 動画再生装置、動画再生方法及び撮影装置
JP2005109658A (ja) 撮影装置
JP2005278003A (ja) 画像処理装置
JP5003803B2 (ja) 画像出力装置、および、プログラム
JPH10313438A (ja) 情報処理装置および記録媒体

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20060210

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20060314

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070807

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070807

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20080519

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090310

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090324

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090522

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090623

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090706

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120724

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120724

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130724

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees