JP4630406B2 - 撮像装置および連続撮像画像の対照表示方法 - Google Patents

撮像装置および連続撮像画像の対照表示方法 Download PDF

Info

Publication number
JP4630406B2
JP4630406B2 JP30339598A JP30339598A JP4630406B2 JP 4630406 B2 JP4630406 B2 JP 4630406B2 JP 30339598 A JP30339598 A JP 30339598A JP 30339598 A JP30339598 A JP 30339598A JP 4630406 B2 JP4630406 B2 JP 4630406B2
Authority
JP
Japan
Prior art keywords
image
imaging
images
time
attention
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP30339598A
Other languages
English (en)
Other versions
JP2000115695A (ja
Inventor
光幸 赤沢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP30339598A priority Critical patent/JP4630406B2/ja
Publication of JP2000115695A publication Critical patent/JP2000115695A/ja
Application granted granted Critical
Publication of JP4630406B2 publication Critical patent/JP4630406B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、複数組の連続撮像画像を比較するための撮像/表示技術に関する。
【0002】
【従来の技術】
デジタルカメラ等の撮像装置ではシャッター操作後の所定時間内に複数の連続撮像を行なう連写機能(連写モード)や動画撮像機能(ムービー撮影モード)を備えたものがある。
【0003】
【発明が解決しようとする課題】
ほぼ同一の動作をする被写体Aと被写体Bを(別々に)連続撮像した場合に得る撮像画像は、被写体Aと被写体Bの動作速度が互にほぼ一定の場合には各コマ毎の画像を比較して動作時の姿勢等を同一画面上で対照させて比較することができるが、被写体Aと被写体Bの動作速度が異なる場合(例えば、ゴルフやテニスなどのようにスイングスピードが個人によって異なる場合)には最初のコマでは対応していても時間の経過により対応する動作が写っているコマがずれてくるので、被写体Aと被写体Bの画像を最初のコマから順に対応させて1画面上で対照表示して比較するような場合に同じような動作同士を比較できなくなるといった問題点があった。
【0004】
(具体例)
図14は被写体(個人)による動作速度の相違例を示す説明図であり、ゴルフのスイングを例としている。図14で、(a)はゴルファーAのスイング開始(t=0)から2秒後(t=2)までのゴルフヘッドの位置を示し、(b)はゴルファーBのスイング開始(t=0)から2秒後(t=2)までのゴルフヘッドの位置を示す。
【0005】
図14でゴルファーAのスイング開始からインパクトの瞬間までの経過時間は1.4秒であり、ゴルファーBの経過時間は1.8秒でインパクトの瞬間が異なるのでスイング開始時点でシャッターを押して撮像を開始すると撮像画像上、インパクトの瞬間のコマがゴルファーAの場合は8コマ目、ゴルファーBの場合は9コマ目となって異なることとなる。
【0006】
図15は連写により撮像した画像の従来方式による比較表示例であり、ゴルファーA,Bのスイングをスイング開始から別々に2秒間撮像し、記録画像を再生してゴルファーA,Bのスイングを比較するために1画面の左右にスイング開始から撮った画像をコマの順に並べて対照表示した例を示す。
【0007】
図15で、(a)はゴルファーA,Bのスイング開始(スタート)時の画像であり、この場合はA,Bの姿勢の比較ができる。
(b)は1秒経過後(すなわち、6コマ目)の画像であり、ゴルファーAの方がゴルファーBよりスイング速度が早いことがわかる。
(c)は1.4秒経過後(7コマ目)の画像であり、ゴルファーAはインパクトしているが、ゴルファーBは振り遅れている。
(d)は1.6秒経過後(8コマ目)の画像であり、ゴルファーAは振り抜いているが、ゴルファーBはまだインパクトしていない。
【0008】
(e)は1.8秒経過後(9コマ目)の画像であり、ゴルファーBがインパクトしたがゴルファーAはスイングを終り掛けている。
【0009】
図15でユーザがゴルファーA,Bのインパクトの瞬間を比較しようとしても従来は(c),(e)に示したようにゴルファーA,Bのスイングスピードが異なるためインパクトの瞬間が写っているコマが異なり、このままでは比較できない。
【0010】
上述したように、従来は、ユーザが連続撮像された画像のうち動作が同じ特定の画像を比較しようとしても被写体の動作速度が異なる場合にはその動作が写っているコマが異なるので、比較表示時に比較ができなかった。
【0011】
本発明は上記問題点を解決するためになされたものであり、被写体の動作速度が異なる複数組の連続撮像画像の比較を容易に行なうことができる撮像装置および連続撮像画像の対照表示方法の提供を目的とする。
【0012】
【課題を解決するための手段】
上記の目的を達成するために、第1の発明の撮像装置は、撮像手段と、手動操作によって撮像を指示する撮像指示手段と、この撮像指示手段により撮像が指示された場合、この撮像指示された時点の前後所定時間内に前記撮像手段により撮像された複数の画像を取得する画像取得手段と、この画像取得手段により得られた複数の画像を組画像データとして複数組記憶する画像記憶手段と、この画像記憶手段に前記組画像データを記憶する際に、前記撮像指示手段により撮像が指示された時点において前記撮像手段により撮像された画像を指定画像として記憶する記憶制御手段と、前記画像記憶手段に記憶されている各組画像データを構成する複数の画像を1画像ずつ同時に順次再生させる第1の再生制御手段と、この第1の再生制御手段が複数の画像を1画像ずつ同時に順次再生する際に、前記記憶制御手段により指定画像として記憶されている画像同士を同一タイミングで再生させる第2の再生制御手段とを備えたことを特徴とする。
【0013】
また、第2の発明は上記第1の発明において、前記画像取得手段が複数の画像を取得する際における前記撮像指示時点前後の所定時間の長さを変更設定する変更設定手段を備えたことを特徴とする。
【0014】
また、第3の発明の連続撮像画像の対照表示方法は、手動操作によって撮像を指示する撮像指示工程と、この撮像指示工程により撮像が指示された場合、この撮像指示された時点の前後所定時間内に撮像部により撮像された複数の画像を取得する画像取得工程と、この画像取得工程により得られた複数の画像を組画像データとしてメモリに記憶する画像記憶工程と、この画像記憶工程により前記組画像データをメモリに記憶する際に、前記撮像指示工程により撮像が指示された時点において前記撮像部により撮像された画像を指定画像として記憶する記憶制御工程と、前記メモリに記憶されている各組画像データを構成する複数の画像を1画像ずつ同時に順次再生させる第1の再生制御工程と、この第1の再生制御工程が複数の画像を1画像ずつ同時に順次再生する際に、前記記憶制御工程により指定画像として記憶されている画像同士を同一タイミングで再生させる第2の再生制御工程とからなることを特徴とする。
【0024】
【発明の実施の形態】
<回路構成例>
図1は、本発明の連続撮像方法および連続撮像画像の対照表示方法を適用可能なデジタルカメラの回路構成の一実施例を示すブロック図である。
図1で、デジタルカメラ100は、光学系11、信号変換部12、信号処理部13、DRAM14、制御部20、操作部30、表示部40、フラッシュメモリ50および電源90を有している。
【0025】
光学系11は、撮像レンズ111および自動絞り機構等(図示せず)を含み、撮像レンズ111を介して集光された被写体像の光束を後段の撮像素子(CCD)上に結像させる。
【0026】
信号変換部12は、CCDおよび信号変換回路等を含み、前段の光学系11を介してCCDに結像した画像を電気信号に変換し、デジタルデータに変換して一定の周期で出力する。
【0027】
信号処理部13は、通常撮像モード時には信号変換部12からの出力を処理して、デジタルの輝度、色差マルチプレクス信号(Y,Cb,Crデータ)等の信号成分を得て、Y,Cb,Crデータ(以下、画像データ)をDRAM14に転送し、一時的に記憶する。また、スルー画像(動画)表示するために、取込んだ画像データを間引いて表示部40に送る。また、シャッター操作がされるとその時点の画像データを表示部40に送って静止画表示させる。
【0028】
信号処理部13は、また、記録保存の際にDRAM14に書込まれている画像データを読み出してJPEG圧縮処理を施し、再生時に記録用メモリ(フラッシュメモリ)50に保存記録されていた画像データに伸張処理を施して画像データを再生する。
【0029】
DRAM14は作業用メモリとして用いられ、撮像画像を一時的に記憶する画像バッファ領域やJPEG圧縮/伸張時の作業用領域等が確保される。
【0030】
制御部20はCPU、RAM、プログラム格納用ROMおよびタイマー等を有したマイクロプロセッサ構成を有しており、CPUは、上述の各回路および図示しない電源切換えスイッチ等にバスラインを介して接続し、プログラム格納用ROMに格納されている制御プログラムによりデジタルカメラ100全体の制御を行なうと共に、操作部30からの状態信号に対応してプログラム格納用ROMに格納されている各モードに対応の処理プログラムを取り出して、デジタルカメラ100の各機能の実行制御、例えば、撮像や記録画像の再生機能の実行等を行なう他、撮像時の注目画像指定プログラムによる連続撮像時の注目画像特定処理の実行(または撮像後の注目画像指定プログラムによる注目画像の特定処理)および画像対照表示手段による注目画像を基準とした画像の対照表示等を行なう。
【0031】
操作部30は処理モード切替えスイッチ、機能選択用ボタン、メインスイッチ、シャッターボタン36および注目画像特定ボタン37、図示しない前後スクロールボタンやスクロール終了ボタン等のスイッチやボタンを構成部分としており、これらのスイッチ或いはボタンが操作されると状態信号が制御部20に送出される。
【0032】
また、シャッターボタン36は本実施例では2段構造のスイッチであり、通常撮像時にはシャッターボタン36を2段押し(シャッター全押し)すると撮像が行なわれる。また、連写モードやムービー撮影モード等のような連続撮像時には、シャッターボタン36を全押しすると、連続撮像が開始される。また、シャッターボタン36の全押し後にシャッターボタン36を半押しすると、その時点の画像が注目画像として特定されマーク付け(後述)が行なわれる。なお、注目画像の特定指示操作をシャッターボタン36の半押し操作に代えて、注目画像特定ボタン(例えば、ボタン37)の押し下げにより行なうようにしてもよい。
【0033】
表示部40はビデオエンコーダ、VRAMおよび液晶画面(LCD)等から構成されており、撮像時のスルー画像および再生時の再生画像、処理選択時の選択用メニューやガイド(或いはアイコン)の表示等の他、1画面上に注目動作の写っている2つの画像(注目画像:連写後にシャッター36を半押しした時点の撮像画像)等を対照表示する。
【0034】
フラッシュメモリ50は信号処理部13からの画像データを記録する。また、フラッシュメモリ50には画像データを記録する領域および画像データの記録時に当該画像の撮像モードや撮像条件等を登録する画像情報登録リストを記録することもできる。なお、フラッシュメモリに代えて着脱可能なICカードを用いるようにしてもよい。
【0035】
[画像情報登録リスト]
図2は画像情報登録リストの構成例の説明図であり、画像情報登録リスト60は記録画像の画像番号を格納する画像番号欄61、撮像モードの識別コードを格納する撮像モード欄62、撮像日時(年/月/日/時/分/秒)を格納する撮像日時欄63、連続撮像画像の撮像開始〜撮像終了を判別するための撮像コード欄64、注目画像フラグをセットする注目画像フラグ欄65、およびその他の情報欄56から構成されている。
【0036】
デジタルカメラ100の撮像モードがユーザによって選択されると、撮像モード欄62には通常撮像、連写、ムービー撮影、スポーツ撮像、PAST撮像等の撮像モード識別コードが格納される(図2の例では、通常撮像=01、連写=11、ムービー撮影=12、・・といったようにコード付けしているがこれに限定されない)。
【0037】
また、撮像コード欄64には図2の例では連続撮像開始(シャッターボタン36の全押し)時の撮像画像=1、それ以降の撮像画像=2、連続撮像時間経過(連続撮像時間が設定されている場合)或いは連続撮像終了操作(例えば、シャッターボタン36の全押し)時の撮像画像=3が格納されている。
【0038】
また、注目画像フラグ欄65にその画像が注目画像指定操作時の画像(注目画像)の場合には注目画像の記録時にフラグ=1が書込まれ、注目画像でない場合には0が書込まれる。なお、後述するように連続撮像の対象動作の種類毎(例えば、テニス、ゴルフ、振り付け等々)に注目画像の注目画像欄65に書込むフラグ値を変えるようにしてもよい。
すなわち、連続撮像の対象動作の種類が同一(例えば、ゴルフのスイング)の場合には、各ゴルファーのスイングを連続撮像した各組の撮像画像中の注目画像の注目画像欄65には同じ値のフラグ(フラグ=1)を書込み、連続撮像の対象動作の種類が異なる(例えば、ゴルフのスイングとテニスのスイング)場合には、テニス練習者のスイングを連続撮像した画像の注目画像の注目画像欄65には異なる値のフラグ(フラグ=2)を書込むようにしてもよい。このようにすることにより、対照表示時に連続撮像の対象動作の種類が同一(例えば、ゴルフのスイング)の連続撮像画像を簡単に対照表示することができる。
【0039】
<実施例1>
本実施例は、連写やムービー撮影等の連続撮像時に注目画像を指定することにより注目動作の写っているコマ(注目画像)に特定の識別子を付して連続撮像画像を撮像する例であり、また、このようにして特定された注目画像を記録した2組の連続撮像画像を再生時にそれぞれの注目画像を基準として対照表示する例である。
【0040】
連写やムービー撮影等の連続撮像開始後にシャッターボタン36の半押し(或いは、注目画像特定ボタン37の操作)が行なわれると、注目画像として特定指示された画像に識別子標識(フラグ)が付加される。なお、注目画像を特定する識別子は実施例では画像情報登録リスト(図2)の注目画像フラグ欄に値’1’をセットすることにより行なっているが、画像番号や記録日時等を書込む画像の情報領域に直接注目画像フラグを書込むようにしてもよい。
【0041】
[撮像時の注目画像特定/記録動作例(1)]
図3は、連続撮像時に注目画像の特定を行なう動作を含む場合のデジタルカメラの動作例を示すフローチャートである。連続撮像時の注目画像特定処理は注目画像指定手段(プログラム)に基づいて制御部20によって行なわれる。
【0042】
ステップS1:(撮像モードの判定)
撮像モードが選択されたとき、制御部20はその撮像モードが連写モードやムービー撮影モードのような連続撮像か否かを判定し、連続撮像の場合にはS2に遷移し、そうでない場合には他の撮像モードの処理に遷移する。
【0043】
ステップS2:(画像の取込,スルー画像表示)
制御部20の制御下でデジタルカメラ100はカメラの視野内の被写体画像の所定時間間隔(例えば、0.2秒間隔)での取込み、信号処理、DRAM14への記憶、および表示部40へのスルー画像表示を開始する。
【0044】
ステップS3:(連続撮像開始指示操作の有無判定)
制御部20は操作部30から送られる状態信号を調べ、シャッターボタン36が全押しされたか否かを判定する。シャッターボタン36が全押しされた場合には連続撮像開始指示操作があったものとしてS4に遷移する。シャッターボタン36が全押しされない場合には全押しされるまで待つ。
【0045】
ステップS4:(注目画像特定指示操作の有無判定)
制御部20は操作部30から送られる状態信号を調べ、シャッターボタン36が半押しされたか否かを判定する。シャッターボタン36が半押しされた場合には注目画像特定指示操作がなされたものとしてS5に遷移し、そうでない場合にはS6に遷移する。なお、シャッターボタン36の半押しに代えて注目画像特定指示操作(例えば、ボタン37の押し下げ)が行なわれた場合にS5に遷移し、そうでない場合にはS6に遷移するようにしてもよい。
【0046】
ステップS5:(注目画像特定指示ありの場合)
上記ステップS4で注目画像特定指示操作がなされた場合には、制御部20は注目画像特定フラグをオン(フラグ値=1)にしてS7に遷移する。
【0047】
ステップS6:(注目画像特定指示なしの場合)
上記ステップS4で注目画像特定指示操作がなされなかった場合には、制御部20は注目画像特定フラグをオフ(フラグ値=0)にしてS7に遷移する。
【0048】
ステップS7:(画像記録処理)
制御部20はDRAM14に一時記憶された画像データを取り出してJPEG圧縮してフラッシュメモリ50に 保存記録する。
また、このとき同時に、画像情報登録リスト60の画像番号欄61に記録画像の画像番号を、撮像モード欄62に連続撮像を意味するコード(実施例では、連写の場合は「11」をムービー撮影の場合には「12」)を、撮像日時欄63に撮像年月日および撮像時刻(時/分/秒)を、撮像コード欄64に撮像コード(実施例では、連続撮像開始時の画像には「1」、連続撮像終了時の画像には「3」、その他の時点の連続撮像画像には「2」)を、注目画像フラグ欄65にはステップS5またはS6で設定されたフラグ値を、その他の情報欄66には必要情報を書込む。
【0049】
ステップS8:(連続撮像終了判定)
制御部20は連続撮像が終了したか否かを調べ、終了していない場合にはS4に戻る。また、終了の判定は連写の場合には所定時間を経過したか否かで判定する。また、ムービー撮影の場合には連続撮像終了操作(例えば、シャッターボタン36の全押し、あるいは電源スイッチオフ)によって判定する。なお、連写の場合に連続撮像終了操作(例えば、シャッターボタン36の全押し)を行なうようにしてもよい。
【0050】
なお、上記フローチャートでは注目画像を複数特定できるようにS4に戻るようにしたが、注目画像を1つだけ特定できるようにしてもよく、この場合には上記フローチャートで連続撮像が終了していない場合にS7に戻るようにすればよい。
【0051】
また、注目画像を複数特定する場合にはフラグ値を注目画像毎に変えるようにしてもよい(例えば、ステップS5で注目画像をカウントし、そのカウント値をフラグ値とすることによりフラグ値を注目画像毎に変えることができる)。
【0052】
また、上記フローチャートではステップS6で注目画像以外の連続撮像画像について画像登録情報リスト60の注目画像フラグ欄65にフラグ値=「0」を書込むようにしたが、画像登録情報リスト60の注目画像フラグ欄65の初期値を「0」にしておけば、ステップS6を省略してもよい。
【0053】
また、上記フローチャートでは注目画像の特定を画像情報登録リスト60上への注目画像フラグの書込によって行なっているが、記録時に画像に特定のマークを付けるようにして注目画像を特定するようにしてもよい。
【0054】
[撮像時の注目画像特定/記録動作例(2)]
図3のフローチャートでは連続撮像画像を順次記録しながら注目画像を特定したが、これに限られず、図10に示すように取込んだ画像をDRAM14に循環記憶し、注目画像が特定された時には注目画像にコード付けすると共に、注目画像とその前後の所定時間に撮像された連続撮像画像(例えば、インパクトの前後1秒間の画像)をDRAM14から取り出してJPEG圧縮処理して保存記録するようにしてもよい。なお、この場合、DRAM14には複数枚の画像を記憶できるように複数の画像領域G1〜Gnが確保されており、画像はG1〜Gnに順次記憶され、取込まれた画像数がnを越えるとG1に戻って画像が上書きされ記憶される(すなわち、循環記憶される)。
【0055】
図10は、連続撮像時に注目画像の特定を行なう動作を含む場合のデジタルカメラの動作例を示すフローチャートである。連続撮像時の注目画像特定処理は注目画像指定手段(プログラム)に基づいて制御部20によって行なわれる。
【0056】
ステップS’1:(撮像モードの判定)
撮像モードが選択されたとき、制御部20はその撮像モードが連写モードやムービー撮影モードのような連続撮像か否かを判定し、連続撮像の場合にはS’2に遷移し、そうでない場合には他の撮像モードの処理に遷移する。
【0057】
ステップS’2:(撮像時間設定画面の表示)
制御部20は、表示部40に図11(a)に示すような注目画像指定前後の撮影時間を設定する撮影時間設定(選択)画面を表示しユーザによる設定を促す。なお、撮影時間の設定に代えて図11(b)に示すような撮影枚数設定(選択)画面を表示して撮影枚数を選択できるようにしてもよい。なお、図11(a)で1.2:1.0は指定時点より前の撮影時間が1.2秒、指定時点より後の撮影時間が1.0秒であることを意味する。
【0058】
ステップS’3:(撮像時間の設定)
図11(a)でユーザがカーソルまたはマウス等のポインティングデバイスで画面上に表示されたメニューを指定するとデジタルカメラ100に標準設定されている注目画像指定時点の撮影時間は指定時点より前の撮影時間、は指定時点より後の撮影時間)が設定される(すなわち、ユーザは被写体の動作速度によって撮影枚数を変えることができる)。
また、表示されたメニューのうち「指定なし」を指定するとデジタルカメラ100に標準設定されている注目画像指定時の撮像時間α:β(例えば、前後各1秒)が設定される。
【0059】
ステップS’4:(画像の取込,スルー画像表示の開始)
制御部20の制御下でデジタルカメラ100はカメラの視野内の被写体画像の所定時間間隔(例えば、0.2秒間隔)での取込み、信号処理および取込んだ画像の表示部40へのスルー画像表示を開始する。
【0060】
ステップS’5:(連続撮像開始指示操作の有無判定)
制御部20は操作部30から送られる状態信号を調べ、シャッターボタン36が全押しされたか否かを判定する。シャッターボタン36が全押しされた場合には連続撮像開始指示操作があったものとしてS’6に遷移する。シャッターボタン36が全押しされない場合には全押しされるまで待つ。
【0061】
ステップS’6:(画像のDRAMへの循環記憶)
取込まれた画像を順次DARM14の画像記憶領域Gi(i=1〜n)に循環記憶する。
【0062】
ステップS’7:(注目画像特定指示操作の有無判定)
制御部20は操作部30から送られる状態信号を調べ、シャッターボタン36が半押しされたか否かを判定する。シャッターボタン36が半押しされた場合には注目画像特定指示操作がなされたものとしてS’8に遷移し、そうでない場合にはS’6に戻る。なお、シャッターボタン36の半押しに代えて注目画像特定指示操作(例えば、ボタン37の押し下げ)が行なわれた場合にS’8に遷移し、そうでない場合にはS’6に戻るようにしてもよい。
【0063】
ステップS’8:(保存記録する画像が格納された領域の決定)
上記ステップS’7で注目画像特定指示操作がなされた場合には、制御部20はDRAM14の画像記憶領域のうち、保存記憶開始から保存記憶終了の区間を決定する。すなわち、DRAM14の画像記憶領域Gjから上記ステップS3で設定された撮像時間での撮影枚数(k1枚)分遡った画像記憶領域Gdと撮像時間を経過するまでの撮影枚数(k2枚)分を求めて、画像記憶領域Gdに記憶された画像を含むk1+k2+1枚分の画像データが記憶されている画像記憶領域Gd〜Gj〜Gmを決定する。
【0064】
例えば、画像記憶領域の個数を30、撮像時間として1.2:1.0(すなわち、前半撮像時間=1.2秒、後半撮像時間B=1.0秒)が設定され、撮影時間間隔=0.2秒とし、画像記憶領域G10に記憶された画像が注目画像として指定(シャッターボタン36半押し)されたとすると、指定時点から前半1.2秒間の撮影枚数はk=1.2/0.2=6枚であるから、1.2秒前の画像記憶領域は10−6=4からG4として求めることができる。また、指定時点から1.0秒までの撮影枚数はk=1.0/0.2=5枚であるから、1.0秒後の画像記憶領域は10+5=15からG15として求めることができる。したがって、DRAM14の画像記憶領域G4〜G15が保存記録する画像が格納された画像記憶領域(すなわち、指定時点の前後の画像が記憶された領域)となる。
【0065】
ステップS’9:(画像の保存記録)
制御部20はDRAM14の画像記憶領域Gd〜Gj〜Gmに記憶されている画像データを順次取り出してJPEG圧縮処理してフラッシュメモリ50に保存記憶する。
【0066】
また、このとき同時に、画像登録情報リスト60の画像番号欄61に記録画像の画像番号を、撮像モード欄62に連続撮像を意味するコード(実施例では、連写の場合は「11」をムービー撮影の場合には「12」)を、撮像日時欄63に撮像年月日および撮像時刻(時/分/秒)を、撮像コード欄64に撮像コード(実施例では、連続撮像開始時の画像には「1」、連続撮像終了時の画像には「3」、その他の時点の連続撮像画像には「2」)を、注目画像フラグ欄65には画像記憶領域Gdに記憶された画像を含む複数枚の画像についてはフラグ値「0」を書込み、画像記憶領域Gjの画像(注目画像)についてはフラグ値「1」を書込む。また、その他の情報欄66には必要情報を書込む。また、設定された撮像時間分の画像の記録処理が終了するとS’10に遷移する。
【0067】
ステップS’10:(連続撮像終了判定)
制御部20は連続撮像が終了したか否かを調べ、終了していない場合にはS’6に戻る。また、終了の判定は連写の場合には所定時間を経過したか否かで判定する。また、ムービー撮影の場合には連続撮像終了操作(例えば、シャッターボタン36の全押し、あるいは電源スイッチオフ)によって判定する。なお、連写の場合に連続撮像終了操作(例えば、シャッターボタン36の全押し)を行なうようにしてもよい。
【0068】
なお、上記フローチャートでは注目画像を複数特定できるようにS’6に戻るようにしたが、注目画像を1つだけ特定できるようにしてもよく、この場合には上記フローチャートで連続撮像が終了していない場合にS’9に戻るようにすればよい。
【0069】
また、注目画像を複数特定する場合にはフラグ値を注目画像毎に変えるようにしてもよい(例えば、ステップS’で注目画像をカウントし、そのカウント値をフラグ値とすることによりフラグ値を注目画像毎に変えることができる)。
【0070】
また、上記フローチャートではステップS’で注目画像以外の連続撮像画像について画像登録情報リスト60の注目画像フラグ欄65にフラグ値=「0」を書込むようにしたが、画像登録情報リスト60の注目画像フラグ欄65の初期値を「0」にしておけば、その書込みの処理を省略してもよい。
【0071】
また、上記フローチャートでは注目画像の特定を画像情報登録リスト60上への注目画像フラグの書込によって行なっているが、記録時に画像に特定のマークを付けるようにして注目画像を特定するようにしてもよい。
【0072】
また、上記フローチャートではステップS’8で保存記録する画像が格納された領域を設定された撮像時間から撮影枚数を得てから求めているが、図11(b)のような設定画面を用いて撮影枚数を設定するようにした場合には、設定された撮影枚数を基に保存記録する画像が格納された領域を決定することができる。
【0073】
なお、上記ステップS’2,S’3で撮像時間を可変設定したが、ステップS’2,S’3を省略して、撮像時間を固定(例えば、前後の撮像時間=γ:δ)にすることにより、コード付け処理(=フラグ設定)を省略するようにしてもよい(固定にすると前後の撮影時間が同じになるのでフラグを記録しなくても注目画像も同じ順番となり対照表示可能となる)。
【0074】
上記構成により、連続撮像中に所望の動作の瞬間を特定できるので、再生時にその画像(注目画像)を基準として対照表示が可能となる。
また、注目画像とその前後の所定時間の画像を記録するようにした場合には、撮像開始時の動作が緩慢な場合(例えば、ゴルフのスイング開始時)に、注目動作にいたるまで時間が掛かり過ぎて、場合によっては撮像時間を経過して注目画像が得られないというようなことが生じない。
【0075】
[注目画像の対照表示動作]
図4は記録された2組の連続撮像画像の注目画像を対照表示する場合のデジタルカメラの動作例を示すフローチャートであり、図5は連続撮像画像の注目画像の対照表示の一例の説明図である。注目画像を基準とした画像の対照表示処理は画像対照表示手段(プログラム)に基づいて制御部20によって行われる。
【0076】
ステップT1:(再生モードの判定)
再生モードが選択されたとき、制御部20はその再生モードが連写画像の再生やムービー撮影画像の再生のような連続撮像画像の再生か否かを判定し、連続撮像画像の再生の場合にはT2に遷移し、そうでない場合には他の撮像画像の再生処理に遷移する。
【0077】
ステップT2:(連続撮像画像および注目画像の検索)
制御部20は画像情報登録リストの撮像モード欄62を撮像モードコードをキーとして連写画像またはムービー撮影画像のような連続撮像画像を検索し、検索された連続撮像画像中から注目画像フラグの値が「1」の画像の画像番号を取り出してT3に遷移する。検索された連続撮像画像中の注目画像フラグの値が「1」の画像がない場合(注目画像の特定がされていない画像)にはさらに連続撮像画像の検索を繰り返す。
【0078】
ステップT3:(注目画像の取り出しと縮小処理)
制御部20は上記ステップT2で取り出した画像番号を基にして、フラッシュメモリ50から注目画像を読み出して伸張処理した後に、間引き処理して1/2のサイズに縮小処理してDRAM14に記憶する。
【0079】
ステップT4:(注目画像対照表示)
制御部20は上記ステップで縮小処理した1/2サイズの縮小注目画像を表示部40に送り、画面の左側に配置して表示する。なお、ステップT2〜T5の最初の1巡目は検索された連続撮像画像が1組であるため、図5(a)に示すように画面1/2(この例では左側画面)には縮小注目画像が表示され、画面1/2(この例では右側画面)は空白表示されるが、ステップT2〜T5の2巡目からは図5(b)に示すように右画面に注目画像が対照表示される(図5(a)の例はゴルファーAによるインパクトの瞬間を注目画像とした例であり、(b)の例はゴルファーA,Bによるインパクトの瞬間を対照表示した例である)。
【0080】
対照表示は左右いずれかの注目画像を基準の注目画像として反対側に表示する注目画像を図5(c)に示すように順次入替える。実施例では左側の注目画像を基準注目画像としている(図5(a)〜(c)の例ではゴルファーAのインパクトの瞬間画像が基準の注目画像となっている)。
【0081】
ステップT5:(注目画像確認)
フラッシュメモリ50には同じ動作パターンに属する連続撮像画像だけが記録されているわけではないので、所望の動作パターン以外の動作パターンが対照表示される可能性がある(例えば、所望の動作パターン=ゴルフのスイング、所望の動作パターン以外の動作パターン=踊りの振り付け、テニスのスイング等)。
【0082】
そこで、ユーザは注目画像キャンセルボタン(例えば、ボタン37)を押して不用な注目画像をキャンセルできる。制御部20は、注目画像表示後、操作部30からの状態信号を調べて、注目画像キャンセルボタンの押し下げがあった場合にはその画像をクリアしてT2に戻って、新たな連続撮像画像を検索する。また、注目画像キャンセルボタンの押し下げがない場合にはT6に遷移する。
【0083】
ステップT6:(対照注目画像の入替え操作の有無判定)
上記ステップT4で対照表示の基準とした注目画像が基準の注目画像として相応しくない場合がある。このような場合に備えてユーザは画面の最上欄の案内表示「基準画像<OK> <NO>」のいずれかをカーソル移動ボタン操作或いはマウスのクリックにより指定する。制御部20は基準画像<NO>が指定されるとT2に戻って新たな連続撮像画像を検索する。なお、画面右側に注目画像が表示されている場合には図5(d)に示すようにその注目画像を基準画像として画面左側に移動させ、右側をクリアしたのちT2に戻る。
また、画面右側に注目画像が表示され、且つ画面左側に表示された注目画像について基準画像<OK>が指定された場合にはT7のスクロール表示に移行する。画面左側に表示された注目画像について基準画像<OK>が指定されても右側に注目画像が対照表示されていない場合にはT2に戻る。なお、「基準画像<OK> <NO>」のいずれかをカーソル移動ボタン操作或いはマウスのクリックにより指定する代りに、「NO」の場合にだけシャッターボタン36の半押しまたは全押しを行なうようにしてもよい。また、シャッターボタン36の半押しまたは全押しがない場合は「OK」とみなしてT7に移行する(なお、「OK」の場合にだけシャッターボタン36の半押しまたは全押しを行なうようにしてもよい)。
【0084】
ステップT7:(スクロール表示判定)
上記T6で注目画像が対照表示された場合には、ユーザは図5(e)以降に示すような画面最上段のスクロール案内表示の「同時」、「左」、「右」のいずれかをカーソル移動操作またはマウスのクリックにより指定して、2画像の同時スクロール或いは、左、または右画面だけのスクロールを行なうことができる。
【0085】
制御部20はスクロール案内表示の「同時」が指定されるとT8に遷移し、「右」が指定されるとT9に遷移し、「左」が指定されるとT10に遷移する。また、スクロール案内表示が指定されない場合(例えば、シャッターボタンが操作された場合)には、スクロールなしとしてT12に遷移する。
【0086】
ステップT8:(同時スクロール表示)
制御部20はスクロール案内表示の「同時」が指定された後、前後スクロールボタン等の操作による前方スクロール指示があると、表示されている2つの画像の前(過去)の画像を所定時間(或いは所定コマ数)分だけ順に遡及させてフラッシュメモリ50から取り出して伸張処理し、それぞれ1/2に縮小処理してDRAM14に記憶し画像表示する。また、後方スクロール指示があると、表示されている2つの画像に続くそれぞれ2つの画像を所定時間(或いは所定コマ数)分だけ順にフラッシュメモリ50から取り出して伸張処理し、それぞれ1/2に縮小処理してDRAM14に記憶し画像表示する。なお、図5(e)は前方同時スクロールの例であり、(e’)は後方同時スクロールの例である。
【0087】
なお、図12に示すように最初の画像から最後の画像まで順(逆)方向スクロール表示してもよい。この場合、図12(a)〜(d)に示すように最初(最後)の画像は同時表示可能な最も前(後)の画像(図12(a))でよいし、図12(α),(a’)〜(d’)に示すようにどちらか長い方の画像(図の例ではゴルファーCのスタート画像(図12(α))から表示を開始し、途中から同時表示となるようにしてもよい(図12(a))。
【0088】
図12(a)〜(d)の例は、ゴルファーAのスイングの方が早いので、インパクト(図12(c))から遡り過ぎると比較対照しても無意味となるので、動作が比較しやすい図12(a)から同時表示した例である。また、図12(α),(a’)〜(d’)の例は、ゴルファーAの撮影枚数>ゴルファーCの撮影枚数で、インパクト(図12(c))から遡った場合にゴルファーCの撮像コマがなくなってしまうが、ゴルファーAのスタート画像(図12(α))まで遡って、ゴルファーAのスタート画像を表示し、順スクロールを続行して、途中でゴルファーCの画像が表示された時点から動作が比較しやすい画像を選んで、図12(a’)から同時表示した例である。
【0089】
また、同時スクロール表示は前後スクロールボタン等の操作により自動的に行なうようにしてもよいがスクロール速度が早過ぎるとユーザによるコマ毎の対照観察ができないので、実施例ではユーザによるコマ毎の対照観察の便宜上、前後スクロールボタン等の操作1回毎に1コマずつスクロールするようにしている。また、ユーザがスクロール終了ボタン等の操作により同時スクロール表示を終了させるとT11に遷移する。
【0090】
ステップT9:(右スクロール表示)
制御部20はスクロール案内表示の「右」が指定された後、前後スクロールボタン等の操作による前方スクロール指示があると、右側に表示されている画像の前(過去)の画像を所定時間(或いは所定コマ数)分だけ順に遡及させてフラッシュメモリ50から取り出して伸張処理し、1/2に縮小処理してDRAM14に記憶し画像表示する。また、後方スクロール指示があると、右側画面に表示されている画像に続く画像を所定時間(或いは所定コマ数)分だけ順にフラッシュメモリ50から取り出して伸張処理し、1/2に縮小処理してDRAM14に記憶し画像表示する。なお、図5(f)は右画面前方スクロールの例であり、図5’)は右画面後方スクロールの例である。
【0091】
右スクロール表示も同時スクロール表示の場合と同様に前後スクロールボタン等の操作により自動的に行なうようにしてもよいがスクロール速度が早過ぎるとユーザによるコマ毎の対照観察ができないので、実施例ではユーザによるコマ毎の対照観察の便宜上、前後スクロールボタン等の操作1回毎に1コマずつスクロールするようにしている。また、ユーザがスクロール終了ボタン等の操作により右画面のスクロール表示を終了させるとT11に遷移する。
【0092】
ステップT10:(左スクロール表示)
制御部20はスクロール案内表示の「左」が指定された後、前後スクロールボタン等の操作による前方スクロール指示があると、画面左側に表示されている画像の前(過去)の画像を所定時間(或いは所定コマ数)分だけ順に遡及させてフラッシュメモリ50から取り出して伸張処理し、1/2に縮小処理してDRAM14に記憶し画像表示する。また、後方スクロール指示があると、画面左側に表示されている画像に続く画像を所定時間(或いは所定コマ数)分だけ順にフラッシュメモリ50から取り出して伸張処理し、1/2に縮小処理してDRAM14に記憶し画像表示する(図5(g),(g’))
【0093】
左スクロール表示も同時スクロール表示の場合と同様に前後スクロールボタン等の操作により自動的に行なうようにしてもよいがスクロール速度が早過ぎるとユーザによるコマ毎の対照観察ができないので、実施例ではユーザによるコマ毎の対照観察の便宜上、前後スクロールボタン等の操作1回毎に1コマずつスクロールするようにしている。また、ユーザがスクロール終了ボタン等の操作により左画面のスクロール表示を終了させるとT11に遷移する。
【0094】
ステップT11:(スクロール表示終了判定)
ユーザが更にスクロール終了ボタンを押した場合には、制御部20はスクロール表示を終了させ、画面およびDRAM14の記憶画像をクリアして画面に連続撮像画像の対照表示続行か終了かの選択画面(図示省略)を表示してT12に遷移する。また、最後のスクロール後、所定時間(実施例では20秒)経過しても2度目のスクロールボタンが押されない場合にはT7に戻る。
【0095】
ステップT12:(対照表示終了判定)
上記ステップT11で表示した選択画面で連続撮像画像の対照表示続行が選択された場合にはT2に戻り、対照表示終了が選択された場合には対照表示処理を終了する。
【0096】
上記フローチャートでは2つの連続撮像画像を注目画像を基準として画面の左右に対照表示するようにしたが、2つの連続撮像画像を注目画像を基準として1画面上に交互に表示するようにしてもよく、また、2つの連続撮像画像を注目画像を基準として1画面上に重畳表示(合成表示)するようにしてもよい。例えば、上記フローチャートのステップT8で2つの連続撮像画像を注目画像を基準として1画面上に交互に表示或いは重畳表示するようすればよい。
【0097】
また、上記フローチャートでは2つの連続撮像画像を対照表示する例を示したが、対照表示される連続撮像画像は2つに限定されない。すなわち、n個(n≧2)の画像を対照表示するようにしてもよい。この場合、ステップT3での縮小率を1/nとし、ステップT4では1画面にn個の画像を表示するマルチ画像表示で注目画像が対照表示し、ステップT5,T6で特定の位置(例えば、左上隅)の画像を基準の注目画像とし、ステップT7以降では左右画面スクロールに代えて、指定した位置の画像をスクロールさせることによりn個の画像の対照表示を行なうことができる。
【0098】
上記構成により、注目画像を対照表示させてから前後の画像を表示して比べることができるので、従来のように注目動作の写っている画像のコマがずれて比較ができないようなことは生じない。また、注目画像の前後の画像の対照表示もできるので、動作の詳細な観察或いは分析が可能となる。
【0099】
なお、上記説明ではデジタルカメラの表示部に連続撮像画像の注目画像を対照表示する例について述べたが、本発明の連続撮像画像の注目画像の対照表示方法はデジタルカメラ等の撮像装置への適用に限定されず、記録した連続撮像画像を再生可能な画像表示装置にも適用できる。
【0100】
<実施例2>
本実施例は、記録用メモリに記録された連続画像の中から注目画像を選択/指定してマーク付け等を行なうことにより注目動作の写っているコマ(注目画像)を中心とした連続再生を行なう例であり、また、このようにして注目画像を指定した2組の連続撮像画像を対応付けて対照表示した例である。
【0101】
[撮像後の注目画像指定]
図6は、連続撮像画像を再生して注目画像を指定する場合のデジタルカメラの動作例を示すフローチャートであり、図7は、再生した連写画像の中から注目画像を指定する例の説明図である。再生した連写画像の中からの注目画像の指定処理は撮像後の注目画像指定手段(プログラム)に基づいて制御部20によって行なわれる。
【0102】
ステップU1:(再生モードの判定)
再生モードが選択されたとき、制御部20はその再生モードが連写画像の再生やムービー撮影画像の再生のような連続撮像画像の再生か否かを判定し、連続撮像画像の再生の場合にはU2に遷移し、そうでない場合には他の撮像画像の再生処理に遷移する。
【0103】
ステップU2:(画像情報登録リストの読み出しと一時記憶)
制御部20は本処理で読み出し/書込速度を向上させるためにフラッシュメモリ50に記録されている画像情報登録リスト60を読み出してDRAM14に一時記憶する。
【0104】
ステップU3:(連続撮像画像の検索)
制御部20は画像情報登録リスト60の撮像モード欄62を撮像モードコードをキーとして連写画像またはムービー撮影画像のような連続撮像画像を検索し、連続撮像画像があった場合にはU4に遷移する。
【0105】
ステップU4:(連続撮像画像再生/動作パターン分類重畳表示)
制御部20は検索された連続撮像画像の画像番号を基にしてフラッシュメモリ50から画像データを読み出して1画面ずつ伸張処理し、伸張後の画像データ1つを表示部40に送って画面表示する。また、このとき、動作パターンの分類をアイコン等で重畳表示するようにすることが望ましい。
【0106】
なお、検索された連続撮像画像の画像番号を基にしてフラッシュメモリ50から画像データを読み出して順次1画面ずつ伸張処理し、伸張後の複数の画像データを表示部40に送ってマルチ画面表示するようにしてもよい。また、このとき、動作パターンの分類をアイコン等で重畳表示するようにしてもよい。
【0107】
ステップU5:(分類指定操作の有無判定および対象外画像の除外)
動作パターンの分類が連続撮像画像に重畳表示するようにした場合には、制御部20はユーザがカーソルボタン操作またはマウスのクリックによりユーザが動作パターン分類(その他の分類、或いは分類なしを含む)を指定するとU6に遷移する。また、所定時間を経過しても分類指定操作指定がなされない場合、および対象外画像除外指定がなされた場合には、本処理の対象外の連続撮像画像として当該連続撮像画像をスキップして新たな連続撮像画像検索のためにU3に戻る。
【0108】
ステップU6:(注目画像特定指示操作の有無判定)
制御部20は操作部30から送られる状態信号を調べ、シャッターボタン36が半押しされたか否かを判定する。シャッターボタン36が半押しされた場合には注目画像特定指示操作がなされたものとしてU7に遷移し、そうでない場合にはU8に遷移する。なお、シャッターボタン36の半押しに代えて注目画像特定指示操作(例えば、ボタン37の押し下げ)が行なわれた場合にU7に遷移し、そうでない場合にはU8に遷移するようにしてもよい。
【0109】
ステップU7:(注目画像フラグ書込(注目画像特定指示あり))
上記ステップU6で注目画像特定指示操作がなされた場合には、制御部20は注目画像特定フラグをオン(フラグ値=1)にしてU9に遷移する。
【0110】
ステップU8:(注目画像フラグ書込(注目画像特定指示なし))
上記ステップU6で注目画像特定指示操作がなされなかった場合には、制御部20は注目画像特定フラグをオフ(フラグ値=0)にしてU9に遷移する。
【0111】
ステップU9:(画像登録リストの部分的更新)
制御部20は画像情報登録リスト60の注目画像フラグ欄65にステップU7またはU8で設定されたフラグ値を書込む。
【0112】
ステップU10:(画像終了判定)
制御部20は当該連続撮像画像が終了したか否かを調べ、終了していない場合にはU4に戻って連続撮像画像中のつぎの画像の表示等を行なう。また、終了の判定は画像情報登録リスト60の撮像コード欄64の値が連続撮像終了コード(実施例では「3」)か否かで判定する。
【0113】
ステップU11:(連続撮像画像終了判定)
制御部20は、フラッシュメモリ50に記憶されている連続撮像画像の組全ての処理が終了したか否かを調べ、終了している場合にはU12に遷移し、終了していない場合にはU3に戻って新たな連続撮像画像を検索する。
【0114】
ステップU12:(フラッシュメモリ上の画像情報登録リストの更新)
連続撮像画像の全ての組の処理が終了すると、DRAM14に記録していた画像情報登録リスト60をフラッシュメモリ50の画像情報登録リスト格納領域に書込む(前回の画像情報登録リストはこれにより更新される)。
【0115】
なお、上記フローチャートでは注目画像を複数特定できるようにしたが、注目画像を1つだけ特定するようにすることもできる。この場合には、ステップU7で注目フラグを「1」としたあと、ステップU6でのシャッター半押し操作をロックするようにすればよい(但し、U3でロックを解除するようにする)。
【0116】
また、上記フローチャートではステップU8で注目画像以外の連続撮像画像について画像登録情報リスト60の注目画像フラグ欄65にフラグ値=「0」を書込むようにしたが、画像登録情報リスト60の注目画像フラグ欄65の初期値を「0」にしておけば、U8を省略してもよい。
【0117】
また、上記フローチャートでは注目画像の特定を画像情報登録リスト上への注目画像フラグの書込によって行なっているが、記録時に画像に特定のマークを付けるようにして注目画像を特定するようにしてもよい。
【0118】
上記構成により、記録後に連続撮像画像中から注目画像を選択設定できるので、撮像時に注目画像が設定されていない連続撮像画像についても注目画像を設定して対照表示を行なうことができる。また、撮像時に注目画像が設定されている連続撮像画像についても新たに注目画像を設定したり、注目画像の設定を解除したり、更新したりすることができる。
【0119】
また、図7で(a),(b)は表示部40に表示されたゴルフのスイング画像中のインパクト前の画像でありこの画像が表示された時にはシャッターボタン36は半押しされなかったので注目画像フラグには0がセットされる。また、(c)はインパクトの瞬間の画像であり、この画像が表示された時にシャッターボタン36が半押しされたので、注目画像フラグには1がセットされる。(d)はインパクト後の画像であり、この画像が表示された時には既にシャッター36が半押しされた後なのでシャッター36は半押しされず注目画像フラグには0がセットされる。
【0120】
<実施例3>
本実施例は、連続撮像時に記録済みの注目画像を再生表示してスルー画像と対照表示しつつ注目画像を指定する例であり、図8は、その場合のデジタルカメラの動作例を示すフローチャートであり、図9は、連続撮像時に表示する注目画像とスルー画像の説明図である。連続撮像時の注目画像特定処理は注目画像指定手段(プログラム)に基づいて制御部20によって行なわれる。
【0121】
[撮像時の注目画像特定/記録動作例(3)]
ステップV1:(撮像モードの判定)
撮像モードが選択されたとき、制御部20はその撮像モードが連写モードやムービー撮影モードのような連続撮像か否かを判定し、連続撮像の場合にはV2に遷移し、そうでない場合には他の撮像モードの処理に遷移する。
【0122】
ステップV2:(連続撮像画像および注目画像の検索)
制御部20は画像情報登録リスト60の撮像モード欄62を撮像モードコードをキーとして連写画像またはムービー撮影画像のような連続撮像画像を検索し、検索された連続撮像画像中から注目画像フラグの値が「1」の画像の画像番号を取り出してV3に遷移する。検索された連続撮像画像中の注目画像フラグの値が「1」の画像がない場合(注目画像の特定がされていない画像)にはさらに連続撮像画像の検索を繰り返す。
【0123】
ステップV3:(注目画像の取り出しと縮小処理)
制御部20は上記ステップV2で取り出した画像番号を基にして、フラッシュメモリ50から注目画像を読み出して伸張処理した後に、間引き処理して1/2のサイズに縮小処理してDRAM14に記憶する。
【0124】
ステップV4:(注目画像表示)
制御部20は上記ステップで縮小処理した1/2サイズの縮小注目画像を表示部40に送り、図9(a)に示すように画面の左側(右側でもよい)に配置して表示する。
【0125】
ステップV5:(注目画像確認)
フラッシュメモリ50には同じ動作パターンに属する連続撮像画像だけが記録されているわけではないので、所望の動作パターン以外の動作パターンが対照表示される可能性がある(例えば、所望の動作パターン=ゴルフのスイング、所望の動作パターン以外の動作パターン=踊りの振り付け、テニスのスイング等)。
また、所望の動作パターンであっても撮像時の参考にならないものもある。
【0126】
そこで、ユーザは注目画像キャンセルボタン(例えば、ボタン37)を押して不用な注目画像をキャンセルできる。制御部20は、注目画像表示後、操作部30からの状態信号を調べて、注目画像キャンセルボタンの押し下げがあった場合にはその画像をクリアしてV2に戻って、新たな連続撮像画像を検索する。また、注目画像キャンセルボタンの押し下げがない場合にはV6に遷移する。
【0127】
ステップV6:(画像の取込,スルー画像表示等)
制御部20の制御下でデジタルカメラ100はカメラの視野内の被写体画像の所定時間間隔(例えば、0.2秒間隔)での取込み、信号処理、DRAM14への記憶、および表示部40へのスルー画像表示を開始する。なお、この場合表示部40に表示されるスルー画像は1/2サイズに縮小処理され、図9(b)に示すように表示画面の右側半分に注目画像と対照表示される。
【0128】
ステップV7:(連続撮像開始指示操作の有無判定)
制御部20は操作部30から送られる状態信号を調べ、シャッターボタン36が全押しされたか否かを判定する。シャッターボタン36が全押しされた場合には連続撮像開始指示操作があったものとしてV8に遷移する。シャッターボタン36が全押しされない場合には全押しするまで待つ。
【0129】
ステップV8:(注目画像特定指示操作の有無判定)
ユーザは、表示画面に表示された注目画像(注目動作のサンプル画像)とスルー画像を見比べて、注目画像を参考にして図9(c)に示すようにスルー画像が注目画像の動作に類似した動作を行なうときにシャッターボタン36を半押しする。
制御部20は操作部30から送られる状態信号を調べ、シャッターボタン36が半押しされたか否かを判定する。シャッターボタン36が半押しされた場合には注目画像特定指示操作がなされたものとしてV9に遷移し、そうでない場合にはV10に遷移する。なお、シャッターボタン36の半押しに代えて注目画像特定指示操作(例えば、ボタン37の押し下げ)が行なわれた場合にV9に遷移し、そうでない場合にはV10に遷移するようにしてもよい。
【0130】
ステップV9:(注目画像特定指示ありの場合)
上記ステップV8で注目画像特定指示操作がなされた場合には、制御部20は注目画像特定フラグをオン(フラグ値=1)にしてV11に遷移する。
【0131】
ステップV10:(注目画像特定指示なしの場合)
上記ステップV8で注目画像特定指示操作がなされなかった場合には、制御部20は注目画像特定フラグをオフ(フラグ値=0)にしてV11に遷移する。
【0132】
ステップV11:(画像記録処理)
制御部20はDRAM14に一時記憶されていた画像データを取り出してJPEG圧縮してフラッシュメモリ50に 保存記録する。
また、このとき同時に、画像情報登録リスト60の画像番号欄61に記録画像の画像番号を、撮像モード欄62に連続撮像を意味するコード(実施例では、連写の場合は「11」をムービー撮影の場合には「12」)を、撮像日時欄63に撮像年月日および撮像時刻(時/分/秒)を、撮像コード欄64に撮像コード(実施例では、連続撮像開始時の画像には「1」、連続撮像終了時の画像には「3」、その他の時点の連続撮像画像には「2」)を、注目画像フラグ欄65にはステップV9またはV6で設定されたフラグ値を、その他の情報欄66には必要情報を書込む。
【0133】
ステップV12:(連続撮像終了判定)
制御部20は連続撮像が終了したか否かを調べ、終了していない場合にはV8に戻る。また、終了の判定は連写の場合には所定時間を経過したか否かで判定する。また、ムービー撮影の場合には連続撮像終了操作(例えば、シャッターボタン36の全押し、あるいは電源スイッチオフ)によって判定する。なお、連写の場合に連続撮像終了操作(例えば、シャッターボタン36の全押し)を行なうようにしてもよい。
【0134】
なお、上記フローチャートでは注目画像を複数特定できるようにV8に戻るようにしたが、注目画像を1つだけ特定できるようにしてもよく、この場合には上記フローチャートで連続撮像が終了していない場合にV11に戻るようにすればよい。
【0135】
また、注目画像を複数特定する場合には、フラグ値を注目画像毎に変えるようにしてもよい(例えば、ステップV9で注目画像をカウントし、そのカウント値をフラグ値とすることによりフラグ値を注目画像毎に変えることができる)。
【0136】
また、上記フローチャートではステップV10で注目画像以外の連続撮像画像について画像登録情報リスト60の注目画像フラグ欄65にフラグ値=「0」を書込むようにしたが、画像登録情報リスト60の注目画像フラグ欄65の初期値を「0」にしておけば、ステップV10を省略してもよい。
【0137】
また、上記フローチャートでは注目画像の特定を画像情報登録リスト上への注目画像フラグの書込によって行なっているが、記録時に画像に特定のマークを付けるようにして注目画像を特定するようにしてもよい。
【0138】
また、上記フローチャートでは連続撮像画像を順次記録しながら注目画像を特定したが、これに限られず、取込んだ画像をDRAM14に循環記憶し、注目画像が特定された時には注目画像にコード付けすると共に、注目画像とその前後の所定時間に撮像された連続撮像画像(例えば、インパクトの前後1秒間の画像)をDRAM14から取り出してJPEG圧縮処理して保存記録するようにしてもよい。
【0139】
[撮像時の注目画像特定/記録動作例(4)]
図8のフローチャートでは連続撮像画像を順次記録しながら注目画像を特定したが、これに限られず、図13に示すように取込んだ画像をDRAM14に循環記憶し、注目画像が特定された時には注目画像にコード付けすると共に、注目画像とその前後の所定時間に撮像された連続撮像画像(例えば、インパクトの前後1秒間の画像)画像をDRAM14から取り出してJPEG圧縮処理して保存記録するようにしてもよい。なお、この場合、DRAM14には複数枚の画像を記憶できるように複数の画像領域G1〜Gnが確保されており、画像はG1〜Gnに順次記憶され、取込まれた画像数がnを越えるとG1に戻って画像が上書きされ記憶される(すなわち、循環記憶される)。
【0140】
図13は、連続撮像時に注目画像の特定を行なう動作を含む場合のデジタルカメラの動作例を示すフローチャートである。連続撮像時の注目画像特定処理は注目画像指定手段(プログラム)に基づいて制御部20によって行なわれる。
【0141】
ステップV’1:(撮像モードの判定)
撮像モードが選択されたとき、制御部20はその撮像モードが連写モードやムービー撮影モードのような連続撮像か否かを判定し、連続撮像の場合にはV’2に遷移し、そうでない場合には他の撮像モードの処理に遷移する。
【0142】
ステップV’2:(撮像時間設定画面の表示)
制御部20は、表示部40に図11(a)に示すような注目画像指定前後の撮影時間を設定する撮影時間設定(選択)画面を表示しユーザによる設定を促す。なお、撮影時間の設定に代えて図11(b)に示すような撮影枚数設定(選択)画面を表示して撮影枚数を選択できるようにしてもよい。
【0143】
ステップV’3:(撮像時間の設定)
図11(a)でユーザがカーソルまたはマウス等のポインティングデバイスで画面上に表示されたメニューを指定するとデジタルカメラ100に標準設定されている注目画像指定時点の撮影時間は指定時点より前の撮影時間、は指定時点より後の撮影時間)が設定される。また、表示されたメニューのうち「指定なし」を指定するとデジタルカメラ100に標準設定されている注目画像指定時の撮像時間α:β(例えば、前後各1秒)が設定される。
【0144】
ステップV’4:(連続撮像画像および注目画像の検索)
制御部20は画像情報登録リスト60の撮像モード欄62を撮像モードコードをキーとして連写画像またはムービー撮影画像のような連続撮像画像を検索し、検索された連続撮像画像中から注目画像フラグの値が「1」の画像の画像番号を取り出してV’4に遷移する。検索された連続撮像画像中の注目画像フラグの値が「1」の画像がない場合(注目画像の特定がされていない画像)にはさらに連続撮像画像の検索を繰り返す。
【0145】
ステップV’5:(注目画像の取り出しと縮小処理)
制御部20は上記ステップV’4で取り出した画像番号を基にして、フラッシュメモリ50から注目画像を読み出して伸張処理した後に、間引き処理して1/2のサイズに縮小処理してDRAM14に記憶する。
【0146】
ステップV’6:(注目画像表示)
制御部20は上記ステップで縮小処理した1/2サイズの縮小注目画像を表示部40に送り、図9(a)に示すように画面の左側(右側でもよい)に配置して表示する。
【0147】
ステップV’7:(注目画像確認)
フラッシュメモリ50には同じ動作パターンに属する連続撮像画像だけが記録されているわけではないので、所望の動作パターン以外の動作パターンが対照表示される可能性がある。また、所望の動作パターンであっても撮像時の参考にならないものもある。
【0148】
そこで、ユーザは注目画像キャンセルボタン(例えば、ボタン37)を押して不用な注目画像をキャンセルできる。制御部20は、注目画像表示後、操作部30からの状態信号を調べて、注目画像キャンセルボタンの押し下げがあった場合にはその画像をクリアしてV’4に戻って、新たな連続撮像画像を検索する。また、注目画像キャンセルボタンの押し下げがない場合にはV’8に遷移する。
【0149】
ステップV’8:(画像の取込,スルー画像表示の開始)
制御部20の制御下でデジタルカメラ100はカメラの視野内の被写体画像のを所定時間間隔(例えば、0.2秒間隔)での取込み、信号処理および取込んだ画像の表示部40へのスルー画像表示を開始する。
【0150】
ステップV’9:(連続撮像開始指示操作の有無判定)
制御部20は操作部30から送られる状態信号を調べ、シャッターボタン36が全押しされたか否かを判定する。シャッターボタン36が全押しされた場合には連続撮像開始指示操作があったものとしてV’6に遷移する。シャッターボタン36が全押しされない場合には全押しされるまで待つ。
【0151】
ステップV’10:(画像のDRAMへの循環記憶)
取込まれた画像を順次DARM14の画像記憶領域Gi(i=1〜n)に循環記憶する。
【0152】
ステップV’11:(注目画像特定指示操作の有無判定)
制御部20は操作部30から送られる状態信号を調べ、シャッターボタン36が半押しされたか否かを判定する。シャッターボタン36が半押しされた場合には注目画像特定指示操作がなされたものとしてV’12に遷移し、そうでない場合にはV’10に戻る。なお、シャッターボタン36の半押しに代えて注目画像特定指示操作(例えば、ボタン37の押し下げ)が行なわれた場合にV’12に遷移し、そうでない場合にはV’10に戻るようにしてもよい。
【0153】
ステップV’12:(保存記録する画像が格納された領域の決定)
上記ステップV’11で注目画像特定指示操作がなされた場合には、制御部20はDRAM14の画像記憶領域のうち、保存記憶開始から保存記憶終了の区間を決定する。すなわち、DRAM14の画像記憶領域Gjから上記ステップV’3で設定された撮像時間での撮影枚数(k1枚)分遡った画像記憶領域Gdと撮像時間を経過するまでの撮影枚数(k2枚)分を求めて、画像記憶領域Gdに記憶された画像を含むk+k+1枚分の画像データが記憶されている画像記憶領域Gd〜Gj〜Gmを決定する。
【0154】
例えば、画像記憶領域の個数を30、撮像時間として1.2:1.0(すなわち、前半撮像時間=1.2秒、後半撮像時間B=1.0秒)が設定され、撮影時間間隔=0.2秒とし、画像記憶領域G10に記憶された画像が注目画像として指定(シャッターボタン36半押し)されたとすると、指定時点から前半1.2秒間の撮影枚数はk=1.2/0.2=6枚であるから、1.2秒前の画像記憶領域は10−6=4からG4として求めることができる。また、指定時点から1.0秒までの撮影枚数はk=1.0/0.2=5枚であるから、1.0秒後の画像記憶領域は10+5=15からG15として求めることができる。したがって、DRAM14の画像記憶領域G4〜G15が保存記録する画像が格納された画像記憶領域(すなわち、指定時点の前後の画像が記憶された領域)となる。
【0155】
ステップV’13:(画像の保存記録)
制御部20はDRAM14の画像記憶領域Gd〜Gj〜Gmに記憶されている画像データを順次取り出してJPEG圧縮処理してフラッシュメモリ50に保存記憶する。
【0156】
また、このとき同時に、画像登録情報リスト60の画像番号欄61に記録画像の画像番号を、撮像モード欄62に連続撮像を意味するコード(実施例では、連写の場合は「11」をムービー撮影の場合には「12」)を、撮像日時欄63に撮像年月日および撮像時刻(時/分/秒)を、撮像コード欄64に撮像コード(実施例では、連続撮像開始時の画像には「1」、連続撮像終了時の画像には「3」、その他の時点の連続撮像画像には「2」)を、注目画像フラグ欄65には画像記憶領域Gdに記憶された画像を含むk枚の画像についてはフラグ値「0」を書込み、画像記憶領域Gjの画像(注目画像)についてはフラグ値「1」を書込む。また、その他の情報欄66には必要情報を書込む。
また、設定された撮像時間分の画像の記録処理が終了するとV’14に遷移する。
【0157】
ステップV’14:(連続撮像終了判定)
制御部20は連続撮像が終了したか否かを調べ、終了していない場合にはV’10に戻る。また、終了の判定は連写の場合には所定時間を経過したか否かで判定する。また、ムービー撮影の場合には連続撮像終了操作(例えば、シャッターボタン36の全押し、あるいは電源スイッチオフ)によって判定する。なお、連写の場合に連続撮像終了操作(例えば、シャッターボタン36の全押し)を行なうようにしてもよい。
【0158】
なお、上記フローチャートでは注目画像を複数特定できるようにV’10に戻るようにしたが、注目画像を1つだけ特定できるようにしてもよく、この場合には上記フローチャートで連続撮像が終了していない場合にV’13に戻るようにすればよい。
【0159】
また、注目画像を複数特定する場合にはフラグ値を注目画像毎に変えるようにしてもよい(例えば、ステップV’9で注目画像をカウントし、そのカウント値をフラグ値とすることによりフラグ値を注目画像毎に変えることができる)。
【0160】
また、上記フローチャートではステップV’10で注目画像以外の連続撮像画像について画像登録情報リスト60の注目画像フラグ欄65にフラグ値=「0」を書込むようにしたが、画像登録情報リスト60の注目画像フラグ欄65の初期値を「0」にしておけば、ステップV’10を省略してもよい。
【0161】
また、上記フローチャートでは注目画像の特定を画像情報登録リスト60上への注目画像フラグの書込によって行なっているが、記録時に画像に特定のマークを付けるようにして注目画像を特定するようにしてもよい。
【0162】
また、上記フローチャートではステップV’12で保存記録する画像が格納された領域を設定された撮像時間から撮影枚数を得てから求めているが、図11(b)のような設定画面を用いて撮影枚数を設定するようにした場合には、設定された撮影枚数を基に保存記録する画像が格納された領域を決定することができる。
【0163】
なお、上記上記ステップV’2,V’3で撮像時間を可変設定したが、ステップV’2,V’3を省略して、撮像時間を固定(例えば、前後の撮像時間=γ:δ)にすることにより、コード付け処理(=フラグ設定)を省略するようにしてもよい(固定にすると前後の撮影時間が同じになるのでフラグを記録しなくても注目画像も同じ順番となり対照表示可能となる)。
【0164】
上記構成により、連続撮像中に所望の動作の瞬間を特定できるので、再生時にその画像(注目画像)を基準として対象表示が可能となる。
また、注目画像とその前後の所定時間の画像を記録するようにした場合には、撮像開始時の動作が緩慢な場合(例えば、ゴルフのスイング開始時)に、注目動作にいたるまで時間が掛かり過ぎて、場合によっては撮像時間を経過して注目画像が得られないというようなことが生じない。
【0165】
以上本発明の一実施例について説明したが、本発明は上記実施例に限定されるものではなく、種々の変形実施が可能であることはいうまでもない。
【0166】
【発明の効果】
以上説明したように、本発明によれば、再生時に同じような動作パターンの連続撮像画像の動作を簡単に対照表示させて比較することが可能となった。
【図面の簡単な説明】
【図1】本発明の連続撮像方法および連続撮像画像の対照表示方法を適用可能なデジタルカメラの回路構成の一実施例を示すブロック図である。
【図2】画像情報登録リストの構成例の説明図である。
【図3】連続撮像時に注目画像の特定を行なう動作を含む場合のデジタルカメラの動作例を示すフローチャートである。
【図4】記録された2組の連続撮像画像の注目画像を対照可能に表示する場合のデジタルカメラの動作例を示すフローチャートである。
【図5】連続撮像画像の注目画像の対照表示の一例の説明図である。
【図6】連続撮像画像を再生して注目画像を指定する場合のデジタルカメラの動作例を示すフローチャートである。
【図7】再生した連写画像の中から注目画像を指定する例の説明図である。
【図8】連続撮像時に、記録済みの注目画像を再生表示してスルー画像と対照表示しつつ注目画像を指定する場合のデジタルカメラの動作例を示すフローチャートである。
【図9】連続撮像時に表示する注目画像とスルー画像の説明図である。
【図10】連続撮像時に注目画像の特定を行なう動作を含む場合のデジタルカメラの動作例を示すフローチャートである。
【図11】撮影時間設定(選択)画面の一実施例を示す図である。
【図12】対照表示する画像の同時スクロールの例を示す説明図である。
【図13】連続撮像時に注目画像の特定を行なう動作を含む場合のデジタルカメラの動作例を示すフローチャートである。
【図14】被写体(個人)による動作速度の相違例を示す説明図である。
【図15】連写により撮像した画像の比較表示例である。
【符号の説明】
11 光学系(連続撮像手段)
12 信号変換部(連続撮像手段)
13 信号処理部(連続撮像手段)
20 制御部(第1の再生制御手段、第2の再生制御手段)
36 シャッターボタン(撮像指示手段)
40 表示部(表示手段)
50 フラッシュメモリ(画像記憶手段、メモリ)
60 画像情報登録リスト(画像指定手段)
100 デジタルカメラ(撮像装置、画像再生装置)

Claims (3)

  1. 撮像手段と、
    手動操作によって撮像を指示する撮像指示手段と、
    この撮像指示手段により撮像が指示された場合、この撮像指示された時点の前後所定時間内に前記撮像手段により撮像された複数の画像を取得する画像取得手段と、
    この画像取得手段により得られた複数の画像を組画像データとして複数組記憶する画像記憶手段と、
    この画像記憶手段に前記組画像データを記憶する際に、前記撮像指示手段により撮像が指示された時点において前記撮像手段により撮像された画像を指定画像として記憶する記憶制御手段と、
    前記画像記憶手段に記憶されている各組画像データを構成する複数の画像を1画像ずつ同時に順次再生させる第1の再生制御手段と、
    この第1の再生制御手段が複数の画像を1画像ずつ同時に順次再生する際に、前記記憶制御手段により指定画像として記憶されている画像同士を同一タイミングで再生させる第2の再生制御手段と、
    を備えたことを特徴とする撮像装置。
  2. 前記画像取得手段が複数の画像を取得する際における前記撮像指示時点前後の所定時間の長さを変更設定する変更設定手段を備えたことを特徴とする請求項1記載の撮像装置。
  3. 手動操作によって撮像を指示する撮像指示工程と、
    この撮像指示工程により撮像が指示された場合、この撮像指示された時点の前後所定時間内に撮像部により撮像された複数の画像を取得する画像取得工程と、
    この画像取得工程により得られた複数の画像を組画像データとしてメモリに記憶する画像記憶工程と、
    この画像記憶工程により前記組画像データをメモリに記憶する際に、前記撮像指示工程により撮像が指示された時点において前記撮像部により撮像された画像を指定画像として記憶する記憶制御工程と、
    前記メモリに記憶されている各組画像データを構成する複数の画像を1画像ずつ同時に順次再生させる第1の再生制御工程と、
    この第1の再生制御工程が複数の画像を1画像ずつ同時に順次再生する際に、前記記憶制御工程により指定画像として記憶されている画像同士を同一タイミングで再生させる第2の再生制御工程と、
    からなることを特徴とする連続撮像画像の対照表示方法。
JP30339598A 1998-10-09 1998-10-09 撮像装置および連続撮像画像の対照表示方法 Expired - Lifetime JP4630406B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP30339598A JP4630406B2 (ja) 1998-10-09 1998-10-09 撮像装置および連続撮像画像の対照表示方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP30339598A JP4630406B2 (ja) 1998-10-09 1998-10-09 撮像装置および連続撮像画像の対照表示方法

Publications (2)

Publication Number Publication Date
JP2000115695A JP2000115695A (ja) 2000-04-21
JP4630406B2 true JP4630406B2 (ja) 2011-02-09

Family

ID=17920516

Family Applications (1)

Application Number Title Priority Date Filing Date
JP30339598A Expired - Lifetime JP4630406B2 (ja) 1998-10-09 1998-10-09 撮像装置および連続撮像画像の対照表示方法

Country Status (1)

Country Link
JP (1) JP4630406B2 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4143389B2 (ja) * 2002-11-22 2008-09-03 キヤノン株式会社 映像記録装置
KR101199498B1 (ko) 2005-03-31 2012-11-09 삼성전자주식회사 카메라 파라미터를 이용한 다시점 영상의 부호화 장치 및생성 장치, 그 방법과, 이를 수행하기 위한 프로그램이기록된 기록 매체
JP4696921B2 (ja) * 2006-01-18 2011-06-08 カシオ計算機株式会社 画像処理装置、静止画生成方法、プログラム、および記憶媒体
JP6004475B2 (ja) * 2012-10-19 2016-10-12 カシオ計算機株式会社 再生制御装置、再生制御方法及びプログラム
JP5786892B2 (ja) * 2013-05-16 2015-09-30 カシオ計算機株式会社 動画再生装置、動画再生方法及びプログラム
JP5664714B2 (ja) * 2013-07-09 2015-02-04 カシオ計算機株式会社 画像処理装置及びプログラム
JP6020665B2 (ja) * 2015-06-11 2016-11-02 カシオ計算機株式会社 再生制御装置、再生制御方法及びプログラム

Also Published As

Publication number Publication date
JP2000115695A (ja) 2000-04-21

Similar Documents

Publication Publication Date Title
JP3713973B2 (ja) 電子スチルカメラおよび撮影方法
JP3804313B2 (ja) パノラマ撮影方法および撮像装置
JP4110560B2 (ja) 画像処理方法及びその装置
JP4392548B2 (ja) 動画画像プリント装置、方法及びプログラム
JP4630406B2 (ja) 撮像装置および連続撮像画像の対照表示方法
CN102006394A (zh) 图像文件数据结构、图像文件生成装置、图像文件生成方法、以及电子照相机
JP3925059B2 (ja) 電子カメラ及び定点撮影方法
US8760541B2 (en) Shooting apparatus and mode setting method for controlling a shooting mode of a shooting apparatus
WO2011048742A1 (ja) 半導体集積回路及びそれを備える撮像装置
JP4196451B2 (ja) 撮像装置および連続画像の撮像方法
JP2002223405A (ja) 映像記録再生装置、及び映像記録再生プログラム
JP3858133B2 (ja) 撮像方法および撮像装置
JP5479149B2 (ja) 画像生成装置
JP3915281B2 (ja) 連続撮像方法および撮像装置
JP4487555B2 (ja) 撮像装置、動画撮影方法、及び撮影制御プログラム
JP5965037B2 (ja) 撮影機器
JP3962848B2 (ja) 静止画像再生装置
JP4525230B2 (ja) 画像表示装置、及び、プログラム
JP2004236211A (ja) 画像処理システム
JP2018038090A (ja) 画像生成装置、画像生成方法、画像生成プログラム及び画像生成システム
JP3426997B2 (ja) 被写体情報取得機能付き編集用映像撮影方法及び装置並びに該方法を記述したプログラムを記録した記憶媒体
JP3351463B2 (ja) マルチアイ電子化手話学習装置
JP6205464B2 (ja) 撮影機器
JP4368203B2 (ja) 撮像装置および撮像画像加工方法
JP5932963B2 (ja) 画像生成装置、画像生成方法、画像生成プログラム及び画像生成システム

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20040507

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050913

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20060202

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20060222

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080205

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080317

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20080507

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20080519

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080529

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20080710

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20080801

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101115

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131119

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

EXPY Cancellation because of completion of term