JP5018332B2 - 画像処理装置、撮像装置、画像処理方法、およびプログラム - Google Patents

画像処理装置、撮像装置、画像処理方法、およびプログラム Download PDF

Info

Publication number
JP5018332B2
JP5018332B2 JP2007213017A JP2007213017A JP5018332B2 JP 5018332 B2 JP5018332 B2 JP 5018332B2 JP 2007213017 A JP2007213017 A JP 2007213017A JP 2007213017 A JP2007213017 A JP 2007213017A JP 5018332 B2 JP5018332 B2 JP 5018332B2
Authority
JP
Japan
Prior art keywords
rate
recording
playback
management information
switching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007213017A
Other languages
English (en)
Other versions
JP2009049647A (ja
Inventor
均 小澤
泰史 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2007213017A priority Critical patent/JP5018332B2/ja
Priority to US12/191,410 priority patent/US8810689B2/en
Publication of JP2009049647A publication Critical patent/JP2009049647A/ja
Application granted granted Critical
Publication of JP5018332B2 publication Critical patent/JP5018332B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/78—Television signal recording using magnetic recording
    • H04N5/781—Television signal recording using magnetic recording on disks or drums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/84—Television signal recording using optical recording
    • H04N5/85—Television signal recording using optical recording on discs or drums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/907—Television signal recording using static stores, e.g. storage tubes or semiconductor memories
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/7921—Processing of colour television signals in connection with recording for more than one processing mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)

Description

本発明は、画像を複数のフレームレートのうちの任意のレートで処理可能な画像処理装置、撮像装置、画像処理方法、およびプログラムに関するものである。
既存の動画記録方式(Motion JPEG, MPEG2/4/H.264 AVC, etc)では、フレームレートは予め静的な値(30fps/60fps etc)に固定されている。
したがって、一般的な画像撮像装置においては、動画で秒間あたり３０または６０フレームの記録である。
この場合、たとえば高速で移動する物体に対して、滑らかな画像を記録することができない場合がある。
このような状況に対応して、フレームレートを切り替えることが可能な装置が提案されている（たとえば特許文献１，２参照）。
特許文献１には、低速フレームレートと高速フレームレートの２つのフレームレートが混在した動画の記録再生方法が開示されている。
また、特許文献２には、６０ｆｐｓ等の低速フレームレート記録中にユーザー操作等の要因によって記録レートを２４０ｆｐｓ等の高フレームレートに切り替わる場合に、フレームレートをリニアに変更することが可能な記録装置が開示されている。
特開２００６−３５２５８１号公報 特開２００７−１１６４１８号公報
ところが、たとえば３つ以上のフレームレートで動画記録可能な装置を使用した場合に、特許文献１に開示された技術で実現しようとすると、同一フレームレート単位でのストリーム情報(Video Stream Header)の追加および高レート記録区間を示すスーパーインデックス（Super Index）等を追加する必要があり、記録制御も複雑となるという不利益がある。
また、特許文献２に開示された技術では、図１に示すような、通常のRIFF AVI ファイルフォーマットに対して拡張的なファイルフォーマットとなり、高速記録された部分が別のストリーム情報として記録される。
このため、一般的に普及しているパーソナルコンピュータ(ＰＣ)用のプレーヤーソフトウェア等で再生すると低速フレームレートでの再生は可能であるが、高速記録された部分を再生することができないことがあるという不利益がある。
本発明は、所定のファイルフォーマットを崩さずに、少なくとも２つ以上のフレームレートで記録された動画に対して単純な制御で所望の再生レートでの動画再生を実現することが可能な画像処理装置、撮像装置、画像処理方法、およびプログラムを提供することにある。
本発明の第１の観点は、複数のフレームレートに対応して画像データの記録、再生処理が可能な画像処理装置であって、記録部と、各フレームレートに対応して上記画像データの記録処理を行う際に、記録するストリームデータと対となる所定のファイルフォーマットに応じたデータ領域に、各フレームレートに応じた記録レートに関する記録レート管理情報を設定し、上記記録部に記録し、記録された画像データを再生処理する場合には、上記記録部に記録された上記記録レートに関する上記記録レート管理情報を読み出して、再生レート管理情報を設定し、当該再生処理を行う制御部と、を有し、上記記録レート管理情報は、レート切替フラグ、入力レート、現在の記録レート、および記録済画像データ数の各管理情報を含み、上記再生レート管理情報は、再生レート切替指示フラグ、切替後の再生レート、現在の再生レート、前回の読み出した記録レート、および表示回数の各管理情報を含み、上記制御部は、記録時において、ストリームデータを上記記録部に記録する際に、ストリームデータとして書き込まれた画像データと対となるデータ内に現在の記録レートをインデックスとして記録していき、記録動作中に記録レートの切り替え指示を受けると、上記記録レート管理情報の現在の記録レートを指定されたレートで更新して上記レート切替フラグをオンに設定し、入力レートおよび記録レートの切替処理を行い、当該切替処理において、上記レート切替フラグがオンで入力レートが上記現在の記録レートと等しい場合、入力レートを上記記録レート管理情報の入力レートの値に更新して、上記レート切替フラグをオフしてレート切替処理を完了し、切替後のレートでの記録を行い、再生時において、上記記録部から上記記録レート管理情報およびインデックス情報を読み出し、上記再生レート管理情報の設定を行い、上記読み出したインデックス情報により当該画像データが現在の再生レートで表示するか否か、または何回表示するのかの判定を行って再生動作を開始し、再生動作中に表示切替通知を受けると、生成済みの表示用画像を表示系に出力して、上記再生レート管理情報の表示回数をデクリメントし、表示回数０になる全画像データの読み出しが完了するまで読み出し処理を行い、表示用画像データを生成して出力し、再生動作中に再生レートの切り替え指示を受けると、上記再生レート管理情報の再生レート切替指示フラグをオンし、取得した記録レートが上記再生レート管理情報の前回の読み出した記録レートと同じ場合には再生レート切替を行い、当該再生レート切替処理において、上記再生レート管理情報の現在の再生レートを切替後の再生レートとして、上記再生レート切替指示フラグをオフに設定し、全フレーム再生が現在の再生レートであり、読み出した記録レートが現在の再生レート以下であるかの判定結果によって、読み出しデータで間引くか読み出しデータを繰り返し表示するかを切り替える。
本発明の第２の観点の撮像装置は、被写体の像を撮像し画像データを出力する撮像部と、画像データに所定の処理を行う画像処理装置と、を含み、上記画像処理装置は、記録部と、各フレームレートに対応して上記画像データの記録処理を行う際に、記録するストリームデータと対となる所定のファイルフォーマットに応じたデータ領域に、各フレームレートに応じた記録レートに関する記録レート管理情報を設定し、上記記録部に記録し、記録された画像データを再生処理する場合には、上記記録部に記録された上記記録レートに関する上記記録レート管理情報を読み出して、再生レート管理情報を設定し、当該再生処理を行う制御部と、を有し、上記記録レート管理情報は、レート切替フラグ、入力レート、現在の記録レート、および記録済画像データ数の各管理情報を含み、上記再生レート管理情報は、再生レート切替指示フラグ、切替後の再生レート、現在の再生レート、前回の読み出した記録レート、および表示回数の各管理情報を含み、上記制御部は、記録時において、ストリームデータを上記記録部に記録する際に、ストリームデータとして書き込まれた画像データと対となるデータ内に現在の記録レートをインデックスとして記録していき、記録動作中に記録レートの切り替え指示を受けると、上記記録レート管理情報の現在の記録レートを指定されたレートで更新して上記レート切替フラグをオンに設定し、入力レートおよび記録レートの切替処理を行い、当該切替処理において、上記レート切替フラグがオンで入力レートが上記現在の記録レートと等しい場合、入力レートを上記記録レート管理情報の入力レートの値に更新して、上記レート切替フラグをオフしてレート切替処理を完了し、切替後のレートでの記録を行い、再生時において、上記記録部から上記記録レート管理情報およびインデックス情報を読み出し、上記再生レート管理情報の設定を行い、上記読み出したインデックス情報により当該画像データが現在の再生レートで表示するか否か、または何回表示するのかの判定を行って再生動作を開始し、再生動作中に表示切替通知を受けると、生成済みの表示用画像を表示系に出力して、上記再生レート管理情報の表示回数をデクリメントし、表示回数０になる全画像データの読み出しが完了するまで読み出し処理を行い、表示用画像データを生成して出力し、再生動作中に再生レートの切り替え指示を受けると、上記再生レート管理情報の再生レート切替指示フラグをオンし、取得した記録レートが上記再生レート管理情報の前回の読み出した記録レートと同じ場合には再生レート切替を行い、当該再生レート切替処理において、上記再生レート管理情報の現在の再生レートを切替後の再生レートとして、上記再生レート切替指示フラグをオフに設定し、全フレーム再生が現在の再生レートであり、読み出した記録レートが現在の再生レート以下であるかの判定結果によって、読み出しデータで間引くか読み出しデータを繰り返し表示するかを切り替える。
好適には、上記制御部は、記録時において、入力レートの切り替えは、再生制御のためにある固定の時間分の画像データであるＮフレーム分のデータが記録されたタイミングで行い、同一の記録レートの画像データおよび上記インデックス情報がＮフレーム分連続して記録されるように制御し、レート切替処理においては、上記記録レート管理情報の記録済画像データ数をインクリメントし、記録済画像データ数がＮフレームとなると、上記記録レート管理情報のレート切替フラグをオンして、入力レートと記録レートが等しいか否かを判別し、等しいと入力レートを上記記録レート管理情報のセンサ入力レートの値に変更して、上記記録レート管理情報の記録済画像データ数を０に設定し、レート切替フラグをオフに設定して、入力レートおよび記録レートの切替処理を完了する。
好適には、上記制御部は、読み出した上記記録レートが現在の再生レート以下である場合には読み出しデータを繰り返し表示し、読み出した上記記録レートが現在の再生レート以下でない場合には、読み出しデータを間引いて表示するように制御する。
本発明の第３の観点は、複数のフレームレートに対応して画像データの記録、再生処理が可能な画像処理方法であって、各フレームレートに対応して上記画像データの記録処理を行う際に、記録するストリームデータと対となる所定のファイルフォーマットに応じたデータ領域に、各フレームレートに応じた記録レートに関する記録レート管理情報を設定し、記録部に記録し、記録された画像データを再生処理する場合には、上記記録部に記録された上記記録レートに関する上記記録レート管理情報を読み出して、再生レート管理情報を設定し、当該再生処理を行い、上記記録レート管理情報は、レート切替フラグ、入力レート、現在の記録レート、および記録済画像データ数の各管理情報を含み、上記再生レート管理情報は、再生レート切替指示フラグ、切替後の再生レート、現在の再生レート、前回の読み出した記録レート、および表示回数の各管理情報を含み、記録時において、ストリームデータを上記記録部に記録する際に、ストリームデータとして書き込まれた画像データと対となるデータ内に現在の記録レートをインデックスとして記録していき、記録動作中に記録レートの切り替え指示を受けると、上記記録レート管理情報の現在の記録レートを指定されたレートで更新して上記レート切替フラグをオンに設定し、入力レートおよび記録レートの切替処理を行い、当該切替処理において、上記レート切替フラグがオンで入力レートが上記現在の記録レートと等しい場合、入力レートを上記記録レート管理情報の入力レートの値に更新して、上記レート切替フラグをオフしてレート切替処理を完了し、切替後のレートでの記録を行い、再生時において、上記記録部から上記記録レート管理情報およびインデックス情報を読み出し、上記再生レート管理情報の設定を行い、上記読み出したインデックス情報により当該画像データが現在の再生レートで表示するか否か、または何回表示するのかの判定を行って再生動作を開始し、再生動作中に表示切替通知を受けると、生成済みの表示用画像を表示系に出力して、上記再生レート管理情報の表示回数をデクリメントし、表示回数０になる全画像データの読み出しが完了するまで読み出し処理を行い、表示用画像データを生成して出力し、再生動作中に再生レートの切り替え指示を受けると、上記再生レート管理情報の再生レート切替指示フラグをオンし、取得した記録レートが上記再生レート管理情報の前回の読み出した記録レートと同じ場合には再生レート切替を行い、当該再生レート切替処理において、上記再生レート管理情報の現在の再生レートを切替後の再生レートとして、上記再生レート切替指示フラグをオフに設定し、全フレーム再生が現在の再生レートであり、読み出した記録レートが現在の再生レート以下であるかの判定結果によって、読み出しデータで間引くか読み出しデータを繰り返し表示するかを切り替える。
本発明の第４の観点は、複数のフレームレートに対応して画像データの記録、再生処理が可能な画像処理であって、各フレームレートに対応して上記画像データの記録処理を行う際に、記録するストリームデータと対となる所定のファイルフォーマットに応じたデータ領域に、各フレームレートに応じた記録レートに関する記録レート管理情報を設定し、上記記録部に記録処理と、記録された画像データを再生処理する場合には、上記記録部に記録された上記記録レートに関する上記記録レート管理情報を読み出して、再生レート管理情報を設定し、当該再生処理を行う処理と、を有し、上記記録レート管理情報は、レート切替フラグ、入力レート、現在の記録レート、および記録済画像データ数の各管理情報を含み、上記再生レート管理情報は、再生レート切替指示フラグ、切替後の再生レート、現在の再生レート、前回の読み出した記録レート、および表示回数の各管理情報を含み、記録時において、 ストリームデータを上記記録部に記録する際に、ストリームデータとして書き込まれた画像データと対となるデータ内に現在の記録レートをインデックスとして記録していき、記録動作中に記録レートの切り替え指示を受けると、上記記録レート管理情報の現在の記録レートを指定されたレートで更新して上記レート切替フラグをオンに設定し、入力レートおよび記録レートの切替処理を行い、当該切替処理において、上記レート切替フラグがオンで入力レートが上記現在の記録レートと等しい場合、入力レートを上記記録レート管理情報の入力レートの値に更新して、上記レート切替フラグをオフしてレート切替処理を完了し、切替後のレートでの記録を行い、再生時において、上記記録部から上記記録レート管理情報およびインデックス情報を読み出し、上記再生レート管理情報の設定を行い、上記読み出したインデックス情報により当該画像データが現在の再生レートで表示するか否か、または何回表示するのかの判定を行って再生動作を開始し、再生動作中に表示切替通知を受けると、生成済みの表示用画像を表示系に出力して、上記再生レート管理情報の表示回数をデクリメントし、表示回数０になる全画像データの読み出しが完了するまで読み出し処理を行い、表示用画像データを生成して出力し、再生動作中に再生レートの切り替え指示を受けると、上記再生レート管理情報の再生レート切替指示フラグをオンし、取得した記録レートが上記再生レート管理情報の前回の読み出した記録レートと同じ場合には再生レート切替を行い、当該再生レート切替処理において、上記再生レート管理情報の現在の再生レートを切替後の再生レートとして、上記再生レート切替指示フラグをオフに設定し、全フレーム再生が現在の再生レートであり、読み出した記録レートが現在の再生レート以下であるかの判定結果によって、読み出しデータで間引くか読み出しデータを繰り返し表示するかを切り替える画像処理をコンピュータに実行させるプログラムである。
本発明によれば、各フレームレートに対応して画像データの記録処理を行う際に、記録するストリームデータと対となる所定のファイルフォーマットに応じたデータ領域に、各フレームレートに応じた記録レートに関する情報が設定されて記録部に記録される。
そして、記録された画像データを再生処理する場合には、記録部に記録された記録レートに関する情報を読み出して、再生処理が行われる。
本発明によれば、所定のファイルフォーマットを崩さずに、少なくとも２つ以上のフレームレートで記録された動画に対して単純な制御で所望の再生レートでの動画再生を実現することができる。
以下、本発明の実施形態を図面に関連付けて説明する。
図２は、本発明の実施形態に係る画像処理装置を採用したカメラシステム（撮像装置）の構成例を示すブロック図である。
本実施形態に係る画像処理装置は、撮像素子（センサ）で少なくとも２つ以上のレートで撮像された動画ファイルの記録を行うことが可能で、この記録処理で２つ以上のレートで記録された画像を含んだ動画ファイルの再生を行うことが可能な装置として構成されている。
本実施形態に係る画像処理装置は、これにより、少なくとも２つ以上のフレームレートで記録された動画に対して単純な制御で一定レートでの通常再生および任意の再生レートでのスロー再生を、たとえば図１に示す通常のRIFFファイルフォーマットを崩さずに実現することができる画像の記録再生制御を行うことが可能となっている。
本実施形態においては、所定のデータフォーマットとして、図１に示すRIFF AVI ファイルフォーマットを採用した場合を例として説明する。
RIFF AVI ファイルフォーマットは、図１に示すように、ヘッダ部１、ストリームデータ(Stream Data)部２、およびインデックス(Index)部３を含む。
ヘッダ部１は、ヘッダリスト(Header List ; hdrl)を有し、ヘッダリストには、動画の画サイズ、表示レート等、ファイル全体に関連する情報が記述されるＡＶＩメインヘッダ(AVI Main Header ; avih)、ビデオストリーム(Video Stream)の情報（画サイズやビデオストリームデータのフォーマット等）が記述されるビデオストリームリストチャンク(Video Steram List Chunk ; strl)、オーディオストリーム(Audio Stream)の情報（サンプリングレートやオーディオストリームデータのフォーマット等）が記述されるオーディオストリームリスト(Audio Stream List ; strl)、およびパディング(Padding)等の用途で挿入可能なチャンク(Playerは無視する)であるジュンクチャンク(JUNK Chunk)を含んでいる。
ストリームデータ部２は、ストリームデータのリストであって、リスト中のビデオ／オーディオストリームデータは圧縮、非圧縮データそのものが格納されるストリームデータリスト（Stream Data List ; movi）を含む。
インデックス部３は、各ストリームデータと対になるインデックスエントリ(Index Entry)が記述されるインデックス(Index ; idx1)を含む。
以下、本実施形態に係るカメラシステムの構成およびRIFF AVI ファイルフォーマットに関連付けた動画の記録再生制御動作について説明する。
本カメラシステム１０は、光学系１１、ＣＣＤやＣＭＯＳセンサからなるイメージセンサ（撮像素子）１２、アナログ信号処理部１３、アナログ／デジタル（Ａ／Ｄ）コンバータ１４、センサ制御部１５、デジタル信号処理部１６、画像圧縮伸長処理部１７、画像メモリ１８、スケーラ１９、表示装置インインターフェース（Ｉ／Ｆ）２０、表示装置２１、制御部としての制御ＣＰＵ２２、操作デバイス２３、制御メモリ２４、ストレージインターフェース（Ｉ／Ｆ）２５、および記録部としての外部保存用メモリ等からなる記録媒体２６を有している。
カメラシステム１０において、センサ制御部１５、デジタル信号処理部１６、画像圧縮伸長処理部１７、スケーラ１９、表示装置インターフェース２０、および制御ＣＰＵ２２がバス２７を介して接続されている。センサ制御部１５、デジタル信号処理部１６、画像圧縮伸長処理部１７、スケーラ１９、および表示装置インターフェース２０は、制御ＣＰＵ２２により動作等が制御される。
光学系１１、ＣＣＤやＣＭＯＳセンサからなるイメージセンサ１２、アナログ信号処理部１３等により撮像部が構成される。
本実施形態に係るカメラシステム１０は、イメージセンサ１２で少なくとも２つ以上のレートで撮像された動画ファイルの記録を行うことが可能で、この記録処理で２つ以上のレートで記録された画像を含んだ動画ファイルの再生を行う機能を有する。
本実施形態に係るカメラシステム１０は、イメージセンサ１２の撮像処理、デジタル信号処理部１６の信号処理、画像圧縮伸長処理部１７の画像圧縮は、たとえば６０,９０，１２０，２４０ｆｐｓのレートで処理を行うことが可能な装置として構成される。
まず、図２のカメラシステム１０の各部の機能の概要について説明する。
光学系１１は、レンズを主体として構成され、図示しない被写体の像を撮像素子であるイメージセンサ１２の受光面に結像させる。
イメージセンサ１２は、光学系１１を通して結像した被写体像の情報を光電変換し、アナログ信号処理部１３に出力する。
アナログ信号処理部１３は、イメージセンサ１２のアナログ出力を相関二重サンプリング処理（ＣＤＳ）、アナログ増幅処理等を行い、処理後のアナログ画像データをＡ／Ｄコンバータ１４に出力する。
Ａ／Ｄコンバータ１４は、アナログ信号処理部１３によるアナログ画像データをデジタル信号に変換し、デジタル信号処理部１６に出力する。
センサ制御部１５は、制御ＣＰＵ２２の制御の下、イメージセンサ１２の入力レートの制御、撮像タイミングの制御等を行う。
デジタル信号処理部１６は、制御ＣＰＵ２２の制御の下、撮影に先立って撮影のシャッタスピードを決める処理や撮影した画像の明るさや色を調整するための処理等を行う。
画像圧縮伸長処理部１７は、制御ＣＰＵ２２の制御の下、撮像した画像データを所定の圧縮方式に従って圧縮処理して記録媒体である画像メモリ１８に書き込み、書き込んだ画像データを画像メモリ１８から読み出して伸長（展開）する処理等を行う。
スケーラ１９は、制御ＣＰＵ２２の制御の下、画像メモリ１８に記録された画像データから表示する画像を生成する画像生成部として機能する。
表示装置インターフェース２０は、制御ＣＰＵ２２の制御の下、表示すべき画像データを表示装置２１に出力し表示させる。
表示装置２１としては、液晶表示装置（ＬＣＤ）等が適用可能である。
制御ＣＰＵ２２は、デジタル信号処理部１６、画像圧縮伸長処理部１７や回路全体の制御を行う。
制御ＣＰＵ２２は、図示しないヒューマンインターフェースを通して操作デバイス２３の操作に応じた記録、再生の制御を行う。この制御動作については後で詳述する。
操作デバイス２３は、シャッタボタン、ジョグダイヤル、タッチパネル等を含んで構成される。
図３は、本実施形態に係る操作デバイスの要部の構成例を示す図である。
操作デバイス２３は、図３に示すように、記録、再生の開始／停止(START／STOP)スイッチ（たとえば押下ボタン）２３１、記録／再生レート切替スイッチ（たとえばダイヤル形式）２３２等を含んで構成されている。
画像保存用メモリとしての記録媒体２６としては、不揮発性のメモリであるフラッシュメモリやＨＤＤ、ＤＶＤ等が適用可能である。
次に、上記構成における記録時の制御および再生時の制御について説明する。
まず、図４〜図１３に関連付けて記録時の制御について説明する。
記録時の制御
記録時は制御ＣＰＵ２２上の制御プログラムは、操作デバイス２３の開始／停止スイッチ（記録開始ボタン）２３１が押下されると図４のフローに従って記録動作を開始する。
図４は、本実施形態に係る記録動作開始処理を示すフローチャートである。
図４の処理においては、操作デバイス２３の開始／停止スイッチ（記録開始ボタン）２３１が押下されると（ＳＴ０）、制御ＣＰＵ２２（具体的にはその制御プログラムであるが、以下の説明では制御ＣＰＵとして説明する場合もある）は、デジタル信号処理部１６、画像圧縮伸長処理部１７の画像圧縮処理部への記録開始設定（指示）を実行する（ＳＴ１）。
次に、制御ＣＰＵ２２は、制御メモリ２４上にＡＶＩファイルのヘッダ部１を生成し、ストレージインターフェース２５を介して記録媒体２６に書き込む（ＳＴ２）。
次に、制御ＣＰＵ２２は、イメージセンサ１２の入力レートの設定が完了すると（ＳＴ３）、記録レート管理情報の初期設定を行う（ＳＴ４）。
この記録レート管理情報は記録時のセンサ入力レートやレート切替制御の管理情報として制御メモリ２４上に形成される（用意される）。
図５は、本実施形態に係る記録レート管理情報のデータ構造例を示す図である。
図５に示す記録レート管理情報３００は、レート切替フラグchg flag、センサ入力レートsens rate、現在の記録レートrec rate、および記録済画像データ数rec cntの各管理情報を含む。
そして、記録レート管理情報３００は、図４に示されているように、ステップＳＴ４において、センサ入力レートsens rateは６０ｆｐｓに、現在の記録レートrec rateも６０ｆｐｓに、記録済画像データ数rec cntは０に、レート切替フラグchg flagはＯＦＦに初期設定される。
次に、動画記録（撮像）が開始されると、図６に示すデータフローのように画像メモリ１８上に圧縮された画像データが出力され圧縮画像データが出力されたタイミングで制御ＣＰＵ２２に対する通知が行われる。
具体的には、イメージセンサ１２で、センサ制御部１５の制御の下、光学系１１を通して初期設定の入力レート６０ｆｐｓで取り込まれる、撮像面に結像した被写体像の情報が光電変換され、アナログ信号処理部１３に出力される。
アナログ信号処理部１３においては、イメージセンサ１２のアナログ出力を相関二重サンプリング処理（ＣＤＳ）、アナログ増幅処理等が行われる。そして、処理後のアナログ画像データがＡ／Ｄコンバータ１４でデジタル信号に変換され、たとえば画像メモリ１８に一旦格納されてからデジタル信号処理部１６に入力される。
デジタル信号処理部１６において、制御ＣＰＵ２２の制御の下、撮影に先立って撮影のシャッタスピードを決める処理や撮影した画像の明るさや色を調整するための処理等が行われ、画像メモリ１８に格納される。
この画像メモリ１８の画像データは、画像圧縮伸長処理部１７の画像圧縮処理部に読み出され、画像データに所定の圧縮方式に従った圧縮処理が施され、画像メモリ１８に書き込まれる（記録される）。
そして、画像メモリ１８に記録された圧縮画像データがストレージインターフェース２５を介して記録媒体２６に記録される。
通知を受けた制御ＣＰＵ２２上の制御プログラムでは、圧縮データ出力通知検出処理を行う。
図７は、本実施形態に係る記録時の圧縮データ出力通知検出処理を示すフローチャートである。
また、図８は、圧縮データに付与されるチャンクヘッダ（Chunk Header）の構造を示す図である。
図９は、制御メモリ上に形成されるインデックスエントリ（Index Entry）の構造を示す図である。
通知を受けた制御ＣＰＵ２２上の制御プログラムでは、圧縮データ出力通知検出処理において、ストレージインターフェース２５経由で記録媒体２６に記録された圧縮画像データにチャンクヘッダ（Chunk Header）３１０を付与して、図８に示す形式で記録媒体２６に書き込む（ＳＴ１１）。
そして、制御ＣＰＵ２２は、記録した圧縮画像データに対応する図９に示す形式のインデックスエントリ（Index Entry）３２０のデータを制御メモリ２４上に形成（生成)する（ＳＴ１２）。
制御メモリ２４上に形成されるインデックスエントリ（Index Entry）１２０のデータは、図９に示すように、チャンクＩＤ（ChunkID）、フラグ（Flags）、チャンクオフセット（Chunk Offset）、チャンク長（Chunk Length）を含み、各データはそれぞれ３２ビットのデータとなっている。
このインデックスエントリ（Index Entry）３２０のフラグ（Flags）の領域には１２ビットの未使用領域があるので、たとえば図１０に示すように、この未使用領域に記録レートを数値として記録（または、各ビットにレートを割り当て該当するレートのビットに“1”を記録）し、ストリームデータ（Stream Data）として書き込まれた画像データと対となるデータ内に記録レートrec rateを記録していく（ＳＴ１３）。
そして、制御ＣＰＵ２２は、イメージセンサの入力レート、記録レート切替処理を行う（ＳＴ１４）。
図１１は、記録動作中に記録／再生レート切替スイッチが操作されたときの処理を示すフローチャートである。
また、図１２は、図９のイメージセンサの入力レート、記録レート切替処理を具体的に示すフローチャートである。
制御ＣＰＵ２２は記録動作中に記録、再生レート切替スイッチ２３２が操作されると、図１１に示すように、操作に応じて指定されたレートを記録レート管理情報３００の記録レートrec rateに設定する（ＳＴ２１）。すなわち、制御ＣＰＵ２２は、記録レート管理情報３００の記録レートrec rateを指定されたレートで更新する。
そして、制御ＣＰＵ２２は、記録レートの切り替えが行われたことを示すために、記録レート管理情報３００のレート切替フラグchg flagをＯＮに設定する（ＳＴ２２）。
次に、制御ＣＰＵ２２は、図１２に示すイメージセンサの入力レート、記録レート切替処理を行う。
なお、入力レートの切り替えは、後述の再生制御のためにある固定の時間分の画像データ(Ｎフレーム分のデータ)が記録されたタイミングで行い、同一の記録レートの画像データおよびインデックスエントリ（Index Entry）がＮフレーム分連続して記録されるようにする。
レート切替処理においては、図１２に示すように、記録レート管理情報３００の記録済画像データ数rec cntをインクリメントする（ＳＴ１４１）。
次に、記録済画像データ数rec cntがＮフレームとなったか否かを判別し（ＳＴ１４２）、Ｎフレームとなったと判別すると、記録レート管理情報３００のレート切替フラグchg flagがＯＮで、センサ入力レートsens rateと記録レートrec rateが等しいか否かを判別する（ＳＴ１４３）。
ステップＳＴ１４３で肯定的な判別結果が得られると、センサ入力レートを記録レート管理情報３００のセンサ入力レートsens rateの値に変更する（ＳＴ１４５）。
そして、記録レート管理情報３００の記録済画像データ数rec cntを０に設定し、レート切替フラグchg flagをＯＦＦに設定する（ＳＴ１４７）。
これにより、イメージセンサの入力レート、記録レート切替処理が完了する。
図１３は、本実施形態に係る記録停止処理を示すフローチャートである。
最後に、制御ＣＰＵ２２上の制御プログラムは、操作デバイス２３の開始／停止スイッチ（記録停止ボタン）２３１が押下され、または記録媒体２６の空き領域がなくなったことを検出すると、図１３のフローに示す制御を行う。
制御ＣＰＵ２２は、デジタル信号処理部１６、および画像圧縮伸長処理部１７の画像圧縮処理部への記録停止設定を実行する（ＳＴ３１）。
そして、記録停止が完了すると（ＳＴ３２）、制御メモリ２４上のヘッダ部１を更新し、ファイル上の記録済みヘッダ部を上書きする（ＳＴ３３）。
次に、記録媒体２６に記録済のＡＶＩファイルのヘッダ部１およびストリームデータ（Stream Data）部２に制御メモリ２４上のインデックス（Index）部３を結合して、ＡＶＩファイルの生成を行い一連の記録動作を終了する（ＳＴ３４、ＳＴ３５）。
次に、再生時の制御について、図１４〜図２３に関連付けて説明する。
再生時の制御
再生時は再生するAVIファイルを選択した状態で操作デバイス２３の開始／停止スイッチ（再生開始ボタン）２３１が押下されると、図１４のフローに従って再生動作を開始する。
図１４は、本実施形態に係る再生動作開始処理を示すフローチャートである。
図１４の処理においては、操作デバイス２３の開始／停止スイッチ（再生開始ボタン）２３１が押下されると(ＳＴ４０)、ＡＶＩファイルのヘッダ部１を制御メモリ２４に読み出し、ファイル全体の情報およびストリームヘッダ(Stream Header)の情報を取得する（ＳＴ４１）。
次に、ＡＶＩファイルのインデックス部３から先頭のインデックスエントリ（Index Entry）データを読み出す（ＳＴ４２）。
次に、再生レート管理情報の初期設定を行う（ＳＴ４３）。
この再生レート管理情報は、再生レート切替、および再生時の画面表示更新制御の管理情報として制御メモリ２４上に形成される。
図１５は、本実施形態に係る再生レート管理情報のデータ構造例を示す図である。
図１５に示す再生レート管理情報４００は、再生レート切替指示フラグchg flag、切替後の再生レートnext disp rate、現在の再生レートcur disp rate、前回の読み出した記録レートprev rec rate、および表示回数disp cntの各管理情報を含む。
そして、再生レート管理情報４００は、図１４に示されるように、再生レート切替指示フラグchg flagがＯＦＦ、切替後の再生レートnext disp rateが全フレーム再生に、現在の再生レートcur disp rateが全フレーム再生に、前回の読み出した記録レートprev rec rateはステップＳＴ４２で読み出したインデックスエントリの記録レートに、表示回数disp cntが１に初期設定される。
再生動作が開始されると、図１６に示すデータフローのように画像メモリ１８上に表示用画像データが生成され、内蔵ＬＣＤまたは外部モニタ等の表示装置２１に画像が表示されます。
具体的には、読み出したインデックエントリ（Index Entry）のチャンクオフセット(Chunk Offset)、チャンク長(Chunk Length)を元に圧縮画像データを画像メモリ１８上に読み出す（ＳＴ４４）。
次に、画像メモリ１８上の圧縮データを画像圧縮伸長処理部１７の画像伸長処理部で伸長して、一旦画像メモリ１８に格納し、スケーラ１９で表示用画像を生成し（ＳＴ４５）、画像メモリ１８に格納する。
そして、出力先表示装置２１に応じた表示切替通知（Ｖｓｙｎｃ通知）が開始され（ＳＴ４６）、再生中処理へと移行する。
図１７は、本実施形態に係る再生中処理を示すフローチャートである。
再生動作中の制御ＣＰＵ２２上の制御プログラムは、表示切替通知（Ｖｓｙｎｃ通知）を受けるとＡＶＩファイルに記録されている全ての画像データの読み出しが終了するまで図１７のフローに示す制御を行う。
表示切替通知を受信すると（ＳＴ５１）、生成済みの表示用画像を表示装置インターフェース２０に設定し、表示装置２１に画像を表示する（ＳＴ５２）。
次に、再生レート管理情報４００の表示回数disp cntをデクリメントし(ＳＴ５３)、表示回数disp cntが０になったか否かの判別を行う（ＳＴ５４）。
ステップＳＴ５４で表示回数disp cntが０になったと判別すると、全画像データの読み出しが完了したか否かを判別する（ＳＴ５５）。
ステップＳＴ５５で全画像データの読み出しが完了していないと判別すると、再生レートに応じた圧縮画像データの読み出し処理を行い（ＳＴ５６)、画像メモリ１８上の圧縮データを伸長して表示用画像を生成する（ＳＴ５７）。
ステップＳＴ５５で全画像データの読み出しが完了したと判別すると、再生処理を終了する。
図１８は、再生動作中に記録／再生レート切替スイッチが操作されたときの処理を示すフローチャートである。
また、図１９は、図１７の再生レートに応じた圧縮画像データ読み出し処理を具体的に示すフローチャートである。
制御ＣＰＵ２２は、再生動作中に記録／再生レート切替スイッチ２３２が操作されると、図１８のフローに従って、操作に応じて指定されたレートを再生レート管理情報４００の切替後の再生レートnext disp rateに設定する（ＳＴ６１）。すなわち、制御ＣＰＵ２２は、再生レート管理情報４００の切替後の再生レートnext disp ratを指定されたレートで更新する。
そして、制御ＣＰＵ２２は、再生レートの切り替えが行われたことを示すため、再生レート管理情報４００の再生レート切替支持フラグchg flagをＯＮに設定する（ＳＴ６２）。
次に、制御ＣＰＵ２２は、図１９に示す再生レートに応じた圧縮画像データ読み出し処理を行う。
この場合、インデックスエントリ（Index Entry）のフラグ（Flags）領域に予め記録されていた記録レートを元に、この画像データを現在の再生レートで表示する、しないまたは何回表示するのかの判定を行い画像の読み出しと表示装置２１への出力を行う。
具体的には、図１９に示すように、まず、次のインデックスエントリ（Index Entry）の記録レートを取得する（ＳＴ５６１）。
次に、再生レートの切り替えがあるか否かの判別を行う（ＳＴ５６２）。制御ＣＰＵ２２は、再生レート管理情報４００の再生レート切替指示フラグchg flagがＯＮ、ステップＳＴ５６１で取得した記録レートが再生レート管理情報４００の前回の読み出した記録レートprev rec rateと同じ場合には再生レート切替を行う。
再生レートの切り替えが有る場合、制御ＣＰＵ２２は、再生レート管理情報４００の現在の再生レートcur disp rateを切替後の再生レートnext disp rateとし、再生レート切替指示フラグchg flagをＯＦＦに設定する（ＳＴ５６３）。
次に、全フレーム再生が現在の再生レートcur disp rateであり、読み出した記録レートが現在の再生レートcur disp rate以下であるかの判定結果によって、読み出しデータで間引くか読み出しデータを繰り返し表示するかを切り替える。
図２０は、本実施形態に係るインデックスエントリ（Index Entry）の読み出し間隔の定義表の一例を示す図である。
また、図２１は、本実施形態に係る再生レートに対する記録レート画像の繰り返し表示回数の一例を示す図である。
図２０の定義表において、分数表記の意味は、分母を配列の要素数、分子を読み出すデータの数である。
たとえば、３／８の場合は｛１，０，０，１，０，０，１，０｝となる。ここで１は読み出す、０は読み出さないことを意味する。
図２２は、６０ｆｐｓ、９０ｆｐｓ、１２０ｆｐｓ、２４０ｆｐｓで記録された画像を６０ｆｐｓで通常表示する場合（読み出しを間引く）の例を示す図である。
図２２（Ａ）のように記録されている画像データを、図２２（Ｂ）のように間引いて読み出す。
図２１の例では、分数表記されている部分は、繰り返し表示回数が定義されている配列データを参照する。
たとえば記録レート９０ｆｐｓ、再生レート２４０ｆｐｓの場合は｛３，３，２，３，３，２，３，３，２｝として、９枚単位の画像データに対する表示回数を配列の要素に定義する。
図２３は、６０ｆｐｓ、９０ｆｐｓ、１２０ｆｐｓ、２４０ｆｐｓで記録された画像を２４０ｆｐｓ相当でスロー再生する場合（表示回数を増やす）の例を示す図である。
図２３（Ａ）のように記録されている画像データを、図２３（Ｂ）のように表示回数を増やして再生する。
ここで、図１９の処理に戻る。
ステップＳＴ５６４で読み出しデータを間引くと判定した場合には、図２０の表を元に、ステップＳＴ５６１で取得した記録レートと再生レート管理情報４００の現在の再生レートcur disp rateから決定したインデックスエントリ（Index Entry）を読み出す（ＳＴ５６５）。
次に、読み出したインデックスエントリ（Index Entry）の記録レートを再生レート管理情報４００の前回の読み出した記録レートprev rec rateに設定する（ＳＴ５６６）。
そして、再生レート管理情報４００の表示回数disp cntを１に設定する（ＳＴ５６７）。
ステップＳＴ５６４で読み出しデータを繰り返し表示すると判定した場合には、インデックスエントリ（Index Entry）を読み出す（ＳＴ５６８）。
次に、読み出したインデックスエントリ（Index Entry）の記録レートを再生レート管理情報４００の前回の読み出した記録レートprev rec rateに設定する（ＳＴ５６９）。
次に、図２１の表を元に読み出したインデックスエントリ（Index Entry）の記録レートと現在の再生レートcur disp rateから決定した表示回数を再生レート管理情報４００のdisp cntに設定する（ＳＴ５７０）。
ステップＳＴ５６７またはステップＳＴ５７０の処理の後、読み出したインデックエントリ（Index Entry）のチャンクオフセット(Chunk Offset)、チャンク長(Chunk Length)を元に圧縮画像データを画像メモリ１８上に読み出す（ＳＴ５７１）。
以上の処理によって、記録時にストリームデータ（Stream Data）と対となるデータであるインデックスエントリ（Index Entry）に記録レートを埋め込み、再生時は記録時に埋め込んでおいた記録レートを参照することで、図２２および図２３に示すように複数の記録レートで記録されている動画を任意の再生レートでの再生を実現することが可能となる。
また、記録時に記録レートを固定時間単位（Ｎフレーム分)でのみ切替可能とすることで、図２０および図２１に示すように再生時のインデックスエントリ（Index Entry）の読み出し間隔および繰り返し表示回数をある固定パターンの繰り返しで表現することを可能とすることができる。
なお、本実施形態では、RIFF AVIファイルフォーマットで示したが、たとえばＭＰＥＧ等のファイルフォーマットで実現する場合は、インデックスエントリ（Index Entry）の代わりにＭＰＥＧのユーザデータ（user_data）フィールドを利用して、記録時にuser_data領域に対して画像単位で記録レートを保持しておき、再生時に保持しておいた記録レートを参照することで一般的なファイルフォーマットを崩すことなく同様の制御を行うことが可能である。
また、ＡＶＩファイルフォーマットに関しても、ストリームデータ（Stream Data）本体の圧縮データフォーマット中にユーザーが任意に使用可能な領域、たとえば、ＪＰＥＧであればＣＯＭマーカー(コメントマーカー)等に記録レートを記録しておくことでも同様の制御を行うことが可能である。
以上説明したように、本実施形態によれば、以下の効果を得ることができる。
動画ファイルに記録される各フレームに記録レートを保持するだけなので、記録時のファイル生成が簡潔に実現できる。
一般的に、使用されているファイルフォーマットの形式に対する、拡張が少ないため、一般的なＰＣ上のプレーヤーソフトウェアでも可変レートの動画を再生することができる。
本実施形態の構成機能を有する再生制御を行うことで、６０ｆｐｓの低速フレームレート固定での再生および動画ファイル中に記録されている高レートで記録されている部分の再生をユーザー操作等の要因によって再生レートを切り替えることができる。
また、図２に示す構成例に対して、サンプリングレートがリニアに変更することが可能な音声出力器を追加することで、固定サンプリングレートで記録された音声データに対して、画像の記録レートを付与し、画像出力時と同様に音声データの出力レートを画像の表示時間と合うように制御することで、画音ありの動画の可変レート再生を実現することも可能となる。
なお、本発明の実施形態は、上述した実施形態に拘泥せず、当業者であれば、本発明の要旨を変更しない範囲内で様々な改変が可能である。
また、以上詳細に説明した方法は、上記手順に応じたプログラムとして形成し、ＣＰＵ等のコンピュータで実行するように構成することも可能である。
また、このようなプログラムは、半導体メモリ、磁気ディスク、光ディスク、フロッピー（登録商標）ディスク等の記録媒体、この記録媒体をセットしたコンピュータによりアクセスし上記プログラムを実行するように構成可能である。
RIFF AVI ファイルフォーマットを示す図である。 本発明の実施形態に係る画像処理装置を採用したカメラシステム（撮像装置）の構成例を示すブロック図である。 本実施形態に係る操作デバイスの要部の構成例を示す図である。 本実施形態に係る記録動作開始処理を示すフローチャートである。 本実施形態に係る記録レート管理情報のデータ構造例を示す図である。 動画記録（撮像）が開始されたときのカメラシステムにおけるデータフローを示す図である。 本実施形態に係る記録時の圧縮データ出力通知検出処理を示すフローチャートである。 圧縮データに付与されるチャンクヘッダ（Chunk Header）の構造を示す図である。 制御メモリ上に形成されるインデックスエントリ（Index Entry）の構造を示す図である。 フラグ領域における未使用領域への記録レートの記録例を示す図である。 記録動作中に記録／再生レート切替スイッチが操作されたときの処理を示すフローチャートである。 図９のイメージセンサの入力レート、記録レート切替処理を具体的に示すフローチャートである。 記録停止処理を示すフローチャートである。 本実施形態に係る再生動作開始処理を示すフローチャートである。 本実施形態に係る再生レート管理情報のデータ構造例を示す図である。 再生動作が開始されたときのカメラシステムにおけるデータフローを示す図である。 本実施形態に係る再生中処理を示すフローチャートである。 再生動作中に記録／再生レート切替スイッチが操作されたときの処理を示すフローチャートである。 図１７の再生レートに応じた圧縮画像データ読み出し処理を具体的に示すフローチャートである。 本実施形態に係るインデックスエントリ（Index Entry）の読み出し間隔の定義表の一例を示す図である。 本実施形態に係る再生レートに対する記録レート画像の繰り返し表示回数の一例を示す図である。 ６０ｆｐｓ、９０ｆｐｓ、１２０ｆｐｓ、２４０ｆｐｓで記録された画像を６０ｆｐｓで通常表示する場合（読み出しを間引く）の例を示す図である。 ６０ｆｐｓ、９０ｆｐｓ、１２０ｆｐｓ、２４０ｆｐｓで記録された画像を２４０ｆｐｓ相当でスロー再生する場合（表示回数を増やす）の例を示す図である。
符号の説明
１０・・・カメラシステム、１１・・・光学系、１２・・・イメージセンサ（撮像素子）、１３・・・アナログ信号処理部、１４・・・アナログ／デジタル（Ａ／Ｄ）コンバータ、１５・・・センサ制御部、１６・・・デジタル信号処理部、１７・・・画像圧縮伸長処理部、１８・・・画像メモリ、１９・・・スケーラ、２０・・・表示装置インインターフェース（Ｉ／Ｆ）、２１・・・表示装置、２２・・・制御ＣＰＵ、２３・・・操作デバイス、２４・・・制御メモリ、２５・・・ストレージインターフェース、２６・・・記憶媒体（外部保存用メモリ）、２７・・・バス。

Claims (12)

  1. 複数のフレームレートに対応して画像データの記録、再生処理が可能な画像処理装置であって、
    記録部と、
    各フレームレートに対応して上記画像データの記録処理を行う際に、記録するストリームデータと対となる所定のファイルフォーマットに応じたデータ領域に、各フレームレートに応じた記録レートに関する記録レート管理情報を設定し、上記記録部に記録し、記録された画像データを再生処理する場合には、上記記録部に記録された上記記録レートに関する上記記録レート管理情報を読み出して、再生レート管理情報を設定し、当該再生処理を行う制御部と、を有し、
    上記記録レート管理情報は、レート切替フラグ、入力レート、現在の記録レート、および記録済画像データ数の各管理情報を含み、
    上記再生レート管理情報は、再生レート切替指示フラグ、切替後の再生レート、現在の再生レート、前回の読み出した記録レート、および表示回数の各管理情報を含み、
    上記制御部は、
    記録時において、
    ストリームデータを上記記録部に記録する際に、ストリームデータとして書き込まれた画像データと対となるデータ内に現在の記録レートをインデックスとして記録していき、
    記録動作中に記録レートの切り替え指示を受けると、
    上記記録レート管理情報の現在の記録レートを指定されたレートで更新して上記レート切替フラグをオンに設定し、入力レートおよび記録レートの切替処理を行い、当該切替処理において、
    上記レート切替フラグがオンで入力レートが上記現在の記録レートと等しい場合、入力レートを上記記録レート管理情報の入力レートの値に更新して、上記レート切替フラグをオフしてレート切替処理を完了し、切替後のレートでの記録を行い、
    再生時において、
    上記記録部から上記記録レート管理情報およびインデックス情報を読み出し、上記再生レート管理情報の設定を行い、上記読み出したインデックス情報により当該画像データが現在の再生レートで表示するか否か、または何回表示するのかの判定を行って再生動作を開始し、
    再生動作中に表示切替通知を受けると、
    生成済みの表示用画像を表示系に出力して、上記再生レート管理情報の表示回数をデクリメントし、表示回数０になる全画像データの読み出しが完了するまで読み出し処理を行い、表示用画像データを生成して出力し、
    再生動作中に再生レートの切り替え指示を受けると、
    上記再生レート管理情報の再生レート切替指示フラグをオンし、取得した記録レートが上記再生レート管理情報の前回の読み出した記録レートと同じ場合には再生レート切替を行い、
    当該再生レート切替処理において、上記再生レート管理情報の現在の再生レートを切替後の再生レートとして、上記再生レート切替指示フラグをオフに設定し、
    全フレーム再生が現在の再生レートであり、読み出した記録レートが現在の再生レート以下であるかの判定結果によって、読み出しデータで間引くか読み出しデータを繰り返し表示するかを切り替える
    画像処理装置。
  2. 上記制御部は、
    記録時において、入力レートの切り替えは、再生制御のためにある固定の時間分の画像データであるＮフレーム分のデータが記録されたタイミングで行い、同一の記録レートの画像データおよび上記インデックス情報がＮフレーム分連続して記録されるように制御し、
    レート切替処理においては、
    上記記録レート管理情報の記録済画像データ数をインクリメントし、記録済画像データ数がＮフレームとなると、上記記録レート管理情報のレート切替フラグをオンして、入力レートと記録レートが等しいか否かを判別し、等しいと入力レートを上記記録レート管理情報のセンサ入力レートの値に変更して、上記記録レート管理情報の記録済画像データ数を０に設定し、レート切替フラグをオフに設定して、入力レートおよび記録レートの切替処理を完了する
    請求項１記載の画像処理装置。
  3. 上記制御部は、
    読み出した上記記録レートが現在の再生レート以下である場合には読み出しデータを繰り返し表示し、
    読み出した上記記録レートが現在の再生レート以下でない場合には、読み出しデータを間引いて表示するように制御する
    請求項１記載の画像処理装置。
  4. 上記制御部は、
    読み出した上記記録レートが現在の再生レート以下である場合には読み出しデータを繰り返し表示し、
    読み出した上記記録レートが現在の再生レート以下でない場合には、読み出しデータを間引いて表示するように制御する
    請求項２記載の画像処理装置。
  5. 被写体の像を撮像し画像データを出力する撮像部と、
    画像データに所定の処理を行う画像処理装置と、を含み、
    上記画像処理装置は、
    記録部と、
    各フレームレートに対応して上記画像データの記録処理を行う際に、記録するストリームデータと対となる所定のファイルフォーマットに応じたデータ領域に、各フレームレートに応じた記録レートに関する記録レート管理情報を設定し、上記記録部に記録し、記録された画像データを再生処理する場合には、上記記録部に記録された上記記録レートに関する上記記録レート管理情報を読み出して、再生レート管理情報を設定し、当該再生処理を行う制御部と、を有し、
    上記記録レート管理情報は、レート切替フラグ、入力レート、現在の記録レート、および記録済画像データ数の各管理情報を含み、
    上記再生レート管理情報は、再生レート切替指示フラグ、切替後の再生レート、現在の再生レート、前回の読み出した記録レート、および表示回数の各管理情報を含み、
    上記制御部は、
    記録時において、
    ストリームデータを上記記録部に記録する際に、ストリームデータとして書き込まれた画像データと対となるデータ内に現在の記録レートをインデックスとして記録していき、
    記録動作中に記録レートの切り替え指示を受けると、
    上記記録レート管理情報の現在の記録レートを指定されたレートで更新して上記レート切替フラグをオンに設定し、入力レートおよび記録レートの切替処理を行い、当該切替処理において、
    上記レート切替フラグがオンで入力レートが上記現在の記録レートと等しい場合、入力レートを上記記録レート管理情報の入力レートの値に更新して、上記レート切替フラグをオフしてレート切替処理を完了し、切替後のレートでの記録を行い、
    再生時において、
    上記記録部から上記記録レート管理情報およびインデックス情報を読み出し、上記再生レート管理情報の設定を行い、上記読み出したインデックス情報により当該画像データが現在の再生レートで表示するか否か、または何回表示するのかの判定を行って再生動作を開始し、
    再生動作中に表示切替通知を受けると、
    生成済みの表示用画像を表示系に出力して、上記再生レート管理情報の表示回数をデクリメントし、表示回数０になる全画像データの読み出しが完了するまで読み出し処理を行い、表示用画像データを生成して出力し、
    再生動作中に再生レートの切り替え指示を受けると、
    上記再生レート管理情報の再生レート切替指示フラグをオンし、取得した記録レートが上記再生レート管理情報の前回の読み出した記録レートと同じ場合には再生レート切替を行い、
    当該再生レート切替処理において、上記再生レート管理情報の現在の再生レートを切替後の再生レートとして、上記再生レート切替指示フラグをオフに設定し、
    全フレーム再生が現在の再生レートであり、読み出した記録レートが現在の再生レート以下であるかの判定結果によって、読み出しデータで間引くか読み出しデータを繰り返し表示するかを切り替える
    撮像装置。
  6. 上記制御部は、
    記録時において、入力レートの切り替えは、再生制御のためにある固定の時間分の画像データであるＮフレーム分のデータが記録されたタイミングで行い、同一の記録レートの画像データおよび上記インデックス情報がＮフレーム分連続して記録されるように制御し、
    レート切替処理においては、
    上記記録レート管理情報の記録済画像データ数をインクリメントし、記録済画像データ数がＮフレームとなると、上記記録レート管理情報のレート切替フラグをオンして、入力レートと記録レートが等しいか否かを判別し、等しいと入力レートを上記記録レート管理情報のセンサ入力レートの値に変更して、上記記録レート管理情報の記録済画像データ数を０に設定し、レート切替フラグをオフに設定して、入力レートおよび記録レートの切替処理を完了する
    請求項５記載の撮像装置。
  7. 上記制御部は、
    読み出した上記記録レートが現在の再生レート以下である場合には読み出しデータを繰り返し表示し、
    読み出した上記記録レートが現在の再生レート以下でない場合には、読み出しデータを間引いて表示するように制御する
    請求項５記載の撮像装置。
  8. 上記制御部は、
    読み出した上記記録レートが現在の再生レート以下である場合には読み出しデータを繰り返し表示し、
    読み出した上記記録レートが現在の再生レート以下でない場合には、読み出しデータを間引いて表示するように制御する
    請求項６記載の撮像装置。
  9. 複数のフレームレートに対応して画像データの記録、再生処理が可能な画像処理方法であって、
    各フレームレートに対応して上記画像データの記録処理を行う際に、記録するストリームデータと対となる所定のファイルフォーマットに応じたデータ領域に、各フレームレートに応じた記録レートに関する記録レート管理情報を設定し、記録部に記録し、
    記録された画像データを再生処理する場合には、上記記録部に記録された上記記録レートに関する上記記録レート管理情報を読み出して、再生レート管理情報を設定し、当該再生処理を行い、
    上記記録レート管理情報は、レート切替フラグ、入力レート、現在の記録レート、および記録済画像データ数の各管理情報を含み、
    上記再生レート管理情報は、再生レート切替指示フラグ、切替後の再生レート、現在の再生レート、前回の読み出した記録レート、および表示回数の各管理情報を含み、
    記録時において、
    ストリームデータを上記記録部に記録する際に、ストリームデータとして書き込まれた画像データと対となるデータ内に現在の記録レートをインデックスとして記録していき、
    記録動作中に記録レートの切り替え指示を受けると、
    上記記録レート管理情報の現在の記録レートを指定されたレートで更新して上記レート切替フラグをオンに設定し、入力レートおよび記録レートの切替処理を行い、当該切替処理において、
    上記レート切替フラグがオンで入力レートが上記現在の記録レートと等しい場合、入力レートを上記記録レート管理情報の入力レートの値に更新して、上記レート切替フラグをオフしてレート切替処理を完了し、切替後のレートでの記録を行い、
    再生時において、
    上記記録部から上記記録レート管理情報およびインデックス情報を読み出し、上記再生レート管理情報の設定を行い、上記読み出したインデックス情報により当該画像データが現在の再生レートで表示するか否か、または何回表示するのかの判定を行って再生動作を開始し、
    再生動作中に表示切替通知を受けると、
    生成済みの表示用画像を表示系に出力して、上記再生レート管理情報の表示回数をデクリメントし、表示回数０になる全画像データの読み出しが完了するまで読み出し処理を行い、表示用画像データを生成して出力し、
    再生動作中に再生レートの切り替え指示を受けると、
    上記再生レート管理情報の再生レート切替指示フラグをオンし、取得した記録レートが上記再生レート管理情報の前回の読み出した記録レートと同じ場合には再生レート切替を行い、
    当該再生レート切替処理において、上記再生レート管理情報の現在の再生レートを切替後の再生レートとして、上記再生レート切替指示フラグをオフに設定し、
    全フレーム再生が現在の再生レートであり、読み出した記録レートが現在の再生レート以下であるかの判定結果によって、読み出しデータで間引くか読み出しデータを繰り返し表示するかを切り替える
    画像処理方法。
  10. 記録時において、入力レートの切り替えは、再生制御のためにある固定の時間分の画像データであるＮフレーム分のデータが記録されたタイミングで行い、同一の記録レートの画像データおよび上記インデックス情報がＮフレーム分連続して記録されるように制御し、
    レート切替処理においては、
    上記記録レート管理情報の記録済画像データ数をインクリメントし、記録済画像データ数がＮフレームとなると、上記記録レート管理情報のレート切替フラグをオンして、入力レートと記録レートが等しいか否かを判別し、等しいと入力レートを上記記録レート管理情報のセンサ入力レートの値に変更して、上記記録レート管理情報の記録済画像データ数を０に設定し、レート切替フラグをオフに設定して、入力レートおよび記録レートの切替処理を完了する
    請求項９記載の画像処理方法。
  11. 複数のフレームレートに対応して画像データの記録、再生処理が可能な画像処理であって、
    各フレームレートに対応して上記画像データの記録処理を行う際に、記録するストリームデータと対となる所定のファイルフォーマットに応じたデータ領域に、各フレームレートに応じた記録レートに関する記録レート管理情報を設定し、記録部に記録処理と、
    記録された画像データを再生処理する場合には、上記記録部に記録された上記記録レートに関する上記記録レート管理情報を読み出して、再生レート管理情報を設定し、当該再生処理を行う処理と、を有し、
    上記記録レート管理情報は、レート切替フラグ、入力レート、現在の記録レート、および記録済画像データ数の各管理情報を含み、
    上記再生レート管理情報は、再生レート切替指示フラグ、切替後の再生レート、現在の再生レート、前回の読み出した記録レート、および表示回数の各管理情報を含み、
    記録時において、
    ストリームデータを上記記録部に記録する際に、ストリームデータとして書き込まれた画像データと対となるデータ内に現在の記録レートをインデックスとして記録していき、
    記録動作中に記録レートの切り替え指示を受けると、
    上記記録レート管理情報の現在の記録レートを指定されたレートで更新して上記レート切替フラグをオンに設定し、入力レートおよび記録レートの切替処理を行い、当該切替処理において、
    上記レート切替フラグがオンで入力レートが上記現在の記録レートと等しい場合、入力レートを上記記録レート管理情報の入力レートの値に更新して、上記レート切替フラグをオフしてレート切替処理を完了し、切替後のレートでの記録を行い、
    再生時において、
    上記記録部から上記記録レート管理情報およびインデックス情報を読み出し、上記再生レート管理情報の設定を行い、上記読み出したインデックス情報により当該画像データが現在の再生レートで表示するか否か、または何回表示するのかの判定を行って再生動作を開始し、
    再生動作中に表示切替通知を受けると、
    生成済みの表示用画像を表示系に出力して、上記再生レート管理情報の表示回数をデクリメントし、表示回数０になる全画像データの読み出しが完了するまで読み出し処理を行い、表示用画像データを生成して出力し、
    再生動作中に再生レートの切り替え指示を受けると、
    上記再生レート管理情報の再生レート切替指示フラグをオンし、取得した記録レートが上記再生レート管理情報の前回の読み出した記録レートと同じ場合には再生レート切替を行い、
    当該再生レート切替処理において、上記再生レート管理情報の現在の再生レートを切替後の再生レートとして、上記再生レート切替指示フラグをオフに設定し、
    全フレーム再生が現在の再生レートであり、読み出した記録レートが現在の再生レート以下であるかの判定結果によって、読み出しデータで間引くか読み出しデータを繰り返し表示するかを切り替える
    画像処理をコンピュータに実行させるプログラム。
  12. 記録時において、入力レートの切り替えは、再生制御のためにある固定の時間分の画像データであるＮフレーム分のデータが記録されたタイミングで行い、同一の記録レートの画像データおよび上記インデックス情報がＮフレーム分連続して記録されるように制御し、
    レート切替処理においては、
    上記記録レート管理情報の記録済画像データ数をインクリメントし、記録済画像データ数がＮフレームとなると、上記記録レート管理情報のレート切替フラグをオンして、入力レートと記録レートが等しいか否かを判別し、等しいと入力レートを上記記録レート管理情報のセンサ入力レートの値に変更して、上記記録レート管理情報の記録済画像データ数を０に設定し、レート切替フラグをオフに設定して、入力レートおよび記録レートの切替処理を完了する
    画像処理をコンピュータに実行させる請求項１１記載のプログラム。
JP2007213017A 2007-08-17 2007-08-17 画像処理装置、撮像装置、画像処理方法、およびプログラム Expired - Fee Related JP5018332B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2007213017A JP5018332B2 (ja) 2007-08-17 2007-08-17 画像処理装置、撮像装置、画像処理方法、およびプログラム
US12/191,410 US8810689B2 (en) 2007-08-17 2008-08-14 Image processing apparatus, imaging apparatus, image processing method, and program for processing image data at a plurality of frame rates

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007213017A JP5018332B2 (ja) 2007-08-17 2007-08-17 画像処理装置、撮像装置、画像処理方法、およびプログラム

Publications (2)

Publication Number Publication Date
JP2009049647A JP2009049647A (ja) 2009-03-05
JP5018332B2 true JP5018332B2 (ja) 2012-09-05

Family

ID=40362656

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007213017A Expired - Fee Related JP5018332B2 (ja) 2007-08-17 2007-08-17 画像処理装置、撮像装置、画像処理方法、およびプログラム

Country Status (2)

Country Link
US (1) US8810689B2 (ja)
JP (1) JP5018332B2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101224165B1 (ko) * 2008-01-02 2013-01-18 삼성전자주식회사 데이터 처리 모듈 제어 방법 및 장치
JP5414357B2 (ja) 2009-05-20 2014-02-12 キヤノン株式会社 撮像装置および再生装置
JP2015186235A (ja) * 2014-03-26 2015-10-22 ソニー株式会社 イメージセンサ、および電子装置
JP6442266B2 (ja) * 2014-12-16 2018-12-19 キヤノン株式会社 撮像制御装置、その制御方法、プログラム、及び記憶媒体
JP6463967B2 (ja) * 2014-12-25 2019-02-06 キヤノン株式会社 撮像装置及びその制御方法
US9865205B2 (en) * 2015-01-19 2018-01-09 Himax Technologies Limited Method for transmitting data from timing controller to source driver and associated timing controller and display system

Family Cites Families (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2265089C (en) * 1998-03-10 2007-07-10 Sony Corporation Transcoding system using encoding history information
US6469744B1 (en) * 1999-07-06 2002-10-22 Hitachi America, Ltd. Methods and apparatus for encoding, decoding and displaying images in a manner that produces smooth motion
GB9916819D0 (en) * 1999-07-20 1999-09-22 Telemedia Systems Ltd Method of and apparatus for digital data storage
JP2001339460A (ja) * 2000-05-26 2001-12-07 Matsushita Electric Ind Co Ltd デジタル送受信装置
JP2002044609A (ja) * 2000-07-31 2002-02-08 Matsushita Electric Ind Co Ltd 映像記録装置および監視装置
US8023796B2 (en) * 2000-11-07 2011-09-20 Panasonic Corporation Video signal producing system and video signal recording/reproducing device in that system
JP2002320203A (ja) * 2001-04-19 2002-10-31 Matsushita Electric Ind Co Ltd 映像信号記録装置および映像信号再生装置
JP4614548B2 (ja) * 2001-01-31 2011-01-19 パナソニック株式会社 超音波診断装置
US7242850B2 (en) * 2001-02-23 2007-07-10 Eastman Kodak Company Frame-interpolated variable-rate motion imaging system
JP2002300581A (ja) * 2001-03-29 2002-10-11 Matsushita Electric Ind Co Ltd 映像符号化装置、及び映像符号化プログラム
WO2003043314A1 (fr) * 2001-11-12 2003-05-22 Matsushita Electric Industrial Co., Ltd. Appareil de recueillement d'images
JP2004023732A (ja) * 2002-06-20 2004-01-22 Matsushita Electric Ind Co Ltd データ送信装置、データ受信装置、データ送信方法及びデータ受信方法
JP4162454B2 (ja) * 2002-09-10 2008-10-08 三洋電機株式会社 データ処理装置
JP3925487B2 (ja) * 2002-11-15 2007-06-06 ソニー株式会社 撮像装置と撮像方法
JP3725134B2 (ja) * 2003-04-14 2005-12-07 株式会社エヌ・ティ・ティ・ドコモ 移動通信システム、移動通信端末、及びプログラム。
JP3908691B2 (ja) * 2003-04-28 2007-04-25 株式会社東芝 情報記録媒体、録画前処理方法、情報記録方法、情報再生方法、情報記録装置および情報再生装置
US9612965B2 (en) * 2003-06-24 2017-04-04 Hewlett-Packard Development Company, L.P. Method and system for servicing streaming media
JP3800207B2 (ja) * 2003-07-18 2006-07-26 ソニー株式会社 撮像装置
JP4380252B2 (ja) * 2003-07-22 2009-12-09 ソニー株式会社 撮像装置および撮像方法
JP2005124091A (ja) * 2003-10-20 2005-05-12 Sony Corp 復号装置及び復号方法
JP3926316B2 (ja) * 2003-10-31 2007-06-06 松下電器産業株式会社 撮像装置
US20050102704A1 (en) * 2003-11-07 2005-05-12 Rudy Prokupets Multiregional security system integrated with digital video recording and archiving
US8135261B1 (en) * 2003-12-09 2012-03-13 Apple Inc. Insertion and usage of metadata in digital video
US8064752B1 (en) * 2003-12-09 2011-11-22 Apple Inc. Video encoding
JP4364903B2 (ja) * 2004-03-17 2009-11-18 富士通マイクロエレクトロニクス株式会社 自動利得制御回路
JP2005348228A (ja) * 2004-06-04 2005-12-15 Hitachi Ltd 動画像編集システム
JP4653454B2 (ja) * 2004-10-22 2011-03-16 株式会社東芝 超音波診断装置、及びこの装置の制御プログラム
ATE500580T1 (de) * 2005-03-25 2011-03-15 Sensormatic Electronics Llc Intelligente kameraauswahl und objektverfolgung
JP2006352529A (ja) * 2005-06-16 2006-12-28 Olympus Corp 撮像装置
JP4537266B2 (ja) 2005-06-16 2010-09-01 キヤノン株式会社 記録装置及び再生装置
JP4887727B2 (ja) 2005-10-20 2012-02-29 ソニー株式会社 画像信号処理装置、カメラシステム、および画像信号処理方法
CN101346997B (zh) * 2005-12-28 2015-01-14 英特尔公司 用户敏感信息适应性视频代码转换的方法、***和设备
JP5153647B2 (ja) * 2006-01-13 2013-02-27 ヤフー！ インコーポレイテッド デジタルマルチメディアのオンラインリミックスのための方法及びシステム
US8588578B2 (en) * 2006-03-29 2013-11-19 Transpacific Digidata, Llc Conversion of video data to playable format
JP2008035474A (ja) * 2006-06-26 2008-02-14 Olympus Imaging Corp デジタルカメラ
US8135443B2 (en) * 2006-08-31 2012-03-13 Qualcomm Incorporated Portable device with priority based power savings control and method thereof
US20080131086A1 (en) * 2006-09-01 2008-06-05 Matthijs Hutten Video content recording apparatus with syntax for video content recording parameters
US7844847B2 (en) * 2006-09-18 2010-11-30 Samsung Electronics Co., Ltd. System and method for tuning power consumption and group delay in wireless RFICs
US20090003172A1 (en) * 2006-12-29 2009-01-01 Hiroshi Yahata Playback device, recording device, disc medium, and method
US8107675B2 (en) * 2006-12-29 2012-01-31 Cognex Corporation Trigger system for data reading device
US7978239B2 (en) * 2007-03-01 2011-07-12 Eastman Kodak Company Digital camera using multiple image sensors to provide improved temporal sampling

Also Published As

Publication number Publication date
US8810689B2 (en) 2014-08-19
US20090046175A1 (en) 2009-02-19
JP2009049647A (ja) 2009-03-05

Similar Documents

Publication Publication Date Title
US7692690B2 (en) Image sensing apparatus for recording a moving image and a still image and its control method
JP3551181B2 (ja) 記録装置及び記録方法
JP3912536B2 (ja) 記録方法、記録装置、記録媒体、撮像装置および撮像方法
JP5333229B2 (ja) 再生装置及び再生方法、並びにコンピュータ・プログラム
JP5018332B2 (ja) 画像処理装置、撮像装置、画像処理方法、およびプログラム
JP2009118215A (ja) 撮像装置
JP2006148731A (ja) 記録装置および方法、再生装置および方法、プログラム、並びに記録媒体
JP4042411B2 (ja) データ記録装置、データ再生装置、データ記録再生方法及び撮像装置
JP5164610B2 (ja) 撮像装置及びその制御方法
JP4901673B2 (ja) 撮像装置、記録装置、再生装置、撮像方法、記録方法、再生方法及びプログラム
JP2005312022A (ja) 映像音声記録再生装置、及びデジタルビデオカメラ
JPH11215458A (ja) 画像記録装置及び方法、画像再生装置及び方法、画像記録再生装置及び方法、並びに記録媒体
JP2004015580A (ja) 記録装置
JP2010258917A (ja) 撮影装置、プログラム、及び撮影方法
JP5076457B2 (ja) 映像信号処理装置、映像信号処理方法
JP4761544B2 (ja) 再生装置及びその制御方法
JP2011147119A (ja) 画像処理装置および画像処理プログラム
JP6278353B2 (ja) 記録装置、記録方法、プログラム、ならびに撮像装置
JP2009100199A (ja) 画像処理装置、撮像装置、画像処理方法、およびプログラム
JP2008160564A (ja) カメラ装置およびカメラ装置におけるチャプタデータ生成方法
JP2008097727A (ja) 動画再生装置
JP4164696B2 (ja) 撮像装置および撮像方法
JP3624935B2 (ja) デジタル映像再生装置及びデジタル映像記録再生装置
JP4577346B2 (ja) データ記録装置、データ再生装置、データ記録再生方法及び撮像装置
KR20050036559A (ko) 기록매체에 기록된 동영상신호를 다른 기록매체로 복사할수 있는 촬영장치 및 그의 기록매체간 동영상신호 복사방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100305

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110510

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110531

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110725

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120124

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120305

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120515

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120528

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150622

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees