JP2004221999A - 画像処理方法 - Google Patents
画像処理方法 Download PDFInfo
- Publication number
- JP2004221999A JP2004221999A JP2003007665A JP2003007665A JP2004221999A JP 2004221999 A JP2004221999 A JP 2004221999A JP 2003007665 A JP2003007665 A JP 2003007665A JP 2003007665 A JP2003007665 A JP 2003007665A JP 2004221999 A JP2004221999 A JP 2004221999A
- Authority
- JP
- Japan
- Prior art keywords
- frame
- frame rate
- data
- unit
- moving image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
Abstract
【課題】異なるフレームレートで撮影された動画像が混在する画像データの再生する際に、高フレームレートで撮影されたフレーム群を自動的に遅延再生（スロー再生）すること。
【解決手段】異なるフレームレートで撮影された動画像が混在する動画像データを再生する画像処理方法であって、撮影時のフレームレートで動画像データを再生する第１の再生モードと、予め決められた第１のフレームレートで撮影された動画像データを該第１のフレームレートで再生し、該第１のフレームレートよりも高いフレームレートで撮影された動画像データを、撮影時のフレームレートよりも低い第２のフレームレートで再生する第２の再生モードとのいずれかを選択する選択工程（Ｓ６０４）と、前記選択された第１または第２の再生モードで、動画像データを再生する再生工程（Ｓ６０５、Ｓ６０６）とを有する。
【選択図】 図１８
【解決手段】異なるフレームレートで撮影された動画像が混在する動画像データを再生する画像処理方法であって、撮影時のフレームレートで動画像データを再生する第１の再生モードと、予め決められた第１のフレームレートで撮影された動画像データを該第１のフレームレートで再生し、該第１のフレームレートよりも高いフレームレートで撮影された動画像データを、撮影時のフレームレートよりも低い第２のフレームレートで再生する第２の再生モードとのいずれかを選択する選択工程（Ｓ６０４）と、前記選択された第１または第２の再生モードで、動画像データを再生する再生工程（Ｓ６０５、Ｓ６０６）とを有する。
【選択図】 図１８
Description
【０００１】
【発明の属する技術分野】
本発明は、各コマが独立して符号化された動画像符号化データから、通常再生、或いはスロー再生用の復号を行う画像処理に関する。
【０００２】
【従来の技術】
可変フレームレートで動画像を撮像できる撮像装置による撮像動作中に、注目すべき撮像時間、通常のフレームレート（基本フレームレート）より高いフレームレート（高フレームレート）で撮像することがある。このようにして撮像された動画像データを再生する動画像再生装置は、通常、撮像時のフレームレートに追従して再生（追従再生）を行うが、必ずしもこの再生方法が好適であるとは限らない。
【０００３】
例えば、何らかの動作を詳しく観察したい場合には、高フレームレートで撮像して得られたフレーム群をゆっくりと再生（遅延再生）することが考えられる。
【０００４】
【発明が解決しようとする課題】
しかし、動画像再生装置が自動追従再生にしか対応していない場合、遅延再生により複数回観察を繰り返そうとすると、動画像再生装置に毎回手動で遅延再生を指示する必要があり、不便である。
【０００５】
本発明は上記問題点を鑑みてなされたものであり、異なるフレームレートで撮影された動画像が混在する画像データの再生する際に、高フレームレートで撮影されたフレーム群を自動的に遅延再生（スロー再生）することを目的とする。
【０００６】
【課題を解決するための手段】
異なるフレームレートで撮影された動画像が混在する動画像データを再生する画像処理方法であって、撮影時のフレームレートで動画像データを再生する第１の再生モードと、予め決められた第１のフレームレートで撮影された動画像データを該第１のフレームレートで再生し、該第１のフレームレートよりも高いフレームレートで撮影された動画像データを、該フレームレートよりも低い第２のフレームレートで再生する第２の再生モードとのいずれかを選択する選択工程と、前記選択された第１または第２の再生モードで、動画像データを再生する再生工程とを有する。
【０００７】
【発明の実施の形態】
以下、添付図面を参照して本発明の好適な実施の形態を詳細に説明する。
【０００８】
＜第１の実施形態＞
（動画像符号化の概略）
まず、動画像符号化データを作成する過程である撮影記録時の処理について、簡単に説明する。
【０００９】
図１は動画像を撮影可能なデジタルカメラ２０１の概念図である。詳細は公知であるので省略するが、本実施の形態においては、動画撮影ボタン２０２を半押しすることで例えば３０フレーム（コマ）／秒（ｆｐｓ）の動画撮影を、全押しすることで例えば６０ｆｐｓの動画撮影を可能であるものとする。例えば、撮影対象物の動きの速度／方向が突然変化するような場合には、通常は半押しで対象物を撮影し、上記変化が起こる前後のみにおいて全押しで対象物を撮影すれば、一連の撮影動作において、３０ｆｐｓと６０ｆｐｓのシーンが混在する動画像を記録することが可能である。
【００１０】
図２（ａ）は上記デジタルカメラ２０１で撮影された各コマの画像を符号化、記録するための、デジタルカメラ２０１内の構成を示す概念図である。図２（ａ）において、２１０は画像入力部、２１１はＪＰＥＧ２０００符号化部、２１２は記録部である。２１３は着脱可能な記録媒体であるが、内蔵されたメモリであってもよい。
【００１１】
上記方法で撮影される各コマは画像入力部２１０からコマ単位に発生する。そしてその各コマ（画像）は、ＪＰＥＧ２０００符号化部２１１において、各コマ毎に独立して符号化される。なお、このＪＰＥＧ２０００符号化部２１１の符号化方式は、後ほど説明する。また、本実施の形態においては、各コマが独立して符号化されていることが重要であり、その符号化方式については特に限定しない。従って、ＪＰＥＧ２０００符号化部２１１の代わりにＪＰＥＧ符号化器を用いても構わない。
【００１２】
ここで符号化された各コマの符号化データは、時系列順に記録部２１２により、記録媒体２１３に記録される。このとき、記録部２１２は、各コマが３０ｆｐｓで撮影して得られたものか、６０ｆｐｓで撮影して得られたものかを画像入力部２１０からの制御信号、或いは図１の撮影ボタン２０２からの制御信号等を監視することにより識別し、記録媒体２１３には、そのコマの符号化データと共に、この識別結果を示す情報も合わせて記録する。これにより、復号化をする際に、３０ｆｐｓまたは６０ｆｐｓのいずれで撮影記録されたコマかを知ることができる。
【００１３】
なお、記録媒体２１３には、各符号化データは連続的に図２（ｂ）に示すように記録される。
【００１４】
（ＪＥＰＧ２０００符号化方法の概略）
次に、ＪＥＰＧ２０００符号化部２１１におけるフレームデータの符号化処理について、図３に示すＪＥＰＧ２０００符号化部２１１の構成および図４のフローチャートを参照して説明する。なお、ヘッダの作成方法等、詳細についてはＩＳＯ／ＩＥＣ勧告書に説明されている通りであるので、ここでは説明を省略する。
【００１５】
以下の説明では、符号化対象となるフレームデータが８ビットのモノクロフレームデータであるものとして説明をする。しかしながら、フレームデータの形態はこれに限るものではなく、各画素４ビット、１０ビット、１２ビットと言った具合に８ビット以外のビット数で表すモノクロ画像、或いは各画素における各色成分（ＲＧＢ／Ｌａｂ／ＹＣｒＣｂ）を８ビットで表現するカラーの多値フレームデータである場合に適用することも可能である。また、画像を構成する各画素の状態等を表す多値情報である場合、例えば各画素の色を表す多値のインデックス値である場合にも適用できる。これらに応用する場合には、各種類の多値情報を後述するモノクロフレームデータとすればよい。
【００１６】
まず、画像入力部２１０から、フレームデータ入力部３０１へ、符号化対象となる画像のフレームデータがラスタースキャン順に入力され、タイル分割部３０２に出力される。
【００１７】
タイル分割部３０２は、フレームデータ入力部３０１から入力される１枚の画像を図５に示すようなＮ枚のタイルに分割し（ステップＳ５０１）、各タイルを識別するために、本第１の実施形態ではラスタースキャン順にタイル番号０， １， ２， ．．．，Ｎ−１を割り振る。以下、各タイルを表すデータをタイルデータと呼ぶ。なお、図５では画像を横８縦６の４８枚のタイルに分割した例を示しているが、分割タイル数は適宜変更可能であることは言うまでもない。これら生成されたタイルデータは、順に離散ウェーブレット変換部３０３に送られる。離散ウェーブレット変換部３０３以降の処理においては、タイルデータ毎に符号化される。
【００１８】
ステップＳ５０２において、処理しているタイルを認識するためのカウンタをｉ＝０に設定する。
【００１９】
離散ウェーブレット変換部３０３は、タイル分割部３０２から入力される、１フレーム画像のフレームデータ中の１つのタイルデータにおける複数の画素（参照画素）のデータ（以下、「参照画素データ」）を用いて離散ウェーブレット変換を行う（ステップＳ５０３）。
【００２０】
ここで、離散ウェーブレット変換後のフレームデータ（離散ウェーブレット変換係数）を示す。
【００２１】
Ｙ（２ｎ），Ｙ（２ｎ＋１）は離散ウェーブレット変換係数列であり、Ｙ（２ｎ）は低周波サブバンド、Ｙ（２ｎ＋１）は高周波サブバンドである。また、上記変換式（１）においてｆｌｏｏｒ｛Ｘ｝はＸを超えない最大の整数値を表す。この離散ウェーブレット変換を模式的に表わしたのが図６である。
【００２２】
上記変換式（１）は一次元のデータに対するものであるが、この変換を水平方向、垂直方向の順に適用して二次元の変換を行うことにより、図７（ａ）に示すようなＬＬ，ＨＬ，ＬＨ，ＨＨの４つのサブバンドに分割することができる。ここで、Ｌは低周波サブバンド、Ｈは高周波サブバンドを示している。次にＬＬサブバンドを、同じようにして４つのサブバンドに分け（図７（ｂ））、その中のＬＬサブバンドを更に４つのサブバンドに分ける（図７（ｃ））。このようにして合計１０のサブバンドを作る。１０個のサブバンドそれぞれを、図７（ｃ）の様にＨＨ１，ＨＬ１，…と呼ぶ。ここで、各サブバンドの名称における数字は、それぞれのサブバンドのレベルを示す。つまり、レベル１のサブバンドは、ＨＬ１，ＨＨ１，ＬＨ１、レベル２のサブバンドは、ＨＬ２，ＨＨ２，ＬＨ２、レベル３のサブバンドは、ＨＬ３，ＨＨ３，ＬＨ３である。なおＬＬサブバンドは、レベル０のサブバンドである。ＬＬサブバンドは一つしかないので添字を付けない。またレベル０からレベルｎまでのサブバンドを復号することで得られる復号画像を、レベルｎの復号画像と呼ぶ。復号画像は、そのレベルが高い程解像度は高い。
【００２３】
１０個のサブバンドの変換係数は、一旦バッファ３０４に格納され、ＬＬ，ＨＬ１，ＬＨ１，ＨＨ１，ＨＬ２，ＬＨ２，ＨＨ２，ＨＬ３，ＬＨ３，ＨＨ３の順に、つまり、レベルが低いサブバンドからレベルが高いサブバンドの順に、係数量子化部３０５へ出力される。
【００２４】
係数量子化部３０５では、バッファ３０４から出力される各サブバンドの変換係数を各周波数成分毎に定めた量子化ステップで量子化し、量子化後の値（係数量子化値）をエントロピー符号化部３０６へ出力する（ステップＳ５０４）。係数値をＸ、この係数の属する周波数成分に対する量子化ステップの値をｑとすると、量子化後の係数値Ｑ（Ｘ）は次式（２）によって求めるものとする。
Ｑ（Ｘ）＝ｆｌｏｏｒ｛（Ｘ／ｑ）＋０．５｝ …（２）
【００２５】
本実施の形態における各周波数成分と量子化ステップとの対応を図８に示す。同図に示すように、よりレベルが高いサブバンドの方に、大きい量子化ステップを与えている。なお、各サブバンド毎の量子化ステップは予め不図示のＲＡＭやＲＯＭなどのメモリに格納されているものとする。そして、一つのサブバンドにおける全ての変換係数を量子化した後、それら係数量子化値をエントロピー符号化部３０６へ出力する。
【００２６】
エントロピー符号化部３０６は、入力された係数量子化値をエントロピー符号化する（ステップＳ５０５）。ここでは、まず、図９に示すように、入力された係数量子化値の集まりである各サブバンドが矩形（「コードブロック」と呼ぶ。）に分割される。なお、このコードブロックの大きさには、２ｍ×２ｎ（ｍ、ｎは２以上の整数）等が設定される。さらにこのコードブロックを、図１０に示すように、ビットプレーンに分割する。その上で、各ビットプレーンにおける各ビットは、図１１に示すように所定分類規則に基づいて３種類に分けられて、同じ種類のビットを集めたコーディングパスが３種類生成される。入力された係数量子化値は、ここで得られたコーディングパスを単位として、エントロピー符号化である二値算術符号化が行われ、エントロピー符号化値が生成される。
【００２７】
なお、エントロピー符号化は、１つのコードブロックに注目すると上位ビットプレーンから下位ビットプレーンの順に符号化され、更にそのコードブロックのあるビットプレーンに注目すると、図１１に示す３種類のパスを上から順に符号化するようになっている。
【００２８】
エントロピー符号化されたコーディングパスは、タイル符号化データ生成部３０７に出力される。
【００２９】
タイル符号化データ生成部３０７では、入力された複数のコーディングパスから、単一もしくは複数のレイヤーを構成し、それらレイヤーをデータの単位としてタイル符号化データを生成する（ステップＳ５０６）。以下にレイヤーの構成に関する説明を行う。
【００３０】
タイル符号化データ生成部３０７は、図１２に示すように、複数のサブバンドにおける複数のコードブロックから、エントロピー符号化されたコーディングパスを集めた上で、レイヤーを構成する。図１２は５枚のレイヤーを生成する場合を示している。なお、任意のコードブロックからコーディングパスを取得する際には、図１３に示すように、常にそのコードブロックにおいて最上位に存在するコーディングパスから順に選択する。その後、タイル符号化データ生成部３０７は、図１４に示すように、生成したレイヤーを上位に位置するレイヤーから順に並べた上で、その先頭にタイルヘッダを付加してタイル符号化データを生成する。このヘッダには、タイルを識別する情報や、当該タイル符号化データの符号長や、圧縮に使用した様々なパラメータ等が格納される。このように生成されたタイル符号化データは、フレーム符号化データ生成部３０８に出力される。
【００３１】
次に、ステップＳ５０７で符号化すべきタイルデータが残っているかどうかをカウンタｉの値とタイル番号とを比較することにより判断する。符号化すべきタイルデータが残っている場合（つまりｉ＜Ｎ−１）は、ステップＳ５０８でカウンタｉを１増やし、ステップＳ５０３に戻って次のタイルに対してステップＳ５０７までの処理を繰り返す。符号化すべきタイルデータが残っていない場合（つまりｉ＝Ｎ−１）は、ステップＳ５０９に進む。
【００３２】
フレーム符号化データ生成部３０８では、図１４に示すようなタイル符号化データを、図１５に示すように所定の順番（例えば、タイル番号順）に並べた上で、先頭にヘッダを付加してフレーム符号化データを生成する（ステップＳ５０９）。このヘッダには、入力画像やタイルの縦横のサイズ、圧縮に使用した様々なパラメータ等が格納される。このように生成されたフレーム符号化データは、フレーム符号化データ出力部３０９から記録部２１２に出力される。
【００３３】
以上がＪＥＰＧ２０００によるフレームデータの符号化方法の説明である。
【００３４】
（復号再生）
次に、本第１の実施系多における、上述のようにして作成された動画像符号化データを復号化する処理ついて説明する。
【００３５】
図１６は、本実施の形態において使用する画像処理装置の概略図である。
【００３６】
図１６において、１００は各部の動作を制御する制御部である。この制御部１００は後述するユーザーインターフェイスからの指示（例えば、通常再生モードと自動スロー再生モードの切替、再生開始、再生停止、自動スロー再生モードの指示等）も受け取り、これに応じた動作制御を各部に行う。なお、上記各モードで行われる処理については、詳細に後述する。
【００３７】
１０１は読み取り器であり、上述した図２（ａ）の記録媒体２１３に記録された動画像符号化データを読み出すものである。１０２は読み取り器１０１が読み取った動画像符号化データを一旦蓄積するメモリである。メモリ１０２はその他に、この動画像符号化データを復号して得られる復号画像も一旦蓄積する。また、装置内の各部が使用するプログラムデータ等も格納可能であり、各種ワークメモリとしても使用される。
【００３８】
１０３は上述したＪＰＥＧ２０００符号化部３０２の復号側に相当するＪＰＥＧ２０００復号部である。ＪＰＥＧ２０００復号部１０３は、ＪＰＥＧ２０００で符号化され、記録媒体２１３に記録された各コマ毎の符号化データを順次復号する。このＪＥＰＧ２０００の復号方法については、後程説明する。
【００３９】
１０４は表示用メモリであり、次に表示したい１コマ分の画像を記憶させるものである。本実施の形態ではメモリ１０２に一旦格納された復号画像を制御部１００のタイミング制御に基づいて順次（繰り返し同一コマを読み出す場合もある）読み出し、表示用メモリ１０４に書き込むものとする。なお、表示用メモリ１０４は、書き込みと読み出しが重ならないように、複数コマ分の画像データを記憶可能な容量を備えることとし、制御部１００がその書き込みと読み出しも管理する。
【００４０】
１０５は表示部であり、パソコン等のディスプレイに相当する。表示部１０５には、表示部１０５に与えられた表示用フレームレートで、メモリ１０４に保持されたコマ（画像）を表示するものである。なお、本実施の形態では、通常再生時には、入力されたフレームのフレームレートに合わせたフレームレートで、自動スロー再生の有効時には、３０ｆｐｓで各コマを表示する。
【００４１】
１０６は、例えばマウス、キーボード、表示部１０５と一体化したタッチパネル等の指示入力部である。ユーザーは、表示部１０５に表示される操作画面を参照しつつ、指示入力部１０６を介して、再生に関するあらゆる指示を入力することができる。
【００４２】
図１７は、表示部１０５に表示される操作画面を示したものである。図１７において４００は、表示用メモリ１０４に格納された画像を実際に表示する表示領域である。表示部１０５の画面全体ではなく、領域４００に表示される。
【００４３】
４０１と４０２は、通常の時間軸方向への再生を指示するボタンであり、４０１が通常速度の再生を指示する通常再生ボタン、４０２がスロー再生（本第１の実施形態では２分の１の体感速度の再生）を指示するスロー再生ボタンである。４０３は停止ボタンである。
【００４４】
４０４と４０５は、通常の時間軸方向とは逆方向への再生（逆転再生）を指示するボタンであり、４０５が通常速度の逆転再生を指示する通常逆転再生ボタン、４０４がスロー逆転再生（本第１の実施形態では２分の１の体感速度の再生）を指示するスロー逆転再生ボタンである。なお、本実施の形態では、動画像を構成する各コマは独立して符号化されているので、それら各コマを逆順で復号化し表示することで、容易に逆転再生は可能である。なお、上記４０１〜４０５の他に、一時停止ボタンや頭出しボタン等の各種ボタンを設けるようにしてもよい。
【００４５】
次に、動画像符号化データを復号し、表示するまでの動作の流れを図１８を用いて詳しく説明する。
【００４６】
本来であれば、以下に説明する動作の前判断として、動画像符号化データのフレームレート（本第１の実施形態では６０ｆｐｓ及び３０ｆｐｓ）が、動画像符号化データが本発明の目的、効果を生じるべく十分高い値となっていることを確認した方がよいが、本第１の実施形態では３０ｆｐｓよりも十分大きな値である状況を前提とする。また、ここでは時間軸方向の動作指示及び動作についてのみ説明する。
【００４７】
図１８のステップＳ６０１において、再生又は停止の動作ボタン４０１〜４０３のいずれかがユーザにより押されたか否かを判断する。なお、ここでの“押す”という操作は、図１６の指示入力部１０６（マウス等）により、図１７に示す画面上で対応するボタンを選択、実行するものである。
【００４８】
ボタン４０１〜４０３のいずれかが押されると、次のステップＳ６０２において、停止ボタン４０３が押されたかを判断する。停止ボタン４０３が押されていた場合には、ステップＳ６０３に進み、全ての復号、再生動作を停止する。
【００４９】
停止ボタン４０３が押されていない場合は、ステップＳ６０４において、通常再生ボタン４０１が押されたかどうかを判断し、通常再生ボタン４０１が押されていた場合には、ステップＳ６０５に進んで通常再生モードを実行する。なお、通常再生モードの動作の詳細は後述する。通常再生ボタン４０１が押されていなければ、スロー再生ボタン４０２が押されたと判断し、ステップＳ６０６で自動スロー再生モードを実行する。なお、自動スロー再生モードの動作の詳細は後述する。
【００５０】
以上の制御は、ユーザーからの指示入力に基づいて、制御部１００が行う。なお、このボタン４０１〜４０３の押下の確認順は図１８に示す順番に特に限定されない。
【００５１】
（ＪＥＰＧ２０００復号方法）
次にＪＥＰＧ２０００復号部１０３における処理について、図１９にＪＥＰＧ２０００復号部１０３の詳細な構成を示し、図２０のフローチャートを参照して説明する。
【００５２】
フレーム符号化データ入力部２１０１に入力されたフレーム符号化データと再生方法の情報は、復号対象タイル決定部２１０２に出力される。復号対象タイル決定部２１０２は、図２１に示されているように、左上に存在するタイルから右に向かって、さらに上から下に向かって順に復号対象タイルを決定する。なお、ここでは、決定される復号対象のタイルの枚数をＭとし、各復号対象であるタイルを識別するために、各復号対象タイルに対して番号０〜Ｍ−１を割り振る。この番号の割り振り方は、図２１に示すように、左上に存在するタイルから右に向かって、さらに上から下に向かって番号が増えるようにする。
【００５３】
復号対象タイルを決定した後、処理しているタイルを認識するためのカウンタをｉ＝０に設定する（ステップＳ２５０２）。なおこのステップは、ｉ＞０の時にはスキップされる。
【００５４】
次に、復号対象であるタイル符号化データは、エントロピー復号部２１０３に入力されて、エントロピー復号が行われ、量子化値が復元される（ステップＳ２５０３）。そして復元された量子化値は逆量子化部２１０４に出力される。逆量子化部２１０４は入力した量子化値を逆量子化することにより、離散ウェーブレット変換係数を復元して後続の逆離散ウェーブレット変換部２１０５に出力する（ステップＳ２５０４）。逆量子化は以下の式により行われる。
Ｘｒ＝Ｑ×ｑ
【００５５】
ただし、Ｑは量子化値、ｑは量子化ステップ、Ｘｒは復元された離散ウェーブレット変換係数である。逆離散ウェーブレット変換部２１０５では、以下に記述する式に基づいて、逆離散ウェーブレット変換を行う（ステップＳ２５０５）。
【００５６】
ここで、低周波サブバンドの離散ウェーブレット変換係数をＹ（２ｎ）、高周波サブバンドの離散ウェーブレット変換係数をＹ（２ｎ＋１）とする。また、Ｘ（ｎ）は復号データである。本変換式は一次元のデ−タに対するものであるが、この変換を水平方向、垂直方向の順に適用することで二次元の変換を行う。そして復号タイルデータが生成され、復号フレームデータ出力部２１０６に出力される（ステップＳ２５０６）。
【００５７】
次に、ステップＳ２５０７で復号対象タイルが残っているかどうかをカウンタｉとタイル番号とを比較することにより判断する。復号化すべきタイルが残っている場合（つまりｉ＜Ｍ−１）は、ステップＳ２５０８でカウンタｉを１増やし、ステップＳ２５０３に戻って次のタイルに対してステップＳ２５０７までの処理を繰り返す。一方、ステップＳ２５０７で復号すべきタイルが残っていない場合（つまりｉ＝Ｍ−１）は、ステップＳ２５０９に進む。
【００５８】
復号フレームデータ出力部２１０６は、復号タイルデータをｉ＝０，…，Ｍ−１の順番で並べた上で復号フレームデータを生成し、復号フレーム出力部２００４に出力する。（ステップＳ２５０８）。
【００５９】
次に、図１８のステップＳ６０５で行われる本第１の実施形態における通常再生モードと、ステップＳ６０６で行われる自動スロー再生モードについて詳細に説明する。
【００６０】
（通常再生モード）
次に通常再生モードの実行方法について詳細に説明する。図２（ｂ）に示すように、３０ｆｐｓ及び／または６０ｆｐｓで撮影されている場合、どちらのフレームレートで撮影、記録されている動画像データを復号する場合においても、通常再生モードでは、撮影時と同じレートで復号し、表示する。
【００６１】
まず、図１６における読み取り器１０１から読み取られ、一旦メモリ１０２に格納されている図２（ｂ）に示すような動画像符号化データ（６０ｆｐｓ及び／または３０ｆｐｓで撮影記録されたもの）を時系列に順次ＪＰＥＧ２０００復号部１０３へ転送し、復号する。ここで得られる復号画像は、順次メモリ１０２の別領域に戻される。
【００６２】
そして動画像符号化データの撮影レートに応じて、３０ｆｐｓ及び／または６０ｆｐｓのタイミングで、復号画像データを表示用メモリ１０４に書き込む。そして、表示部１０５は３０ｆｐｓ及び／または６０ｆｐｓで表示を行う。
【００６３】
この様にして、可変フレームレートで撮像された動画像を通常再生させる。
【００６４】
（自動スロー再生モード）
次に自動スロー再生モード（２分の１倍速）の実行方法について詳細に説明する。６０ｆｐｓと３０ｆｐｓの２つのフレームレートが混在している動画像符号化データにおいて、この自動スロー再生モードでは、いずれの動画像符号化データも３０ｆｐｓの表示フレームレートで表示させる。
【００６５】
まず、図１６における読み取り器１０１から読み取られ、一旦メモリ１０２に格納されている図２（ｂ）に示すような動画像符号化データ（６０ｆｐｓと３０ｆｐｓの混在レートで撮影記録されたもの）を時系列に、３０ｆｐｓの転送速度で、順次ＪＰＥＧ復号部１０３へ転送し、復号化する。
【００６６】
また、ここで得られる復号画像データを、３０ｆｐｓのタイミングで、表示用メモリ１０４に書き込む。自動スロー再生モードでは、表示部１０５は３０ｆｐｓで表示を行う。このように制御することで、６０ｆｐｓで撮影した画像が自動的に半分の速度で再生される。
【００６７】
上記の通り第１の実施形態によれば、自動スロー再生モードにおいて、スロー再生を自動的に行うことができる。
【００６８】
なお、逆転再生（逆転再生ボタン４０４とスロー逆転再生４０５の使用に相当）については、上記説明した通常再生と自動スロー再生における時間軸を全て逆に考えれば良いだけであり、当業者には容易に理解できる処理であるので、説明を省略する。
【００６９】
即ち、本第１の実施形態によれば、異なるフレームレートで撮影された動画像が混在する動画像データを再生する場合に、撮影時のフレームレートで動画像データを再生する第１の再生モードと、予め決められた第１のフレームレートで撮影された動画像データを該第１のフレームレートで再生し、該第１のフレームレートよりも高いフレームレートで撮影された動画像データを、該フレームレートよりも低い第２のフレームレートで再生する第２の再生モードとのいずれかを選択し、選択された第１または第２の再生モードで、動画像データを再生する。
【００７０】
より具体的には、第１のフレームレートと、第２のフレームレートとが同じフレームレートである。
【００７１】
また、更に具体的には、動画像データは、ＪＰＥＧ２０００符号化形式に基づいて、各フレーム毎に独立して符号化されている。
【００７２】
また、別の例では、動画像データは、ＪＰＥＧ符号化形式に基づいて、各フレーム毎に独立して符号化されている。
【００７３】
＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。
【００７４】
本第２の実施形態では、ユーザーがスロー再生の再生速度を指定する場合について説明する。なお、撮影装置及び撮影処理は上記第１の実施形態と同様であるのでここでは説明を省略するが、本第２の実施形態では、説明の都合上、６０ｆｐｓの代わりに、９０ｆｐｓで撮影してあるものとする。従って、本第２の実施形態では、図２２に示すような動画像符号化データが記録媒体２１３に記録される。また、画像処理装置の構成も第１の実施形態において図１６を参照して説明したものと同様であるので、ここでは説明を省略する。
【００７５】
図２３は、本第２の実施形態において表示部１０５に表示される操作画面を示したものである。図１７とは、スロー再生の再生速度を指定するための表示がある所が異なる。図２３に示す操作画面の例では、ドロップダウンメニュー４０６を表示し、スロー再生ボタン４０２またはスロー逆転再生ボタン４０４の押下に先立って、指示入力部１０６を用いて、再生速度を指定することができる。
【００７６】
図２４は、本第２の実施形態において動画像符号化データを復号し、表示するまでの動作の流れを示すフローチャートである。
【００７７】
まずステップＳ７０１において、図２３の操作画面上で、指示入力部１０６により操作入力されるのを待つ。入力があると、ステップＳ７０２に進み、再生速度の選択指示かどうかを判断する。再生速度がドロップダウンメニュー４０６から選択された場合、ステップＳ７０３に進み、指定された再生速度を設定する。ステップＳ７０２でＮＯであればステップＳ６０２に進むが、これ以降の処理は図１８で同じステップ番号で示したものと同様であるので、説明を省略する。ただし、ステップＳ６０６では、ステップＳ７０３で設定された再生速度に基づいて、自動スロー再生モードを実行する。以下、本第２の実施形態における自動スロー再生モードの動作について説明する。
【００７８】
（自動スロー再生モード）
制御部１００は、スロー再生ボタン４０２またはスロー逆転再生ボタン４０４の押下により自動スロー再生が指示された場合、ドロップダウンメニュー４０６から指定された再生速度でスロー再生できるように、ＪＰＥＧ２０００復号部１０３に入力するフレーム数及び表示部１０５での表示フレームレートを制御する。
【００７９】
図２２に示す動画像符号化データにおいて、３０ｆｐｓで記録されているデータについては、通常再生モードと同様に、制御部１００は、そのまま３０ｆｐｓで読み取り器１０１により読み取り、ＪＰＥＧ２０００復号部１０３で復号し、表示部１０５に表示を行うように制御する。
【００８０】
一方、９０ｆｐｓで記録されているデータについては、例えば、表示部１０５の表示速度が３０ｆｐｓ固定である場合、１／１．５倍速スロー再生を実現するために、制御部１００は、９０ｆｐｓで撮像されたフレーム群に対して、２フレームに１フレームを間引きながら、つまり４５ｆｐｓのデータを、３０ｆｐｓでＪＰＥＧ２０００復号部１０３に出力するように制御する。または、表示部１０５の表示速度を６０ｆｐｓにし、９０ｆｐｓで撮影されたフレーム群を６０ｆｐｓでＪＰＥＧ２０００復号部１０３に順次出力することによっても１／１．５倍速スロー再生を実現することができる。
【００８１】
また、１／２倍速が選択されている場合、９０ｆｐｓで撮像されたフレーム群に対して、３フレームに１フレームを間引きながら、つまり６０ｆｐｓのデータを、３０ｆｐｓでＪＰＥＧ２０００復号部１０３に出力するように制御する。または、表示部１０５の表示速度を４５ｆｐｓにし、９０ｆｐｓで撮影されたフレーム群を４５ｆｐｓでＪＰＥＧ２０００復号部１０３に順次出力することによっても１／２倍速スロー再生を実現することができる。
【００８２】
また、１／３倍速が選択されている場合には、９０ｆｐｓで撮像されたフレーム群を、３０ｆｐｓで順次ＪＰＥＧ２０００復号部１０３に出力するように制御すればよい。
このように、読み出し速度、間引きレート、表示レートを適宜調整することにより、上記以外のスロー再生速度を達成することができることは言うまでもない。
【００８３】
以上説明したように、本第２の実施形態によれば、スロー再生モードにおいて、指定した速さで自動的にスロー再生を行うことができる。
【００８４】
即ち、本第２の実施形態によれば、本第１の実施形態の第２の再生モードでの再生時における、高いフレームレートで撮影された動画像データを再生する速度を設定する。
【００８５】
より具体的には、設定された再生速度に基づいて、高いフレームレートで撮影された動画像データを間引く。
【００８６】
更に、設定された再生速度に基づいて、第２のフレームレートを決定する。
【００８７】
【他の実施形態】
本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。ここでプログラムコードを記憶する記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、ＲＯＭ、ＲＡＭ、磁気テープ、不揮発性のメモリカード、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ、光ディスク、光磁気ディスク、ＭＯなどが考えられる。
【００８８】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００８９】
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明した図１８または図２４に示すフローチャートに対応するプログラムコードや、図１７または図２３に示す操作画面を表示させるプログラムコードが格納されることになる。
【００９０】
【発明の効果】
以上説明したように本発明によれば、異なるフレームレートで撮影された動画像が混在する画像データの再生する際に、高フレームレートで撮影されたフレーム群を自動的に遅延再生（スロー再生）することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態における動画像を撮影可能なデジタルカメラの概略図である。
【図２】図１のデジタルカメラにおける符号化及び記録に関わる機能の概略を示すブロック図である。
【図３】本発明の実施の形態におけるＪＰＥＧ２０００符号化部の概略構成を示すブロック図である。
【図４】本発明の実施の形態におけるＪＰＥＧ２０００符号化部が行うフレームデータの符号化処理のフローチャートである。
【図５】タイル分割の説明図である。
【図６】１次元離散ウェーブレット変換の説明図である。
【図７】（ａ）は４つのサブバンドに分解する図、（ｂ）は（ａ）のＬＬサブバンドを更に４つのサブバンドに分解する図、（ｃ）は（ｂ）のＬＬサブバンドを更に４つのサブバンドに分解する図である。
【図８】量子化ステップの説明図である。
【図９】コードブロック分割の説明図である。
【図１０】ビットプレーン分割の説明図である。
【図１１】コーディングパスの説明図である。
【図１２】レイヤー生成の説明図である。
【図１３】レイヤー生成の説明図である。
【図１４】タイル符号化データの構成の説明図である。
【図１５】フレーム符号化データの構成の説明図である。
【図１６】本発明の第１の実施形態における画像処理装置の概略を示すブロック図である。
【図１７】本発明の第１の実施形態における表示部に表示される操作画面の一例を示す図である。
【図１８】本発明の第１の実施形態における操作画面からの指示に基づく画像処理装置の動作を示すフローチャートである。
【図１９】本発明の実施の形態におけるＪＰＥＧ２０００復号部の概略構成を示すブロック図である。
【図２０】本発明の実施の形態におけるＪＰＥＧ２０００復号部における復号処理を示すフローチャートである。
【図２１】タイルの復号順序の説明図である。
【図２２】本発明の第２の実施形態における画像符号化データの概念を示す図である。
【図２３】本発明の第２の実施形態における表示部に表示される操作画面の一例を示す図である。
【図２４】本発明の第２の実施形態における操作画面からの指示に基づく画像処理装置の動作を示すフローチャートである。
【符号の説明】
１００ 制御部
１０１ 読み取り器
１０２ メモリ
１０３ ＪＰＥＧ２０００復号部
１０４ 表示用メモリ
１０５ 表示部
１０６ 指示入力部
２０１ デジタルカメラ
２０２ 動画撮影ボタン
２１０ 画像入力部
２１１ ＪＰＥＧ２０００符号化部
２１２ 記録部
２１３ 記録媒体
３０１ フレームデータ入力部
３０２ タイル分割部
３０３ 離散ウェーブレット変換部
３０４ バッファ
３０５ 係数量子化部
３０６ エントロピー符号化部
３０７ タイル符号化データ生成部
３０８ フレーム符号化データ生成部
３０９ フレーム符号化データ出力部
４００ 表示領域
４０１ 通常再生ボタン
４０２ スロー再生ボタン
４０３ 停止ボタン
４０４ 通常逆転再生ボタン
４０５ スロー逆転再生ボタン
４０６ ドロップダウンメニュー
２１０１ フレーム符号化データ入力部
２１０２ 復号対象タイル決定部
２１０３ エントロピー復号部
２１０４ 逆量子化部
２１０５ 逆離散ウェーブレット変換部
２１０６ 復号フレームデータ出力部
【発明の属する技術分野】
本発明は、各コマが独立して符号化された動画像符号化データから、通常再生、或いはスロー再生用の復号を行う画像処理に関する。
【０００２】
【従来の技術】
可変フレームレートで動画像を撮像できる撮像装置による撮像動作中に、注目すべき撮像時間、通常のフレームレート（基本フレームレート）より高いフレームレート（高フレームレート）で撮像することがある。このようにして撮像された動画像データを再生する動画像再生装置は、通常、撮像時のフレームレートに追従して再生（追従再生）を行うが、必ずしもこの再生方法が好適であるとは限らない。
【０００３】
例えば、何らかの動作を詳しく観察したい場合には、高フレームレートで撮像して得られたフレーム群をゆっくりと再生（遅延再生）することが考えられる。
【０００４】
【発明が解決しようとする課題】
しかし、動画像再生装置が自動追従再生にしか対応していない場合、遅延再生により複数回観察を繰り返そうとすると、動画像再生装置に毎回手動で遅延再生を指示する必要があり、不便である。
【０００５】
本発明は上記問題点を鑑みてなされたものであり、異なるフレームレートで撮影された動画像が混在する画像データの再生する際に、高フレームレートで撮影されたフレーム群を自動的に遅延再生（スロー再生）することを目的とする。
【０００６】
【課題を解決するための手段】
異なるフレームレートで撮影された動画像が混在する動画像データを再生する画像処理方法であって、撮影時のフレームレートで動画像データを再生する第１の再生モードと、予め決められた第１のフレームレートで撮影された動画像データを該第１のフレームレートで再生し、該第１のフレームレートよりも高いフレームレートで撮影された動画像データを、該フレームレートよりも低い第２のフレームレートで再生する第２の再生モードとのいずれかを選択する選択工程と、前記選択された第１または第２の再生モードで、動画像データを再生する再生工程とを有する。
【０００７】
【発明の実施の形態】
以下、添付図面を参照して本発明の好適な実施の形態を詳細に説明する。
【０００８】
＜第１の実施形態＞
（動画像符号化の概略）
まず、動画像符号化データを作成する過程である撮影記録時の処理について、簡単に説明する。
【０００９】
図１は動画像を撮影可能なデジタルカメラ２０１の概念図である。詳細は公知であるので省略するが、本実施の形態においては、動画撮影ボタン２０２を半押しすることで例えば３０フレーム（コマ）／秒（ｆｐｓ）の動画撮影を、全押しすることで例えば６０ｆｐｓの動画撮影を可能であるものとする。例えば、撮影対象物の動きの速度／方向が突然変化するような場合には、通常は半押しで対象物を撮影し、上記変化が起こる前後のみにおいて全押しで対象物を撮影すれば、一連の撮影動作において、３０ｆｐｓと６０ｆｐｓのシーンが混在する動画像を記録することが可能である。
【００１０】
図２（ａ）は上記デジタルカメラ２０１で撮影された各コマの画像を符号化、記録するための、デジタルカメラ２０１内の構成を示す概念図である。図２（ａ）において、２１０は画像入力部、２１１はＪＰＥＧ２０００符号化部、２１２は記録部である。２１３は着脱可能な記録媒体であるが、内蔵されたメモリであってもよい。
【００１１】
上記方法で撮影される各コマは画像入力部２１０からコマ単位に発生する。そしてその各コマ（画像）は、ＪＰＥＧ２０００符号化部２１１において、各コマ毎に独立して符号化される。なお、このＪＰＥＧ２０００符号化部２１１の符号化方式は、後ほど説明する。また、本実施の形態においては、各コマが独立して符号化されていることが重要であり、その符号化方式については特に限定しない。従って、ＪＰＥＧ２０００符号化部２１１の代わりにＪＰＥＧ符号化器を用いても構わない。
【００１２】
ここで符号化された各コマの符号化データは、時系列順に記録部２１２により、記録媒体２１３に記録される。このとき、記録部２１２は、各コマが３０ｆｐｓで撮影して得られたものか、６０ｆｐｓで撮影して得られたものかを画像入力部２１０からの制御信号、或いは図１の撮影ボタン２０２からの制御信号等を監視することにより識別し、記録媒体２１３には、そのコマの符号化データと共に、この識別結果を示す情報も合わせて記録する。これにより、復号化をする際に、３０ｆｐｓまたは６０ｆｐｓのいずれで撮影記録されたコマかを知ることができる。
【００１３】
なお、記録媒体２１３には、各符号化データは連続的に図２（ｂ）に示すように記録される。
【００１４】
（ＪＥＰＧ２０００符号化方法の概略）
次に、ＪＥＰＧ２０００符号化部２１１におけるフレームデータの符号化処理について、図３に示すＪＥＰＧ２０００符号化部２１１の構成および図４のフローチャートを参照して説明する。なお、ヘッダの作成方法等、詳細についてはＩＳＯ／ＩＥＣ勧告書に説明されている通りであるので、ここでは説明を省略する。
【００１５】
以下の説明では、符号化対象となるフレームデータが８ビットのモノクロフレームデータであるものとして説明をする。しかしながら、フレームデータの形態はこれに限るものではなく、各画素４ビット、１０ビット、１２ビットと言った具合に８ビット以外のビット数で表すモノクロ画像、或いは各画素における各色成分（ＲＧＢ／Ｌａｂ／ＹＣｒＣｂ）を８ビットで表現するカラーの多値フレームデータである場合に適用することも可能である。また、画像を構成する各画素の状態等を表す多値情報である場合、例えば各画素の色を表す多値のインデックス値である場合にも適用できる。これらに応用する場合には、各種類の多値情報を後述するモノクロフレームデータとすればよい。
【００１６】
まず、画像入力部２１０から、フレームデータ入力部３０１へ、符号化対象となる画像のフレームデータがラスタースキャン順に入力され、タイル分割部３０２に出力される。
【００１７】
タイル分割部３０２は、フレームデータ入力部３０１から入力される１枚の画像を図５に示すようなＮ枚のタイルに分割し（ステップＳ５０１）、各タイルを識別するために、本第１の実施形態ではラスタースキャン順にタイル番号０， １， ２， ．．．，Ｎ−１を割り振る。以下、各タイルを表すデータをタイルデータと呼ぶ。なお、図５では画像を横８縦６の４８枚のタイルに分割した例を示しているが、分割タイル数は適宜変更可能であることは言うまでもない。これら生成されたタイルデータは、順に離散ウェーブレット変換部３０３に送られる。離散ウェーブレット変換部３０３以降の処理においては、タイルデータ毎に符号化される。
【００１８】
ステップＳ５０２において、処理しているタイルを認識するためのカウンタをｉ＝０に設定する。
【００１９】
離散ウェーブレット変換部３０３は、タイル分割部３０２から入力される、１フレーム画像のフレームデータ中の１つのタイルデータにおける複数の画素（参照画素）のデータ（以下、「参照画素データ」）を用いて離散ウェーブレット変換を行う（ステップＳ５０３）。
【００２０】
ここで、離散ウェーブレット変換後のフレームデータ（離散ウェーブレット変換係数）を示す。
Ｙ（２ｎ），Ｙ（２ｎ＋１）は離散ウェーブレット変換係数列であり、Ｙ（２ｎ）は低周波サブバンド、Ｙ（２ｎ＋１）は高周波サブバンドである。また、上記変換式（１）においてｆｌｏｏｒ｛Ｘ｝はＸを超えない最大の整数値を表す。この離散ウェーブレット変換を模式的に表わしたのが図６である。
【００２２】
上記変換式（１）は一次元のデータに対するものであるが、この変換を水平方向、垂直方向の順に適用して二次元の変換を行うことにより、図７（ａ）に示すようなＬＬ，ＨＬ，ＬＨ，ＨＨの４つのサブバンドに分割することができる。ここで、Ｌは低周波サブバンド、Ｈは高周波サブバンドを示している。次にＬＬサブバンドを、同じようにして４つのサブバンドに分け（図７（ｂ））、その中のＬＬサブバンドを更に４つのサブバンドに分ける（図７（ｃ））。このようにして合計１０のサブバンドを作る。１０個のサブバンドそれぞれを、図７（ｃ）の様にＨＨ１，ＨＬ１，…と呼ぶ。ここで、各サブバンドの名称における数字は、それぞれのサブバンドのレベルを示す。つまり、レベル１のサブバンドは、ＨＬ１，ＨＨ１，ＬＨ１、レベル２のサブバンドは、ＨＬ２，ＨＨ２，ＬＨ２、レベル３のサブバンドは、ＨＬ３，ＨＨ３，ＬＨ３である。なおＬＬサブバンドは、レベル０のサブバンドである。ＬＬサブバンドは一つしかないので添字を付けない。またレベル０からレベルｎまでのサブバンドを復号することで得られる復号画像を、レベルｎの復号画像と呼ぶ。復号画像は、そのレベルが高い程解像度は高い。
【００２３】
１０個のサブバンドの変換係数は、一旦バッファ３０４に格納され、ＬＬ，ＨＬ１，ＬＨ１，ＨＨ１，ＨＬ２，ＬＨ２，ＨＨ２，ＨＬ３，ＬＨ３，ＨＨ３の順に、つまり、レベルが低いサブバンドからレベルが高いサブバンドの順に、係数量子化部３０５へ出力される。
【００２４】
係数量子化部３０５では、バッファ３０４から出力される各サブバンドの変換係数を各周波数成分毎に定めた量子化ステップで量子化し、量子化後の値（係数量子化値）をエントロピー符号化部３０６へ出力する（ステップＳ５０４）。係数値をＸ、この係数の属する周波数成分に対する量子化ステップの値をｑとすると、量子化後の係数値Ｑ（Ｘ）は次式（２）によって求めるものとする。
Ｑ（Ｘ）＝ｆｌｏｏｒ｛（Ｘ／ｑ）＋０．５｝ …（２）
【００２５】
本実施の形態における各周波数成分と量子化ステップとの対応を図８に示す。同図に示すように、よりレベルが高いサブバンドの方に、大きい量子化ステップを与えている。なお、各サブバンド毎の量子化ステップは予め不図示のＲＡＭやＲＯＭなどのメモリに格納されているものとする。そして、一つのサブバンドにおける全ての変換係数を量子化した後、それら係数量子化値をエントロピー符号化部３０６へ出力する。
【００２６】
エントロピー符号化部３０６は、入力された係数量子化値をエントロピー符号化する（ステップＳ５０５）。ここでは、まず、図９に示すように、入力された係数量子化値の集まりである各サブバンドが矩形（「コードブロック」と呼ぶ。）に分割される。なお、このコードブロックの大きさには、２ｍ×２ｎ（ｍ、ｎは２以上の整数）等が設定される。さらにこのコードブロックを、図１０に示すように、ビットプレーンに分割する。その上で、各ビットプレーンにおける各ビットは、図１１に示すように所定分類規則に基づいて３種類に分けられて、同じ種類のビットを集めたコーディングパスが３種類生成される。入力された係数量子化値は、ここで得られたコーディングパスを単位として、エントロピー符号化である二値算術符号化が行われ、エントロピー符号化値が生成される。
【００２７】
なお、エントロピー符号化は、１つのコードブロックに注目すると上位ビットプレーンから下位ビットプレーンの順に符号化され、更にそのコードブロックのあるビットプレーンに注目すると、図１１に示す３種類のパスを上から順に符号化するようになっている。
【００２８】
エントロピー符号化されたコーディングパスは、タイル符号化データ生成部３０７に出力される。
【００２９】
タイル符号化データ生成部３０７では、入力された複数のコーディングパスから、単一もしくは複数のレイヤーを構成し、それらレイヤーをデータの単位としてタイル符号化データを生成する（ステップＳ５０６）。以下にレイヤーの構成に関する説明を行う。
【００３０】
タイル符号化データ生成部３０７は、図１２に示すように、複数のサブバンドにおける複数のコードブロックから、エントロピー符号化されたコーディングパスを集めた上で、レイヤーを構成する。図１２は５枚のレイヤーを生成する場合を示している。なお、任意のコードブロックからコーディングパスを取得する際には、図１３に示すように、常にそのコードブロックにおいて最上位に存在するコーディングパスから順に選択する。その後、タイル符号化データ生成部３０７は、図１４に示すように、生成したレイヤーを上位に位置するレイヤーから順に並べた上で、その先頭にタイルヘッダを付加してタイル符号化データを生成する。このヘッダには、タイルを識別する情報や、当該タイル符号化データの符号長や、圧縮に使用した様々なパラメータ等が格納される。このように生成されたタイル符号化データは、フレーム符号化データ生成部３０８に出力される。
【００３１】
次に、ステップＳ５０７で符号化すべきタイルデータが残っているかどうかをカウンタｉの値とタイル番号とを比較することにより判断する。符号化すべきタイルデータが残っている場合（つまりｉ＜Ｎ−１）は、ステップＳ５０８でカウンタｉを１増やし、ステップＳ５０３に戻って次のタイルに対してステップＳ５０７までの処理を繰り返す。符号化すべきタイルデータが残っていない場合（つまりｉ＝Ｎ−１）は、ステップＳ５０９に進む。
【００３２】
フレーム符号化データ生成部３０８では、図１４に示すようなタイル符号化データを、図１５に示すように所定の順番（例えば、タイル番号順）に並べた上で、先頭にヘッダを付加してフレーム符号化データを生成する（ステップＳ５０９）。このヘッダには、入力画像やタイルの縦横のサイズ、圧縮に使用した様々なパラメータ等が格納される。このように生成されたフレーム符号化データは、フレーム符号化データ出力部３０９から記録部２１２に出力される。
【００３３】
以上がＪＥＰＧ２０００によるフレームデータの符号化方法の説明である。
【００３４】
（復号再生）
次に、本第１の実施系多における、上述のようにして作成された動画像符号化データを復号化する処理ついて説明する。
【００３５】
図１６は、本実施の形態において使用する画像処理装置の概略図である。
【００３６】
図１６において、１００は各部の動作を制御する制御部である。この制御部１００は後述するユーザーインターフェイスからの指示（例えば、通常再生モードと自動スロー再生モードの切替、再生開始、再生停止、自動スロー再生モードの指示等）も受け取り、これに応じた動作制御を各部に行う。なお、上記各モードで行われる処理については、詳細に後述する。
【００３７】
１０１は読み取り器であり、上述した図２（ａ）の記録媒体２１３に記録された動画像符号化データを読み出すものである。１０２は読み取り器１０１が読み取った動画像符号化データを一旦蓄積するメモリである。メモリ１０２はその他に、この動画像符号化データを復号して得られる復号画像も一旦蓄積する。また、装置内の各部が使用するプログラムデータ等も格納可能であり、各種ワークメモリとしても使用される。
【００３８】
１０３は上述したＪＰＥＧ２０００符号化部３０２の復号側に相当するＪＰＥＧ２０００復号部である。ＪＰＥＧ２０００復号部１０３は、ＪＰＥＧ２０００で符号化され、記録媒体２１３に記録された各コマ毎の符号化データを順次復号する。このＪＥＰＧ２０００の復号方法については、後程説明する。
【００３９】
１０４は表示用メモリであり、次に表示したい１コマ分の画像を記憶させるものである。本実施の形態ではメモリ１０２に一旦格納された復号画像を制御部１００のタイミング制御に基づいて順次（繰り返し同一コマを読み出す場合もある）読み出し、表示用メモリ１０４に書き込むものとする。なお、表示用メモリ１０４は、書き込みと読み出しが重ならないように、複数コマ分の画像データを記憶可能な容量を備えることとし、制御部１００がその書き込みと読み出しも管理する。
【００４０】
１０５は表示部であり、パソコン等のディスプレイに相当する。表示部１０５には、表示部１０５に与えられた表示用フレームレートで、メモリ１０４に保持されたコマ（画像）を表示するものである。なお、本実施の形態では、通常再生時には、入力されたフレームのフレームレートに合わせたフレームレートで、自動スロー再生の有効時には、３０ｆｐｓで各コマを表示する。
【００４１】
１０６は、例えばマウス、キーボード、表示部１０５と一体化したタッチパネル等の指示入力部である。ユーザーは、表示部１０５に表示される操作画面を参照しつつ、指示入力部１０６を介して、再生に関するあらゆる指示を入力することができる。
【００４２】
図１７は、表示部１０５に表示される操作画面を示したものである。図１７において４００は、表示用メモリ１０４に格納された画像を実際に表示する表示領域である。表示部１０５の画面全体ではなく、領域４００に表示される。
【００４３】
４０１と４０２は、通常の時間軸方向への再生を指示するボタンであり、４０１が通常速度の再生を指示する通常再生ボタン、４０２がスロー再生（本第１の実施形態では２分の１の体感速度の再生）を指示するスロー再生ボタンである。４０３は停止ボタンである。
【００４４】
４０４と４０５は、通常の時間軸方向とは逆方向への再生（逆転再生）を指示するボタンであり、４０５が通常速度の逆転再生を指示する通常逆転再生ボタン、４０４がスロー逆転再生（本第１の実施形態では２分の１の体感速度の再生）を指示するスロー逆転再生ボタンである。なお、本実施の形態では、動画像を構成する各コマは独立して符号化されているので、それら各コマを逆順で復号化し表示することで、容易に逆転再生は可能である。なお、上記４０１〜４０５の他に、一時停止ボタンや頭出しボタン等の各種ボタンを設けるようにしてもよい。
【００４５】
次に、動画像符号化データを復号し、表示するまでの動作の流れを図１８を用いて詳しく説明する。
【００４６】
本来であれば、以下に説明する動作の前判断として、動画像符号化データのフレームレート（本第１の実施形態では６０ｆｐｓ及び３０ｆｐｓ）が、動画像符号化データが本発明の目的、効果を生じるべく十分高い値となっていることを確認した方がよいが、本第１の実施形態では３０ｆｐｓよりも十分大きな値である状況を前提とする。また、ここでは時間軸方向の動作指示及び動作についてのみ説明する。
【００４７】
図１８のステップＳ６０１において、再生又は停止の動作ボタン４０１〜４０３のいずれかがユーザにより押されたか否かを判断する。なお、ここでの“押す”という操作は、図１６の指示入力部１０６（マウス等）により、図１７に示す画面上で対応するボタンを選択、実行するものである。
【００４８】
ボタン４０１〜４０３のいずれかが押されると、次のステップＳ６０２において、停止ボタン４０３が押されたかを判断する。停止ボタン４０３が押されていた場合には、ステップＳ６０３に進み、全ての復号、再生動作を停止する。
【００４９】
停止ボタン４０３が押されていない場合は、ステップＳ６０４において、通常再生ボタン４０１が押されたかどうかを判断し、通常再生ボタン４０１が押されていた場合には、ステップＳ６０５に進んで通常再生モードを実行する。なお、通常再生モードの動作の詳細は後述する。通常再生ボタン４０１が押されていなければ、スロー再生ボタン４０２が押されたと判断し、ステップＳ６０６で自動スロー再生モードを実行する。なお、自動スロー再生モードの動作の詳細は後述する。
【００５０】
以上の制御は、ユーザーからの指示入力に基づいて、制御部１００が行う。なお、このボタン４０１〜４０３の押下の確認順は図１８に示す順番に特に限定されない。
【００５１】
（ＪＥＰＧ２０００復号方法）
次にＪＥＰＧ２０００復号部１０３における処理について、図１９にＪＥＰＧ２０００復号部１０３の詳細な構成を示し、図２０のフローチャートを参照して説明する。
【００５２】
フレーム符号化データ入力部２１０１に入力されたフレーム符号化データと再生方法の情報は、復号対象タイル決定部２１０２に出力される。復号対象タイル決定部２１０２は、図２１に示されているように、左上に存在するタイルから右に向かって、さらに上から下に向かって順に復号対象タイルを決定する。なお、ここでは、決定される復号対象のタイルの枚数をＭとし、各復号対象であるタイルを識別するために、各復号対象タイルに対して番号０〜Ｍ−１を割り振る。この番号の割り振り方は、図２１に示すように、左上に存在するタイルから右に向かって、さらに上から下に向かって番号が増えるようにする。
【００５３】
復号対象タイルを決定した後、処理しているタイルを認識するためのカウンタをｉ＝０に設定する（ステップＳ２５０２）。なおこのステップは、ｉ＞０の時にはスキップされる。
【００５４】
次に、復号対象であるタイル符号化データは、エントロピー復号部２１０３に入力されて、エントロピー復号が行われ、量子化値が復元される（ステップＳ２５０３）。そして復元された量子化値は逆量子化部２１０４に出力される。逆量子化部２１０４は入力した量子化値を逆量子化することにより、離散ウェーブレット変換係数を復元して後続の逆離散ウェーブレット変換部２１０５に出力する（ステップＳ２５０４）。逆量子化は以下の式により行われる。
Ｘｒ＝Ｑ×ｑ
【００５５】
ただし、Ｑは量子化値、ｑは量子化ステップ、Ｘｒは復元された離散ウェーブレット変換係数である。逆離散ウェーブレット変換部２１０５では、以下に記述する式に基づいて、逆離散ウェーブレット変換を行う（ステップＳ２５０５）。
ここで、低周波サブバンドの離散ウェーブレット変換係数をＹ（２ｎ）、高周波サブバンドの離散ウェーブレット変換係数をＹ（２ｎ＋１）とする。また、Ｘ（ｎ）は復号データである。本変換式は一次元のデ−タに対するものであるが、この変換を水平方向、垂直方向の順に適用することで二次元の変換を行う。そして復号タイルデータが生成され、復号フレームデータ出力部２１０６に出力される（ステップＳ２５０６）。
【００５７】
次に、ステップＳ２５０７で復号対象タイルが残っているかどうかをカウンタｉとタイル番号とを比較することにより判断する。復号化すべきタイルが残っている場合（つまりｉ＜Ｍ−１）は、ステップＳ２５０８でカウンタｉを１増やし、ステップＳ２５０３に戻って次のタイルに対してステップＳ２５０７までの処理を繰り返す。一方、ステップＳ２５０７で復号すべきタイルが残っていない場合（つまりｉ＝Ｍ−１）は、ステップＳ２５０９に進む。
【００５８】
復号フレームデータ出力部２１０６は、復号タイルデータをｉ＝０，…，Ｍ−１の順番で並べた上で復号フレームデータを生成し、復号フレーム出力部２００４に出力する。（ステップＳ２５０８）。
【００５９】
次に、図１８のステップＳ６０５で行われる本第１の実施形態における通常再生モードと、ステップＳ６０６で行われる自動スロー再生モードについて詳細に説明する。
【００６０】
（通常再生モード）
次に通常再生モードの実行方法について詳細に説明する。図２（ｂ）に示すように、３０ｆｐｓ及び／または６０ｆｐｓで撮影されている場合、どちらのフレームレートで撮影、記録されている動画像データを復号する場合においても、通常再生モードでは、撮影時と同じレートで復号し、表示する。
【００６１】
まず、図１６における読み取り器１０１から読み取られ、一旦メモリ１０２に格納されている図２（ｂ）に示すような動画像符号化データ（６０ｆｐｓ及び／または３０ｆｐｓで撮影記録されたもの）を時系列に順次ＪＰＥＧ２０００復号部１０３へ転送し、復号する。ここで得られる復号画像は、順次メモリ１０２の別領域に戻される。
【００６２】
そして動画像符号化データの撮影レートに応じて、３０ｆｐｓ及び／または６０ｆｐｓのタイミングで、復号画像データを表示用メモリ１０４に書き込む。そして、表示部１０５は３０ｆｐｓ及び／または６０ｆｐｓで表示を行う。
【００６３】
この様にして、可変フレームレートで撮像された動画像を通常再生させる。
【００６４】
（自動スロー再生モード）
次に自動スロー再生モード（２分の１倍速）の実行方法について詳細に説明する。６０ｆｐｓと３０ｆｐｓの２つのフレームレートが混在している動画像符号化データにおいて、この自動スロー再生モードでは、いずれの動画像符号化データも３０ｆｐｓの表示フレームレートで表示させる。
【００６５】
まず、図１６における読み取り器１０１から読み取られ、一旦メモリ１０２に格納されている図２（ｂ）に示すような動画像符号化データ（６０ｆｐｓと３０ｆｐｓの混在レートで撮影記録されたもの）を時系列に、３０ｆｐｓの転送速度で、順次ＪＰＥＧ復号部１０３へ転送し、復号化する。
【００６６】
また、ここで得られる復号画像データを、３０ｆｐｓのタイミングで、表示用メモリ１０４に書き込む。自動スロー再生モードでは、表示部１０５は３０ｆｐｓで表示を行う。このように制御することで、６０ｆｐｓで撮影した画像が自動的に半分の速度で再生される。
【００６７】
上記の通り第１の実施形態によれば、自動スロー再生モードにおいて、スロー再生を自動的に行うことができる。
【００６８】
なお、逆転再生（逆転再生ボタン４０４とスロー逆転再生４０５の使用に相当）については、上記説明した通常再生と自動スロー再生における時間軸を全て逆に考えれば良いだけであり、当業者には容易に理解できる処理であるので、説明を省略する。
【００６９】
即ち、本第１の実施形態によれば、異なるフレームレートで撮影された動画像が混在する動画像データを再生する場合に、撮影時のフレームレートで動画像データを再生する第１の再生モードと、予め決められた第１のフレームレートで撮影された動画像データを該第１のフレームレートで再生し、該第１のフレームレートよりも高いフレームレートで撮影された動画像データを、該フレームレートよりも低い第２のフレームレートで再生する第２の再生モードとのいずれかを選択し、選択された第１または第２の再生モードで、動画像データを再生する。
【００７０】
より具体的には、第１のフレームレートと、第２のフレームレートとが同じフレームレートである。
【００７１】
また、更に具体的には、動画像データは、ＪＰＥＧ２０００符号化形式に基づいて、各フレーム毎に独立して符号化されている。
【００７２】
また、別の例では、動画像データは、ＪＰＥＧ符号化形式に基づいて、各フレーム毎に独立して符号化されている。
【００７３】
＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。
【００７４】
本第２の実施形態では、ユーザーがスロー再生の再生速度を指定する場合について説明する。なお、撮影装置及び撮影処理は上記第１の実施形態と同様であるのでここでは説明を省略するが、本第２の実施形態では、説明の都合上、６０ｆｐｓの代わりに、９０ｆｐｓで撮影してあるものとする。従って、本第２の実施形態では、図２２に示すような動画像符号化データが記録媒体２１３に記録される。また、画像処理装置の構成も第１の実施形態において図１６を参照して説明したものと同様であるので、ここでは説明を省略する。
【００７５】
図２３は、本第２の実施形態において表示部１０５に表示される操作画面を示したものである。図１７とは、スロー再生の再生速度を指定するための表示がある所が異なる。図２３に示す操作画面の例では、ドロップダウンメニュー４０６を表示し、スロー再生ボタン４０２またはスロー逆転再生ボタン４０４の押下に先立って、指示入力部１０６を用いて、再生速度を指定することができる。
【００７６】
図２４は、本第２の実施形態において動画像符号化データを復号し、表示するまでの動作の流れを示すフローチャートである。
【００７７】
まずステップＳ７０１において、図２３の操作画面上で、指示入力部１０６により操作入力されるのを待つ。入力があると、ステップＳ７０２に進み、再生速度の選択指示かどうかを判断する。再生速度がドロップダウンメニュー４０６から選択された場合、ステップＳ７０３に進み、指定された再生速度を設定する。ステップＳ７０２でＮＯであればステップＳ６０２に進むが、これ以降の処理は図１８で同じステップ番号で示したものと同様であるので、説明を省略する。ただし、ステップＳ６０６では、ステップＳ７０３で設定された再生速度に基づいて、自動スロー再生モードを実行する。以下、本第２の実施形態における自動スロー再生モードの動作について説明する。
【００７８】
（自動スロー再生モード）
制御部１００は、スロー再生ボタン４０２またはスロー逆転再生ボタン４０４の押下により自動スロー再生が指示された場合、ドロップダウンメニュー４０６から指定された再生速度でスロー再生できるように、ＪＰＥＧ２０００復号部１０３に入力するフレーム数及び表示部１０５での表示フレームレートを制御する。
【００７９】
図２２に示す動画像符号化データにおいて、３０ｆｐｓで記録されているデータについては、通常再生モードと同様に、制御部１００は、そのまま３０ｆｐｓで読み取り器１０１により読み取り、ＪＰＥＧ２０００復号部１０３で復号し、表示部１０５に表示を行うように制御する。
【００８０】
一方、９０ｆｐｓで記録されているデータについては、例えば、表示部１０５の表示速度が３０ｆｐｓ固定である場合、１／１．５倍速スロー再生を実現するために、制御部１００は、９０ｆｐｓで撮像されたフレーム群に対して、２フレームに１フレームを間引きながら、つまり４５ｆｐｓのデータを、３０ｆｐｓでＪＰＥＧ２０００復号部１０３に出力するように制御する。または、表示部１０５の表示速度を６０ｆｐｓにし、９０ｆｐｓで撮影されたフレーム群を６０ｆｐｓでＪＰＥＧ２０００復号部１０３に順次出力することによっても１／１．５倍速スロー再生を実現することができる。
【００８１】
また、１／２倍速が選択されている場合、９０ｆｐｓで撮像されたフレーム群に対して、３フレームに１フレームを間引きながら、つまり６０ｆｐｓのデータを、３０ｆｐｓでＪＰＥＧ２０００復号部１０３に出力するように制御する。または、表示部１０５の表示速度を４５ｆｐｓにし、９０ｆｐｓで撮影されたフレーム群を４５ｆｐｓでＪＰＥＧ２０００復号部１０３に順次出力することによっても１／２倍速スロー再生を実現することができる。
【００８２】
また、１／３倍速が選択されている場合には、９０ｆｐｓで撮像されたフレーム群を、３０ｆｐｓで順次ＪＰＥＧ２０００復号部１０３に出力するように制御すればよい。
このように、読み出し速度、間引きレート、表示レートを適宜調整することにより、上記以外のスロー再生速度を達成することができることは言うまでもない。
【００８３】
以上説明したように、本第２の実施形態によれば、スロー再生モードにおいて、指定した速さで自動的にスロー再生を行うことができる。
【００８４】
即ち、本第２の実施形態によれば、本第１の実施形態の第２の再生モードでの再生時における、高いフレームレートで撮影された動画像データを再生する速度を設定する。
【００８５】
より具体的には、設定された再生速度に基づいて、高いフレームレートで撮影された動画像データを間引く。
【００８６】
更に、設定された再生速度に基づいて、第２のフレームレートを決定する。
【００８７】
【他の実施形態】
本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。ここでプログラムコードを記憶する記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、ＲＯＭ、ＲＡＭ、磁気テープ、不揮発性のメモリカード、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ、光ディスク、光磁気ディスク、ＭＯなどが考えられる。
【００８８】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００８９】
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明した図１８または図２４に示すフローチャートに対応するプログラムコードや、図１７または図２３に示す操作画面を表示させるプログラムコードが格納されることになる。
【００９０】
【発明の効果】
以上説明したように本発明によれば、異なるフレームレートで撮影された動画像が混在する画像データの再生する際に、高フレームレートで撮影されたフレーム群を自動的に遅延再生（スロー再生）することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態における動画像を撮影可能なデジタルカメラの概略図である。
【図２】図１のデジタルカメラにおける符号化及び記録に関わる機能の概略を示すブロック図である。
【図３】本発明の実施の形態におけるＪＰＥＧ２０００符号化部の概略構成を示すブロック図である。
【図４】本発明の実施の形態におけるＪＰＥＧ２０００符号化部が行うフレームデータの符号化処理のフローチャートである。
【図５】タイル分割の説明図である。
【図６】１次元離散ウェーブレット変換の説明図である。
【図７】（ａ）は４つのサブバンドに分解する図、（ｂ）は（ａ）のＬＬサブバンドを更に４つのサブバンドに分解する図、（ｃ）は（ｂ）のＬＬサブバンドを更に４つのサブバンドに分解する図である。
【図８】量子化ステップの説明図である。
【図９】コードブロック分割の説明図である。
【図１０】ビットプレーン分割の説明図である。
【図１１】コーディングパスの説明図である。
【図１２】レイヤー生成の説明図である。
【図１３】レイヤー生成の説明図である。
【図１４】タイル符号化データの構成の説明図である。
【図１５】フレーム符号化データの構成の説明図である。
【図１６】本発明の第１の実施形態における画像処理装置の概略を示すブロック図である。
【図１７】本発明の第１の実施形態における表示部に表示される操作画面の一例を示す図である。
【図１８】本発明の第１の実施形態における操作画面からの指示に基づく画像処理装置の動作を示すフローチャートである。
【図１９】本発明の実施の形態におけるＪＰＥＧ２０００復号部の概略構成を示すブロック図である。
【図２０】本発明の実施の形態におけるＪＰＥＧ２０００復号部における復号処理を示すフローチャートである。
【図２１】タイルの復号順序の説明図である。
【図２２】本発明の第２の実施形態における画像符号化データの概念を示す図である。
【図２３】本発明の第２の実施形態における表示部に表示される操作画面の一例を示す図である。
【図２４】本発明の第２の実施形態における操作画面からの指示に基づく画像処理装置の動作を示すフローチャートである。
【符号の説明】
１００ 制御部
１０１ 読み取り器
１０２ メモリ
１０３ ＪＰＥＧ２０００復号部
１０４ 表示用メモリ
１０５ 表示部
１０６ 指示入力部
２０１ デジタルカメラ
２０２ 動画撮影ボタン
２１０ 画像入力部
２１１ ＪＰＥＧ２０００符号化部
２１２ 記録部
２１３ 記録媒体
３０１ フレームデータ入力部
３０２ タイル分割部
３０３ 離散ウェーブレット変換部
３０４ バッファ
３０５ 係数量子化部
３０６ エントロピー符号化部
３０７ タイル符号化データ生成部
３０８ フレーム符号化データ生成部
３０９ フレーム符号化データ出力部
４００ 表示領域
４０１ 通常再生ボタン
４０２ スロー再生ボタン
４０３ 停止ボタン
４０４ 通常逆転再生ボタン
４０５ スロー逆転再生ボタン
４０６ ドロップダウンメニュー
２１０１ フレーム符号化データ入力部
２１０２ 復号対象タイル決定部
２１０３ エントロピー復号部
２１０４ 逆量子化部
２１０５ 逆離散ウェーブレット変換部
２１０６ 復号フレームデータ出力部
Claims (1)
- 異なるフレームレートで撮影された動画像が混在する動画像データを再生する画像処理方法であって、
撮影時のフレームレートで動画像データを再生する第１の再生モードと、予め決められた第１のフレームレートで撮影された動画像データを該第１のフレームレートで再生し、該第１のフレームレートよりも高いフレームレートで撮影された動画像データを、該フレームレートよりも低い第２のフレームレートで再生する第２の再生モードとのいずれかを選択する選択工程と、
前記選択された第１または第２の再生モードで、動画像データを再生する再生工程と
を有することを特徴とする画像処理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003007665A JP2004221999A (ja) | 2003-01-15 | 2003-01-15 | 画像処理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003007665A JP2004221999A (ja) | 2003-01-15 | 2003-01-15 | 画像処理方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004221999A true JP2004221999A (ja) | 2004-08-05 |
Family
ID=32897690
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003007665A Withdrawn JP2004221999A (ja) | 2003-01-15 | 2003-01-15 | 画像処理方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004221999A (ja) |
Cited By (34)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006352581A (ja) * | 2005-06-16 | 2006-12-28 | Canon Inc | 記録装置及び再生装置 |
| JP2007089186A (ja) * | 2005-09-22 | 2007-04-05 | Lg Electronics Inc | 動画撮影機能付き移動通信端末機及びその動作方法 |
| WO2007119819A1 (ja) * | 2006-04-14 | 2007-10-25 | Nikon Corporation | 画像記録再生装置 |
| JP2008035280A (ja) * | 2006-07-28 | 2008-02-14 | Sanyo Electric Co Ltd | 画像復号方法および画像表示方法 |
| KR100813436B1 (ko) | 2006-12-21 | 2008-03-13 | 주식회사 휴맥스 | 영상 재생 장치 및 영상 재생 방법 |
| JP2008118508A (ja) * | 2006-11-07 | 2008-05-22 | Casio Comput Co Ltd | 記録装置及び記録プログラム |
| JP2008252373A (ja) * | 2007-03-29 | 2008-10-16 | Canon Inc | 画像処理装置、画像処理方法、及びコンピュータプログラム |
| JP2009253370A (ja) * | 2008-04-01 | 2009-10-29 | Hitachi Kokusai Electric Inc | 記録映像データ再生システム |
| US7693887B2 (en) | 2005-02-01 | 2010-04-06 | Strands, Inc. | Dynamic identification of a new set of media items responsive to an input mediaset |
| US7734569B2 (en) | 2005-02-03 | 2010-06-08 | Strands, Inc. | Recommender system for identifying a new set of media items responsive to an input set of media items and knowledge base metrics |
| US7743009B2 (en) | 2006-02-10 | 2010-06-22 | Strands, Inc. | System and methods for prioritizing mobile media player files |
| US7797321B2 (en) | 2005-02-04 | 2010-09-14 | Strands, Inc. | System for browsing through a music catalog using correlation metrics of a knowledge base of mediasets |
| US7826710B2 (en) | 2005-01-13 | 2010-11-02 | Panasonic Corporation | Playback device, computer program, playback method |
| US7840570B2 (en) | 2005-04-22 | 2010-11-23 | Strands, Inc. | System and method for acquiring and adding data on the playing of elements or multimedia files |
| US7962505B2 (en) | 2005-12-19 | 2011-06-14 | Strands, Inc. | User to user recommender |
| US8081255B2 (en) | 2005-10-20 | 2011-12-20 | Sony Corporation | Image converting apparatus, image signal processing apparatus, camera system and image signal processing method |
| JP2012105012A (ja) * | 2010-11-09 | 2012-05-31 | Canon Inc | 動画再生装置、動画再生方法、コンピュータプログラム、記憶媒体 |
| US8200062B2 (en) | 2006-04-21 | 2012-06-12 | Panasonic Corporation | Playback apparatus, program, and playback method |
| US8332406B2 (en) | 2008-10-02 | 2012-12-11 | Apple Inc. | Real-time visualization of user consumption of media items |
| US8477786B2 (en) | 2003-05-06 | 2013-07-02 | Apple Inc. | Messaging system and service |
| US8521611B2 (en) | 2006-03-06 | 2013-08-27 | Apple Inc. | Article trading among members of a community |
| US8583671B2 (en) | 2006-02-03 | 2013-11-12 | Apple Inc. | Mediaset generation system |
| US8601003B2 (en) | 2008-09-08 | 2013-12-03 | Apple Inc. | System and method for playlist generation based on similarity data |
| US8620919B2 (en) | 2009-09-08 | 2013-12-31 | Apple Inc. | Media item clustering based on similarity data |
| US8671000B2 (en) | 2007-04-24 | 2014-03-11 | Apple Inc. | Method and arrangement for providing content to multimedia devices |
| US8744248B2 (en) | 2010-01-06 | 2014-06-03 | Canon Kabushiki Kaisha | Moving picture playback device, control method for same, and storage medium |
| US8745048B2 (en) | 2005-09-30 | 2014-06-03 | Apple Inc. | Systems and methods for promotional media item selection and promotional program unit generation |
| JP2014220761A (ja) * | 2013-05-10 | 2014-11-20 | アイキューブド研究所株式会社 | 画像出力装置、画像出力方法、およびプログラム |
| US8983905B2 (en) | 2011-10-03 | 2015-03-17 | Apple Inc. | Merging playlists from multiple sources |
| DE102014102689A1 (de) * | 2014-02-28 | 2015-09-03 | Arnold & Richter Cine Technik Gmbh & Co. Betriebs Kg | Laufbildkameraanordnung und Verfahren zum Betreiben einer Laufbildkameraanordnung |
| US9317185B2 (en) | 2006-02-10 | 2016-04-19 | Apple Inc. | Dynamic interactive entertainment venue |
| JP2018129790A (ja) * | 2016-12-29 | 2018-08-16 | アクシス アーベー | 録画したビデオを再生するための方法およびシステム |
| US10638057B2 (en) | 2015-12-18 | 2020-04-28 | Samsung Electronics Co., Ltd. | Photographing device and control method thereof |
| US10936653B2 (en) | 2017-06-02 | 2021-03-02 | Apple Inc. | Automatically predicting relevant contexts for media items |
-
2003
- 2003-01-15 JP JP2003007665A patent/JP2004221999A/ja not_active Withdrawn
Cited By (56)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8477786B2 (en) | 2003-05-06 | 2013-07-02 | Apple Inc. | Messaging system and service |
| US8467665B2 (en) | 2005-01-13 | 2013-06-18 | Panasonic Corporation | Playback device, computer program, playback method |
| US7826710B2 (en) | 2005-01-13 | 2010-11-02 | Panasonic Corporation | Playback device, computer program, playback method |
| US7693887B2 (en) | 2005-02-01 | 2010-04-06 | Strands, Inc. | Dynamic identification of a new set of media items responsive to an input mediaset |
| US9576056B2 (en) | 2005-02-03 | 2017-02-21 | Apple Inc. | Recommender system for identifying a new set of media items responsive to an input set of media items and knowledge base metrics |
| US9262534B2 (en) | 2005-02-03 | 2016-02-16 | Apple Inc. | Recommender system for identifying a new set of media items responsive to an input set of media items and knowledge base metrics |
| US8312017B2 (en) | 2005-02-03 | 2012-11-13 | Apple Inc. | Recommender system for identifying a new set of media items responsive to an input set of media items and knowledge base metrics |
| US7734569B2 (en) | 2005-02-03 | 2010-06-08 | Strands, Inc. | Recommender system for identifying a new set of media items responsive to an input set of media items and knowledge base metrics |
| US7797321B2 (en) | 2005-02-04 | 2010-09-14 | Strands, Inc. | System for browsing through a music catalog using correlation metrics of a knowledge base of mediasets |
| US8185533B2 (en) | 2005-02-04 | 2012-05-22 | Apple Inc. | System for browsing through a music catalog using correlation metrics of a knowledge base of mediasets |
| US7945568B1 (en) | 2005-02-04 | 2011-05-17 | Strands, Inc. | System for browsing through a music catalog using correlation metrics of a knowledge base of mediasets |
| US8543575B2 (en) | 2005-02-04 | 2013-09-24 | Apple Inc. | System for browsing through a music catalog using correlation metrics of a knowledge base of mediasets |
| US7840570B2 (en) | 2005-04-22 | 2010-11-23 | Strands, Inc. | System and method for acquiring and adding data on the playing of elements or multimedia files |
| US8312024B2 (en) | 2005-04-22 | 2012-11-13 | Apple Inc. | System and method for acquiring and adding data on the playing of elements or multimedia files |
| JP4537266B2 (ja) * | 2005-06-16 | 2010-09-01 | キヤノン株式会社 | 記録装置及び再生装置 |
| JP2006352581A (ja) * | 2005-06-16 | 2006-12-28 | Canon Inc | 記録装置及び再生装置 |
| US7920775B2 (en) | 2005-06-16 | 2011-04-05 | Canon Kabushiki Kaisha | Recording apparatus |
| US8938150B2 (en) | 2005-06-16 | 2015-01-20 | Canon Kabushiki Kaisha | Recording apparatus |
| JP2007089186A (ja) * | 2005-09-22 | 2007-04-05 | Lg Electronics Inc | 動画撮影機能付き移動通信端末機及びその動作方法 |
| US8745048B2 (en) | 2005-09-30 | 2014-06-03 | Apple Inc. | Systems and methods for promotional media item selection and promotional program unit generation |
| US8081255B2 (en) | 2005-10-20 | 2011-12-20 | Sony Corporation | Image converting apparatus, image signal processing apparatus, camera system and image signal processing method |
| US8356038B2 (en) | 2005-12-19 | 2013-01-15 | Apple Inc. | User to user recommender |
| US7962505B2 (en) | 2005-12-19 | 2011-06-14 | Strands, Inc. | User to user recommender |
| US8996540B2 (en) | 2005-12-19 | 2015-03-31 | Apple Inc. | User to user recommender |
| US8583671B2 (en) | 2006-02-03 | 2013-11-12 | Apple Inc. | Mediaset generation system |
| US7987148B2 (en) | 2006-02-10 | 2011-07-26 | Strands, Inc. | Systems and methods for prioritizing media files in a presentation device |
| US7743009B2 (en) | 2006-02-10 | 2010-06-22 | Strands, Inc. | System and methods for prioritizing mobile media player files |
| US8214315B2 (en) | 2006-02-10 | 2012-07-03 | Apple Inc. | Systems and methods for prioritizing mobile media player files |
| US9317185B2 (en) | 2006-02-10 | 2016-04-19 | Apple Inc. | Dynamic interactive entertainment venue |
| US8521611B2 (en) | 2006-03-06 | 2013-08-27 | Apple Inc. | Article trading among members of a community |
| US8908056B2 (en) | 2006-04-14 | 2014-12-09 | Nikon Corporation | Image recording and reproducing device |
| JP2007288422A (ja) * | 2006-04-14 | 2007-11-01 | Nikon Corp | 画像記録再生装置 |
| WO2007119819A1 (ja) * | 2006-04-14 | 2007-10-25 | Nikon Corporation | 画像記録再生装置 |
| US8200062B2 (en) | 2006-04-21 | 2012-06-12 | Panasonic Corporation | Playback apparatus, program, and playback method |
| JP2008035280A (ja) * | 2006-07-28 | 2008-02-14 | Sanyo Electric Co Ltd | 画像復号方法および画像表示方法 |
| JP4743084B2 (ja) * | 2006-11-07 | 2011-08-10 | カシオ計算機株式会社 | 記録装置及び記録プログラム |
| JP2008118508A (ja) * | 2006-11-07 | 2008-05-22 | Casio Comput Co Ltd | 記録装置及び記録プログラム |
| KR100813436B1 (ko) | 2006-12-21 | 2008-03-13 | 주식회사 휴맥스 | 영상 재생 장치 및 영상 재생 방법 |
| JP2008252373A (ja) * | 2007-03-29 | 2008-10-16 | Canon Inc | 画像処理装置、画像処理方法、及びコンピュータプログラム |
| US8671000B2 (en) | 2007-04-24 | 2014-03-11 | Apple Inc. | Method and arrangement for providing content to multimedia devices |
| JP2009253370A (ja) * | 2008-04-01 | 2009-10-29 | Hitachi Kokusai Electric Inc | 記録映像データ再生システム |
| US9496003B2 (en) | 2008-09-08 | 2016-11-15 | Apple Inc. | System and method for playlist generation based on similarity data |
| US8966394B2 (en) | 2008-09-08 | 2015-02-24 | Apple Inc. | System and method for playlist generation based on similarity data |
| US8601003B2 (en) | 2008-09-08 | 2013-12-03 | Apple Inc. | System and method for playlist generation based on similarity data |
| US8332406B2 (en) | 2008-10-02 | 2012-12-11 | Apple Inc. | Real-time visualization of user consumption of media items |
| US8620919B2 (en) | 2009-09-08 | 2013-12-31 | Apple Inc. | Media item clustering based on similarity data |
| US8744248B2 (en) | 2010-01-06 | 2014-06-03 | Canon Kabushiki Kaisha | Moving picture playback device, control method for same, and storage medium |
| JP2012105012A (ja) * | 2010-11-09 | 2012-05-31 | Canon Inc | 動画再生装置、動画再生方法、コンピュータプログラム、記憶媒体 |
| US8897615B2 (en) | 2010-11-09 | 2014-11-25 | Canon Kabushiki Kaisha | Moving image reproduction apparatus and method |
| US8983905B2 (en) | 2011-10-03 | 2015-03-17 | Apple Inc. | Merging playlists from multiple sources |
| JP2014220761A (ja) * | 2013-05-10 | 2014-11-20 | アイキューブド研究所株式会社 | 画像出力装置、画像出力方法、およびプログラム |
| DE102014102689A1 (de) * | 2014-02-28 | 2015-09-03 | Arnold & Richter Cine Technik Gmbh & Co. Betriebs Kg | Laufbildkameraanordnung und Verfahren zum Betreiben einer Laufbildkameraanordnung |
| US9781310B2 (en) | 2014-02-28 | 2017-10-03 | Arnold & Richter Cine Technik Gmbh & Co., Betriebs Kg | Motion picture camera arrangement and method of operating a motion picture camera arrangement |
| US10638057B2 (en) | 2015-12-18 | 2020-04-28 | Samsung Electronics Co., Ltd. | Photographing device and control method thereof |
| JP2018129790A (ja) * | 2016-12-29 | 2018-08-16 | アクシス アーベー | 録画したビデオを再生するための方法およびシステム |
| US10936653B2 (en) | 2017-06-02 | 2021-03-02 | Apple Inc. | Automatically predicting relevant contexts for media items |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2004221999A (ja) | 画像処理方法 | |
| WO2006046551A1 (ja) | 画像符号化方法および装置、ならびに画像復号方法および装置 | |
| JP2004072793A5 (ja) | 映像記録装置及び映像記録方法 | |
| JPWO2007058294A1 (ja) | 符号化装置および方法、復号装置および方法、並びに、伝送システム | |
| CN104952470A (zh) | 用于数字视频记录器的视频格式 | |
| JP2002084540A (ja) | 画像処理装置、画像処理方法、電子カメラ、及び、プログラム | |
| JP4471337B2 (ja) | 画像処理装置及び方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体 | |
| WO2006046550A1 (ja) | 画像符号化方法および装置、ならびに画像復号方法および装置 | |
| JP4155566B2 (ja) | 画像再生装置及び方法 | |
| JP4143322B2 (ja) | 画像再生装置及び画像再生方法 | |
| US7558466B2 (en) | Moving image playback apparatus and its control method, computer program, and computer-readable storage medium | |
| JP4251610B2 (ja) | 画像処理装置 | |
| JP2006074130A (ja) | 画像復号方法、画像復号装置および撮像装置 | |
| JP2004214985A (ja) | 画像処理装置及び画像再生装置 | |
| JP2006340300A (ja) | 信号処理方法及び信号処理装置、並びに信号処理プログラム及び情報記録媒体 | |
| JP4280613B2 (ja) | 動画像再生装置及びその制御方法、並びに、コンピュータプログラム及びコンピュータ可読記憶媒体 | |
| JP2004235990A (ja) | 画像選択装置 | |
| JP4667424B2 (ja) | 画像復号装置 | |
| JP2011045138A (ja) | 画像復号方法 | |
| JP2004023748A (ja) | 画像記録装置、画像記録方法、プログラム及び情報記録媒体 | |
| JP4667423B2 (ja) | 画像復号装置 | |
| JP2005151018A (ja) | 画像符号化装置及び画像復号化装置 | |
| JP4194311B2 (ja) | 動画像符号化装置及び動画像復号装置並びにそれらの方法 | |
| US20040179592A1 (en) | Image coding apparatus | |
| JP4174254B2 (ja) | 動画像符号化装置及び動画像復号装置並びにそれらの方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20060404 |