JP2004129217A - 画像処理装置及び方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体 - Google Patents
画像処理装置及び方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体 Download PDFInfo
- Publication number
- JP2004129217A JP2004129217A JP2003189603A JP2003189603A JP2004129217A JP 2004129217 A JP2004129217 A JP 2004129217A JP 2003189603 A JP2003189603 A JP 2003189603A JP 2003189603 A JP2003189603 A JP 2003189603A JP 2004129217 A JP2004129217 A JP 2004129217A
- Authority
- JP
- Japan
- Prior art keywords
- frame
- frames
- playback
- decoding
- moving image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/78—Television signal recording using magnetic recording
- H04N5/782—Television signal recording using magnetic recording on tape
- H04N5/783—Adaptations for reproducing at a rate different from the recording rate
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
- H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
- H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/7921—Processing of colour television signals in connection with recording for more than one processing mode
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
- H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
- H04N9/8047—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction using transform coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Television Signal Processing For Recording (AREA)
- Studio Devices (AREA)
Abstract
【解決手段】60フレーム/秒の動画画像を構成する各フレームがJPEG2000等により、各フレームが独立して復号できるように圧縮されている。通常再生時には、2フレーム中1フレームを用いて(2フレーム中1フレームを間引きして)再生することで、動画像再生として十分な30フレーム/秒で再生する。一方、スロー再生時には、間引きフレーム数0とし、60フレームを2秒かけて再生する処理を行うことで、通常再生と同じ30フレーム/秒で動画像の再生を行う。
【選択図】 図5A
Description
【発明の属する技術分野】
本発明は、各コマもしくはフレームが独立して符号化された動画像符号化データから、通常再生、或いはスロー再生の為の復号を行う画像処理装置及び方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体に関するものである。
【0002】
【従来の技術】
近年、テレビジョン等の動画像の分野における技術革新はめざましく、動画像の高品位化は進むばかりである。
【0003】
従来、一般的に利用される動画像の表示形態は、30フレーム/秒であったが、近年60フレーム/秒等の高フレームレートの表示形態も存在する。
【0004】
実際、通常の表示(録画データの通常モードの再生等)においては、30フレーム/秒でも十分な動画像の品質であり、60フレーム/秒までは必要無いと考えるユーザーも少なくない。確かに60フレーム/秒の方が高画質であることは間違いないが、人間の目ではそれら60フレームは正確には認識しておらず、30フレーム/秒でも十分な動画として認識してしまうと考えられる。
【0005】
また、60フレーム/秒で動画像を録画した場合には、その録画画像(動画像符号化データ)を復号する復号化器(コンピュータであればCPU)への負担も、30フレーム/秒の動画像符号化データの復号よりも大きい。
【0006】
一方、スロー再生においては、一般によく知られる30フレーム/秒の動画像では不十分であることは明らかである。30フレーム/秒の動画像をスロー再生すると、まさにコマ送りの様な画像になってしまう。
【0007】
また、動画像の符号化においては、階層性を持った符号化方式であるMPEG−2,4やMotionJPEG2000が普及し始めており、これに連動して、このような動画像フォーマットに対応した動画像再生装置が多く開発されてきている。
【0008】
【発明が解決しようとする課題】
しかし、このような階層的動画像データを再生する動画像再生装置の開発は進められているが、各フレームの詳細の把握を可能とするスロー再生機能に対して、該動画像データの階層性を利用した上で、通常再生時の再生画像より高画質に各フレームを表示することを可能とする動画像再生装置は、現時点で存在していない。
【0009】
本発明は上記従来例に鑑みてなされたものであり、復号(再生)対象となる動画像データが高フレームレートで録画(符号化)されていたとしても、人間の視覚的な認識レベルを十分考慮しつつ、通常再生及びスロー再生のいずれであってもスムースな動画像を再生することを可能ならしめる画像処理装置及び方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体を提供しようとするものである。
【0010】
また、他の発明は、スロー再生の際に、再生される画質を向上させることを可能ならしめる画像処理装置及び方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体を提供しようとするものである。
【0011】
【課題を解決するための手段】
かかる課題を解決するため、例えば本発明の画像処理装置は以下の構成を備える。すなわち、
動画像として十分であるフレームレートをNフレーム/秒と表現したとき、それを越えるM(M>N)フレーム/秒の、各フレームが独立して復号可能に圧縮符号化された動画像データを再生する画像処理装置であって、
圧縮符号化されたフレームを復号する復号手段と、
通常再生するか、スロー再生するかを切り替える切り替え手段と、
該切り替え手段により、通常再生するように切り替えた場合、前記画像データから第1のフレーム間隔で各フレームを読出して前記復号手段で復号し、実質的にNフレーム/秒で再生する第1の再生手段と、
該切り替え手段により、スロー再生するように切り替えた場合、前記第1のフレーム間隔よりも狭い第2のフレーム間隔で読出して前記復号手段で復号し、少なくとも実質的にNフレーム/秒で再生する第2の再生手段と
を備えることを特徴とする画像処理装置。
【0012】
【発明の実施の形態】
以下、添付図面に従って本発明に係る実施形態を説明するが、先ず、基本部分について説明する。
【0013】
<動画像符号化データの概略>
まず、動画像符号化データを作成する過程となる、撮影記録時の処理について、簡単に説明する。
【0014】
図2は動画像を撮影できるデジタルカメラ201の概念図である。詳細は公知であるので省略するが、静止画撮影モード、動画撮影モードのうち後者を選択した後、図示の動画撮影ボタンを半押しすることで30フレーム(コマ)/秒の動画撮影ができ、全押しすることで例えば60フレーム(コマ)/秒の動画撮影を可能とする様に設計してある。例えば、撮影対象物の動きの速度/方向が突然変化する様な場合には、通常は半押しで対象物を撮影し、上記変化が起こる前後のみにおいて全押しで対象物を撮影すれば、一連の撮影動作において、30フレーム/秒と60フレーム/秒のシーンが混在する動画像を記録することが可能である。
【0015】
図3は上記デジタルカメラ201で撮影された各フレームの画像を符号化、記録処理の概念図を示したものである。上記方法で撮影して得られる画像は画像入力部301からフレーム単位に発生する。そしてその各フレーム(画像)は、JPEG2000符号化部302において、1フレーム1フレームが独立して符号化される。なお、このJPEG2000符号化部の符号化方式は、後程説明する。本発明においては、各フレームが独立して符号化されている、換言すれば各フレームが独立して復号できることが重要であり、その条件を満たすかぎりは特に限定しない。従って、JPEG2000符号化部302の代わりにJPEG符号化器を用いても構わない。
【0016】
ここで符号化された各フレームの符号化データは、時系列順に記録部303により、記録媒体304に記録される。このとき、記録部には、各フレームが30フレーム/秒で撮影して得られたものなのか60フレーム/秒で撮影して得られていたものなのかを画像入力部からの制御信号、或いは図2の撮影ボタンからの制御信号等を監視することにより識別し、記録媒体には、そのフレームの符号化データと共に、この識別結果を示す情報も合わせて記録する。これにより、復号化側では、何れのフレームから30、60フレーム/秒で撮影記録されたものなのかを知ることができる。なお、識別情報は、各フレームの符号化データのヘッダ領域に挿入されてもよく、その場合、符号化データの互換性を維持する上で、自由にデータを書き込めるヘッダ内のフリースペースを利用することは好適である。
【0017】
また、記録媒体304の中では、各符号化データは連続的に図3のストリーム305の様に記録される。
【0018】
<JPEG2000符号化方法の概略>
次に、JPEG2000符号化部302のブロック図を図17に示し、当該処理部の処理のフローチャートを図18に示し、これらの図を用いて、フレームデータの符号化の処理を説明する。なお、ヘッダの作成方法等、詳細についてはISO/IEC勧告書を参照されたい。
【0019】
説明を簡単なものとするため、本実施形態における符号化対象となるフレームデータは、8ビットのモノクロフレームデータとする。ただし、各画素4ビット、10ビット、12ビットといった具合に8ビット以外のビット数で表すモノクロ画像、或いは各画素における各色成分(RGB/Lab/YCrCb)を8ビット(勿論、8ビットに限らない)で表現するカラーの多値フレームデータである場合に適用することも可能である。また、画像を構成する各画素の状態等を表す多値情報である場合、例えば各画素の色を表す多値のインデックス値である場合にも適用できる。これらに応用する場合には、各種類の多値情報を後述するモノクロフレームデータとすればよい。
【0020】
まず、撮像された画像のフレームデータは、フレームデータ入力部1701へ入力され、そのフレームデータを構成する画素データがラスタースキャン順にタイル分割部1702に出力する。
【0021】
タイル分割部1702は、フレームデータ入力部1701から入力される1枚(1フレーム)の画像をN個のタイルに分割し(ステップS1801)、各タイルを識別するためにラスタースキャン順にタイルナンバーi=0、1、2、…、N−1を割り振るものとする。なお、本実施形態では、図16に示されているように、画像を横8,縦6に分割し、48個のタイルを作り出すものとする。
【0022】
ここで、各タイルを表すデータをタイルデータと呼ぶことにする。これら生成されたタイルデータは、順に離散ウェーブレット変換部1703に送られる。なお、離散ウェーブレット変換部1703以降の処理において、タイルは独立に符号化されるものとする。また、ここで、当該フレームデータ符号化部202が処理しているタイルを認識するための不図示のカウンタがi=0に設定される(ステップS1802)。
【0023】
離散ウェーブレット変換部1703は、タイル分割部1702から入力される、1つの静止画像中の1つのタイルデータx(n)における複数の画素(参照画素)のデータ(参照画素データ)を用いて離散ウェーブレット変換を行う(ステップS1803)。
【0024】
以下に、離散ウェーブレット変換後のフレームデータ(離散ウェーブレット変換係数)を示す。
Y(2n) = X(2n)+floor{ (Y(2n−1)+Y(2n+1)+2)/4 }
Y(2n+1) = X(2n+1)−floor{ (X(2n)+X(2n+2))/2 }
ここで、Y(2n),Y(2n+1)は離散ウェーブレット変換係数列であり、Y(2n)は低周波サブバンド、Y(2n+1)は高周波サブバンドのデータである。また、上式においてfloor{X}はXを超えない最大の整数値を返す関数を示す。この離散ウェーブレット変換を模式的に表わしたのが図6である。
【0025】
本変換式は一次元のデータに対するものであるが、この変換を水平方向、垂直方向の順に適用して二次元の変換を行うことにより、図7の符号71の様なLL,HL,LH,HHの4つの異なる周波数成分(サブバンド)に分割することができる。ここで、Lは低周波サブバンド、Hは高周波サブバンドを示している。次にLLサブバンドを、同じ様に4つのサブバンドに分け(図7の符号72)、その中のLLサブバンドをまた4サブバンドに分ける(図7の符号73)。合計10サブバンドを作る。10個のサブバンドそれぞれに対して、図7の符号73の様にHH1,HL1,…と呼ぶことにする。ここで、各サブバンドの名称における数字を、それぞれのサブバンドのレベルとする。つまり、レベル1のサブバンドは、HL1,HH1,LH1、レベル2のサブバンドは、HL2,HH2,LH2である。なおLLサブバンドは、レベル0のサブバンドとする。1つのタイルにおいて、LLサブバンドはひとつしか存在しないので添字を付けない。またレベル0からレベルnまでのサブバンドを復号することで得られる復号画像を、レベルnの復号画像と呼ぶ。復号画像は、そのレベルが高い程解像度は高い。
【0026】
10個のサブバンドの変換係数は、いったんバッファ1704に格納されLL,HL1,LH1,HH1,HL2,LH2,HH2,HL3,LH3,HH3の順に、つまり、レベルが低いサブバンドからレベルが高いサブバンドの順に、係数量子化部1705へ出力される。
【0027】
係数量子化部1705では、バッファ1704から出力される各サブバンドの変換係数を各周波数成分毎に定めた量子化ステップで量子化し、量子化後の値(係数量子化値)をエントロピー符号化部1706へ出力する(ステップS1804)。係数値をX、この係数の属する周波数成分に対する量子化ステップの値をqとするとき、量子化後の係数値Q(X)は次式によって求めるものとする。
Q(X)=floor{(X/q)+0.5}
本実施形態における各周波数成分と量子化ステップとの対応を図8に示す。同図に示す様に、よりレベルが高いサブバンドの方に、大きい量子化ステップを与えている。なお、各サブバンド毎の量子化ステップは予め不図示のRAMやROMなどのメモリに格納されているものとする。そして、一つのサブバンドにおける全ての変換係数を量子化した後、それら係数量子化値をエントロピー符号化部1706へ出力する。
【0028】
エントロピー符号化部1706では、入力された係数量子化値がエントロピー符号化される(ステップS1805)。ここでは、まず、図9に示されているように、入力された係数量子化値の集まりである各サブバンドが矩形(コードブロックと呼ぶ)に分割される。なお、このコードブロックの大きさには、2m×2n(m、nは2以上の整数)等が設定される。さらにこのコードブロックは、図10に示されているように、正負の符号のビットプレーン、第1、第2…のビットプレーンに分割される。その上で、図11に示されているように、あるビットプレーンにおける各ビットは、ある分類規則に基づいて3種類に分けられて、同じ種類のビットを集めたコーディングパスが3種類生成される。入力された係数量子化値は、ここで得られたコーディングパスを単位として、エントロピー符号化である二値算術符号化が行われ、エントロピー符号化値が生成される。
【0029】
なお、ここでエントロピー符号化の具体的な処理順序は、1つのコードブロックに注目すると上位ビットプレーンから下位ビットプレーンの順に符号化され、その1コードブロックのあるビットプレーンに注目すると、図11にある3種類のパスを上から順に符号化する様になっている。
【0030】
エントロピー符号化されたコーディングパスは、タイル符号化データ生成部1707に出力される。
【0031】
タイル符号化データ生成部1707では、入力された複数のコーディングパスから、単一もしくは複数のレイヤーが構成されるレイヤーのデータを単位としてタイル符号化データを生成される(ステップS1806)。以下にレイヤーの構成に関する説明を行う。
【0032】
タイル符号化データ生成部1707は、図12に示されているように、複数のサブバンドにおける複数のコードブロックから、エントロピー符号化されたコーディングパスを集めた上で、レイヤーを構成する。なお、図13に示されているように、あるコードブロックからコーディングパスを取得する際、常に該コードブロックにおいて最上位に存在するコーディングパスが選ばれる。その後、タイル符号化データ生成部1707は、図14に示されているように、生成したレイヤーを、上位に位置するレイヤーから順に並べた上で、その先頭にタイルヘッダを付加してタイル符号化データを生成する。このヘッダには、タイルを識別する情報や、当該タイル符号化データの符号長や、圧縮に使用した様々なパラメータ等が格納される。このように生成されたタイル符号化データは、フレーム符号化データ生成部1708に出力される。
【0033】
ここで、符号化すべきタイルデータが残っている場合は、処理をステップS1803に戻し、符号化すべきタイルデータが残っていない場合は、処理をステップS1808に進める(ステップS1807)。
【0034】
フレーム符号化データ生成部1708では、図15に示されているように、タイル符号化データを所定の順番で並べた上で、先頭にヘッダを付加してフレーム符号化データを生成する(ステップS1808)。このヘッダには、入力画像やタイルの縦横のサイズ、圧縮に使用した様々なパラメータ,フレーム符号化データの符号長等が格納される。このように生成されたフレーム符号化データは、フレーム符号化データ出力部1709から動画像外部に出力される(ステップS1809)。
【0035】
以上がJPEG2000によるフレームデータの符号化方法の説明である。
【0036】
<復号再生>
次に、上述の様にして作成されている動画像符号化データを、如何に復号化するかについて説明する。
【0037】
図1は、本実施形態において使用する復号装置の概略構成図であり、例えばパーソナルコンピュータ等である。図中、100は、各部の動作を制御する制御部(マイクロプロセッサ)である。この制御部は後述するユーザーインターフェイスからの指示(例えば、通常再生モードとスロー再生の切替、再生開始、再生停止の指示等)も受け取り、これに応じた動作制御を各部に行う。
【0038】
101は読み取り器であり、上述した図3の記録媒体304に記録された動画像符号化データを読み出すものである。102は読み取り器101が読み取った動画像符号化データを一旦蓄積する役割を持つ。その他、この動画像符号化データを復号して得られる復号画像も一旦蓄積する。また、装置内の各部が使用するプログラムデータ等も格納可能であり、各種ワークメモリにも使用される。
【0039】
103は上述したJPEG2000符号化部302の復号化側に相当するJPEG2000復号化部である。ここでは、JPEG2000で符号化され、記録媒体304に記録された各フレームの符号化データを、順次復号することになる。このJPEG2000の復号方法については後述する。
【0040】
104は表示用メモリであり、次に表示したい1フレームの画像を記憶させるものである。本実施形態ではメモリ102に一旦格納された復号画像を制御部のタイミング制御に基づいて順次(繰り返し同一フレームを読み出す場合も有るが)読み出し、このメモリ104に書き込むこととする。なお、そのメモリの容量は、書き込みと読み出しが重ならない様に、複数フレーム分備えることとし、制御部100がその書き込みと読み出しも管理する。
【0041】
105は表示部であり、パーソナルコンピュータ等が通常備えるディスプレイに相当する。この表示部105には、表示部に与えられた表示用フレームレート(本実施形態では1秒当たり60フレーム/秒)で、メモリ104に保持されたフレーム(画像)を表示するものである。特に本実施形態では、この表示部における表示用フレームレートBは、一般的に知られる30フレーム/秒よりも高いとしておく。また、この表示用メモリ104から画像を読出し、表示部105に出力する速度Bは固定であるとして説明する。換言すれば、本実施形態での特徴は、この表示用メモリ104への書き込み処理にある。
【0042】
106は指示入力部であり、例えばマウス、キーボードである。或いは表示部105と一体化したタッチパネルであるとしても良い。ユーザーは、表示部に表示される操作画面を参照しつつ、この指示入力部を介して、再生に関するあらゆる指示を入力できる。
【0043】
図4は、実施形態における再生アプリケーションを実行した際に表示部に表示される操作画面を示したものである。400は、上記表示用メモリに格納された画像(動画)を実際に表示する表示領域である。表示部の画面全体ではなく、この領域400に表示される。
【0044】
401と402は、通常の時間軸方向への再生を指示するボタンであり、401が通常速度の再生を指示するボタン、402がスロー再生(本実施形態では2分の1の体感速度の再生)を指示するボタンである。403は停止ボタンである。なお、一時停止ボタンを設けてもよい。
【0045】
404と405は、通常の時間軸方向とは逆方向への再生(逆転再生)を指示するボタンであり、405が通常速度の逆転再生を指示するボタン、404がスロー逆転再生(本実施形態では2分の1の体感速度の再生)を指示するボタンである。なお、本実施形態では、動画像を構成する各フレームは独立して符号化されているので、それら各フレームを逆順で復号化し表示することで、容易に逆転再生は可能である。
【0046】
次に、実際に動画像符号化データを復号し、表示するまでの、動作の流れを図5A、5Bを用いて詳しく説明する。なお、ここでは、再生についての動作制御についてのみ説明する。逆転再生(ボタン404と405の使用に相当)については、これから説明する2種類の再生(通常再生とスロー再生)における時間軸を全て逆に考えれば良いだけのことであり、ボタン401と405、402と404とを入れ替えて考えれば当業者には容易に理解できるので、説明から省略する。
【0047】
また、動画像符号化データは、図3の符号305のような、60フレーム/秒で撮像したフレーム群と、30フレーム/秒で撮像したフレームが混在しているものとして説明する。
【0048】
図5Aにおいて、先ず、ステップS501において、再生又は停止の動作ボタン401〜403がユーザにより押されたか否かを判断する。なお、ここでの“押す”という操作は、図1の指示入力部106(マウス等)から、表示されたボタンを指示(クリック)する操作を意味するが、実現手段は如何なるものでも構わない。
【0049】
ボタン401〜403のいずれも押下されていないと判断した場合には、ステップS502において、現在再生中か否かを判断する。否であれば、ステップS501、S502の処理を繰り返すことになる。
【0050】
ボタン401〜403のいずれかが押された時には、次に、何れのボタンが押されたか判断する。なお、この判断の順番は特に限定されない。図5の説明では、次のステップS503においては、ボタン403(停止ボタン)が押されたか否かを判断する。また、ボタン403が押されていなければ、ステップS504でボタン401(通常再生モード)が押されたかか否か、すなわち、ボタン401が押されたのかを判断する。また、ボタン403が押下されていなければ、ステップS505でボタン402(スロー再生モード)が押されたのかを判断する。
【0051】
ボタン401〜403以外のボタンが押下されたと判断した場合には、ステップS506に進んで対応する処理を行う。ボタン403が押下された判断した場合には、ステップS507に進み、全ての復号、再生動作を停止する。
【0052】
ボタン401が押されたと判断した場合には、通常再生が指示されたことを意味する。この場合、処理をステップS508に進め、現在、再生の為に着目しているフレームのヘッダを調べることで、それが60fps、30fpsのいずれのモードで撮像されたのか否かを判断する。もし60fpsで撮像されたフレームであると判断した場合には、ステップS509に進んで、2フレーム中1フレームを無視、すなわち、連続する2フレームのうち一方を間引きし、30fpsの速度で復号処理を行うようJPEG2000復号部103に設定する(詳細は後述)。またもし、再生の為に注目しているフレームが30fpsとして撮像されたものであると判断した場合には、ステップS510に進み、入力したフレームを間引きせず、30fpsで復号処理するよう設定する。
【0053】
一方、ボタン402が押下されたと判断した場合、すなわち、スロー再生が指示されたと判断した場合には、処理をステップS511に進める。ここでも、再生の為に注目しているフレームの符号化データのヘッダを調べることで、それが60fps、30fpsのいずれのモードで撮像されたのか否かを判断する。
【0054】
もし60fpsで撮像されたフレームであると判断した場合には、ステップS512に進み、間引き無しに、30fpsの速度で復号するよう設定する(詳細は後述)。また、もし30fpsで撮像されたフレームであると判断した場合には、ステップS513に進んで、各フレームを15fpsの速度で復号処理するよう設定する。
【0055】
さて、ステップS502において、再生中であると判断した場合、処理はステップS520(図5B)に進み、通常速度での再生であるか否かを判断する。
【0056】
通常速度再生であると判断した場合、処理はステップS521に進んで、注目フレームが60fps、30fpsのいずれで撮像したものかを判断する。60fpsであると判断した場合には、先に説明したステップS509と同様、連続する2フレーム中1フレームを間引きし、30fpsの速度で復号処理を行うよう設定する。注目フレームが30fpsで撮像されたものであると判断した場合には、各フレームを30fpsで復号処理を行うよう設定する。
【0057】
また、スロー再生中であると判断した場合には、処理はステップS524に進んで、注目フレームが60fps、30fpsのいずれで撮像したものかを判断する。60fpsであると判断した場合には、先に説明したステップS512と同様、間引き無しに、30fpsの速度で復号処理を行うよう設定する。注目フレームが30fpsで撮像されたものであると判断した場合には、各フレームを15fpsの速度で再生するよう設定する。
【0058】
以上の制御は、ユーザからの指示入力に基づいて、制御部100が行うことになる。
【0059】
<JPEG2000復号方法>
次にJPEG2000復号部103における処理の説明を、JPEG2000復号部のブロック図である図19と図21のフローチャートを用いながら行う。
【0060】
フレーム符号化データ入力部1901に入力されたフレーム符号化データと再生方法の情報は、復号対象タイル決定部1902に出力される。復号対象タイル決定部1902は、図20に示されているように、左上に存在するタイルから右に向かって、さらに上から下に向かって順に復号対象タイルを決定していく。
【0061】
復号対象タイルが決定された後、当該フレームデータ復号部202が処理しているタイルを認識するための不図示のカウンタiを初期値「0」に設定される(ステップS2102)。なおこの処理ステップは、i>0の時にはスキップされる。
【0062】
次に、復号対象であるタイル符号化データは、エントロピー復号部1903に入力されて、エントロピー復号が行われ、量子化値が復元される(ステップS2103)。そして復元された量子化値は逆量子化部1904に出力される。逆量子化部1904は入力した量子化値を逆量子化する事により、離散ウェーブレット変換係数を復元して後続の離散ウェーブレット変換部1905に出力する(ステップS2104)。逆量子化は以下の式により行われる。
Xr=Q×q
ただし、Qは量子化値、qは量子化ステップ、Xrは復元された離散ウェーブレット変換係数である。
【0063】
逆離散ウェーブレット変換部1905では、以下に記述されている式に基づいて逆離散ウェーブレット変換が行われる(ステップS2105)。
X(2n)=Y(2n)−floor{(Y(2n−1)+Y(2n+1)+2)/4}
X(2n+1)=Y(2n+1)+floor{(X(2n)+X(2n+2))/2}ここで、低周波サブバンドの離散ウェーブレット変換係数をY(2n)、高周波サブバンドの離散ウェーブレット変換係数をY(2n+1)とする。また、x(n)は復号データである。本変換式は一次元のデ−タに対するものであるが、この変換を水平方向、垂直方向の順に適用することで二次元の変換を行う。そして復号タイルデータが生成され、復号フレームデータ出力部1906に出力される(ステップS2106)。
【0064】
ここで、復号対象タイルが残っている場合は、処理をステップS2103に戻し、復号対象タイルが残っていない場合は、処理をステップS2108に進める(ステップS2107)。
【0065】
復号フレームデータ出力部1906は、復号タイルデータをi=0、1、2、…、M−1の順番で並べた上で復号フレームデータを生成し、復号フレーム出力部2004に出力する(ステップS2108)。
【0066】
<通常再生モード>
次に通常再生モードの実行方法について詳細に説明する。60フレーム/秒等の高いフレームレートで撮影、記録されている動画像の符号化において、この通常再生モードでは、60フレームの全てをJPEG復号部103で復号させずに、その一部となる1秒当たり30フレームの符号化データのみを復号する。より詳しくは、フレームをf1、f2、f3…と定義したとき、f1、f3、f5…(あるいは、f2、f4、f6…でも良い)と、2フレーム中1フレームを復号処理する。
【0067】
まず、図1における読み取り器101から読み取られ、一旦メモリ102に格納されているはずの動画像符号化データ(60フレーム/秒で撮影記録されたもの)から、2フレーム中1フレームを読出し、30フレーム/秒の符号化データを時系列に順次JPEG復号部103へ転送し、復号化する。ここで得られる復号画像は、順次メモリ102の別領域に戻される。
【0068】
そして30フレーム/秒のタイミングで、この復号画像は表示用メモリへ書き込まれる。
【0069】
なお、先に説明したように、表示部105は60フレーム/秒の表示を行っている(60フレーム/秒に限らず、いかなる速度でもよい)。即ち、表示用メモリからは60フレーム/秒で表示用画像の読み出しを行っている。従って、復号画像の各フレームは表示用メモリから各2回読み出されていることになる。
【0070】
この場合、図4の表示部400に表示される動画像は、人間の視覚認識に十分な30フレーム/秒の画質で動画像を表示できる。
【0071】
この様にすれば、60フレーム/秒の動画像符号化データを単に復号化する場合と比較して、復号器の負荷は掛からず、かつ人間の視覚的には劣化が目立ちにくい程度の復号画像を再生することができる。
【0072】
<スロー再生モード>
次にスロー再生モード(2分の1倍速)の実行方法について詳細に説明する。60フレーム/秒等の高いフレームレートで撮影、記録されている動画像の符号化において、このスロー再生モードでは、60フレームの全てをJPEG復号部103で復号させる。
【0073】
まず、図1における読み取り器101から読み取られ、一旦メモリ102に格納されているはずの動画像符号化データ(60フレーム/秒で撮影記録されたもの)から、60フレーム/秒(全て)の符号化データを時系列(間引き処理無し)に、かつ通常再生モードの時と同じフレーム数/秒、すなわち、30フレーム/秒の転送速度で、順次JPEG復号部103へ転送し、復号化する。ここで得られる復号画像は、順次メモリ102の別領域に戻される。従って、復号画像の発生のタイミングに着目すると、通常画像の時のそれと同じになる。
【0074】
よって、ここで得られる復号画像も、通常再生モードと同様、30フレーム/秒のタイミングで、表示用メモリへ書き込まれる。すなわち、復号する際の処理に要する負荷は、通常再生時と同等のものとなる。
【0075】
先と同様、表示部105は60フレーム/秒の表示を行っており、表示用メモリからは60フレーム/秒で表示用画像の読み出しを行っている。
【0076】
このスロー再生の場合にも、復号画像の各フレームは表示用メモリから各2回読み出されていることになる。
【0077】
この場合、図4の表示部400に表示される動画像は、スロー再生モードでの再生にもかかわらず、人間の視覚認識に十分な30フレーム/秒の動きの滑らかな画質で動画像を表示できる。
【0078】
以上説明したように本実施形態によれば、通常速、スローのいずれの再生中であっても、違和感のない再生が可能になる。
【0079】
なお、以上説明した本実施形態では、再生対象の動画像が、通常の動画像であるフレームレート(30フレーム/秒)の2倍のフレームレート(60フレーム/秒)であり、通常再生(等倍速再生)時には、1/2に間引き(連続する2フレーム中1フレームの間引き)して30フレーム/秒で再生した。また、スロー再生時には、間引き無し(0フレーム間引き)を行ない、2秒かけて60フレームを再生するモード、すなわち、通常再生と同じ30フレーム/秒で再生した。しかしながら、これらの数値でもって本願発明が限定されるものではない。要するに、通常の動画像の再生フレームレートを越えるフレームレートであって、各フレームが独立して復号できる圧縮符号化された動画像が与えられたとき、通常再生及びスロー再生のいずれであっても、「コマ(フレーム)送り」として知覚できない程度の、通常のフレームレートと実質的に等しいか、近いフレームレートで再生することにある。
【0080】
例えば、90フレーム/秒の動画像データが与えられた場合、90/30=3となり、連続する3フレーム中1フレームを利用して(連続する3フレーム中2フレーム間引いて)30フレーム/秒で再生すれば良いであろう。また、1/2速度でスロー再生する場合には、90÷30÷2=1.5となり、1.5フレーム中の1フレーム(連続する3フレーム中2フレーム)を利用して30フレーム/秒で再生する(3フレーム中1フレームの間引き処理)。1/3速度でスロー再生する場合には、90÷30÷3=1で、1フレーム中1フレーム(すなわち、間引きフレーム数が0)で30フレーム/秒で再生すれば良い。いずれの場合にも、プロセッサ側から見た場合、復号処理に係る負荷は実質的に同じである。また、ここでは割り切れる場合を示したが、オリジナルの動画像のフレームレートによっては割り切れない場合もあるであろう。この場合でも、30フレーム/秒に近いフレームレートで再生することが望ましい。
【0081】
なお、ここでは、再生する際のフレームレートとして、30フレーム/秒として説明したが、例えば25フレーム/秒でも十分な動画像として認識できる、若しくは許容できるというユーザや、場合によっては例えば35フレーム/秒等、高いフレームレートを要求するユーザに応えるため、この再生フレームレートを30フレーム/秒を基準にして増減できるようにしても良い。この場合、それぞれの要求されたフレームレートに応えるための間引き率を算出した上で、再生処理を行う。再生レートは、例えば再生するためのウインドウ上のいずれかに、再生フレームレートを入力する欄を設け、それで設定する等が考えられる。
【0082】
[第2の実施形態]
上記実施形態では、オリジナルの動画像が、通常の動画像のフレームレートを越える場合における、通常再生、及びスロー再生を、フレーム送り状態として知覚できない程度にするため、通常の動画像のフレームレートで再生するものであった。
【0083】
本第2の実施形態では、スロー再生におけるフレームの画質を向上させる例を説明する。
【0084】
JPEG2000では、ウェーブレット変換による階層符号化であるため、得られたフレーム符号化データの一部(低周波成分のサブブロックから任意の高周波成分のサブブロックまで)を復号することでも、意味のある画像を再現することが可能である。そこで本第2の実施形態では、このJPEG2000のフレーム符号化データの性質を利用して、図22に示されているように、1フレームにおいて、通常再生では画像処理装置がリアルタイムに再生できる符号量を復号し、スロー再生ではその符号量より多くの符号を復号する。これにより、通常再生画像に対するスロー再生画像の高品位化を達成する。図22において、例えば、「通常再生で使用する符号列」とは、図7の3階層のサブバンドのうち、LL、HL1、LH1、HH1、HL2、LH2、HH2であり、スロー再生する使用する符号列とはこれにHL3、LH3、HH3を更に加えたものと言えば分かりやすいであろう。
【0085】
<動画像符号化データの生成方法>
本実施形態においては、第1の実施形態と同様に、60フレーム/秒での表示が可能となるように、動画像符号化データを生成するものとする。
【0086】
<動画像符号化データの復号方法>
本実施形態における復号装置の構成は、第1の実施形態における復号装置の構成とほぼ同じである。そこで、本実施形態における復号装置のブロック図と表示部は、図1〜4を代用する。ただ、処理フローについては、新たに図23で示す。処理手順は、図5とほぼ同様である。
【0087】
<通常再生モード(図23のステップS2305)>
本実施形態における復号装置は、通常再生時に60フレーム/秒で復号することが可能であり、このフレームレートで表示するものとする。
【0088】
また、各フレーム符号化データの復号方法を以下に記す。
【0089】
図24は本発明におけるJPEG2000復号部103のブロック図である。同図は、第1の実施形態のブロック図におけるフレーム符号化データ入力部1901をフレーム符号化データ入力部2401に置き換えたものである。
【0090】
フレーム符号化データ入力部2401にフレーム符号化データが入力されると、図25に示されているように、不図示の制御部100から60フレーム/秒で復号可能な符号が分離され、エントロピー復号部1903に入力される。
【0091】
エントロピー復号部1903以降の処理は、第1の実施形態と同様であるので省略する。なお、ここで言う復号可能な符号のサイズであるが、再生する装置の処理能力に応じて適宜変更しても良い。
【0092】
<スロー再生モード(図23のステップS2306)>
このスロー再生モードは、全てのフレームを30フレーム/秒で復号し、30フレーム/秒で再生するものである。これを実現するための復号方法を以下に示す。
【0093】
フレーム符号化データ入力部2401にフレーム符号化データが入力されると、図26に示されているように、不図示の制御部100から30フレーム/秒で復号可能な符号が分離され、エントロピー復号部2103に入力される。
【0094】
エントロピー復号部2103以降の処理は、第1の実施形態と同様であるので、割愛する。
【0095】
上記処理が実現できる理由は、通常再生では60フレーム/秒の高いフレームレートで再生するのに対し、スロー再生では30フレーム/秒として再生するので、単純計算で、制御部もしくは復号にかかる処理の負荷が1/2にできる。そして、その負荷軽減される分だけ、復号する際に、高い周波数成分のサブブロック(サブバンド)まで復号対象とすることができる。
【0096】
以上説明したように、1フレームにおいて、通常再生(60フレーム/秒)では画像処理装置がリアルタイムに再生できる符号量を復号することができ、スロー再生(30フレーム/秒)ではフレーム辺りの符号量をより多くの復号することができる。また、スロー再生においても、再生のフレームレートは十分大きい。これにより、通常再生画像に対するスロー再生画像の高品位化を達成する。
【0097】
[第3の実施形態]
上記の第1の実施形態では滑らかな動画像を再生するスロー再生方法を示し、第2の実施形態では各フレームを精細に再生するスロー再生方法を示した。本第3の実施形態では、これら2つの実施形態における方法を併せることにより、より高品位なスロー再生画像を表示することを可能とする。
【0098】
<動画像符号化データの生成方法>
本第3の実施形態においても、第1の実施形態と同様に、60フレーム/秒での表示が可能となるように、動画像符号化データを生成するものとする。
【0099】
<動画像符号化データの復号方法>
本第3の実施形態における復号装置の構成は、第1の実施形態における復号装置の構成とほぼ同じである。そこで、本実施形態における復号装置のブロック図と表示部は、図1〜4で代用する。ただ、処理フローについては、新たに図27で示す。
【0100】
<通常再生モード(図27のステップS2705)>
本第3の実施形態における復号装置は、通常再生時に30フレーム/秒で復号することが可能であり、このフレームレートにより1フレーム飛ばし(連続する2フレーム中1フレームの間引き)で復号再生するものとする。以下に、各フレーム符号化データの復号方法を以下に記す。
【0101】
図28は本発明におけるJPEG2000復号部103のブロック図である。同図は、第1の実施形態のブロック図におけるフレーム符号化データ入力部1901をフレーム符号化データ入力部2801に置き換えたものである。
【0102】
フレーム符号化データ入力部2801にフレーム符号化データが入力されると、図25に示されているように、不図示の制御部100から30フレーム/秒で復号可能な符号が分離され、エントロピー復号部1903に入力される。エントロピー復号部19033以降の処理は、第1の実施形態と同様であるので、その説明は省略する。
【0103】
<スロー再生モード(図27のステップS2706)>
各フレームを15フレーム/秒で復号再生するものとし、全フレームがこのスピードで復号再生される。これを実現するための復号方法を以下に記す。
【0104】
フレーム符号化データ入力部2401にフレーム符号化データが入力されると、図26に示されているように、不図示の制御部100から15フレーム/秒で復号可能な符号が分離され(高周波成分のサブブロックまで復号対象とする)、エントロピー復号部2103に入力される。
【0105】
エントロピー復号部2103以降の処理は、第1の実施形態と同様であるので、その説明は省略する。
【0106】
以上説明したように、第3の実施形態,第2の実施形態を併せて利用することで、さらに、スロー再生画像の高品位化を達成できた。
【0107】
[第4の実施形態]
ゴルフのスイングを研究していて、他人のスィングに興味ある人は、高フレームレートでその人のスィングを撮像するであろう。そして、この撮像者は、高フレームレートのフレーム群をゆっくりと再生しながら、何回もスイングを鑑賞するかもしれない。
【0108】
このような撮像者にとって、上記各実施形態で示したように手動で通常再生とスロー再生とを切り換えるのではなく、通常再生中や早送り中に、高フレームレートのフレーム群を自動的にスロー再生することを望むかもしれない。
【0109】
そこで、本実施形態における動画像再生装置は、手動スロー再生モードと自動スロー再生モードを持ち、前者のモードが選ばれた場合、スロー再生の指示を受け付けた時に高品位なスロー再生を行う。一方、後者のモードが選択された場合、スロー再生の指示を受け付けなくても、自動的に、高フレームレートのフレームは高品位なスロー再生を実施する。以下に、具体的説明をする。
【0110】
<動画像符号化データの生成方法>
本実施形態においては、第1の実施形態と同様に、60フレーム/秒での表示が可能となるように、動画像符号化データを生成するものとする。
【0111】
<復号再生>
本実施の形態で使用する復号装置は、第1の実施の形態の復号装置とほぼ同様である。
【0112】
図29は、本実施の形態における再生操作画面であり、第1の実施の形態における再生画面と多少異なる。この再生操作画面は、手動スロー再生モードと自動スロー再生モードを切り換えるためのスイッチ(ラジオボタン)406を新たに備えており、ユーザはこのスイッチを入れ替えることで、スロー再生モードを変更することが可能である。
【0113】
次に、実際に動画像符号化データを復号し、表示するまでの、動作の流れを図30を用いて詳しく説明する。なお、ここでは、説明を簡単なものとするため、通常再生についてのみ説明することとする。逆転再生(ボタン404と405の使用に相当)については、これから説明する2種類の再生(通常再生とスロー再生)における時間軸を全て逆に考えれば良いだけのことであり、ボタン401と405、402と404とを入れ替えて考えれば当業者には容易に理解できるので、詳細な説明を省略する。
【0114】
図30において、まず、ステップS3001において、再生又は停止の動作ボタン401〜403がユーザにより押されたか否かを判断する。なお、ここでの“押す”という操作は、図1の指示入力部106(マウス等)から、表示されたボタンを指示(クリック)する操作を意味するが、実現手段は如何なるものでも構わない。
【0115】
ボタン401〜403のいずれかが押された時には、次に、何れのボタンが押されたか判断する。なお、この判断の順番は特に限定されない。図30の説明では、次のステップS3002においては、ボタン403(停止ボタン)が押されたか否かを判断し、押されていた場合には、ステップS3003に進み、全ての復号、再生動作を停止する。
【0116】
ボタン403が押されていなければ、ステップS3004で、スイッチ406で選択されているスロー再生モードを判断する。もし、スイッチ406で手動スロー再生モードが選択されていれば、ステップS3005において、ボタン401(通常再生モード)が押されたかか否か、すなわち、ボタン401が押されたのか、もしくは、ボタン402(スロー再生モード)が押されたのかを判断する。
【0117】
ボタン401が押されていたら、ステップS3006において、30fpsでフレームを復号(通常再生)し、ボタン401が押されていなかったら、ステップS3005において、スロー再生を実行する。このスロー再生は、30fpsのフレーム群に対して間引き無しに15fpsで復号を行い、60fpsのフレーム群に対して、間引き無しに30fpsの速度で復号を行う。
【0118】
もし、ステップS3004において自動スロー再生モードが選択されていれば、ステップS3008において、ボタン401の押し下げが判断される。ここで、押し下げられていないと判断されれば、ステップS3009において、60fpsのフレーム群に対して、間引き無しの30fpsの速度で自動的に復号することによりスロー再生処理を行ない、30fpsのフレーム群はそのまま間引き無しの30fpsの速度で自動的に復号することにより通常再生を行う。
【0119】
一方、ステップS3008において、ボタンが押し下げられていると判断されれば、ステップS3010において、スロー再生を実行する。このスロー再生は、30fpsのフレーム群に対しては、間引き無しに15fpsでフレームを復号し、60fpsのフレーム群に対しては間引き無しに30fpsでフレームを復号する。
【0120】
<JPEG2000復号方法>
第1の実施の形態と同様であるので、ここでの説明は省略する。
【0121】
<通常再生(ステップ3006)>
第1の実施の形態と同様であるので、ここでの説明は省略する。
【0122】
<スロー再生モード(ステップ3007,3010)>
第1の実施の形態と同様であるので、ここでの説明は省略する。
【0123】
<自動スロー再生(ステップ3009)>
自動スロー再生モード(2分の1倍速)の実行方法について詳細に説明する。
【0124】
60フレーム/秒(以下、単位をfpsと記す)、30fpsの2つのフレームレートが混在している動画像の符号化データにおいて、この自動スロー再生モードでは、30fpsの表示フレームレートで表示させる。
【0125】
まず、図1における読み取り器101から読み取られ、一旦メモリ102に格納されているはずの動画像符号化データ(混在レートで撮影記録されたもの)から、(全て)の符号化データを時系列に、30フレーム/秒の転送速度で、順次JPEG復号部103へ転送し、復号化する。
【0126】
また、ここで得られる復号画像は、30フレーム/秒のタイミングで、表示用メモリへ書き込まれる。
【0127】
先と同様、表示部105は60フレーム/秒の表示を行っている。
【0128】
この場合、図4の表示部400に表示される動画像は、撮像者が興味を持っているシーンが滑らかであり、スローである。また、この作業は、自動的に行われる。
【0129】
以上説明した通り、本第4の実施形態における動画像再生装置は、手動スロー再生モードと自動スロー再生モードを持ち、前者のモードが選ばれた場合、スロー再生の指示を受け付けた時に高品位なスロー再生を行う。一方、後者のモードが選択された場合、スロー再生の指示を受け付けなくても、高フレームレートのフレームは高品位なスロー再生を実施する。
【0130】
[第5の実施形態]
上記第4の実施形態では、動画像符号化データは、高フレームレート群と低フレームレート群のフレーム符号化データから構成されていて、そのような動画像符号化データを2つの復号方式で復号再生する方法を示した。
【0131】
本第5の実施形態では、動画像符号化データは、高精細フレーム群と低精細フレームレート群のフレーム符号化データから構成されていて、その動画像符号化データを2つの復号方式で復号再生する方法を示す。
【0132】
<動画像符号化データの概略>
図2は動画像を撮影できるデジタルカメラ201の概念図である。静止画撮影モード、動画撮影モードのうち後者を選択した後、図示の動画撮影ボタンを半押しすることで低精細の動画撮影ができ、全押しすることで例えば高精細(本実施形態ではロスレス)の動画撮影を可能とする様に設計したものとする。例えば、撮影対象物の動きの速度/方向が突然変化する様な場合には、通常は半押しで対象物を撮影し、上記変化が起こる前後のみにおいて全押しで対象物を撮影すれば、一連の撮影動作において、低精細と高精細のシーンが混在する動画像を記録することが可能である。
【0133】
図31は上記デジタルカメラ201で撮影された各フレームの画像を符号化、記録する概念図を示したものである。同図において、符号306は符号化された動画像ストリームを示している。
【0134】
符号化方法は、高精細フレームに対して、ロスレスで符号化すること以外、第1の実施の形態と同様であり、また、記録方法も第1の実施の形態と同様である。なお、フレームレートは、高精細フレームでも低精細フレームで30fpsであるとする。
【0135】
<JPEG2000符号化方法の概略>
本第5の実施形態におけるJPEG2000符号化方法は、高精細フレームに対しては、量子化ステップに1を割り当てる以外、第1の実施の形態と同様であるので、ここでは詳細なる説明を割愛する。
【0136】
<復号再生>
本実施の形態で使用する復号装置は、第4の実施形態の復号装置とほぼ同様である。
【0137】
本実施の形態における再生操作画面は、図29に示されている、第4の実施の形態における再生画面と同様で、ユーザがスイッチ406を入れ替えることで、スロー再生モードを変更することが可能である。
【0138】
次に、実際に動画像符号化データを復号し、表示するまでの、動作の流れを図32を用いて詳しく説明する。なお、ここでは、再生についての動作制御についてのみ説明する。逆転再生(ボタン404と405の使用に相当)については、これから説明する2種類の再生(通常再生とスロー再生)における時間軸を全て逆に考えれば良いだけのことであり、ボタン401と405、402と404とを入れ替えて考えれば当業者には容易に理解できるので、説明から省略する。
【0139】
図32において、まず、ステップS3001において、再生又は停止の動作ボタン401〜403がユーザにより押されたか否かを判断する。なお、ここでの”押す”という操作は、図1の指示入力部106(マウス等)から、表示されたボタンを指示(クリック)する操作を意味するが、実現手段は如何なるものでも構わない。
【0140】
ボタン401〜403のいずれかが押された時には、次に、何れのボタンが押されたか判断する。なお、この判断の順番は特に限定されない。図32の説明では、次のステップS3002においては、ボタン403(停止ボタン)が押されたか否かを判断し、押されていた場合には、ステップS3003に進み、全ての復号、再生動作を停止する。
【0141】
ボタン403が押されていなければ、ステップS3004で、選択されているスロー再生モードを判断する。もし、手動スロー再生モードが選択されていれば、ステップS3005において、ボタン401(通常再生モード)が押されたかか否か、すなわち、ボタン401が押されたのか、もしくは、ボタン402(スロー再生モード)が押されたのかを判断する。
【0142】
ボタン401が押されていたら、ステップ3006において通常再生する。この通常再生とは、低精細フレーム群に対しては、各フレームの全データを復号し、高精細フレーム群に対しては、低精細フレーム群と同解像度,同程度の画質を再現するデータを復号することである。
【0143】
ボタン401が押されていなかったら、ステップ3005において、スロー再生を実行する。このスロー再生は、低精細フレーム群に対して、15fpsでフレームを復号・表示し、高精細フレーム群に対しては、ロスレスでフレームを復号し、30fpsで表示する。
【0144】
もし、ステップ3004において自動スロー再生モードが選択されていれば、ステップ3008において、ボタン401の押し下げが判断される。ここで、押し下げられていないと判断されれば、ステップS3009において、高精細フレーム群に対しては、自動的にスロー再生を実施する通常再生を行う。一方、ステップ3008において、ボタンが押し下げられていると判断されれば、ステップ3010において、スロー再生を実行する。このスロー再生は、低精細フレーム群に対して、15fpsでフレームを復号・表示し、高精細フレーム群に対しては、ロスレスでフレームを復号し、30fpsで表示する。
【0145】
<JPEG2000復号方法>
第1の実施の形態と同様である。
【0146】
<通常再生(ステップ3006)>
第1の実施の形態と同様である。
【0147】
<スロー再生モード(ステップ3007,3010)>
第1の実施の形態と同様である。
【0148】
<自動スロー再生(ステップ3009)>
自動スロー再生モード(2分の1倍速)の実行方法について詳細に説明する。この自動スロー再生モードでは、高精細フレーム,低精細フレームのいずれに対しても、全データを復号・表示させる。こうすることで、ユーザーは、何も指示を出さずに、高精細フレームをスロー再生で閲覧することが可能となる。
【0149】
まず、図1における読み取り器101から読み取られ、一旦メモリ102に格納されているはずの動画像符号化データ(混在レートで撮影記録されたもの)から、(全て)の符号化データを時系列に、30フレーム/秒の転送速度で、順次JPEG復号部103へ転送し、復号化する。
【0150】
また、ここで得られる復号画像は、30フレーム/秒のタイミングで、表示用メモリへ書き込まれる。先と同様、表示部105は60フレーム/秒の表示を行っている。
【0151】
この場合、図4の表示部400に表示される動画像は、撮像者が興味を持っているシーンが高精細であり、スローである。また、この作業は、自動的に行われる。
【0152】
以上説明した通り、本第5の実施形態における動画像再生装置は、手動スロー再生モードと自動スロー再生モードを持ち、前者のモードが選ばれた場合、スロー再生の指示を受け付けた時に高品位なスロー再生を行う。一方、後者のモードが選択された場合、スロー再生の指示を受け付けなくても、高フレームレートのフレームは高精細なスロー再生を実施する。
【0153】
[第6の実施形態]
第4の実施形態では、動画像符号化データは、高フレームレート群と低フレームレート群のフレーム符号化データから構成されていて、そのような動画像符号化データを2つの復号方式で復号再生する方法を示した。
【0154】
また、第5の実施形態では、動画像符号化データは、高精細フレーム群と低精細フレームレート群のフレーム符号化データから構成されていて、その動画像符号化データを2つの復号方式で復号再生する方法を示した。
【0155】
本第6の実施形態では、動画像符号化データは、高フレームレートで高精細な高品位フレーム群と、低フレームレートで低精細な低品位フレーム群のフレーム符号化データから構成されていて、そのような動画像符号化データを2つの復号方式で復号再生する方法を示す。
【0156】
<動画像符号化データの概略>
図33は上記デジタルカメラ201で撮影された各フレームの画像を符号化、記録する概念図を示したものである。図示において、307が符号化された動画像ストリームを示している。
【0157】
符号化方法は、高品位フレームに対して、ロスレスでかつ60fpsで符号化し、低品位フレームに対して、ロッシーでかつ30fpsで符号化する。なお、記録方法は第1の実施の形態と同様である。
【0158】
<JPEG2000符号化方法の概略>
本実施の形態におけるJPEG2000符号化方法は、高精細フレームに対しては、量子化ステップに1を割り当てる以外、第1の実施の形態と同様であるので、ここでは詳細なる説明を割愛する。
【0159】
<復号再生>
本実施の形態で使用する復号装置は、第5の実施の形態の復号装置とほぼ同様である。
【0160】
本実施の形態における再生操作画面は、図29に示されている、第5の実施の形態における再生画面と同様で、ユーザがスイッチ406を入れ替えることで、スロー再生モードを変更することが可能である。
【0161】
次に、実際に動画像符号化データを復号し、表示するまでの、動作の流れを図34を用いて詳しく説明する。なお、ここでは、再生についての動作制御についてのみ説明する。逆転再生(ボタン404と405の使用に相当)については、これから説明する2種類の再生(通常再生とスロー再生)における時間軸を全て逆に考えれば良いだけのことであり、ボタン401と405、402と404とを入れ替えて考えれば当業者には容易に理解できるので、説明から省略する。
【0162】
図34において、まず、ステップS3001において、再生又は停止の動作ボタン401〜403がユーザにより押されたか否かを判断する。なお、ここでの”押す”という操作は、図1の指示入力部106(マウス等)から、表示されたボタンを指示(クリック)する操作を意味するが、実現手段は如何なるものでも構わない。
【0163】
ボタン401〜403のいずれかが押された時には、次に、何れのボタンが押されたか判断する。なお、この判断の順番は特に限定されない。図34の説明では、次のステップS3002においては、ボタン403(停止ボタン)が押されたか否かを判断し、押されていた場合には、ステップS3003に進み、全ての復号、再生動作を停止する。
【0164】
ボタン403が押されていなければ、ステップS3004で、選択されているスロー再生モードを判断する。もし、手動スロー再生モードが選択されていれば、ステップS3005において、ボタン401(通常再生モード)が押されたかか否か、すなわち、ボタン401が押されたのか、もしくは、ボタン402(スロー再生モード)が押されたのかを判断する。
【0165】
ボタン401が押されていたら、ステップ3006において通常再生する。この通常再生とは、低品位フレーム群に対しては、各フレームの全データを復号し、高品位フレーム群に対しては、低品位フレーム群と同解像度,同程度の画質を再現するデータを、30fpsで復号することである。表示は60fpsのままである。
【0166】
ボタン401が押されていなかったら、ステップ3005において、スロー再生を実行する。このスロー再生は、低品位フレーム群に対して、15fpsでフレームを復号・表示し、高品位フレーム群に対しては、ロスレスでフレームを復号し、60fpsで表示する。
【0167】
もし、ステップ3004において自動スロー再生モードが選択されていれば、ステップ3008において、ボタン401の押し下げが判断される。ここで、押し下げられていないと判断されれば、ステップS3009において、高品位フレーム群に対しては、自動的にスロー再生を実施する通常再生を行う。一方、ステップ3008において、ボタンが押し下げられていると判断されれば、ステップ3010において、スロー再生を実行する。このスロー再生は、低品位フレーム群に対して、15fpsでフレームを復号・表示し、高品位フレーム群に対しては、ロスレスでフレームを復号し、60fpsで表示する。
【0168】
<JPEG2000復号方法>
第1の実施の形態と同様である。
【0169】
<通常再生(ステップ3006)>
第1の実施の形態と同様である。
【0170】
<スロー再生モード(ステップ3007,3010)>
第1の実施の形態と同様である。
【0171】
<自動スロー再生(ステップ3009)>
自動スロー再生モード(2分の1倍速)の実行方法について詳細に説明する。この自動スロー再生モードでは、高品位フレーム,低品位フレームのいずれに対しても、全フレームの全データを復号・表示させる。こうすることで、ユーザーは、何も指示を出さずに、高品位フレームをスロー再生で閲覧することが可能となる。
【0172】
まず、図1における読み取り器101から読み取られ、一旦メモリ102に格納されているはずの動画像符号化データ(混在レートで撮影記録されたもの)から、(全て)の符号化データを時系列に、30フレーム/秒の転送速度で、順次JPEG復号部103へ転送し、復号化する。
【0173】
また、ここで得られる復号画像は、30フレーム/秒のタイミングで、表示用メモリへ書き込まれる。先と同様、表示部105は60フレーム/秒の表示を行っている。
【0174】
この場合、図4の表示部400に表示される動画像は、撮像者が興味を持っているシーンが高精細であり、スローである。また、この作業は、自動的に行われる。
【0175】
以上説明した通り、本第6の実施形態における動画像再生装置は、手動スロー再生モードと自動スロー再生モードを持ち、前者のモードが選ばれた場合、スロー再生の指示を受け付けた時に高品位なスロー再生を行う。一方、後者のモードが選択された場合、スロー再生の指示を受け付けなくても、高フレームレートのフレームは高品位なスロー再生を実施する。
【0176】
[変形例]
なお、以上で説明した実施形態においては、1秒当たりAフレーム(Aは整数)の周期で符号化されている動画像符号化データの一部又は全部を復号し、得られた復号画像を1秒当たりBフレーム(Bは、A≧Bなる整数)の周期で表示する場合において、前記動画像符号化データを保持する保持ステップと、通常再生モード及びスロー再生モードを切り替える切替ステップと、前記通常再生モードにおいて、前記保持された動画像符号化データを構成する各フレームをC/A(Cは、A>Cなる整数)に間引いて得られる第1符号化データを読み出し、順次復号する第1復号ステップと、前記通常再生モードにおいて、前記Cフレーム毎の復号画像に基づいて、1秒当たりBフレーム分の表示画像を読み出す第1表示ステップと、前記スロー再生モードにおいて、前記保持された動画像符号化データを構成する各フレームをD/A(Dは、A≧D>Cなる整数)に間引いて得られる第2符号化データを読み出し、順次復号する第2復号ステップと、前記スロー再生モードにおいて、前記Dフレーム毎の復号画像に基づいて、1秒当たりBフレーム分の表示画像を読み出す第2表示ステップとを備えるものであれば、種々の変形が可能である。
【0177】
上述した実施形態では、上記A、B、C、Dを、夫々、A=60、B=60、C=30、D=60として説明したが、特にこれに限らず、例えば、A=90、B=60、C=30、D=60の様に、元の動画像符号化データのフレームレートが更に高い場合や、A=60、B=60、C=20、D=60の様に、通常再生モードの時の復号画像の1秒当たりのフレーム数を下げた場合、或いは、A=60、B=30、C=30、D=60の様に、表示用のフレームレートを必要最小限とした場合等、種々の数値の差異が有るとしても本発明の目的、効果から逸脱するものではない。
【0178】
また、上述の実施形態では、スロー再生は2分の1倍速だけとして簡単に説明したが、本発明はこれに限らず、複数段階のスロー再生を行う場合についても応用可能である。
【0179】
例えば、スロー再生モードとして2分の1倍速と3分の1スロー再生が有るとした場合、かつ上記A=90、B=60、C=30、D=60とした場合において、通常再生を行う時には、動画像符号化データを構成する各フレームを30/90に間引いて復号することとし、2分の1スロー再生を行う時には、動画像符号化データを構成する各フレームを60/90に間引いて復号することとし、3分の1スロー再生の時は動画像符号化データを構成する各フレーム(90フレーム)全てを復号することとする。このようにすれば、全ての再生モードにおいて、実質30フレーム/秒の表示が行われることになり、滑らかな画像を表示することが可能である。また、通常再生モードと2分の1スロー再生モードの時には、復号器の負荷を極力減らすことが可能である。
【0180】
本形態についても、1秒当たりAフレーム(Aは整数)の周期で符号化されている動画像符号化データの一部又は全部を復号し、得られた復号画像を1秒当たりBフレーム(Bは、A≧Bなる整数)の周期で表示する場合において、前記動画像符号化データを保持する保持ステップと、通常再生モード及び第1、第2スロー再生モードを切り替える切替ステップと、前記通常再生モードにおいて、前記保持された動画像符号化データを構成する各フレームをC/A(Cは、A>Cなる整数)に間引いて得られる第1符号化データを読み出し、順次復号する第1復号ステップと、前記通常再生モードにおいて、前記Cフレーム毎の復号画像に基づいて、1秒当たりBフレーム分の表示画像を読み出す第1表示ステップと、前記第1スロー再生モードにおいて、前記保持された動画像符号化データを構成する各フレームをD/A(Dは、A>D>Cなる整数)に間引いて得られる第2符号化データを読み出し、順次復号する第2復号ステップと、前記第1スロー再生モードにおいて、前記Dフレーム毎の復号画像に基づいて、1秒当たりBフレーム分の表示画像を読み出す第2表示ステップと、前記第2スロー再生モードにおいて、前記保持された動画像符号化データを構成する各フレームをE/A(Eは、A≧E>D>Cなる整数)に間引いて得られる第3符号化データを読み出し、順次復号する第3復号ステップと、前記第2スロー再生モードにおいて、前記Eフレーム毎の復号画像に基づいて、1秒当たりBフレーム分の表示画像を読み出す第3表示ステップとを備えるものであれば、種々の変形が可能である。
【0181】
なお、上記各実施形態では、表示装置の表示フレームレートを60fpsとしたが、これは、ビデオRAMから表示装置に転送する際のフレームレートを示しているのであって、復号・再生処理とは無関係なものである。NTSCのテレビの場合、30fpsで表示が行われているので、このような表示装置に表示しても構わない。要するに、本実施形態での再生処理でのフレームレートとは、ビデオRAMを書き換える速度を意味しているからであって、表示装置にビデオRAMのデータを転送する速度はどのようなものであっても構わない。
【0182】
なお、本発明は、複数の機器(例えばホストコンピュータ、インタフェース機器、リーダ、プリンタ等)から構成されるシステムの1部として適用しても、1つの機器(たとえば複写機、ファクシミリ装置)からなる装置の1部に適用してもよい。
【0183】
また、本発明は上記実施形態を実現するための装置及び方法のみに限定されるものではなく、上記システム又は装置内のコンピュータ(CPU或いはMPU)に、上記実施形態を実現するためのソフトウエアのプログラムコードを供給し、このプログラムコードに従って上記システム或いは装置のコンピュータが上記各種デバイスを動作させることにより上記実施形態を実現する場合も本発明の範疇に含まれる。
【0184】
またこの場合、前記ソフトウエアのプログラムコード自体が上記実施形態の機能を実現することになり、そのプログラムコード自体、及びそのプログラムコードをコンピュータに供給するための手段、具体的には上記プログラムコードを格納した記憶媒体は本発明の範疇に含まれる。
【0185】
この様なプログラムコードを格納する記憶媒体としては、例えばフロッピー(登録商標)ディスク、ハードディスク、光ディスク、光磁気ディスク、CD−ROM、DVD、磁気テープ、不揮発性のメモリカード、ROM等を用いることができる。
【0186】
また、上記コンピュータが、供給されたプログラムコードのみに従って各種デバイスを制御することにより、上記実施形態の機能が実現される場合だけではなく、上記プログラムコードがコンピュータ上で稼働しているOS(オペレーティングシステム)、或いは他のアプリケーションソフト等と共同して上記実施形態が実現される場合にもかかるプログラムコードは本発明の範疇に含まれる。
【0187】
更に、この供給されたプログラムコードが、コンピュータの機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後、そのプログラムコードの指示に基づいてその機能拡張ボードや機能格納ユニットに備わるCPU等が実際の処理の一部または全部を行い、その処理によって上記実施形態が実現される場合も本発明の範疇に含まれる。
【0188】
以上説明したように本実施形態にによれば、復号(再生)対象となる動画像データが高フレームレートで録画(符号化)されていたとしても、人間の視覚的な認識レベルに合わせて、その装置(コンピュータであればCPU)の復号時の負担を出来るだけ軽くすることが可能となる。
【0189】
【発明の効果】
以上説明したように本発明によれば、復号(再生)対象となる動画像データが高フレームレートで録画(符号化)されていたとしても、人間の視覚的な認識レベルを十分考慮しつつ、通常再生及びスロー再生のいずれであってもスムースな動画像を再生することが可能になる。
【0190】
また、他の発明によれば、スロー再生の際に、再生される画質を向上させることが可能になる。
【図面の簡単な説明】
【図1】実施形態における画像処理装置のブロック構成図である。
【図2】実施形態での動画画像生成する装置として適用するカメラの外観図である。
【図3】カメラ内部における符号化及び記録に関わる機能の概略図である。
【図4】復号・再生側(画像処理装置)の表示部の一例を示す図である。
【図5A】、
【図5B】、表示部105(指示入力部106)の指示に基づく装置の制御手順を示すフローチャートである。
【図6】1次元離散ウェーブレット変換の処理概要を説明するための図である。
【図7】第1段階から第3段階までのウェーブレット変換によるサブバンドの分布を示す図である。
【図8】各サブバンドと量子化ステップとの関係を示す図である。
【図9】コードブロック分割の説明するための図である。
【図10】ビットプレーン分割の例を示す図である。
【図11】コーディングパスを示す図である。
【図12】レイヤー生成の概要を説明するための図である。
【図13】レイヤー生成を説明するための図である。
【図14】タイル符号化データの構成を示す図である。
【図15】フレーム符号化データの構成を示す図である。
【図16】タイル分割の一例を示す図である。
【図17】第1の実施形態におけるJPEG2000符号化部の概略構成を示すブロック図である。
【図18】第1の実施形態におけるJPEG2000符号化部203が行うフレームデータの符号化処理のフローチャートである。
【図19】第1の実施形態におけるJPEG2000復号部の概略構成を示すブロック図である。
【図20】タイルの復号順序を示す図である。
【図21】第1の実施形態におけるJPEG2000復号部の処理手順を示すフローチャートである。
【図22】第2の実施形態で使用する符号列を示す図である。
【図23】第2の実施形態における表示部105(指示入力部106)の指示に基づく装置の処理手順を示すフローチャートである。
【図24】第2の実施形態におけるJPEG2000復号部の概略構成を示すブロック図である。
【図25】通常再生時における符号列の切り出しの説明図である。
【図26】スロー再生時における符号列の切り出しの説明図である。
【図27】第3の実施形態における表示部105(指示入力部106)の指示に基づく装置の処理手順を示すフローチャートである。
【図28】第3の実施形態におけるJPEG2000復号部の概略構成を示すブロック図である。
【図29】復号・再生側(画像処理装置)の表示部の一例を示す図である。
【図30】第4の実施の形態における表示部105(指示入力部106)の指示に基づく装置の制御手順を示すフローチャートである。
【図31】カメラ内部における符号化及び記録に関わる機能の概略図である。
【図32】第5の実施の形態における表示部105(指示入力部106)の指示に基づく装置の制御手順を示すフローチャートである。
【図33】カメラ内部における符号化及び記録に関わる機能の概略図である。
【図34】第6の実施の形態における表示部105(指示入力部106)の指示に基づく装置の制御手順を示すフローチャートである。
Claims (22)
- 動画像として十分であるフレームレートをNフレーム/秒と表現したとき、それを越えるM(M>N)フレーム/秒の、各フレームが独立して復号可能に圧縮符号化された動画像データを再生する画像処理装置であって、
圧縮符号化されたフレームを復号する復号手段と、
通常再生するか、スロー再生するかを切り替える切り替え手段と、
該切り替え手段により、通常再生するように切り替えた場合、前記画像データから第1のフレーム間隔で各フレームを読出して前記復号手段で復号し、実質的にNフレーム/秒で再生する第1の再生手段と、
該切り替え手段により、スロー再生するように切り替えた場合、前記第1のフレーム間隔よりも狭い第2のフレーム間隔で読出して前記復号手段で復号し、少なくとも実質的にNフレーム/秒で再生する第2の再生手段と
を備えることを特徴とする画像処理装置。 - 圧縮された動画像データは、Mフレーム/秒で撮像されたフレーム群と、Nフレーム/秒で撮像されたフレーム群が混在した構造を有し、
前記第2の再生手段は、Mフレーム/秒で撮像されたフレーム群に適用されることを特徴とする請求項1に記載の画像処理装置。 - 圧縮された動画像データは、Mフレーム/秒で撮像されたフレーム群と、Nフレーム/秒で撮像されたフレーム群が混在した構造を有し、
更に、前記動画像データを再生する際、Nフレーム/秒で撮像されたフレーム群を再生する際には通常フレームレートで再生し、Mフレーム/秒で撮像されたフレーム群については間引きなしに、通常のフレームレートで速度でスロー再生する第3の再生手段を備えることを特徴とする請求項1に記載の画像処理装置。 - 前記第2の再生手段は、スロー再生の指示があった場合に、スロー再生を実施するマニュアルモードと、スロー再生の指示がなくてもスロー再生処理するオートモードを含むことを特徴とする請求項3に記載の画像処理装置。
- 前記動画像データの各フレームは、JPEG2000符号化処理で符号化されていることを特徴とする請求項1に記載の画像処理装置。
- 前記動画像データはMotionJPEG符号化処理で符号化されていることを特徴とする請求項1に記載の画像処理装置。
- 動画像として十分であるフレームレートをNフレーム/秒と表現したとき、それを越えるM(M>N)フレーム/秒の、各フレームが独立して復号可能に圧縮符号化された動画像データを再生する画像処理方法であって、
圧縮符号化されたフレームを復号する復号工程と、
通常再生するか、スロー再生するかを切り替える所定の切り替え手段により、通常再生するように切り替えた場合、前記画像データから第1のフレーム間隔で各フレームを読出して前記復号工程で復号し、実質的にNフレーム/秒で再生する第1の再生工程と、
前記切り替え手段により、スロー再生するように切り替えた場合、前記第1のフレーム間隔よりも狭い第2のフレーム間隔で読出して前記復号工程で復号し、少なくとも実質的にNフレーム/秒で再生する第2の再生工程と
を備えることを特徴とする画像処理方法。 - 動画像として十分であるフレームレートをNフレーム/秒と表現したとき、それを越えるM(M>N)フレーム/秒の、各フレームが独立して復号可能に圧縮符号化された動画像データを再生する画像処理装置として機能するコンピュータプログラムであって、
圧縮符号化されたフレームを復号する復号手段と、
通常再生するか、スロー再生するかを切り替える所定の切り替え手段により、通常再生するように切り替えた場合、前記画像データから第1のフレーム間隔で各フレームを読出して前記復号手段で復号し、実質的にNフレーム/秒で再生する第1の再生手段と、
前記切り替え手段により、スロー再生するように切り替えた場合、前記第1のフレーム間隔よりも狭い第2のフレーム間隔で読出して前記復号手段で復号し、少なくとも実質的にNフレーム/秒で再生する第2の再生手段と
して機能することを特徴とするコンピュータプログラム。 - 請求項7に記載のコンピュータプログラムを格納することを特徴とするコンピュータ可読記憶媒体。
- 各フレームが、階層的に圧縮符号化され、且つ、独立して復号可能に圧縮符号化された動画像データを再生する画像処理装置であって、
圧縮符号化されたフレームを復号する復号手段と、
通常速度で再生するか、スロー再生するかを切り替える切り替え手段と、
該切り替え手段により、通常速度で再生するように切り替えた場合、前記動画像データから各フレームの低階層成分から高階層成分に向かう第1の範囲のデータを読出して前記復号手段で復号し、再生する第1の再生手段と、
前記切り替え手段により、スロー再生するように切り替えた場合、前記動画像データから各フレームの低階層成分から高階層成分に向かい、前記第1の範囲よりも広い第2の範囲のデータを読出して前記復号手段で復号し、再生する第2の再生手段と
を備えることを特徴とする画像処理装置。 - 前記圧縮符号化された動画像データは、高精細フレーム群と、低精細フレーム群が混在したデータストリームであって、前記第2の再生手段では高精細フレーム群にのみ適用されることを特徴とする請求項10に記載の画像処理装置。
- 前記圧縮された動画像データは、高精細フレーム群と、低精細フレーム群が混在したデータストリームであって、
更に、前記高精細フレーム群を再生する場合には、必ず、前記第2の再生手段で再生するよう制御する制御手段を備えることを特徴とする請求項10に記載の画像処理装置。 - 前記第2の再生手段は、スロー再生の指示があった場合にスロー再生を実施するマニュアルモードと、スロー再生の指示がなくてもスロー再生処理をするオートモードとを含むことを特徴とする請求項10に記載の画像処理装置。
- 前記動画像データの各フレームは、JPEG2000符号化処理で符号化されていることを特徴とする請求項10に記載の画像処理装置。
- 前記動画像データはMotionJPEG符号化処理で符号化されていることを特徴とする請求項10に記載の画像処理装置。
- 前記動画像データにおける高精細フレーム群は、動画像として十分であるフレームレートをNフレーム/秒と表現したとき、それを越えるM(M>N)フレーム/秒の、各フレームが独立して復号可能に圧縮符号化された動画像データであって、
前記第1の再生手段は、前記画像データから第1のフレーム間隔で各フレームを読出して前記復号手段で復号し、実質的にNフレーム/秒で再生し、
前記第2の再生手段は、前記第1のフレーム間隔よりも狭い第2のフレーム間隔で読出して前記復号手段で復号し、少なくとも実質的にNフレーム/秒で再生する
ことを特徴とする請求項10に記載の画像処理装置。 - 圧縮された動画像データは、Mフレーム/秒で撮像されたフレーム群と、Nフレーム/秒で撮像されたフレーム群が混在しており、前記第2の再生手段は、Mフレーム/秒で撮像されたフレーム群に適用されることを特徴とする請求項16に記載の画像処理装置。
- 圧縮された動画像データは、Mフレーム/秒で撮像されたフレーム群と、Nフレーム/秒で撮像されたフレーム群が混在した構造を有し、
更に、前記動画像データを再生する際、Nフレーム/秒で撮像されたフレーム群を再生する際には通常フレームレートで再生し、Mフレーム/秒で撮像されたフレーム群については間引きなしに、通常のフレームレートで速度でスロー再生する第3の再生手段を備えることを特徴とする請求項16に記載の画像処理装置。 - 前記第2の再生手段は、スロー再生の指示があった場合に、スロー再生を実施するマニュアルモードと、スロー再生の指示がなくてもスロー再生処理するオートモードを含むことを特徴とする請求項16に記載の画像処理装置。
- 各フレームが、階層的な周波数成分のサブバンド毎に圧縮符号化され、且つ、独立して復号可能に圧縮符号化された動画像データを再生する画像処理方法であって、
圧縮符号化されたフレームを復号する復号工程と、
通常速度で再生するか、スロー再生するかを切り替える所定の切り替え手段により、通常速度で再生するように切り替えた場合、前記動画像データから各フレームの低階層成分から高階層成分に向かう第1の範囲のデータを読出して前記復号工程で復号し、再生する第1の再生工程と、
前記切り替え手段により、スロー再生するように切り替えた場合、前記動画像データから各フレームの低階層成分から高階層成分に向かい、前記第1の範囲よりも広い第2の範囲のデータを読出して前記復号手段で復号し、再生する第2の再生工程と
を備えることを特徴とする画像処理方法。 - 各フレームが、階層的な周波数成分のサブバンド毎に圧縮符号化され、且つ、独立して復号可能に圧縮符号化された動画像データを再生する画像処理装置として機能するコンピュータプログラムであって、
圧縮符号化されたフレームを復号する復号手段と、
通常速度で再生するか、スロー再生するかを切り替える所定の切り替え手段により、通常速度で再生するように切り替えた場合、前記動画像データから各フレームの低階層成分から高階層成分に向かう第1の範囲のデータを読出して前記復号工程で復号し、再生する第1の再生手段と、
前記切り替え手段により、スロー再生するように切り替えた場合、前記動画像データから各フレームの低階層成分から高階層成分に向かい、前記第1の範囲よりも広い第2の範囲のデータを読出して前記復号手段で復号し、再生する第2の再生手段と
して機能することを特徴とするコンピュータプログラム。 - 請求項21に記載のコンピュータプログラムを格納することを特徴とするコンピュータ可読記憶媒体。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003189603A JP4471337B2 (ja) | 2002-08-01 | 2003-07-01 | 画像処理装置及び方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体 |
US10/628,452 US7343084B2 (en) | 2002-08-01 | 2003-07-29 | Image processing apparatus and method, computer program, and computer readable storage medium |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002224883 | 2002-08-01 | ||
JP2003189603A JP4471337B2 (ja) | 2002-08-01 | 2003-07-01 | 画像処理装置及び方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004129217A true JP2004129217A (ja) | 2004-04-22 |
JP4471337B2 JP4471337B2 (ja) | 2010-06-02 |
Family
ID=31190356
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003189603A Expired - Fee Related JP4471337B2 (ja) | 2002-08-01 | 2003-07-01 | 画像処理装置及び方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体 |
Country Status (2)
Country | Link |
---|---|
US (1) | US7343084B2 (ja) |
JP (1) | JP4471337B2 (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006120814A1 (ja) * | 2005-05-11 | 2006-11-16 | Sony Corporation | 撮像装置、および方法 |
JP2006352581A (ja) * | 2005-06-16 | 2006-12-28 | Canon Inc | 記録装置及び再生装置 |
WO2008099685A1 (ja) * | 2007-02-01 | 2008-08-21 | Sony Corporation | 画像再生装置と画像再生方法および撮像装置とその制御方法 |
JP2009246775A (ja) * | 2008-03-31 | 2009-10-22 | Canon Inc | 画像再生装置 |
US7970220B2 (en) | 2005-11-16 | 2011-06-28 | Ricoh Company, Ltd. | Image processing apparatus and method for performing decoding process on coded data of motion picture based on a plurality of attributes thereof |
JP2020031336A (ja) * | 2018-08-22 | 2020-02-27 | キヤノン株式会社 | 撮像装置 |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8127242B1 (en) * | 2010-08-12 | 2012-02-28 | The United States Of America As Represented By The Secretary Of The Army | Graphic user interface and software for processing large size signal data samples in a small buffer using automatically adjusted decimation ratio |
JP4632413B2 (ja) * | 2004-09-01 | 2011-02-16 | キヤノン株式会社 | 情報暗号化装置及び情報配信装置並びにそれらの制御方法、並びに、コンピュータプログラム及びコンピュータ可読記憶媒体 |
US8135761B2 (en) * | 2007-12-10 | 2012-03-13 | Realnetworks, Inc. | System and method for automatically creating a media archive from content on a recording medium |
US8582954B2 (en) | 2007-12-10 | 2013-11-12 | Intel Corporation | System and method for automatically creating a media archive from content on a recording medium |
US8555087B2 (en) | 2008-06-19 | 2013-10-08 | Intel Corporation | Systems and methods for content playback and recording |
EP2360562B1 (en) * | 2008-11-11 | 2015-04-08 | Sony Computer Entertainment Inc. | Image processing device, information processing device, image processing method, and information processing method |
JP4504452B1 (ja) * | 2009-01-15 | 2010-07-14 | 株式会社東芝 | 映像視聴装置及び映像再生制御方法及び記録再生用プログラム |
JP5371493B2 (ja) | 2009-03-09 | 2013-12-18 | キヤノン株式会社 | 装置及び方法 |
JP2011193424A (ja) * | 2010-02-16 | 2011-09-29 | Casio Computer Co Ltd | 撮像装置及び方法、並びにプログラム |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US231865A (en) * | 1880-08-31 | James tate | ||
US5377051A (en) * | 1993-01-13 | 1994-12-27 | Hitachi America, Ltd. | Digital video recorder compatible receiver with trick play image enhancement |
JP3459745B2 (ja) | 1997-03-27 | 2003-10-27 | キヤノン株式会社 | 画像処理装置、放射線撮影装置及び画像処理方法 |
JP4155566B2 (ja) | 2002-05-31 | 2008-09-24 | キヤノン株式会社 | 画像再生装置及び方法 |
-
2003
- 2003-07-01 JP JP2003189603A patent/JP4471337B2/ja not_active Expired - Fee Related
- 2003-07-29 US US10/628,452 patent/US7343084B2/en not_active Expired - Fee Related
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006319513A (ja) * | 2005-05-11 | 2006-11-24 | Sony Corp | 撮像装置、および方法 |
WO2006120814A1 (ja) * | 2005-05-11 | 2006-11-16 | Sony Corporation | 撮像装置、および方法 |
JP4725183B2 (ja) * | 2005-05-11 | 2011-07-13 | ソニー株式会社 | 撮像装置、および方法 |
US7705895B2 (en) | 2005-05-11 | 2010-04-27 | Sony Corporation | Image taking apparatus and image-taking method |
JP4537266B2 (ja) * | 2005-06-16 | 2010-09-01 | キヤノン株式会社 | 記録装置及び再生装置 |
JP2006352581A (ja) * | 2005-06-16 | 2006-12-28 | Canon Inc | 記録装置及び再生装置 |
US7970220B2 (en) | 2005-11-16 | 2011-06-28 | Ricoh Company, Ltd. | Image processing apparatus and method for performing decoding process on coded data of motion picture based on a plurality of attributes thereof |
WO2008099685A1 (ja) * | 2007-02-01 | 2008-08-21 | Sony Corporation | 画像再生装置と画像再生方法および撮像装置とその制御方法 |
JPWO2008099685A1 (ja) * | 2007-02-01 | 2010-05-27 | ソニー株式会社 | 画像再生装置と画像再生方法および撮像装置とその制御方法 |
US8903222B2 (en) | 2007-02-01 | 2014-12-02 | Sony Corporation | Image reproducing apparatus, image reproducing method, image capturing apparatus, and control method therefor |
JP2009246775A (ja) * | 2008-03-31 | 2009-10-22 | Canon Inc | 画像再生装置 |
JP2020031336A (ja) * | 2018-08-22 | 2020-02-27 | キヤノン株式会社 | 撮像装置 |
US11570389B2 (en) | 2018-08-22 | 2023-01-31 | Canon Kabushiki Kaisha | Imaging apparatus for downsizing an image sensor and a signal processor |
JP7321685B2 (ja) | 2018-08-22 | 2023-08-07 | キヤノン株式会社 | 撮像装置 |
Also Published As
Publication number | Publication date |
---|---|
JP4471337B2 (ja) | 2010-06-02 |
US7343084B2 (en) | 2008-03-11 |
US20040022521A1 (en) | 2004-02-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100904649B1 (ko) | 서브-프레임 메타데이터를 이용한 적응적 비디오 프로세싱회로 및 플레이어 | |
JP4702928B2 (ja) | 動画像符号化装置及び復号装置及びその制御方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体 | |
KR100912599B1 (ko) | 풀 프레임 비디오 및 서브-프레임 메타데이터를 저장하는이동가능한 미디어의 프로세싱 | |
JP2004221999A (ja) | 画像処理方法 | |
JP4471337B2 (ja) | 画像処理装置及び方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体 | |
JP4656912B2 (ja) | 画像符号化装置 | |
JP4392783B2 (ja) | 動画再生システム、動画送信装置、動画送信方法、プログラム、及び、記録媒体 | |
JP2004503154A (ja) | 波紋スキャン装置及びその方法並びにそれを用いた画像コーディング/デコーディング装置及びその方法 | |
JP2002084540A (ja) | 画像処理装置、画像処理方法、電子カメラ、及び、プログラム | |
JP2002247580A (ja) | 画像処理方法とその方法を利用可能な画像符号化装置および画像復号装置 | |
WO2006046550A1 (ja) | 画像符号化方法および装置、ならびに画像復号方法および装置 | |
JP2004215021A (ja) | 画像処理装置、画像処理方法、プログラム及び記録媒体 | |
JP4155566B2 (ja) | 画像再生装置及び方法 | |
US7558466B2 (en) | Moving image playback apparatus and its control method, computer program, and computer-readable storage medium | |
JP2001359117A (ja) | 画像処理装置及び該装置における画像処理方法 | |
JP4251610B2 (ja) | 画像処理装置 | |
JP4749508B2 (ja) | 画像復号方法 | |
JP4280613B2 (ja) | 動画像再生装置及びその制御方法、並びに、コンピュータプログラム及びコンピュータ可読記憶媒体 | |
JP4475513B2 (ja) | 画像処理装置、プログラム、及び、記録媒体 | |
JP4667424B2 (ja) | 画像復号装置 | |
JP4667423B2 (ja) | 画像復号装置 | |
KR101337426B1 (ko) | Jpeg2000 기반 디지털시네마 시스템에서의 컨텐츠 고배속 재생 장치 및 방법 | |
JP2004194030A (ja) | 画像処理装置、画像処理方法、プログラム及び記録媒体 | |
JP2005167446A (ja) | 画像処理システム | |
JP4174254B2 (ja) | 動画像符号化装置及び動画像復号装置並びにそれらの方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060620 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080916 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081024 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081219 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090821 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090827 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100226 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100301 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130312 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140312 Year of fee payment: 4 |
|
LAPS | Cancellation because of no payment of annual fees |