WO2007063819A1

WO2007063819A1 - 記録装置、再生装置、記録方法、記録プログラムおよびコンピュータに読み取り可能な記録媒体

Info

Publication number: WO2007063819A1
Application number: PCT/JP2006/323647
Authority: WO
Inventors: Hiroshi Iwamura; Motooki Sugihara; Hiroshi Yamazaki; Yoshiaki Moriyama
Original assignee: Pioneer Corporation
Priority date: 2005-11-29
Filing date: 2006-11-28
Publication date: 2007-06-07
Also published as: EP1956839A1; EP1956839A4; US20100214422A1; JPWO2007063819A1; CN101317450A; CN101317450B

Abstract

　記録装置において、高速度カメラ（３０１）は、一連の画像を高速のシャッター速度で連続して撮影する。次に、ＭＶ算出部（３０３）は、高速度カメラ（３０１）によって撮影された一連の画像の前後関係に基づいて、動きベクトルを求める。次に、記録器（３０７）は、高速度カメラ（３０１）によって撮影された画像を、この画像に対応する動きベクトルとともに記録する。一方、再生装置において、記録器（３０７）によって記録された一連の画像に、記録装置によって記録された動きベクトルを追加して再生する。

Description

明細書

記録装置、再生装置、記録方法、記録プログラムおよびコンピュータに読み取り可能な記録媒体

技術分野

[0001] この発明は、映像を撮影して記録する記録装置、再生装置、記録方法、記録プログラムおよびコンピュータに読み取り可能な記録媒体に関する。ただしこの発明の利用は、上述の記録装置、再生装置、記録方法、記録プログラムおよびコンピュータに読み取り可能な記録媒体に限らない。

背景技術

[0002] 通常の写真の撮影は、ビデオ撮影と比べてシャッタースピードが高速である。これには被写体ブレゃ手ブレなどの動きブレを抑える目的もあり、静止画として良い画質を得るにはある程度高速なシャッタースピードが必要である場合が多、。しかし動画撮影時においては逆に、各フレームが動きブレを含むような低速なシャッタースピードとなる。これは、動きブレがないと、人間の目には動きの滑らかさのない間欠的な動きに見えてしまうからである。そのため CGアニメーションなどでは、わざわざ各コマにモーションブラー（動きブレ）をカロえる処理を行って!/、る。

[0003] つまり、低速シャッターの撮影では動きの滑らかな動画を撮影できる力動きブレの少な、静止画を撮影することはできず、高速シャッターでの撮影では動きブレの少ない静止画を得ることができる力動画再生時に動きが間欠的に見え不自然になってしまう。したがって、動画と静止画の同時撮影機能を実現しょうとした場合、動画の滑らかさを優先させれば動きブレのある静止画しか得られず、静止画の画質を優先させれば動画の滑らかさが失われてしまうという問題がある。

[0004] 従来技術としては、通常の解像度のカメラに加え、低解像度高速度カメラを併用してフレーム間のマッチングをとるものがある（たとえば、特許文献 1参照。 ) ₀また、再生時に残像を付加することにより自然な画質を得るものがある（たとえば、特許文献 2参照。）。

[0005] 特許文献 1：特開 2003— 203237号公報特許文献 2 :特開平 5— 268515号公報

発明の開示

発明が解決しょうとする課題

[0006] し力しながら特許文献 1の従来技術では、通常の（高解像度)カメラの他に低解像度高速度カメラが必要であり、動きブレを付加するブロックはない。この技術の目的は、フレーム間の対応点を正確に求める（=動きベクトルを求める）ことであり、この場合の高速度カメラ画像はマッチングをとるためだけに用いられる。そして、低解像度高速度カメラ画像で得られたマッチング情報あるいは既知の対応点情報を拘束条件として高解像度画像での対応点を求めている。すなわち、静止画と動画の同時撮影を目的としたものはない。

[0007] また、特許文献 2の従来技術は、残像の付加のために再生時に動きベクトルを求めるものであり、高精度な動きベクトルを求めることが困難であるとともに、再生器のコストを上げてしまうという問題が挙げられる。

課題を解決するための手段

[0008] 請求項 1の発明にかかる記録装置は、一連の画像を高速のシャッター速度で連続して撮影する撮影手段と、前記撮影手段によって撮影された一連の画像の前後関係に基づいて、動きベクトルを求める算出手段と、前記撮影手段によって撮影された画像を、該画像に対応する動きベクトルとともに記録する記録手段と、を備えることを特徴とする。

[0009] 請求項 8の発明にかかる記録装置は、一連の画像を高速のシャッター速度で連続して撮影する撮影手段と、前記撮影手段によって撮影された一連の画像の前後関係に基づいて、動きベクトルを求める算出手段と、前記算出手段によって求められた動きベクトルに基づいて動きブレを求め、前記撮影手段によって撮影された一連の画像に、前記動きブレを追加する追加手段と、前記追加手段によって動きブレを追加された一連の画像を記録する記録手段と、を備えることを特徴とする。

[0010] 請求項 16の発明に力かる再生装置は、請求項 1〜7のいずれか一つに記載の記録装置によって記録された一連の画像を再生する再生装置であって、前記記録装置によって記録された一連の画像に、前記記録装置によって記録された動きベクトルに基づ!/、て動きブレを追加する追加手段と、を備えることを特徴とする。

[0011] 請求項 20の発明に力かる再生装置は、請求項 1〜7および 9〜 15のいずれか一つに記載の記録装置によって記録された一連の画像を再生する再生装置であって、前記記録装置によって記録された動きベクトルをグルーピングするグルーピング手段と、前記グルーピングされた動きベクトルに対応するオブジェクト毎に処理する処理手段と、を備えることを特徴とする。

[0012] 請求項 21の発明にかかる再生装置は、請求項 7に記載の記録装置によって記録された一連の画像を再生する再生装置であって、前記記録装置によって記録された静止画を再生する第一の再生手段と、前記記録装置によって記録された一連の画像に、前記記録装置によって記録された動きベクトルに基づ、て動きブレを追加して、動画として再生する第二の再生手段と、を備えることを特徴とする。

[0013] 請求項 22の発明にかかる再生装置は、請求項 15に記載の記録装置によって記録された一連の画像を再生する再生装置であって、前記記録装置によって記録された静止画を再生する第一の再生手段と、前記記録装置によって記録された一連の画像を動画として再生する第二の再生手段と、を備えることを特徴とする。

[0014] また、請求項 23の発明に力かる記録方法は、一連の画像を高速のシャッター速度で連続して撮影する撮影工程と、前記撮影工程によって撮影された一連の画像の前後関係に基づいて、動きベクトルを求める算出工程と、前記撮影工程によって撮影された一連の画像を、該画像に対応する動きベクトルとともに記録する記録工程と、を含むことを特徴とする。

[0015] 請求項 24の発明に力かる記録方法は、一連の画像を高速のシャッター速度で連続して撮影する撮影工程と、前記撮影工程によって撮影された一連の画像の前後関係に基づいて、動きベクトルを求める算出工程と、前記算出工程によって求められた動きベクトルに基づいて動きブレを求め、前記撮影工程によって撮影された一連の画像に、前記動きブレを追加する追加工程と、前記追加工程によって動きブレを追加された一連の画像を記録する記録工程と、を含むことを特徴とする。

[0016] また、請求項 25の発明に力かる記録プログラムは、請求項 23または 24に記載の記録方法をコンピュータに実行させることを特徴とする。 [0017] また、請求項 26の発明にかかるコンピュータに読み取り可能な記録媒体は、請求項 25に記載の記録プログラムを記録したことを特徴とする。

図面の簡単な説明

[0018] [図 1]図 1は、この発明の実施の形態に力かるモーションブラーなしの記録装置の機能的な構成を説明するブロック図である。

[図 2]図 2は、この発明の実施の形態に力かるモーションブラーありの記録装置の機能的な構成を説明するブロック図である。

[図 3]図 3は、この発明の実施の形態に力かる再生装置の機能的な構成を説明するブロック図である。

[図 4]図 4は、モーションブラーなしの記録処理を説明するフローチャートである。

[図 5]図 5は、モーションブラーなしで記録された信号の再生処理を説明するフローチヤートである。

[図 6]図 6は、モーションブラーありの記録処理を説明するフローチャートである。

[図 7]図 7は、フレームを間引いて映像を記録する記録装置の構成を説明するブロック図である。

[図 8]図 8は、フレームを間引いて MV統合し、統合された MVを符号ィ匕して映像を記録する記録装置の構成を説明するブロック図である。

[図 9]図 9は、フレーム間引き、 MV統合、モーションブラーありの記録装置を説明するブロック図である。

[図 10]図 10は、 MV統合部で統合された動きベクトルを多重化して記録する記録装置を示すブロック図である。

[図 11]図 11は、解像度変換処理して映像を記録する記録装置の構成を示すブロック図である。

[図 12]図 12は、静止画記録シャッターを用いた記録装置の構成を説明するブロック図である。

[図 13]図 13は、互換性確保機能を持つ記録装置の構成を説明するブロック図である [図 14]図 14は、フレーム補間処理を実行する再生装置を説明するブロック図である。 [図 15]図 15は、動きベクトルの補間処理を実行する再生装置を説明するブロック図である。

圆 16]図 16は、高品位なスロー再生を実現する再生装置の構成を説明するブロック図である。

[図 17]図 17は、オブジェクト別の再生を実現する再生装置の構成を説明するブロック図である。

[図 18]図 18は、動きブレ追加部がなぐ静止画を個別の符号化器で符号ィ匕して多重する記録装置に対応した再生装置の構成を説明するブロック図である。

[図 19]図 19は、動きブレ追加部があり、静止画を個別の符号化器で符号ィ匕して多重する記録装置に対応した再生装置の構成を説明するブロック図である。

[図 20]図 20は、 DVDビデオカメラまたは HDVカメラに応用した場合の記録装置の構成を説明するブロック図である。

[図 21]図 21は、 DVカメラに応用した場合の記録装置の構成を説明するブロック図である。

符号の説明

301 咼速度カメラ

302 メモリ

303 MV算出部

304 映像符号化器

305 MV符号化器

306 多重化器

307 曰し球

401 再生器

402 逆多重化器

403 映像復号器

404 MV復号器

405 動きブレ追加部

406 静止画出力部 407 動画出力部

発明を実施するための最良の形態

[0020] 以下に添付図面を参照して、この発明にかかる記録装置、再生装置、記録方法、記録プログラムおよびコンピュータに読み取り可能な記録媒体の好適な実施の形態を詳細に説明する。

[0021] 図 1は、この発明の実施の形態に力かるモーションブラーなしの記録装置の機能的な構成を説明するブロック図である。この記録装置は、高速度カメラ 301、メモリ 302 、 MV算出部 303、映像符号化器 304、 MV符号化器 305、多重化器 306、記録器 3 07によって構成される。このモーションブラーとは、動いているものに発生する残像などの画像のブレであり、以降、モーションブラーまたは動きブレと表現する。

[0022] 高速度カメラ 301は、通常のカメラよりも高速のシャッター速度で撮影するカメラである。ここでいう「高速」とは、被写体ブレの少ない鮮明な静止画が得られるシャッタースピードであって、そのまま動画として連続再生すると間欠的で不自然な動きに見えてしまうようなシャッタースピードである。フレームレートとの関係は、フレームレート以上であるという以外関連はない。例えば、 30フレーム毎秒のフレームレートにおいて、シャッタースピードは 1Z60秒であったり 1Z250秒であったり 1Z1000秒であったりする。

[0023] メモリ 302は、高速度カメラ 301で撮影された画像を記録する。メモリ 302に記憶された画像は、 MV算出部 303と映像符号化器 304に渡される。 MV算出部 303は、メモリ 302から読み出した画像の間の動きベクトル（Motion Vector)を算出する。算出された動きベクトルは MV符号化器 305に入力される。

[0024] 映像符号化器 304は、メモリ 302に記憶された画像情報を映像情報として符号ィ匕する。符号化された映像情報は、多重化器 306に出力される。 MV符号化器 305は、 MV算出部 303で算出された動きベクトルを符号ィ匕する。符号化された映像情報と符号ィ匕された動きベクトルは、多重化器 306に出力される。

[0025] 多重化器 306は、符号化された情報を多重化する。多重化された情報は、記録器 307によって記録される。メモリ 302、 MV算出部 303、映像符号化器 304、 MV符号ィ匕器 305、多重化器 306、記録器 307は、 CPUが、 ROMに記録されたプログラムを読み出し、 RAMをワークエリアとして使用することにより実現できる。

[0026] 以上の構成により、高速シャッターを用いて撮影し、動きベクトル (MV)を検出し、各フレーム画像と動きベクトルを記録する。高速シャッターを用いて撮影することにより動きブレの少な!/ヽ鮮鋭な静止画を得て、そこから高精度な動きベクトルを推定する

[0027] なお、映像の符号ィ匕方式として、 MPEGなどの動き情報を利用する方式を用いる場合は、映像符号化器 304に MV算出部 303で算出した動きベクトルを入力し、映像符号化器 304が、動きベクトルから映像符号ィ匕に必要な動き情報を得るようにしてもよい。この場合、映像の復号に必要な動き情報は映像符号ィ匕データの中に多重される。

[0028] また、上記映像符号ィ匕データの中の動き情報を、再生側で用いる動きベクトルとするよう〖こしてもよい。その場合は MV符号化器 305は不要となり、多重化器での符号化された動きベクトルの多重化は行わな、。

[0029] 図 2は、この発明の実施の形態に力かるモーションブラーありの記録装置の機能的な構成を説明するブロック図である。この記録装置は、図 1に示したモーションブラーなしの記録装置において、動きブレ追加部 310を、メモリ 302と映像符号化器 304の間に加え、 MV算出部 303からの入力を受け付ける構成にしたものである。

[0030] 動きブレ追加部 310は、メモリ 302に記録された映像を読み出し、また、 MV算出部 303で求められた動きベクトル力も動きブレを算出し、算出した動きブレを読み出した映像に追加する。動きブレが追加された映像は、図 1と同様に映像符号化器 304〖こ出力される。そして、図 1と同様に、符号化された映像と動きベクトルを処理する。

[0031] 以上の構成により、高速シャッターを用いて撮影し、動きベクトル (MV)を検出し、動きベクトルによって動きブレを追カ卩した映像を、その元となる動くベクトルとともに記録することができる。

[0032] なお、図 1の場合と同様に、映像の符号ィ匕方式として、 MPEGなどの動き情報を利用する方式を用いる場合は、映像符号化器 304に MV算出部 303で算出した動きべタトルを入力し、映像符号化器 304が、動きベクトルから映像符号ィ匕に必要な動き情報を得るようにしてもよい。この場合も図 1と同様に、映像の復号に必要な動き情報は映像符号化データの中に多重される。

[0033] また図 1の場合と同様に、上記映像符号ィ匕データの中の動き情報を、再生側で用いる動きベクトルとするようにしてもよい。その場合、 MV符号化器 305は不要となり、多重化器での符号ィ匕された動きベクトルの多重化は行わない。また、再生装置にお Vヽて映像復号器以外で動きベクトルを利用することを想定しなヽ場合も、多重化器 3 06で動きベクトルを多重する必要がな、ので、 MV符号化器 305は不要となる。

[0034] 図 3は、この発明の実施の形態に力かる再生装置の機能的な構成を説明するプロック図である。この再生装置は、再生器 401、逆多重化器 402、映像復号器 403、 M V復号器 404、動きブレ追加部 405、静止画出力部 406、動画出力部 407によって構成される。この再生装置は、図 1に示した記録装置で符号化された映像を受け取ることにより、映像を復号して再生することができる。

[0035] 再生器 401は、符号化された映像と符号化された動きベクトルを多重化された状態で再生する。逆多重化器 402は、符号化された映像と符号化された動きベクトルを逆多重化する。そして、それぞれ映像復号器 403および MV復号器 404に入力する。また、逆多重化器 402では、音声等を出力する。

[0036] 映像復号器 403は、符号化された映像を復号する。復号された映像は、動きブレ追加部 405および静止画出力部 406に出力される。 MV復号器 404は、逆多重化器 4 02からの入力を受けて、動きベクトルを復号する。動きブレ追加部 405は、復号された動きベクトルの入力を受け、映像復号器 403で復号された映像について、動きブレを含めた映像を作成する。

[0037] このように、再生時に動きベクトルを用いて動きブレを追加する。すなわち、記録時に得られた静止画に、記録時に得られた動きベクトルを用いて動きブレをカ卩えることにより滑らかな動きの動画を同時に得る。動きベクトルとは、ある画像について参照すべき画像と現在の画像の間で差分をとつたときの、動いた領域の移動の方向と移動距離が求まる移動量をいう。この動きベクトルを用いることにより、再生時に、動いた領域については動きベクトル力も画像の動きブレを求めることができる。

[0038] 以上のように説明した再生装置により、撮影した一連の画像について動きベクトルとともに記録された映像について、再生時にこの算出した動きベクトルを読み出すことができる。それにより、この動きベクトルから求めることができる動きブレに従って、滑らかに映像を再生することができる。したがって再生側では、撮影した一連の画像を、動きブレのない鮮明な静止画像としても、滑らかな動画像としても同一のデータから再生することができる。

[0039] なお、図 2のモンシヨンブラーありの記録装置に対応する再生装置では、再生側で動きブレを追加する必要がなぐまた映像復号器 403からは動きブレのない静止画は再生できないので、図 3より動きブレ追加部 405と静止画出力部 406を除いたものになる。また、再生側で動きベクトルを利用しない場合は、 MV復号器 404も必要ないものとなる。

[0040] 次に、「高速」なシャッタースピードの設定方法の例について述べる。この「高速」なシャッタースピードは、動きベクトルを正確に求めるために必要である力映像内の被写体の移動スピードによっても異なる。そこで、その映像内の移動スピードを推定してその推定された移動量力もシャッタースピードを決定してフィードバックを掛ける方法が考えられる。

[0041] また、被写体の種類や撮影シーンなどによってもほぼ必要なシャッタースピードは決ってくる。そこで、例えばユーザーが撮影前に設定するモード設定ダイヤルを設け、風景や動きの遅い被写体では 1Z250、運動会などでは 1Z1000、モータースポーッ等では 1/10000などのように各モードにあわせた基準値を設定しても良い。実際に使用するシャッタースピードはその基準値に対し、被写体の明るさ、撮影感度、絞り等から最終的に決定される。

[0042] 図 4は、モーションブラーなしの場合の記録処理を説明するフローチャートである。

まず、一連の画像を高速のシャッター速度で連続して撮影する (ステップ S201)。次に、撮影された一連の画像の前後関係に基づいて、動きベクトルを求める (ステップ S 202)。次に、撮影された一連の画像を、この画像に対応する動きベクトルとともに記録する (ステップ S 203)。そして一連の処理を終了する。以上の処理により、高速度カメラを用いて撮影し、動きベクトル (MV)を検出し、各フレーム画像と動きベクトルを記録する。

[0043] 図 5は、モーションブラーなしで記録された信号の再生処理を説明するフローチヤートである。まず、記録装置によって記録された一連の画像と記録装置によって記録された動きベクトルを分離する (ステップ S211)。次に、一連の画像が静止画像または動画像の、ずれであるかを判定する (ステップ S212)。

[0044] 動画像の場合 (ステップ S212：動画像）、分離された動きベクトルに基づ!/、て動きブレを追加する (ステップ S213)。そして、動画像を再生する (ステップ S 214)。静止画像の場合 (ステップ S212 :静止画像）、静止画像を再生する (ステップ S215)。すなわち、分離された画像をそのまま出力する。

[0045] 以上の再生処理により、撮影した一連の画像について動きベクトルとともに記録された映像をもとに、動きブレのない鮮明な静止画と、動きブレを追加した動きの滑ら力な映像を同時に再生することができる。

[0046] 図 6は、モーションブラーありの記録処理を説明するフローチャートである。まず、一連の画像を高速のシャッター速度で連続して撮影する (ステップ S221)。次に、撮影された一連の画像の前後関係に基づいて、動きベクトルを求める（ステップ S222)。次に、動きベクトルに基づいて動きブレを求め、一連の画像に求めた動きブレを追カロする（ステップ S 223)。

[0047] 次に、動きブレを追加された一連の画像を記録する (ステップ S224)。そして一連の処理を終了する。以上の処理により、高速シャッターを用いて撮影し、動きベクトル (MV)を検出し、動きベクトルによって動きブレを追加した映像を、その元となる動くベクトルとともに記録することができる。

[0048] 以上のように、図 1〜図 6によって説明したこの発明の実施の形態によれば、ブレの少ない静止画と滑らかな動きの動画の同時記録再生ができる。すなわち、高速度力メラ 301を使用すること〖こより、静止画を撮影することができる一方で、高速で撮影された多数の静止画から求められる動きベクトルにより、動きブレを出すことができる。それにより、高速で撮影された多数の静止画力もでも滑らかな動きの動画を再生することができる。

[0049] また、通常多くの演算量が必要である動きベクトルの算出を記録側で実行するので、再生器 401のコストを抑えられる。また、図 2によって説明したこの発明の実施の形態によれば、記録側で高精度な動きベクトルを用いて動きブレを追加することにより、再生側での動きブレ追加が不要となり、従来の再生システムとの互換性を持って高画質な映像符号ィ匕が行えるともに、再生側での高精度な動きベクトルの応用が可能となる。

[0050] また、高速度カメラ 301を用いることにより、動きベクトル検出精度を向上させることができる。通常の動画撮影に用いられるシャッタースピードでは、動きブレが多く静止画として適さないと同時に、動きブレの多いフレームと少ないフレームでは物体形状が変ってしまっているため、動きベクトルを精度良く検出することができない。

[0051] これに対し、高速度カメラ 301を用いて撮影された画像は動きブレが少ないため、各フレームが高画質な静止画であるとともに、フレーム間の相関力物体の動きを精度良く検出することができる。また、各フレームにブレのない動画は見た目に不自然な動きとなるため、再生時に動きベクトルが示す動き方向と動き量に応じて動きブレを追加することで、動きの滑らかな動画として再生できる。

[0052] また、映像 Z音声の符号ィ匕は、特定の方式を用いる必要はないが、例えば映像の符号化として MPEGに代表される動き補償予測符号ィ匕を用いた場合、上記のように動きベクトルをもとに符号ィ匕に用いる動き情報を生成することにより、動きベクトルが高精度で検出されているため予測残差力、さくなり、符号量の発生を抑えることができる。そのため通常の MPEG符号ィ匕を行った場合に比べ、同じビットレートで高画質力同程度の画質で長時間記録が行えるなどのメリットがある。

実施例

[0053] 以上の発明の実施の形態において、モーションブラーなし、モーションブラーありの記録装置、これに対応する再生装置とその処理について説明した。ここで、この発明の実施の形態で説明した記録装置および再生装置の適用例および変形例について説明する。

[0054] 図 7は、フレームを間引いて映像を記録する記録装置の構成を説明するブロック図である。この図 7に示す記録装置は、図 1に示した記録装置において、フレーム間引き部 501を、メモリ 302と映像符号化器 304の間に加えたものである。また、高速度力メラ 301はシャッター速度が高速なだけでなぐ通常の映像再生のフレームレートよりも高速なフレームレートで撮影可能なものとする。 [0055] フレーム間引き部 501は、メモリ 302から読み出した映像から、フレームの間引き処理を実行する。すなわち、 MV算出部 303で動きベクトルを必要な分だけ取得するのに各フレームを用いた後は、高速度カメラ 301で撮影したフレームのうち、必要なフレーム以外は間引く形で、一部のフレームだけ残して映像符号化器 304に出力する。そして、図 1と同様に、符号化された映像と動きベクトルを処理する。

[0056] 図 8は、フレームを間引くとともにそれに合わせて MVを統合し、統合された MVを符号ィ匕して映像とともに記録する記録装置の構成を説明するブロック図である。この記録装置は、図 7に示した記録装置に MV統合部 601をカ卩えた構成になつている。

[0057] MV統合部 601は、 MV算出部 303で求められた動きベクトルを統合する。統合した動きベクトルは、映像符号化器 304と MV符号化器 305に出力される。映像符号ィ匕器 304は、間引かれたフレームに従って映像を符号ィ匕する。 MV符号化器 305は、統合された動きベクトルを符号化する。符号ィ匕された映像および動きベクトルは、多重化器 306で多重化され、記録器 307で記録される。

[0058] 動きベクトルを求める際、フレーム間での変形を伴う場合、 MPEG等で用いられているブロックマッチングではマッチングがとれない。形状変化に対応するためにピクセル単位のオプティカルフロー力特徴点の移動ベクトルを求める方法もある力動き量が大きい場合や輝度変化がある場合はやはりマッチングがとれない。そのため、このような場合は正確な動きベクトルを求めるのが困難になる。

[0059] 以上のように説明した記録装置によれば、通常のビデオ撮影よりも高速のフレームレートで撮影を行えば、フレーム間の形状変化'移動量が小さくなるので、動きべタトルゃ特徴点の移動ベクトルを精度良く求めることができる。動きベクトルを求めた後は、通常の再生に適したフレームレートに間引き、それに合わせて動きベクトルも統合する。フレームを間引くので、高速で大量に撮影しつつも、実際のデータ量は必要最小限にすることができる。また、再生時は動きの不自然さがないよう、動きベクトルが示す動き方向と動き量に応じて動きブレを追加する。したがって、データ量は大きく増やすことはなぐ動きブレについては精度を上げることができる。

[0060] すなわち、通常のビデオ撮影よりも高速のフレームレートで撮影を行うことにより、フレーム間の物体の移動量が小さくなる。そのため、高精度な動きベクトルを求めることができる。また、高速度撮影を行って動きベクトルを求めて力もフレームを間引くことにより、データ量を大きく増やすことなく高精度な動きベクトルを求めることができる。この場合、移動量が大きい場合や照度の変化が大きい場合には推定が困難であるオプティカルフローを求めたい場合などに特に有効である。

[0061] なお、図 7のように、動きベクトルは統合せずに高速のフレームレートに対応したものを符号ィ匕して多重化してもよい。これにより、再生装置において高速のフレームレートに対応した動きベクトルをそのまま利用してフレーム補間できるので、スロー再生をさらに高品位に行うことができる。この場合、動きベクトルのデータ量が増大するが、映像データと比較してデータ量が少ないので、大きな影響はない。

[0062] また、フレーム間引きを通常のフレームレートよりも低くなるように行い、再生装置において動きベクトルを用いてフレーム補間し、通常のフレームレートで再生することもできる。本実施例では、動くベクトルが高精度なので、このようにして映像のデータ量を削減して記録しても、再生装置において良好な動画を再生することができる。この場合も、動きベクトルを統合して多重化しても、統合しないで多重化しても、どちらでも可能である力統合しないほうが、データ量が増加する力フレーム補間の精度が高められる。

[0063] 図 9は、フレーム間引き、 MV統合、モーションブラーありの記録装置を説明するブロック図である。この記録装置は、図 8に示した記録装置に動きブレ追加部 310をカロえた構成になっている。

[0064] 動きブレ追加部 310は、メモリ 302に記録された映像を読み出し、また、 MV統合部 601で統合された動きベクトル力も動きブレを算出し、算出した動きブレを読み出した映像に追加する。動きブレを追加した映像は、図 1と同様に映像符号化器 304に出力する。そして、図 1と同様に、符号化された映像と動きベクトルを処理する。

[0065] 図 10は、 MV統合部 601で統合された動きベクトルを多重化して記録する記録装置を示すブロック図である。この記録装置は、図 9に示した記録装置の MV算出部 30 3で求められた動きベクトルを、 MV統合部 601によって統合処理して符号化'多重化処理する。

[0066] すなわち、 MV算出部 303で求められた動きベクトルは、図 9においては MV符号ィ匕器 305に送られるとともに MV統合部 601にも送られる。そして、統合化前の動きベクトルが処理対象となる。図 10においては、 MV算出部 303で求められた動きべクトルは、 MV統合部 601で統合処理される。そして、統合処理された動きベクトルが、 MV符号化器 305に送られるとともに動きブレ追加部 310にも送られる。すなわち、統合ィ匕後の動きベクトルが MV符号化器 305で処理される。

[0067] 図 11は、解像度変換処理して映像を記録する記録装置の構成を示すブロック図である。この記録装置は、図 1に示した記録装置に、解像度変換部 901および動きブレ追加部 310を加えた構成にしたものである。

[0068] 解像度変換部 901は、メモリ 302に記録された映像を読み出し、解像度を変換する。解像度変換処理後は、動きブレ追加部 310が、 MV算出部 303から読み出した動きベクトルに基づいて映像に動きブレを追加する。なお、動きブレ追加部 310は必須ではなぐ記録時に動きブレを追カ卩しておきたい場合は動きブレ追加部 310で処理を実行するが、再生装置で動きブレを追加する構成になっているなど、記録時に動きブレを追加する必要がない場合は、動きブレ追加部 310を用意せずに、解像度変換部 901で処理された映像を、そのまま映像符号化器に出力することも出来る。そして、他の記録装置の構成と同様に、符号化された映像と動きベクトルの処理を実行する

[0069] 図 12は、静止画記録シャッターを用いた記録装置の構成を説明するブロック図である。この記録装置は、図 1に示した記録装置のうち映像符号化器 304を除き、解像度変換部 901、動画符号化器 902、静止画記録シャッター 1201、静止画符号化器 1202を加えた構成になっている。

[0070] 解像度変換部 901は、メモリ 302から読み出した映像の解像度を変換する。動画の場合、静止画に対して解像度が低くて良い場合が多いので、解像度変換部 901は、この動画の解像度を必要であれば下げる。解像度を下げた映像は、動画復号化器 9 02に出力する。動画符号化器 902は、この解像度変換された画像を動画として符号化する。符号ィ匕された動画は多重化器 306を経て、記録器 307に出力される。動画の解像度を下げる必要がなければ、解像度変換部はなくて良い。

[0071] 静止画記録シャッター 1201は、撮影した画像を静止画として記録する際に用いるシャッターである。静止画符号化器 1202は、静止画記録シャッター 1201からの画像指定の入力を受けて、メモリ 302から読み出した画像を静止画として符号ィ匕する。符号ィ匕された静止画は多重化器 306を経て、記録器 307に出力される。

[0072] 以上のように、図 12の記録装置は、高速度カメラを用いて撮影して動きベクトルを求めた後、動画が必要な場合、必要に応じて解像度変換を行って記録し、静止画は静止画記録シャッターが押されたフレームだけ記録する。

[0073] 図 13は、図 2と同様に、従来の再生システムとの互換性を持って動画符号ィ匕が行える記録装置の構成を説明するブロック図である。この記録装置は、図 1に示した記録装置のうち映像符号化器 304と MV符号化器 305を除き、解像度変換部 901、動きブレ追加部 310、動画符号化器 902、静止画記録コントローラ 1301、静止画符号ィ匕器 1202を加えた構成になっている。

[0074] 解像度変換部 901は、メモリ 302から撮影された画像を読み出して、この画像の解像度を変換する。変換された画像は、動きブレ追加部 310に出力する。動きブレ追加部 310は、 MV算出部 303から出力された動きベクトルを使用して、解像度変換部 901で解像度変換した画像に動きブレを追加する。動画符号化器 902は、この動きブレを追加した画像を動画として符号化する。符号ィ匕された動画は多重化器 306を経て、記録器 307に出力される。

[0075] 静止画記録コントローラ 1301は、例えば、静止画の間欠記録を指定する。その場合、動きベクトルは記録しないか、動きベクトルを再生装置における静止画間の画像補間に利用するために動きベクトルを統合して新たな動きベクトルとして記録するようにしてもよい。また例えば、静止画記録コントローラ 1301は、静止画記録用シャツタ一であってもよ、。その場合は動きベクトルを記録する必要はな、。

[0076] 静止画符号化器 1202は、メモリ 302から読み出した画像を、静止画として符号ィ匕する。また、静止画記録コントローラ 1301からの入力を受け、指示内容にしたがって、静止画を符号化する。符号ィ匕した静止画は多重化器 306を経て、記録器 307に出力される。

[0077] ここで図 13の記録装置において、高速度カメラ 301を用いて撮影して動きベクトルを求めた後、静止画はそのままあるいは必要なフレームだけ、動画は動きブレを加えて記録することにより、従来の再生システムとの動画符号ィ匕方式の互換性を保つことができる。

[0078] (再生装置）

図 14は、フレーム補間処理を実行する再生装置を説明するブロック図である。この再生装置は、図 3に示した再生装置にフレーム補間部 1401をカ卩えた構成になっている。フレーム補間部 1401により、フレームを間引き処理した映像を、もとのフレームで再生できるようにフレーム補間する。このフレーム補間部 1401は、映像復号器 40 3で復号された映像を、 MV復号器 404で復号された動きベクトルにしたがって、フレーム補間する。この場合、動きベクトルは間引きされていない元のフレームに対応したものとする。フレーム補間された映像は、静止画の場合は静止画出力部 406に、動画の場合は動きブレ追加部 405に出力する。

[0079] 図 15は、動きベクトルの補間処理を実行する再生装置を説明するブロック図である。この再生装置は、図 14に示した再生装置に MV補間部 1501に加えた構成であり、動きベクトルも映像と同様に間引して記録する記録装置に対応している。 MV補間部 1501は、 MV復号器 404で復号された動きベクトルを補間する。補間された動きべクトルは、間引きされていない元のフレームに対応したものとなり、図 14に示した再生装置と同様に、フレーム補間部 1401、動きブレ追加部 405に出力される。このような構成により、図 14、図 15に示した再生装置では、動きベクトルを利用してフレームを補間した後に動きブレを追加することにより、映像を滑らかに再生することができる。

[0080] なお、図 14、図 15において、静止画出力部 406への入力は、フレーム補間部 140 1からではなぐ映像復号器 403から取り出すようにしてもよい。また、図 2のように動きブレ追加部を備えた記録装置に対応する再生装置の場合は、動きブレ追加部 405 は不要となる。

[0081] 図 16は、高品位なスロー再生を実現する再生装置の構成を説明するブロック図である。この再生装置は、図 3に示した再生装置に、フレーム補間部 1401、映像出力部 1602、再生スピードコントローラ 1601をカ卩え、静止画出力部 406と動画出力部 4 07を除ヽた構成になってヽる。

[0082] フレーム補間部 1401は、映像復号器 403から出力された復号映像を、フレーム補間する。フレーム補間部 1401は映像復号器力も入力されるフレームだけでなぐ M V復号器 404からの動きベクトルにも基づいて補間を実行する。

[0083] 映像出力部 1602は、動きブレ追加部 405で動きブレを追加された映像を再生する。再生スピードコントローラ 1601は、再生器 401、逆多重化器 402、映像復号器 403 、動きブレ追加部 405、フレーム補間部 1401の各部に、スピード制御信号を入力することにより、各部における動作速度を制御し、それにより再生スピードを制御する。

[0084] このように再生スピードコントローラ 1601によって再生スピードを制御することができるので、映像の再生スピードを下げることもでき、それにより映像のスロー再生を実現することができる。その一方で、スロー再生により表示される単位時間当たりのフレーム数の減少に対して、フレーム補間部 1401によってフレームを補間するので、スロー再生した映像を違和感なく視聴することができる。スロー再生された映像は、 MV 復号器 404によって復号された動きベクトルにしたがって動きブレ追加部 405による動きブレを追加する。それにより、映像出力部 1602から滑らかな動きの映像を出力することができる。

[0085] 以上のように説明した図 16の再生装置によれば、記録装置において高精度に求まつた動きベクトルを用いてフレーム補間することにより、高画質な補間画像を得ることができる。これを利用して、動きブレの少ない静止画から滑らかな動画までシームレスに高品位なスロー再生を行うことができる。

[0086] 高品位なスロー再生は、以下の i)〜iii)のいずれにおいても、補間するフレームに対応する動きベクトルが高精度に求まって!/ヽれば、可能となる。

i)高いフレームレートで撮影して、通常の動画再生のレートまでフレーム間引きして画像を記録した場合。

ii)通常の動画再生のフレームレートで撮影してそのまま画像を記録した場合。

iii)通常のフレームレート以下に間引きして画像を記録した場合。

[0087] 図 17は、オブジェクト別の再生を実現する再生装置の構成を説明するブロック図である。この再生装置は、図 3に示した再生装置に、 MVグルーピング部 1702、ォブジェクト処理部 1701、映像出力部 1602をカ卩え、動きブレ追加部 405、静止画出力部 4 06、動画出力部 407を除いた構成になっている。 [0088] MVグルーピング部 1702は、 MV復号器 404で復号された動きベクトルをグループ化してオブジェクト処理部 1701に出力する。オブジェクト処理部 1701は、 MVグルービング部 1702から出力された、グループ化された動きベクトルの入力を受けて、映像復号器 403から出力された映像に含まれるオブジェクトの、認識 '追跡'分離を実行する。また、得られたオブジェクトについて色処理を実行したり、オブジェクトの置換処理を実行したりすることもできる。映像出力部 1602は、オブジェクト処理部 1701 力出力された映像を再生する。

[0089] このように、 MV復号器 404によって復号された動きベクトルは、 MVグルーピング部 1702によって似た動きのベクトルがグルーピングされる。したがって、オブジェクト処理部 1701によって似た動きのベクトルによるオブジェクトを、別々に処理することができる。

[0090] ここでさらに、記録装置において高速度撮影を行うことによって、オプティカルフロ一などのピクセル単位の動きも正確に求められるようになる。そして、ピクセル単位の動きを解析することによって、物体の距離の推定やオブジェクト認識の精度が高まり、立体視化ゃオブジェクトごとの別処理'オブジェクトの置換処理なども可能となる。そのようなことが、通常の動画撮影と同時に行える。

[0091] 以上のように説明した図 17の再生装置によれば、例えば似た動きのベクトルをダル一ビングすることにより、動きベクトルが高精度に求まっているため、オブジェクト認識 •追跡 '分離ができる。したがって、オブジェクト毎に色や明るさを調整したり、ォブジェクトを別のオブジェクトに置換したりすることができる。

[0092] 図 18は、図 12のように、動きブレ追加部がなぐ静止画を個別の符号化器で符号化して多重する記録装置に対応した再生装置の構成を説明するブロック図である。この再生装置は、図 3に示した再生装置の映像復号器 403を動画復号器 1102に置き換え、静止画出力部 406と動画出力部 407を映像出力部 1103に置き換え、静止画復号器 1101を加えた構成になっている。

[0093] 静止画復号器 1101は、逆多重化器 402で逆多重化された静止画を復号する。復号後の静止画は、映像出力部 1103に出力する。動画復号器 1102は、逆多重化器 402で逆多重化された動画を復号する一方、 MV復号器 404は、動きベクトルを復号する。そして、動きブレ追加部 405は、動画に動きブレを追加して、映像出力部 11 03に出力する。映像出力部 1103は、入力された静止画または動画を再生する。

[0094] 以上のように説明した図 18の再生装置は、動画再生時は動きベクトルが示す動き方向と動き量に応じて動きブレを追加して再生し、静止画再生時には高解像度の静止画を再生することができる。

[0095] 図 19は、図 13のように、動きブレ追加部があり、静止画を個別の符号化器で符号化して多重する記録装置に対応した再生装置の構成を説明するブロック図である。この再生装置は、図 3に示した再生装置の再生器 401と逆多重化器 402に、静止画復号器 801、動画復号器 802、映像出力部 803をカ卩えた構成になっている。

[0096] 静止画復号器 801は、逆多重化器 402から静止画が出力された場合、静止画を復号して映像出力部 803に出力する。動画復号器 802は、逆多重化器 402から動画が出力された場合、動画を復号して映像出力部 803に出力する。映像出力部 803は、静止画復号器 801から出力された静止画、または動画復号器 802から出力された動画を再生する。

[0097] 以上のように説明した図 19の再生装置が対応する記録装置では、高速度カメラで得られたブレの少ない高画質な静止画をユーザー領域などに多重化するものとする。一方、動画は必要に応じて解像度変換を行ったあと動きベクトルが示す動き方向と動き量に応じて動きブレを追加し、従来の再生装置で再生可能な領域に多重化するものとする。これにより、従来の再生装置では通常の動画が再生でき、本記録装置に対応した図 19の再生装置では、通常の動画に加えてブレの少ない高画質な静止画ち再生でさる。

[0098] このようにして、従来の動画再生装置と互換性を確保しつつ高画質な静止画の再生を行うことができる。なお、記録装置において、静止画を間欠記録して、静止画間の動きベクトルも記録するようにすれば、対応再生装置で MV復号器を持てば、静止画を利用した高解像度の動画あるいは擬似動画を再生することができる。

[0099] 図 20は、 DVDビデオカメラまたは HDVカメラに応用した場合の記録装置の構成を説明するブロック図である。この記録装置は、図 8に示した記録装置に、システムコントロールユニット 2001、レート調整部 2002、同期ヘッダ生成部 2003、音声符号ィ匕器 2004、ノッキング部 2005〜2007を加え、記録器 307を DVD記録部 2010、 HD V記録部 2020に置き換えた構成になっている。この図 12を参照して、記録装置の D VDビデオカメラ ZHDVカメラへの応用例を示す。

[0100] この記録装置では、高速度カメラ 301から得られた映像について、 MV算出部 303 は、動きベクトルを高い精度で求める。 MV統合部 601は、フレーム間引き部 501によるフレーム間引きのレートに対応してこの動きベクトルを統合する。そして、映像符号化器 304および MV符号化器 305では、フレーム間引きされた映像と統合された動きベクトルがそれぞれ符号化される。ここで映像符号ィ匕には MPEGを用いるものとし、統合された動きベクトルを映像符号化に利用している。

[0101] その際、動きベクトルは映像データ記録領域の中に動き情報として収納されるが、映像データ記録領域に収納しきれなヽ動きベクトルデータや、オプティカルフローから求めた任意形状変化に対応する動きベクトルなどは、映像データとは別にパッキング部 2006でパッキングを行、プライベートストリームとして記録しても良！、。

[0102] システムコントロールユニット 2001は、付加的な動きベクトルデータ分を記録することによるデータ量増加分に対応するため、必要であれば映像データや音声データのビットレート調整を制御する。レート調整部 2002は、システムコントロールユニット 20 01による制御を受け、映像符号化器 304、 MV符号化器 305、音声符号化器 2004 のレートを制御する。同期ヘッダ生成部 2003は、システムコントロールユニット 2001 による制御を受けて同期ヘッダを生成し、パッキング部 2005〜2007に出力する。

[0103] 一方、音声符号化器 2004は、入力された音声を符号化する。映像符号化器 304、 MV符号化器 305、音声符号化器 2004は、レート調整部 2002によるレート調整を受けて、ノッキング部 2005〜2007にそれぞれ符号ィ匕したデータを出力する。パッキング部 2005〜2007は、同期ヘッダ生成部 2003から出力された同期ヘッダを受けて、符号化されたデータのパッキングを実行する。すなわち、同期用のパケットへッダーを付加する。そして、 AUXデータとともに多重化器 306に出力する。

[0104] 多重ィ匕器 306は、ノッキングされたデータを多重化して、記録用 DVD2012に記録する場合は、 DVD記録部 2010に、 HDV2022に記録する場合は、 HDV記録部 20 20に出力する。 [0105] その後、 DVD記録部 2010は、変調器 2011で変調を実行して記録用 DVD2012 に記録する。記録用 DVD2012は、記録可能な DVD (デジタルビデオディスク）である。 HDV記録部 2020は、変調器 2021で変調を実行して、 HDV2022に記録する。 HDVメディア 2022は、 HDV規格の映像を記録することができるメディアである。

[0106] 以上のように説明した図 20の記録装置によれば、動きブレの少ない映像と高精度の動きベクトルを記録するので、ブレの少ない静止画あるいは動きブレを含む滑らかな動きの動画の再生を、 DVDビデオカメラまたは HDVカメラにぉヽて実現することができる。さらに、動きベクトルの精度が高いので、従来と同一のビットレートでより高画質な記録、あるいは同程度の画質でより長時間の記録を行うことができる。

[0107] 図 21は、 DVカメラに応用した場合の記録装置の構成を説明するブロック図である。この記録装置は、図 8に示した記録装置に、音声符号化器 2004、変調器 2100、 DVメディア 2101をカ卩えた構成になっている。この図 13を参照して、記録装置の DV (デジタルビデオ)カメラへの応用例を示す。

[0108] 映像符号化器 304が映像を符号ィ匕し、 MV符号化器 305が動きベクトルを符号ィ匕するのと同様に、音声符号化器 2004は、入力された音声を符号化する。そして、それぞれ多重化器 306に入力する。多重化器 306〖こは、音声の他映像、動きベクトルが入力されるのでこれらを多重化して変調器 2100に出力する。なお、 DV規格では、映像符号ィ匕には動きベクトルを利用しない。

[0109] 高速度カメラ映像力も得られた高精度動きベクトルは、 MV統合部 601にお、て、フレーム間引きのレートに対応して統合する。そして符号ィ匕されたのち、多重化器 30 6において、映像データとは別にパッキングされ、付加データ領域あるいは未使用のリザーブ領域を利用して映像データ、音声データに多重される。そして、変調器 210 0において変調した上で、 DVメディア 2101に記録される。 DVメディア 2101は、 DV 規格の映像を記録することができるメディアである。

[0110] 以上のように説明した図 21の記録装置によれば、動きブレの少ない映像と高精度の動きベクトルを記録するので、ブレの少ない静止画あるいは動きブレを含む滑らかな動きの動画の再生を、 DVカメラにぉ、て実現することができる。

[0111] なお、本発明における動きベクトルの符号ィ匕と多重化とは、 MPEGのような映像符号ィ匕における動きベクトルの符号化と多重化を含むものとする。また、各実施例は、本発明を限定するものではなぐ各実施例で説明した各構成要素は、組み合わせることが可能であり、組み合わせにより種々変形例を作ることができる。たとえば、図 11 の解像度変換と図 9のフレーム間引きを同時に行って記録してもよい。

なお、以上のように説明した記録方法は、予め用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することにより実現することができる。このプログラムは、ハードディスク、フレキシブルディスク、 CD-ROM, MO、 DVDなどのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体力も読み出されることによって実行される。またこのプログラムは、ィンターネットなどのネットワークを介して配布することが可能な伝送媒体であってもよい。

Claims

請求の範囲

[1] 一連の画像を高速のシャッター速度で連続して撮影する撮影手段と、

前記撮影手段によって撮影された一連の画像の前後関係に基づいて、動きべタトルを求める算出手段と、

前記撮影手段によって撮影された一連の画像を、該画像に対応する動きベクトルとともに記録する記録手段と、

を備えることを特徴とする記録装置。

[2] 前記一連の画像からフレームを間弓 Iくフレーム間弓 Iき手段を備えることを特徴とする請求項 1に記載の記録装置。

[3] 前記間弓 Iかれたフレームに対応する動きベクトルを統合する動きベクトル統合手段を備え、

前記記録手段は、前記一連の画像を、前記統合された動きベクトルとともに記録することを特徴とする請求項 2に記載の記録装置。

[4] 前記一連の画像の解像度を変換する解像度変換手段を備えることを特徴とする請求項 1〜3のいずれか一つに記載の記録装置。

[5] 前記求められた動きベクトルを用いて、前記一連の画像を符号化する符号化手段を備えることを特徴とする請求項 1に記載の記録装置。

[6] 前記符号化手段は、前記一連の画像とともに動きベクトルを当該一連の画像の符号ィ匕データの一部として多重化することを特徴とする請求項 5に記載の記録装置。

[7] 前記一連の画像に含まれる画像のうち、静止画を記録するタイミングを制御する制御手段を備えることを特徴とする請求項 1に記載の記録装置。

[8] —連の画像を高速のシャッター速度で連続して撮影する撮影手段と、

前記算出手段によって求められた動きベクトルに基づいて動きブレを求め、前記撮影手段によって撮影された一連の画像に、前記動きブレを追加する追加手段と、前記追加手段によって動きブレを追加された一連の画像を記録する記録手段と、を備えることを特徴とする記録装置。

[9] 前記記録手段は、前記動きベクトルを、前記動きブレを追加された一連の画像とともに記録することを特徴とする請求項 8に記載の記録装置。

[10] 前記一連の画像力フレームを間引くフレーム間引き手段を備えることを特徴とする請求項 8または 9に記載の記録装置。

[11] 前記間弓 Iかれたフレームに対応する動きベクトルを統合する動きベクトル統合手段を備え、

前記記録手段は、前記一連の画像を、前記統合された動きベクトルとともに記録することを特徴とする請求項 10に記載の記録装置。

[12] 前記一連の画像の解像度を変換する解像度変換手段を備えることを特徴とする請求項 8に記載の記録装置。

[13] 前記求められた動きベクトルを用いて、前記一連の画像を符号化する符号化手段を備えることを特徴とする請求項 8に記載の記録装置。

[14] 符号化手段は、前記一連の画像とともに動きベクトルを当該一連の画像の符号ィ匕データの一部として多重化することを特徴とする請求項 8に記載の記録装置。

[15] 前記一連の画像に含まれる画像のうち、静止画を記録するタイミングを制御する制御手段を備えることを特徴とする請求項 8に記載の記録装置。

[16] 請求項 1〜7のいずれか一つに記載の記録装置によって記録された一連の画像を再生する再生装置であって、

前記記録装置によって記録された一連の画像に、前記記録装置によって記録された動きベクトルに基づいて動きブレを追加する追加手段と、

を備えることを特徴とする再生装置。

[17] 前記動きベクトルに基づいて、フレームを補間するフレーム補間手段を備えることを特徴とする請求項 16に記載の再生装置。

[18] 前記動きベクトルを補間する動きべ外ル補間手段を備えることを特徴とする請求項

17に記載の再生装置。

[19] 前記一連の画像を再生する速度を制御する速度制御手段を備えることを特徴とする請求項 16〜18のいずれか一つに記載の再生装置。

[20] 請求項 1〜7および 9〜15のいずれか一つに記載の記録装置によって記録された一連の画像を再生する再生装置であって、

前記記録装置によって記録された動きベクトルをグルーピングするグルーピング手段と、

前記グルーピングされた動きベクトルに対応するオブジェクト毎に処理する処理手段と、

を備えることを特徴とする再生装置。

[21] 請求項 7に記載の記録装置によって記録された一連の画像を再生する再生装置であって、

前記記録装置によって記録された静止画を再生する第一の再生手段と、前記記録装置によって記録された一連の画像に、前記記録装置によって記録された動きベクトルに基づ、て動きブレを追加して、動画として再生する第二の再生手段と、

を備えることを特徴とする再生装置。

[22] 請求項 15に記載の記録装置によって記録された一連の画像を再生する再生装置であって、

前記記録装置によって記録された静止画を再生する第一の再生手段と、前記記録装置によって記録された一連の画像を動画として再生する第二の再生手段と、

を備えることを特徴とする再生装置。

[23] 一連の画像を高速のシャッター速度で連続して撮影する撮影工程と、

前記撮影工程によって撮影された一連の画像の前後関係に基づいて、動きべタトルを求める算出工程と、

前記撮影工程によって撮影された一連の画像を、該画像に対応する動きベクトルとともに記録する記録工程と、

を含むことを特徴とする記録方法。

[24] 一連の画像を高速のシャッター速度で連続して撮影する撮影工程と、

前記撮影工程によって撮影された一連の画像の前後関係に基づいて、動きべタトルを求める算出工程と、前記算出工程によって求められた動きベクトルに基づいて動きブレを求め、前記撮影工程によって撮影された一連の画像に、前記動きブレを追加する追加工程と、前記追加工程によって動きブレを追加された一連の画像を記録する記録工程と、を含むことを特徴とする記録方法。

[25] 請求項 23または 24に記載の記録方法をコンピュータに実行させることを特徴とする記録プログラム。

[26] 請求項 25に記載の記録プログラムを記録したことを特徴とするコンピュータに読み取り可能な記録媒体。