JP4483501B2 - 静止画を動画再生するための前処理を行う画像処理装置、プログラム、および方法 - Google Patents

静止画を動画再生するための前処理を行う画像処理装置、プログラム、および方法 Download PDF

Info

Publication number
JP4483501B2
JP4483501B2 JP2004276063A JP2004276063A JP4483501B2 JP 4483501 B2 JP4483501 B2 JP 4483501B2 JP 2004276063 A JP2004276063 A JP 2004276063A JP 2004276063 A JP2004276063 A JP 2004276063A JP 4483501 B2 JP4483501 B2 JP 4483501B2
Authority
JP
Japan
Prior art keywords
frames
frame
image
processing apparatus
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2004276063A
Other languages
English (en)
Other versions
JP2006094058A (ja
Inventor
啓一 新田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2004276063A priority Critical patent/JP4483501B2/ja
Priority to US11/229,747 priority patent/US7764310B2/en
Priority to EP20050020594 priority patent/EP1641276A1/en
Publication of JP2006094058A publication Critical patent/JP2006094058A/ja
Priority to US12/654,059 priority patent/US8289411B2/en
Application granted granted Critical
Publication of JP4483501B2 publication Critical patent/JP4483501B2/ja
Priority to US12/801,622 priority patent/US8111297B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/93—Regeneration of the television signal or of selected parts thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/915—Television signal processing therefor for field- or frame-skip recording or reproducing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0077—Types of the still picture apparatus
    • H04N2201/0084—Digital still camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Television Signal Processing For Recording (AREA)
  • Television Systems (AREA)

Description

本発明は、複数の静止画を円滑に動画表示するための画像処理技術に関する。
従来、電子カメラで撮影された複数フレームの静止画を、ユーザーによるコマ送り釦の操作によって、順次にコマ送り再生する技術が知られている（例えば、特許文献１）。
特開平９−１１６８５２号公報（段落０００８など）
本発明者は、持続的に撮影された複数フレームの静止画を素材にして、良質な動画再生を実現することを考えた。このような機能が実現すれば、インターネット上の電子アルバムやホームページ上において、静止画として格納された画像を動画として公開することが可能になり、画像鑑賞の楽しみ方が一段と拡がる。
また、画像編集ソフトなどにおいて複数フレームからなる静止画を動画像として再生した場合、膨大な数の静止画を短時間に観ることができる。また、この動画再生により、膨大な数の静止画の中から所望の静止画を迅速に見つけ出すことも可能になる。
ところで、映画やテレビのような滑らかな動きを表示するためには、１秒間当たり１８〜３０フレーム程度の画像が必要になる。
一方、上述した電子カメラの静止画撮影では、比較的高速な連続撮影モードであっても、１秒間当たり２〜８フレーム程度の撮影間隔となる。このような撮影間隔の静止画を単純にコマ送り再生した場合、画像の動きがぎこちなく、良質な動画再生は困難であった。
また、仮に連続撮影モードにおける撮像のフレームレートが１秒あたり３０フレームとなったとしても、静止画としての鑑賞に適したブレのない（撮像素子の蓄積効果の少ない）静止画を単純にコマ送り再生した場合、画像の動きがぎこちなく良質な動画再生は困難であった。
そこで、本発明は、撮影間隔の粗い静止画や静止画としての鑑賞に適したブレの少ない静止画を素材にして、良質な動画再生を実現するための画像処理技術を提供することを目的とする。
《１》
本発明の画像処理装置は、静止画撮影された複数の静止画フレームからなる画像データを円滑に動画として表示するための前処理を実施する画像処理装置であって、画像入力部、フレーム補間部、および合成部を備える。
画像入力部は、複数の静止画フレームを取り込む。
フレーム補間部は、複数の静止画フレームを撮影順の時間軸に沿ってフレーム補間を行い、補間フレームを生成する。
合成部は、「静止画フレームおよび補間フレーム」または「複数の補間フレームどうし」について、時間軸の方向にずらしながら複数回の移動加算を行って、動画の中の１フレームをそれぞれ構成する合成フレームを複数生成する。合成部は、複数の合成フレームを使って円滑な動画表示を可能とするために、複数の合成フレームを得る各移動加算時の加算フレーム数を変更する。
《２》
なお好ましくは、合成部は、静止画フレームを撮影した際の電荷蓄積時間が短くなるほど、静止画フレームを動画表示したときのフレーム間ごとの動きの乖離度を大きく設定し、乖離度が大きくなるに従って、各合成フレームを得る際の加算フレーム数を増加するように制御しながら移動加算する。
《３》
また好ましくは、合成部は、静止画フレームの撮影間隔が長くなるほど、静止画フレームを動画表示したときのフレーム間ごとの動きの乖離度を大きく設定し、乖離度が大きくなるに従って、合成フレームを得る際の加算フレーム数を増加するように制御しながら移動加算する。
《４》
なお好ましくは、合成部は、静止画フレーム間における画像の移動量（動き量）が大きいほど、静止画フレームを動画表示したときのフレーム間ごとの動きの乖離度を大きく設定し、乖離度が大きくなるに従って、合成フレームを得る際の加算フレーム数を増加するように制御しながら移動加算する。
《５》
また好ましくは、合成部は、画面内の複数箇所から求めた動きの内、最大の動き量が大きいほど、前記乖離度を大きく設定する。
《６》
なお好ましくは、合成部は、動画表示の表示フレームレートが少ないほど、静止画フレームを動画表示したときのフレーム間ごとの動きの乖離度を大きく設定し、乖離度が大きくなるに従って、合成フレームを得る際の加算フレーム数を増加するように制御しながら移動加算する。
《７》
また好ましくは、合成部は、動画表示の表示ズーム倍率が大きくなるほど、静止画フレームを動画表示したときのフレーム間ごとの動きの乖離度を大きく設定し、乖離度が大きくなるに従って、合成フレームを得る際の加算フレーム数を増加するように制御しながら移動加算する。
《８》
なお好ましくは、フレーム補間部は、乖離度が大きくなる従って、静止画フレーム間において生成する補間フレーム数を増加する。
《９》
また好ましくは、合成部は、移動加算するフレーム数を増やして、各合成フレームの高域空間周波数成分を抑制する。
《１０》
なお好ましくは、合成部は、時間的に隣り合う合成フレームを生成する際に、静止画フレーム、または補間フレームを共通して用いることで、動画表示の円滑さを高める。
《１１》
また好ましくは、合成部は、時間的に隣り合う合成フレームを生成する際に、共通して用いられる静止画フレーム、または補間フレームの数を増やして、合成フレームの高域空間周波数成分を抑制する。
《１２》
また好ましくは、合成部は、完成した動画を、動画像ファイルとして記録する記録部を備える。
《１３》
本発明の画像処理プログラムは、コンピュータを、上記《１》〜《１２》のいずれか１つの画像入力部、フレーム補間部、合成部として機能させることを特徴とする。
《１４》
本発明の画像処理方法は、静止画撮影された複数の静止画フレームからなる画像データを円滑に動画表示するための前処理を実施する画像処理方法である。この画像処理方法は、次のステップを実行する。
ステップ１： 複数の静止画フレームを取り込むステップ。
ステップ２： 複数の静止画フレームを撮影順の時間軸に沿ってフレーム補間を行い、補間フレームを生成するステップ。
ステップ３： 「静止画フレームおよび補間フレーム」または「複数の補間フレームどうし」について、時間軸の方向にずらしながら複数回の移動加算を行って、動画の中の１フレームをそれぞれ構成する合成フレームを複数生成するステップ。
合成フレームを複数生成するステップでは、複数の合成フレームを使って円滑な動画表示を可能とするために、複数の合成フレームを得る各移動加算時の加算フレーム数を変更する。
［１］
本発明の画像処理装置は、まず、静止画撮影された複数の静止画フレームを取り込む。次に、画像処理装置は、これら静止画フレーム間を時間軸方向に補間し、補間フレームを生成する。画像処理装置は、これらの「静止画フレームおよび補間フレーム」または「複数の補間フレームどうし」について時間軸の方向にずらしながら複数回の移動加算を行って、動画の中の１フレームをそれぞれ構成する合成フレームを複数生成する。画像処理装置は、複数の合成フレームを使って円滑な動画表示を可能とするために、複数の合成フレームを得る各移動加算時の加算フレーム数を変更する。
これらの合成フレームは、補間処理によって撮影間隔を擬似的に短縮した画像（動き）が重畳されたものとなる。この重畳により合成フレームには疑似的な像流れが付加され、動きの乖離が小さくなる。その結果、これらの合成フレームは動画再生に使用することによって、滑らかな動画再生が可能になる。
［２］
なお、画面内の被写体が小さく、かつ１箇所のみの動き検出では、その被写体の高速移動を検出できないおそれがある。
そこで、本発明では、画面内の複数箇所から動きを求め、その動きの内、最大の動き量を検出することが好ましい。この処理により、被写体の高速移動に伴う動きのぎこちなさを確実に改善することが可能になる。
［３］
また、各合成フレームの高域空間周波数成分を抑制する手法としては、移動加算するフレーム数を増やすことも好ましい。
この場合、合成フレームに擬似的に現れる像流れを大きくすることができる。
［４］
さらに、本発明では、時間的に隣り合う合成フレームを生成する際に、静止画フレームまたは補間フレームを共通して用いることが好ましい。
このような処理により、合成フレーム間に残像が生まれ、動画表示の円滑さを高めることができる。
［５］
また、本発明では、時間的に隣り合う合成フレームを生成する際に、共通して用いられる静止画フレーム、または補間フレームの数を増やすことが好ましい。この場合、合成フレームの高域空間周波数成分を抑制して動画表示の円滑さを高めることができる。
［６］
また、本発明では、完成した動画を、動画像ファイルとして記録することが好ましい。
《実施形態の構成説明》
図１は、本実施形態の電子カメラ１００（画像処理装置を含む）を示すブロック図である。
図１において、電子カメラ１００には、撮影レンズ２が装着される。この撮影レンズ２の通過光束は、絞り１３を介して、撮像素子１に被写体像を結像する。この撮像素子１は、駆動部３からの駆動パルスによって駆動されることにより、静止画フレームの画像データを出力する。
この画像データは、第１処理部４に入力され、直流再生、Ａ／Ｄ変換、ホワイトバランス、ガンマ変換、電子ズーム等の信号処理が施される。
第１処理部４から出力される画像データは、圧縮復号部５で画像圧縮処理が施され、圧縮データに変換される。この圧縮データは、撮像素子１の蓄積時間情報や撮影時刻などの付帯情報と共にまとめられ、静止画ファイルとして記録媒体６に逐次記録される。
この記録媒体６に記録された静止画ファイルは、圧縮復号部５によって復号化され、静止画フレームの画像データとして、第２処理部１１に与えられる。なお、第２処理部１１は、第１処理部４で処理済みの画像データを直に受け取ることもできる。
この第２処理部１１では、動作モードに応じて、再生用の画像処理を実施する。例えば、静止画動画撮像モードの設定状態において、第２処理部１１は、静止画フレームの画像データ群に対して、後述する動画加工モードの画像処理を施し、動画表示用の合成フレームを生成する。これらの合成フレームは、表示部１２に、動画として再生表示される。また、これらの合成フレームは、圧縮復号部５で画像圧縮された後、動画ファイルとして記録媒体６に記録される。
その他、電子カメラ１００には、制御部１０および操作部材８が設けられ、電子カメラ１００の設定操作やシステム制御などが実施される。
なお、表示部１２や記録媒体６を、電子カメラ１００の外部装置として別途設ける形態も可能である。この場合、表示部１２や記録媒体６は、ケーブル接続や無線インターフェースによって、電子カメラ１００と信号接続される。
《電子カメラ１００の撮像動作の説明》
図２は、電子カメラ１００における静止画動画撮像モードの動作フローチャートである。
以下、図２に示すステップ番号に沿って、静止画動画撮像モードの動作を説明する。
ステップＳ１： 制御部１０は、操作部材８（レリーズ釦）から撮影開始の操作を受け付けると、駆動部３に対して連写撮影を指示する。
ステップＳ２： 駆動部３は、撮像素子１に対して、静止画像としての鑑賞が可能なブレの少ない良質な静止画像を得るために、予め定められた電荷蓄積時間を与えるシャッタ制御を実施し、静止画フレームを生成する。ここでのシャッタ制御は、電子シャッタ制御、機械シャッタ制御のどちらでもよい。駆動部３は、この静止画フレームの生成動作を、第１処理部４内の処理バッファが溢れない撮影間隔で繰り返す。
これらの静止画フレームは、第１処理部４および圧縮復号部５を介して処理され、静止画像ファイルとして記録媒体６に順次記録される。これら静止画像ファイル内には、静止画フレームの圧縮データ、電荷蓄積時間、および撮影時刻などが格納される。
ステップＳ３： 第１処理部４は、連続撮影される静止画フレーム間においてフレーム間差分演算を実施し、このフレーム間差分演算の結果をもとに静止画フレーム間の画像動き量を検出する。
ステップＳ４： 制御部１０は、第１処理部４から取得する画像動き量が大きいほど、被写体ブレを防ぐために、次に撮像する静止画フレームの電荷蓄積時間の設定を短縮する。この処理により、ブレの少ない良質な静止画フレームを得ることができる。
なお、撮像素子１が、画素ごとに蓄積時間の制御が可能な場合には、動きが検出された撮像面上の部分領域に相当する画素に限って上記の処理を行ってもよい。
この場合には、動き領域の信号レベルが、動きの検出されない領域に比較して小さいものとなるので、これを補正するように動き領域のデータに対してレベル補正処理が行われる。
ステップＳ５： 制御部１０は、操作部材８（レリーズ釦）から連続撮影終了の操作を受け付けるまで、ステップＳ２に動作を戻し、静止画フレームの連続撮影を繰り返す。
一方、連続撮影終了の操作を受け付けると、制御部１０は、静止画動画撮影モードの動作を終了し、上記のようにして得られた静止画フレームデータから、動きの滑らかな動画像フレームデータを生成する動画加工モード（後述）に動作を移行する。
《動画加工モードの動作説明》
図３は、動画加工モードの動作フローチャートである。
以下、図３に示すステップ番号に沿って、第２処理部１１が主として実行する動画加工モードの動作について説明する。
ステップＳ１１： ユーザーは、電子カメラ１００のカスタム設定機能を利用して、表示部１２の動画表示の表示フレームレートを予め適宜に設定することができる。第２処理部１１は、この表示フレームレートの設定を、制御部１０を介して情報取得する。
表示部１２が電子カメラ１００の外部装置として別途設けられている場合には、制御部１０は表示部１２との接続ケーブルなどを介してこの情報を取得する。
ステップＳ１２： 制御部１０は、記録媒体６内の静止画像ファイル群（静止画動画撮像モードで撮影された一連のファイル群）を逐次に読み出し、圧縮復号部５に与える。圧縮復号部５は、この静止画像ファイル群を逐次に復号化し、複数の静止画フレームを第２処理部１１に順次出力する。
第２処理部１１は、この各々の静止画像フレームの撮影時刻をファイル内から読み出すことにより、静止画フレーム間の撮影間隔情報を取得する。
ステップＳ１３： ユーザーは、電子カメラ１００の操作部材８を操作することにより、表示部１２上の動画表示時の表示ズーム倍率を変更することができる。第２処理部１１は、この表示ズーム倍率の現時点の設定を、制御部１０から情報取得する。
なお、表示部１２が電子カメラ１００の外部装置として別途設けられている場合には、制御部１０は表示部１２との接続ケーブルなどを介してこの情報を取得することができる。
第２処理部１１は、この表示ズーム倍率に合わせて、静止画フレームに対して、ズーム処理（トリミングおよび解像度変換）を実施する。
ステップＳ１４： 第２処理部１１は、時間的に隣り合う静止画フレーム（以下、前フレーム、後フレームという）間において、ブロックマッチングを実施する。ここでは、前フレームを複数ブロックに分解し、個々のブロックとパターンが近い領域を後フレームから探索する。図４Ａは、この探索により求めたブロックごとの動きベクトルの一例を示す図である。
なお、このように求めた動きベクトルを、隣接ブロック間で平滑化して、動きベクトルの空間連続性を高めてもよい。また、平滑化後の動きベクトルの新たな終点近傍で探索を行うことにより、動きベクトルの精度を高めてもよい。
また、動きベクトルが大きく非連続変化しているブロックについては、そのブロックを更に分割して新たなブロックを生成し、これらブロックごとに動きベクトルを求めることが好ましい。
ステップＳ１５： 第２処理部１１は、ここまでに得た情報に基づいて、静止画フレーム間ごとに、下記のルールに従って、動きの乖離度（ぎこちなさ）ＡＷを総合評価する。
（１）電荷蓄積時間Ｔｃが短いほど、乖離度を大きくする。
（２）撮影間隔Ｔｉが長くなるほど、乖離度を大きくする。
（３）画面内の最大の動きベクトルの大きさＭmaxが大きいほど、乖離度を大きくする。
（４）表示フレームレートＤＦが少ないほど、乖離度を大きくする。
（５）表示ズーム倍率ＤＺが大きいほど、乖離度を大きくする。
例えば、下記の評価式を用いて、乖離度ＡＷを求めてもよい。
ＡＷ＝ｗ１（１／Ｔｃ）＋ｗ２・Ｔｉ＋ｗ３・|Ｍmax|＋ｗ４（１／ＤＦ）＋ｗ５・ＤＺ
・・・（式１）
ただし、ｗ１〜ｗ５は、各々、上記（１）〜（５）の各要因が動画表示の際の動きのぎこちなさに与える影響度を示す係数であり、動画表示のぎこちなさを主観評価した実験などから決定すればよい。
ステップＳ１６： 第２処理部１１は、乖離度ＡＷの大きな静止画フレーム間ほど、補間フレーム数および加算フレーム数を増やすように設定する。具体的には、乖離度ＡＷの増加に応じて、補間フレーム数および加算フレーム数を比例増加または単調増加させればよい。また、乖離度ＡＷの増加に応じて、補間フレーム数および加算フレーム数を段階的に増加させてもよい。
ステップＳ１７： 第２処理部１１は、ブロックマッチングによって得た局所的な動きベクトルをステップＳ１６で設定された補間フレーム数で内分し、ブロックごとに内分位置（図４Ｂに示すＰ１，Ｐ２）を求める。
図４Ｂは、静止画フレームＫとこれより時間的に後に隣接する静止画フレームＮの２フレームと静止画フレームＫ中の局所領域Ｆの動きベクトルＶの関係を立体的に示したものである。
ここでは、前述の補間フレーム数が２であり、補間フレームＬ，Ｍを生成する場合について考える。この例では、静止画フレームＫ内の領域Ｆは、これより時間的に後の静止画フレームＮにおいては領域ＦＮに移動している。この領域Ｆの移動の様子を示すのが動きベクトルＶである。
補間フレーム（Ｌ，Ｍ）は、静止画フレームＫと静止画フレームＮとの間に時間的に等間隔となるように生成される。
従って、補間フレームＬ，Ｍにおける局所領域Ｆの位置は、各々、図４Ｂに示される動きベクトルＶと補間フレームＬ，Ｍとの交点Ｐ１，Ｐ２となる。すなわち、Ｐ１，Ｐ２は、動きベクトルＶを補間フレームの数に応じて内分した内分位置に相当する
第２処理部１１は、前後の静止画フレームＫ，Ｎから、動きベクトルＶの始終点Ｆ，ＦＮに該当する局所領域をそれぞれ抽出して内分位置（例えばＰ１，Ｐ２）に移動し、内分比に従って加重加算する（図４Ｂ参照）。
例えば、図４Ｂの例では、内分点Ｐ１における局所領域の画像データは、静止画フレームＫ中の局所領域Ｆと静止画フレームＮ中の局所領域ＦＮを、補間フレームＬの内分点Ｐ１に移動して、両局所領域の画像データを、各々、内分比に応じた２／３倍，１／３倍の加重比率で加算することによって求める。同様に、内分点Ｐ２における局所領域の画像データは、静止画フレームＫ中の局所領域Ｆと静止画フレームＮ中の局所領域ＦＮを、補間フレームＭの内分点Ｐ２に移動して、両局所領域の画像データを、各々、内分比に応じた１／３倍，２／３倍の加重比率で加算することによって求める。
この加重加算をフレーム全域にわたって実施することにより、前後の静止画フレーム間の動きを擬似的に中割（なかわり）した補間フレームを生成することができる。
このようにして生成された補間フレームを静止画フレームとともに記録媒体６に記録する構成とすれば、例えば表示フレームレートの設定が変更されるなどして、乖離度ＡＷが変化した場合に補間フレーム生成処理を行うことなく、後述する合成フレームを生成することができる。
ステップＳ１８： 第２処理部１１は、ステップＳ１１で得られた表示フレームレート情報に従って、撮影によって取得した静止画フレームおよびステップＳ１７で生成された補間フレームの中から、表示の核とする表示フレームを等間隔で選択する。
図５に示す表示フレームＤは、このようにして選択された表示の核とする表示フレームである。
ステップＳ１９： 第２処理部１１は、選択された表示の核とする表示フレームに対して、時間的に前後する静止画フレームおよび／または補間フレームをステップＳ１６で求められた加算フレーム数だけ抽出した上で、時間軸の方向に移動加算し、合成フレームを生成する。
なお、合成フレームの生成に際して、表示の核とする表示フレームに移動加算しているフレームは、表示の核とする表示フレームに時間的に前後するフレームだけに限定されず、時間的に前のフレームのみを用いるものであっても、時間的に後のフレームのみを用いるものであってもよい。
また、この移動加算の重み比率は、表示の核とする表示フレームを大きくし、表示の核とする表示フレームから離れるに従って小さくすることが好ましい。
例えば、図４Ｂの例において、加算フレーム数が３であり、表示の核とする表示フレームがＭの場合、フレームＬ，Ｍ，Ｎの画像データを各々１／４，１／２，１／４の加重比率で加算して合成フレームを得る。ここで、加算フレーム数は、ステップＳ１６で、乖離度ＡＷが大きいほど大きく設定されている。
このとき、前後の合成フレームおいて加算フレームの範囲をオーバーラップさせることにより、合成フレーム間に動きの繋がりを持たせることが好ましい。
例えば、図４Ｂの例において、加算フレーム数が５であり、表示の核とするフレームとして静止画フレームＫ，Ｎが選択されたとき、フレームＫの加算に用いられる後フレームとして補間フレームＬ，Ｍが使用され、フレームＮの加算に用いられる前フレームとして補間フレームＬ，Ｍが使用される。このように時間的に隣接する合成フレームの生成にあたり、共通のフレーム（ここでは補間フレームＬ，Ｍ）が用いられる。
これは、合成フレームを表示する際に、時間的に隣接する合成フレーム間で、移動する被写体像の領域がオーバーラップしていることを意味する。このオーバーラップの量が大きいほど、動きが滑らかに見える。
換言すれば、乖離度ＡＷが大きいほど、上記のオーバーラップの量（時間的に隣接する合成フレームの生成にあたり、重複して用いられるフレーム数）を大きくすることがのぞましい。このオーバーラップ量（フレーム数）は、ステップＳ１６で乖離度ＡＷが大きいほど大きく設定されている。
図５に示す合成フレームＣは、このようにして生成される合成フレームである。
図５の例では、表示の核として選択された表示フレームＤに対して、前後各々２フレームの画像データを加算して合成フレームＣが生成される様子を示している。
ステップＳ２０： 第２処理部１１は、画面内の最大の動きベクトルの大きさ|Ｍmax|が、閾値αより大きいか否かを判定する。この閾値αは、動画の１コマにダイナミックな動線表現を付加するか否かを決定する閾値であり、動画表示の自然さや表現意図などの観点から決定される。
大きさ|Ｍmax|が閾値αより大きい場合、第２処理部１１はステップＳ２１に動作を移行する。
一方、大きさ|Ｍmax|が閾値α以下の場合、第２処理部１１はステップＳ２２に動作を移行する。
ステップＳ２１： 第２処理部１１は、合成フレームに対して、動きベクトルの大きさおよび方向に合わせた平滑化フィルタをかける。この合成フレーム内のフィルタ処理により、動きベクトルに応じた動線表現を合成フレームに付加することができる。
なお、この平滑化フィルタの代わりに、合成フレームを圧縮符号化する段階で高域成分を除去することで平滑化を実施してもよい。例えば、ＪＰＥＧ方式の圧縮であれば、高域のＤＣＴ係数を一律ゼロに置き換えたり、高域の量子化ステップを大きくすることにより、高域成分の除去が可能になる。
また、上述の例では、画面内の最大の動きベクトルの大きさ|Ｍmax|が所定の閾値αより大きい場合に、合成フレーム内のフィルタ処理を行う例について説明したが、最大の動きベクトル|Ｍmax|の大きさに応じて、連続的に合成フレーム内のフィルタ処理特性を変更するものであってもかまわない。
なお、この場合にも、最大の動きベクトルの大きさ|Ｍmax|が大きいほど、合成フレーム内のフィルタの高域遮断特性がより低域から遮断するようにフィルタ処理特性を変更する。
ステップＳ２２： 第２処理部１１は、完成した合成フレームの群を、不図示の表示バッファに貯めるなどして、表示部１２に動画表示する。
ステップＳ２３： 第２処理部１１は、完成した合成フレームの群を、圧縮復号部５に与える。圧縮復号部５は、この合成フレームの群を圧縮符号化して動画ファイルを生成し、記録媒体６に記録する。
以上の処理により、静止画フレーム間の動きの乖離度が大きいほど、合成フレームの高域空間周波数成分が抑制される。その結果、円滑な動画表示が可能な合成フレーム（動画ファイル）を生成することができる。
なお、本実施形態では、主として静止画フレームと補間フレームとを時間軸方向に移動加算して合成フレームを生成する例について説明した。しかしながら、複数の補間フレームどうしを時間軸方向に加算して合成フレームを生成してもよい。
《実施形態の補足事項》
なお、本実施形態では、静止画フレームを一旦記録し、後処理により合成フレーム（動画ファイル）を生成している。しかしながら、本発明はこれに限定されるものではない。例えば、第１処理部４から出力される静止画フレームを第２処理部１１に与えることにより、直に合成フレーム（動画ファイル）を生成してもよい。
また、本実施形態では、本発明を電子カメラ１００に採用するケースについて説明した。しかしながら、本発明はこれに限定されるものではない。例えば、図３に示す処理動作をプログラム化して、コンピュータに実行させてもよい。
さらに、本実施形態の画像処理を、インターネット上のサーバーマシンなどで方法実施することにより、電子アルバム等の画像処理サービスとして提供することも可能になる。
以上説明したように、本発明は、画像処理装置などに利用可能な技術である。
本実施形態の電子カメラ１００を示すブロック図である。 電子カメラ１００における静止画動画撮像モードの動作フローチャートである。 動画加工モードの動作フローチャートである。 動きベクトルの検出と、補間フレームの生成動作とを説明する図である。 合成フレームの生成動作を説明する図である。
符号の説明
１ 撮像素子
２ 撮影レンズ
３ 駆動部
４ 第１処理部
５ 圧縮復号部
６ 記録媒体
８ 操作部材
１０ 制御部
１１ 第２処理部
１２ 表示部
１３ 絞り
１５ レンズ駆動回路
１００ 電子カメラ

Claims (14)

  1. 静止画撮影された複数の静止画フレームからなる画像データを円滑に動画として表示するための前処理を実施する画像処理装置であって、
    複数の前記静止画フレームを取り込む画像入力部と、
    複数の前記静止画フレームを撮影順の時間軸に沿ってフレーム補間を行い、補間フレームを生成するフレーム補間部と、
    「前記静止画フレームおよび前記補間フレーム」または「複数の前記補間フレームどうし」について、前記時間軸の方向にずらしながら複数回の移動加算を行って、前記動画の中の１フレームをそれぞれ構成する合成フレームを複数生成する合成部と、を有し、
    前記合成部は、前記複数の合成フレームを使って円滑な動画表示を可能とするために、該複数の合成フレームを得る各移動加算時の加算フレーム数を変更する
    ことを特徴とする画像処理装置。
  2. 請求項１に記載の画像処理装置において、
    前記合成部は、
    前記静止画フレームを撮影した際の電荷蓄積時間が短くなるほど、当該静止画フレームを動画表示したときのフレーム間ごとの動きの乖離度を大きく設定し、
    前記乖離度が大きくなるに従って、前記各合成フレームを得る際の加算フレーム数を増加するように制御しながら移動加算する
    ことを特徴とする画像処理装置。
  3. 請求項１に記載の画像処理装置において、
    前記合成部は、
    前記静止画フレームの撮影間隔が長くなるほど、当該静止画フレームを動画表示したときのフレーム間ごとの動きの乖離度を大きく設定し、
    前記乖離度が大きくなるに従って、前記合成フレームを得る際の加算フレーム数を増加するように制御しながら移動加算する
    ことを特徴とする画像処理装置。
  4. 請求項１に記載の画像処理装置において、
    前記合成部は、
    前記静止画フレーム間における画像の移動量（動き量）が大きいほど、当該静止画フレームを動画表示したときのフレーム間ごとの動きの乖離度を大きく設定し、
    前記乖離度が大きくなるに従って、前記合成フレームを得る際の加算フレーム数を増加するように制御しながら移動加算する
    ことを特徴とする画像処理装置。
  5. 請求項４に記載の画像処理装置において、
    前記合成部は、
    画面内の複数箇所から求めた動きの内、最大の動き量が大きいほど、前記乖離度を大きく設定する
    ことを特徴とする画像処理装置。
  6. 請求項１に記載の画像処理装置において、
    前記合成部は、
    前記動画表示の表示フレームレートが少ないほど、前記静止画フレームを動画表示したときのフレーム間ごとの動きの乖離度を大きく設定し、
    前記乖離度が大きくなるに従って、前記合成フレームを得る際の加算フレーム数を増加するように制御しながら移動加算する
    ことを特徴とする画像処理装置。
  7. 請求項１に記載の画像処理装置において、
    前記合成部は、
    前記動画表示の表示ズーム倍率が大きくなるほど、前記静止画フレームを動画表示したときのフレーム間ごとの動きの乖離度を大きく設定し、
    前記乖離度が大きくなるに従って、前記合成フレームを得る際の加算フレーム数を増加するように制御しながら移動加算する
    ことを特徴とする画像処理装置。
  8. 請求項２ないし請求項７のいずれか１項に記載の画像処理装置において、
    前記フレーム補間部は、
    前記乖離度が大きくなる従って、前記静止画フレーム間において生成する補間フレーム数を増加する
    ことを特徴とすることを特徴とする画像処理装置。
  9. 請求項１に記載の画像処理装置において、
    前記合成部は、
    前記移動加算するフレーム数を増やして、前記各合成フレームの高域空間周波数成分を抑制する
    ことを特徴とする画像処理装置。
  10. 請求項１ないし請求項９のいずれか１項に記載の画像処理装置において、
    前記合成部は、
    時間的に隣り合う前記合成フレームを生成する際に、前記静止画フレームまたは前記補間フレームを共通して用いることで、前記動画表示の円滑さを高める
    ことを特徴とする画像処理装置。
  11. 請求項１０に記載の画像処理装置において、
    前記合成部は、
    時間的に隣り合う合成フレームを生成する際に、共通して用いられる静止画フレーム、または補間フレームの数を増やして、合成フレームの高域空間周波数成分を抑制する
    ことを特徴とする画像処理装置。
  12. 請求項１ないし請求項１１のいずれか１項に記載の画像処理装置において、
    前記合成部は、
    完成した前記動画を、動画像ファイルとして記録する記録部を備える
    ことを特徴とする画像処理装置。
  13. コンピュータを、請求項１ないし請求項１２のいずれか１項に記載の前記画像入力部、前記フレーム補間部、前記合成部として機能させるための画像処理プログラム。
  14. 静止画撮影された複数の静止画フレームからなる画像データを円滑に動画表示するための前処理を実施する画像処理方法であって、
    複数の前記静止画フレームを取り込むステップと、
    複数の前記静止画フレームを撮影順の時間軸に沿ってフレーム補間を行い、補間フレームを生成するステップと、
    「前記静止画フレームおよび前記補間フレーム」または「複数の前記補間フレームどうし」について、前記時間軸の方向にずらしながら複数回の移動加算を行って、前記動画の中の１フレームをそれぞれ構成する合成フレームを複数生成するステップと、を備え、
    前記合成フレームを複数生成するステップでは、前記複数の合成フレームを使って円滑な動画表示を可能とするために、該複数の合成フレームを得る各移動加算時の加算フレーム数を変更する
    ことを特徴とする画像処理方法。
JP2004276063A 2004-09-22 2004-09-22 静止画を動画再生するための前処理を行う画像処理装置、プログラム、および方法 Active JP4483501B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2004276063A JP4483501B2 (ja) 2004-09-22 2004-09-22 静止画を動画再生するための前処理を行う画像処理装置、プログラム、および方法
US11/229,747 US7764310B2 (en) 2004-09-22 2005-09-20 Image processing apparatus, program and method for performing preprocessing for movie reproduction of still images
EP20050020594 EP1641276A1 (en) 2004-09-22 2005-09-21 Image processing apparatus, program, and method for performing preprocessing for movie reproduction of still images
US12/654,059 US8289411B2 (en) 2004-09-22 2009-12-09 Image processing apparatus, program, and method for performing preprocessing for movie reproduction of still images
US12/801,622 US8111297B2 (en) 2004-09-22 2010-06-17 Image processing apparatus, program, and method for performing preprocessing for movie reproduction of still images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004276063A JP4483501B2 (ja) 2004-09-22 2004-09-22 静止画を動画再生するための前処理を行う画像処理装置、プログラム、および方法

Publications (2)

Publication Number Publication Date
JP2006094058A JP2006094058A (ja) 2006-04-06
JP4483501B2 true JP4483501B2 (ja) 2010-06-16

Family

ID=35478250

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004276063A Active JP4483501B2 (ja) 2004-09-22 2004-09-22 静止画を動画再生するための前処理を行う画像処理装置、プログラム、および方法

Country Status (3)

Country Link
US (3) US7764310B2 (ja)
EP (1) EP1641276A1 (ja)
JP (1) JP4483501B2 (ja)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4483501B2 (ja) 2004-09-22 2010-06-16 株式会社ニコン 静止画を動画再生するための前処理を行う画像処理装置、プログラム、および方法
JP4429148B2 (ja) 2004-11-25 2010-03-10 富士フイルム株式会社 画像撮影記録装置及び方法
JP4742813B2 (ja) * 2005-10-28 2011-08-10 株式会社ニコン 画像処理装置および画像処理方法
JP2007325110A (ja) * 2006-06-02 2007-12-13 Canon Inc 撮像装置及び撮像装置の制御方法
JP4757113B2 (ja) * 2006-06-26 2011-08-24 キヤノン株式会社 撮像装置及びその制御方法、情報処理装置、印刷装置、印刷データ生成方法
EP2050073A4 (en) * 2006-08-11 2009-12-30 Thomson Licensing ACCURATE REPRESENTATION OF THE MOVEMENT FOR DIGITAL AND OPTICAL PROJECTORS
JP4762089B2 (ja) * 2006-08-31 2011-08-31 三洋電機株式会社 画像合成装置及び方法並びに撮像装置
JP5151454B2 (ja) * 2006-12-26 2013-02-27 カシオ計算機株式会社 撮像装置、記録・再生方法、及び、プログラム
JP5125294B2 (ja) * 2007-07-31 2013-01-23 株式会社ニコン プログラム、画像処理装置、撮像装置および画像処理方法
JP5226705B2 (ja) * 2008-02-04 2013-07-03 パナソニック株式会社 画像合成装置、画像合成方法、画像合成プログラム及び集積回路並びに撮像システム及び撮像方法
US8477217B2 (en) * 2008-06-30 2013-07-02 Sony Corporation Super-resolution digital zoom
DE102008031437A1 (de) * 2008-07-04 2010-01-07 Siemens Aktiengesellschaft Mobiler Energieträger und Energiespeicher
JP5217709B2 (ja) * 2008-07-09 2013-06-19 株式会社ニコン 画像処理装置および撮像装置
JP4427592B2 (ja) * 2008-08-04 2010-03-10 株式会社東芝 画像処理装置、および画像処理方法
KR101625983B1 (ko) * 2008-08-14 2016-06-14 삼성디스플레이 주식회사 표시장치의 구동방법 및 이를 이용한 표시장치의 구동회로
JP4993012B2 (ja) * 2009-10-14 2012-08-08 株式会社ニコン 撮像装置及び画像処理装置
CN102148952B (zh) * 2010-02-05 2013-12-11 鸿富锦精密工业（深圳）有限公司 视频影像压缩方法及其播放方法
WO2012008117A1 (ja) * 2010-07-15 2012-01-19 パナソニック株式会社 画像符号化装置及びカメラ
JP2012048491A (ja) * 2010-08-26 2012-03-08 Nec Biglobe Ltd 画像生成装置、画像生成方法、プログラムおよび記録媒体
JP2012142827A (ja) * 2011-01-05 2012-07-26 Sony Corp 画像処理装置および画像処理方法
US9792363B2 (en) * 2011-02-01 2017-10-17 Vdopia, INC. Video display method
TWI606418B (zh) * 2012-09-28 2017-11-21 輝達公司 圖形處理單元驅動程式產生內插的圖框之電腦系統及方法
JP6341814B2 (ja) * 2014-09-08 2018-06-13 キヤノン株式会社 撮像装置、その制御方法、及びプログラム
US9479694B2 (en) * 2014-10-28 2016-10-25 Google Inc. Systems and methods for autonomously generating photo summaries

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0294959B1 (en) * 1987-06-09 1994-10-05 Sony Corporation Television standards converters
AU652051B2 (en) * 1991-06-27 1994-08-11 Eastman Kodak Company Electronically interpolated integral photography system
GB2264416B (en) 1992-02-17 1995-07-12 Sony Broadcast & Communication Digital video signal processing
JPH06261243A (ja) 1993-03-05 1994-09-16 Sharp Corp 高精細静止画入力装置
US5943096A (en) * 1995-03-24 1999-08-24 National Semiconductor Corporation Motion vector based frame insertion process for increasing the frame rate of moving images
JPH09116852A (ja) 1995-10-16 1997-05-02 Nikon Corp 電子カメラ
JP3466032B2 (ja) 1996-10-24 2003-11-10 富士通株式会社 動画像符号化装置および復号化装置
JPH10257435A (ja) 1997-03-10 1998-09-25 Sony Corp 映像信号再生装置及び映像信号再生方法
US6151075A (en) * 1997-06-11 2000-11-21 Lg Electronics Inc. Device and method for converting frame rate
FR2768891B1 (fr) 1997-09-19 2000-02-04 Thomson Multimedia Sa Procede et dispositif d'interpolation temporelle d'images a compensation de mouvement
JP4253395B2 (ja) 1999-04-07 2009-04-08 オリンパス株式会社 電子カメラ
US6753865B1 (en) 1999-06-30 2004-06-22 Realnetworks, Inc. System and method for generating video frames and post filtering
JP2001111934A (ja) 1999-10-04 2001-04-20 Olympus Optical Co Ltd 電子カメラ装置
US7242850B2 (en) 2001-02-23 2007-07-10 Eastman Kodak Company Frame-interpolated variable-rate motion imaging system
US20020149696A1 (en) * 2001-02-23 2002-10-17 Eastman Kodak Company Method for presenting improved motion image sequences
JP4503878B2 (ja) * 2001-04-27 2010-07-14 オリンパス株式会社 撮像装置及び撮像方法
JP2002330335A (ja) 2001-04-27 2002-11-15 Matsushita Electric Ind Co Ltd 静止画像撮像装置
CN1260978C (zh) 2001-05-10 2006-06-21 松下电器产业株式会社 图像处理装置
US7266150B2 (en) 2001-07-11 2007-09-04 Dolby Laboratories, Inc. Interpolation of video compression frames
JP4776831B2 (ja) 2001-09-11 2011-09-21 株式会社バンダイナムコゲームス プログラム、情報記憶媒体、ゲーム装置及びホスト装置
JP4524412B2 (ja) 2001-10-29 2010-08-18 株式会社モノリス 画像符号化方法、復号方法および画像符号化装置、復号装置
JP2003244659A (ja) 2002-02-14 2003-08-29 Toshiba Corp フレーム補間方法
US20030161407A1 (en) 2002-02-22 2003-08-28 International Business Machines Corporation Programmable and adaptive temporal filter for video encoding
JP2004005344A (ja) 2002-04-26 2004-01-08 Sharp Corp インデックス管理方法、インデックス表示方法、記録再生装置、および記録媒体
EP1422928A3 (en) * 2002-11-22 2009-03-11 Panasonic Corporation Motion compensated interpolation of digital video signals
JP4220284B2 (ja) * 2003-03-28 2009-02-04 株式会社東芝 フレーム補間方法、装置及びこれを用いた画像表示システム
CN1781249B (zh) * 2003-04-29 2011-08-31 三叉微***(远东)有限公司 数字滤波器装置
JP3800207B2 (ja) * 2003-07-18 2006-07-26 ソニー株式会社 撮像装置
JP4483501B2 (ja) 2004-09-22 2010-06-16 株式会社ニコン 静止画を動画再生するための前処理を行う画像処理装置、プログラム、および方法
JP4366349B2 (ja) 2005-09-28 2009-11-18 シャープ株式会社 動画再生装置及び動画再生方法
JP5008431B2 (ja) * 2007-03-15 2012-08-22 キヤノン株式会社 画像処理装置及び画像処理方法

Also Published As

Publication number Publication date
US20100091184A1 (en) 2010-04-15
US8289411B2 (en) 2012-10-16
US8111297B2 (en) 2012-02-07
US20060061672A1 (en) 2006-03-23
JP2006094058A (ja) 2006-04-06
US20100260469A1 (en) 2010-10-14
US7764310B2 (en) 2010-07-27
EP1641276A1 (en) 2006-03-29

Similar Documents

Publication Publication Date Title
JP4483501B2 (ja) 静止画を動画再生するための前処理を行う画像処理装置、プログラム、および方法
US10277812B2 (en) Image processing to obtain high-quality loop moving image
JP4309171B2 (ja) 画像処理方法および画像処理装置
US8848034B2 (en) Image processing apparatus, control method thereof, and program
JP5133816B2 (ja) カメラ、画像合成方法、およびプログラム
JP2010268441A (ja) 画像処理装置、撮像装置及び画像再生装置
JP2014096757A (ja) 画像処理装置および画像処理方法、並びにプログラム
JP6304293B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2011114823A (ja) 画像処理装置及び撮像装置
JP2006254129A (ja) ヒストグラム表示装置
US8711239B2 (en) Program recording medium, image processing apparatus, imaging apparatus, and image processing method
JP2009044329A (ja) プログラム、画像処理方法および画像処理装置
JP5402242B2 (ja) 画像再生装置、撮像装置、画像再生方法、画像再生プログラム
JP5566196B2 (ja) 画像処理装置及びその制御方法
JP2005117399A (ja) 画像処理装置
US20120219264A1 (en) Image processing device
JP2018074523A (ja) 撮像装置、その制御方法、プログラムならびに記録媒体
JP5476900B2 (ja) 画像合成装置、画像合成方法及びプログラム
JP2010021708A (ja) 画像処理装置および撮像装置
JP5602818B2 (ja) カメラ、画像再生装置、画像合成方法、およびプログラム
JP2009049457A (ja) 撮像装置およびプログラム
JP2022154659A (ja) 画像処理装置、画像処理方法およびプログラム
JP2014175739A (ja) 動画処理装置
JP2010045619A (ja) 画像再生装置、撮像装置、画像再生方法、画像再生プログラム
JP2010021709A (ja) 画像処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070723

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20091022

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091027

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091222

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100302

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100315

R150 Certificate of patent or registration of utility model

Ref document number: 4483501

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130402

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130402

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130402

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130402

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130402

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140402

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250