JP2012151705A - 動画像処理装置、動画像処理方法及びプログラム - Google Patents
動画像処理装置、動画像処理方法及びプログラム Download PDFInfo
- Publication number
- JP2012151705A JP2012151705A JP2011009429A JP2011009429A JP2012151705A JP 2012151705 A JP2012151705 A JP 2012151705A JP 2011009429 A JP2011009429 A JP 2011009429A JP 2011009429 A JP2011009429 A JP 2011009429A JP 2012151705 A JP2012151705 A JP 2012151705A
- Authority
- JP
- Japan
- Prior art keywords
- moving image
- frame
- image data
- predetermined
- frame images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
- H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
- H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
- H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/78—Television signal recording using magnetic recording
- H04N5/782—Television signal recording using magnetic recording on tape
- H04N5/783—Adaptations for reproducing at a rate different from the recording rate
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/907—Television signal recording using static stores, e.g. storage tubes or semiconductor memories
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Television Signal Processing For Recording (AREA)
- Studio Devices (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
【解決手段】撮像装置100であって、動画像データに対して所定の解析処理を施して、当該動画像データを構成する複数のフレーム画像内で、スロー再生の対象となる複数のフレーム画像からなるスロー再生フレーム部分を特定するフレーム特定部6bと、動画像データを構成する複数のフレーム画像のうち、特定されたスロー再生フレーム部分以外の所定数のフレーム画像について、所定の割合で間引く処理を行う間引き処理部6cと、を備えている。
【選択図】図1
Description
所定の撮像フレームレートで撮像された被写体の動画像データを取得する取得手段と、この取得手段により取得された前記動画像データに対して所定の解析処理を施して、当該動画像データを構成する複数のフレーム画像内で、スロー再生の対象となる複数のフレーム画像からなるスロー再生フレーム部分を特定する特定手段と、前記動画像データを構成する複数のフレーム画像のうち、前記特定手段により特定された前記スロー再生フレーム部分以外の所定数のフレーム画像について、所定の割合で間引く処理を行う処理手段と、を備えたことを特徴としている。
動画像処理装置を用いた動画像処理方法であって、所定の撮像フレームレートで撮像された被写体の動画像データを取得するステップと、取得された前記動画像データに対して所定の解析処理を施して、当該動画像データを構成する複数のフレーム画像内で、スロー再生の対象となる複数のフレーム画像からなるスロー再生フレーム部分を特定するステップと、前記動画像データを構成する複数のフレーム画像のうち、特定された前記スロー再生フレーム部分以外の所定数のフレーム画像について、所定の割合で間引く処理を行うステップと、を含むことを特徴としている。
動画像処理装置のコンピュータを、所定の撮像フレームレートで撮像された被写体の動画像データを取得する取得手段、この取得手段により取得された前記動画像データに対して所定の解析処理を施して、当該動画像データを構成する複数のフレーム画像内で、スロー再生の対象となる複数のフレーム画像からなるスロー再生フレーム部分を特定する特定手段、前記動画像データを構成する複数のフレーム画像のうち、前記特定手段により特定された前記スロー再生フレーム部分以外の所定数のフレーム画像について、所定の割合で間引く処理を行う処理手段、として機能させることを特徴としている。
本実施形態の撮像装置100は、動画像データDに対して所定の解析処理を施して、当該動画像データDを構成する複数のフレーム画像f、…内で、スロー再生の対象となる複数のフレーム画像f、…からなるスロー再生フレーム部分Sを特定し、当該スロー再生フレーム部分S以外の所定数のフレーム画像fについて、所定の割合で間引く処理を行う。
具体的には、図1に示すように、撮像装置100は、レンズ部1、電子撮像部2、ユニット回路部3、撮像制御部4、画像生成部5、画像処理部6、表示制御部7、表示部8、記録媒体制御部9、操作入力部10、バッファメモリ11、プログラムメモリ12、中央制御部13等を備えている。
また、撮像制御部4、画像生成部5、画像処理部6、表示制御部7、記録媒体制御部9、バッファメモリ11、プログラムメモリ12、中央制御部13は、バスライン14を介して接続されている。
ADC(Analog to Digital Converter:アナログ/デジタル変換器)等を具備している。このユニット回路部3は、電子撮像部2から出力されて入力される被写体の光学像に応じたアナログの画像信号を撮像フレームレートに応じた所定の周期毎にCDSにより保持し、当該画像信号をAGCにより増幅した後、増幅された画像信号をADCによりデジタルの画像信号に変換する。そして、ユニット回路部3は、デジタルの画像信号を画像生成部5に送信する。
即ち、撮像制御部4は、例えば、モータ等の駆動源と、この駆動源を駆動するドライバ等(何れも図示略)を備え、レンズ部1のズームレンズやフォーカスレンズを光軸方向に駆動させる。また、撮像制御部4は、例えば、レンズ部1の絞りの拡径や縮径を行う絞り駆動部(図示略)を備え、露出調整条件に応じて絞りの拡径や縮径を行う。また、撮像制御部4は、例えば、TG(Timing Generator)、電子撮像部2を駆動するドライバ等(何れも図示略)を備え、駆動フレームレートや撮像条件(例えば、露光時間等)に従ってTG及びドライバを介して電子撮像部2の動作タイミングを制御する。また、撮像制御部4は、撮像フレームレートに従ってユニット回路部3の動作タイミングを制御する。
具体的には、画像生成部5は、撮像フレームレートに応じた所定の周期(例えば、1/240秒等)毎にユニット回路部3から送られてきた各フレーム画像fのデジタルの画像データに対して、カラープロセス回路(図示略)で画素補間処理及びγ補正処理を含むカラープロセス処理をそれぞれ行った後、デジタル値の輝度信号Y及び色差信号Cb,Cr(YUVデータ)を生成する。そして、画像生成部5は、生成された輝度色差信号の画像データを、撮像制御部4及び画像処理部6に出力する。
ここで、動画像を撮像する場合の撮像フレームレートとして例示する240fpsは、一例であってこれに限られるものではなく、適宜任意に変更可能である。
具体的には、画像取得部6aは、画像生成部5により生成された画像データ(YUVデータ)、即ち、被写体の動画像の撮像の際に、撮像フレームレートに応じた所定の周期(例えば、1/240秒等)毎にユニット回路部3から送信されたデジタルの画像信号から画像生成部5により生成された各フレーム画像fの画像データ(動画像データD)を取得する。
ここで、動画像データDの撮像フレームレートは、表示部8にて動画像データを再生する際に設定される所定の再生フレームレートよりも高速、即ち、再生フレームレートに対応する各フレーム画像の切替(再生)周期よりも各フレーム画像の撮像周期が短くなっている。
ここで、画像取得部6aは、所定の撮像フレームレートで撮像された複数のフレーム画像f、…からなる被写体の動画像データDを取得する取得手段を構成している。
即ち、フレーム特定部6bは、画像取得部6aにより取得された動画像データDに対して所定の解析処理を施す解析処理部b1を具備し、この解析処理部b1による解析結果に基づいてスロー再生フレーム部分Sを特定する。
ここで、各フレーム画像fを代表する差分値は、例えば、各画素の差分の最大値、中央値、平均値等が挙げられる。
具体的には、フレーム特定部6bは、先ず、解析処理部b1により生成された各フレーム画像fを代表する差分値に基づいて、最小の差分値を特定し、各フレーム画像fの差分値について最小の差分値に対する割合を算出する。そして、フレーム特定部6bは、複数のフレーム画像f、…内で、最小の差分値に対する割合が所定の大きさ(例えば、2倍等)以上の差分値を有するフレーム画像fを、スロー再生の対象となるスロー再生フレーム部分Sとして特定する。
ここで、スロー再生フレーム部分Sとは、動画像の見た目の再生速度を実時間よりも遅く(スローモーションに)するフレーム画像fからなる部分のことであり、動画像データを再生する際に各フレーム画像を再生する間隔が、動画撮影を行う際に各フレーム画像を記録した間隔よりも長くなるフレーム画像fから構成された部分である。
例えば、図3(a)に示すように、野球のバッティングフォームを所定の撮像フレームレート(例えば、240fps等)で撮像した複数(例えば、40枚等)のフレーム画像f、…からなる動画像データDの場合、スイングの開始時のフレーム画像f1が最小の差分値を有する。そして、実際にバットのスイングが開始されると、所定時間あたりの被写体の状態変化(動き)が大きくなる。この場合、バットのスイング開始以降に対応するフレーム画像f2は、最小の差分値に対する割合(最小差分比)が所定の大きさ(例えば、2倍等)以上となり(図3(b)参照)、当該フレーム画像f2をスロー再生フレーム部分Sとして特定する。
即ち、間引き処理部6cは、スロー再生フレーム部分S以外の所定数のフレーム画像fについて、所定の撮像フレームレートに対応する各フレーム画像の撮像周期よりも各フレーム画像の切替(再生)周期が短い(低速の)所定の再生フレームレートで再生した場合の再生時間を実時間に対応させるように間引く処理を行う。具体的には、間引き処理部6cは、スロー再生フレーム部分S以外の所定数のフレーム画像fの中で、即ち、所定の撮
像フレームレート(例えば、240fps等)で撮像された複数のフレーム画像f、…の中で、所定の再生フレームレート(例えば、30fps)に応じて処理対象となるフレーム画像fを撮像フレームレートと再生フレームレートの比に応じた所定の割合(例えば、1/8)で間引いて特定する。例えば、図3(a)に示すように、スイングの開始時やスイングの終了時(図示略)の所定数のフレーム画像f1については、所定時間あたりの被写体の状態変化(動き)が小さいため、当該所定数のフレーム画像f1の中で、所定の再生フレームレートに応じて処理対象となるフレーム画像f1を所定の割合で間引いて特定する。
これにより、スロー再生フレーム部分S以外の所定数のフレーム画像fについて、所定の再生フレームレート(例えば、30fps)で再生した場合の再生時間が、当該所定数のフレーム画像fを所定の撮像フレームレート(例えば、240fps等)で撮像した際の実時間に対応する。
例えば、間引き処理部6cは、スロー再生フレーム部分Sやスロー再生フレーム部分S以外の所定数のフレーム画像fについて、所定の解析処理の結果、動きの大きい(速い)フレーム画像fほど間引く割合が小さくなるように間引き率を制御しても良い。具体的には、例えば、間引き処理部6cは、フレーム特定部6bの解析処理部b1により生成された各フレーム画像fを代表する差分値(例えば、各画素の差分の最大値)に基づいて、各フレーム画像fの動きの大きさを特定し、動きの大きいフレーム画像fほど間引く割合が小さくなるように間引き率を制御しても良い。
符号化部は、画像生成部5により生成された画像データ(YUVデータ)を所定の符号化方式(例えば、Motion−JPEG方式等)により圧縮・符号化する。即ち、符号化部は、間引き処理部6cによる間引き処理後の動画像データDを所定の符号化方式により圧縮・符号化する。
復号化部は、例えば、記録媒体Mに記録された符号化済みの画像データを再生する際に、記録媒体制御部9から読み出された符号化済みの画像データを当該符号化方式に対応する復号化方式で復号化する。
具体的には、表示制御部7は、VRAM(Video Random Access Memory)、VRAMコントローラ、デジタルビデオエンコーダなどを備えている。そして、デジタルビデオエンコーダは、バッファメモリ11から読み出されてVRAM(図示略)に記憶されている動
画像を構成する複数のフレーム画像f、…の輝度信号Y及び色差信号Cb,Crを、VRAMコントローラを介してVRAMから所定の再生フレームレート(例えば、30fps)で読み出して、これらのデータを元にビデオ信号を発生して表示部8に出力する。
ここで、再生フレームレートが所定の値に固定されている場合、動画像データDのフレーム画像fの毎秒あたりの入力フレーム数に応じて動画像の見た目の再生速度が可変する。即ち、例えば、撮像間隔と再生間隔が一致したフレーム画像fが入力されると、見た目上は実時間に対応する通常の再生速度となる一方で、撮像間隔が再生間隔よりも短いフレーム画像fが入力されると、見た目上は実時間よりも遅いスローモーションの再生速度となる。
即ち、記録媒体制御部9は、画像処理部6の符号化部(図示略)により所定の圧縮形式(例えば、Motion−JPEG形式等)で符号化された記録用の画像データを記録媒体Mに記録させる。
なお、記録媒体Mは、例えば、不揮発性メモリ(フラッシュメモリ)等により構成されるが、一例であってこれに限られるものではなく、適宜任意に変更可能である。
プログラムメモリ12には、当該撮像装置100の機能に係る各種プログラムやデータが格納されている。
図2は、動画像データ生成処理に係る動作の一例を示すフローチャートである。また、図3は、動画像データ生成処理を説明するための図である。
なお、以下の動画像データ生成処理は、ユーザによる操作入力部10の選択決定用ボタンの所定操作に基づいて、複数の撮像モードの中から動画像データDの生成モードが選択指示された場合や、被写体の動画像の撮像後に自動的に実行される。
トで撮像された複数のフレーム画像f、…からなる動画像データDを取得する(ステップS1)。
具体的には、画像取得部6aは、撮像制御部4の制御下にて、レンズ部1、電子撮像部2、ユニット回路部3により所定の撮像フレームレート(例えば、240fps等)で撮像されて画像生成部5により生成された各フレーム画像fの画像データ(YUVデータ)、即ち、撮像フレームレートに応じた所定の周期(例えば、1/240秒等)毎にユニット回路部3から送信されたデジタルの画像信号から画像生成部5により生成された動画像データDを構成する各フレーム画像fの画像データを取得する。
具体的には、解析処理部b1は、複数のフレーム画像f、…の各々について、隣合うフレーム画像f(例えば、撮像タイミングが一つ前のフレーム画像f等)との間で対応する各画素の差分を算出し、算出された各画素の差分に基づいて所定の演算を行って各フレーム画像fを代表する差分値を生成する。
具体的には、フレーム特定部6bは、解析処理部b1により生成された各フレーム画像fを代表する差分値に基づいて、最小の差分値に対する割合を算出し、複数のフレーム画像f、…内で、最小の差分値に対する割合(最小差分比)が所定の大きさ(例えば、2倍等)以上の差分値を有するフレーム画像f(例えば、スイングの開始後、上半身の動きが大きくなったフレーム画像f等;図3(a)参照)をスロー再生フレーム部分Sとして特定する。
具体的には、間引き処理部6cは、スロー再生フレーム部分S以外の所定数のフレーム画像f(例えば、スイングの開始時やスイングの終了時の所定数のフレーム画像f等)の中で、所定の再生フレームレート(例えば、30fps)に応じて処理対象となるフレーム画像fを撮像フレームレートと再生フレームレートの比に応じた所定の割合(例えば、1/8)で間引いて特定する。
これにより、動画像データ生成処理を終了する。
像データを得ることができ、しかも、予め撮像フレームレートを高速にして撮影記録を行った場合であっても最終的に必要とする動画像データのデータ量の削減を図ることができる。特に、スロー再生フレーム部分Sについては間引き処理を行わなくとも、適正なスロー再生速度でスロー再生が行われるように、再生時のフレームレートと撮影時の撮像フレームレートの比を設定し、スロー再生フレーム部分S以外の所定数のフレーム画像fについて、所定の再生フレームレートで再生した場合の再生時間を、当該所定数のフレーム画像fを所定の撮像フレームレートで撮像した際の実時間に対応させるように間引くことで、動画像データDのデータ量を効率良く削減することができるだけでなく、動画像データDを再生した際の見た目上の違和感を軽減させることができる。
即ち、スロー再生フレーム部分Sやスロー再生フレーム部分Sのフレーム画像fについて、動きの大きいフレーム画像fほど間引く割合が小さくなるように間引き率を制御することで、被写体の動きの変化を考慮した動画像データDを生成することができる。具体的には、例えば、被写体の動きが断続的に変化したり、被写体の動きが滑らかに変動する場合などに、スロー再生フレーム部分Sに対する間引き処理を行わなかったり、スロー再生フレーム部分S以外のフレーム画像fについて所定の割合で一律に間引く処理を行うことによって生じる動画像の再生の際の見た目上の違和感を軽減することができる。
以下に、撮像装置100の変形例について説明する。
この変形例1の撮像装置100は、動画像データDを構成する複数のフレーム画像f、…の中で、各フレーム画像fにて最も動きの大きい部分の動きの大きさに基づいて、スロー再生フレーム部分Sを特定する。
ば、10%程度)を閾値として設定する。そして、フレーム特定部6bは、複数のフレーム画像f、…の中で、閾値以下の動きベクトルを有するフレーム画像fが所定時間以上連続する部分をスロー再生フレーム部分Sとして特定する。
図4に示すように、先ず、画像処理部6の画像取得部6aは、上記実施形態と同様に、所定の撮像フレームレートで撮像された複数のフレーム画像f、…からなる動画像データDを取得する(ステップS1)。
具体的には、解析処理部b1は、複数のフレーム画像f、…の各々について、特徴の高い所定数のブロック領域(特徴点)の動きベクトルを算出する。その後、解析処理部b1は、算出された動きベクトルの中で最も動きの大きいブロック領域を特定し、特定されたブロック領域の動きベクトルを各フレーム画像fの動きの大きさとして特定する。
そして、フレーム特定部6bは、複数のフレーム画像f、…の中で、スロー再生フレーム部分Sの判定用の閾値以下の動きベクトルを有するフレーム画像fを特定し、当該フレーム画像fが所定時間以上連続して撮像された部分をスロー再生フレーム部分Sとして特定する(ステップS24)。
これにより、動画像データ生成処理を終了する。
上記実施形態においては、撮影記録後にスロー再生を行う部分を任意に指定できるようにするために、無条件に高速な撮像フレームレートで動画像データを記録するようにしたが、部分的なスロー再生を行う必要が無いことが撮影前にわかっているのであれば、高速な撮像フレームレートで撮像を行うのは無駄なことである。
そこで、通常の動画像データを記録する第1の動画記録モードと部分的なスロー再生に対応した動画像データを記録する第2の動画記録モードを設けて、動画撮影を開始する前にユーザが操作入力部10の所定操作に基づいていずれかのモードを選択して設定できるようにする。
そして、中央制御部13は、第2の動画記録モードが設定されている場合、再生フレームレートよりも高速な撮像フレームレートを自動的に設定して動画像データを記録させるとともに、この記録された動画像データに対して上記実施形態で行ったスロー再生フレーム部分Sの特定処理と、スロー再生フレーム部分S以外を間引く処理とを自動的に実行させる。
一方、中央制御部13は、第1の動画記録モードが設定されている場合、再生フレームレートと同じ撮像フレームレートで動画像データを記録させた後に上記実施形態で行ったスロー再生フレーム部分Sの特定処理と、スロー再生フレーム部分S以外を間引く処理とを自動実行させないようにする。
即ち、上記実施形態にあっては、スロー再生フレーム部分Sの特定方法を、各フレーム画像fの差分値の最小の差分値に対する割合を基準として行うようにしたが、例えば、各フレーム画像fの差分値について最大の差分値に対する割合を基準とし、最大の差分値に対する割合が所定の大きさ以下の差分値を有するフレーム画像fをスロー再生フレーム部分Sとして特定しても良い。
また、上記変形例1にあっては、スロー再生フレーム部分Sの特定の際に、動きベクトルの大きさの最大値と最小値に基づいて、スロー再生フレーム部分Sの判定用の相対的な閾値を設定するようにしたが、例えば、動きベクトルの大きさの最大値及び最小値のうち、何れか一方の値を基準として、スロー再生フレーム部分Sの判定用の絶対的な閾値を設定するようにしても良い。
これにより、スロー再生フレーム部分S以外の所定数のフレーム画像fについては、所定の再生フレームレートで代表フレーム画像を再生させることで、被写体の動きを滑らかにすることができ、動画像データDを再生した際の見た目上の違和感を軽減させることができる。
即ち、プログラムを記憶するプログラムメモリ12に、取得処理ルーチン、特定処理ルーチン、間引き処理ルーチンを含むプログラムを記憶しておく。そして、取得処処理ルー
チンにより中央制御部13のCPUを、所定の撮像フレームレートで撮像された被写体の動画像データDを取得する取得手段として機能させるようにしても良い。また、特定処理ルーチンにより中央制御部13のCPUを、取得手段により取得された前記動画像データDに対して所定の解析処理を施して、当該動画像データDを構成する複数のフレーム画像f、…内で、スロー再生の対象となる複数のフレーム画像f、…からなるスロー再生フレーム部分Sを特定する特定手段として機能させるようにしても良い。また、間引き処理ルーチンにより中央制御部13のCPUを、動画像データDを構成する複数のフレーム画像f、…のうち、特定手段により特定されたスロー再生フレーム部分S以外の所定数のフレーム画像fについて、所定の割合で間引く処理を行う処理手段として機能させるようにしても良い。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
画像を前記スロー再生フレーム部分として特定しても良い。
1 レンズ部
2 電子撮像部
4 撮像制御部
6 画像処理部
6a 画像取得部
6b フレーム特定部
b1 解析処理部
6c 間引き処理部
7 表示制御部
8 表示部
10 操作入力部
13 中央制御部
Claims (12)
- 所定の撮像フレームレートで撮像された被写体の動画像データを取得する取得手段と、
この取得手段により取得された前記動画像データに対して所定の解析処理を施して、当該動画像データを構成する複数のフレーム画像内で、スロー再生の対象となる複数のフレーム画像からなるスロー再生フレーム部分を特定する特定手段と、
前記動画像データを構成する複数のフレーム画像のうち、前記特定手段により特定された前記スロー再生フレーム部分以外の所定数のフレーム画像について、所定の割合で間引く処理を行う処理手段と、
を備えたことを特徴とする動画像処理装置。 - 前記取得手段は、更に、
動画像データを再生する際に設定される所定の再生フレームレートよりも高速な所定の撮像フレームレートで撮像された被写体の動画像データを取得し、
前記処理手段は、更に、
前記間引く処理として、前記特定手段により特定された前記スロー再生フレーム部分以外の所定数のフレーム画像について、前記再生フレームレートで再生した場合の再生時間を実時間に対応させるように、前記撮像フレームレートと前記再生フレームレートの比に応じた割合で間引くことを特徴とする請求項1に記載の動画像処理装置。 - 前記処理手段は、更に、
前記特定手段により特定された前記スロー再生フレーム部分のフレーム画像については間引きを行わないか、或いは、前記スロー再生フレーム部分以外のフレーム画像を間引くときの割合よりも低い割合で間引くことを特徴とする請求項1又は2に記載の動画像処理装置。 - 前記特定手段は、更に、
前記所定の解析処理により前記動画像データを構成する複数のフレーム画像に亘る被写体の状態変化を検出し、当該動画像データを構成する複数のフレーム画像内で、検出された被写体の状態変化が所定の大きさ以上となっているフレーム画像を前記スロー再生フレーム部分として特定することを特徴とする請求項1〜3の何れか一項に記載の動画像処理装置。 - 前記特定手段は、更に、
前記所定の解析処理により前記動画像データを構成する複数のフレーム画像間の差分を算出し、前記動画像データを構成する複数のフレーム画像内で、算出された差分の最小値に対する割合が所定の大きさ以上の差分を有するフレーム画像を前記スロー再生フレーム部分として特定することを特徴とする請求項4に記載の動画像処理装置。 - 前記特定手段は、更に、
前記所定の解析処理により前記動画像データを構成する複数のフレーム画像の各々にて最も動きの大きい部分を検出し、前記動画像データを構成する複数のフレーム画像内で、検出された最も動きの大きい部分の動きの大きさが所定の大きさ以上であるフレーム画像を前記スロー再生フレーム部分として特定することを特徴とする請求項4に記載の動画像処理装置。 - 前記特定手段は、更に、当該動画像データを構成する各フレーム画像について、スロー再生の度合いを特定し、
前記処理手段は、更に、前記特定手段により特定されたスロー再生の度合いに応じてフレーム画像を間引く割合を変化させることを特徴とする請求項1〜5の何れか一項に記載
の動画像処理装置。 - 前記処理手段は、更に、
前記動画像データを構成する複数のフレーム画像のうち、前記特定手段により特定された前記スロー再生フレーム部分のフレーム画像について、前記所定の解析処理の結果、動きの大きいフレーム画像ほど間引く割合が小さくなるように間引き率を制御することを特徴とする請求項7に記載の動画像処理装置。 - 前記処理手段は、更に、
前記間引く処理にて、前記特定手段により特定された前記スロー再生フレーム部分以外の所定数のフレーム画像に基づいて、前記再生フレームレートで再生される一の代表フレーム画像を生成することを特徴とする請求項1〜8の何れか一項に記載の動画像処理装置。 - 通常の動画像データを記録する第1の動画記録モードと部分的なスロー再生に対応した動画像データを記録する第2の動画記録モードのいずれかを選択的に設定するモード設定手段と、
このモード設定手段により前記第2の動画記録モードが設定されている場合は、前記所定の再生フレームレートよりも高速な撮像フレームレートを自動的に設定して動画像データを記録するとともに、この記録された動画像データを前記取得手段により取得して前記特定手段および前記処理手段による処理を自動的に実行するように制御し、前記モード設定手段により前記第1の動画記録モードが設定されている場合は、前記所定の再生フレームレートと同じ撮像フレームレートで動画像データを記録した後に前記特定手段および前記処理手段による処理を自動的に実行しないように制御する制御手段と、を更に備えたことを特徴とする請求項1〜9の何れか一項に記載の動画像処理装置。 - 動画像処理装置を用いた動画像処理方法であって、
所定の撮像フレームレートで撮像された被写体の動画像データを取得するステップと、
取得された前記動画像データに対して所定の解析処理を施して、当該動画像データを構成する複数のフレーム画像内で、スロー再生の対象となる複数のフレーム画像からなるスロー再生フレーム部分を特定するステップと、
前記動画像データを構成する複数のフレーム画像のうち、特定された前記スロー再生フレーム部分以外の所定数のフレーム画像について、所定の割合で間引く処理を行うステップと、
を含むことを特徴とする動画像処理方法。 - 動画像処理装置のコンピュータを、
所定の撮像フレームレートで撮像された被写体の動画像データを取得する取得手段、
この取得手段により取得された前記動画像データに対して所定の解析処理を施して、当該動画像データを構成する複数のフレーム画像内で、スロー再生の対象となる複数のフレーム画像からなるスロー再生フレーム部分を特定する特定手段、
前記動画像データを構成する複数のフレーム画像のうち、前記特定手段により特定された前記スロー再生フレーム部分以外の所定数のフレーム画像について、所定の割合で間引く処理を行う処理手段、
として機能させることを特徴とするプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011009429A JP5768381B2 (ja) | 2011-01-20 | 2011-01-20 | 動画像処理装置、動画像処理方法及びプログラム |
CN201210001731.9A CN102611865B (zh) | 2011-01-20 | 2012-01-05 | 处理运动图像数据的运动图像处理装置及运动图像处理方法 |
US13/348,860 US8682134B2 (en) | 2011-01-20 | 2012-01-12 | Apparatus and method for processing moving image data |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011009429A JP5768381B2 (ja) | 2011-01-20 | 2011-01-20 | 動画像処理装置、動画像処理方法及びプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2012151705A true JP2012151705A (ja) | 2012-08-09 |
JP2012151705A5 JP2012151705A5 (ja) | 2014-02-27 |
JP5768381B2 JP5768381B2 (ja) | 2015-08-26 |
Family
ID=46528999
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011009429A Expired - Fee Related JP5768381B2 (ja) | 2011-01-20 | 2011-01-20 | 動画像処理装置、動画像処理方法及びプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US8682134B2 (ja) |
JP (1) | JP5768381B2 (ja) |
CN (1) | CN102611865B (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016123032A (ja) * | 2014-12-25 | 2016-07-07 | キヤノン株式会社 | 電子機器及びその制御方法 |
JP6230085B1 (ja) * | 2017-06-01 | 2017-11-15 | 株式会社ReTech | 動画再生システム |
JP6389022B1 (ja) * | 2015-08-13 | 2018-09-12 | リー、チャルウーLEE, Chul Woo | 反応型映像生成方法及び生成プログラム |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6341814B2 (ja) * | 2014-09-08 | 2018-06-13 | キヤノン株式会社 | 撮像装置、その制御方法、及びプログラム |
JP6552193B2 (ja) * | 2014-12-25 | 2019-07-31 | キヤノン株式会社 | 撮像装置、および、記録装置の制御方法 |
CN104618656A (zh) * | 2015-02-15 | 2015-05-13 | 联想(北京)有限公司 | 一种信息处理的方法及电子设备 |
KR102537210B1 (ko) * | 2016-07-29 | 2023-05-26 | 삼성전자주식회사 | 동영상 컨텐츠 제공 방법 및 이를 지원하는 전자 장치 |
CN107396019B (zh) * | 2017-08-11 | 2019-05-17 | 维沃移动通信有限公司 | 一种慢动作视频录制方法及移动终端 |
KR102512298B1 (ko) * | 2018-02-23 | 2023-03-22 | 삼성전자주식회사 | 영상 데이터의 편집을 위한 인터페이스를 표시하는 전자 장치 및 그 동작 방법 |
KR102531128B1 (ko) | 2018-02-23 | 2023-05-10 | 삼성전자주식회사 | 카메라를 이용하여 복수의 프레임 레이트에 따라 영상을 촬영하는 전자 장치 및 그 작동 방법 |
CN108600615A (zh) * | 2018-04-04 | 2018-09-28 | 深圳市语图科技有限公司 | 一种慢动作录像方法及装置 |
JP2020201583A (ja) * | 2019-06-06 | 2020-12-17 | ルネサスエレクトロニクス株式会社 | 半導体装置、移動体装置および移動体装置の制御方法 |
CN112532865B (zh) * | 2019-09-19 | 2022-07-19 | 华为技术有限公司 | 慢动作视频拍摄方法及电子设备 |
US11533428B2 (en) | 2020-01-23 | 2022-12-20 | Samsung Electronics Co., Ltd. | Electronic device and method for controlling electronic device |
CN112860212A (zh) * | 2021-02-08 | 2021-05-28 | 海信视像科技股份有限公司 | 一种音量调节方法及显示设备 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008050806A1 (en) * | 2006-10-24 | 2008-05-02 | Sony Corporation | Imaging device and reproduction control device |
WO2008099685A1 (ja) * | 2007-02-01 | 2008-08-21 | Sony Corporation | 画像再生装置と画像再生方法および撮像装置とその制御方法 |
WO2009040996A1 (ja) * | 2007-09-25 | 2009-04-02 | Panasonic Corporation | 画像処理装置及び画像処理方法 |
JP2009100326A (ja) * | 2007-10-18 | 2009-05-07 | Keyence Corp | 高速撮影装置、高速撮影装置の制御方法及びコンピュータプログラム |
JP2011010276A (ja) * | 2009-05-22 | 2011-01-13 | Sanyo Electric Co Ltd | 画像再生装置及び撮像装置 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100873763B1 (ko) * | 2000-11-07 | 2008-12-15 | 파나소닉 주식회사 | 영상 신호 작성 시스템, 그 시스템의 영상 신호 기록 장치 및 영상 신호 재생 장치 |
US7474698B2 (en) * | 2001-10-19 | 2009-01-06 | Sharp Laboratories Of America, Inc. | Identification of replay segments |
JP4358081B2 (ja) * | 2004-03-31 | 2009-11-04 | パナソニック株式会社 | 映像記録装置 |
JP4887727B2 (ja) | 2005-10-20 | 2012-02-29 | ソニー株式会社 | 画像信号処理装置、カメラシステム、および画像信号処理方法 |
JP4774940B2 (ja) * | 2005-11-14 | 2011-09-21 | ソニー株式会社 | 情報処理装置、表示方法及びそのプログラム |
US8059936B2 (en) * | 2006-06-28 | 2011-11-15 | Core Wireless Licensing S.A.R.L. | Video importance rating based on compressed domain video features |
JP2008109245A (ja) | 2006-10-24 | 2008-05-08 | Sony Corp | 記録再生装置 |
JP2010087778A (ja) | 2008-09-30 | 2010-04-15 | Casio Computer Co Ltd | 撮像装置、変速撮像方法、及びプログラム |
-
2011
- 2011-01-20 JP JP2011009429A patent/JP5768381B2/ja not_active Expired - Fee Related
-
2012
- 2012-01-05 CN CN201210001731.9A patent/CN102611865B/zh not_active Expired - Fee Related
- 2012-01-12 US US13/348,860 patent/US8682134B2/en not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008050806A1 (en) * | 2006-10-24 | 2008-05-02 | Sony Corporation | Imaging device and reproduction control device |
WO2008099685A1 (ja) * | 2007-02-01 | 2008-08-21 | Sony Corporation | 画像再生装置と画像再生方法および撮像装置とその制御方法 |
WO2009040996A1 (ja) * | 2007-09-25 | 2009-04-02 | Panasonic Corporation | 画像処理装置及び画像処理方法 |
JP2009100326A (ja) * | 2007-10-18 | 2009-05-07 | Keyence Corp | 高速撮影装置、高速撮影装置の制御方法及びコンピュータプログラム |
JP2011010276A (ja) * | 2009-05-22 | 2011-01-13 | Sanyo Electric Co Ltd | 画像再生装置及び撮像装置 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016123032A (ja) * | 2014-12-25 | 2016-07-07 | キヤノン株式会社 | 電子機器及びその制御方法 |
JP6389022B1 (ja) * | 2015-08-13 | 2018-09-12 | リー、チャルウーLEE, Chul Woo | 反応型映像生成方法及び生成プログラム |
JP2018533109A (ja) * | 2015-08-13 | 2018-11-08 | リー、チャルウーLEE, Chul Woo | 反応型映像生成方法及び生成プログラム |
JP2019012534A (ja) * | 2015-08-13 | 2019-01-24 | リー、チャルウーLEE, Chul Woo | 反応型映像生成方法及び生成プログラム |
JP6230085B1 (ja) * | 2017-06-01 | 2017-11-15 | 株式会社ReTech | 動画再生システム |
Also Published As
Publication number | Publication date |
---|---|
US8682134B2 (en) | 2014-03-25 |
US20120189287A1 (en) | 2012-07-26 |
JP5768381B2 (ja) | 2015-08-26 |
CN102611865B (zh) | 2014-06-18 |
CN102611865A (zh) | 2012-07-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5768381B2 (ja) | 動画像処理装置、動画像処理方法及びプログラム | |
JP5234119B2 (ja) | 撮像装置、撮像処理方法及びプログラム | |
JP5243432B2 (ja) | 画像処理装置、及び画像処理方法 | |
US9769377B2 (en) | Imaging apparatus and control method for handling a raw image of a moving image or a still image | |
JP4525561B2 (ja) | 撮像装置、画像処理方法、並びにプログラム | |
JP4556195B2 (ja) | 撮像装置、動画再生装置及びそのプログラム | |
JP2007318725A (ja) | カメラ、カメラの撮影制御方法、プログラム、記録媒体 | |
JP4807432B2 (ja) | 撮像装置、画像処理方法及びプログラム | |
JP6304293B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP5338373B2 (ja) | 撮像装置 | |
JP5896181B2 (ja) | 撮像装置、撮像制御方法、及びプログラム | |
JP6354877B2 (ja) | 撮像制御装置、及びその制御方法とプログラム | |
JP6103481B2 (ja) | 撮像装置、及びその制御方法とプログラム | |
JP6775386B2 (ja) | 撮像装置、その制御方法、プログラムならびに記録媒体 | |
US9661217B2 (en) | Image capturing apparatus and control method therefor | |
JP2012010133A (ja) | 画像処理装置および画像処理プログラム | |
JP5211947B2 (ja) | 撮像装置及びプログラム | |
JP2006148456A (ja) | 電子カメラ | |
JP6090485B2 (ja) | 撮像装置、撮像制御方法、及びプログラム | |
JP2007213386A (ja) | 画像処理装置、画像処理プログラム、および撮像装置 | |
JP5287636B2 (ja) | 画像データ記録装置及び画像データ記録プログラム | |
JP2014236251A (ja) | 撮像装置 | |
JP2010034933A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2010233254A (ja) | 撮像装置、動画再生装置及びそのプログラム | |
JP2012120018A (ja) | 符号化装置及び再生装置、及びその制御方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140110 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140110 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20141015 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20141021 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20141222 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150217 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150417 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150526 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150608 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5768381 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |