JP3411469B2 - フレーム多重画像作成方法 - Google Patents
フレーム多重画像作成方法Info
- Publication number
- JP3411469B2 JP3411469B2 JP09567497A JP9567497A JP3411469B2 JP 3411469 B2 JP3411469 B2 JP 3411469B2 JP 09567497 A JP09567497 A JP 09567497A JP 9567497 A JP9567497 A JP 9567497A JP 3411469 B2 JP3411469 B2 JP 3411469B2
- Authority
- JP
- Japan
- Prior art keywords
- frame
- image
- frames
- mean
- gravity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Studio Circuits (AREA)
- Closed-Circuit Television Systems (AREA)
- Controls And Circuits For Display Device (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Description
【0001】
【発明の属する技術分野】本発明は、蓄積映像あるいは
ネットワークや放送を介して得られた映像をパソコン等
のディスプレイに提示、ブラウズするシステムにおい
て、特に映像データから複数のフレームを抽出し、それ
らを合成して1枚の静止画像を作成するフレーム多重画
像作成方法に関するものである。
ネットワークや放送を介して得られた映像をパソコン等
のディスプレイに提示、ブラウズするシステムにおい
て、特に映像データから複数のフレームを抽出し、それ
らを合成して1枚の静止画像を作成するフレーム多重画
像作成方法に関するものである。
【0002】
【従来の技術】従来、複数のフレームを重ね合せて1枚
の静止画像を作成する場合、映像データから等間隔等で
複数のフレームを選択し、該選択した各フレームの同一
位置の画素値をフレームに渡って平均値を求め、該平均
値を多重静止画像の画素値とする手法が一般的である。
の静止画像を作成する場合、映像データから等間隔等で
複数のフレームを選択し、該選択した各フレームの同一
位置の画素値をフレームに渡って平均値を求め、該平均
値を多重静止画像の画素値とする手法が一般的である。
【0003】
【発明が解決しようとする課題】従来技術では、多重す
る複数フレームに渡り、画素値の平均値をもってフレー
ム多重画像の画素値とするため、動きのある部分の画素
値が小さくなり、ほとんど見えなくなるという問題があ
る。例えば、人間が腕を振り上げる動作をしたときに、
ある腕の形(位置)は一つのフレームにしか写らず、ほ
かのフレームにおいては、その位置には背景が写ってい
るだけである。従って、単純にこれらのフレームの対応
する位置の画素値の平均をとるとすると背景に埋もれて
しまって、腕がほとんど見えなくなってしまう。
る複数フレームに渡り、画素値の平均値をもってフレー
ム多重画像の画素値とするため、動きのある部分の画素
値が小さくなり、ほとんど見えなくなるという問題があ
る。例えば、人間が腕を振り上げる動作をしたときに、
ある腕の形(位置)は一つのフレームにしか写らず、ほ
かのフレームにおいては、その位置には背景が写ってい
るだけである。従って、単純にこれらのフレームの対応
する位置の画素値の平均をとるとすると背景に埋もれて
しまって、腕がほとんど見えなくなってしまう。
【0004】本発明の第1の目的は、上記従来技術の問
題点を解決し、1フレームだけなどに現われた画像が薄
くなったり、見えなくなったりすることのないフレーム
多重画像作成方法を提供することにある。
題点を解決し、1フレームだけなどに現われた画像が薄
くなったり、見えなくなったりすることのないフレーム
多重画像作成方法を提供することにある。
【0005】本発明の第2の目的は、多重するフレーム
を決定する際に、映像や物体の動作状況を把握して、動
作方向が変化した個所等の重要な意味を持つフレームを
逃がすことのないフレーム多重画像作成方法を提供する
ことにある。
を決定する際に、映像や物体の動作状況を把握して、動
作方向が変化した個所等の重要な意味を持つフレームを
逃がすことのないフレーム多重画像作成方法を提供する
ことにある。
【0006】本発明の第3の目的は、映像中の物体の動
作方向を示す場合に、手作業でCG技術などを用いて画
像上に矢印を描画することなく、自動的に動作方向を示
す矢印を描画するようにして、矢印描画に要する時間を
短縮するフレーム多重画像作成方法を提供することにあ
る。
作方向を示す場合に、手作業でCG技術などを用いて画
像上に矢印を描画することなく、自動的に動作方向を示
す矢印を描画するようにして、矢印描画に要する時間を
短縮するフレーム多重画像作成方法を提供することにあ
る。
【0007】
【課題を解決するための手段】上記第1の目的を達成す
るために、本発明は、映像データ中の多重する各フレー
ム画像(キーフレーム画像という)上の同じ位置にある
画素について、その輝度成分における平均値および標準
偏差を算出して画素値のばらつきの度合を判定し、ばら
つきの大なる画素には大きな重み係数を、小なる画素に
は小さな重み係数を与えて、それぞれ該重み係数と画素
値を掛け合せて加算し、これをキーフレーム画像の全画
素について実施することにより、1枚の静止画像を作成
することを特徴とする。
るために、本発明は、映像データ中の多重する各フレー
ム画像(キーフレーム画像という)上の同じ位置にある
画素について、その輝度成分における平均値および標準
偏差を算出して画素値のばらつきの度合を判定し、ばら
つきの大なる画素には大きな重み係数を、小なる画素に
は小さな重み係数を与えて、それぞれ該重み係数と画素
値を掛け合せて加算し、これをキーフレーム画像の全画
素について実施することにより、1枚の静止画像を作成
することを特徴とする。
【0008】また、上記第2の目的を達成するために、
本発明は、映像データ中の全フレームあるいは指定され
た範囲に含まれるフレームについて、各フレーム毎に、
映像中の物体の領域を抽出し、該領域の重心を算出し
て、該重心の移動方向および移動量が急激に変化したフ
レームをキーフレームとして選択することを特徴とす
る。
本発明は、映像データ中の全フレームあるいは指定され
た範囲に含まれるフレームについて、各フレーム毎に、
映像中の物体の領域を抽出し、該領域の重心を算出し
て、該重心の移動方向および移動量が急激に変化したフ
レームをキーフレームとして選択することを特徴とす
る。
【0009】さらに、上記第3の目的を達成するため
に、本発明は、上記と同様にして映像中の物体の重心を
求め、該重心のフレーム間の動きを追跡して、その軌跡
に最も良く当てはまる直線あるいは曲線を算出し、出力
静止画像上に、該直線あるいは曲線に動作方向を示す矢
印を自動的に描画することを特徴とする。
に、本発明は、上記と同様にして映像中の物体の重心を
求め、該重心のフレーム間の動きを追跡して、その軌跡
に最も良く当てはまる直線あるいは曲線を算出し、出力
静止画像上に、該直線あるいは曲線に動作方向を示す矢
印を自動的に描画することを特徴とする。
【0010】
【発明の実施の形態】次に、本発明の実施の形態につい
て図面を参照して説明する。図1は、本発明のフレーム
多重画像作成方法の概要を示す概念図である。ビデオデ
ータ110から指定された範囲内でK枚のフレーム12
0(キーフレーム画像)を選択し、これらフレーム画像
を画素対応に重ね合せることで1枚の静止画像130の
動きのわかるフレーム多重画像を作成する。なお、図1
では、4枚(K=4)のキーフレームが選択されている
様子を示している。
て図面を参照して説明する。図1は、本発明のフレーム
多重画像作成方法の概要を示す概念図である。ビデオデ
ータ110から指定された範囲内でK枚のフレーム12
0(キーフレーム画像)を選択し、これらフレーム画像
を画素対応に重ね合せることで1枚の静止画像130の
動きのわかるフレーム多重画像を作成する。なお、図1
では、4枚(K=4)のキーフレームが選択されている
様子を示している。
【0011】図2は、本発明のフレーム多重画像作成方
法の第1の実施例の処理フローチャートであり、請求項
1の発明に対応するものである。
法の第1の実施例の処理フローチャートであり、請求項
1の発明に対応するものである。
【0012】処理するフレーム範囲の開始/終了フレー
ムおよび選択するフレーム枚数Kを、Start/End Fr
ame番号および選択枚数指示部200で指定することに
より、ビデオデータ110より該指定された範囲内でK
枚のフレーム(キーフレーム)120を選択して、入力
する(ステップ201)。ここで、K枚のフレーム選択
手法としては、例えば、指定されたフレーム範囲内でK
−1等分して、該間隔の等分点に相当するフレームを選
択する手法等が考えられる。
ムおよび選択するフレーム枚数Kを、Start/End Fr
ame番号および選択枚数指示部200で指定することに
より、ビデオデータ110より該指定された範囲内でK
枚のフレーム(キーフレーム)120を選択して、入力
する(ステップ201)。ここで、K枚のフレーム選択
手法としては、例えば、指定されたフレーム範囲内でK
−1等分して、該間隔の等分点に相当するフレームを選
択する手法等が考えられる。
【0013】入力ビデオデータがNTSCビデオ信号に
おけるYIQ成分以外で構成されている場合には、キー
フレーム画像をYIQ成分に変換する(ステップ20
2)。入力ビデオ信号がRGBで構成されている場合の
YIQ成分への変換式の一例を次の式(1)に示す。
おけるYIQ成分以外で構成されている場合には、キー
フレーム画像をYIQ成分に変換する(ステップ20
2)。入力ビデオ信号がRGBで構成されている場合の
YIQ成分への変換式の一例を次の式(1)に示す。
【0014】
【数4】
【0015】YIQ変換後のK枚のキーフレーム画像の
各輝度成分(Y成分)について、初期画素位置(i,
j)を設定する(ステップ203)。ここでは、画像上
の画素を指定する際に(i,j)なる表記を用いること
とし、選択されたK枚のフレームを指定する際にkなる
表記を用いることとし、選択された第kフレーム上の位
置(i,j)上の輝度値をfY(i,j;k)と表記する
こととする。
各輝度成分(Y成分)について、初期画素位置(i,
j)を設定する(ステップ203)。ここでは、画像上
の画素を指定する際に(i,j)なる表記を用いること
とし、選択されたK枚のフレームを指定する際にkなる
表記を用いることとし、選択された第kフレーム上の位
置(i,j)上の輝度値をfY(i,j;k)と表記する
こととする。
【0016】位置(i,j)におけるK個の輝度値の平
均値(mean)および標準偏差(σ)を次の式(2),
(3)により算出する(ステップ204)。
均値(mean)および標準偏差(σ)を次の式(2),
(3)により算出する(ステップ204)。
【0017】
【数5】
【0018】
【数6】
【0019】各画素(K個)の輝度値、平均値および標
準偏差を用いて、次式(4)を満たす画素の数を求め、
準偏差を用いて、次式(4)を満たす画素の数を求め、
【0020】
【数7】
【0021】該画素数によって予め定めた規則に基づ
き、各画素の画素値に掛ける重み係数を決定する(ステ
ップ205)。
き、各画素の画素値に掛ける重み係数を決定する(ステ
ップ205)。
【0022】図3に、K=4の場合について、各画素の
輝度値と平均値および標準偏差の関係を示す。図3
(a)は、K個(4個)全ての輝度値がmeani,j±σの
範囲に収まっているので、式(4)を満たす画素数は0
である。同様に同図(b)の場合は1個、同図(c)は
2個、同図(d)は3個、同図(e)は4個である。式
(4)を満たす画素数によって、例えば、表1に従って
各画素の画素値f(i,j:k)に掛ける重み係数w
(j,j;k)を決定する。
輝度値と平均値および標準偏差の関係を示す。図3
(a)は、K個(4個)全ての輝度値がmeani,j±σの
範囲に収まっているので、式(4)を満たす画素数は0
である。同様に同図(b)の場合は1個、同図(c)は
2個、同図(d)は3個、同図(e)は4個である。式
(4)を満たす画素数によって、例えば、表1に従って
各画素の画素値f(i,j:k)に掛ける重み係数w
(j,j;k)を決定する。
【0023】
【表1】
【0024】なお、重み係数w(j,j;k)のkに関
する総和は1でなければならない。すなわち、次の式
(5)を満たす必要がある。
する総和は1でなければならない。すなわち、次の式
(5)を満たす必要がある。
【0025】
【数8】
【0026】ステップ205の処理によって決定された
重み係数w(j,j;k)を用いて、次の式(6)のよ
うにフレーム多重画像上の位置(i,j)の画素値を算
出する(ステップ206)。なお、式(6)で、g
(i,j)は、フレーム多重画像上の位置(i,j)の画
素値を示す。添え字R,G,Bは、RGB画像の場合の
各成分を示す。
重み係数w(j,j;k)を用いて、次の式(6)のよ
うにフレーム多重画像上の位置(i,j)の画素値を算
出する(ステップ206)。なお、式(6)で、g
(i,j)は、フレーム多重画像上の位置(i,j)の画
素値を示す。添え字R,G,Bは、RGB画像の場合の
各成分を示す。
【0027】
【数9】
【0028】ステップ207において、ステップ204
〜206の処理が全画素に渡って実施されたか否かを判
断し、未終了であれば、次の画素位置を設定した後(ス
テップ208)、ステップ204に戻り、該位置(i,
j)におけるK個の輝度値の平均/標準偏差算出から処
理を繰り返す。一方、終了と判定された場合には、フレ
ーム多重画像130を出力し、本処理を終了する。
〜206の処理が全画素に渡って実施されたか否かを判
断し、未終了であれば、次の画素位置を設定した後(ス
テップ208)、ステップ204に戻り、該位置(i,
j)におけるK個の輝度値の平均/標準偏差算出から処
理を繰り返す。一方、終了と判定された場合には、フレ
ーム多重画像130を出力し、本処理を終了する。
【0029】図4は、本発明のフレーム多重画像作成方
法の第2の実施例の処理フローチャートである。これ
は、請求項2の発明に対応し、人が動作している映像に
おいて、特に手の動きに注目してキーフレームを選択す
る場合に適用する際の処理を示したものである。
法の第2の実施例の処理フローチャートである。これ
は、請求項2の発明に対応し、人が動作している映像に
おいて、特に手の動きに注目してキーフレームを選択す
る場合に適用する際の処理を示したものである。
【0030】Start/End Frame番号指示部400に
おいて、本処理の対象とするフレーム範囲を指定するこ
とにより、該指示された範囲内のフレーム画像データを
ビデオデータ110よりフレーム単位に順次入力する
(ステップ401)。該入力されたフレーム画像データ
から、左右の各手の重心位置を抽出する(ステップ40
2)。
おいて、本処理の対象とするフレーム範囲を指定するこ
とにより、該指示された範囲内のフレーム画像データを
ビデオデータ110よりフレーム単位に順次入力する
(ステップ401)。該入力されたフレーム画像データ
から、左右の各手の重心位置を抽出する(ステップ40
2)。
【0031】図5に、左右各手の重心位置抽出処理の一
例を示す。例えば、入力映像の色成分がRGB等のYI
Q成分画像以外であった場合は、先の式(1)等を用い
てYIQ成分画像に変換する(ステップ501)。該Y
IQ成分のうちのI成分画像が肌色に対して高い画素値
を持つ事を利用して、I成分画像に対する閾値処理を施
して肌色領域を抽出し(ステップ502)、該抽出され
た各肌色領域にラベリングを施す(ステップ503)。
そして、該ラベリングされた複数の肌色領域から左右の
手領域と思われる領域を抽出する(ステップ504)。
例えば、一番面積が広い肌色領域が顔であり、二番目お
よび三番目に面積が広い領域が左右各手であると判断す
る。
例を示す。例えば、入力映像の色成分がRGB等のYI
Q成分画像以外であった場合は、先の式(1)等を用い
てYIQ成分画像に変換する(ステップ501)。該Y
IQ成分のうちのI成分画像が肌色に対して高い画素値
を持つ事を利用して、I成分画像に対する閾値処理を施
して肌色領域を抽出し(ステップ502)、該抽出され
た各肌色領域にラベリングを施す(ステップ503)。
そして、該ラベリングされた複数の肌色領域から左右の
手領域と思われる領域を抽出する(ステップ504)。
例えば、一番面積が広い肌色領域が顔であり、二番目お
よび三番目に面積が広い領域が左右各手であると判断す
る。
【0032】複数の肌色領域から左右の手領域を判断す
る様子を、図6を用いて説明する。図6(a)が元の画
像であり、(b)が肌色領域抽出結果であり、1,2,
3,4,5,6とラベリングを施されている。図6
(b)で、3個以上の領域が肌色と判断されているの
は、ノイズデータ等によるものであり、真に肌色の領域
とは限らない。この内、面積が最大のラベル2の領域が
顔であり、二番目および三番目に面積の広いラベル3,
4がそれぞれ左手、右手の領域であると判断する。
る様子を、図6を用いて説明する。図6(a)が元の画
像であり、(b)が肌色領域抽出結果であり、1,2,
3,4,5,6とラベリングを施されている。図6
(b)で、3個以上の領域が肌色と判断されているの
は、ノイズデータ等によるものであり、真に肌色の領域
とは限らない。この内、面積が最大のラベル2の領域が
顔であり、二番目および三番目に面積の広いラベル3,
4がそれぞれ左手、右手の領域であると判断する。
【0033】左右の手領域と判断された領域について、
各領域の重心位置(Ci,Cj)を次の式(7)を用いて
求める(ステップ505)。なお、式(7)でNは左ま
たは右の手の領域に含まれる画素数、in,jnは左また
は右の手の領域に含まれる画素の座標を示す。
各領域の重心位置(Ci,Cj)を次の式(7)を用いて
求める(ステップ505)。なお、式(7)でNは左ま
たは右の手の領域に含まれる画素数、in,jnは左また
は右の手の領域に含まれる画素の座標を示す。
【0034】
【数10】
【0035】図4に戻り、上記算出された左右の重心位
置のフレーム間での移動方向および移動量を算出する
(ステップ403)。そして、該移動方向あるいは移動
量が予め指定されている閾値を超えた場合に、該フレー
ムにおいては手の動作方向あるいは動作速度が変化した
として、該フレームをキーフレーム120と判断し、該
フレーム画像データを保存する(ステップ404,40
5)。キーフレームと判断されなかった場合には、該保
存処理は行わず、次のフレーム処理に移る。
置のフレーム間での移動方向および移動量を算出する
(ステップ403)。そして、該移動方向あるいは移動
量が予め指定されている閾値を超えた場合に、該フレー
ムにおいては手の動作方向あるいは動作速度が変化した
として、該フレームをキーフレーム120と判断し、該
フレーム画像データを保存する(ステップ404,40
5)。キーフレームと判断されなかった場合には、該保
存処理は行わず、次のフレーム処理に移る。
【0036】ステップ406において、全フレームを処
理したか否かを判定し、未終了であれば、次のフレーム
番号を設定した後(ステップ407)、ステップ401
のフレーム画像データ入力処理に戻り、次のフレームに
対して同様の処理を行う。
理したか否かを判定し、未終了であれば、次のフレーム
番号を設定した後(ステップ407)、ステップ401
のフレーム画像データ入力処理に戻り、次のフレームに
対して同様の処理を行う。
【0037】以上のようにして、ビデオデータ110の
全フレームに対して処理が終了した場合、保存されてい
るキーフレーム画像を用いて、フレーム多重画像作成処
理を実行し(ステップ408)、フレーム多重画像13
0を作成する。なお、ステップ408は、図2のステッ
プ203以降の処理と同じである。
全フレームに対して処理が終了した場合、保存されてい
るキーフレーム画像を用いて、フレーム多重画像作成処
理を実行し(ステップ408)、フレーム多重画像13
0を作成する。なお、ステップ408は、図2のステッ
プ203以降の処理と同じである。
【0038】図7は、本発明のフレーム多重画像作成方
法の第3の実施例の処理フローチャートである。これ
は、請求項3の発明に対応し、人が動作している映像に
おいて手の動きを示す矢印を自動的に描画する場合に適
用する際の処理を示したものである。
法の第3の実施例の処理フローチャートである。これ
は、請求項3の発明に対応し、人が動作している映像に
おいて手の動きを示す矢印を自動的に描画する場合に適
用する際の処理を示したものである。
【0039】Start/End Frame番号指示部700に
おいて、本処理の対象とするフレーム範囲を指定するこ
とにより、該指示された範囲内のフレーム画像データを
ビデオデータ110より順次フレーム単位で入力する
(ステップ701)。該入力されたフレーム画像データ
から、図5で説明したと同様の手法で左右の手の重心位
置を抽出し(ステップ702)、該重心座標データ71
0を保存した後(ステップ703)、キーフレーム判定
処理を行い、キーフレーム120を選択して保存する
(ステップ704)。このステップ704は図4のステ
ップ403〜405に該当する。なお、キーフレームは
第1の実施例と同様にして選択し、それらのフレーム画
像について左右の手の重心位置を抽出することでもよ
い。
おいて、本処理の対象とするフレーム範囲を指定するこ
とにより、該指示された範囲内のフレーム画像データを
ビデオデータ110より順次フレーム単位で入力する
(ステップ701)。該入力されたフレーム画像データ
から、図5で説明したと同様の手法で左右の手の重心位
置を抽出し(ステップ702)、該重心座標データ71
0を保存した後(ステップ703)、キーフレーム判定
処理を行い、キーフレーム120を選択して保存する
(ステップ704)。このステップ704は図4のステ
ップ403〜405に該当する。なお、キーフレームは
第1の実施例と同様にして選択し、それらのフレーム画
像について左右の手の重心位置を抽出することでもよ
い。
【0040】ステップ705において、ビデオデータ1
10の全フレームに対して上記処理を実施したか否かを
判定し、未終了の場合には、次のフレーム番号を設定し
た後(ステップ706)、ステップ701のフレーム画
像データ入力処理に戻って、同様の処理を次のフレーム
に対して実施する。全フレームに対して処理が終了した
場合には、保存されている複数のキーフレーム画像12
0を用いてフレーム多重画像作成処理を実行し、フレー
ム多重画像130を作成する(ステップ707)。この
ステップ707は、図2のステップ203以降の処理と
同じである。
10の全フレームに対して上記処理を実施したか否かを
判定し、未終了の場合には、次のフレーム番号を設定し
た後(ステップ706)、ステップ701のフレーム画
像データ入力処理に戻って、同様の処理を次のフレーム
に対して実施する。全フレームに対して処理が終了した
場合には、保存されている複数のキーフレーム画像12
0を用いてフレーム多重画像作成処理を実行し、フレー
ム多重画像130を作成する(ステップ707)。この
ステップ707は、図2のステップ203以降の処理と
同じである。
【0041】その後、保存しておいた重心座標データ7
10を用いて、各フレームの左右の手の重心間連結を最
も良く近似する直線または曲線を表す式を算出する(ス
テップ708)。該重心間連結を最も良く近似する直線
または曲線の例を図8(a)に示す。図中、右側縦に直
線状に並んでいるのが各フレームの左手重心位置であ
り、左側曲線状に並んでいるのが各フレームの右手重心
位置である。図8(a)に示したように、左手重心間連
結を最も良く近似するのは直線であり、右手のそれは曲
線である。なお、一つの直線や曲線だけではなく複数の
直線や曲線の連結によって近似するのが最もよい場合も
ある。
10を用いて、各フレームの左右の手の重心間連結を最
も良く近似する直線または曲線を表す式を算出する(ス
テップ708)。該重心間連結を最も良く近似する直線
または曲線の例を図8(a)に示す。図中、右側縦に直
線状に並んでいるのが各フレームの左手重心位置であ
り、左側曲線状に並んでいるのが各フレームの右手重心
位置である。図8(a)に示したように、左手重心間連
結を最も良く近似するのは直線であり、右手のそれは曲
線である。なお、一つの直線や曲線だけではなく複数の
直線や曲線の連結によって近似するのが最もよい場合も
ある。
【0042】上記算出され式のた直線/曲線を、フレー
ム多重画像130上に時間的経過を示す矢印を伴って描
き、矢印付フレーム多重画像720として出力する(ス
テップ709)。該矢印付フレーム多重画像を図8
(b)に示す。
ム多重画像130上に時間的経過を示す矢印を伴って描
き、矢印付フレーム多重画像720として出力する(ス
テップ709)。該矢印付フレーム多重画像を図8
(b)に示す。
【0043】以上、本発明の各実施の形態を説明した
が、これらは、いわゆるコンピュータを利用して実現さ
れるものである。その際、図2、図4、図5および図7
に示したような処理フロー(手順)は、アプリケーショ
ンプログラムとしてあらかじめコンピュータ内に用意し
ておいてもよいし、あるいは、これらの手順を記述した
プログラムを記録した記録媒体(フロッピーディスク、
光ディスク等)をコンピュータにかけて読み込ませる
(インストール)ことでもよい。
が、これらは、いわゆるコンピュータを利用して実現さ
れるものである。その際、図2、図4、図5および図7
に示したような処理フロー(手順)は、アプリケーショ
ンプログラムとしてあらかじめコンピュータ内に用意し
ておいてもよいし、あるいは、これらの手順を記述した
プログラムを記録した記録媒体(フロッピーディスク、
光ディスク等)をコンピュータにかけて読み込ませる
(インストール)ことでもよい。
【0044】
【発明の効果】以上説明したように、本発明のフレーム
多重画像作成方法を利用すれば次のような効果が得られ
る。
多重画像作成方法を利用すれば次のような効果が得られ
る。
【0045】(1)多重するフレーム画像上の同じ位置
にある画素値のばらつきの度合いを平均値と標準偏差を
用いて判定し、該判定結果に基づいて各画素値に掛ける
重み係数を決定し加算することにより、従来のように動
きのある部分の画素値が小さくなり、ほとんど見えなく
なるということが防止できる。
にある画素値のばらつきの度合いを平均値と標準偏差を
用いて判定し、該判定結果に基づいて各画素値に掛ける
重み係数を決定し加算することにより、従来のように動
きのある部分の画素値が小さくなり、ほとんど見えなく
なるということが防止できる。
【0046】(2)多重するフレームを決定する際に
は、映像中の物体の動作状況を把握し、該物体の移動方
向あるいは移動量が急激に変化したフレームを選択する
ことにより、動作方向が変化した個所等の重要な意味を
持つフレームを逃がすことが防止できる。
は、映像中の物体の動作状況を把握し、該物体の移動方
向あるいは移動量が急激に変化したフレームを選択する
ことにより、動作方向が変化した個所等の重要な意味を
持つフレームを逃がすことが防止できる。
【0047】(3)映像中の物体の動作方向を示す場合
に、映像中の物体の重心を求め、該重心のフレームの間
の動きを追跡し、該追跡によって得られる軌跡を最もよ
く表現する直線または曲線を算出して、自動的に動作方
向を示す矢印を出力静止画像上に描画することにより、
手作業でCG技術等を用いて描画する必要がなく、矢印
描画に要する時間を短縮することができる。
に、映像中の物体の重心を求め、該重心のフレームの間
の動きを追跡し、該追跡によって得られる軌跡を最もよ
く表現する直線または曲線を算出して、自動的に動作方
向を示す矢印を出力静止画像上に描画することにより、
手作業でCG技術等を用いて描画する必要がなく、矢印
描画に要する時間を短縮することができる。
【図1】本発明のフレーム多重画像作成方法の概要を示
す概念図である。
す概念図である。
【図2】本発明の第1の実施の形態の処理を示すフロー
チャートである。
チャートである。
【図3】各キーフレーム上の同位置画素の輝度値と平均
値および標準偏差の関係を説明する図である。
値および標準偏差の関係を説明する図である。
【図4】本発明の第2の実施の形態の処理を示すフロー
チャートである。
チャートである。
【図5】図4中の左右各重心位置抽出処理の一例を示す
フローチャートである。
フローチャートである。
【図6】映像中の物体の領域抽出として肌色領域の抽
出、クラスリングおよびラベリングの概要を示す概念図
である。
出、クラスリングおよびラベリングの概要を示す概念図
である。
【図7】本発明の第3の実施の形態の処理を示すフロー
チャートである。
チャートである。
【図8】映像中の物体の動作の描画として左右の手の重
心の軌跡とそれを近似する直線/曲線の例を示す概念図
である。
心の軌跡とそれを近似する直線/曲線の例を示す概念図
である。
110 ビデオデータ
120 キーフレーム画像
130 フレーム多重画像
Claims (3)
- 【請求項1】 映像データから複数のフレーム画像を抽
出し、それらを重ね合せて1枚の静止画像を作成する方
法において、 映像データ中の全フレームあるいは指定された範囲に含
まれるフレームからK枚(Kは2以上の整数)のフレー
ムをキーフレームとして選択し、 該選択された各キーフレーム画像上の同じ位置(i,
j)にあるK個の画素について、その輝度成分における
平均値(meani,j)および標準偏差(σi,j)を次式によ
り算出し、 【数1】 【数2】 fY(i,j;k):第kフレーム画像上の位置(i,
j)の画素の輝度値各画素の輝度値fY(i,j;k)と
前記算出した平均値(meani,j)および標準偏差
(σi,j)を用いて、meani,j+σi,j<fY(i,j;
k)またはmeani,j−σi,j>fY(i,j;k)なる画素
には大きな重み係数を与え、meani,j−σi,j<fY(i,
j;k)<meani,j+σi,jなる画素には小さな重み係数
を与え、 出力静止画像上の同じ位置(i,j)における画素値g
(i,j)を次式により算出し、 【数3】 前記の処理をキーフレーム画像の各画素について実施す
ることにより、K枚のキーフレームを重ね合せた1枚の
静止画像を作成することを特徴とするフレーム多重画像
作成方法。 - 【請求項2】 請求項1記載のフレーム多重画像作成方
法において、映像データ中の全フレームあるいは指定さ
れた範囲に含まれるフレームについて、各フレーム毎
に、映像中の予め指定された物体の領域を抽出し、該領
域の重心を算出し、該重心の移動方向および移動量があ
らかじめ定められた閾値を超えたフレームをキーフレー
ムとして選択することを特徴とするフレーム多重画像作
成方法。 - 【請求項3】 請求項1もしくは2記載のフレーム多重
画像作成方法において、各フレーム毎に、映像中の予め
指定された物体の領域を抽出し、該領域の重心を算出
し、該重心を各フレームに渡って追跡して、該追跡した
軌跡の直線あるいは曲線を算出し、該直線あるいは曲線
に動作方向を示す矢印を付加して、出力静止画像上に描
画することを特徴とするフレーム多重画像作成方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP09567497A JP3411469B2 (ja) | 1997-04-14 | 1997-04-14 | フレーム多重画像作成方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP09567497A JP3411469B2 (ja) | 1997-04-14 | 1997-04-14 | フレーム多重画像作成方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH10290450A JPH10290450A (ja) | 1998-10-27 |
JP3411469B2 true JP3411469B2 (ja) | 2003-06-03 |
Family
ID=14144059
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP09567497A Expired - Fee Related JP3411469B2 (ja) | 1997-04-14 | 1997-04-14 | フレーム多重画像作成方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3411469B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011221680A (ja) * | 2010-04-07 | 2011-11-04 | Hasumi Toru | 画像合成方法、画像合成プログラムおよび画像合成装置 |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100579890B1 (ko) | 2004-12-30 | 2006-05-15 | 삼성전자주식회사 | 움직임 적응적 영상처리 장치 및 그 방법 |
JP4499693B2 (ja) | 2006-05-08 | 2010-07-07 | ソニー株式会社 | 画像処理装置、画像処理方法およびプログラム |
JP4797847B2 (ja) * | 2006-07-12 | 2011-10-19 | ソニー株式会社 | 画像処理装置、画像処理手順およびプログラム |
JP5168837B2 (ja) | 2006-07-27 | 2013-03-27 | ソニー株式会社 | 画像処理装置、画像処理方法およびプログラム |
JP2008167220A (ja) * | 2006-12-28 | 2008-07-17 | Canon Inc | 画像処理装置及び方法、並びにプログラム及び記録媒体 |
JP4415198B2 (ja) | 2007-08-30 | 2010-02-17 | カシオ計算機株式会社 | 画像合成装置及びプログラム |
JP4900266B2 (ja) * | 2008-01-30 | 2012-03-21 | ソニー株式会社 | 画像処理装置、画像処理方法およびプログラム |
JP4900265B2 (ja) | 2008-01-30 | 2012-03-21 | ソニー株式会社 | 画像処理装置、画像処理方法およびプログラム |
JP4544332B2 (ja) | 2008-04-07 | 2010-09-15 | ソニー株式会社 | 画像処理装置、画像処理方法、プログラム |
JP5339065B2 (ja) * | 2009-03-17 | 2013-11-13 | 大日本印刷株式会社 | 対象物追跡装置 |
JP5864983B2 (ja) * | 2011-09-26 | 2016-02-17 | オリンパス株式会社 | 画像処理装置 |
JP5914189B2 (ja) * | 2012-06-08 | 2016-05-11 | オリンパス株式会社 | 画像処理装置、画像処理方法、画像処理プログラムおよび撮像装置 |
JP7345236B2 (ja) | 2017-11-10 | 2023-09-15 | 株式会社小松製作所 | 作業車両の動作を推定するための方法、システム、学習済みの分類モデルの製造方法、学習データ、及び学習データの製造方法 |
JP7024539B2 (ja) | 2018-03-22 | 2022-02-24 | カシオ計算機株式会社 | 画像編集装置、画像編集方法、及びプログラム |
CN111199717B (zh) * | 2018-11-19 | 2022-03-11 | 深圳Tcl新技术有限公司 | 一种液晶显示屏Mura补偿方法、***及存储介质 |
-
1997
- 1997-04-14 JP JP09567497A patent/JP3411469B2/ja not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011221680A (ja) * | 2010-04-07 | 2011-11-04 | Hasumi Toru | 画像合成方法、画像合成プログラムおよび画像合成装置 |
Also Published As
Publication number | Publication date |
---|---|
JPH10290450A (ja) | 1998-10-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3411469B2 (ja) | フレーム多重画像作成方法 | |
JP3189870B2 (ja) | 画像処理装置 | |
US7024020B2 (en) | Apparatus and method for generating object-labeled image in video sequence | |
US6999069B1 (en) | Method and apparatus for synthesizing images | |
US7003061B2 (en) | Image extraction from complex scenes in digital video | |
CN110490896B (zh) | 一种视频帧图像处理方法和装置 | |
JP3812763B2 (ja) | キー信号生成装置及び方法 | |
JP2856229B2 (ja) | 画像切り出し箇所検出方法 | |
US20110115786A1 (en) | Image processing apparatus, image processing method, and program | |
WO2001026050A2 (en) | Improved image segmentation processing by user-guided image processing techniques | |
JPH07302336A (ja) | 画像の特徴を曖昧化する方法および装置 | |
US20210158593A1 (en) | Pose selection and animation of characters using video data and training techniques | |
JP3993029B2 (ja) | 化粧シミュレーション装置、化粧シミュレーション方法、化粧シミュレーションプログラム及びそのプログラムを記録した記録媒体 | |
JP2001521656A (ja) | イメージ構成のためのインテリジェント・シザーズを提供するコンピュータ・システム・プロセス及びユーザ・インターフェース | |
JP3753625B2 (ja) | 表情アニメーション生成装置および表情アニメーション生成方法 | |
Leung et al. | Realistic video avatar | |
JPH11175765A (ja) | 3次元モデル作成方法、3次元モデル作成装置及び記憶媒体 | |
JP2973432B2 (ja) | 画像処理方法および装置 | |
US6429866B1 (en) | Three-dimensional graphics drawing apparatus calculating tone of pixel based on tones of pixels at prescribed intervals, method thereof and medium recorded with program therefor | |
JP3677253B2 (ja) | 映像編集方法及びプログラム | |
JP3727768B2 (ja) | コンピュータ画像の表示方法及び表示装置 | |
JP3316445B2 (ja) | 画像合成装置 | |
JP2002208013A (ja) | 画像領域抽出装置及び画像領域抽出方法 | |
JPH0993530A (ja) | 映像変化点検出装置および映像変化点検出方法 | |
JPH07134769A (ja) | 画像合成におけるアンチエリアシング処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090320 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090320 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100320 Year of fee payment: 7 |
|
LAPS | Cancellation because of no payment of annual fees |