JP2001326901A - 動画像シーン情報管理装置 - Google Patents
動画像シーン情報管理装置Info
- Publication number
- JP2001326901A JP2001326901A JP2000145834A JP2000145834A JP2001326901A JP 2001326901 A JP2001326901 A JP 2001326901A JP 2000145834 A JP2000145834 A JP 2000145834A JP 2000145834 A JP2000145834 A JP 2000145834A JP 2001326901 A JP2001326901 A JP 2001326901A
- Authority
- JP
- Japan
- Prior art keywords
- scene
- frame
- information
- moving image
- group
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Television Signal Processing For Recording (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
(57)【要約】
【課題】 動画像全体のシーン構成の把握が容易であ
り、動画像シーンに基づく検索、編集を効率良く行うこ
とを可能とする動画像シーン情報管理装置を提供する。 【解決手段】 動画像に含まれるシーンチェンジを検出
し、各シーンのシーンチェンジフレームの位置情報を蓄
積／管理する動画像シーン情報管理装置であって、各シ
ーンチェンジフレームの位置情報の差分情報に基づい
て、１つ以上のシーンからなるシーン群を１つもしくは
複数決定し、前記シーン群における先頭フレームの位置
情報を出力するシーン群決定部１０３と、前記シーンチ
ェンジフレームの位置情報及び前記シーン群における先
頭フレームの位置情報から、前記動画像全体に亘っての
各シーンチェンジフレームの位置情報を階層的に管理す
るための階層化情報を生成するシーン情報階層化部１０
４とを備えたものである。
り、動画像シーンに基づく検索、編集を効率良く行うこ
とを可能とする動画像シーン情報管理装置を提供する。 【解決手段】 動画像に含まれるシーンチェンジを検出
し、各シーンのシーンチェンジフレームの位置情報を蓄
積／管理する動画像シーン情報管理装置であって、各シ
ーンチェンジフレームの位置情報の差分情報に基づい
て、１つ以上のシーンからなるシーン群を１つもしくは
複数決定し、前記シーン群における先頭フレームの位置
情報を出力するシーン群決定部１０３と、前記シーンチ
ェンジフレームの位置情報及び前記シーン群における先
頭フレームの位置情報から、前記動画像全体に亘っての
各シーンチェンジフレームの位置情報を階層的に管理す
るための階層化情報を生成するシーン情報階層化部１０
４とを備えたものである。
Description
【０００１】
【発明の属する技術分野】本発明は、ディジタル画像処
理の分野に属し、動画像のシーンの切れ目（以下、シー
ンチェンジ）を検出し、動画像シーンを効率的に管理す
る動画像シーン情報管理装置に関するものである。
理の分野に属し、動画像のシーンの切れ目（以下、シー
ンチェンジ）を検出し、動画像シーンを効率的に管理す
る動画像シーン情報管理装置に関するものである。
【０００２】
【従来の技術】近年、パソコン等で大量のディジタル動
画像を扱うようになり、動画像の検索、編集といった作
業をいかに効率よく行うかが重要になってきている。動
画像の検索、編集を行う場合、動画像を、それを構成し
ているシーンに分解し、動画像内の各シーンの配置、構
成を把握することが必要である。ここでいうシーンと
は、動画像において、カメラが切替わる単位、或いは、
場面が切替わる単位等を意味している。
画像を扱うようになり、動画像の検索、編集といった作
業をいかに効率よく行うかが重要になってきている。動
画像の検索、編集を行う場合、動画像を、それを構成し
ているシーンに分解し、動画像内の各シーンの配置、構
成を把握することが必要である。ここでいうシーンと
は、動画像において、カメラが切替わる単位、或いは、
場面が切替わる単位等を意味している。
【０００３】このシーンの配置、構成を把握する方法の
１つとして、動画像データから、動画像中のシーンの切
替わりである先頭フレーム（以下、シーンチェンジフレ
ーム）の位置を検出し、検出された動画像内全てのシー
ンチェンジフレームの位置情報をシーン情報として蓄積
／管理することが知られている。
１つとして、動画像データから、動画像中のシーンの切
替わりである先頭フレーム（以下、シーンチェンジフレ
ーム）の位置を検出し、検出された動画像内全てのシー
ンチェンジフレームの位置情報をシーン情報として蓄積
／管理することが知られている。
【０００４】従来のこの種の動画像シーン情報管理装置
として、例えば特開平9-261648号公報に示されるシーン
チェンジ検出装置を用いたものがあげられる。このシー
ンチェンジ検出装置を用いた従来の動画像シーン情報管
理装置について、図９のブロック図とともに以下説明す
る。
として、例えば特開平9-261648号公報に示されるシーン
チェンジ検出装置を用いたものがあげられる。このシー
ンチェンジ検出装置を用いた従来の動画像シーン情報管
理装置について、図９のブロック図とともに以下説明す
る。
【０００５】従来の動画像シーン情報管理装置は、動画
像符号化データから符号化パラメータを抽出する符号化
パラメータ抽出部８０１と、抽出された符号化パラメー
タに基づいて、動画像中のシーンチェンジフレームを検
出し、そのシーンチェンジフレームの位置情報（シーン
情報）を出力するシーンチェンジ検出部８０２と、出力
されたシーン情報の蓄積を行う蓄積部８０３とから構成
される。蓄積部８０３に蓄積されたシーン情報は、動画
像検索、編集、表示等に利用される。
像符号化データから符号化パラメータを抽出する符号化
パラメータ抽出部８０１と、抽出された符号化パラメー
タに基づいて、動画像中のシーンチェンジフレームを検
出し、そのシーンチェンジフレームの位置情報（シーン
情報）を出力するシーンチェンジ検出部８０２と、出力
されたシーン情報の蓄積を行う蓄積部８０３とから構成
される。蓄積部８０３に蓄積されたシーン情報は、動画
像検索、編集、表示等に利用される。
【０００６】また、特開平5-282379号公報には、動画像
のシーンを階層的に管理する動画像の管理方法及び管理
装置が示されている。この方法においては、まず動画像
全体のシーンの切れ目を検出することにより、動画像全
体をシーンに分割し、１階層の木構造（動画像全体を親
とし、分割した各シーンを子とする木構造）を生成す
る。
のシーンを階層的に管理する動画像の管理方法及び管理
装置が示されている。この方法においては、まず動画像
全体のシーンの切れ目を検出することにより、動画像全
体をシーンに分割し、１階層の木構造（動画像全体を親
とし、分割した各シーンを子とする木構造）を生成す
る。
【０００７】次に、ユーザの入力指示に基づいて、階層
木の編集（併合）を行うことにより、ボトムアップ的に
多階層の木を構築している。さらに、動画像全体に対し
て、初期の段階よりユーザの入力指示により、トップダ
ウン的に多階層の木を構築する方法も提案されている。
木の編集（併合）を行うことにより、ボトムアップ的に
多階層の木を構築している。さらに、動画像全体に対し
て、初期の段階よりユーザの入力指示により、トップダ
ウン的に多階層の木を構築する方法も提案されている。
【０００８】
【発明が解決しようとする課題】しかしながら、上述し
た従来の動画像シーン情報管理装置では、カメラの切替
わりが頻繁に発生する映像、或いはテレビＣＭ等の場面
切替わりの激しい映像に対しては、短い時間にシーンチ
ェンジフレームが多数検出され、短い時間の動画像が多
数のシーンに分割されてしまう。
た従来の動画像シーン情報管理装置では、カメラの切替
わりが頻繁に発生する映像、或いはテレビＣＭ等の場面
切替わりの激しい映像に対しては、短い時間にシーンチ
ェンジフレームが多数検出され、短い時間の動画像が多
数のシーンに分割されてしまう。
【０００９】このため、検出されたシーンチェンジフレ
ームに基づいて、シーンの一覧を表示する場合、シーン
チェンジフレームが多数表示され、動画像全体のシーン
構成の把握が困難であるとともに、動画像全体の構成の
把握が困難であるために、シーンに基づく動画像の検
索、編集等が不便であるという問題があった。
ームに基づいて、シーンの一覧を表示する場合、シーン
チェンジフレームが多数表示され、動画像全体のシーン
構成の把握が困難であるとともに、動画像全体の構成の
把握が困難であるために、シーンに基づく動画像の検
索、編集等が不便であるという問題があった。
【００１０】また、検出された多数のシーンを、意味的
に整理することが考えられるが、これには、高度な処
理、或いは人の介入が必要であり、簡単には実現されな
い。
に整理することが考えられるが、これには、高度な処
理、或いは人の介入が必要であり、簡単には実現されな
い。
【００１１】さらに、上述したボトムアップ型の管理方
法では、一旦動画像全体におけるシーンの分割を行い、
その後ユーザの指示により多階層の木を生成し、シーン
の階層管理を行うために、処理が煩雑になるという問題
があった。
法では、一旦動画像全体におけるシーンの分割を行い、
その後ユーザの指示により多階層の木を生成し、シーン
の階層管理を行うために、処理が煩雑になるという問題
があった。
【００１２】本発明は、上記課題に鑑みてなされたもの
であり、前もって動画像全体におけるシーンの分割を行
うことなく、動画像のシーンへの分割と同時に、シーン
の多階層管理情報を自動生成することによって、動画像
全体のシーン構成の把握が容易であり、動画像シーンに
基づく検索、編集を効率良く行うことを可能とする動画
像シーン情報管理装置を提供するものである。
であり、前もって動画像全体におけるシーンの分割を行
うことなく、動画像のシーンへの分割と同時に、シーン
の多階層管理情報を自動生成することによって、動画像
全体のシーン構成の把握が容易であり、動画像シーンに
基づく検索、編集を効率良く行うことを可能とする動画
像シーン情報管理装置を提供するものである。
【００１３】
【課題を解決するための手段】本願発明に係る動画像シ
ーン情報管理装置は、動画像に含まれるシーンの切れ目
（シーンチェンジ）を検出し、前記検出されたシーンチ
ェンジに基づいて、各シーンにおける先頭フレーム（シ
ーンチェンジフレーム）の位置情報を蓄積／管理する動
画像シーン情報管理装置であって、前記各シーンチェン
ジフレームの位置情報の差分情報に基づいて、１つ以上
のシーンからなるシーン群を１つもしくは複数決定し、
前記シーン群における先頭フレームの位置情報を出力す
るシーン群決定手段と、前記シーンチェンジフレームの
位置情報及び前記シーン群における先頭フレームの位置
情報から、前記動画像全体に亘っての各シーンチェンジ
フレームの位置情報を階層的に管理するための階層化情
報を生成するシーン情報階層化手段とを備えたことを特
徴とする。
ーン情報管理装置は、動画像に含まれるシーンの切れ目
（シーンチェンジ）を検出し、前記検出されたシーンチ
ェンジに基づいて、各シーンにおける先頭フレーム（シ
ーンチェンジフレーム）の位置情報を蓄積／管理する動
画像シーン情報管理装置であって、前記各シーンチェン
ジフレームの位置情報の差分情報に基づいて、１つ以上
のシーンからなるシーン群を１つもしくは複数決定し、
前記シーン群における先頭フレームの位置情報を出力す
るシーン群決定手段と、前記シーンチェンジフレームの
位置情報及び前記シーン群における先頭フレームの位置
情報から、前記動画像全体に亘っての各シーンチェンジ
フレームの位置情報を階層的に管理するための階層化情
報を生成するシーン情報階層化手段とを備えたことを特
徴とする。
【００１４】ここで、前記シーン群決定手段は、時間的
に隣り合うある２つのシーンチェンジフレームのうち、
時間的に前にある方を第１のシーンチェンジフレームと
するとともに、時間的に後ろにある方を第２のシーンチ
ェンジフレームとして、第１のシーンチェンジフレーム
と第２のシーンチェンジフレームとのフレーム間距離を
計算し、前記フレーム間距離が所定の閾値より大きい場
合に、前記第１のシーンチェンジフレームから始まる第
１のシーンと前記第２のシーンチェンジフレームから始
まる第２のシーンとを異なるシーン群に含まれるものと
決定して、前記第２のシーンチェンジフレームを新たな
シーン群の先頭フレームとしてその位置情報を出力し、
前記フレーム間距離が所定の閾値より小さい場合に、前
記第１のシーンと前記第２のシーンとを同一のシーン群
に含まれるものと決定することを特徴とする。
に隣り合うある２つのシーンチェンジフレームのうち、
時間的に前にある方を第１のシーンチェンジフレームと
するとともに、時間的に後ろにある方を第２のシーンチ
ェンジフレームとして、第１のシーンチェンジフレーム
と第２のシーンチェンジフレームとのフレーム間距離を
計算し、前記フレーム間距離が所定の閾値より大きい場
合に、前記第１のシーンチェンジフレームから始まる第
１のシーンと前記第２のシーンチェンジフレームから始
まる第２のシーンとを異なるシーン群に含まれるものと
決定して、前記第２のシーンチェンジフレームを新たな
シーン群の先頭フレームとしてその位置情報を出力し、
前記フレーム間距離が所定の閾値より小さい場合に、前
記第１のシーンと前記第２のシーンとを同一のシーン群
に含まれるものと決定することを特徴とする。
【００１５】また、前記第１のシーン及び前記第２のシ
ーンが異なるシーン群に含まれるか或いは同一のシーン
群に含まれるかを決定するための閾値は、可変値である
ことを特徴とする。
ーンが異なるシーン群に含まれるか或いは同一のシーン
群に含まれるかを決定するための閾値は、可変値である
ことを特徴とする。
【００１６】さらに、本願発明に係る動画像シーン情報
管理装置は、動画像に含まれるシーンの切れ目（シーン
チェンジ）を検出し、前記検出されたシーンチェンジに
基づいて、各シーンにおける先頭フレーム（シーンチェ
ンジフレーム）の位置情報を蓄積／管理する動画像シー
ン情報管理装置であって、前記動画像全体に亘る各フレ
ームが前記シーンチェンジフレームであるか否かを示す
フラグに基づいて、１つ以上のシーンからなるシーン群
を１つもしくは複数決定し、前記シーン群における先頭
フレームの位置情報を出力するシーン群決定手段と、前
記シーンチェンジフレームの位置情報及び前記シーン群
における先頭フレームの位置情報から、前記動画像全体
に亘っての各シーンチェンジフレームの位置情報を階層
的に管理するための階層化情報を生成するシーン情報階
層化手段を備えたことを特徴とする。
管理装置は、動画像に含まれるシーンの切れ目（シーン
チェンジ）を検出し、前記検出されたシーンチェンジに
基づいて、各シーンにおける先頭フレーム（シーンチェ
ンジフレーム）の位置情報を蓄積／管理する動画像シー
ン情報管理装置であって、前記動画像全体に亘る各フレ
ームが前記シーンチェンジフレームであるか否かを示す
フラグに基づいて、１つ以上のシーンからなるシーン群
を１つもしくは複数決定し、前記シーン群における先頭
フレームの位置情報を出力するシーン群決定手段と、前
記シーンチェンジフレームの位置情報及び前記シーン群
における先頭フレームの位置情報から、前記動画像全体
に亘っての各シーンチェンジフレームの位置情報を階層
的に管理するための階層化情報を生成するシーン情報階
層化手段を備えたことを特徴とする。
【００１７】ここで、前記シーン群決定手段は、時間的
に隣り合うある２つのシーンチェンジフレームのうち、
時間的に前にある方を第１のシーンチェンジフレームと
するとともに、時間的に後ろにある方を第２のシーンチ
ェンジフレームとして、前記フラグに基づいて、第１の
シーンチェンジフレームと第２のシーンチェンジフレー
ムとの間の非シーンチェンジフレームの数をカウント
し、前記カウントされた非シーンチェンジフレーム数が
所定の閾値より大きい場合に、前記第１のシーンチェン
ジフレームから始まる第１のシーンと前記第２のシーン
チェンジフレームから始まる第２のシーンとを異なるシ
ーン群に含まれるものと決定して、前記第２のシーンチ
ェンジフレームを新たなシーン群の先頭フレームとして
その位置情報を出力し、前記カウントされた非シーンチ
ェンジフレーム数が所定の閾値より小さい場合に、前記
第１のシーンと前記第２のシーンとを同一のシーン群に
含まれるものと決定することを特徴とする。
に隣り合うある２つのシーンチェンジフレームのうち、
時間的に前にある方を第１のシーンチェンジフレームと
するとともに、時間的に後ろにある方を第２のシーンチ
ェンジフレームとして、前記フラグに基づいて、第１の
シーンチェンジフレームと第２のシーンチェンジフレー
ムとの間の非シーンチェンジフレームの数をカウント
し、前記カウントされた非シーンチェンジフレーム数が
所定の閾値より大きい場合に、前記第１のシーンチェン
ジフレームから始まる第１のシーンと前記第２のシーン
チェンジフレームから始まる第２のシーンとを異なるシ
ーン群に含まれるものと決定して、前記第２のシーンチ
ェンジフレームを新たなシーン群の先頭フレームとして
その位置情報を出力し、前記カウントされた非シーンチ
ェンジフレーム数が所定の閾値より小さい場合に、前記
第１のシーンと前記第２のシーンとを同一のシーン群に
含まれるものと決定することを特徴とする。
【００１８】また、前記第１のシーン及び前記第２のシ
ーンが異なるシーン群に含まれるか或いは同一のシーン
群に含まれるかを決定するための閾値は、可変値である
ことを特徴とする。
ーンが異なるシーン群に含まれるか或いは同一のシーン
群に含まれるかを決定するための閾値は、可変値である
ことを特徴とする。
【００１９】さらに、前記シーン情報階層化手段は、前
記各シーンにおける先頭フレームの位置情報を木構造で
表して階層的に管理することを特徴とする。
記各シーンにおける先頭フレームの位置情報を木構造で
表して階層的に管理することを特徴とする。
【００２０】
【発明の実施の形態】以下、本発明の第１実施形態を図
１乃至図４とともに詳細に説明する。ここで、図１は本
実施形態に係る動画像シーン情報管理装置の構成を示す
ブロック図、図２は本実施形態に係る動画像シーン情報
管理装置におけるシーン群決定部の構成を示すブロック
図、図３は本実施形態に係る動画像シーン情報管理装置
におけるシーン群決定部の動作を説明するための図、図
４は本実施形態に係る動画像シーン情報管理装置におけ
るシーン情報階層化部の動作を説明するための図であ
る。
１乃至図４とともに詳細に説明する。ここで、図１は本
実施形態に係る動画像シーン情報管理装置の構成を示す
ブロック図、図２は本実施形態に係る動画像シーン情報
管理装置におけるシーン群決定部の構成を示すブロック
図、図３は本実施形態に係る動画像シーン情報管理装置
におけるシーン群決定部の動作を説明するための図、図
４は本実施形態に係る動画像シーン情報管理装置におけ
るシーン情報階層化部の動作を説明するための図であ
る。
【００２１】本実施形態に係る動画像シーン情報管理装
置は、図１に示すように、入力されたMPEG-1等の動画像
符号化データから、符号化パラメータを抽出する符号化
パラメータ抽出部１０１と、抽出された符号化パラメー
タに基づいて、動画像中のシーンチェンジフレームを検
出し、そのシーンチェンジフレームの位置情報を出力す
るシーンチェンジフレーム検出部１０２とを備えてい
る。
置は、図１に示すように、入力されたMPEG-1等の動画像
符号化データから、符号化パラメータを抽出する符号化
パラメータ抽出部１０１と、抽出された符号化パラメー
タに基づいて、動画像中のシーンチェンジフレームを検
出し、そのシーンチェンジフレームの位置情報を出力す
るシーンチェンジフレーム検出部１０２とを備えてい
る。
【００２２】また、シーンチェンジフレーム検出部１０
２より出力されたシーンチェンジフレームの位置情報に
基づいて、１つ以上のシーンからなる1つ以上のシーン
群を決定し、シーン群における先頭フレームの位置情報
（シーン群情報）を出力するシーン群決定部１０３と、
動画像全体に亘ってのシーンチェンジフレームの位置情
報を階層的に管理するための階層化情報を生成するシー
ン情報階層化部１０４と、シーンチェンジフレームの位
置情報と階層化情報とを蓄積／管理する蓄積部１０５と
を備えている。
２より出力されたシーンチェンジフレームの位置情報に
基づいて、１つ以上のシーンからなる1つ以上のシーン
群を決定し、シーン群における先頭フレームの位置情報
（シーン群情報）を出力するシーン群決定部１０３と、
動画像全体に亘ってのシーンチェンジフレームの位置情
報を階層的に管理するための階層化情報を生成するシー
ン情報階層化部１０４と、シーンチェンジフレームの位
置情報と階層化情報とを蓄積／管理する蓄積部１０５と
を備えている。
【００２３】ここで、符号化パラメータ抽出部１０１、
シーンチェンジフレーム検出部１０２、及び蓄積部１０
５は、上述した従来例における符号化パラメータ抽出部
８０１、シーンチェンジフレーム検出部８０２、及び蓄
積部８０３と同様であるため、説明は省略する。
シーンチェンジフレーム検出部１０２、及び蓄積部１０
５は、上述した従来例における符号化パラメータ抽出部
８０１、シーンチェンジフレーム検出部８０２、及び蓄
積部８０３と同様であるため、説明は省略する。
【００２４】まず、シーン群決定部１０３について説明
する。図２において、シーンチェンジフレーム検出部１
０２より出力されたシーンチェンジフレームの位置情報
（シーン情報）は、シーン情報比較部２０１に入力され
る。シーン情報比較部２０１では、入力されたシーンチ
ェンジフレームのシーン情報と、既にメモリ２０２に保
存されている時間的に過去のシーンチェンジフレームの
シーン情報とからフレーム間距離を計算する。
する。図２において、シーンチェンジフレーム検出部１
０２より出力されたシーンチェンジフレームの位置情報
（シーン情報）は、シーン情報比較部２０１に入力され
る。シーン情報比較部２０１では、入力されたシーンチ
ェンジフレームのシーン情報と、既にメモリ２０２に保
存されている時間的に過去のシーンチェンジフレームの
シーン情報とからフレーム間距離を計算する。
【００２５】そのフレーム間距離が所定の閾値より大き
い場合、入力されたシーンチェンジフレームを新たなシ
ーン群の先頭とし、シーンチェンジフレームの位置情報
（シーン情報）をシーン群情報として出力する。さら
に、入力されたシーンチェンジフレームのシーン情報
は、次に入力されるシーンチェンジフレームのシーン情
報との比較のために、メモリ２０２に格納される。
い場合、入力されたシーンチェンジフレームを新たなシ
ーン群の先頭とし、シーンチェンジフレームの位置情報
（シーン情報）をシーン群情報として出力する。さら
に、入力されたシーンチェンジフレームのシーン情報
は、次に入力されるシーンチェンジフレームのシーン情
報との比較のために、メモリ２０２に格納される。
【００２６】尚、メモリ２０２にシーン情報が格納され
ていない場合、例えばシーン情報比較部２０１に初めて
シーン情報が入力される場合等には、シーン情報の比較
が不可能である。このような場合、例えば、メモリ２０
２に過去のシーン情報があるか否かのフラグを設けるな
どして、フラグがメモリ２０２にシーン情報がないこと
を示していれば、入力されたシーンチェンジフレームの
シーン情報をそのままシーン群情報として出力するよう
にしてもよい。
ていない場合、例えばシーン情報比較部２０１に初めて
シーン情報が入力される場合等には、シーン情報の比較
が不可能である。このような場合、例えば、メモリ２０
２に過去のシーン情報があるか否かのフラグを設けるな
どして、フラグがメモリ２０２にシーン情報がないこと
を示していれば、入力されたシーンチェンジフレームの
シーン情報をそのままシーン群情報として出力するよう
にしてもよい。
【００２７】次に、シーン群決定部１０３の処理につい
て説明する。図３は時系列に並べたフレームを表し、斜
線で表されたフレーム（Ｆ１、Ｆ２、Ｆ３、Ｆ４及びＦ
５）はシーンチェンジフレーム検出部１０２で検出され
たシーンチェンジフレームを示している。
て説明する。図３は時系列に並べたフレームを表し、斜
線で表されたフレーム（Ｆ１、Ｆ２、Ｆ３、Ｆ４及びＦ
５）はシーンチェンジフレーム検出部１０２で検出され
たシーンチェンジフレームを示している。
【００２８】ここで、フレームＦ１からフレームＦ２の
直前までをシーン１、フレームＦ２からフレームＦ３の
直前までをシーン２、フレームＦ３からフレームＦ４の
直前までをシーン３、フレームＦ４からフレームＦ５の
直前までをシーン４、フレームＦ５から（図示されては
いないが）次のシーンチェンジフレームの直前までをシ
ーン５とする。
直前までをシーン１、フレームＦ２からフレームＦ３の
直前までをシーン２、フレームＦ３からフレームＦ４の
直前までをシーン３、フレームＦ４からフレームＦ５の
直前までをシーン４、フレームＦ５から（図示されては
いないが）次のシーンチェンジフレームの直前までをシ
ーン５とする。
【００２９】さらに、フレームＦ１のフレーム番号を１
として、各フレームに対して順次フレーム番号を付与
し、シーンチェンジフレームの位置情報（シーン情報）
は、シーンチェンジフレームのフレーム番号で示すもの
とする。つまり、フレームＦ１のシーン情報＝１、フレ
ームＦ２のシーン情報＝１６、フレームＦ３のシーン情
報＝１９、フレームＦ４のシーン情報＝２２、及びフレ
ームＦ５のシーン情報＝３６となる。また、シーン情報
比較部２０１で用いられる閾値は１２とする。
として、各フレームに対して順次フレーム番号を付与
し、シーンチェンジフレームの位置情報（シーン情報）
は、シーンチェンジフレームのフレーム番号で示すもの
とする。つまり、フレームＦ１のシーン情報＝１、フレ
ームＦ２のシーン情報＝１６、フレームＦ３のシーン情
報＝１９、フレームＦ４のシーン情報＝２２、及びフレ
ームＦ５のシーン情報＝３６となる。また、シーン情報
比較部２０１で用いられる閾値は１２とする。
【００３０】フレームＦ１のシーン情報（＝１）は、シ
ーン情報比較部２０１に入力される最初のシーンチェン
ジフレームのシーン情報であるため、シーン情報比較部
２０１において、シーン群情報として出力される。ま
た、フレームＦ１のシーン情報は、次に入力されるシー
ンチェンジフレームのシーン情報との比較のためにメモ
リ２０２に格納される。
ーン情報比較部２０１に入力される最初のシーンチェン
ジフレームのシーン情報であるため、シーン情報比較部
２０１において、シーン群情報として出力される。ま
た、フレームＦ１のシーン情報は、次に入力されるシー
ンチェンジフレームのシーン情報との比較のためにメモ
リ２０２に格納される。
【００３１】次にシーン情報比較部２０１に入力される
フレームＦ２のシーン情報（＝１６）は、既にメモリ２
０２に格納されているフレームＦ１のシーン情報（＝
１）と比較され、フレーム間距離が計算される。ここで
のフレーム間距離は、１６−１＝１５となり、閾値（＝
１２）以上であるため、フレームＦ２は新たなシーン群
の先頭となり、フレームＦ２のシーン情報は、シーン群
情報として出力される。また、フレームＦ２のシーン情
報は、次に入力されるシーンチェンジフレームのシーン
情報との比較のためにメモリ２０２に格納される。
フレームＦ２のシーン情報（＝１６）は、既にメモリ２
０２に格納されているフレームＦ１のシーン情報（＝
１）と比較され、フレーム間距離が計算される。ここで
のフレーム間距離は、１６−１＝１５となり、閾値（＝
１２）以上であるため、フレームＦ２は新たなシーン群
の先頭となり、フレームＦ２のシーン情報は、シーン群
情報として出力される。また、フレームＦ２のシーン情
報は、次に入力されるシーンチェンジフレームのシーン
情報との比較のためにメモリ２０２に格納される。
【００３２】また、次にシーン情報比較部２０１に入力
されるフレームＦ３のシーン情報（＝１９）は、メモリ
に格納されているフレームＦ２のシーン情報（＝１６）
と比較され、フレーム間距離が計算される。フレーム間
距離は１９−１６＝３となり、閾値（＝１２）未満であ
るため、フレームＦ３のシーン情報はシーン群情報とし
て出力されない。また、フレームＦ３のシーン情報は、
次に入力されるシーンチェンジフレームのシーン情報と
の比較のためにメモリ２０２に格納される。
されるフレームＦ３のシーン情報（＝１９）は、メモリ
に格納されているフレームＦ２のシーン情報（＝１６）
と比較され、フレーム間距離が計算される。フレーム間
距離は１９−１６＝３となり、閾値（＝１２）未満であ
るため、フレームＦ３のシーン情報はシーン群情報とし
て出力されない。また、フレームＦ３のシーン情報は、
次に入力されるシーンチェンジフレームのシーン情報と
の比較のためにメモリ２０２に格納される。
【００３３】さらに、次にシーン情報比較部２０１に入
力されるフレームＦ４のシーン情報（＝２２）は、メモ
リに格納されているフレームＦ３のシーン情報（＝１
９）と比較され、フレーム間距離が計算される。フレー
ム間距離は２２−１９＝３となり、閾値（＝１２）未満
であるため、フレームＦ４のシーン情報はシーン群情報
として出力されない。また、フレームＦ４のシーン情報
は、次に入力されるシーンチェンジフレームのシーン情
報との比較のためにメモリ２０２に格納される。
力されるフレームＦ４のシーン情報（＝２２）は、メモ
リに格納されているフレームＦ３のシーン情報（＝１
９）と比較され、フレーム間距離が計算される。フレー
ム間距離は２２−１９＝３となり、閾値（＝１２）未満
であるため、フレームＦ４のシーン情報はシーン群情報
として出力されない。また、フレームＦ４のシーン情報
は、次に入力されるシーンチェンジフレームのシーン情
報との比較のためにメモリ２０２に格納される。
【００３４】そしてまた、次にシーン情報比較部２０１
に入力されるフレームＦ５のシーン情報（＝３６）は、
メモリに格納されているフレームＦ４のシーン情報（＝
２２）と比較され、フレーム間距離が計算される。フレ
ーム間距離は３６−２２＝１４となり、閾値（＝１２）
以上であるため、フレームＦ５は新たなシーン群の先頭
となり、フレームＦ５のシーン情報は、シーン群情報と
して出力される。また、フレームＦ５のシーン情報は、
次に入力されるシーンチェンジフレームのシーン情報と
の比較のためにメモリ２０２に格納される。
に入力されるフレームＦ５のシーン情報（＝３６）は、
メモリに格納されているフレームＦ４のシーン情報（＝
２２）と比較され、フレーム間距離が計算される。フレ
ーム間距離は３６−２２＝１４となり、閾値（＝１２）
以上であるため、フレームＦ５は新たなシーン群の先頭
となり、フレームＦ５のシーン情報は、シーン群情報と
して出力される。また、フレームＦ５のシーン情報は、
次に入力されるシーンチェンジフレームのシーン情報と
の比較のためにメモリ２０２に格納される。
【００３５】結果として、シーン１がシーン群１、シー
ン２からシーン４までがシーン群２、シーン５がシーン
群３となり、フレームＦ１、フレームＦ２、及びフレー
ムＦ５のシーン情報が、シーン群決定部１０３よりシー
ン群情報として出力される。
ン２からシーン４までがシーン群２、シーン５がシーン
群３となり、フレームＦ１、フレームＦ２、及びフレー
ムＦ５のシーン情報が、シーン群決定部１０３よりシー
ン群情報として出力される。
【００３６】尚、ここでは閾値、及びシーン情報の比較
をフレーム単位で行ったが、例えば閾値を２秒とするな
どして、時間単位の比較を行ってもよい。また、この閾
値を、映像の種類／ジャンルなどに応じて適宜可変する
ことによって、より適切なシーン群の作成が可能とな
る。
をフレーム単位で行ったが、例えば閾値を２秒とするな
どして、時間単位の比較を行ってもよい。また、この閾
値を、映像の種類／ジャンルなどに応じて適宜可変する
ことによって、より適切なシーン群の作成が可能とな
る。
【００３７】次に、シーン情報階層化部１０４について
説明する。ここでは、シーンチェンジフレーム検出部１
０２で出力されたシーン情報、及びシーン群決定部１０
３で出力されたシーン群情報を入力として、動画像全体
に亘ってのシーンチェンジフレームの位置情報を木構造
で表して、階層的に管理するための階層化情報の生成を
行う。
説明する。ここでは、シーンチェンジフレーム検出部１
０２で出力されたシーン情報、及びシーン群決定部１０
３で出力されたシーン群情報を入力として、動画像全体
に亘ってのシーンチェンジフレームの位置情報を木構造
で表して、階層的に管理するための階層化情報の生成を
行う。
【００３８】木構造の各ノードは、シーン群あるいはシ
ーンの先頭フレーム（シーンチェンジフレーム）の位置
情報（動画像全体における先頭からの時間、フレーム番
号等）と、下位階層のノードへのリンク（枝部分）とか
ら構成される。木構造の根ノードは、動画像全体におけ
る先頭フレームの位置情報と、及び下位階層のノードへ
のリンクとから構成される。
ーンの先頭フレーム（シーンチェンジフレーム）の位置
情報（動画像全体における先頭からの時間、フレーム番
号等）と、下位階層のノードへのリンク（枝部分）とか
ら構成される。木構造の根ノードは、動画像全体におけ
る先頭フレームの位置情報と、及び下位階層のノードへ
のリンクとから構成される。
【００３９】図４は階層化された木構造を示した図であ
る。上位階層では、シーン群決定部１０３で出力された
シーン群情報（図３におけるフレームＦ１，Ｆ２，Ｆ５
の位置情報）を示し、下位階層では、各シーン群に含ま
れるシーンのシーン情報（図３におけるシーンチェンジ
フレームＦ１，Ｆ２，Ｆ３，Ｆ４，Ｆ５）を示してい
る。
る。上位階層では、シーン群決定部１０３で出力された
シーン群情報（図３におけるフレームＦ１，Ｆ２，Ｆ５
の位置情報）を示し、下位階層では、各シーン群に含ま
れるシーンのシーン情報（図３におけるシーンチェンジ
フレームＦ１，Ｆ２，Ｆ３，Ｆ４，Ｆ５）を示してい
る。
【００４０】但し、図４(ａ)は下位階層にシーン群情報
を含めた場合の木構造であり、図４(ｂ)は下位階層にシ
ーン群情報を含めない場合の木構造である。例えば図４
(ｂ)の場合を例にとると、木構造の根ノードは、動画像
全体における先頭フレームの位置情報、及びシーン群の
先頭フレーム（シーンチェンジフレーム）Ｆ１，Ｆ２，
Ｆ５へのリンクを持つ。
を含めた場合の木構造であり、図４(ｂ)は下位階層にシ
ーン群情報を含めない場合の木構造である。例えば図４
(ｂ)の場合を例にとると、木構造の根ノードは、動画像
全体における先頭フレームの位置情報、及びシーン群の
先頭フレーム（シーンチェンジフレーム）Ｆ１，Ｆ２，
Ｆ５へのリンクを持つ。
【００４１】さらに、ノードＦ２は、フレーム（シーン
チェンジフレーム）Ｆ２の位置情報、及びフレームＦ２
から始まるシーン群に含まれるシーンの先頭フレーム
（シーンチェンジフレーム）Ｆ３，Ｆ４へのリンクを持
つ。
チェンジフレーム）Ｆ２の位置情報、及びフレームＦ２
から始まるシーン群に含まれるシーンの先頭フレーム
（シーンチェンジフレーム）Ｆ３，Ｆ４へのリンクを持
つ。
【００４２】また、図４(ａ)では、ある１つの閾値を用
いて決定されたシーン群情報が上位階層に示されている
が、異なる閾値により得られるシーン群情報を、上位階
層と下位階層との間に設けたり（上記閾値より小さい閾
値を利用した場合）、上位階層のさらに上の階層に設け
たり（上記閾値より大きい閾値を利用した場合）して、
多階層構造としても良い。シーン情報階層化部１０４で
生成された階層化情報は、蓄積部１０５に送られ、動画
像シーン管理情報として蓄積／管理される。
いて決定されたシーン群情報が上位階層に示されている
が、異なる閾値により得られるシーン群情報を、上位階
層と下位階層との間に設けたり（上記閾値より小さい閾
値を利用した場合）、上位階層のさらに上の階層に設け
たり（上記閾値より大きい閾値を利用した場合）して、
多階層構造としても良い。シーン情報階層化部１０４で
生成された階層化情報は、蓄積部１０５に送られ、動画
像シーン管理情報として蓄積／管理される。
【００４３】次に、本発明の第２実施形態について、図
５乃至図８とともに説明するが、上記第１実施形態と同
一部分には同一符号を付し、その説明は省略する。ここ
で、図５は本実施形態に係る動画像シーン情報管理装置
の構成を示すブロック図、図６は本実施形態に係る動画
像シーン情報管理装置におけるシーン群決定部の構成を
示すブロック図、図７及び図８は本実施形態に係る動画
像シーン情報管理装置におけるシーン群決定部の動作を
説明するための図である。
５乃至図８とともに説明するが、上記第１実施形態と同
一部分には同一符号を付し、その説明は省略する。ここ
で、図５は本実施形態に係る動画像シーン情報管理装置
の構成を示すブロック図、図６は本実施形態に係る動画
像シーン情報管理装置におけるシーン群決定部の構成を
示すブロック図、図７及び図８は本実施形態に係る動画
像シーン情報管理装置におけるシーン群決定部の動作を
説明するための図である。
【００４４】本実施形態に係る動画像シーン情報管理装
置は、図５に示すように、入力されたMPEG-1等の動画像
符号化データから、符号化パラメータを抽出する符号化
パラメータ抽出部１０１と、抽出された符号化パラメー
タに基づいて、動画像中のシーンチェンジフレームを検
出し、そのシーンチェンジフレームの位置情報（シーン
情報）、及び動画像を構成する各フレームがシーンチェ
ンジフレームか否かを示すフラグを出力するシーンチェ
ンジフレーム検出部５０２とを備えている。
置は、図５に示すように、入力されたMPEG-1等の動画像
符号化データから、符号化パラメータを抽出する符号化
パラメータ抽出部１０１と、抽出された符号化パラメー
タに基づいて、動画像中のシーンチェンジフレームを検
出し、そのシーンチェンジフレームの位置情報（シーン
情報）、及び動画像を構成する各フレームがシーンチェ
ンジフレームか否かを示すフラグを出力するシーンチェ
ンジフレーム検出部５０２とを備えている。
【００４５】また、シーンチェンジフレーム検出部５０
２より出力されたシーンチェンジフレームの位置情報、
及びフラグに基づいて、１つ以上のシーンからなる１つ
以上のシーン群を決定し、そのシーン群における先頭フ
レームの位置情報（シーン群情報）を出力するシーン群
決定部５０３と、動画像全体に亘ってのシーンチェンジ
フレームの位置情報を階層的に管理するための階層化情
報を生成するシーン情報階層化部１０４と、シーンチェ
ンジフレームの位置情報と階層化情報とを蓄積／管理す
る蓄積部１０５とを備えている。
２より出力されたシーンチェンジフレームの位置情報、
及びフラグに基づいて、１つ以上のシーンからなる１つ
以上のシーン群を決定し、そのシーン群における先頭フ
レームの位置情報（シーン群情報）を出力するシーン群
決定部５０３と、動画像全体に亘ってのシーンチェンジ
フレームの位置情報を階層的に管理するための階層化情
報を生成するシーン情報階層化部１０４と、シーンチェ
ンジフレームの位置情報と階層化情報とを蓄積／管理す
る蓄積部１０５とを備えている。
【００４６】まず、シーンチェンジ検出部５０２につい
て説明する。基本的な動作は第１実施形態と同様である
が、ここでは、シーンチェンジフレームの位置情報（シ
ーン情報）に加えて、動画像を構成する各フレームがシ
ーンチェンジフレームか否かを示すフラグを出力する点
が第１実施形態におけるシーンチェンジ検出部１０２と
異なる。
て説明する。基本的な動作は第１実施形態と同様である
が、ここでは、シーンチェンジフレームの位置情報（シ
ーン情報）に加えて、動画像を構成する各フレームがシ
ーンチェンジフレームか否かを示すフラグを出力する点
が第１実施形態におけるシーンチェンジ検出部１０２と
異なる。
【００４７】次に、シーン群決定部５０３について説明
する。図６において、シーンチェンジフレーム検出部５
０２で出力されたシーンチェンジフレームか否かを示す
フラグは、シーンチェンジフレームでない場合は、スイ
ッチ６０１を下側に接続することにより、フレームカウ
ント部６０３に送られ、シーンチェンジフレームの場合
は、スイッチ６０１を上側に接続することにより、シー
ン群判定部６０２に送られる。
する。図６において、シーンチェンジフレーム検出部５
０２で出力されたシーンチェンジフレームか否かを示す
フラグは、シーンチェンジフレームでない場合は、スイ
ッチ６０１を下側に接続することにより、フレームカウ
ント部６０３に送られ、シーンチェンジフレームの場合
は、スイッチ６０１を上側に接続することにより、シー
ン群判定部６０２に送られる。
【００４８】フレームカウント部６０３では、直前のシ
ーンチェンジフレームからの非シーンチェンジフレーム
数をカウントし、次にシーンチェンジフレームが来た時
点で、カウント値をシーン群判定部６０２に通知する。
シーン群判定部６０２では、フレームカウント部６０３
から通知されるカウント値（非シーンチェンジフレーム
の数）が所定の閾値以上である場合、入力された第２の
シーンチェンジフレームを新たなシーン群の先頭フレー
ムとして、その位置情報（シーン群情報）を出力する。
その後、フレームカウント部６０３のカウント値を０に
リセットする。
ーンチェンジフレームからの非シーンチェンジフレーム
数をカウントし、次にシーンチェンジフレームが来た時
点で、カウント値をシーン群判定部６０２に通知する。
シーン群判定部６０２では、フレームカウント部６０３
から通知されるカウント値（非シーンチェンジフレーム
の数）が所定の閾値以上である場合、入力された第２の
シーンチェンジフレームを新たなシーン群の先頭フレー
ムとして、その位置情報（シーン群情報）を出力する。
その後、フレームカウント部６０３のカウント値を０に
リセットする。
【００４９】次に、シーン群決定部５０３の処理につい
て説明する。図７は時系列に並べたフレームを表し、斜
線で表されたフレーム（Ｆ１、Ｆ２、Ｆ３、Ｆ４及びＦ
５）はシーンチェンジフレーム検出部５０２で検出され
たシーンチェンジフレームを示している。
て説明する。図７は時系列に並べたフレームを表し、斜
線で表されたフレーム（Ｆ１、Ｆ２、Ｆ３、Ｆ４及びＦ
５）はシーンチェンジフレーム検出部５０２で検出され
たシーンチェンジフレームを示している。
【００５０】ここで、フレームＦ１からフレームＦ２の
直前までをシーン１、フレームＦ２からフレームＦ３の
直前までをシーン２、フレームＦ３からフレームＦ４の
直前までをシーン３、フレームＦ４からフレームＦ５の
直前までをシーン４、フレームＦ５から（図示されては
いないが）次のシーンチェンジフレームの直前までをシ
ーン５とする。また、シーン群判定部６０２で用いられ
る閾値は１２フレームとする。
直前までをシーン１、フレームＦ２からフレームＦ３の
直前までをシーン２、フレームＦ３からフレームＦ４の
直前までをシーン３、フレームＦ４からフレームＦ５の
直前までをシーン４、フレームＦ５から（図示されては
いないが）次のシーンチェンジフレームの直前までをシ
ーン５とする。また、シーン群判定部６０２で用いられ
る閾値は１２フレームとする。
【００５１】図８はシーン群判定部６０２、及びフレー
ムカウント部６０３の動作について、横軸に時間、縦軸
にフレームのカウント値をとり、グラフで示したもので
ある。グラフ中の実線は、フレームカウント部６０３で
計算される、シーン１からシーン５の各シーンにおいて
非シーンチェンジフレームの数のカウントを表し、グラ
フ中の破線は、シーン群判定部６０２で用いられるフレ
ーム数の閾値（１２フレーム）を表している。
ムカウント部６０３の動作について、横軸に時間、縦軸
にフレームのカウント値をとり、グラフで示したもので
ある。グラフ中の実線は、フレームカウント部６０３で
計算される、シーン１からシーン５の各シーンにおいて
非シーンチェンジフレームの数のカウントを表し、グラ
フ中の破線は、シーン群判定部６０２で用いられるフレ
ーム数の閾値（１２フレーム）を表している。
【００５２】フレームＦ１、フレームＦ２、及びフレー
ムＦ５では、非シーンチェンジフレームのカウント値が
所定の閾値を超えているため、シーン群判定部６０２に
おいて、新たなシーン群の先頭フレームと判定される。
フレームＦ３、及びフレームＦ４では、閾値に満たない
ため、新たなシーン群の先頭フレームとは判定されな
い。
ムＦ５では、非シーンチェンジフレームのカウント値が
所定の閾値を超えているため、シーン群判定部６０２に
おいて、新たなシーン群の先頭フレームと判定される。
フレームＦ３、及びフレームＦ４では、閾値に満たない
ため、新たなシーン群の先頭フレームとは判定されな
い。
【００５３】ここでは、非シーンチェンジフレーム数の
カウントを所定の閾値を超えた後も続けてカウントして
いるが、例えば、カウント値が所定の閾値を超えたこと
を示すフラグを設け、カウント値が所定の閾値を超えた
ときは、カウントをリセットすると同時にオフにすると
いった動作をさせることで、非シーンチェンジフレーム
のカウントを行わないようにしても良い。
カウントを所定の閾値を超えた後も続けてカウントして
いるが、例えば、カウント値が所定の閾値を超えたこと
を示すフラグを設け、カウント値が所定の閾値を超えた
ときは、カウントをリセットすると同時にオフにすると
いった動作をさせることで、非シーンチェンジフレーム
のカウントを行わないようにしても良い。
【００５４】結果として、図７で示されるように、シー
ン１がシーン群１、シーン２からシーン４までがシーン
群２、及びシーン５がシーン群３となり、フレームＦ
１、フレームＦ２、及びフレームＦ５を各シーン群の先
頭フレームとして、それらシーンチェンジフレームの位
置情報をシーン群情報として出力する。
ン１がシーン群１、シーン２からシーン４までがシーン
群２、及びシーン５がシーン群３となり、フレームＦ
１、フレームＦ２、及びフレームＦ５を各シーン群の先
頭フレームとして、それらシーンチェンジフレームの位
置情報をシーン群情報として出力する。
【００５５】尚、この閾値を、映像の種類／ジャンルな
どに応じて適宜可変することによって、より適切なシー
ン群の作成が可能となる。シーンチェンジフレーム検出
部５０２で出力されたシーンチェンジフレームの位置情
報及びシーン群決定部５０３で出力されたシーン群にお
ける先頭フレームの位置情報に基づいて、シーン情報階
層化部１０４で階層化情報が生成される。この階層化情
報は蓄積部１０５に送られ、動画像シーン管理情報とし
て蓄積される。
どに応じて適宜可変することによって、より適切なシー
ン群の作成が可能となる。シーンチェンジフレーム検出
部５０２で出力されたシーンチェンジフレームの位置情
報及びシーン群決定部５０３で出力されたシーン群にお
ける先頭フレームの位置情報に基づいて、シーン情報階
層化部１０４で階層化情報が生成される。この階層化情
報は蓄積部１０５に送られ、動画像シーン管理情報とし
て蓄積される。
【００５６】
【発明の効果】本願請求項１に記載の発明に係る動画像
シーン情報管理装置は、上述したような構成としている
ので、短い時間にシーンチェンジフレームが多数検出さ
れるような映像においても、複数のシーンをシーン群に
まとめることができ、さらにシーンチェンジフレームの
位置情報が階層的に管理されているため、動画像全体の
把握が容易であり、シーンに基づく動画像の検索、編
集、表示等を効率良く行うことが可能となる。
シーン情報管理装置は、上述したような構成としている
ので、短い時間にシーンチェンジフレームが多数検出さ
れるような映像においても、複数のシーンをシーン群に
まとめることができ、さらにシーンチェンジフレームの
位置情報が階層的に管理されているため、動画像全体の
把握が容易であり、シーンに基づく動画像の検索、編
集、表示等を効率良く行うことが可能となる。
【００５７】本願請求項２に記載の発明に係る動画像シ
ーン情報管理装置は、時間的に隣り合った、ある２つの
第１のシーンチェンジフレームと第２のシーンチェンジ
フレームとのフレーム間距離を計算し、フレーム間距離
が所定の閾値より大きい場合に、第１のシーンチェンジ
フレームから始まる第１のシーンと第２のシーンチェン
ジフレームから始まる第２のシーンとを異なるシーン群
に含まれるものとし、第1のシーンチェンジフレームと
第２のシーンチェンジフレームのうち時間的に後ろにあ
るシーンチェンジフレームを新たなシーン群の先頭フレ
ームとしてその位置情報を出力し、またフレーム間距離
が所定の閾値より小さい場合に、第１のシーンと第２の
シーンとを同一のシーン群に含まれるものとすることに
より、カメラの切替わりが頻繁に発生する映像、或いは
場面の切替わりの激しい映像において、短い時間にシー
ンチェンジフレームが多数検索される場合に、簡単な構
成でシーンをシーン群にまとめることができ、動画像全
体の把握が容易になる。
ーン情報管理装置は、時間的に隣り合った、ある２つの
第１のシーンチェンジフレームと第２のシーンチェンジ
フレームとのフレーム間距離を計算し、フレーム間距離
が所定の閾値より大きい場合に、第１のシーンチェンジ
フレームから始まる第１のシーンと第２のシーンチェン
ジフレームから始まる第２のシーンとを異なるシーン群
に含まれるものとし、第1のシーンチェンジフレームと
第２のシーンチェンジフレームのうち時間的に後ろにあ
るシーンチェンジフレームを新たなシーン群の先頭フレ
ームとしてその位置情報を出力し、またフレーム間距離
が所定の閾値より小さい場合に、第１のシーンと第２の
シーンとを同一のシーン群に含まれるものとすることに
より、カメラの切替わりが頻繁に発生する映像、或いは
場面の切替わりの激しい映像において、短い時間にシー
ンチェンジフレームが多数検索される場合に、簡単な構
成でシーンをシーン群にまとめることができ、動画像全
体の把握が容易になる。
【００５８】本願請求項３に記載の発明に係る動画像シ
ーン情報管理装置は、第１のシーン及び第２のシーンが
異なるシーン群に含まれるかあるいは同一のシーン群に
含まれるかを決定するための閾値を可変値とすることに
より、映像の種類／ジャンル等に応じた適切なシーン群
の作成が可能となる。
ーン情報管理装置は、第１のシーン及び第２のシーンが
異なるシーン群に含まれるかあるいは同一のシーン群に
含まれるかを決定するための閾値を可変値とすることに
より、映像の種類／ジャンル等に応じた適切なシーン群
の作成が可能となる。
【００５９】本願請求項４に記載の発明に係る動画像シ
ーン情報管理装置は、上述のような構成としているの
で、短い時間にシーンチェンジフレームが多数検出され
るような映像においても、複数のシーンをシーン群にま
とめることができ、さらにシーンチェンジフレームの位
置情報が階層的に管理されているため、動画像全体の把
握が容易であり、シーンに基づく動画像の検索、編集、
表示等を効率良く行うことが可能となる。
ーン情報管理装置は、上述のような構成としているの
で、短い時間にシーンチェンジフレームが多数検出され
るような映像においても、複数のシーンをシーン群にま
とめることができ、さらにシーンチェンジフレームの位
置情報が階層的に管理されているため、動画像全体の把
握が容易であり、シーンに基づく動画像の検索、編集、
表示等を効率良く行うことが可能となる。
【００６０】本願請求項５に記載の発明に係る動画像シ
ーン情報管理装置は、フラグに基づいて、時間的に隣り
合った、ある２つの第１のシーンチェンジフレームと第
２のシーンチェンジフレームとの間の非シーンチェンジ
フレームの数をカウントし、カウントされた非シーンチ
ェンジフレーム数が所定の閾値より大きい場合に、第１
のシーンチェンジフレームから始まる第１のシーンと第
２のシーンチェンジフレームから始まる第２のシーンと
を異なるシーン群に含まれるものとし、第１のシーンチ
ェンジフレームと第２のシーンチェンジフレームのうち
時間的に後ろにあるシーンチェンジフレームを新たなシ
ーン群の先頭フレームとしてその位置情報を出力し、ま
たカウントされた非シーンチェンジフレーム数が所定の
閾値より小さい場合に、第１のシーンと第２のシーンと
を同一のシーン群に含まれるものとすることにより、カ
メラの切替わりが頻繁に発生する映像、或いは場面の切
替わりの激しい映像において、短い時間にシーンチェン
ジフレームが多数検索される場合に、簡単な構成でシー
ンをシーン群にまとめることができ、動画像全体の把握
が容易になる。
ーン情報管理装置は、フラグに基づいて、時間的に隣り
合った、ある２つの第１のシーンチェンジフレームと第
２のシーンチェンジフレームとの間の非シーンチェンジ
フレームの数をカウントし、カウントされた非シーンチ
ェンジフレーム数が所定の閾値より大きい場合に、第１
のシーンチェンジフレームから始まる第１のシーンと第
２のシーンチェンジフレームから始まる第２のシーンと
を異なるシーン群に含まれるものとし、第１のシーンチ
ェンジフレームと第２のシーンチェンジフレームのうち
時間的に後ろにあるシーンチェンジフレームを新たなシ
ーン群の先頭フレームとしてその位置情報を出力し、ま
たカウントされた非シーンチェンジフレーム数が所定の
閾値より小さい場合に、第１のシーンと第２のシーンと
を同一のシーン群に含まれるものとすることにより、カ
メラの切替わりが頻繁に発生する映像、或いは場面の切
替わりの激しい映像において、短い時間にシーンチェン
ジフレームが多数検索される場合に、簡単な構成でシー
ンをシーン群にまとめることができ、動画像全体の把握
が容易になる。
【００６１】本願請求項６に記載の発明に係る動画像シ
ーン情報管理装置は、第１のシーン及び第２のシーンが
異なるシーン群に含まれるかあるいは同一のシーン群に
含まれるかを決定するための閾値を可変値とすることに
より、映像の種類／ジャンル等に応じた適切なシーン群
の作成が可能となる。
ーン情報管理装置は、第１のシーン及び第２のシーンが
異なるシーン群に含まれるかあるいは同一のシーン群に
含まれるかを決定するための閾値を可変値とすることに
より、映像の種類／ジャンル等に応じた適切なシーン群
の作成が可能となる。
【００６２】本願請求項７に記載の発明に係る動画像シ
ーン情報管理装置は、動画像全体に亘るシーンチェンジ
フレームの位置情報と、シーン群における先頭フレーム
の位置情報とに基づいて、動画像に含まれるシーンを木
構造で表して管理することにより、シーンに基づく動画
像の検索、編集を効率良く行うことが可能となる。
ーン情報管理装置は、動画像全体に亘るシーンチェンジ
フレームの位置情報と、シーン群における先頭フレーム
の位置情報とに基づいて、動画像に含まれるシーンを木
構造で表して管理することにより、シーンに基づく動画
像の検索、編集を効率良く行うことが可能となる。
【図１】本発明の第１実施形態に係る動画像シーン情報
管理装置の構成を示すブロック図である。
管理装置の構成を示すブロック図である。
【図２】本発明の第１実施形態に係る動画像シーン情報
管理装置におけるシーン群決定部の構成を示すブロック
図である。
管理装置におけるシーン群決定部の構成を示すブロック
図である。
【図３】本発明の第１実施形態に係る動画像シーン情報
管理装置におけるシーン群決定部の動作を説明するため
の図である。
管理装置におけるシーン群決定部の動作を説明するため
の図である。
【図４】本発明の第１実施形態に係る動画像シーン情報
管理装置におけるシーン情報階層化部の動作を説明する
ための図である。
管理装置におけるシーン情報階層化部の動作を説明する
ための図である。
【図５】本発明の第２実施形態に係る動画像シーン情報
管理装置の構成を示すブロック図である。
管理装置の構成を示すブロック図である。
【図６】本発明の第２実施形態に係る動画像シーン情報
管理装置におけるシーン群決定部の構成を示すブロック
図である。
管理装置におけるシーン群決定部の構成を示すブロック
図である。
【図７】本発明の第２実施形態に係る動画像シーン情報
管理装置におけるシーン群決定部の動作を説明するため
の図である。
管理装置におけるシーン群決定部の動作を説明するため
の図である。
【図８】本発明の第２実施形態に係る動画像シーン情報
管理装置におけるシーン群決定部の動作を説明するため
の図である。
管理装置におけるシーン群決定部の動作を説明するため
の図である。
【図９】従来の動画像シーン情報管理装置の構成を示す
ブロック図である。
ブロック図である。
１０１ 符号化パラメータ抽出部 １０２ シーンチェンジフレーム検出部 １０３ シーン群決定部 １０４ シーン情報階層化部 １０５ 蓄積部 ２０１ シーン情報比較部 ２０２ メモリ ５０２ シーンチェンジフレーム検出部 ５０３ シーン群決定部 ６０１ スイッチ ６０２ シーン群判定部 ６０３ フレームカウント部
Claims (7)
- 【請求項１】 動画像に含まれるシーンの切れ目を検出
し、前記検出されたシーンの切れ目に基づいて、各シー
ンにおける先頭フレームの位置情報を蓄積／管理する動
画像シーン情報管理装置であって、 前記各シーンにおける先頭フレームの位置情報の差分情
報に基づいて、１つ以上のシーンからなるシーン群を１
つもしくは複数決定し、前記シーン群における先頭フレ
ームの位置情報を出力するシーン群決定手段と、 前記各シーンにおける先頭フレームの位置情報及び前記
シーン群における先頭フレームの位置情報から、前記動
画像全体に亘っての各シーンにおける先頭フレームの位
置情報を階層的に管理するための階層化情報を生成する
シーン情報階層化手段とを備えたことを特徴とする動画
像シーン情報管理装置。 - 【請求項２】 前記請求項１に記載の動画像シーン情報
管理装置において、 前記シーン群決定手段は、時間的に隣り合うある２つの
シーンにおける先頭フレームのうち、時間的に前にある
方を第１のシーンチェンジフレームとするとともに、時
間的に後ろにある方を第２のシーンチェンジフレームと
して、第１のシーンチェンジフレームと第２のシーンチ
ェンジフレームとのフレーム間距離を計算し、 前記フレーム間距離が所定の閾値より大きい場合に、前
記第１のシーンチェンジフレームから始まる第１のシー
ンと前記第２のシーンチェンジフレームから始まる第２
のシーンとを異なるシーン群に含まれるものと決定し
て、前記第２のシーンチェンジフレームを新たなシーン
群の先頭フレームとしてその位置情報を出力し、 前記フレーム間距離が所定の閾値より小さい場合に、前
記第１のシーンと前記第２のシーンとを同一のシーン群
に含まれるものと決定することを特徴とする動画像シー
ン情報管理装置。 - 【請求項３】 前記請求項２に記載の動画像シーン情報
管理装置において、 前記第１のシーン及び前記第２のシーンが異なるシーン
群に含まれるか或いは同一のシーン群に含まれるかを決
定するための閾値は、可変値であることを特徴とする動
画像シーン情報管理装置。 - 【請求項４】 動画像に含まれるシーンの切れ目を検出
し、前記検出されたシーンの切れ目に基づいて、各シー
ンにおける先頭フレームの位置情報を蓄積／管理する動
画像シーン情報管理装置であって、 前記動画像全体に亘る各フレームが前記各シーンにおけ
る先頭フレームであるか否かを示すフラグに基づいて、
１つ以上のシーンからなるシーン群を１つもしくは複数
決定し、前記シーン群における先頭フレームの位置情報
を出力するシーン群決定手段と、 前記各シーンにおける先頭フレームの位置情報及び前記
シーン群における先頭フレームの位置情報から、前記動
画像全体に亘っての各シーンにおける先頭フレームの位
置情報を階層的に管理するための階層化情報を生成する
シーン情報階層化手段を備えたことを特徴とする動画像
シーン情報管理装置。 - 【請求項５】 前記請求項４に記載の動画像シーン情報
管理装置において、 前記シーン群決定手段は、時間的に隣り合うある２つの
シーンにおける先頭フレームのうち、時間的に前にある
方を第１のシーンチェンジフレームとするとともに、時
間的に後ろにある方を第２のシーンチェンジフレームと
して、前記フラグに基づいて、第１のシーンチェンジフ
レームと第２のシーンチェンジフレームとの間の非シー
ンチェンジフレームの数をカウントし、 前記カウントされた非シーンチェンジフレーム数が所定
の閾値より大きい場合に、前記第１のシーンチェンジフ
レームから始まる第１のシーンと前記第２のシーンチェ
ンジフレームから始まる第２のシーンとを異なるシーン
群に含まれるものと決定して、前記第２のシーンチェン
ジフレームを新たなシーン群の先頭フレームとしてその
位置情報を出力し、 前記カウントされた非シーンチェンジフレーム数が所定
の閾値より小さい場合に、前記第１のシーンと前記第２
のシーンとを同一のシーン群に含まれるものと決定する
ことを特徴とする動画像シーン情報管理装置。 - 【請求項６】 前記請求項５に記載の動画像シーン情報
管理装置において、 前記第１のシーン及び前記第２のシーンが異なるシーン
群に含まれるか或いは同一のシーン群に含まれるかを決
定するための閾値は、可変値であることを特徴とする動
画像シーン情報管理装置。 - 【請求項７】 前記請求項１乃至６のいずれかに記載の
動画像シーン情報管理装置において、 前記シーン情報階層化手段は、前記各シーンにおける先
頭フレームの位置情報を木構造で表して階層的に管理す
ることを特徴とする動画像シーン情報管理装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000145834A JP2001326901A (ja) | 2000-05-18 | 2000-05-18 | 動画像シーン情報管理装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000145834A JP2001326901A (ja) | 2000-05-18 | 2000-05-18 | 動画像シーン情報管理装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2001326901A true JP2001326901A (ja) | 2001-11-22 |
Family
ID=18652284
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000145834A Pending JP2001326901A (ja) | 2000-05-18 | 2000-05-18 | 動画像シーン情報管理装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2001326901A (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2004070955A1 (ja) * | 2003-02-03 | 2004-08-19 | Sharp Kabushiki Kaisha | 符号化装置及び方法、復号装置及び方法、プログラム、並びに記録媒体 |
| JPWO2003088665A1 (ja) * | 2002-04-12 | 2005-08-25 | 三菱電機株式会社 | メタデータ編集装置、メタデータ再生装置、メタデータ配信装置、メタデータ検索装置、メタデータ再生成条件設定装置、及びメタデータ配信方法 |
| JP2007081594A (ja) * | 2005-09-13 | 2007-03-29 | Sony Corp | 撮像装置、記録方法 |
| JP2011199525A (ja) * | 2010-03-18 | 2011-10-06 | Canon Inc | チャプタ情報作成装置及びその制御方法 |
-
2000
- 2000-05-18 JP JP2000145834A patent/JP2001326901A/ja active Pending
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPWO2003088665A1 (ja) * | 2002-04-12 | 2005-08-25 | 三菱電機株式会社 | メタデータ編集装置、メタデータ再生装置、メタデータ配信装置、メタデータ検索装置、メタデータ再生成条件設定装置、及びメタデータ配信方法 |
| US7826709B2 (en) | 2002-04-12 | 2010-11-02 | Mitsubishi Denki Kabushiki Kaisha | Metadata editing apparatus, metadata reproduction apparatus, metadata delivery apparatus, metadata search apparatus, metadata re-generation condition setting apparatus, metadata delivery method and hint information description method |
| US8811800B2 (en) | 2002-04-12 | 2014-08-19 | Mitsubishi Electric Corporation | Metadata editing apparatus, metadata reproduction apparatus, metadata delivery apparatus, metadata search apparatus, metadata re-generation condition setting apparatus, metadata delivery method and hint information description method |
| WO2004070955A1 (ja) * | 2003-02-03 | 2004-08-19 | Sharp Kabushiki Kaisha | 符号化装置及び方法、復号装置及び方法、プログラム、並びに記録媒体 |
| KR100742738B1 (ko) * | 2003-02-03 | 2007-07-25 | 샤프 가부시키가이샤 | 부호화 장치 및 방법, 복호화 장치 및 방법, 프로그램 및기록 매체 |
| US7624326B2 (en) | 2003-02-03 | 2009-11-24 | Sharp Kabushiki Kaisha | Encoding device and method, decoding device and method, program, and recording medium |
| CN1768480B (zh) * | 2003-02-03 | 2012-03-14 | 夏普株式会社 | 编码装置和方法、解码装置和方法 |
| JP2007081594A (ja) * | 2005-09-13 | 2007-03-29 | Sony Corp | 撮像装置、記録方法 |
| US8571378B2 (en) | 2005-09-13 | 2013-10-29 | Sony Corporation | Image capturing apparatus and recording method |
| JP2011199525A (ja) * | 2010-03-18 | 2011-10-06 | Canon Inc | チャプタ情報作成装置及びその制御方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4559935B2 (ja) | 画像記憶装置及び方法 | |
| JP4256940B2 (ja) | 可視索引付けシステムのための重要情景検出及びフレームフィルタリング | |
| JP5355422B2 (ja) | ビデオの索引付けとビデオシノプシスのための、方法およびシステム | |
| KR101296152B1 (ko) | 섬네일 생성 장치 및 섬네일 생성 방법 | |
| JP4666784B2 (ja) | ビデオシーケンスのキーフレーム抽出方法及びビデオシーケンスのキーフレーム抽出装置 | |
| JP4749518B2 (ja) | 可視索引付けシステム | |
| CN101267523B (zh) | 处理运动图像的设备、成像设备、图像显示控制方法 | |
| CN101295354A (zh) | 图像处理装置、成像装置、图像处理方法和计算机程序 | |
| EP1914994A1 (en) | Detection of gradual transitions in video sequences | |
| JPH04207878A (ja) | 動画像管理装置 | |
| EP2057531A1 (en) | Method and device for adaptive video presentation | |
| JP2008148121A (ja) | 動画要約自動作成装置、方法、及びコンピュータ・プログラム | |
| JPH0993588A (ja) | 動画像処理方法 | |
| JP2011090476A (ja) | 類似画像検索システム、および、類似画像検索方法 | |
| JPH10257436A (ja) | 動画像の自動階層構造化方法及びこれを用いたブラウジング方法 | |
| JP5008484B2 (ja) | 映像処理方法 | |
| JPH06253255A (ja) | 映像インデックス表示装置 | |
| JP5096259B2 (ja) | 要約コンテンツ生成装置および要約コンテンツ生成プログラム | |
| JP2001326901A (ja) | 動画像シーン情報管理装置 | |
| KR100713501B1 (ko) | 이동통신단말기상에서 디지털 동영상을 인덱싱하는 방법 | |
| JP2008166895A (ja) | 映像表示装置及びその制御方法、プログラム、記録媒体 | |
| EP1643764A1 (en) | Video reproducing apparatus | |
| Gebali et al. | Detection of salient events in large datasets of underwater video | |
| JP2000175149A (ja) | 映像検出装置、及び要約映像生成装置 | |
| JP3573493B2 (ja) | 動画検索システムおよび動画検索データ抽出方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070305 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20071205 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090414 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20090818 |