JP3983981B2 - デジタル映像処理方法及びその装置 - Google Patents
デジタル映像処理方法及びその装置 Download PDFInfo
- Publication number
- JP3983981B2 JP3983981B2 JP2000597964A JP2000597964A JP3983981B2 JP 3983981 B2 JP3983981 B2 JP 3983981B2 JP 2000597964 A JP2000597964 A JP 2000597964A JP 2000597964 A JP2000597964 A JP 2000597964A JP 3983981 B2 JP3983981 B2 JP 3983981B2
- Authority
- JP
- Japan
- Prior art keywords
- interframe
- region
- intensity
- video
- digital video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
- G06F16/786—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content using motion, e.g. object motion or camera motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/48—Matching video sequences
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Library & Information Science (AREA)
- Signal Processing (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Television Signal Processing For Recording (AREA)
- Image Analysis (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明はデジタル映像処理方法及びその装置に係り、特に、与えられた場面の動き情報に基づき、映像場面を分類するためのデジタル映像処理方法及び装置に関する。
【０００２】
【従来の技術】
映像場面のインテンシティは、観察者が前記映像場面を観察するとき、前記観察者により体験される視覚的なインテンシティを称する。これは、前記場面が全体の映像プログラムに照らして極めて重要であるということを表わす抽象的な概念である。このため、前記インテンシティに基づき、映像ストリームを検索するための方法が要求される。しかし、今まで、前記インテンシティに基づき、映像ストリームを検索したり、或いは処理したりするためのいかなる方法も存在しない。
【０００３】
【発明が解決しようとする課題】
本発明の第１目的は、インテンシティに基づき、映像検索を許容するデジタル映像処理方法を提供することである。
【０００４】
本発明の第２目的は、前記デジタル映像処理方法を具現するためのコンピュータにて読取り可能な媒体を提供することである。
【０００５】
本発明の第３目的は、前記デジタル映像処理方法を具現するためのデジタル映像処理装置を提供することである。
【０００６】
本発明の第４目的は、前記デジタル映像処理方法により処理される映像ストリームのインテンシティを比較するためのデジタル映像分析方法を提供することである。
【０００７】
本発明の第５目的は、前記デジタル映像処理方法により処理される映像ストリームのインテンシティに基づき、映像ストリームを検索するためのデジタル映像検索方法を提供することである。
【０００８】
本発明の第６目的は、前記デジタル映像検索方法を具現するためのデジタル映像検索装置を提供することである。
【０００９】
【課題を解決するための手段】
本発明の第１目的を達成するために、（ａ）インターフレームの動き補償に関する情報に基づき、領域インテンシティヒストグラム（以下、ＲＩＨと称する）を決定する段階を含む、圧縮された映像ストリームの形で受信されたデジタル映像を処理するための方法が提供される。
【００１０】
また、前記（ａ）段階前に、（ｐ-ａ）映像ストリームを受信する段階と、（ｐ-ｂ）所定のアルゴリズムを用いて前記映像ストリームを複数のグループにグルーピングする段階、及び（ｐ-ｃ）処理されるグループを選択する段階がさらに含まれえ、前記（ａ）段階において、前記選択されたグループのＲＩＨはインターフレームの動き補償に関する情報に基づき、決定される。
【００１１】
本発明の他の態様によれば、（ａ）前記映像ストリームからインターフレームを選択する段階と、（ｂ）前記選択されたインターフレームに対し、マクロブロックの総数に対する動き補償値が０であるブロックの数の割合を計算する段階と、（ｃ）ｉを所定の正数としたとき、前記割合をｉレベルに量子化する段階と、（ｄ）前記処理されたインターフレームが最後のインターフレームであるかどうかを検査する段階と、（ｅ）前記（ｄ）段階において前記処理されたインターフレームが最後のインターフレームではないと決定された場合、次のインターフレームを選択し、前記（ｂ）段階ないし前記（ｄ）段階を行う段階と、（ｆ）前記（ｄ）段階において前記処理されたインターフレームが最後のインターフレームであると決定された場合、与えられた領域内のインターフレームの総数に対する前記ｉ番目のレベルのインターフレームの数の割合を計算する段階、及び（ｇ）前記（ｆ）段階において得られた割合を所定のヒストグラム情報として決定する段階を含む、圧縮された映像ストリームの形で受信されたデジタル映像を処理するための方法が提供される。
【００１２】
また、前記デジタル映像処理方法は、（ｐ-ａ）映像ストリームを受信する段階と、（ｐ-ｂ）所定のアルゴリズムを用いて前記映像ストリームを複数のグループにグルーピングする段階、及び（ｐ-ｃ）処理されるグループを選択する段階をさらに含みえ、前記（ａ）段階において、前記インターフレームは、前記（ｐ−ｃ）段階において選択された前記映像ストリームグループから選択される。
【００１３】
望ましくは、前記（ｇ）段階後に、（ｈ）前記選択されたグループが最後のグループであるかどうかを検査する段階と、（ｉ）前記（ｈ）段階において前記選択されたグループが最後のグループではないと決定された場合、次のグループを選択する段階、及び（ｊ）前記（ｉ）段階において選択された次のグループに対し、前記（ａ）段階ないし前記（ｈ）段階を行う段階をさらに含む。
【００１４】
また、望ましくは、前記所定のアルゴリズムは場面カット検出アルゴリズムである。
望ましくは、前記映像ストリームはＭＰＥＧ-７映像ストリームである。
【００１５】
また、前記所定のヒストグラム情報は、与えられた映像場面領域のインテンシティを表わすＲＩＨにより定義される。
【００１６】
本発明の他の態様によれば、インターフレームに対し、動き補償値が０であるブロックの分布を動き活動として定義する段階を含むデジタル映像処理方法が提供される。
【００１７】
本発明の第２目的を達成するために、（ａ）映像ストリームからインターフレームを選択する段階と、（ｂ）前記選択されたインターフレームに対し、マクロブロックの総数に対する動き補償値が０であるブロックの数の割合を計算する段階と、（ｃ）ｉを所定の正数としたとき、前記割合をｉレベルに量子化する段階と、（ｄ）前記処理されたインターフレームが最後のインターフレームであるかどうかを検査する段階と、（ｅ）前記（ｄ）段階において前記処理されたインターフレームが最後のインターフレームではないと決定された場合、次のインターフレームを選択し、前記（ｂ）段階ないし前記（ｄ）段階を行う段階と、（ｆ）前記（ｄ）段階において前記処理されたインターフレームが最後のインターフレームであると決定された場合、与えられた領域内のインターフレームの総数に対する前記ｉ番目のレベルのインターフレームの数の割合を計算する段階、及び（ｇ）前記（ｆ）段階において得られた割合を所定のヒストグラム情報として決定する段階を含む、デジタル映像処理方法を行うためにコンピュータにより実行可能なプログラムコードを備えたコンピュータにて読取り可能な媒体が提供される。
【００１８】
本発明の第３目的を達成するために、所定のアルゴリズムを用いて映像ストリームをグルーピングし、処理されるグループを選択し、前記選択されたグループから各インターフレームを順次選択しかつ出力するためのグルーピング手段と、前記選択されたインターフレームに対し、マクロブロックの総数に対する動き補償値が０であるブロックの数の割合を計算するための割合計算手段と、ｉを所定の正数としたとき、前記割合をｉレベルに量子化し、各レベルを表わすレベル表示信号を出力するための量子化手段、及び領域内のインターフレームの総数に対する前記ｉ番目のレベルのインターフレームの数の割合を計算し、前記計算結果をＲＩＨ情報として出力するためのＲＩＨ計算手段を含むデジタル映像処理装置が提供される。
【００１９】
本発明の第４目的を達成するために、
【数３】
により表現される、RIH1とRIH2との間の差分値である
【数４】
を計算する段階を含み、与えられた映像場面において両映像ストリームのうち、第１映像ストリームのＲＩＨ情報はRIH1であり、第２映像ストリームのＲＩＨ情報はRIH2であり、Ｍは共分散行列であることを特徴とするデジタル映像分析方法が提供される。
【００２０】
本発明の第５目的を達成するために、（ａ）映像ストリームを受信する段階と、（ｂ）前記映像ストリームを所定のアルゴリズムを用いて複数のグループにグルーピングする段階と、（ｃ）処理されるグループを選択する段階と、（ｄ）前記選択されたグループにおけるインターフレームの動き補償に関する情報に基づき、前記選択されたグループのＲＩＨを決定する段階と、（ｅ）検索される映像場面を選択する段階と、（ｆ）前記選択された映像場面のＲＩＨを抽出する段階、及び（ｇ）前記処理された映像ストリームの各々において、前記抽出されたＲＩＨ情報に基づき、類似したＲＩＨ情報を備えた領域を検索する段階を含む、圧縮された映像ストリームで所望のデジタル映像場面を検索するための方法が提供される。
【００２１】
本発明の第６目的を達成するために、入力映像ストリームを所定のアルゴリズムを用いて複数のグループにグルーピングするためのグルーピング手段と、選択されたグループからインターフレームの動き補償に関する情報を抽出し、前記情報を含む処理された映像ストリームを前記選択されたグループのＲＩＨ情報として出力するための動き補償情報抽出手段、及び検索される選択されたグループのＲＩＨ情報を抽出し、前記抽出されたＲＩＨ情報に基づき、類似したＲＩＨ情報を備えた領域を検索するための検索手段を含む、圧縮された映像ストリームで所望のデジタル映像場面を検索するための装置が提供される。
【００２２】
【発明の実施の形態】
本発明の前記諸目的及び長所は添付された図面を参照して望ましい実施形態を詳細に説明することにより一層明らかになる。
【００２３】
以下、本発明の実施形態が添付された図面を参照して詳細に説明される。
本発明において、映像場面のインテンシティを分類するために、動き情報が使用される。図１を参照すれば、本発明によるデジタル映像処理方法は、映像ストリーム、望ましくは、ＭＰＥＧ-２映像ストリームを入力する段階（段階１００）を含む。次に、前記映像ストリームは場面カット検出アルゴリズムを用いてグルーピングされる（段階１０２）。次に、処理される映像ストリームのグループが選択される（段階１０４）。ＭＰＥＧ技術の当業者に公知されたように、各映像ストリームは複数の映像フレームで構成される。映像フレームはイントラーフレームとインターフレームとに大別される。ＭＰＥＧ技術分野において、前記イントラーフレームは一般にＩフレームと呼ばれ、前記インターフレームはＰフレーム及びＢフレームを含む。説明の便宜のために、ＢフレームをＰフレームとしたとき、前記映像フレームはＩフレーム及びＰフレームとして分類される。すなわち、映像ストリームの選択されたグループはＩフレーム及びＰフレームで構成される。
【００２４】
次に、映像ストリームの選択されたグループの各Ｐフレームが順次選択される（段階１０６）。次に、段階１０８において、前記選択されたＰフレームに対し、マクロブロックの総数に対する動き補償値が０であるブロックの数の割合Ｒが、下記式（５）のように計算される。
【００２５】
【数５】
【００２６】
前式（５）において、ＮＯ＿ＭＣブロックは前記Ｐフレームを構成するマクロブロックのうち動き補償値が０であるブロックである。インターフレームに対し、動き補償値が０であるブロックの分布は動き活動として定義される。
【００２７】
次に、前記割合Ｒが５つのレベル（I1,I2,I3,I4,I5）のうちいずれか一つのレベルに量子化される。例えば、前記レベル（I1,I2,I3,I4,I5）は、前記割合Ｒが５％未満である場合、５％以上１０％未満である場合、１０％以上３０％未満である場合、３０％以上５０％未満である場合、そして５０％以上である場合を各々表わす。このような方法により、各Ｐフレームの処理が完了する。
【００２８】
次に、前記処理されたＰフレームが最後のＰフレームであるかどうかが検査される（段階１１２）。もし、そうでなければ、次のＰフレームが選択され（段階１１４）、最後のＰフレームが処理されるまで段階１０６ないし段階１１０が行われる。次に、ｉを１から５までの整数であるとしたとき、領域内のＰフレームの総数に対するｉ番目のレベルIiのＰフレームの数の割合はPiとして表示され、PiはＲＩＨを決定するために次のように計算される。
【００２９】
【数６】
【００３０】
ＲＩＨは次のように決定される。
【００３１】
【数７】
【００３２】
前式（７）において、領域は選択されたグループを表わす（段階１１６）。
次に、前記選択されたグループが最後のグループであるかどうかが検査される（段階１１８）。もし、そうでなければ、次のグループが選択され（段階１２０）、段階１０６ないし段階１１６が行われる。このような方法により、全てのグループに対する映像処理が完了する。
【００３３】
前記デジタル映像処理方法によれば、前記ＲＩＨ情報はＰフレームの動き補償値に基づき、得られる。前記ＲＩＨ情報は映像場面の動き情報の過不足ない表示器である。また、ＲＩＨ情報は前記映像場面のインテンシティの過不足ない表示器である。
【００３４】
前記デジタル映像処理方法は、コンピュータによりプログラムできる。コンピュータプログラムを構成するコード及びコードセグメントは当技術のコンピュータプログラマーにより容易に誘導されうる。また、前記プログラムはコンピュータにて読取り可能な媒体に貯蔵され、前記コンピュータにより読取りされかつ実行されることにより、前記デジタル映像処理方法を具現する。前記媒体は磁気記録媒体、光記録媒体、搬送波媒体などを含む。
【００３５】
また、前記デジタル映像処理方法はデジタル映像処理装置上で具現できる。図２は、本発明による前記デジタル映像処理装置のブロック図である。図２を参照すれば、前記デジタル映像処理装置は、グルーピングユニット２００、ＮＯ＿ＭＣブロック割合計算ユニット２０２、量子化ユニット２０４、ＲＩＨ計算ユニット２０６及びＲＩＨ情報貯蔵ユニット２０８を含む。
【００３６】
前記デジタル映像処理装置の動作において、前記グルーピングユニット２００は場面カット検出アルゴリズムを用いて映像ストリームをグルーピングし、処理されるグループを選択し、前記選択されたグループから各Ｐフレームを順次選択しかつ出力する。
【００３７】
前記ＮＯ＿ＭＣブロック割合計算ユニット２０２は、計算された割合を表わす割合データＲを出力するために、前式（５）に定義されたように、マクロブロックの総数に対する動き補償値が０であるブロックの数の割合を計算する。
【００３８】
前記量子化ユニット２０４は、前記割合Ｒを５つのレベル（I1,I2,I3,I4,I5）に量子化して各レベルを表わすレベル表示信号（I1,I2,I3,I4,I5）を出力する。各レベル（I1,I2,I3,I4,I5）は、前記割合Ｒが５％未満である場合、５％以上１０％未満である場合、１０％以上３０％未満である場合、３０％以上５０％未満である場合、そして５０％以上である場合に関するものである。このような方法により、各Ｐフレームの処理が完了する。
【００３９】
もし、最後のＰフレームの処理が完成されるならば、前記ＲＩＨ計算ユニット２０６は、前式（６）により表わされたように、Ｐiにより表示される、領域内のＰフレームの総数に対するｉ番目のレベルIiのＰフレームの数の割合を計算し、前式（７）により表わされたように、ＲＩＨを出力する。
【００４０】
前記ＲＩＨ情報貯蔵ユニット２０８は、前記ＲＩＨ情報（P1,P2,P3,P4,P5）を受信し、そこに前記ＲＩＨ情報を貯蔵する。より望ましくは、前記ＲＩＨ情報貯蔵ユニット２０８は映像ストリームデータを受信し、前記ＲＩＨ情報を前記映像ストリームデータとインターリービングし、前記ＲＩＨ情報がインターリービングされた映像ストリームを出力する。
【００４１】
図１に示されたデジタル映像処理方法により処理された前記映像ストリームにより、そして図２に示されたデジタル映像処理装置を用い、２本の任意の映像ストリームのインテンシティが比較され、かつ分析されうる。
【００４２】
本発明のデジタル映像分析方法によれば、RIH1とRIH2との間の差分値、すなわち、
【数８】
が下記式（９）により計算される。
【００４３】
【数９】
【００４４】
前式（９）において、与えられた映像場面において両映像ストリームのうち、第１映像ストリームのＲＩＨ情報はRIH1であり、第２映像ストリームのＲＩＨ情報はRIH2であり、Ｍは共分散行列である。
【００４５】
前述したデジタル映像分析方法により計算された前記
【数１０】
は両映像ストリーム間のインテンシティの差を適宜に表わす。
【００４６】
図２に示されたデジタル映像処理装置上で具現される、図１に示されたデジタル映像処理方法により処理された映像ストリームを用い、領域検索が、本発明によるデジタル映像検索方法により効率良く行える。
【００４７】
本発明によるデジタル映像検索方法は、前記映像ストリームが図１に示されたデジタル映像処理方法により処理されるという仮定に基づく。すなわち、本発明によるデジタル映像検索方法が図１を参照して説明されていたデジタル映像処理方法を含むということは理解されなければならない。
【００４８】
本発明のデジタル映像検索方法によれば、先ず、選択された映像場面、すなわち、映像領域のＲＩＨ情報が得られる。
【００４９】
次に、図１に示されたデジタル映像処理方法により処理された映像ストリームに対し、類似したＲＩＨ情報を備えた領域、すなわち、類似したインテンシティを備えた映像場面が前記得られたＲＩＨ情報に基づき、検索される。
【００５０】
前記ＲＩＨ情報がＰフレームの動き補償値に基づき、決定されるため、それは前記映像場面の動き情報を適宜に表わす。また、インターフレームに対し動き補償値が０であるブロックの分布は動き活動を極めてよく説明する。さらに、映像プログラム、特に、スポーツプログラムにおいて、動き情報は関連した映像ストリームの内容と極めて密接に関連する。動き情報に基づく前記ＲＩＨ情報は映像場面のインテンシティの極めて優れた表示器である。すなわち、類似したインテンシティを備えた場面の映像ストリームは前記ＲＩＨ情報に基づき、類似した映像場面を検索することにより効率良く検索されうる。
【００５１】
前述したデジタル映像検索方法は、内容に基づく映像検索エンジンなどのマルチメディアプッシュ／プル応用分野に適用できる。
【００５２】
また、前記デジタル映像検索方法は、コンピュータプログラムによりプログラムできる。コンピュータプログラムを構成するコード及びコードセグメントは当技術のコンピュータプログラマーにより容易に誘導されうる。また、前記プログラムはコンピュータにて読取り可能な媒体に貯蔵され、前記コンピュータにより読取りされかつ実行されることにより、前記デジタル映像検索方法を具現する。前記媒体は磁気記録媒体、光記録媒体、搬送波媒体などを含む。
【００５３】
また、前記デジタル映像処理方法は、デジタル映像検索装置（図示せず）上で具現できる。本発明による前記デジタル映像検索装置はグルーピングユニット、動き補償情報抽出ユニット及び検索ユニットを含む。
【００５４】
前記デジタル映像検索装置の動作において、前記グルーピングユニットは場面カット検出アルゴリズムを用いて映像ストリームを複数のグループにグルーピングする。
【００５５】
前記動き補償情報抽出ユニットは、選択されたグループからＰフレームの動き補償に関する情報を抽出し、前記情報を含む処理された映像ストリームを前記選択されたグループのＲＩＨ情報として出力する。
【００５６】
前記検索ユニットは、検索される選択されたグループのＲＩＨ情報を抽出し、前記抽出されたＲＩＨ情報に基づき、類似したＲＩＨ情報を備えた領域を検索する。
【００５７】
前述したデジタル映像検索装置は、前記ＲＩＨ情報に基づき、類似した映像場面を検索することにより類似したインテンシティを備えた場面の映像ストリームを効率良く検索できる。
【００５８】
前述したように、本発明によれば、前記ＲＩＨ情報はインターフレームの動き補償値に基づき、決定され、前記ＲＩＨ情報は前記映像場面の動き情報の優れた表示器である。また、前記ＲＩＨ情報は前記映像場面のインテンシティの極めて優れた表示器であるため、類似したインテンシティを備えた映像ストリームは、本発明のデジタル映像処理方法により得られた前記ＲＩＨ情報に基づき、類似した映像場面を検索することにより効率良く検索できる。
【００５９】
＜産業上の利用可能性＞
本発明は、内容に基づく映像検索エンジンなどのマルチメディアプッシュ／プル応用分野に適用できる。
【図面の簡単な説明】
【図１】 本発明によるデジタル映像処理方法を示したフローチャートである。
【図２】 本発明によるデジタル映像処理装置のブロック図である。
【符号の説明】
２００ グルーピングユニット
２０２ ＮＯ＿ＭＣブロック割合計算ユニット
２０４ 量子化ユニット
２０６ ＲＩＨ計算ユニット
２０８ ＲＩＨ情報貯蔵ユニット
【発明の属する技術分野】
本発明はデジタル映像処理方法及びその装置に係り、特に、与えられた場面の動き情報に基づき、映像場面を分類するためのデジタル映像処理方法及び装置に関する。
【０００２】
【従来の技術】
映像場面のインテンシティは、観察者が前記映像場面を観察するとき、前記観察者により体験される視覚的なインテンシティを称する。これは、前記場面が全体の映像プログラムに照らして極めて重要であるということを表わす抽象的な概念である。このため、前記インテンシティに基づき、映像ストリームを検索するための方法が要求される。しかし、今まで、前記インテンシティに基づき、映像ストリームを検索したり、或いは処理したりするためのいかなる方法も存在しない。
【０００３】
【発明が解決しようとする課題】
本発明の第１目的は、インテンシティに基づき、映像検索を許容するデジタル映像処理方法を提供することである。
【０００４】
本発明の第２目的は、前記デジタル映像処理方法を具現するためのコンピュータにて読取り可能な媒体を提供することである。
【０００５】
本発明の第３目的は、前記デジタル映像処理方法を具現するためのデジタル映像処理装置を提供することである。
【０００６】
本発明の第４目的は、前記デジタル映像処理方法により処理される映像ストリームのインテンシティを比較するためのデジタル映像分析方法を提供することである。
【０００７】
本発明の第５目的は、前記デジタル映像処理方法により処理される映像ストリームのインテンシティに基づき、映像ストリームを検索するためのデジタル映像検索方法を提供することである。
【０００８】
本発明の第６目的は、前記デジタル映像検索方法を具現するためのデジタル映像検索装置を提供することである。
【０００９】
【課題を解決するための手段】
本発明の第１目的を達成するために、（ａ）インターフレームの動き補償に関する情報に基づき、領域インテンシティヒストグラム（以下、ＲＩＨと称する）を決定する段階を含む、圧縮された映像ストリームの形で受信されたデジタル映像を処理するための方法が提供される。
【００１０】
また、前記（ａ）段階前に、（ｐ-ａ）映像ストリームを受信する段階と、（ｐ-ｂ）所定のアルゴリズムを用いて前記映像ストリームを複数のグループにグルーピングする段階、及び（ｐ-ｃ）処理されるグループを選択する段階がさらに含まれえ、前記（ａ）段階において、前記選択されたグループのＲＩＨはインターフレームの動き補償に関する情報に基づき、決定される。
【００１１】
本発明の他の態様によれば、（ａ）前記映像ストリームからインターフレームを選択する段階と、（ｂ）前記選択されたインターフレームに対し、マクロブロックの総数に対する動き補償値が０であるブロックの数の割合を計算する段階と、（ｃ）ｉを所定の正数としたとき、前記割合をｉレベルに量子化する段階と、（ｄ）前記処理されたインターフレームが最後のインターフレームであるかどうかを検査する段階と、（ｅ）前記（ｄ）段階において前記処理されたインターフレームが最後のインターフレームではないと決定された場合、次のインターフレームを選択し、前記（ｂ）段階ないし前記（ｄ）段階を行う段階と、（ｆ）前記（ｄ）段階において前記処理されたインターフレームが最後のインターフレームであると決定された場合、与えられた領域内のインターフレームの総数に対する前記ｉ番目のレベルのインターフレームの数の割合を計算する段階、及び（ｇ）前記（ｆ）段階において得られた割合を所定のヒストグラム情報として決定する段階を含む、圧縮された映像ストリームの形で受信されたデジタル映像を処理するための方法が提供される。
【００１２】
また、前記デジタル映像処理方法は、（ｐ-ａ）映像ストリームを受信する段階と、（ｐ-ｂ）所定のアルゴリズムを用いて前記映像ストリームを複数のグループにグルーピングする段階、及び（ｐ-ｃ）処理されるグループを選択する段階をさらに含みえ、前記（ａ）段階において、前記インターフレームは、前記（ｐ−ｃ）段階において選択された前記映像ストリームグループから選択される。
【００１３】
望ましくは、前記（ｇ）段階後に、（ｈ）前記選択されたグループが最後のグループであるかどうかを検査する段階と、（ｉ）前記（ｈ）段階において前記選択されたグループが最後のグループではないと決定された場合、次のグループを選択する段階、及び（ｊ）前記（ｉ）段階において選択された次のグループに対し、前記（ａ）段階ないし前記（ｈ）段階を行う段階をさらに含む。
【００１４】
また、望ましくは、前記所定のアルゴリズムは場面カット検出アルゴリズムである。
望ましくは、前記映像ストリームはＭＰＥＧ-７映像ストリームである。
【００１５】
また、前記所定のヒストグラム情報は、与えられた映像場面領域のインテンシティを表わすＲＩＨにより定義される。
【００１６】
本発明の他の態様によれば、インターフレームに対し、動き補償値が０であるブロックの分布を動き活動として定義する段階を含むデジタル映像処理方法が提供される。
【００１７】
本発明の第２目的を達成するために、（ａ）映像ストリームからインターフレームを選択する段階と、（ｂ）前記選択されたインターフレームに対し、マクロブロックの総数に対する動き補償値が０であるブロックの数の割合を計算する段階と、（ｃ）ｉを所定の正数としたとき、前記割合をｉレベルに量子化する段階と、（ｄ）前記処理されたインターフレームが最後のインターフレームであるかどうかを検査する段階と、（ｅ）前記（ｄ）段階において前記処理されたインターフレームが最後のインターフレームではないと決定された場合、次のインターフレームを選択し、前記（ｂ）段階ないし前記（ｄ）段階を行う段階と、（ｆ）前記（ｄ）段階において前記処理されたインターフレームが最後のインターフレームであると決定された場合、与えられた領域内のインターフレームの総数に対する前記ｉ番目のレベルのインターフレームの数の割合を計算する段階、及び（ｇ）前記（ｆ）段階において得られた割合を所定のヒストグラム情報として決定する段階を含む、デジタル映像処理方法を行うためにコンピュータにより実行可能なプログラムコードを備えたコンピュータにて読取り可能な媒体が提供される。
【００１８】
本発明の第３目的を達成するために、所定のアルゴリズムを用いて映像ストリームをグルーピングし、処理されるグループを選択し、前記選択されたグループから各インターフレームを順次選択しかつ出力するためのグルーピング手段と、前記選択されたインターフレームに対し、マクロブロックの総数に対する動き補償値が０であるブロックの数の割合を計算するための割合計算手段と、ｉを所定の正数としたとき、前記割合をｉレベルに量子化し、各レベルを表わすレベル表示信号を出力するための量子化手段、及び領域内のインターフレームの総数に対する前記ｉ番目のレベルのインターフレームの数の割合を計算し、前記計算結果をＲＩＨ情報として出力するためのＲＩＨ計算手段を含むデジタル映像処理装置が提供される。
【００１９】
本発明の第４目的を達成するために、
【数３】
【数４】
【００２０】
本発明の第５目的を達成するために、（ａ）映像ストリームを受信する段階と、（ｂ）前記映像ストリームを所定のアルゴリズムを用いて複数のグループにグルーピングする段階と、（ｃ）処理されるグループを選択する段階と、（ｄ）前記選択されたグループにおけるインターフレームの動き補償に関する情報に基づき、前記選択されたグループのＲＩＨを決定する段階と、（ｅ）検索される映像場面を選択する段階と、（ｆ）前記選択された映像場面のＲＩＨを抽出する段階、及び（ｇ）前記処理された映像ストリームの各々において、前記抽出されたＲＩＨ情報に基づき、類似したＲＩＨ情報を備えた領域を検索する段階を含む、圧縮された映像ストリームで所望のデジタル映像場面を検索するための方法が提供される。
【００２１】
本発明の第６目的を達成するために、入力映像ストリームを所定のアルゴリズムを用いて複数のグループにグルーピングするためのグルーピング手段と、選択されたグループからインターフレームの動き補償に関する情報を抽出し、前記情報を含む処理された映像ストリームを前記選択されたグループのＲＩＨ情報として出力するための動き補償情報抽出手段、及び検索される選択されたグループのＲＩＨ情報を抽出し、前記抽出されたＲＩＨ情報に基づき、類似したＲＩＨ情報を備えた領域を検索するための検索手段を含む、圧縮された映像ストリームで所望のデジタル映像場面を検索するための装置が提供される。
【００２２】
【発明の実施の形態】
本発明の前記諸目的及び長所は添付された図面を参照して望ましい実施形態を詳細に説明することにより一層明らかになる。
【００２３】
以下、本発明の実施形態が添付された図面を参照して詳細に説明される。
本発明において、映像場面のインテンシティを分類するために、動き情報が使用される。図１を参照すれば、本発明によるデジタル映像処理方法は、映像ストリーム、望ましくは、ＭＰＥＧ-２映像ストリームを入力する段階（段階１００）を含む。次に、前記映像ストリームは場面カット検出アルゴリズムを用いてグルーピングされる（段階１０２）。次に、処理される映像ストリームのグループが選択される（段階１０４）。ＭＰＥＧ技術の当業者に公知されたように、各映像ストリームは複数の映像フレームで構成される。映像フレームはイントラーフレームとインターフレームとに大別される。ＭＰＥＧ技術分野において、前記イントラーフレームは一般にＩフレームと呼ばれ、前記インターフレームはＰフレーム及びＢフレームを含む。説明の便宜のために、ＢフレームをＰフレームとしたとき、前記映像フレームはＩフレーム及びＰフレームとして分類される。すなわち、映像ストリームの選択されたグループはＩフレーム及びＰフレームで構成される。
【００２４】
次に、映像ストリームの選択されたグループの各Ｐフレームが順次選択される（段階１０６）。次に、段階１０８において、前記選択されたＰフレームに対し、マクロブロックの総数に対する動き補償値が０であるブロックの数の割合Ｒが、下記式（５）のように計算される。
【００２５】
【数５】
前式（５）において、ＮＯ＿ＭＣブロックは前記Ｐフレームを構成するマクロブロックのうち動き補償値が０であるブロックである。インターフレームに対し、動き補償値が０であるブロックの分布は動き活動として定義される。
【００２７】
次に、前記割合Ｒが５つのレベル（I1,I2,I3,I4,I5）のうちいずれか一つのレベルに量子化される。例えば、前記レベル（I1,I2,I3,I4,I5）は、前記割合Ｒが５％未満である場合、５％以上１０％未満である場合、１０％以上３０％未満である場合、３０％以上５０％未満である場合、そして５０％以上である場合を各々表わす。このような方法により、各Ｐフレームの処理が完了する。
【００２８】
次に、前記処理されたＰフレームが最後のＰフレームであるかどうかが検査される（段階１１２）。もし、そうでなければ、次のＰフレームが選択され（段階１１４）、最後のＰフレームが処理されるまで段階１０６ないし段階１１０が行われる。次に、ｉを１から５までの整数であるとしたとき、領域内のＰフレームの総数に対するｉ番目のレベルIiのＰフレームの数の割合はPiとして表示され、PiはＲＩＨを決定するために次のように計算される。
【００２９】
【数６】
ＲＩＨは次のように決定される。
【００３１】
【数７】
前式（７）において、領域は選択されたグループを表わす（段階１１６）。
次に、前記選択されたグループが最後のグループであるかどうかが検査される（段階１１８）。もし、そうでなければ、次のグループが選択され（段階１２０）、段階１０６ないし段階１１６が行われる。このような方法により、全てのグループに対する映像処理が完了する。
【００３３】
前記デジタル映像処理方法によれば、前記ＲＩＨ情報はＰフレームの動き補償値に基づき、得られる。前記ＲＩＨ情報は映像場面の動き情報の過不足ない表示器である。また、ＲＩＨ情報は前記映像場面のインテンシティの過不足ない表示器である。
【００３４】
前記デジタル映像処理方法は、コンピュータによりプログラムできる。コンピュータプログラムを構成するコード及びコードセグメントは当技術のコンピュータプログラマーにより容易に誘導されうる。また、前記プログラムはコンピュータにて読取り可能な媒体に貯蔵され、前記コンピュータにより読取りされかつ実行されることにより、前記デジタル映像処理方法を具現する。前記媒体は磁気記録媒体、光記録媒体、搬送波媒体などを含む。
【００３５】
また、前記デジタル映像処理方法はデジタル映像処理装置上で具現できる。図２は、本発明による前記デジタル映像処理装置のブロック図である。図２を参照すれば、前記デジタル映像処理装置は、グルーピングユニット２００、ＮＯ＿ＭＣブロック割合計算ユニット２０２、量子化ユニット２０４、ＲＩＨ計算ユニット２０６及びＲＩＨ情報貯蔵ユニット２０８を含む。
【００３６】
前記デジタル映像処理装置の動作において、前記グルーピングユニット２００は場面カット検出アルゴリズムを用いて映像ストリームをグルーピングし、処理されるグループを選択し、前記選択されたグループから各Ｐフレームを順次選択しかつ出力する。
【００３７】
前記ＮＯ＿ＭＣブロック割合計算ユニット２０２は、計算された割合を表わす割合データＲを出力するために、前式（５）に定義されたように、マクロブロックの総数に対する動き補償値が０であるブロックの数の割合を計算する。
【００３８】
前記量子化ユニット２０４は、前記割合Ｒを５つのレベル（I1,I2,I3,I4,I5）に量子化して各レベルを表わすレベル表示信号（I1,I2,I3,I4,I5）を出力する。各レベル（I1,I2,I3,I4,I5）は、前記割合Ｒが５％未満である場合、５％以上１０％未満である場合、１０％以上３０％未満である場合、３０％以上５０％未満である場合、そして５０％以上である場合に関するものである。このような方法により、各Ｐフレームの処理が完了する。
【００３９】
もし、最後のＰフレームの処理が完成されるならば、前記ＲＩＨ計算ユニット２０６は、前式（６）により表わされたように、Ｐiにより表示される、領域内のＰフレームの総数に対するｉ番目のレベルIiのＰフレームの数の割合を計算し、前式（７）により表わされたように、ＲＩＨを出力する。
【００４０】
前記ＲＩＨ情報貯蔵ユニット２０８は、前記ＲＩＨ情報（P1,P2,P3,P4,P5）を受信し、そこに前記ＲＩＨ情報を貯蔵する。より望ましくは、前記ＲＩＨ情報貯蔵ユニット２０８は映像ストリームデータを受信し、前記ＲＩＨ情報を前記映像ストリームデータとインターリービングし、前記ＲＩＨ情報がインターリービングされた映像ストリームを出力する。
【００４１】
図１に示されたデジタル映像処理方法により処理された前記映像ストリームにより、そして図２に示されたデジタル映像処理装置を用い、２本の任意の映像ストリームのインテンシティが比較され、かつ分析されうる。
【００４２】
本発明のデジタル映像分析方法によれば、RIH1とRIH2との間の差分値、すなわち、
【数８】
【００４３】
【数９】
前式（９）において、与えられた映像場面において両映像ストリームのうち、第１映像ストリームのＲＩＨ情報はRIH1であり、第２映像ストリームのＲＩＨ情報はRIH2であり、Ｍは共分散行列である。
【００４５】
前述したデジタル映像分析方法により計算された前記
【数１０】
【００４６】
図２に示されたデジタル映像処理装置上で具現される、図１に示されたデジタル映像処理方法により処理された映像ストリームを用い、領域検索が、本発明によるデジタル映像検索方法により効率良く行える。
【００４７】
本発明によるデジタル映像検索方法は、前記映像ストリームが図１に示されたデジタル映像処理方法により処理されるという仮定に基づく。すなわち、本発明によるデジタル映像検索方法が図１を参照して説明されていたデジタル映像処理方法を含むということは理解されなければならない。
【００４８】
本発明のデジタル映像検索方法によれば、先ず、選択された映像場面、すなわち、映像領域のＲＩＨ情報が得られる。
【００４９】
次に、図１に示されたデジタル映像処理方法により処理された映像ストリームに対し、類似したＲＩＨ情報を備えた領域、すなわち、類似したインテンシティを備えた映像場面が前記得られたＲＩＨ情報に基づき、検索される。
【００５０】
前記ＲＩＨ情報がＰフレームの動き補償値に基づき、決定されるため、それは前記映像場面の動き情報を適宜に表わす。また、インターフレームに対し動き補償値が０であるブロックの分布は動き活動を極めてよく説明する。さらに、映像プログラム、特に、スポーツプログラムにおいて、動き情報は関連した映像ストリームの内容と極めて密接に関連する。動き情報に基づく前記ＲＩＨ情報は映像場面のインテンシティの極めて優れた表示器である。すなわち、類似したインテンシティを備えた場面の映像ストリームは前記ＲＩＨ情報に基づき、類似した映像場面を検索することにより効率良く検索されうる。
【００５１】
前述したデジタル映像検索方法は、内容に基づく映像検索エンジンなどのマルチメディアプッシュ／プル応用分野に適用できる。
【００５２】
また、前記デジタル映像検索方法は、コンピュータプログラムによりプログラムできる。コンピュータプログラムを構成するコード及びコードセグメントは当技術のコンピュータプログラマーにより容易に誘導されうる。また、前記プログラムはコンピュータにて読取り可能な媒体に貯蔵され、前記コンピュータにより読取りされかつ実行されることにより、前記デジタル映像検索方法を具現する。前記媒体は磁気記録媒体、光記録媒体、搬送波媒体などを含む。
【００５３】
また、前記デジタル映像処理方法は、デジタル映像検索装置（図示せず）上で具現できる。本発明による前記デジタル映像検索装置はグルーピングユニット、動き補償情報抽出ユニット及び検索ユニットを含む。
【００５４】
前記デジタル映像検索装置の動作において、前記グルーピングユニットは場面カット検出アルゴリズムを用いて映像ストリームを複数のグループにグルーピングする。
【００５５】
前記動き補償情報抽出ユニットは、選択されたグループからＰフレームの動き補償に関する情報を抽出し、前記情報を含む処理された映像ストリームを前記選択されたグループのＲＩＨ情報として出力する。
【００５６】
前記検索ユニットは、検索される選択されたグループのＲＩＨ情報を抽出し、前記抽出されたＲＩＨ情報に基づき、類似したＲＩＨ情報を備えた領域を検索する。
【００５７】
前述したデジタル映像検索装置は、前記ＲＩＨ情報に基づき、類似した映像場面を検索することにより類似したインテンシティを備えた場面の映像ストリームを効率良く検索できる。
【００５８】
前述したように、本発明によれば、前記ＲＩＨ情報はインターフレームの動き補償値に基づき、決定され、前記ＲＩＨ情報は前記映像場面の動き情報の優れた表示器である。また、前記ＲＩＨ情報は前記映像場面のインテンシティの極めて優れた表示器であるため、類似したインテンシティを備えた映像ストリームは、本発明のデジタル映像処理方法により得られた前記ＲＩＨ情報に基づき、類似した映像場面を検索することにより効率良く検索できる。
【００５９】
＜産業上の利用可能性＞
本発明は、内容に基づく映像検索エンジンなどのマルチメディアプッシュ／プル応用分野に適用できる。
【図面の簡単な説明】
【図１】 本発明によるデジタル映像処理方法を示したフローチャートである。
【図２】 本発明によるデジタル映像処理装置のブロック図である。
【符号の説明】
２００ グルーピングユニット
２０２ ＮＯ＿ＭＣブロック割合計算ユニット
２０４ 量子化ユニット
２０６ ＲＩＨ計算ユニット
２０８ ＲＩＨ情報貯蔵ユニット
Claims (28)
- 圧縮された映像ストリームの形で入力されるデジタル映像を処理する方法において、
（ａ）映像ストリームからインターフレームを選択する段階と、
（ｂ）前記選択されたインターフレームに対し、マクロブロックの総数に対する動き補償が０であるブロックの数の割合を計算する段階と、
（ｃ）ｉを所定の正数としたとき、前記割合をｉレベルに量子化する段階と、
（ｄ）前記処理されたインターフレームが最後のインターフレームであるかどうかを検査する段階と、
（ｅ）前記（ｄ）段階において、前記処理されたインターフレームが最後のインターフレームではないと決定された場合、次のインターフレームを選択し、前記（ｂ）段階ないし前記（ｄ）段階を行う段階と、
（ｆ）前記（ｄ）段階において、前記処理されたインターフレームが最後のインターフレームであると決定された場合、領域内のインターフレームの総数に対する前記ｉ番目のレベルのインターフレームの数の割合を計算する段階と、
（ｇ）前記（ｆ）段階において得られた割合を所定のヒストグラム情報として決定する段階とを含むことを特徴とするデジタル映像処理方法。 - （ｐ-ａ）映像ストリームを受信する段階と、
（ｐ-ｂ）所定のアルゴリズムを用いて前記映像ストリームを複数のグループにグルーピングする段階と、
（ｐ-ｃ）処理されるグループを選択する段階とをさらに含み、 前記（ａ）段階において、前記インターフレームは、前記（ｃ）段階において選択された前記映像ストリームグループから選択されることを特徴とする請求項１に記載のデジタル映像処理方法。 - 前記（ｇ）段階後に、
（ｈ）前記選択されたグループが最後のグループであるかどうかを検査する段階と、
（ｉ）前記（ｈ）段階において前記選択されたグループが最後のグループではないと決定された場合、次のグループを選択する段階と、
（ｊ）前記（ｉ）段階において選択された次のグループに対し、前記（ａ）段階ないし前記（ｈ）段階を行う段階とをさらに含むことを特徴とする請求項２に記載のデジタル映像処理方法。 - 前記所定のアルゴリズムは、場面カット検出アルゴリズムであることを特徴とする請求項２に記載のデジタル映像処理方法。
- 前記所定のアルゴリズムは、場面カット検出アルゴリズムであることを特徴とする請求項３に記載のデジタル映像処理方法。
- 前記映像ストリームは、ＭＰＥＧ-７映像ストリームであることを特徴とする請求項２ないし５のいずれか一項に記載のデジタル映像処理方法。
- 前記所定のヒストグラム情報は、与えられた映像場面領域のインテンシティを表わす領域インテンシティヒストグラムヒストグラムにより定義されることを特徴とする請求項１に記載のデジタル映像処理方法。
- 前記所定のヒストグラム情報は、与えられた映像場面領域のインテンシティを表わす領域インテンシティヒストグラムにより定義されることを特徴とする請求項２に記載のデジタル映像処理方法。
- 前記所定のヒストグラム情報は、与えられた映像場面領域のインテンシティを表わす領域インテンシティヒストグラムにより定義されることを特徴とする請求項３に記載のデジタル映像処理方法。
- 前記所定のヒストグラム情報は、与えられた映像場面領域のインテンシティを表わす領域インテンシティヒストグラムにより定義されることを特徴とする請求項４に記載のデジタル映像処理方法。
- 前記所定のヒストグラム情報は、与えられた映像場面領域のインテンシティを表わす領域インテンシティヒストグラムにより定義されることを特徴とする請求項５に記載のデジタル映像処理方法。
- 前記所定のヒストグラム情報は、与えられた映像場面領域のインテンシティを表わす領域インテンシティヒストグラムにより定義されることを特徴とする請求項６ないし９のいずれか一項に記載のデジタル映像処理方法。
- （ａ）映像ストリームからインターフレームを選択する段階と、
（ｂ）前記選択されたインターフレームに対し、マクロブロックの総数に対する動き補償値が０であるブロックの数の割合を計算する段階と、
（ｃ）ｉを所定の正数としたとき、前記割合をｉレベルに量子化する段階と、
（ｄ）前記処理されたインターフレームが最後のインターフレームであるかどうかを検査する段階と、
（ｅ）前記（ｄ）段階において、前記処理されたインターフレームが最後のインターフレームではないと決定された場合、次のインターフレームを選択し、前記（ｂ）段階ないし前記（ｄ）段階を行う段階と、
（ｆ）前記（ｄ）段階において、前記処理されたインターフレームが最後のインターフレームであると決定された場合、与えられた領域内のインターフレームの総数に対する前記ｉ番目のレベルのインターフレームの数の割合を計算する段階と、
（ｇ）前記（ｆ）段階において得られた割合を所定のヒストグラム情報として決定する段階とを含むデジタル映像処理方法を行うためにコンピュータにより実行可能なプログラムコードを備えたコンピュータにて読取り可能な媒体。 - 前記デジタル映像処理方法は、
（ｐ-ａ）映像ストリームを受信する段階と、
（ｐ-ｂ）所定のアルゴリズムを用いて前記映像ストリームを複数のグループにグルーピングする段階と、
（ｐ-ｃ）処理されるグループを選択する段階とをさらに含み、前記（ａ）段階において、前記インターフレームは前記（ｐ−ｃ）段階において選択された前記映像ストリームグループから選択されることを特徴とする請求項１３に記載のコンピュータにて読取り可能な媒体。 - 前記デジタル映像処理方法は、前記（ｇ）段階後に、
（ｈ）前記選択されたグループが最後のグループであるかどうかを検査する段階と、
（ｉ）前記（ｈ）段階において、前記選択されたグループが最後のグループではないと決定された場合、次のグループを選択する段階と、
（ｊ）前記（ｉ）段階において選択された次のグループに対し、前記（ａ）段階ないし前記（ｈ）段階を行う段階とを含むことを特徴とする請求項１３に記載のコンピュータにて読取り可能な媒体。 - 前記所定のアルゴリズムは、場面カット検出アルゴリズムであることを特徴とする請求項１４に記載のコンピュータにて読取り可能な媒体。
- 前記所定のアルゴリズムは、場面カット検出アルゴリズムであることを特徴とする請求項１５に記載のコンピュータにて読取り可能な媒体。
- 前記映像ストリームは、ＭＰＥＧ-２映像ストリームであることを特徴とする請求項１３ないし１７のいずれか一項に記載のコンピュータにて読取り可能な媒体。
- 前記所定のヒストグラム情報は、与えられた映像場面領域のインテンシティを表わす領域インテンシティヒストグラムにより定義されることを特徴とする請求項１３に記載のコンピュータにて読取り可能な媒体。
- 所定のアルゴリズムを用いて映像ストリームをグルーピングし、処理されるグループを選択し、前記選択されたグループから各インターフレームを順次選択しかつ出力するためのグルーピング手段と、
前記選択されたインターフレームに対し、マクロブロックの総数に対する動き補償値が０であるブロックの数の割合を計算するための割合計算手段と、
ｉを所定の正数としたとき、前記割合をｉレベルに量子化し、各レベルを表わすレベル表示信号を出力するための量子化手段と、
領域内のインターフレームの総数に対する前記ｉ番目のレベルのインターフレームの数の割合を計算し、前記計算結果を領域インテンシティヒストグラム情報として出力するための領域インテンシティヒストグラム計算手段とを含むことを特徴とするデジタル映像処理装置。 - 前記所定のヒストグラム情報は、与えられた映像場面領域のインテンシティを表わす領域インテンシティヒストグラムにより定義されることを特徴とする請求項２０に記載のデジタル映像処理装置。
- 前記領域インテンシティヒストグラム情報を受信し、前記領域インテンシティヒストグラム情報を貯蔵するための領域インテンシティヒストグラム情報貯蔵手段をさらに含むことを特徴とする請求項２０又は２１に記載のデジタル映像処理装置。
- 前記領域インテンシティヒストグラム情報貯蔵手段は、映像ストリームデータを受信し、前記領域インテンシティヒストグラム情報を前記映像ストリームデータにインターリービングし、領域インテンシティヒストグラム情報がインターリービングされた映像ストリームを出力することを特徴とする請求項２２に記載のデジタル映像処理装置。
- 所定のアルゴリズムを用いて映像ストリームをグルーピングし、処理されるグループを選択し、前記選択されたグループから各インターフレームを順次選択しかつ出力するためのグルーピングユニットと、
前記選択されたインターフレームに対し、マクロブロックの総数に対する動き補償値が０であるブロックの数の割合を計算するための割合計算ユニットと、
ｉを所定の正数としたとき、前記割合をｉレベルに量子化し、各レベルを表わすレベル表示信号を出力するための量子化ユニットと、領域内のインターフレームの総数に対する前記ｉ番目のレベルのインターフレームの数の割合を計算し、前記計算結果を領域インテンシティヒストグラム情報として出力するための領域インテンシティヒストグラム計算ユニットとを含むことを特徴とするデジタル映像処理装置。 - 前記所定のヒストグラム情報は、与えられた映像場面領域のインテンシティを表わす領域インテンシティヒストグラムにより定義されることを特徴とする請求項２４に記載のデジタル映像処理装置。
- 前記領域インテンシティヒストグラム情報を受信し、前記領域インテンシティヒストグラム情報を貯蔵するための領域インテンシティヒストグラム情報貯蔵ユニットをさらに含むことを特徴とする請求項２４又は２５に記載のデジタル映像処理装置。
- 前記領域インテンシティヒストグラム情報貯蔵ユニットは映像ストリームデータを受信し、前記領域インテンシティヒストグラム情報を前記映像ストリームデータにインターリービングし、領域インテンシティヒストグラム情報がインターリービングされた映像ストリームを出力することを特徴とする請求項２４に記載のデジタル映像処理装置。
- 映像データの処理方法において、
複数個のインターフレーム及び前記各インターフレームの動き補償情報を備える入力画像データを受信する段階と、
前記各インターフレームの動き補償情報を用いて前記各インターフレームの動き強度を示す動き強度レベルを決定する段階と、
前記各動き強度レベルを示すヒストグラムを決定する段階とを含み、
前記動き強度レベルを決定する段階は、
動き補償値が０であるブロックの数に対するインターフレームに備えられた全てのブロックの数の比率を計算するとともに、
動き補償値が０であるブロックの数に対するインターフレームに備えられた全てのブロックの数の比率を量子化することを特徴とする映像データの処理方法。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US11875099P | 1999-02-05 | 1999-02-05 | |
| US60/118,750 | 1999-02-05 | ||
| PCT/KR2000/000088 WO2000047000A1 (en) | 1999-02-05 | 2000-02-03 | Digital video processing method and apparatus thereof |
Related Child Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005175752A Division JP4167245B2 (ja) | 1999-02-05 | 2005-06-15 | デジタル映像処理方法及びその装置 |
| JP2005175753A Division JP4154459B2 (ja) | 1999-02-05 | 2005-06-15 | デジタル映像処理方法及びその装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002536927A JP2002536927A (ja) | 2002-10-29 |
| JP3983981B2 true JP3983981B2 (ja) | 2007-09-26 |
Family
ID=22380518
Family Applications (3)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000597964A Expired - Fee Related JP3983981B2 (ja) | 1999-02-05 | 2000-02-03 | デジタル映像処理方法及びその装置 |
| JP2005175752A Expired - Fee Related JP4167245B2 (ja) | 1999-02-05 | 2005-06-15 | デジタル映像処理方法及びその装置 |
| JP2005175753A Expired - Fee Related JP4154459B2 (ja) | 1999-02-05 | 2005-06-15 | デジタル映像処理方法及びその装置 |
Family Applications After (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005175752A Expired - Fee Related JP4167245B2 (ja) | 1999-02-05 | 2005-06-15 | デジタル映像処理方法及びその装置 |
| JP2005175753A Expired - Fee Related JP4154459B2 (ja) | 1999-02-05 | 2005-06-15 | デジタル映像処理方法及びその装置 |
Country Status (12)
| Country | Link |
|---|---|
| EP (4) | EP1149500A4 (ja) |
| JP (3) | JP3983981B2 (ja) |
| KR (2) | KR100454914B1 (ja) |
| CN (5) | CN1187713C (ja) |
| AU (1) | AU751231C (ja) |
| BR (1) | BR0008001A (ja) |
| CA (5) | CA2442628C (ja) |
| MX (1) | MXPA01007925A (ja) |
| MY (1) | MY129827A (ja) |
| NZ (1) | NZ513342A (ja) |
| TW (1) | TW524021B (ja) |
| WO (1) | WO2000047000A1 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6600784B1 (en) * | 2000-02-02 | 2003-07-29 | Mitsubishi Electric Research Laboratories, Inc. | Descriptor for spatial distribution of motion activity in compressed video |
| KR100652703B1 (ko) * | 2004-12-08 | 2006-12-01 | 엘지전자 주식회사 | 휴대단말기의 동영상 검색장치 및 방법 |
| US8659751B2 (en) * | 2010-06-17 | 2014-02-25 | Panasonic Corporation | External light glare assessment device, line of sight detection device and external light glare assessment method |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA2008819A1 (en) * | 1989-02-14 | 1990-08-14 | Dimitris Manolakis | Regionally adaptive imaging techniques |
| US5802361A (en) * | 1994-09-30 | 1998-09-01 | Apple Computer, Inc. | Method and system for searching graphic images and videos |
| US5561477A (en) * | 1994-10-26 | 1996-10-01 | Thomson Consumer Electronics, Inc. | System for coding a video signal in the presence of an image intensity gradient |
| US5649025A (en) * | 1995-02-03 | 1997-07-15 | Xerox Corporation | Multithresholding for document image segmentation |
| US5644651A (en) * | 1995-03-31 | 1997-07-01 | Nec Research Institute, Inc. | Method for the estimation of rotation between two frames via epipolar search for use in a three-dimensional representation |
| JPH09322173A (ja) * | 1996-05-27 | 1997-12-12 | Nippon Telegr & Teleph Corp <Ntt> | 動画像テロップ抽出方法及び装置 |
| KR100297830B1 (ko) * | 1996-11-09 | 2001-08-07 | 윤종용 | 영상단위별 비트발생량 조절 장치 및 방법 |
| JP3808153B2 (ja) * | 1997-01-17 | 2006-08-09 | 富士通株式会社 | 動画像検索システム |
| KR100311739B1 (ko) * | 1998-11-13 | 2001-12-17 | 오길록 | 동영상장면변환검출방법 |
| KR100361939B1 (ko) * | 1999-07-27 | 2002-11-22 | 학교법인 한국정보통신학원 | 객체 움직임을 이용한 ｍｐｅｇ 비디오 시퀀스의 데이터 베이스 구축 및 검색 방법과 그 기록 매체 |
| KR100324255B1 (ko) * | 1999-12-28 | 2002-02-25 | 박호군 | 내용 기반 동영상 검색 방법 |
-
2000
- 2000-02-03 CA CA002442628A patent/CA2442628C/en not_active Expired - Fee Related
- 2000-02-03 CA CA002361742A patent/CA2361742C/en not_active Expired - Fee Related
- 2000-02-03 EP EP00904101A patent/EP1149500A4/en not_active Withdrawn
- 2000-02-03 BR BR0008001-2A patent/BR0008001A/pt not_active IP Right Cessation
- 2000-02-03 MX MXPA01007925A patent/MXPA01007925A/es active IP Right Grant
- 2000-02-03 KR KR10-2004-7001079A patent/KR100454914B1/ko not_active IP Right Cessation
- 2000-02-03 CN CNB008039941A patent/CN1187713C/zh not_active Expired - Fee Related
- 2000-02-03 CA CA002442637A patent/CA2442637A1/en not_active Abandoned
- 2000-02-03 WO PCT/KR2000/000088 patent/WO2000047000A1/en active Application Filing
- 2000-02-03 CN CNA2006101006161A patent/CN1897037A/zh active Pending
- 2000-02-03 JP JP2000597964A patent/JP3983981B2/ja not_active Expired - Fee Related
- 2000-02-03 CA CA002442644A patent/CA2442644C/en not_active Expired - Fee Related
- 2000-02-03 NZ NZ513342A patent/NZ513342A/en unknown
- 2000-02-03 CN CNB2006101006142A patent/CN100543772C/zh not_active Expired - Lifetime
- 2000-02-03 CN CNA2004100698471A patent/CN1585491A/zh active Pending
- 2000-02-03 EP EP08155410A patent/EP1947608A3/en not_active Ceased
- 2000-02-03 AU AU25773/00A patent/AU751231C/en not_active Ceased
- 2000-02-03 EP EP08155413A patent/EP1947579A3/en not_active Withdrawn
- 2000-02-03 EP EP08155412A patent/EP1947578A3/en not_active Withdrawn
- 2000-02-03 CN CNB2006101006157A patent/CN100472563C/zh not_active Expired - Lifetime
- 2000-02-03 CA CA002442632A patent/CA2442632C/en not_active Expired - Fee Related
- 2000-02-03 KR KR10-2001-7009439A patent/KR100452063B1/ko not_active IP Right Cessation
- 2000-02-03 MY MYPI20000385A patent/MY129827A/en unknown
- 2000-06-16 TW TW089101915A patent/TW524021B/zh not_active IP Right Cessation
-
2005
- 2005-06-15 JP JP2005175752A patent/JP4167245B2/ja not_active Expired - Fee Related
- 2005-06-15 JP JP2005175753A patent/JP4154459B2/ja not_active Expired - Fee Related
Also Published As
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100452064B1 (ko) | 디지털 영상 처리 장치 | |
| US8345742B2 (en) | Method of processing moving picture and apparatus thereof | |
| KR20110103415A (ko) | 영상 식별자 추출 장치 | |
| KR100944903B1 (ko) | 비디오 신호의 특징 추출 장치 및 그 추출 방법, 비디오인식 시스템 및 그 인식 방법 | |
| JP2004045565A (ja) | 類似時系列検出方法及び装置、並びにプログラム及び記録媒体 | |
| US20210319230A1 (en) | Keyframe Extractor | |
| US20050002569A1 (en) | Method and apparatus for processing images | |
| JP5644505B2 (ja) | 照合加重情報抽出装置 | |
| JP4154459B2 (ja) | デジタル映像処理方法及びその装置 | |
| Fernando et al. | Fade-in and fade-out detection in video sequences using histograms | |
| US7006569B1 (en) | Digital video processing method and apparatus thereof |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050315 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050615 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060328 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20060628 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20060705 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060926 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20060926 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061031 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20070131 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20070207 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070501 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070605 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070705 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100713 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110713 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110713 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120713 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120713 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130713 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |