JP3969649B2

JP3969649B2 - Video data processing system

Info

Publication number: JP3969649B2
Application number: JP2002322655A
Authority: JP
Inventors: 真太郎渡辺; 冬于; 靖夫三部
Original assignee: NTT Data Corp
Current assignee: NTT Data Corp
Priority date: 2002-11-06
Filing date: 2002-11-06
Publication date: 2007-09-05
Anticipated expiration: 2022-11-06
Also published as: JP2004159079A

Description

【０００１】
【発明の属する技術分野】
本発明は、映像データを分割し、分割した映像データを分散して圧縮処理するための技術に関する。
【０００２】
【従来の技術】
ブロードバンドの普及とビデオのデジタル化の進展により、ビデオなどの映像データをネットワーク上で配信するサービスが展開されている。
このサービスを行うに際しては、配信する映像データに対してトランスコーディング処理が行われる。このトランスコーティング処理は、図１７に示すように、コンピュータにより、フォーマットＡの圧縮ビデオデータを伸張し、非圧縮の「画像データ」と「音声データ」を得た後、得られたデータを再圧縮して他のフォーマットＢのビデオデータに変換する処理である。
【０００３】
このトランスコーディング処理を行う場合、映像データの大容量・高画質化に伴い処理の負荷が大きくなる反面、この処理を高速に行い、かつ分割された映像を結合させた際に、高画質かつ高音質な映像データが得られるようにする必要がある。
【０００４】
このような要望を満たすため、トランスコーディングの全ての処理を１台のサーバで行うシステムが知られている。
しかし、このような処理では、処理速度はサーバの性能に依存することとなるため、処理時間を短縮するためには高い処理能力を持ったサーバを用意しなければならないという問題がある。
【０００５】
このトランスコーディングの処理時間の短縮に対する有効な方法として複数のコンピュータ端末により分散処理を行うことも考えられる。
このような分散処理の一般技術としては、例えば、ネットワークで接続された複数のコンピュータシステム間で、各コンピュータシステムの負荷状況やシステム特性に応じてジョブやタスクを自動的に分散させるシステムが既に知られている（例えば、特許文献１及び特許文献２）。
また、ＭＰＥＧ(Moving Picture Expert Group)形式のビデオデータストリームを、クライアントが処理可能なサーバに対してジョブを単純に振り分けることでＭＰＥＧ形式のビデオストリームデータを並列して圧縮処理する技術が知られている（例えば、非特許文献１）。
また、グリッドコンピュータティング等の技術を利用して並列分散処理を行うことも知られている。
【０００６】
【特許文献１】
特開平２−２２４１６９号公報（第１−３ページ、第３図）
【特許文献２】
特開２００２−２２２２５１号公報（第２−３ページ、第２図）
【非特許文献１】
ジェフリー・ムーア（Jeffrey Moore）、ウィリアム・リー（William Lee）、スコット・ダーソン（Scott Dawson）著、「最適な並行ＭＰＥＧエンコーディング（Optimal Parallel MPEG Encoding）、１９９５年１２月１０日、コーネル大学（Cornell University）、［平成１４年１０月３１日検索］、インターネット＜ＵＲＬ：http://www.cs.cornell.edu/Info/Projects/zeno/Projects/OPME/opme.report.html ＞
【０００７】
【発明が解決しようとする課題】
しかし、ビデオのような時間的に連続した映像データでは、これを単純に時間軸で分割して並列的に分散処理すると、分割された映像データを再度結合させる際に、結合ポイント（分割ポイント）でノイズ音や画像ムラなど結合ノイズが発生してしまい、画質や音質が低下してしまうなどの問題があった。
【０００８】
また、いわゆるパーソナルコンピュータなどのようにコンピュータ端末が廉価となっていること、またブロードバンドの普及によりこれらコンピュータ端末が容易にネットワークに接続できることから、これらの廉価なコンピュータを用いて高速かつ高品質な映像コンテンツを提供することが求められている。
【０００９】
本発明は、上記課題及び問題点を解決するためになされたものであって、映像データを分割後に再結合しても、高品質な映像データを得ることができるとともに、映像データの分割処理が高速に行える仕組みを提供することを課題とする。
【００１９】
本発明の第１の観点にかかる映像データ処理システムは、時間的に連続した映像データを分割する映像分割装置と、この分割装置と通信可能に構成され、分割された映像データを所定のフォーマットで圧縮する複数の圧縮装置により構成されたシステムであって、上記映像分割装置は、上記映像データを任意の分割ポイントで複数に分割する分割処理手段と、上記分割された各映像データを上記圧縮装置に対して送信し、上記複数の圧縮装置に対してデータの圧縮処理を分散処理させる送信指示手段と、を有し、上記圧縮装置は、上記映像データを構成する映像フレームの色又は動きベクトルの変化量に基づいて映像シーンの切替わり部分があるか否か判別し、映像シーンの切替わり部分がある場合に、当該切替わり部分で映像データを複数に分割する分割処理手段と、上記分割された映像データのうちの少なくとも一つを、他の圧縮装置に対して送信する送信処理手段と、他の圧縮装置から分割映像データを受信した場合は、当該受信した分割データのうち、保持している映像データと連続する映像データがあるか否か判別し、連続する映像データがある場合に、上記受信した分割映像データと保持している映像データとを結合させる映像結合処理手段と、上記保持している映像データ、上記受信した分割映像データ、及び上記映像結合処理手段により結合された映像データを、所定のフォーマットで圧縮する圧縮手段とを有することを特徴とする。
【００２１】
【発明の実施の形態】
以下、図面を参照して本発明にかかる実施形態について説明する。
図１に本発明にかかる第１の実施形態の全体構成の概略を示す。
図１において、本実施形態にかかるトランスコーディングシステムは、映像データのマスターデータを保持するマスターコンテンツデータベース４と、マスターコンテンツデータベース４が保持している映像データを分割処理するスケジューリングサーバ１と、このスケジューリングサーバ１とＬＡＮ５などのネットワークを介して接続可能に構成された複数のトランスコードパーソナルコンピュータ（ＰＣ）２と、これらトランスコードＰＣ２から提供されたトランスコードされたデータを再度結合して映像データとする結合サーバ３から構成されている。
【００２２】
マスターコンテンツデータベース４は、映像データのマスターデータをデータベース化して保持するコンピュータ装置である。
このマスターコンテンツデータベース４に記憶されている映像データは、例えば、ＭＰＥＧなどの所定のフォーマットにより圧縮されたデータとなっている。また、この映像データは、一般に再生を考慮して図２に示すように画像データと音声データの断片が交互に配列されており、この映像データが所定の記憶媒体（テープ、ディスク等）に保存され、スケジューリングサーバ１に提供されるようになっている。
【００２３】
トランスコードＰＣ２は、スケジューリングサーバ１により分割された映像データを所定のフォーマット（例えば、マスターコンテンツデータベース４に記憶されているデータとは別のフォーマット）に変換して圧縮する処理を行うコンピュータである。
このトランスコードＰＣ２は、いわゆる汎用のパーソナルコンピュータであって、これに映像データを所定のフォーマットに変換、圧縮するためのコンピュータプログラムを搭載すると共に、ＬＡＮ５に接続可能としたものである。
【００２４】
結合サーバ３は、トランスコーディングされた分割映像データを再度結合させることにより映像データを作成する処理を行うコンピュータである。
この結合処理は、分割映像データに含まれるシーケンスコードなどの識別情報に基づいて、これを所定の順序に従って分割映像データを結合させることにより行うことができる。
【００２５】
スケジューリングサーバ１は、本発明に係る映像データ処理装置を構成する。
スケジューリングサーバ１は、コンピュータにより構成され、ＣＰＵ(Central Processing Unit)と、ＣＰＵが実行するコンピュータプログラムと、コンピュータプログラムや所定のデータ等を記憶するためのＲＯＭ、ＲＡＭなどの内部メモリ及びハードディスクドライブなどの外部記憶装置及びＣＤ―ＲＯＭなどの所定の記録媒体からデータを読み取るための外部ディスク装置などにより図３に示す機能ブロックを構成することができる。
図３に示した機能ブロックは、データ読取部１１、データ伸張処理部１２、音声データ処理部１３、分割処理部１４、送信指示部１５から構成されている。
【００２６】
データ読取部１１は、マスターデータとしての映像データが記憶された所定の媒体からマスターデータとしての映像データを読み取る処理を行う。
このデータ読取部１１は、例えば、ＣＤ−ＲＯＭやＭＯ（magneto-optical disc）などの媒体を読み取る読取装置で構成することができる。
【００２７】
データ伸張処理部１２は、所定のフォーマットで圧縮されているマスターデータとしての映像データを伸張して、非圧縮の「画像データ」と「音声データ」を生成する処理を行う。
このデータの伸張処理は、元となるマスターデータのフォーマットの種類に応じてデータの伸張処理を行うことができる。
【００２８】
音声データ処理部１３は、マスターデータとしての映像データ中から音声データのみを取り出す処理を行う。
この処理は、例えば、音声データ処理部１３が図２に示した映像データの中から、音声データのみを抽出して取り出すことにより行うことができる。
【００２９】
分割処理部１４は、音声データを取り出した後の映像データ、即ち図２に示した画像データを所定の単位で分割する処理を行う。
この分割処理は、画像データのうち所定のポイント（分割ポイント）を決めて、この分割ポイントで画像を分割する。なお、分割ポイントをどれくらい数、画像データのどの点に設定するかは任意であり、後述する第３〜第６のいずれかの実施形態の分割処理を適用してもよい。
【００３０】
送信指示部１５は、取り出された音声データ及び分割された各映像データをトランスコードＰＣ２に対して送信して、複数のトランスコードＰＣ２に対してデータの圧縮処理を分散処理させる処理を行う。
なお、この際各トランスコードＰＣ２の処理能力を考慮して、適切な容量のデータを各トランスコードＰＣ２に個別に送信して圧縮処理させてもよい。
【００３１】
上述の第１の実施形態にかかるスケジューリングサーバ１が行う映像データ処理方法の一例について図４を参照して説明する。
図４において、まず、マスターコンテンツデータベース４からＣＤ−ＲＯＭなどの媒体によりマスターデータとしての映像データが提供されると、データ読取部１１が提供された媒体から所定フォーマットで圧縮されている映像データを読み取る（Ｓ１０１）。
【００３２】
映像データの読み取りが完了すると、データ伸張処理部１２は、圧縮されている映像データを伸張して「画像データ」と「音声データ」からなる映像データを取得する（Ｓ１０２）。
【００３３】
映像データの伸張が完了すると、音声データ処理部１３が、図５に示すように画像データと音声データとが交互に配置されている映像データＶの中から音声データのみを取り出し、取り出した全ての音声データをデマルチプレクス（単一化）して一つのデータブロックＳを作成する（Ｓ１０３）。
また、分割処理部１４は、音声データが取り出された後の映像データ、即ち残りの画像データを所定の単位で分割して、複数の画像データブロックＰ１〜Ｐｎを作成する（Ｓ１０４）。
【００３４】
これらのデータブロックが作成されると、送信指示部１５は、各データブロックをそれぞれ別のトランスコードＰＣ２に送信して、所定フォーマットで圧縮するように指示して（Ｓ１０５）、処理を終了する。
これにより、図５に示すように、各トランスコーディングＰＣ２は送信されたデータを所定のフォーマットで圧縮処理を行い、この圧縮された全てのデータを受け取った結合サーバ３がこれらのデータをマルチプレクス（多重化）することにより、映像データを得ることができる。
【００３５】
このように上述の第１の実施形態によれば、音声データ処理部１３により映像データ中から音声データのみを取り出して、これを一つのデータブロックとして画像データとは別に処理するようにしたことから、音声データを分割することにより生じる結合ポイントでのノイズの発生を無くすことができる。また、音声データは、画像データに比べて容量が小さいため、１台のトランスコードＰＣ２でまとめて高速に処理することができる。
【００３６】
次に本発明にかかる第２の実施形態について説明する。
第２の実施形態は、スケジューリングサーバ１が映像データ中の無音区間で映像データを分割するようにした例である。
なお、上述の第１の実施形態と同一の構成については同一の符号を付して説明を省略する。
本実施形態では、上述のスケジューリングサーバ１を図６に示すように、データ読取部１１、データ伸張処理部１２、分割処理部２０４、送信指示部１５により構成する。
分割処理部２０４は、映像データ中の音声データが無い無音区間を抽出して、当該無音区間を映像データの分割ポイントとして上記映像データを複数に分割する処理を行う。なお、この無音区間は、図７に示すように、音声データの振幅が所定の閾値よりも小さい時間が所定時間継続する区間をいう。
【００３７】
このように構成された第２の実施形態の映像データ処理方法について図８を参照して説明する。
図８において、まず、マスターコンテンツデータベース４からＣＤ−ＲＯＭなどの媒体によりマスターデータとしての映像データが提供されると、データ読取部１１が提供された媒体から所定フォーマットで圧縮されているデータを読み取る（Ｓ２０１）。
【００３８】
データが読み取られると、データ伸張処理部１２は、圧縮されているマスターデータを伸張して映像データを取得する（Ｓ２０２）。
【００３９】
データの伸張が完了すると、分割処理部２０４が映像データ中に含まれる音声データの振幅を検知し、この振幅が所定の閾値よりも小さい無音区間を検出する（Ｓ２０３）。
無音区間が検出されると、分割処理部２０４は検出された無音区間を分割ポイントとして映像データを複数に分割する（Ｓ２０４）。
【００４０】
映像データの分割が完了すると、送信指示部１５は、各分割映像データをそれぞれ別のトランスコードＰＣ２に送信して、所定フォーマットで圧縮するように指示して（Ｓ２０５）、処理を終了する。
【００４１】
このように無音区間を映像データの分割ポイントとしたことから、分割映像データを結合サーバ３で結合させた際に、映像データの結合部分で発生する音声データのノイズを最小限に抑えることができる。
また、本実施形態によれば、音声データと画像データを分割する必要がないため、マスターコンテンツデータ又は出力コンテンツが、音声データと画像データに分割することが難しいフォーマット形式の場合に特に有効である。
【００４２】
なお、上述の実施形態で、映像データを分割する前に、検出した無音区間についてローパスフィルターにより音声データの高周波成分を予め除去するようにしてもよい。これにより、分割部分（無音区間）での高周波ノイズを無くすことができ、より分割映像データの結合時における音声のノイズの発生を抑えることができる。
【００４３】
次に、本発明にかかる第３の実施形態について説明する。
第３の実施形態は、映像データを分割する際に映像シーンの切替わり部分を検出し、この映像の切替わり部分を分割ポイントとする例である。
この場合には、上述の第２の実施形態の分割処理部２０４が、上述の処理に代えて映像データ中の映像シーンの切替わり部分を検出し、この切替わり部分を分割ポイントとして映像データを分割する。
この映像シーンの切替わりの検出は、図９に示すように、分割処理部２０４が、各映像フレームの色のヒストグラムを検出し、このヒストグラムの分布が急激に変化する部分を映像シーンの切替わり部分として検出してもよいし、また、映像データがＭＰＥＧ形式のデータであれば、各映像フレームの動きベクトルのノルムの総和Ｓを計算し、このノルムＳが急激に変化する映像フレーム部分を映像シーンの切替わり部分として検出するようにしてもよい。
【００４４】
次に第３の実施形態にかかる映像データ処理方法の実施形態について図１０を参照して説明する。
図１０において、まず、マスターコンテンツデータベース４からＣＤ−ＲＯＭなどの媒体によりマスターデータとしての映像データが提供されると、データ読取部１１が提供された媒体から所定フォーマットで圧縮されている映像データを読み取る（Ｓ３０１）。
【００４５】
映像データの読み取りが完了すると、データ伸張処理部１２は、圧縮されているマスターデータを伸張して映像データを取得する（Ｓ３０２）。
【００４６】
データの伸張が完了すると、分割処理部２０４が映像データ中の映像シーンの切替わり部分を検出する（Ｓ３０３）。
この映像シーンの切替わり検出は、上述映像フレームの色のヒストグラムに基づいて行ってもよいし、また各映像フレームの動きベクトルのノルムの総和から検出するようにしてもよい。
映像シーンの切替わりが検出されると、分割処理部２０４は検出された切替わり部分を分割ポイントとして映像データを複数に分割する（Ｓ３０４）。
【００４７】
映像データの分割が完了すると、送信指示部１５は、各分割映像データをそれぞれ別のトランスコードＰＣ２に送信して、所定フォーマットで圧縮するように指示して（Ｓ３０５）、処理を終了する。
【００４８】
このように第３の実施形態によれば、映像データ中の映像シーンの切替わり部分で映像データを分割するようにしたことから、分割された映像データを結合した際に発生する映像の画質ムラを減少させることができ、結合サーバ３側でも高画質な映像データを得ることができる。
【００４９】
次に、本発明にかかる第４の実施形態について説明する。
第４の実施形態は、映像データをトランスコーディングする際に、元の圧縮映像データがＭＰＥＧ形式の場合に、そのビットレート情報（圧縮率情報）を利用する例である。
この場合には、上述の第２の実施形態の分割処理部２０４が、図１１に示すように、上述の処理に代えて元のＭＰＥＧ形式の映像データの各映像フレームのビットレート情報を取得し、当該取得したビットレート情報が変化した部分を分割ポイントとして設定し、この分割ポイントで映像データを分割する処理を行うようにする。
【００５０】
次に第４の実施形態にかかる映像データ処理方法について図１２を参照して説明する。
図１２において、まず、マスターコンテンツデータベース４からＣＤ−ＲＯＭなどの媒体によりマスターデータとしての映像データが提供されると、データ読取部１１が提供された媒体からＭＰＥＧ形式で圧縮されている映像データを読み取る（Ｓ４０１）。
【００５１】
映像データの読取が完了すると、データ伸張処理部１２は、ＭＰＥＧ形式で圧縮されているマスターデータを伸張する（Ｓ４０２）。
【００５２】
また、分割処理部２０４は、元のＭＰＥＧ形式の映像データの各映像フレームのビットレート情報を取得し、このビットレートが変化するポイントを検出する（Ｓ４０３）。
ビットレートが変化するポイントが検出されると、分割処理部２０４は検出されたビットレートが変化するポイントを分割ポイントとして映像データを複数に分割する（Ｓ４０４）。
【００５３】
映像データの分割が完了すると、送信指示部１５は、各分割映像データをそれぞれ別のトランスコードＰＣ２に送信して、上記各映像フレームのビットレートに応じて、元の映像フレームのビットレートと同じビットレートで圧縮するように指示して（Ｓ４０５）、処理を終了する。
【００５４】
このように、元のＭＰＥＧデータのビットレート情報に従ってトランスコーディングを行うようにすれば、例えば、もともと動きの大きいシーンではビットレートを高く、動きの小さいシーンではビットレートを低く設定されているため、これに従うことで分割映像データを結合した際の映像データの画像のムラを抑え高画質な映像を得ることができる。
【００６２】
次に、本発明にかかる第６の実施形態について説明する。
第６の実施形態は、映像データを分割する際、スケジューリングサーバ１側で任意に設定した分割ポイントに基づいて映像データを分割処理し、この分割処理された映像データを受け取った各トランスコードＰＣ２側で、上述の実施形態３の処理を分散処理するようにした例である。
この実施形態では、分割処理部２０４が映像データ中の任意のポイントに映像データの分割ポイントを設定し、この分割ポイントで映像データを複数に分割する処理を行う。
【００６３】
本実施形態にかかるスケジューリングサーバ１側の映像データ処理方法について図１５を参照して説明する。
図１５において、まず、マスターコンテンツデータベース４からＣＤ−ＲＯＭなどの媒体によりマスターデータとしての映像データが提供されると、データ読取部１１が提供された媒体から所定の形式で圧縮されている映像データを読み取る（Ｓ６０１）。
映像データが読み取りが完了すると、データ伸張処理部１２は、圧縮されている映像データを伸張する（Ｓ６０２）。
【００６４】
上述の処理が完了すると、分割処理部２０４は、任意の基準に基づいて映像データに分割ポイントを設定し、この設定した分割ポイントに基づいて映像データを分割する（Ｓ６０３）。
なお、この分割ポイントの設定は、例えば、分割処理部２０４が、上述の実施形態１又は実施形態４の分割方法に基づいて分割ポイント設定してもよい。
【００６５】
そして、分割映像データの作成が完了すると、送信指示部１５は、各分割映像データをそれぞれ別のトランスコードＰＣ２に送信して、分割映像データの圧縮するように指示して（Ｓ６０４）、スケジューリングサーバ１側の処理を終了する。
【００６６】
次に、スケジューリングサーバ１から送信された分割映像データを受信したトランスコードＰＣ２側の処理について図１６を参照して説明する。
図１６において、トランスコードＰＣ２は、スケジューリングサーバ１から送信された分割映像データを受信すると（Ｓ１６０１）、この分割映像データの映像シーンの切替わり部分を検出する（Ｓ１６０２）。
この映像シーンの切替わり部分の検出処理は、上述の実施形態３と同様の処理により検出することができる。
【００６７】
トランスコードＰＣ２は、検出処理の結果映像シーンの切替わり部分が存在していたか否か判別する（Ｓ１６０３）。
判別の結果、切替わり部分が存在していた場合には、トランスコードＰＣ２は、分割映像データの端からその切替わり部分までの映像フレームデータを抽出し、これを次の又は直前の連続するデータを保持しているトランスコードＰＣ２に対して転送する（Ｓ１６０４）。
なお、この際、トランスコードＰＣ２が連続する分割映像データを受信した他のトランスコードＰＣ２を特定できる場合には、当該トランスコードＰＣを特定してデータの転送を行ってもよい。
【００６８】
また、トランスコードＰＣ２に他のトランスコードＰＣ２から転送された映像データがある場合には、これを受信して（Ｓ１６０５）、受信した映像データが現在トランスコードＰＣ２が保持している分割映像データと連続する映像データか否か判別する（Ｓ１６０６）。
この判別処理は、例えば、分割映像データに付与されている分割フレームのコードなどを参照することにより、連続する映像フレームデータであるか否か判別するようにしてもよい。
【００６９】
判別の結果、連続する映像データであると判別された場合には、トランスコードＰＣ２は、受信した映像データと保持している映像データとを結合する（Ｓ１６０７）。
結合した映像データ又はＳ１６０６の処理で連続する映像データがないと判別された場合には、トランスコードＰＣ２は、受信した映像データに対して所定のフォーマットで圧縮処理を行い（Ｓ１６０８）、圧縮された映像データを結合サーバ３へ提供して（Ｓ１６０９）、処理を終了する。
【００７０】
このように上述の第６の実施形態によれば、上述の実施形態３の分割ポイントの検出処理まで複数のトランスコードＰＣ２で分散して処理することができ、より高速にトランスコーディング処理を行うことができる。
【００７１】
なお、各実施形態について個別に説明してきたが、上述の各実施形態の処理を適宜組み合わせて映像データの分割処理を行ってもよい。
例えば、実施形態１の画像データの分割処理を行う際に、上述の実施形態３〜６のいずれかの実施形態の分割処理を適用してもよい。また、第２の実施形態により処理された分割映像データに対して、上述の第４又は第６の実施形態の処理を適用して処理を行ってもよい。また、第３の実施形態により処理された分割映像データに対して、上述の第１、第４の実施形態の処理を適用して処理してもよい。また、第４の実施形態により処理された分割映像データに対して、上述の第１〜３或いは第６の実施形態の処理を適用してもよい。また、第５の実施形態により処理された分割映像データに対して、上述の第１の実施形態の処理を適用して処理してもよい。
【００７２】
本実施形態のスケジューリングサーバ１用のコンピュータプログラムを、コンピュータ読み取り可能な媒体（ＦＤ、ＣＤ−ＲＯＭ等）に格納して配布してもよいし、搬送波に重畳し、通信ネットワークを介して配信することも可能である。なお、スケジューリングサーバ１の各機能をＯＳ（Operating System）が分担又はＯＳとアプリケーションプログラムの共同により実現する場合等には、ＯＳ以外の部分のみをコンピュータプログラムとして、またこのコンピュータプログラムをコンピュータ読み取り可能な媒体に格納したり、このコンピュータプログラムを配信等したりしてもよい。
【００７３】
【発明の効果】
本発明によれば、画像及び音声のデータを劣化させることなく、映像データ分割処理を分散処理することができる。
【図面の簡単な説明】
【図１】本発明にかかる第１の実施形態のシステム全体構成を示した図。
【図２】実施形態にかかる映像データの概念的構成の一例を示した図。
【図３】第１の実施形態にかかるスケジューリングサーバの機能ブロック図。
【図４】第１の実施形態にかかるスケジューリングサーバの処理フローを示した図。
【図５】第１の実施形態にかかる映像データの処理を概念的に示した図。
【図６】第２の実施形態にかかるスケジューリングサーバの機能ブロック図。
【図７】第２の実施形態にかかる映像データの分割ポイントを設定する際の処理を概念的に示した図。
【図８】第２の実施形態にかかるスケジューリングサーバの処理フローを示した図。
【図９】第３の実施形態にかかる映像データの分割ポイントを設定する際の処理を概念的に示した図。
【図１０】第３の実施形態にかかるスケジューリングサーバの処理フローを示した図。
【図１１】第４の実施形態にかかる映像データの分割ポイントを設定する際の処理を概念的に示した図。
【図１２】第４の実施形態にかかるスケジューリングサーバの処理フローを示した図。
【図１３】第５の実施形態にかかるスケジューリングサーバの処理フローを示した図。
【図１４】第５の実施形態にかかる結合サーバの処理フローを示した図。
【図１５】第６の実施形態にかかるスケジューリングサーバの処理フローを示した図。
【図１６】第６の実施形態にかかるトランスコードＰＣの処理フローを示した図。
【図１７】トランスコーディング処理の概念を示した図。
【符号の説明】
１スケジューリングサーバ
２トランスコードパーソナルコンピュータ（ＰＣ）
３結合サーバ
４マスターコンテンツデータベース
１３音声データ処理部
１４分割処理部
１５送信指示部
２０４分割処理部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a technique for dividing video data and distributing and compressing the divided video data.
[0002]
[Prior art]
With the spread of broadband and the progress of digitalization of video, services that distribute video data such as video over a network are being developed.
When performing this service, transcoding processing is performed on video data to be distributed. In this trans-coating process, as shown in FIG. 17, the compressed video data of format A is decompressed by a computer to obtain uncompressed “image data” and “audio data”, and then the obtained data is recompressed. Thus, the video data is converted into other format B video data.
[0003]
When this transcoding process is performed, the processing load increases with the increase in the volume and quality of the video data. On the other hand, when this process is performed at high speed and the divided videos are combined, the image quality is high. It is necessary to obtain sound quality video data.
[0004]
In order to satisfy such a demand, a system in which all the transcoding processes are performed by one server is known.
However, in such processing, since the processing speed depends on the server performance, there is a problem that a server having high processing capability must be prepared in order to shorten the processing time.
[0005]
As an effective method for shortening the transcoding processing time, it is conceivable to perform distributed processing by a plurality of computer terminals.
As a general technique for such distributed processing, for example, a system that automatically distributes jobs and tasks among a plurality of computer systems connected via a network according to the load status and system characteristics of each computer system is already known. (For example, Patent Document 1 and Patent Document 2).
Also known is a technique for compressing MPEG video stream data in parallel by simply assigning jobs to a server that can be processed by a client that can process MPEG (Moving Picture Expert Group) video data streams. (For example, Non-Patent Document 1).
It is also known to perform parallel and distributed processing using a technique such as grid computing.
[0006]
[Patent Document 1]
JP-A-2-224169 (page 1-3, FIG. 3)
[Patent Document 2]
Japanese Patent Laid-Open No. 2002-222251 (page 2-3, FIG. 2)
[Non-Patent Document 1]
Jeffrey Moore, William Lee, Scott Dawson, “Optimal Parallel MPEG Encoding, December 10, 1995, Cornell University ), [October 31, 2002 search], Internet <URL: http://www.cs.cornell.edu/Info/Projects/zeno/Projects/OPME/opme.report.html>
[0007]
[Problems to be solved by the invention]
However, for temporally continuous video data such as video, if this is simply divided on the time axis and distributed in parallel, then when the divided video data are recombined, a combination point (division point) As a result, noise such as noise and image unevenness is generated, and there is a problem that image quality and sound quality deteriorate.
[0008]
In addition, since computer terminals such as so-called personal computers are inexpensive, and these computer terminals can be easily connected to a network due to the spread of broadband, high-speed and high-quality video using these inexpensive computers. There is a need to provide content.
[0009]
The present invention has been made to solve the above-described problems and problems, and even when video data is recombined after division, high-quality video data can be obtained and video data division processing is performed. It is an issue to provide a mechanism that can be performed at high speed.
[0019]
A video data processing system according to a first aspect of the present invention is configured to divide temporally continuous video data, and to be communicable with the splitting device, and the divided video data in a predetermined format. A system constituted by a plurality of compression devices for compression, wherein the video dividing device includes a division processing unit that divides the video data into a plurality at arbitrary division points, and the compression device Transmission instruction means for distributing the data compression processing to the plurality of compression devices, and the compression device is adapted to determine the color or motion vector of a video frame constituting the video data. Based on the amount of change, it is determined whether there is a switching part of the video scene, and if there is a switching part of the video scene, a plurality of video data is stored in the switching part. A dividing process means for dividing at least one of the divided video data, transmission to be transmitted to the other compressor processing Means, and when receiving divided video data from another compression device, Recieved Among the divided data, there is video data that is continuous with the stored video data. If there is continuous video data, The received divided video data When Video combination processing means for combining the stored video data; the above Retained video data, The received divided video data, as well as the above Video merge processing Video data combined by means The Compression means for compressing in a predetermined format.
[0021]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments according to the present invention will be described below with reference to the drawings.
FIG. 1 shows an outline of the overall configuration of the first embodiment according to the present invention.
In FIG. 1, the transcoding system according to the present embodiment includes a master content database 4 that holds master data of video data, a scheduling server 1 that divides video data held by the master content database 4, and this scheduling. A plurality of transcoded personal computers (PCs) 2 configured to be connectable to the server 1 via a network such as the LAN 5 and the transcoded data provided from the transcoded PC 2 are combined again to form video data. It is composed of a combined server 3.
[0022]
The master content database 4 is a computer device that stores master data of video data in a database.
The video data stored in the master content database 4 is data compressed in a predetermined format such as MPEG. In addition, as shown in FIG. 2, this video data is generally arranged with image data and audio data fragments alternately arranged in consideration of reproduction, and this video data is stored in a predetermined storage medium (tape, disk, etc.). And is provided to the scheduling server 1.
[0023]
The transcode PC 2 is a computer that performs processing of converting the video data divided by the scheduling server 1 into a predetermined format (for example, a format different from the data stored in the master content database 4) and compressing it.
The transcode PC 2 is a so-called general-purpose personal computer, which is equipped with a computer program for converting and compressing video data into a predetermined format and capable of being connected to the LAN 5.
[0024]
The combining server 3 is a computer that performs a process of creating video data by recombining the transcoded divided video data.
This combining process can be performed by combining the divided video data according to a predetermined order based on identification information such as a sequence code included in the divided video data.
[0025]
The scheduling server 1 constitutes a video data processing apparatus according to the present invention.
The scheduling server 1 is configured by a computer and includes a CPU (Central Processing Unit), a computer program executed by the CPU, an internal memory such as a ROM and a RAM for storing the computer program and predetermined data, a hard disk drive, and the like. The functional blocks shown in FIG. 3 can be configured by an external storage device and an external disk device for reading data from a predetermined recording medium such as a CD-ROM.
The functional block shown in FIG. 3 includes a data reading unit 11, a data expansion processing unit 12, an audio data processing unit 13, a division processing unit 14, and a transmission instruction unit 15.
[0026]
The data reading unit 11 performs processing for reading video data as master data from a predetermined medium in which video data as master data is stored.
The data reading unit 11 can be configured by a reading device that reads a medium such as a CD-ROM or MO (magneto-optical disc).
[0027]
The data decompression processing unit 12 decompresses video data as master data compressed in a predetermined format, and performs processing to generate uncompressed “image data” and “audio data”.
This data expansion process can be performed according to the format type of the original master data.
[0028]
The audio data processing unit 13 performs processing for extracting only audio data from video data as master data.
This process can be performed, for example, by the audio data processing unit 13 extracting and extracting only the audio data from the video data shown in FIG.
[0029]
The division processing unit 14 performs a process of dividing the video data after the audio data is extracted, that is, the image data shown in FIG. 2 into predetermined units.
In this division processing, a predetermined point (division point) is determined in the image data, and the image is divided at the division point. The number of division points and the number of points in the image data to be set are arbitrary, and the division processing according to any one of the third to sixth embodiments described later may be applied.
[0030]
The transmission instruction unit 15 transmits the extracted audio data and each divided video data to the transcode PC2, and performs a process of distributing the data compression processing to the plurality of transcode PC2.
At this time, in consideration of the processing capability of each transcode PC2, an appropriate amount of data may be individually transmitted to each transcode PC2 for compression processing.
[0031]
An example of the video data processing method performed by the scheduling server 1 according to the first embodiment will be described with reference to FIG.
In FIG. 4, first, when video data as master data is provided from a medium such as a CD-ROM from the master content database 4, the video data compressed in a predetermined format from the medium provided by the data reading unit 11 is displayed. Read (S101).
[0032]
When the reading of the video data is completed, the data expansion processing unit 12 expands the compressed video data and acquires video data composed of “image data” and “audio data” (S102).
[0033]
When the expansion of the video data is completed, the audio data processing unit 13 extracts only the audio data from the video data V in which the image data and the audio data are alternately arranged as shown in FIG. The audio data is demultiplexed (unified) to create one data block S (S103).
In addition, the division processing unit 14 divides the video data after the audio data is extracted, that is, the remaining image data by a predetermined unit, and creates a plurality of image data blocks P1 to Pn (S104).
[0034]
When these data blocks are created, the transmission instructing unit 15 transmits each data block to a different transcode PC 2 and instructs it to be compressed in a predetermined format (S105), and ends the process.
Thus, as shown in FIG. 5, each transcoding PC 2 compresses the transmitted data in a predetermined format, and the combining server 3 that has received all the compressed data multiplexes these data ( By multiplexing, video data can be obtained.
[0035]
As described above, according to the first embodiment described above, only the audio data is extracted from the video data by the audio data processing unit 13 and is processed separately from the image data as one data block. In addition, it is possible to eliminate the generation of noise at the coupling point caused by dividing the audio data. Also, since the audio data has a smaller capacity than the image data, it can be processed together at a high speed by a single transcode PC2.
[0036]
Next, a second embodiment according to the present invention will be described.
The second embodiment is an example in which the scheduling server 1 divides the video data in a silent section in the video data.
In addition, about the same structure as the above-mentioned 1st Embodiment, the same code | symbol is attached | subjected and description is abbreviate | omitted.
In the present embodiment, the scheduling server 1 described above includes a data reading unit 11, a data expansion processing unit 12, a division processing unit 204, and a transmission instruction unit 15, as shown in FIG.
The division processing unit 204 performs a process of extracting a silent section having no audio data in the video data and dividing the video data into a plurality of parts using the silent section as a division point of the video data. As shown in FIG. 7, the silent section refers to a section in which the time during which the amplitude of the audio data is smaller than a predetermined threshold continues for a predetermined time.
[0037]
A video data processing method of the second embodiment configured as described above will be described with reference to FIG.
In FIG. 8, first, when video data as master data is provided from a master content database 4 by a medium such as a CD-ROM, the data reading unit 11 reads data compressed in a predetermined format from the provided medium. (S201).
[0038]
When the data is read, the data expansion processing unit 12 expands the compressed master data to obtain video data (S202).
[0039]
When the data expansion is completed, the division processing unit 204 detects the amplitude of the audio data included in the video data, and detects a silent section in which the amplitude is smaller than a predetermined threshold (S203).
When the silent section is detected, the division processing unit 204 divides the video data into a plurality of parts using the detected silent section as a division point (S204).
[0040]
When the division of the video data is completed, the transmission instructing unit 15 transmits each divided video data to a different transcode PC 2 to instruct to compress the video data in a predetermined format (S205), and ends the process.
[0041]
Since the silent section is used as the video data division point in this way, when the divided video data is combined by the combining server 3, the noise of the audio data generated at the combined portion of the video data can be minimized. .
Also, according to the present embodiment, since it is not necessary to divide audio data and image data, it is particularly effective when the master content data or output content is in a format format that is difficult to divide into audio data and image data. .
[0042]
In the above-described embodiment, before dividing the video data, the high-frequency component of the audio data may be removed in advance by a low-pass filter for the detected silent section. As a result, high-frequency noise in the divided portion (silent section) can be eliminated, and generation of audio noise when the divided video data are combined can be further suppressed.
[0043]
Next, a third embodiment according to the present invention will be described.
The third embodiment is an example in which a video scene switching portion is detected when video data is divided, and the video switching portion is used as a division point.
In this case, the division processing unit 204 of the above-described second embodiment detects a switching portion of the video scene in the video data instead of the above-described processing, and the video data is determined using this switching portion as a division point. To divide.
As shown in FIG. 9, the division processing unit 204 detects the color histogram of each video frame and detects the portion where the distribution of the histogram changes rapidly as shown in FIG. If the video data is MPEG format data, the sum S of motion vector norms of each video frame is calculated, and a video frame portion in which the norm S changes abruptly is calculated. You may make it detect as a switching part of a scene.
[0044]
Next, an embodiment of a video data processing method according to the third embodiment will be described with reference to FIG.
In FIG. 10, first, when video data as master data is provided from a master content database 4 by a medium such as a CD-ROM, the video data compressed in a predetermined format is supplied from the medium provided by the data reading unit 11. Read (S301).
[0045]
When the reading of the video data is completed, the data expansion processing unit 12 expands the compressed master data and acquires the video data (S302).
[0046]
When the data expansion is completed, the division processing unit 204 detects a video scene switching portion in the video data (S303).
This switching of the video scene may be detected based on the above-described color histogram of the video frame, or may be detected from the sum of the norms of the motion vectors of each video frame.
When the switching of the video scene is detected, the division processing unit 204 divides the video data into a plurality of parts using the detected switching portion as a division point (S304).
[0047]
When the division of the video data is completed, the transmission instructing unit 15 transmits each divided video data to a different transcode PC2 to instruct to compress it in a predetermined format (S305), and ends the process.
[0048]
As described above, according to the third embodiment, since the video data is divided at the switching portion of the video scene in the video data, the image quality unevenness of the video generated when the divided video data is combined. Can be reduced, and high-quality video data can also be obtained on the combined server 3 side.
[0049]
Next, a fourth embodiment according to the present invention will be described.
In the fourth embodiment, when transcoding video data, if the original compressed video data is in MPEG format, the bit rate information (compression rate information) is used.
In this case, the division processing unit 204 of the second embodiment described above acquires bit rate information of each video frame of the original MPEG format video data as shown in FIG. 11 instead of the above-described processing. Then, a portion where the acquired bit rate information has changed is set as a division point, and processing for dividing video data at this division point is performed.
[0050]
Next, a video data processing method according to the fourth embodiment will be described with reference to FIG.
In FIG. 12, first, when video data as master data is provided from a medium such as a CD-ROM from the master content database 4, the video data compressed in the MPEG format is provided from the medium provided by the data reading unit 11. Read (S401).
[0051]
When the reading of the video data is completed, the data decompression processing unit 12 decompresses the master data compressed in the MPEG format (S402).
[0052]
In addition, the division processing unit 204 acquires bit rate information of each video frame of the original MPEG format video data, and detects a point at which the bit rate changes (S403).
When a point at which the bit rate changes is detected, the division processing unit 204 divides the video data into a plurality of divisions using the detected point at which the bit rate changes as a division point (S404).
[0053]
When the division of the video data is completed, the transmission instruction unit 15 transmits each divided video data to a different transcode PC2, and the same bit rate of the original video frame according to the bit rate of each video frame. An instruction is given to compress at the bit rate (S405), and the process ends.
[0054]
In this way, if transcoding is performed according to the bit rate information of the original MPEG data, for example, the bit rate is originally set high in a scene with a large motion, and the bit rate is set low in a scene with a small motion. By following this, it is possible to suppress the unevenness of the image of the video data when the divided video data are combined and to obtain a high-quality video.
[0062]
Next, a sixth embodiment according to the present invention will be described.
In the sixth embodiment, when video data is divided, the video data is divided based on division points arbitrarily set on the scheduling server 1 side, and each transcode PC 2 side that receives the divided video data In this example, the processing of the third embodiment is distributedly processed.
In this embodiment, the division processing unit 204 sets a division point of video data at an arbitrary point in the video data, and performs a process of dividing the video data into a plurality of points at this division point.
[0063]
A video data processing method on the scheduling server 1 side according to the present embodiment will be described with reference to FIG.
In FIG. 15, first, when video data as master data is provided from a master content database 4 by a medium such as a CD-ROM, the video data compressed in a predetermined format from the medium provided by the data reading unit 11. Is read (S601).
When the reading of the video data is completed, the data expansion processing unit 12 expands the compressed video data (S602).
[0064]
When the above processing is completed, the division processing unit 204 sets a division point in the video data based on an arbitrary criterion, and divides the video data based on the set division point (S603).
The division point is set by, for example, the division processing unit 204 in the above-described embodiment. 1 or A division point may be set based on the division method of the fourth embodiment.
[0065]
When the creation of the divided video data is completed, the transmission instructing unit 15 transmits each divided video data to a different transcode PC 2 to instruct to compress the divided video data (S604), and the scheduling server The processing on the 1 side is terminated.
[0066]
Next, processing on the transcode PC 2 side that has received the divided video data transmitted from the scheduling server 1 will be described with reference to FIG.
In FIG. 16, when the transcoded PC 2 receives the divided video data transmitted from the scheduling server 1 (S1601), the transcoded PC 2 detects the video scene switching portion of the divided video data (S1602).
The detection process of the switching part of the video scene can be detected by the same process as in the third embodiment.
[0067]
The transcode PC2 determines whether or not a switching portion of the video scene exists as a result of the detection process (S1603).
If the switching portion exists as a result of the determination, the transcode PC2 extracts the video frame data from the end of the divided video data to the switching portion, and uses this to extract the next or immediately preceding continuous data. Is transferred to the transcode PC2 holding the message (S1604).
At this time, if another transcode PC2 that has received the divided video data in which the transcode PC2 is continuous can be specified, the transcode PC may be specified and data may be transferred.
[0068]
If there is video data transferred from another transcode PC2 in the transcode PC2, it is received (S1605), and the received video data is divided into the divided video data currently held by the transcode PC2. It is determined whether the video data is continuous (S1606).
In this determination process, for example, it may be determined whether or not the video data is continuous by referring to a code of a divided frame added to the divided video data.
[0069]
As a result of the determination, if it is determined that the video data is continuous, the transcode PC2 combines the received video data with the stored video data (S1607).
If it is determined that there is no continuous video data in the combined video data or the processing in S1606, the transcode PC2 performs a compression process on the received video data in a predetermined format (S1608). The video data is provided to the combination server 3 (S1609), and the process is terminated.
[0070]
As described above, according to the above-described sixth embodiment, the processing up to the division point detection processing of the above-described third embodiment can be distributed and processed by a plurality of transcodes PC2, and the transcoding processing can be performed at a higher speed. Can do.
[0071]
In addition, although each embodiment has been described individually, video data division processing may be performed by appropriately combining the processes of the above-described embodiments.
For example, when performing the image data division process of the first embodiment, the division process of any one of the above-described third to sixth embodiments may be applied. In addition, the divided video data processed according to the second embodiment may be processed by applying the process of the fourth or sixth embodiment described above. Further, the divided video data processed by the third embodiment may be processed by applying the processes of the first and fourth embodiments described above. Further, the processing of the first to third or sixth embodiments described above may be applied to the divided video data processed by the fourth embodiment. Further, the divided video data processed by the fifth embodiment may be processed by applying the process of the first embodiment described above.
[0072]
The computer program for the scheduling server 1 of the present embodiment may be distributed by storing it in a computer-readable medium (FD, CD-ROM, etc.), or superimposed on a carrier wave and distributed via a communication network. Is also possible. In addition, when each function of the scheduling server 1 is realized by an OS (Operating System) sharing or jointly between the OS and an application program, only a portion other than the OS can be used as a computer program, and the computer program can be read by a computer It may be stored in a medium, or this computer program may be distributed.
[0073]
【The invention's effect】
According to the present invention, video data division processing can be distributed without degrading image and audio data.
[Brief description of the drawings]
FIG. 1 is a diagram showing an overall system configuration of a first embodiment according to the present invention.
FIG. 2 is a diagram showing an example of a conceptual configuration of video data according to the embodiment.
FIG. 3 is a functional block diagram of a scheduling server according to the first embodiment.
FIG. 4 is a diagram showing a processing flow of a scheduling server according to the first embodiment.
FIG. 5 is a diagram conceptually showing video data processing according to the first embodiment.
FIG. 6 is a functional block diagram of a scheduling server according to the second embodiment.
FIG. 7 is a diagram conceptually showing processing when setting division points of video data according to the second embodiment.
FIG. 8 is a diagram showing a processing flow of a scheduling server according to a second embodiment.
FIG. 9 is a diagram conceptually showing processing when setting division points of video data according to a third embodiment.
FIG. 10 is a diagram showing a processing flow of a scheduling server according to a third embodiment.
FIG. 11 is a diagram conceptually showing processing when setting division points of video data according to the fourth embodiment.
FIG. 12 is a diagram showing a processing flow of a scheduling server according to a fourth embodiment.
FIG. 13 is a diagram showing a processing flow of a scheduling server according to a fifth embodiment.
FIG. 14 is a diagram showing a processing flow of the combined server according to the fifth embodiment.
FIG. 15 is a diagram showing a processing flow of a scheduling server according to a sixth embodiment.
FIG. 16 is a diagram showing a processing flow of a transcode PC according to a sixth embodiment.
FIG. 17 is a diagram showing the concept of transcoding processing.
[Explanation of symbols]
1 Scheduling server
2 Transcoded personal computer (PC)
3 Combined server
4 Master content database
13 Voice data processor
14 Division processing part
15 Transmission instruction part
204 Division processing unit

Claims

時間的に連続した映像データを分割する映像分割装置と、この分割装置と通信可能に構成され、分割された映像データを所定のフォーマットで圧縮する複数の圧縮装置により構成されたシステムであって、
上記映像分割装置は、
上記映像データを任意の分割ポイントで複数に分割する分割処理手段と、
上記分割された各映像データを上記圧縮装置に対して送信し、上記複数の圧縮装置に対してデータの圧縮処理を分散処理させる送信指示手段と、を有し、
上記圧縮装置は、
上記映像データを構成する映像フレームの色又は動きベクトルの変化量に基づいて映像シーンの切替わり部分があるか否か判別し、映像シーンの切替わり部分がある場合に、当該切替わり部分で映像データを複数に分割する分割処理手段と、
上記分割された映像データのうちの少なくとも一つを、他の圧縮装置に対して送信する送信処理手段と、
他の圧縮装置から分割映像データを受信した場合は、当該受信した分割映像データのうち、保持している映像データと連続する映像データがあるか否か判別し、連続する映像データがある場合に、上記受信した分割映像データと保持している映像データとを結合させる映像結合処理手段と、
上記保持している映像データ、上記受信した分割映像データ、及び上記映像結合処理手段により結合された映像データを、所定のフォーマットで圧縮する圧縮手段と、
を有することを特徴とする映像データ処理システム。A video division device that divides temporally continuous video data, and a system that is configured to be communicable with the division device and that includes a plurality of compression devices that compress the divided video data in a predetermined format,
The video dividing device
Division processing means for dividing the video data into a plurality at arbitrary division points;
Transmission instruction means for transmitting each of the divided video data to the compression device and distributing the data compression processing to the plurality of compression devices,
The compression device is
It is determined whether there is a switching part of the video scene based on the color of the video frame constituting the video data or the amount of change of the motion vector, and if there is a switching part of the video scene, the video at the switching part is displayed. Division processing means for dividing the data into a plurality of data;
Transmission processing means for transmitting at least one of the divided video data to another compression device;
When the divided video data is received from another compression device, it is determined whether there is video data that is continuous with the held video data among the received divided video data, and if there is continuous video data , a video combining process means for coupling the video data held between the divided video data thus received,
Video data being the holding, the divided video data thus received, and the image data combined by the image combining process unit, a compressing means for compressing a predetermined format,
A video data processing system comprising: