JP5381459B2 - 動画像編集装置、動画像編集方法及び動画像編集用コンピュータプログラム - Google Patents
動画像編集装置、動画像編集方法及び動画像編集用コンピュータプログラム Download PDFInfo
- Publication number
- JP5381459B2 JP5381459B2 JP2009174190A JP2009174190A JP5381459B2 JP 5381459 B2 JP5381459 B2 JP 5381459B2 JP 2009174190 A JP2009174190 A JP 2009174190A JP 2009174190 A JP2009174190 A JP 2009174190A JP 5381459 B2 JP5381459 B2 JP 5381459B2
- Authority
- JP
- Japan
- Prior art keywords
- moving image
- request
- range
- data stream
- read
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 30
- 238000004590 computer program Methods 0.000 title claims description 9
- 230000015654 memory Effects 0.000 claims description 77
- 238000012545 processing Methods 0.000 claims description 61
- 230000005540 biological transmission Effects 0.000 claims description 27
- 238000004891 communication Methods 0.000 description 28
- 230000008569 process Effects 0.000 description 13
- 238000013139 quantization Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 9
- 238000004458 analytical method Methods 0.000 description 8
- 230000007704 transition Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000012937 correction Methods 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 2
- 230000033228 biological regulation Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 101100122750 Caenorhabditis elegans gop-2 gene Proteins 0.000 description 1
- 101000946275 Homo sapiens Protein CLEC16A Proteins 0.000 description 1
- 102100037812 Medium-wave-sensitive opsin 1 Human genes 0.000 description 1
- 102100034718 Protein CLEC16A Human genes 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
- G11B20/10—Digital recording or reproducing
- G11B20/10527—Audio or video recording; Data buffering arrangements
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
- G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
- G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
- G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
- G11B27/036—Insert-editing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
- H04N21/2401—Monitoring of the client buffer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/65—Transmission of management data between client and server
- H04N21/658—Transmission by the client directed to the server
- H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/845—Structuring of content, e.g. decomposing content into time segments
- H04N21/8455—Structuring of content, e.g. decomposing content into time segments involving pointers to the content, e.g. pointers to the I-frames of the video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
- G11B20/10—Digital recording or reproducing
- G11B20/10527—Audio or video recording; Data buffering arrangements
- G11B2020/1062—Data buffering arrangements, e.g. recording or playback buffers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Television Signal Processing For Recording (AREA)
Description
例えば、従来技術の一つである映像編集システムでは、ネットワークを介して映像コンテンツを編集するサーバ装置と複数の端末が接続される。またサーバ装置には、編集される映像コンテンツが格納されたストレージ装置が接続される。サーバ装置は、ストレージ装置から編集用の映像コンテンツを読み出し、その映像コンテンツに対する編集画面の差分情報を作成する。そしてサーバ装置は、その差分情報を端末へ送信する。端末は、差分情報に基づいて編集画面を生成し、ユーザによる操作情報をサーバ装置へ送信する。またサーバ装置は操作情報に基づいて映像コンテンツを編集する。
そこで、所定の規格フォーマットに従いながら任意の分割点においてファイル分割することができる技術が提案されている(例えば、特許文献2を参照)。
例えば、従来技術の一つであるデータ処理装置は、ストリームファイルを先行チャプタと後続チャプタとに分割する際、その分割点を含むGOPの終端の領域に対して長さアライメント制約に応じてパディングデータを付加することにより先行チャプタを作成する。
また、一つの動画像の同じ範囲に対して複数のユーザが同時に異なる修正を行うことを防止するため、複数のユーザのうちの誰かが行った編集による動画像の変更部分を複数のユーザで共有できることが望ましい。しかし、従来技術では、上記のように、複数のユーザが同時に一つの動画像を編集することについて考慮されていないため、編集中の内容を複数のユーザで共有することはできなかった。
上記の一般的な記述及び下記の詳細な記述の何れも、例示的かつ説明的なものであり、請求項のように、本発明を限定するものではないことを理解されたい。
この動画像編集装置は、通信ネットワークを介して少なくとも1台のユーザ端末と接続されており、動画像編集装置が記憶している動画像が各ユーザ端末にて修正される。そして動画像編集装置は、ユーザ端末にて修正された動画像で元の動画像の少なくとも一部を置換する。その際、この動画像編集装置は、ユーザ端末へ所定範囲の動画像を送出する際、ユーザ端末から動画像を読み出すリクエストに従って動画像を送出する際に、当該所定範囲について修正された動画像を何れかのユーザ端末から受け取っているか否か確認する。そして修正された動画像があれば、この動画像編集装置は、修正された動画像を元の動画像に組み合わることにより作成された動画像を送出することで、複数のユーザが同時に一つの動画像を編集することを可能にする。
しかし、従来技術では、編集された部分に関してはVBV規定を満たすように符号化されたとしても、編集後の動画像全体がVBV規定を満たすことが保証されていないため、復号装置が編集後の動画像を再生できないおそれがあった。
また制御部31は、修正された動画像を、元の動画像を符号化するために使用されている符号化方式と同じ符号化方式に従って符号化することにより、編集用データストリームを作成する。制御部31は、その編集用データストリームを通信ネットワーク4を通じて動画像編集装置2へ送出する。
ユーザ端末3−1〜3−3から動画像編集装置2に送信されるリクエストとして、以下の5種類のリクエストがある。
(a)読出しリクエスト
読出しリクエストは、動画像編集装置2に保管されている動画像のデータストリームの少なくとも一部分をユーザ端末に送信することを動画像編集装置2に依頼するものである。読出しリクエストには、リクエストの識別番号、リクエストを送信するユーザ端末の識別番号、読み出すデータストリームの識別番号及び範囲を示す情報が含まれる。
なお、リクエストの識別番号については、リクエストを送出するユーザ端末が、そのユーザ端末が送信するリクエストごとに一意な番号となるように設定する。またユーザ端末の識別番号は、動画像編集システム1が有するユーザ端末を一意に識別できる番号であればよく、例えば、ユーザ端末3−1〜3−3に割り当てられたIPアドレスとすることができる。さらに、読み出すデータストリームの識別番号は、予め動画像編集装置2にて保管されている各動画像のデータストリームと関連付けられている番号である。ユーザ端末3−1〜3−3は、例えば、編集用プログラムが起動されたときに、動画像編集装置2にアクセスし、動画像編集装置2に保管されている全ての動画像のデータストリームの識別番号を取得するようにしてもよい。また動画像のデータストリームの範囲は、その動画像の先頭から、読み出すデータストリームの開始時刻及び終了時刻までの経過時間により指定される。あるいは、動画像のデータストリームの範囲は、その動画像の先頭から、読み出すデータストリームの開始時刻までの経過時間と、読み出すデータストリームの時間長により指定されてもよい。
書込みリクエストは、ユーザ端末にて作成された動画像のデータストリームである編集用データストリームで動画像編集装置2に保管されている動画像のデータストリームを置換することを動画像編集装置2に依頼するものである。書込みリクエストには、リクエストの識別番号、リクエストを送信するユーザ端末の識別番号、置換対象となる動画像のデータストリームの識別番号及び範囲を示す情報が含まれる。さらに、書込みリクエストとともに編集用データストリームが動画像編集装置2へ送信される。
編集リクエストは、動画像編集装置2から動画像のデータストリームの少なくとも一部分を読み出し、その読み出された部分をユーザ端末にて作成された編集用データストリームで置換することを動画像編集装置2に依頼するものである。従って編集リクエストには、読出しリクエストと書込みリクエストが一つのセットとして含まれる。そのため、動画像編集装置2は、編集リクエストを実行する際、編集リクエストに含まれる読出しリクエストに従って指定されたデータストリームの指定された範囲に含まれるピクチャのデータをリクエストしたユーザ端末へ送信する。その後、動画像編集装置2は、編集リクエストを送信したユーザ端末から編集用データストリームを受信するまで待機する。そして動画像編集装置2は、編集用データストリームを受信した後、編集リクエストに含まれる書込みリクエストを実行する。
書込み完了リクエストは、書込みリクエストまたは編集リクエストとともに送信された編集用データストリームで、指定された動画像のデータストリームの指定された範囲に含まれる部分を置換することを動画像編集装置2に依頼するものである。書込み完了リクエストには、リクエストを送信するユーザ端末の識別番号と、置換に使用される編集用データストリームと対応する書込みリクエストまたは編集リクエストの識別番号が含まれる。また書込み完了リクエストは、対応する書込みリクエストまたは編集リクエストで指定した範囲よりも狭い範囲を置換することを指定してもよい。この場合、書込み完了リクエストは、置換するデータストリームの範囲を示す情報を含む。
キャンセルリクエストは、既に動画像編集装置2に送信されており、かつ未だに実行されていないリクエストをキャンセルすることを動画像編集装置2に依頼するものである。キャンセルリクエストには、リクエストを送信するユーザ端末の識別番号と、キャンセルするリクエストの識別番号が含まれる。
なお、上記の各リクエストにおいて、置換するデータストリームの範囲は、ピクチャ単位で指定されてもよく、あるいはGOP単位で指定されてもよい。
また記憶部6は、ユーザ端末3−1〜3−3の何れかから受け取った、編集用データストリームを保管する。また記憶部6は、動画像編集装置2が使用する各種のプログラムあるいはデータを記憶する。
制御部7が有するこれらの各部は、例えば、制御部7が有するプロセッサ上で実行されるコンピュータプログラムにより実現される機能モジュールである。あるいは、制御部7が有するこれらの各部は、それぞれ別個の回路であってもよい。あるいはまた制御部7が有するこれらの各部は、これらの各部の機能を有する回路が集積された集積回路であってもよい。
例えば、解析部11は、編集用データストリームに含まれるIピクチャの位置、符号化された各ピクチャの情報量を抽出する。なお、Iピクチャの位置は、編集用データストリームの符号化方式によって定められたヘッダ情報から、ピクチャタイプが格納されている領域を調べることにより求められる。また符号化された各ピクチャの情報量は、編集用データストリームの符号化方式に従って、符号化された各ピクチャが格納されている領域のサイズを調べることにより求められる。
解析部11は、編集用情報を書込み判定部12へ渡す。また解析部11は、解析が終了した編集用データストリームを記憶部6に記憶する。
そこで、書込み判定部12は、指定された動画像のデータストリームに含まれる各ピクチャの情報量を求める。また書込み判定部12は、解析部11から受け取った編集用情報と、リクエスト配置部13または更新部15から受け取った編集用データストリームの置換範囲を参照する。そして書込み判定部12は、指定された動画像データストリームの指定された範囲を編集用データストリームで置換したデータストリームが仮想バッファに占める占有量の遷移をVBV規定に従って計算する。そして書込み判定部12は、その占有量が常に仮想バッファの許容範囲内に収まっていれば、編集用データストリームは利用可能であると判定する。
指定された動画像データが可変ビットレートで転送される場合、仮想バッファの許容範囲は、仮想バッファの下限値以上となる。そこで書込み判定部12は、置換後のデータストリームの各ピクチャについて、仮想バッファに占める占有量が、仮想バッファの下限以上となるか否か判定する。そして置換後のデータストリームの全てのピクチャについて、仮想バッファに占める占有量が仮想バッファの下限値以上となる場合、書込み判定部12はVBV規定が満たされると判定する。一方、置換後のデータストリームの何れかのピクチャについて、仮想バッファに占める占有量が、仮想バッファの下限値未満となる場合、書込み判定部12はVBV規定が満たされないと判定する。
グラフ320に示されるように、元のデータストリームが仮想バッファに占める占有量は、常に仮想バッファの下限値と上限値の間に含まれている。ところが、元のデータストリームのうち、3番目、4番目のピクチャが編集用データストリームにより置換されることで、3番目のピクチャの情報量が元の情報量よりも多くなる。この場合、グラフ330に示されるように、3番目のピクチャの情報量が増えた分だけ、3番目のピクチャに対する仮想バッファから読み出される情報量が多くなる。そのため、3番目のピクチャ以降における置換されたデータストリームが仮想バッファに占める占有量が低下する。そしてこの例では、6番目以降のピクチャについて、置換されたデータストリームが仮想バッファに占める占有量が仮想バッファの下限値よりも低くなってしまう。すなわち、置換されたデータストリームは、VBV規定に違反する。
このような場合、書込み判定部12は、編集用データストリームは利用不能であると判定する。
このように、動画像のデータストリームに含まれる各ピクチャにおける、仮想バッファに占める占有量を予め求めておくことで、書込み判定部12は、置換後のデータストリームの全てのピクチャについて仮想バッファに占める占有量の推移を計算しなくてよい。そのため、書込み判定部12は、編集用データストリームは指定された動画像のデータストリームの置換に利用可能か否かの判定に要する演算量を減らすことができる。
ただし、編集用データストリームにより置換される範囲の境界がシーンが切り替わる位置である場合、書込み判定部12は、画像の連続性が満たされなくても、編集用データストリームは利用可能であると判定することが好ましい。シーンが切り替わる位置の前後では、ピクチャの画質が変わる可能性が高いためである。
なお、所定の閾値は、シーンが切り替わる場合の特徴量の差の絶対値の最小値となるように、実験的あるいは経験的に設定される。また、境界を挟む二つのピクチャの符号化方式が異なる場合、特徴量の差の絶対値は、境界を挟む二つのピクチャの符号化方式が等しい場合よりも大きな値となる可能性が高い。例えば、境界を挟む二つのピクチャのうちの一方が、イントラ符号化されるIピクチャであり、他方がインター符号化されるPピクチャあるいはBピクチャであれば、Iピクチャの符号化情報量の方が、PピクチャあるいはBピクチャの符号化情報量よりも多い。そこで、境界を挟む二つのピクチャの符号化方式が異なる場合における所定の閾値は、境界を挟む二つのピクチャの符号化方式が等しい場合よりも大きな値に設定されることが好ましい。
具体的には、書込み判定部12は、編集用データストリームの先頭または終端に位置するピクチャと、指定された動画像のデータストリームのうち、編集用データストリームにより置換される範囲の境界に隣接するピクチャとの間で、画像の連続性を調べる。例えば、書込み判定部12は、その二つのピクチャ間で、平均量子化幅、平均量子化パラメータまたは情報量など上記の特徴量の何れかの差の絶対値を求める。そして書込み判定部12は、編集用データストリームの先頭及び終端の両方について、特徴量の差の絶対値が連続性閾値未満であれば、画像の連続性が維持されると判定する。一方、特徴量が連続性閾値以上であれば、書込み判定部12は、画像の連続性が維持されないと判定する。なお、連続性閾値は、時間的に連続して再生される複数のピクチャ間で色、粗さなどの画質の違いに視聴者が気が付かない特徴量の差の絶対値の最大値に相当する値であり、実験的あるいは経験的に決定される。
また、書込み判定部12は、その二つのピクチャ間で、各画素間の各色値の差分絶対値の合計が所定の連続性閾値未満であれば、画像の連続性が維持されると判定してもよい。
また、書込み判定部12は、編集用データストリームは、指定された動画像のデータストリームの置換に利用可能か否かを判定するために、VBV規定と画像の連続性の何れか一方のみを調べてもよい。
また、動画像編集装置2は、スタックメモリ14に既に格納されている書込みリクエストが指定する範囲と同一の範囲を対象とする書込みリクエストを、先に格納されている書込みリクエストを送信したユーザ端末と同じユーザ端末から受信することがある。この場合、リクエスト配置部13は、先に格納されている重複する書込みリクエストを削除し、新たに受信した書込みリクエストをスタックメモリ14に登録する。またリクエスト配置部13は、記憶部6から、削除された書込みリクエストとともに受信した編集用データストリームを消去する。
さらに、リクエスト配置部13は、ユーザ端末3−1〜3−3の何れかからキャンセルリクエストを受信した場合、そのキャンセルリクエストに含まれる、キャンセルするリクエストの識別番号に対応するリクエストをスタックメモリ14から削除する。その際、キャンセル対象となるリクエストが編集リクエストであれば、その編集リクエストに含まれる読出しリクエストと書込みリクエストの両方が削除される。
ただし、キャンセルするリクエストの識別番号に対応するリクエストがスタックメモリ14に存在しない場合、リクエスト配置部13は、キャンセルリクエスト自体を廃棄する。
スタックメモリ14は、リクエスト処理部17により読み出されたリクエストを消去する。
この場合、書込み判定部12は、各ピクチャの情報量を用いて編集用データストリームを利用可能か否か判定する場合、スタックメモリ14から編集用データストリームが置換対象とする範囲に含まれる各ピクチャの情報量を取得すればよい。
この場合も、書込み判定部12は、スタックメモリ14から編集用データストリームが置換対象とする範囲に含まれる各ピクチャの平均量子化パラメータまたは対応画素間の各色値の差分絶対値和を取得すればよい。
その際、更新部15は、書込み判定部12へ、書込み完了リクエストに対応する書込みリクエストとともに受信した編集用データストリームを指定された動画像のデータストリームを置換するために利用できるか否か問い合わせる。そして書込み判定部12から、その編集用データストリームは利用可能であるとの判定結果を受け取った場合、更新部15は、指定された動画像のデータストリームのうち、書込みリクエストで指定された範囲に含まれる各ピクチャを編集用データストリームに含まれる各ピクチャで置換する。なお、更新部15は、動画像のデータストリームを置換している間、置換されている動画像のデータストリームに対する、他のユーザ端末からのリクエストの実行を停止する。また更新部15は、置換が終了した後、その置換に使用された編集用データストリームを記憶部6から消去する。
なお、送出処理部16は、画像の連続性があるか否かの判定に関して、書込み判定部12により行われる画像の連続性判定と同様の処理を行うことができる。
また、送出処理部16は、読出しリクエストで指定された範囲のうち、後で実行される書込みリクエストまたは編集リクエストで指定された範囲と重複する部分を、その書込みリクエストまたは編集リクエストとともに受信した編集用データストリームで置換する。
図7(a)〜図7(c)において、横軸は時間を表す。またブロック700は、指定された動画像のデータストリームを表す。またブロック710〜712は、それぞれ、最新の編集用データストリームを表す。さらに、ブロック720〜722は、それぞれ、一つ前の編集用データストリームを表す。さらに、ブロック730〜732は、それぞれ、ユーザ端末へ送出されるデータストリームを表す。
一方、図7(b)では、最新の編集用データストリーム711が置換対象とする範囲は、一つ前に動画像編集装置2が受信した編集用データストリーム721が置換対象とする範囲に含まれている。そのため、送出されるデータストリーム731では、指定されたデータストリーム700のうち、最新の編集用ストリーム711と重複する範囲7311は、最新の編集用データストリーム711で置換される。また、指定されたデータストリーム700のうち、一つ前の編集用データストリーム721と重複し、かつ最新の編集用データストリーム711と重複しない範囲7312は、一つ前の編集用データストリーム721により置換される。
また、図7(c)では、最新の編集用データストリーム712が置換対象とする範囲と、一つ前に動画像編集装置2が受信した編集用データストリーム722が置換対象とする範囲とが部分的に重複している。そのため、送出されるデータストリーム732では、指定されたデータストリーム700のうち、最新の編集用ストリーム712と重複する範囲7321は、最新の編集用データストリーム712で置換される。また、指定されたデータストリーム700のうち、一つ前の編集用データストリーム722と重複し、かつ最新の編集用データストリーム712と重複しない範囲7322は、一つ前の編集用データストリーム722により置換される。
なお、書込み完了リクエストにおいて、対応する書込みリクエストで指定された置換対象範囲よりも狭い範囲を置換することが指定されることがある。この場合、リクエスト処理部17は、更新部15に、書込み完了リクエストで指定された範囲のみを置換対象範囲として通知する。またリクエスト処理部17は、書込み完了リクエストで指定された範囲に対応する書込みリクエストのみをスタックメモリ14から消去する。
一方、受信したリクエストが読出しリクエスト及び編集リクエストの何れでもなければ(ステップS101−No)、リクエスト配置部13は、受信したリクエストはキャンセルリクエストか否か判定する(ステップS103)。受信したリクエストがキャンセルリクエストであれば(ステップS103−Yes)、リクエスト配置部13は、キャンセルリクエストで指定されたリクエストを廃棄する(ステップS104)。
編集用データストリームにより置換される範囲の境界がシーンの切替位置に該当すれば(ステップS107−Yes)、書込み判定部12は、編集用データストリームはリクエストで指定された動画像のデータストリームの置換に利用可能であると判定する。そして書込み判定部12は、その判定結果をリクエスト配置部13へ通知する。リクエスト配置部13は、リクエストをスタックメモリ14に登録する(ステップS102)。
画像の連続性が満たされる場合(ステップS108−Yes)、書込み判定部12は、編集用データストリームはリクエストで指定された動画像のデータストリームの置換に利用可能であると判定する。そして書込み判定部12は、その判定結果をリクエスト配置部13へ通知する。リクエスト配置部13は、リクエストをスタックメモリ14に登録する(ステップS102)。
一方、画像の連続性が満たされなければ(ステップS108−No)、書込み判定部12は、編集用データストリームはリクエストで指定された動画像のデータストリームの置換に利用不能であると判定する。そして書込み判定部12は、その判定結果をリクエスト配置部13へ通知する。リクエスト配置部13は、リクエストを廃棄する(ステップS109)。またリクエスト配置部13は、記憶部6から受信した編集用データストリームを消去する。
ステップS102、S104またはS109の後、制御部7は、リクエスト受信処理を終了する。
なお、ステップS106またはステップS107とS108の何れか一方は省略されてもよい。また、ステップS106と、ステップS107、S108の実行順序は入れ替えられてもよい。
リクエスト処理部17は、読み出したリクエストは読出しリクエストか否か判定する(ステップS201)。読み出したリクエストが読出しリクエストであれば(ステップS201−Yes)、リクエスト処理部17は、その読出しリクエストの内容を送出処理部16に通知する。送出処理部16は、読出しリクエストで指定された範囲と隣接する範囲を含む書込みリクエストまたは編集リクエストが登録されているか否か判定する(ステップS202)。
指定された範囲と隣接する範囲を含むリクエストが登録されていない場合(ステップS202−No)、あるいはステップS203の後、送出処理部16は、指定された範囲の境界において画像の連続性があるか否か判定する(ステップS204)。指定された範囲の境界で画像の連続性がある場合(ステップS204−Yes)、送出処理部16は、送出する範囲を指定された範囲の境界に最も近いシーンが切り替わる位置まで拡張する(ステップS205)。
指定された範囲と少なくとも一部が重複する編集用データストリームが記憶部6に記憶されている場合(ステップS206−Yes)、送出処理部16は、読み出すデータストリームの範囲のうち、編集用データストリームと重複する部分を編集用データストリームで置換する(ステップS207)。
一方、書込み完了リクエストを受信していれば、更新部15は、書込み判定部12に編集用データストリームは置換に利用可能か否か判定させる(ステップS212)。なお、この判定は、例えば、図8に示したステップS106〜S108の処理と同様である。
更新部15は、集用データストリームは置換に利用可能であるとの判定結果を書込み判定部12から受け取れば(ステップS212−Yes)、指定されたデータストリームの指定された範囲を編集用データストリームで置換する(ステップS213)。そして更新部15は、動画像編集装置2と接続されている全てのユーザ端末、あるいは編集用プログラムが起動されている全てのユーザ端末に対して、動画像のデータストリームが更新されたことを通知する。
ステップS213の後、更新部15は、編集用データストリームを記憶部6から消去する。またリクエスト処理部17は、リクエストをスタックメモリ14から消去する(ステップS214)。
ステップS214の後、制御部7は、リクエスト実行処理を終了する。
なお、スタックメモリ14から読み出されたリクエストが編集リクエストである場合、制御部7は、その編集リクエストに含まれる読出しリクエストに関する処理を上記のステップS202〜S208の処理を実行する。その後、制御部7は、編集用データストリームを編集リクエストを送信したユーザ端末から受信すると、上記のステップS210〜S214の処理を実行する。
さらにこの動画像編集装置は、編集用データストリームと編集用データストリームにより置換される範囲と隣接する部分との間で、シーンが切り替わる位置以外での画像の連続性が保たれ、あるいはVBV規定が満たされる場合にのみ、動画像を更新することを許可する。これにより、この動画像編集装置は編集後の動画像の整合性を保つことができる。
また、動画像編集装置は、記憶部に記憶された複数の異なる動画像、あるいは同じ動画像のうち、異なる範囲に対する複数のリクエストを受信している場合、それらの複数のリクエストを同時に実行してもよい。
(付記1)
第1の動画像を記憶する記憶部と、
前記第1の動画像の少なくとも一部の範囲を前記記憶部から読み出すことを依頼する読出しリクエスト、または前記第1の動画像の少なくとも一部の範囲を前記第1の動画像と異なる第2の動画像で置換することを依頼する書込みリクエストを端末から受信する度に記憶するスタックメモリと、
前記スタックメモリから前記読出しリクエストが読み出されると、当該読出しリクエストにて指定された読出し範囲の少なくとも一部と重複する範囲を置換対象とする前記第2の動画像を受信している場合、前記第1の動画像について前記読出し範囲のうちの前記重複する範囲を当該第2の動画像で置換した動画像を前記端末へ出力する送出処理部と、
前記スタックメモリから前記書込みリクエストが読み出されると、当該書込みリクエストに対応する前記第2の動画像で前記第1の動画像の少なくとも一部の範囲を置換する更新部と、
を有する動画像編集装置。
(付記2)
前記第2の動画像が前記第1の動画像の少なくとも一部の範囲を置換するために利用可能か否か判定する書込み判定部をさらに有する、付記1に記載の動画像編集装置。
(付記3)
前記書込み判定部は、前記第1の動画像の少なくとも一部の範囲が前記第2の動画像で置換された第3の動画像が符号化されたデータストリームが所定の転送レートで仮想的な復号器に転送され、かつ該復号器のバッファに蓄積されるとともに、所定の時間間隔で前記第3の動画像に含まれるそれぞれのピクチャに相当するデータが前記バッファから順次取り出されるとしたときに、前記第3の動画像が前記バッファに占める占有量が、予め定められた前記バッファの許容範囲に常に含まれる場合、前記第2の動画像は前記第1の動画像の少なくとも一部の範囲を置換するために利用可能であると判定する、付記2に記載の動画像編集装置。
(付記4)
前記書込み判定部は、前記第2の動画像の端部のピクチャと、前記第1の動画像のうち、前記第2の動画像で置換されたときに前記端部のピクチャと隣接するピクチャとの間の画像の連続性が満たされる場合、前記第2の動画像は前記第1の動画像の少なくとも一部の範囲を置換するために利用可能であると判定する、付記2に記載の動画像編集装置。
(付記5)
前記書込み判定部は、前記第1の動画像において、前記第2の動画像で置換される範囲の境界がシーンの切り替わり位置に相当する場合、前記第2の動画像は前記第1の動画像の少なくとも一部の範囲を置換するために利用可能であると判定する、付記2に記載の動画像編集装置。
(付記6)
前記送出処理部は、前記読出し範囲の境界を挟む二つのピクチャについて画像の連続性が満たされる場合、前記読出し範囲を当該境界の外側に隣接する少なくとも一枚のピクチャまで含むように拡大する、付記1〜5の何れか一項に記載の動画像編集装置。
(付記7)
前記送出処理部は、前記読出し範囲の少なくとも一部と重複し、かつ前記読出し範囲に隣接するピクチャを含む範囲を置換対象とする前記第2の動画像を受信している場合、前記読出し範囲を前記第2の動画像が置換対象とする範囲まで含むように拡大する、付記1〜5の何れか一項に記載の動画像編集装置。
(付記8)
記憶部に記憶された第1の動画像の少なくとも一部の範囲を前記記憶部から読み出すことを依頼する読出しリクエスト、または前記第1の動画像の少なくとも一部の範囲を前記第1の動画像と異なる第2の動画像で置換することを依頼する書込みリクエストを端末から受信する度に、受信した前記読出しリクエストまたは前記書込みリクエストをスタックメモリに記憶し、
前記スタックメモリから前記読出しリクエストが読み出されると、当該読出しリクエストにて指定された読出し範囲の少なくとも一部と重複する範囲を置換対象とする前記第2の動画像を受信している場合、前記第1の動画像について前記読出し範囲のうちの前記重複する範囲を当該第2の動画像で置換した動画像を前記端末へ出力し、
前記スタックメモリから前記書込みリクエストが読み出されると、当該書込みリクエストに対応する前記第2の動画像で前記第1の動画像の少なくとも一部の範囲を置換する、
ことを含む動画像編集方法。
(付記9)
記憶部に記憶された第1の動画像の少なくとも一部の範囲を前記記憶部から読み出すことを依頼する読出しリクエスト、または前記第1の動画像の少なくとも一部の範囲を前記第1の動画像と異なる第2の動画像で置換することを依頼する書込みリクエストを端末から受信する度に、受信した前記読出しリクエストまたは前記書込みリクエストをスタックメモリに記憶し、
前記スタックメモリから前記読出しリクエストが読み出されると、当該読出しリクエストにて指定された読出し範囲の少なくとも一部と重複する範囲を置換対象とする前記第2の動画像を受信している場合、前記第1の動画像について前記読出し範囲のうちの前記重複する範囲を当該第2の動画像で置換した動画像を前記端末へ出力し、
前記スタックメモリから前記書込みリクエストが読み出されると、当該書込みリクエストに対応する前記第2の動画像で前記第1の動画像の少なくとも一部の範囲を置換する、ことをコンピュータに実行させる動画像編集用コンピュータプログラム。
2 動画像編集装置
3−1〜3−3 ユーザ端末
4 通信ネットワーク
5 通信部
6 記憶部
7 制御部
11 解析部
12 書込み判定部
13 リクエスト配置部
14 スタックメモリ
15 更新部
16 送出処理部
17 リクエスト処理部
31 制御部
32 通信部
33 記憶部
34 表示部
Claims (4)
- 第1の動画像を記憶する記憶部と、
前記第1の動画像の少なくとも一部の範囲を前記記憶部から読み出すことを依頼する読出しリクエスト、または前記第1の動画像の少なくとも一部の範囲を前記第1の動画像と異なる第2の動画像で置換することを依頼する書込みリクエストを端末から受信する度に記憶するスタックメモリと、
前記スタックメモリから前記読出しリクエストが読み出されると、当該読出しリクエストにて指定された読出し範囲の少なくとも一部と重複する範囲を置換対象とする前記第2の動画像を受信している場合、前記第1の動画像について前記読出し範囲のうちの前記重複する範囲を当該第2の動画像で置換した動画像を前記端末へ出力する送出処理部と、
前記第2の動画像の端部のピクチャと、前記第1の動画像のうち、前記第2の動画像で置換されたときに前記端部のピクチャと隣接するピクチャとの間の画質の差が画像の連続性が満たされる所定の閾値未満である場合、前記第2の動画像は前記第1の動画像の少なくとも一部の範囲を置換するために利用可能であると判定する書込み判定部と、
前記第2の動画像は前記第1の動画像の少なくとも一部の範囲を置換するために利用可能であると判定と判定された場合、前記スタックメモリから前記書込みリクエストが読み出されると、当該書込みリクエストに対応する前記第2の動画像で前記第1の動画像の少なくとも一部の範囲を置換する更新部と、
を有する動画像編集装置。 - 前記送出処理部は、前記読出し範囲の少なくとも一部と重複し、かつ前記読出し範囲に隣接するピクチャを含む範囲を置換対象とする前記第2の動画像を受信している場合、前記読出し範囲を前記第2の動画像が置換対象とする範囲まで含むように拡大する、請求項1に記載の動画像編集装置。
- 記憶部に記憶された第1の動画像の少なくとも一部の範囲を前記記憶部から読み出すことを依頼する読出しリクエスト、または前記第1の動画像の少なくとも一部の範囲を前記第1の動画像と異なる第2の動画像で置換することを依頼する書込みリクエストを端末から受信する度に、受信した前記読出しリクエストまたは前記書込みリクエストをスタックメモリに記憶し、
前記スタックメモリから前記読出しリクエストが読み出されると、当該読出しリクエストにて指定された読出し範囲の少なくとも一部と重複する範囲を置換対象とする前記第2の動画像を受信している場合、前記第1の動画像について前記読出し範囲のうちの前記重複する範囲を当該第2の動画像で置換した動画像を前記端末へ出力し、
前記第2の動画像の端部のピクチャと、前記第1の動画像のうち、前記第2の動画像で置換されたときに前記端部のピクチャと隣接するピクチャとの間の画質の差が画像の連続性が満たされる所定の閾値未満である場合、前記第2の動画像は前記第1の動画像の少なくとも一部の範囲を置換するために利用可能であると判定し、
前記第2の動画像は前記第1の動画像の少なくとも一部の範囲を置換するために利用可能であると判定と判定された場合、前記スタックメモリから前記書込みリクエストが読み出されると、当該書込みリクエストに対応する前記第2の動画像で前記第1の動画像の少なくとも一部の範囲を置換する、
ことを含む動画像編集方法。 - 記憶部に記憶された第1の動画像の少なくとも一部の範囲を前記記憶部から読み出すことを依頼する読出しリクエスト、または前記第1の動画像の少なくとも一部の範囲を前記第1の動画像と異なる第2の動画像で置換することを依頼する書込みリクエストを端末から受信する度に、受信した前記読出しリクエストまたは前記書込みリクエストをスタックメモリに記憶し、
前記スタックメモリから前記読出しリクエストが読み出されると、当該読出しリクエストにて指定された読出し範囲の少なくとも一部と重複する範囲を置換対象とする前記第2の動画像を受信している場合、前記第1の動画像について前記読出し範囲のうちの前記重複する範囲を当該第2の動画像で置換した動画像を前記端末へ出力し、
前記第2の動画像の端部のピクチャと、前記第1の動画像のうち、前記第2の動画像で置換されたときに前記端部のピクチャと隣接するピクチャとの間の画質の差が画像の連続性が満たされる所定の閾値未満である場合、前記第2の動画像は前記第1の動画像の少なくとも一部の範囲を置換するために利用可能であると判定し、
前記第2の動画像は前記第1の動画像の少なくとも一部の範囲を置換するために利用可能であると判定と判定された場合、前記スタックメモリから前記書込みリクエストが読み出されると、当該書込みリクエストに対応する前記第2の動画像で前記第1の動画像の少なくとも一部の範囲を置換する、ことをコンピュータに実行させる動画像編集用コンピュータプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009174190A JP5381459B2 (ja) | 2009-07-27 | 2009-07-27 | 動画像編集装置、動画像編集方法及び動画像編集用コンピュータプログラム |
US12/837,648 US8737814B2 (en) | 2009-07-27 | 2010-07-16 | Moving image editing apparatus and moving image editing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009174190A JP5381459B2 (ja) | 2009-07-27 | 2009-07-27 | 動画像編集装置、動画像編集方法及び動画像編集用コンピュータプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011029980A JP2011029980A (ja) | 2011-02-10 |
JP5381459B2 true JP5381459B2 (ja) | 2014-01-08 |
Family
ID=43497395
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009174190A Expired - Fee Related JP5381459B2 (ja) | 2009-07-27 | 2009-07-27 | 動画像編集装置、動画像編集方法及び動画像編集用コンピュータプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US8737814B2 (ja) |
JP (1) | JP5381459B2 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5661313B2 (ja) * | 2010-03-30 | 2015-01-28 | キヤノン株式会社 | 記憶装置 |
JP2014042654A (ja) * | 2012-08-27 | 2014-03-13 | Fujifilm Corp | サーバー装置、クライアント装置、医療画像処理システム、医療画像処理方法、及びプログラム |
JP6369457B2 (ja) * | 2013-04-11 | 2018-08-08 | 日本電気株式会社 | 情報処理装置、そのデータ処理方法、およびプログラム |
JP2015005835A (ja) * | 2013-06-19 | 2015-01-08 | シャープ株式会社 | 画像処理装置、画像形成装置及び記録媒体 |
CN108040288B (zh) * | 2017-12-20 | 2019-02-22 | 北京达佳互联信息技术有限公司 | 视频编辑方法、装置及智能移动终端 |
US10911791B2 (en) * | 2019-01-09 | 2021-02-02 | Netflix, Inc. | Optimizing encoding operations when generating a buffer-constrained version of a media title |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08280002A (ja) * | 1995-04-07 | 1996-10-22 | Hitachi Ltd | 画像情報通信システム |
JP3182329B2 (ja) * | 1995-11-15 | 2001-07-03 | 株式会社東芝 | 符号化データ編集装置とデータ復号装置 |
JP3747905B2 (ja) * | 2002-11-26 | 2006-02-22 | ソニー株式会社 | Avサーバーからのavデータの読込みシステム及び方法 |
JP2004274506A (ja) * | 2003-03-10 | 2004-09-30 | Sony Corp | 半導体記憶装置及び編集システム |
JP2006166289A (ja) * | 2004-12-10 | 2006-06-22 | Tdk Corp | コンテンツ編集システム、編集サーバ装置、コンテンツ編集方法及びプログラム |
JP4492484B2 (ja) * | 2005-08-22 | 2010-06-30 | ソニー株式会社 | 情報処理装置および情報処理方法、記録媒体、並びに、プログラム |
JP2007150994A (ja) | 2005-11-30 | 2007-06-14 | Hitachi Ltd | 映像編集システム及び映像編集装置 |
JP4207072B2 (ja) * | 2006-04-07 | 2009-01-14 | ソニー株式会社 | 情報処理装置および情報処理方法、記録媒体、並びに、プログラム |
JP4779921B2 (ja) * | 2006-10-05 | 2011-09-28 | ソニー株式会社 | データ処理装置及びデータ処理方法、並びにコンピュータ・プログラム |
JP4360425B2 (ja) * | 2007-06-15 | 2009-11-11 | ソニー株式会社 | 画像処理装置、その処理方法およびプログラム |
JP5090115B2 (ja) * | 2007-09-14 | 2012-12-05 | 株式会社スプラシア | 動画像配信装置、動画像配信方法ならびにそのプログラム |
-
2009
- 2009-07-27 JP JP2009174190A patent/JP5381459B2/ja not_active Expired - Fee Related
-
2010
- 2010-07-16 US US12/837,648 patent/US8737814B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2011029980A (ja) | 2011-02-10 |
US8737814B2 (en) | 2014-05-27 |
US20110019974A1 (en) | 2011-01-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4615623B2 (ja) | 動画像復号化方法および動画像復号化装置 | |
JP4355156B2 (ja) | 画像復号化方法及び画像復号化装置 | |
JP5381459B2 (ja) | 動画像編集装置、動画像編集方法及び動画像編集用コンピュータプログラム | |
JP2010232720A (ja) | 画像符号化方法および画像復号化方法 | |
JP2002016929A (ja) | 符号化装置および符号化方法 | |
JP4708821B2 (ja) | 動画像符号化装置及びその制御方法、コンピュータプログラム及び記憶媒体 | |
JP4230289B2 (ja) | 動画像符号化方法および動画像復号化方法 | |
JP2009081898A (ja) | 画像符号化方法および画像符号化装置 | |
JP6874844B2 (ja) | 動画像符号化装置、動画像符号化方法、及び、動画像符号化プログラム | |
JP4676474B2 (ja) | 画像符号化方法 | |
JP5061355B2 (ja) | 画像符号化方法、装置およびプログラムならびに画像処理機器 | |
JP2012138780A (ja) | データ配信システム、データ配信装置、データ符号化装置、及びデータ符号化方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120405 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130529 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130625 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130805 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130816 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130903 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130916 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |