JP5385230B2 - Data transmission device, program and method for completing data transmission by expiration time - Google Patents
Data transmission device, program and method for completing data transmission by expiration time Download PDFInfo
- Publication number
- JP5385230B2 JP5385230B2 JP2010193267A JP2010193267A JP5385230B2 JP 5385230 B2 JP5385230 B2 JP 5385230B2 JP 2010193267 A JP2010193267 A JP 2010193267A JP 2010193267 A JP2010193267 A JP 2010193267A JP 5385230 B2 JP5385230 B2 JP 5385230B2
- Authority
- JP
- Japan
- Prior art keywords
- transmission
- data
- encoding
- time
- encoding parameter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
本発明は、送信すべきデータをエンコードし、そのエンコード化データをネットワークを介して送信するデータ送信装置、プログラム及び方法に関する。 The present invention relates to a data transmission apparatus, program, and method for encoding data to be transmitted and transmitting the encoded data via a network.
従来、データを圧縮することによって、その伝送時間を短縮する技術がある（例えば特許文献１参照）。この技術によれば、データ送信装置は、送信すべきデータに対する圧縮処理時間と、その圧縮データの伝送時間との合計時間を算出する。この合計時間が、そのデータの非圧縮のままでの伝送時間よりも短い場合、データ送信装置は、そのデータに対して圧縮処理を実行し、その圧縮データを送信する。 Conventionally, there is a technique for shortening the transmission time by compressing data (see, for example, Patent Document 1). According to this technique, the data transmitting apparatus calculates the total time of the compression processing time for the data to be transmitted and the transmission time of the compressed data. When the total time is shorter than the transmission time of the data without being compressed, the data transmitting apparatus performs compression processing on the data and transmits the compressed data.
また、サーバから映像データを配信するシステムについて、ユーザによって指定された制限時間内に、映像データを配信する技術がある（例えば特許文献２参照）。この技術によれば、サーバに蓄積する映像データを、階層符号化を用いて予めエンコード（圧縮）しておくことによって、１種類の映像データを、ネットワークの状況に応じて異なるビットレートで配信することができる。配信ビットレートを変更することによって、映像データの伝送時間を変化させることができる。 Moreover, there is a technique for distributing video data within a time limit specified by a user for a system that distributes video data from a server (see, for example, Patent Document 2). According to this technique, video data stored in a server is encoded (compressed) in advance using hierarchical encoding, so that one type of video data is distributed at different bit rates depending on network conditions. be able to. By changing the distribution bit rate, the transmission time of the video data can be changed.
更に、データ送信装置に蓄積された映像データを、制限時間内（期限時刻まで）にネットワークを介して伝送する蓄積型映像伝送の技術がある（例えば特許文献３参照）。この技術によれば、エンコード処理と伝送処理とを並行して実行することを考慮したものである。エンコード処理とは、映像データを一定の規則に基づいて符号化する処理をいい、例えばデータの圧縮処理をいう。映像データの場合、エンコードパラメータ（映像規格、解像度等）の組み合わせに応じて、多数のエンコード機能が提供されている。 Furthermore, there is a storage-type video transmission technique for transmitting video data stored in a data transmission device via a network within a time limit (until the time limit) (see, for example, Patent Document 3). According to this technique, it is considered that the encoding process and the transmission process are executed in parallel. The encoding process refers to a process of encoding video data based on a certain rule, for example, a data compression process. In the case of video data, a number of encoding functions are provided according to combinations of encoding parameters (video standard, resolution, etc.).
更に、例えばテレビ放送局の緊急報道における映像データを、期限時刻までに、エンコードし且つ伝送する技術がある（例えば非特許文献１参照）。この技術によれば、できる限り高品質な映像伝送を実現すると共に、ネットワーク品質の低下を考慮して期限時刻までにデータの送信を完了することができる。その点について、特許文献２に記載された技術のように、映像データに対して予めエンコード処理を実行しておくものではない。非特許文献１に記載された技術によれば、期限時刻までにデータの送信を完了することができるように、エンコードパラメータを自動的に決定する。また、映像データの伝送中のネットワーク回線の品質低下によって伝送速度が低下した場合、エンコードパラメータを再設定することによって、期限時刻までにデータの送信を完了することができる。
Further, for example, there is a technique for encoding and transmitting video data in an emergency report of a television broadcast station by a deadline time (see, for example, Non-Patent Document 1). According to this technique, it is possible to realize as high quality video transmission as possible and to complete data transmission by the deadline time in consideration of a decrease in network quality. In this regard, unlike the technique described in
特許文献１に記載された技術によれば、送信すべきデータの圧縮処理の有無を判断するだけである。そのために、ネットワークの伝送速度を考慮して、エンコード処理によるデータの圧縮率を調整可能なものではない。
According to the technique described in
特許文献２に記載された技術によれば、映像データの伝送処理が実行される前に、予め決定された段階数の階層符号化を適用した映像データを用意しておく方式であり、複数の段階が用意されたデータの圧縮率は、それぞれ固定値となる。このため、ネットワーク状態に応じて柔軟に映像データの圧縮率を変更する必要性がある用途には、適当な方式ではない。
According to the technique described in
特許文献３に記載された技術によれば、期限時刻までに映像データの送信を完了しようとするものである。しかしながら、伝送処理中のネットワーク速度の変動を考慮するものではない。
According to the technique described in
非特許文献１に記載された技術によれば、期限時刻までに映像データの送信を完了しようとするものであり、また、伝送中のネットワーク速度の変動を考慮したものである。しかしながら、映像データの送信に大きな影響を及ぼすほどのネットワーク速度変動が実際に生じるまでは、実行されない。このため、残り時間が少なくなった状態でネットワーク速度の変動が生じた際に、期限時刻内で伝送を完了させることができない場合がある。
According to the technique described in
そこで、本発明は、原データに基づくエンコード化データを送信中に、ネットワークの伝送速度の低下によって期限時刻までに送信が完了しないことが検出された場合であっても、期限時刻までに送信を完了させることができるデータ送信装置、プログラム及び方法を提供することを目的とする。 Therefore, the present invention transmits the encoded data based on the original data even if it is detected that the transmission is not completed by the deadline time due to a decrease in the transmission speed of the network. An object of the present invention is to provide a data transmission apparatus, program, and method that can be completed.
本発明によれば、原データをエンコードしたエンコード化データを、ネットワークを介して受信装置へ送信するデータ送信手段を有するデータ送信装置において、
送信すべき１つ以上の原データと、送信完了期限時刻ｔＬとを設定する送信条件設定手段と、
ネットワークにおける伝送速度を測定する伝送速度測定手段と、
エンコード化データの送信中に、現時点の伝送速度に応じて、送信完了期限時刻ｔＬまでに送信が完了しないことを検出する期限時刻超過検出手段と、
原データに基づく第１のエンコードパラメータと、当該第１のエンコードパラメータよりも短い伝送時間となる第２のエンコードパラメータとを選択するエンコードパラメータ選択手段と、
原データを第１のエンコードパラメータでエンコードした第１のエンコード化データをデータ送信手段へ出力すると共に、原データを第２のエンコードパラメータでエンコードするエンコード手段と、
第１のエンコード化データをデータ送信手段から送信中に、期限時刻超過検出手段によって送信完了期限時刻までに送信が完了しないことが検出された際、第１のエンコード化データの送信を停止すると共に、第２のエンコード化データをデータ送信手段から送信するべく制御する送信データ制御手段と
を有することを特徴とする。
According to the present invention, in a data transmission device having data transmission means for transmitting encoded data obtained by encoding original data to a reception device via a network,
Transmission condition setting means for setting one or more original data to be transmitted and a transmission completion time limit t L ;
A transmission rate measuring means for measuring the transmission rate in the network;
A time limit detection means for detecting that transmission is not completed by the transmission completion time limit t L according to the current transmission rate during transmission of the encoded data;
Encoding parameter selection means for selecting a first encoding parameter based on the original data and a second encoding parameter having a transmission time shorter than the first encoding parameter;
An encoding means for outputting the first encoded data obtained by encoding the original data with the first encoding parameter to the data transmitting means, and encoding the original data with the second encoding parameter;
During transmission of the first encoded data from the data transmission means, when it is detected by the expiration time excess detection means that the transmission is not completed by the transmission completion deadline time, the transmission of the first encoded data is stopped. And transmission data control means for controlling to transmit the second encoded data from the data transmission means.
本発明のデータ送信装置における他の実施形態によれば、期限時刻超過検出手段について、送信完了期限時刻ｔＬまでに送信が完了しないことを検出する時刻は、送信完了期限よりも、第２のエンコード化データの伝送処理時間だけ以前となる時刻（少なくとも第２のエンコード化データを送信完了とすべき余裕時間に基づく時刻）であることも好ましい。 According to another embodiment of the data transmitting apparatus of the present invention, the time limit detection means detects that the transmission is not completed before the transmission completion time limit t L , the time for detecting that the transmission is not completed by the second time. It is also preferable that the time is the time before the encoded data transmission processing time (at least the time based on the spare time when the transmission of the second encoded data is to be completed).
本発明のデータ送信装置における他の実施形態によれば、エンコード手段は、エンコード処理能力（例えばパーソナルコンピュータにおけるＣＰＵ使用率など、ハードウェア内のプロセッサの処理負荷）に所定閾値以上の余裕がある場合にのみ、原データを第２のエンコードパラメータでエンコードすることも好ましい。 According to another embodiment of the data transmission apparatus of the present invention, the encoding means has a margin greater than or equal to a predetermined threshold in encoding processing capability (for example, processor load in hardware such as CPU usage rate in a personal computer). It is also preferable to encode the original data with the second encoding parameter only.
本発明のデータ送信装置における他の実施形態によれば、
原データは、映像データであり、
エンコードパラメータ選択手段は、第１のエンコードパラメータよりも短い伝送時間となる第２のエンコードパラメータが無い場合、又は、伝送速度によって変更されたビットレートが当該映像データのビットレートよりも過小な場合、映像データにおける画素数を減らすべく変換する映像変換手段を更に有することも好ましい。
According to another embodiment of the data transmission device of the present invention,
The original data is video data,
When there is no second encoding parameter that has a transmission time shorter than the first encoding parameter, or when the bit rate changed according to the transmission speed is lower than the bit rate of the video data, It is also preferable to further include video conversion means for converting the number of pixels in the video data.
本発明のデータ送信装置における他の実施形態によれば、映像変換手段は、フレームレートを減らすか、又は、特定の色成分の解像度若しくは全ての色成分の解像度を減らすことによって、映像データにおける画素数を減らすべく変換することも好ましい。 According to another embodiment of the data transmitting apparatus of the present invention, the video converting means reduces the frame rate, or reduces the resolution of a specific color component or the resolution of all color components, thereby reducing the pixels in the video data. It is also preferable to convert to reduce the number.
本発明のデータ送信装置における他の実施形態によれば、エンコードパラメータは、
映像フォーマット、
画面サイズ（解像度）、
フレームレート、
ビットレート、
空間方向の画素間予測を用いて符号化を行うフレームの割合、
時間方向の画素間予測を用いて符号化を行うフレームの割合、
画素間予測の探索を行う範囲の大きさ、
画素間予測の探索に用いるアルゴリズムの種別、
量子化パラメータの大きさ、
空間方向の画素成分を間引く割合、
画像の色成分を間引く割合、
単位時間あたりのフレーム数、
情報圧縮に用いる符号化のアルゴリズムの種類、
画素の周波数変換に用いる方式種別
のいずれか又はそれら複数の組み合わせを含むパラメータセットに基づくものであることも好ましい。
According to another embodiment of the data transmission apparatus of the present invention, the encoding parameter is:
Video format,
Screen size (resolution),
frame rate,
bit rate,
The percentage of frames to be encoded using spatial inter-pixel prediction,
Percentage of frames to be encoded using temporal inter-pixel prediction,
The size of the range to search for inter-pixel prediction;
The type of algorithm used to search for inter-pixel prediction,
The size of the quantization parameter,
The ratio of thinning out pixel components in the spatial direction,
The ratio of thinning out the color components of the image,
The number of frames per unit time,
The type of encoding algorithm used for information compression;
It is also preferable to be based on a parameter set including any one of the method types used for pixel frequency conversion or a combination thereof.
本発明によれば、コンピュータを搭載したデータ送信装置であって、原データをエンコードしたエンコード化データを、ネットワークを介して受信装置へ送信するデータ送信手段としてコンピュータを機能させるデータ送信用のプログラムにおいて、
送信すべき１つ以上の原データと、送信完了期限時刻ｔＬとを設定する送信条件設定手段と、
ネットワークにおける伝送速度を測定する伝送速度測定手段と、
エンコード化データの送信中に、現時点の伝送速度に応じて、送信完了期限時刻ｔＬまでに送信が完了しないことを検出する期限時刻超過検出手段と、
原データに基づく第１のエンコードパラメータと、当該第１のエンコードパラメータよりも短い伝送時間となる第２のエンコードパラメータとを選択するエンコードパラメータ選択手段と、
原データを第１のエンコードパラメータでエンコードした第１のエンコード化データをデータ送信手段へ出力すると共に、原データを第２のエンコードパラメータでエンコードするエンコード手段と、
第１のエンコード化データをデータ送信手段から送信中に、期限時刻超過検出手段によって送信完了期限時刻までに送信が完了しないことが検出された際、第１のエンコード化データの送信を停止すると共に、第２のエンコード化データをデータ送信手段から送信するべく制御する送信データ制御手段と
してコンピュータを機能させることを特徴とする。
According to the present invention, in a data transmission apparatus equipped with a computer, the data transmission program for causing a computer to function as data transmission means for transmitting encoded data obtained by encoding original data to a reception apparatus via a network. ,
Transmission condition setting means for setting one or more original data to be transmitted and a transmission completion time limit t L ;
A transmission rate measuring means for measuring the transmission rate in the network;
A time limit detection means for detecting that transmission is not completed by the transmission completion time limit t L according to the current transmission rate during transmission of the encoded data;
Encoding parameter selection means for selecting a first encoding parameter based on the original data and a second encoding parameter having a transmission time shorter than the first encoding parameter;
An encoding means for outputting the first encoded data obtained by encoding the original data with the first encoding parameter to the data transmitting means, and encoding the original data with the second encoding parameter;
During transmission of the first encoded data from the data transmission means, when it is detected by the expiration time excess detection means that the transmission is not completed by the transmission completion deadline time, the transmission of the first encoded data is stopped. The computer is caused to function as transmission data control means for controlling to transmit the second encoded data from the data transmission means.
本発明によれば、原データをエンコードしたエンコード化データを、ネットワークを介して受信装置へ送信するデータ送信部を有するデータ送信装置におけるデータ送信方法において、
送信すべき１つ以上の原データと、送信完了期限時刻ｔＬとを設定する第１のステップと、
エンコード化データの送信中に、ネットワークにおける現時点の伝送速度を測定し、送信完了期限時刻ｔＬまでに送信が完了しないことを検出する第２のステップと、
原データに基づく第１のエンコードパラメータと、当該第１のエンコードパラメータよりも短い伝送時間となる第２のエンコードパラメータとを選択する第３のステップと、
原データを第１のエンコードパラメータでエンコードした第１のエンコード化データをデータ送信手段へ出力すると共に、原データを第２のエンコードパラメータでエンコードする第４のステップと、
第１のエンコード化データをデータ送信部から送信中に、送信完了期限時刻までに送信が完了しないことが検出された際、第１のエンコード化データの送信を停止すると共に、第２のエンコード化データをデータ送信部から送信するべく制御する第５のステップと
を有することを特徴とする。
According to the present invention, in a data transmission method in a data transmission device having a data transmission unit that transmits encoded data obtained by encoding original data to a reception device via a network.
A first step of setting one or more original data to be transmitted and a transmission completion time limit t L ;
During transmission of the encoded data, a second step of detecting that the transmission rate of the current in the network is measured, transmitted until the transmission completion deadline time t L is not completed,
A third step of selecting a first encoding parameter based on the original data and a second encoding parameter having a transmission time shorter than the first encoding parameter;
A fourth step of outputting the first encoded data obtained by encoding the original data with the first encoding parameter to the data transmitting means, and encoding the original data with the second encoding parameter;
During transmission of the first encoded data from the data transmission unit, when it is detected that the transmission is not completed by the transmission completion deadline time, the transmission of the first encoded data is stopped and the second encoding is performed. And a fifth step of controlling to transmit data from the data transmission unit.
本発明のデータ送信装置、プログラム及び方法によれば、原データに基づくエンコード化データを送信中に、ネットワークの伝送速度の低下によって期限時刻までに送信が完了しないことが検出された場合であっても、伝送速度の低下を考慮したエンコード化データを予め生成しておくことによって、期限時刻までに送信を完了させることができる。 According to the data transmission device, program and method of the present invention, during transmission of encoded data based on original data, it is detected that transmission is not completed by the time limit due to a decrease in the transmission speed of the network. However, the transmission can be completed by the deadline time by generating the encoded data in consideration of the decrease in the transmission rate in advance.
以下では、本発明の実施の形態について、図面を用いて詳細に説明する。尚、送信対象となるデータは、映像データであるとして説明するが、エンコードされるデータであればよく、映像データに限られるものではない。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. Although the data to be transmitted is described as video data, it is only necessary to be encoded data, and is not limited to video data.
図１は、対象となるシステム構成図である。 FIG. 1 is a target system configuration diagram.
図１によれば、本発明の対象として、取材現場から報道局へ、ニュース素材の映像データを伝送するシステムを想定している。具体的には、「取材現場で１５：５４に撮影したニュース素材の映像データを、ニュース番組の放送時刻（又は、番組用の素材編集など、放送前の準備を考慮した締切時刻）に間に合うように、１６：３０までに報道局への送信を完了する」という状況を想定している。このとき、取材現場側の送信装置１は、アクセスネットワークに接続し且つインターネットを介して、その映像データを、報道局側のデータ受信装置３へ送信する。
According to FIG. 1, a system for transmitting video data of news material from a news gathering site to a news bureau is assumed as an object of the present invention. Specifically, “The video data of the news material taken at 15:54 at the interview site should be in time for the broadcast time of the news program (or the deadline time considering the preparation before broadcasting such as editing the material for the program). In addition, it is assumed that the transmission to the news station is completed by 16:30. At this time, the
図１によれば、カメラ２を用いて取材現場が撮影されている。カメラ２は、マイク機能も内蔵しており、音声も含む映像データを取得する。カメラ２は、ケーブルを介してデータ送信装置１に接続され、撮影された映像データをデータ送信装置１へ転送する。カメラ２とデータ送信装置１との接続方式としては、例えばＩＥＥＥ１３９４(i.LINK/FireWire)、ＳＤＩ(Serial Digital Interface)、ＨＤＭＩ(High-Definition Multimedia Interface)、アナログ映像端子と映像キャプチャデバイスを組み合わせたものがある。
According to FIG. 1, the interview site is photographed using the
取材現場側のデータ送信装置１と、報道局側のデータ受信装置３とは、アクセスネットワークを介してインターネットに接続されている。アクセスネットワークは、例えば、有線・無線ＬＡＮ(Local Area Network)、携帯電話用データ通信網、ＷｉＭＡＸ(Worldwide Interoperability for Microwave Access)、ＢＧＡＮ(Broadband Global Area Network)のような衛星通信網等である。
The
データ送信装置１は、カメラ２から取得した映像データをエンコードし、そのエンコード化データを、インターネットを介して、データ受信装置３へ送信する。このとき、データ送信装置１は、ユーザによって指定された期限時刻ｔＬまでに、その映像データの送信を完了する。図１によれば、期限時刻は「１６：３０」であって、制限時間（ｔＬ−ｔ０）は３６分（１６：３０−１５：５４）である。
The
この映像データの品質は、エンコードパラメータに依存する。即ち、制限時間３６分以内に、ネットワークの伝送測度を考慮して、映像データをエンコードし、そのエンコード化データの送信を完了しなければならない。 The quality of this video data depends on the encoding parameter. That is, within 36 minutes, the video data must be encoded and transmission of the encoded data must be completed in consideration of the network transmission measure.
尚、データ送信装置１は、アクセスネットワークに接続する通信インタフェース部を内蔵しているものとして説明しているが、ネットワーク接続装置が別途、外付けで備えられているものであってもよい。
In addition, although the
また、データ送信装置１及びカメラ２は、一体的に構成されていてもよい。
Further, the
更に、データ送信装置１は、必ずしもカメラ２から映像データを取得する場合に限られず、ＵＳＢ(Universal Serial Bus)メモリ、外付けハードディスク、ビデオテープ、ＳＤ(Secure Digital)メモリカード等の外部記録媒体装置から映像データを取得するものであってもよい。
Furthermore, the
更に、データ送信装置１は、例えばパーソナルコンピュータ又は専用端末であって、アプリケーションソフトウェアによって映像データのエンコード処理及び伝送処理を実行する。同様に、データ受信装置３も、例えばパーソナルコンピュータ又は専用端末であって、アプリケーションソフトウェアによってエンコード化データの受信処理を実行する。
Further, the
図１によれば、例えば取材現場のカメラマンに対して、データ送信装置１のディスプレイにユーザインタフェース画面が表示されている。例えば、左側ボックス内に、選択可能な「映像データの一覧」が表示され、右上側ボックス内に、「期限時刻」が入力される。このユーザインタフェース画面の指示に応じて、ユーザは、送信すべき「映像データ」を選択すると共に、「期限時刻」を指定することができる。尚、「期限時刻」を入力する以外の書式として、現在時刻と終了時刻との差（制限時間）を入力するものであってもよい。そして、ユーザによって「設定開始」ボタンが押下されると、エンコード処理及び伝送処理が実行される。
According to FIG. 1, for example, a user interface screen is displayed on the display of the
報道用の映像伝送システムでは、ネットワークの伝送速度を考慮した上で、期限時刻までに、映像データの送信を完了しなければならない。また、緊急の取材については、迅速な報道を行うために十分な時間が確保できない場合がある。このため、通常の取材で用いる業務用カメラ等のプロ用の機材ではなく、民生用カメラ等の一般向けの機材が用いられる場合がある。また、現場近くの一般市民が撮影した映像が提供されることもある。このような場合、撮影された映像データの解像度や記録ビットレートは、撮影した機材の種類や機材の設定によって様々である。このため、解像度や記録ビットレート等が様々に異なる映像データが混在した状態で、それら映像データを期限時刻までに送信を完了することが必要となる。 In a video transmission system for news reports, transmission of video data must be completed by the deadline time in consideration of the transmission speed of the network. Also, for urgent coverage, there may be cases where sufficient time cannot be secured for prompt reporting. For this reason, general-purpose equipment such as consumer cameras may be used instead of professional equipment such as commercial cameras used in normal coverage. Also, images taken by ordinary citizens near the site may be provided. In such a case, the resolution and recording bit rate of the captured video data vary depending on the type of captured equipment and the settings of the equipment. For this reason, it is necessary to complete transmission of the video data by the deadline time in a state where video data having different resolutions and recording bit rates are mixed.
図２は、エンコード時間及び伝送時間の関係を表すグラフである。 FIG. 2 is a graph showing the relationship between encoding time and transmission time.
映像データの品質は、エンコード処理におけるエンコードパラメータに依存する。しかしながら、高品質な映像データを生成しようとするほど、必要とされるエンコード処理時間も長くなる。また、高品質な映像データであるほど、エンコード化データのデータサイズも大きくなり、結果的に、その伝送時間も長くなる。ここで、１つの映像データについて、エンコードを開始してから、伝送を終了するまでの時間を「送信処理時間」とする。そうすると、映像データの品質と、送信処理時間との間のトレードオフをとって、適切なエンコードパラメータを選択する必要がある。 The quality of video data depends on the encoding parameters in the encoding process. However, the longer the high-quality video data is generated, the longer the encoding processing time required. Further, the higher the quality of the video data, the larger the data size of the encoded data, and consequently the longer the transmission time. Here, the time from the start of encoding to the end of transmission for one piece of video data is referred to as “transmission processing time”. In this case, it is necessary to select an appropriate encoding parameter by taking a trade-off between the quality of the video data and the transmission processing time.
図２のグラフは、横軸に時間経過を表す。図２（ａ）は、映像データ毎に、所定のパラメータセットｐａによってエンコードし、そのエンコード化データを送信する。実質的に、エンコード処理及び伝送処理を、ほぼ同時に並行して実行できる。しかしながら、エンコード時間と伝送時間とは異なるために、いずれか長い方の時間が、送信処理時間となる。図２（ａ）によれば、ネットワークの伝送速度が比較的低いために、映像データ毎のエンコード時間及び伝送時間の関係に応じて、エンコード時間に空きが生じている。そのために、時間的に見ると、エンコード処理能力を十分に活用しきれていないこととなる。 In the graph of FIG. 2, the horizontal axis represents the passage of time. In FIG. 2A, each video data is encoded by a predetermined parameter set pa, and the encoded data is transmitted. Substantially, the encoding process and the transmission process can be executed substantially simultaneously in parallel. However, since the encoding time and the transmission time are different, the longer time is the transmission processing time. According to FIG. 2A, since the transmission speed of the network is relatively low, there is a vacancy in the encoding time according to the relationship between the encoding time and the transmission time for each video data. For this reason, in terms of time, the encoding processing capability is not fully utilized.
図２（ｂ）は、複数の映像データについて連続的に、エンコード処理及び伝送処理を実行している（エンコード処理については、ｐａを用いた場合のみを記載している）。
［パターン１］第１〜第３の映像データが、同一のエンコードパラメータｐａでエンコードされている。このとき、第１〜第３の映像データにおける第１〜第３のエンコード化データの伝送時間は、期限時刻ｔＬを超過している。
［パターン２］次に、第１の映像データがエンコードパラメータｐｂでエンコードされ、第２及び第３の映像データがエンコードパラメータｐａ及びｐｃでエンコードされている。このとき、第１の映像データにおける第１のエンコード化データの伝送時間が短くなる。これによって、第１〜第３の映像データにおける第１〜第３のエンコード化データの伝送時間は、丁度、期限時刻ｔＬに達している。
［パターン３］第１の映像データがエンコードパラメータｐｂでエンコードされ、第２の映像データがエンコードパラメータｐａでエンコードされ、第３の映像データがエンコードパラメータｐｃでエンコードされている。このとき、第３の映像データにおける第３のエンコード化データの伝送時間も短くなる。これによって、第１〜第３の映像データにおける第１〜第３のエンコード化データの伝送時間は、期限時刻ｔＬよりも十分に早く終了する。
In FIG. 2B, encoding processing and transmission processing are continuously executed for a plurality of video data (the encoding processing is described only when pa is used).
[Pattern 1] first to third image data has been encoded with the same encoding parameters p a. At this time, the transmission time of the first to third encoded data in the first to third image data, exceeds the deadline time t L.
[Pattern 2] Next, the first image data is encoded by the encoding parameters p b, the second and third image data is encoded in the encoding parameters p a and p c. At this time, the transmission time of the first encoded data in the first video data is shortened. Thus, the transmission time of the first to third encoded data in the first to third image data has just reached time limit t L.
[Pattern 3] first video data is encoded by the encoding parameters p b, second video data encoded in the encoding parameters p a, the third video data is encoded in the encoding parameters p c. At this time, the transmission time of the third encoded data in the third video data is also shortened. Thus, the transmission time of the first to third encoded data in the first to third image data ends sufficiently earlier than the deadline time t L.
このように、ネットワークの伝送速度が変化しない場合には、送信開始時刻ｔ０に、期限時刻ｔＬに間に合うようにエンコードパラメータを選択することができる。尚、エンコードパラメータは、例えば以下のような関係にある。
ｐa：高品質、エンコード化データが大きい
ｐb：中品質、エンコード化データが中程度
ｐc：低品質、エンコード化データが小さい
As described above, when the transmission rate of the network does not change, the encoding parameter can be selected at the transmission start time t 0 so as to be in time for the deadline time t L. The encode parameters have the following relationship, for example.
p a : high quality, large encoded data p b : medium quality, medium encoded data p c : low quality, small encoded data
しかしながら、第１〜第３のエンコード化データを送信中に、ネットワークの伝送速度が低下した場合、期限時刻を超過することも想定される。そこで、本発明によれば、期限時刻に丁度達するエンコードパラメータｐｂが選択されていても、伝送速度が低下する場合に備えて、第３の映像データをエンコードパラメータｐｃでエンコードした第３のエンコード化データを予め生成しておく。伝送速度が低下することによって期限時刻までに送信完了しないことが検出された際に、第３のエンコード化データを送信する。これによって、第１〜第３のエンコード化データを、期限時刻までに送信完了することができる。 However, if the transmission speed of the network decreases during transmission of the first to third encoded data, it is assumed that the time limit is exceeded. Therefore, according to the present invention, be selected encoding parameters p b just reaching the time limit, in case the transmission rate is lowered, a third that encodes the third image data encoding parameters p c Encoded data is generated in advance. The third encoded data is transmitted when it is detected that transmission is not completed by the time limit due to a decrease in transmission speed. Thereby, the transmission of the first to third encoded data can be completed by the deadline time.
図３は、本発明に基づくエンコード時間及び伝送時間の関係を表すグラフである。 FIG. 3 is a graph showing the relationship between encoding time and transmission time according to the present invention.
図３（ａ）は、エンコードパラメータを再設定しても、期限時刻を超過してしまう場合を表す。時刻ｔＤに、伝送速度の低下によって、期限時刻までに送信完了しないことを検出したとする。この時点で、第３の映像データの第３のエンコード化データは、送信中である。このとき、第３の映像データについて、伝送時間が短くなるエンコードパラメータで再度、エンコード処理を実行する。エンコード処理及び伝送時間は、ほぼ同時に並行して実行されたとしても、期限時刻ｔＬまでに送信完了しない場合がある。これは、ある映像データの品質を放送用などに利用可能なレベルでエンコードする場合、エンコード後の映像データの圧縮率に、品質維持のための制限が加えられるためである。これによって、処理時間に下限値が存在することになるためである。その下限値がｔＬ-ｔＤより大きくなる場合は、制限時間内での処理が実現できない。特に、期限時刻の超過を検出した時刻ｔＤから、期限時刻ｔＬまでの時間が短いほど、期限時刻を超過する場合が多くなる。 FIG. 3A shows a case where the expiration time is exceeded even if the encoding parameter is reset. At time t D, the decrease in transmission rate, and it is detected that no complete transmitted until the time limit. At this point, the third encoded data of the third video data is being transmitted. At this time, the encoding process is executed again for the third video data with an encoding parameter that shortens the transmission time. Encoding process and the transmission time may even be performed in parallel substantially simultaneously, not complete transmitted until the time limit t L. This is because when quality of certain video data is encoded at a level that can be used for broadcasting or the like, a restriction for maintaining the quality is added to the compression rate of the encoded video data. This is because a lower limit value exists in the processing time. When the lower limit value is larger than t L -t D , processing within the time limit cannot be realized. In particular, the shorter the time from the time t D at which the expiration of the expiration time is detected to the expiration time t L , the more the expiration time is exceeded.
これに対し、図３（ｂ）は、第３の映像データについて、事前に第２のエンコードパラメータｐｃでエンコード処理を実行する場合を表す。本発明によれば、第３の映像データを第１のエンコードパラメータｐａでエンコード処理を実行した後（時刻ｔＰ）、同じ第３の映像データについて、第２のエンコードパラメータｐｃでエンコード処理を実行する。この第２のエンコード化データは、バッファされる。その後、期限時刻の超過が検出された際（時刻ｔＤ）に、第１のエンコード化データの送信を停止し、第２のエンコード化データの送信を開始する。第２のエンコード化データは、期限時刻ｔＬまでに送信が完了する。即ち、期限時刻の超過が検出された際に、第２のエンコードパラメータでエンコードされた第２のエンコード化データを送信するだけでよく、エンコードし直す必要がない。図３によれば、バッファするデータは、単一のデータであったが、複数のデータに対して同様に処理することも望ましい。 In contrast, FIG. 3 (b), the third image data represents a case of executing an encoding process in advance in the second encoding parameters p c. According to the present invention, after performing the encoding process in the third image data first encoding parameters p a (time t P), for the same third video data, encoded by the second encoding parameters p c Execute. This second encoded data is buffered. Thereafter, when the expiration of the deadline time is detected (time t D ), the transmission of the first encoded data is stopped and the transmission of the second encoded data is started. Second encoded data is transmitted until the time limit t L completed. That is, when the expiration of the deadline time is detected, it is only necessary to transmit the second encoded data encoded with the second encoding parameter, and there is no need to re-encode. According to FIG. 3, the data to be buffered is a single data, but it is also desirable to process a plurality of data in the same manner.
ここでは、伝送速度が低下した場合の例を示したが、逆に、ネットワークの帯域変動で伝送速度が向上する場合もある。このような場合に対処可能となるよう、伝送速度の低下率と上昇率の両者を考慮して判別し、伝送速度の上昇が見込まれる場合には、高品質なデータをバッファするように処理してもよい。即ち、第２のエンコードパラメータとして、第１のエンコードパラメータよりも処理時間が大きくかつ品質が高くなるものを選択し、そのデータをバッファする処理となる。 Here, an example in which the transmission rate is lowered is shown, but conversely, the transmission rate may be improved due to network band fluctuations. In order to be able to cope with such a case, it is determined by taking into consideration both the rate of decrease and the rate of increase of the transmission rate. If an increase in the transmission rate is expected, processing is performed to buffer high-quality data. May be. That is, as the second encoding parameter, a process having a processing time longer and higher quality than the first encoding parameter is selected, and the data is buffered.
また、エンコードに用いる符号化方式として、階層符号化を用いてもよい。この場合、階層符号化における低レイヤのデータが、前述のパラメータの例ではｐｃに相当する。そして、より高位のレイヤに相当するものが、パラメータｐb、ｐaである。 Further, hierarchical encoding may be used as an encoding method used for encoding. In this case, the low-layer data in the hierarchical encoding corresponds to pc in the above-described parameter example. Then, equivalent to higher layers is a parameter p b, p a.
図４は、本発明におけるデータ送信装置の機能構成図である。 FIG. 4 is a functional configuration diagram of the data transmission apparatus according to the present invention.
図４によれば、データ送信装置１は、外部とのインタフェースとして、ユーザインタフェース部１０１と、映像データインタフェース部１０２と、通信インタフェース部１０３とを有する。
According to FIG. 4, the
ユーザインタフェース部１０１は、ユーザに対するディスプレイ及び操作インタフェースである。ディスプレイは、ユーザインタフェース画面を表示する（図１参照）。キーボードのような操作インタフェースは、ユーザから、送信すべき映像データ及び期限時刻の情報を取得する。
The
映像データインタフェース部１０２は、例えばケーブルを介して接続されたカメラ２から映像データを取得し、その映像データを映像データ蓄積部１１１へ出力する。
The video
通信インタフェース部１０３は、アクセスネットワークに接続し、データ受信装置３へ、エンコードされた映像データを送信する。
The
また、図４によれば、データ送信装置１は、映像データ蓄積部１１１と、エンコード部１１２と、データ送信部１１３と、送信条件設定部１２１と、伝送速度測定部１２２と、期限時刻超過検出部１２３と、エンコードパラメータ選択部１２４と、送信データ制御部１２５と、映像変換部１２６とを有する。これら機能構成部は、データ送信装置に搭載されたコンピュータを機能させるプログラムを実行することによって実現される。
In addition, according to FIG. 4, the
映像データ蓄積部１１１は、映像データインタフェース部１０２から入力された映像データを、大容量記憶媒体に蓄積する。
The video
送信条件設定部１２１は、送信すべき１つ以上の映像データと、その映像データの送信完了までの期限時刻ｔＬとを設定する。送信条件は、ユーザ自身がユーザインタフェース画面（図１参照）に対して入力するものであってもよいし、予め設定されていてもよい。送信すべき１つ以上の映像データは、映像データ蓄積部１１１に蓄積されたものである。期限時刻ｔＬは、選択された全ての映像データについて、送信が完了するまでの時刻である。
The transmission
伝送速度測定部１２２は、データ受信装置に対するネットワークにおける現時点の伝送速度を測定する。測定方法として、例えばパケットペア方式、パケットトレイン方式等の技術がある。
The transmission
期限時刻超過検出部１２３は、エンコード化データの送信中に、現時点の伝送速度に応じて、送信完了期限時刻ｔＬまでに送信が完了しないことを検出する。
残存時間 ＜ 残存エンコード化データの伝送時間
（期限時刻−現在時刻）＜（残存エンコード化データのサイズ／現時点の伝送速度）
The deadline time
Remaining time <Residual encoded data transmission time (Time limit-Current time) <(Remaining encoded data size / Current transmission speed)
また、送信完了期限時刻ｔＬまでに送信が完了しないことを検出する時刻は、送信完了期限よりも、第２のエンコード化データの伝送処理時間だけ以前となる時刻（少なくとも第２のエンコード化データを送信完了とすべき余裕時間に基づく時刻）であってもよい。 Also, the time at which it is detected that the transmission is not completed before the transmission completion deadline time t L is a time that is earlier than the transmission completion deadline by the transmission processing time of the second encoded data (at least the second encoded data). May be a time based on a surplus time at which transmission is to be completed.
エンコードパラメータ選択部１２４は、送信すべき全ての映像データにおける送信処理時間ＴＰが、制限時間（ｔＬ−ｔ０）以下となるように、第１のエンコードパラメータを選択する。エンコードパラメータ選択部１２４は、以下の式（３）を満たす第１のエンコードパラメータを選択する。
Ｍａｘ｛Σi=1 nＴEi(p)，Σi=1 nＴTi(p)｝ ＜ ＴＬ 式（３）
Ｍａｘ｛ａ，ｂ｝：ａ又はｂのいずれか大きい方を出力する関数
Σi=1 nＴEi(p)：各映像データのエンコード処理時間の総和
Σi=1 nＴTi(p)：各エンコード化データの伝送時間の総和
ここで左辺の値が処理時間ＴＰである。
Encode
Max {Σ i = 1 n T Ei (p), Σ i = 1 n T Ti (p)} < TL formula (3)
Max {a, b}: a function that outputs the larger of a or b Σ i = 1 n T Ei (p): sum of encoding processing times of each video data Σ i = 1 n T Ti (p): wherein the value of the left side the sum of the transmission time of each encoded data is the processing time T P.
本発明のエンコードパラメータ選択部１２４は、映像データに基づく第１のエンコードパラメータと、当該第１のエンコードパラメータよりも短い伝送時間となる第２のエンコードパラメータとを選択する。そして、第１及び第２のエンコードパラメータを、エンコード部１１２へ指示する。エンコードパラメータは、例えば以下のいずれか又はそれら複数の組み合わせを含むパラメータセットに基づくものである。
映像フォーマット
画面サイズ（解像度）
フレームレート
ビットレート
空間方向の画素間予測を用いて符号化を行うフレームの割合
時間方向の画素間予測を用いて符号化を行うフレームの割合
画素間予測の探索を行う範囲の大きさ
画素間予測の探索に用いるアルゴリズムの種別
量子化パラメータの大きさ
空間方向の画素成分を間引く割合
画像の色成分を間引く割合
単位時間あたりのフレーム数
情報圧縮に用いる符号化のアルゴリズムの種類
画素の周波数変換に用いる方式種別
また、上記の他に、映像符号化の処理で適用の可否が選択可能なものであって、かつ、それが画質と処理時間とのトレードオフとなるような設定項目を含めることも望ましい。
The encoding
Video format Screen size (resolution)
Frame rate Bit rate Percentage of frames that are encoded using inter-pixel prediction in the spatial direction Percentage of frames that are encoded using inter-pixel prediction in the temporal direction Size of the search range for inter-pixel prediction Inter-pixel prediction Type of algorithm used to search for Quantization parameter size Ratio of thinning out pixel components in the spatial direction Ratio of thinning out image color components Number of frames per unit time Type of encoding algorithm used for information compression Used for pixel frequency conversion Method type In addition to the above, it is also desirable to include a setting item that can be selected for applicability in video encoding processing and that is a trade-off between image quality and processing time. .
以下の表１は、ある映像データのエンコード処理時間を推定するために利用する処理時間の参照データを表す。この参照データは、事前にテストデータをエンコードすることで測定してもよく、また、ユーザが指定してもよい。単位時間としては、例えば「１秒分の映像データ」のような時間を基準としたものを用いてもよいし、映像データのデジタルデータとしての情報量を用いてもよい。
前述の表によれば、画像サイズ1440×1080及び1280×720のＨＤ(High Definition)で記録するＨＤＶ方式と、画像サイズ720×480のＳＤ(Standard Definition)で記録するＤＶ方式とが表されている。ＨＤＶ方式では、映像データの圧縮にＭＰＥＧ−２を用いている。ＨＤＶ1080iは、走査線1080本(1440×1080ピクセル)のインターレース映像を記録し、ＨＤＶ720pは、走査線720本(1280×720ピクセル)のプログレッシブ映像を記録する。本発明によれば、勿論、これらフォーマットに限られず、非圧縮の映像データ、1920×1080のフルＨＤにも対応したＡＶＣＨＤ(Advanced Video Codec High Definition)方式、その他のビデオフォーマットであってもよい。 According to the above table, the HDV format for recording in HD (High Definition) with an image size of 1440 × 1080 and 1280 × 720 and the DV format for recording in SD (Standard Definition) with an image size of 720 × 480 are represented. Yes. In the HDV system, MPEG-2 is used to compress video data. HDV1080i records interlaced video with 1080 scanning lines (1440 × 1080 pixels), and HDV720p records progressive video with 720 scanning lines (1280 × 720 pixels). Of course, the present invention is not limited to these formats, and may be non-compressed video data, an AVCHD (Advanced Video Codec High Definition) system compatible with 1920 × 1080 full HD, and other video formats.
また、表１によれば、映像データのパラメータセットとして、以下の３通りが表されている。
「高速」 （エンコード処理時間は短いが、映像品質が低い）
「標準」 （エンコード処理時間及び映像品質は「高速」「高画質」の中間となる）
「高画質」（エンコード時間処理は長いが、映像品質が高い）
この３通りのパラメータの違いは、例えばH.264の符号化における符号化ツールセットの利用の有無や動き補償の探索範囲の大小などの違いに基づく。即ち、符号化処理において処理時間とエンコードによる品質低下とのトレードオフが存在する処理の違いに基づく。
Further, according to Table 1, the following three types are represented as video data parameter sets.
"High speed" (Encoding processing time is short but video quality is low)
"Standard" (Encoding processing time and video quality are intermediate between "High speed" and "High quality")
"High quality" (encoding time is long, but video quality is high)
The difference between these three parameters is based on, for example, whether or not the encoding tool set is used in H.264 encoding and the search range of motion compensation. In other words, the encoding process is based on a difference in processing in which there is a trade-off between processing time and quality degradation due to encoding.
尚、パラメータセットについては、３つに限ることなく、複数のセットが用意されていればよい。また、解像度やフレームレートは、様々なパターンを用意しておいてもよいが、ある程度限定されたパターンを用意しておくだけでもよい。例えば、HD(1440×1080、30fps)の映像データを処理する場合の時間を推定するために、HD(1440×1080、30fps)の映像データをテストエンコードする。これに対し、処理時間は画素数に比例すると仮定し、HD(1440×1080、15fps)の映像データをテストエンコードした場合の時間を、実際のエンコードを実行することなく、前述のHD(1440×1080、30fps)処理時間の半分の値を用いてもよい。また、ビットレートの差による処理時間の違いが小さい場合は、ある１つのビットレートでエンコードを実行した場合の計測データを、他のビットレートでエンコードした場合の値として用いてもよい。 Note that the parameter set is not limited to three, and a plurality of sets may be prepared. Various patterns of resolution and frame rate may be prepared, but patterns limited to some extent may be prepared. For example, in order to estimate the time for processing HD (1440 × 1080, 30 fps) video data, HD (1440 × 1080, 30 fps) video data is test-encoded. On the other hand, assuming that the processing time is proportional to the number of pixels, the time when test encoding HD (1440 × 1080, 15 fps) video data is the same as the above-mentioned HD (1440 × (1080, 30 fps) A half value of the processing time may be used. When the difference in processing time due to the difference in bit rate is small, measurement data when encoding is performed at a certain bit rate may be used as a value when encoded at another bit rate.
エンコード部１１２は、映像データ蓄積部１１１から入力した映像データに対して、エンコードパラメータ選択部１２４によって選択されたパラメータセットに基づいて、エンコード処理を実行する。エンコード部１１２は、映像データを第１のエンコードパラメータでエンコードした第１のエンコード化データをデータ送信部１１３へ出力すると共に、映像データを第２のエンコードパラメータでエンコードする。
The
データ送信部１１３は、エンコード化データを、通信インタフェース部１０３を介してデータ受信装置３へ送信する。
The
送信データ制御部１２５は、第１のエンコード化データをデータ送信部１１３から送信中に、期限時刻超過検出部１２３によって送信完了期限時刻までに送信が完了しないことが検出された際、第１のエンコード化データの送信を停止すると共に、第２のエンコード化データをデータ送信部１１３から送信するべく制御する。
When the first encoded data is being transmitted from the
映像変換部１２６は、エンコードパラメータ選択部１２４によって、第１のエンコードパラメータよりも短い伝送時間となる第２のエンコードパラメータが無い場合、又は、伝送速度によって変更されたビットレートが当該映像データのビットレートよりも過小な場合、映像データにおける画素数を減らすべく変換する。この映像変換は、フレームレートを減らすか、又は、サイズを減らすことによって実行される。
In the
ここである映像データをエンコードする際に、最低限要求されるビットレートは、以下のように与えられる。
ここで示したとおり、映像の解像度やフレームレートによって、下限のビットレートが決定される。これは、予め規定値として設定されている形態であってもよいし、また、ユーザが指定できる形態であってもよい。また、表２の例では過剰なビットレート割り当てが起こらないよう、上限を設定している。予め上限が設定されている場合に、制限時間にあわせたパラメータ設定について上限ビットレートを超える設定が適用されることになった場合に、算出したビットレートでなく、表２の上限ビットレートを設置値として用いるようにする。 As shown here, the lower limit bit rate is determined by the resolution and frame rate of the video. This may be a form set in advance as a specified value, or may be a form that can be designated by the user. In the example of Table 2, an upper limit is set so that excessive bit rate allocation does not occur. If the upper limit is set in advance and the setting exceeding the upper limit bit rate is applied to the parameter setting in accordance with the time limit, the upper limit bit rate shown in Table 2 is set instead of the calculated bit rate. Use as a value.
一般的に、映像データの解像度、再生時間及びフレームレートには、以下のような関係がある。
・同一の解像度・再生時間の映像データについて、フレームレートが高いデータほど、エンコード処理時間が長くなる。
・同一のフレームレート・再生時間の映像データについて、解像度が大きいほど、エンコード処理時間が長くなる。
・同一の解像度及びフレームレートの映像データについて、再生時間が長いほど、エンコード時間が長くなる。
In general, the resolution, playback time, and frame rate of video data have the following relationship.
For video data with the same resolution and playback time, the higher the frame rate, the longer the encoding process time.
For video data with the same frame rate and playback time, the encoding process takes longer as the resolution increases.
For video data with the same resolution and frame rate, the longer the playback time, the longer the encoding time.
このような関係は、エンコード処時間が、映像データに含まれる画素数に基づいて決まることを意味する。このとき、元の映像データのデータサイズと画素数とは、必ずしも一致しない。例えば、ＡＶＣＨＤ(Advanced Video Codec High Definition)で映像データを記録するビデオカメラについて、１つの解像度の映像データを撮影する際に、記録ビットレートが、24Mbps、17Mbps、9Mbps、5Mbpsと、最大で５倍程度の差となる設定がある。また、ＨＤ又はＳＤのように記録方式が異なる場合、解像度の差が４倍も異なるにも関わらず、同等の記録ビットレートとなる。従って、このような違いに左右されない送信処理時間を割り当てる必要がある。また、エンコード処理後のビットレート（エンコードビットレート）の決定についても、画素数が大きいほどそれを記録するために必要なデータ量が多く必要であるため、同様の指標に従う必要がある。 Such a relationship means that the encoding processing time is determined based on the number of pixels included in the video data. At this time, the data size of the original video data and the number of pixels do not necessarily match. For example, for a video camera that records video data with AVCHD (Advanced Video Codec High Definition), when shooting video data of one resolution, the recording bit rate is 24 Mbps, 17 Mbps, 9 Mbps, 5 Mbps, up to 5 times There are settings that vary in degree. Also, when the recording method is different such as HD or SD, the recording bit rate is equivalent even though the difference in resolution is four times different. Therefore, it is necessary to allocate a transmission processing time that is not affected by such a difference. In addition, the determination of the bit rate after encoding processing (encoding bit rate) also needs to follow a similar index because the larger the number of pixels, the larger the amount of data necessary to record it.
尚、図４には、図示していないが、エンコード処理時間について、パフォーマンス測定部及びエンコード処理時間蓄積部を有することも好ましい。 Although not shown in FIG. 4, it is preferable to have a performance measuring unit and an encoding processing time storage unit for encoding processing time.
パフォーマンス測定部は、エンコードパラメータ毎に、映像データをエンコード部１１２によってエンコードし、単位時間の映像データをエンコードするために必要なエンコード処理時間を導出する。データ送信装置１に搭載されたプロセッサ又はチップセットの処理能力が異なる場合、そのエンコード処理時間も異なるためである。最初に、実際に、テストデータに対して、エンコード処理を実行することによって、正確なエンコード処理時間を取得する。
The performance measurement unit encodes the video data by the
パフォーマンス測定部は、エンコードパラメータ毎に、エンコード処理時間を測定しなければならない。非常に多くのパラメータセットがある場合、一方のパラメータセットによって測定されたエンコード処理時間から、他方のパラメータセットに基づくエンコード処理時間を推定するものであってもよい。これによって、全てのパラメータセットについて測定する必要がなくなる。また、エンコード処理時間に大きく影響を与えるエンコードパラメータの値に基づいて、パラメータセットに基づくエンコード処理時間を推定するものであってもよい。更に、複数のパラメータセットのエンコード処理時間に基づいて、例えば線形補間によって、他のパラメータセットのエンコード処理時間を推定するものであってもよい。 The performance measurement unit must measure the encoding processing time for each encoding parameter. When there are a large number of parameter sets, the encoding processing time based on the other parameter set may be estimated from the encoding processing time measured by one parameter set. This eliminates the need to measure all parameter sets. Further, the encoding processing time based on the parameter set may be estimated based on the encoding parameter value that greatly affects the encoding processing time. Furthermore, based on the encoding processing times of a plurality of parameter sets, the encoding processing times of other parameter sets may be estimated by linear interpolation, for example.
エンコード処理時間記憶部は、エンコードパラメータ毎に、パフォーマンス測定部によって導出されたエンコード処理時間を予め記憶する。エンコード処理時間記憶部は、送信処理時間算出部１２４から参照される。
The encoding processing time storage unit stores in advance the encoding processing time derived by the performance measurement unit for each encoding parameter. The encoding processing time storage unit is referred to by the transmission processing
図５は、本発明におけるフローチャートである。 FIG. 5 is a flowchart in the present invention.
（Ｓ５０１）送信すべき１つ以上の映像データと、それら映像データの送信完了期限時刻ｔＬとを設定させる。図４における送信条件設定部１２１と同様の処理が実行される。
（Ｓ５０２）映像データに基づく第１のエンコードパラメータを選択する。第１のエンコードパラメータは、送信すべき全ての映像データにおける送信処理時間ＴＰが、制限時間（ｔＬ−ｔ０）以下となるように選択されたものである。
（Ｓ５０３）送信すべき映像データを、映像データ蓄積部１１１から取得し、エンコード処理を実行する。
（Ｓ５０４）第１のエンコードパラメータでエンコードされた第１のエンコード化データを、ネットワークを介してデータ受信装置３へ送信する。
(S501) and one or more video data to be transmitted, thereby setting the transmission completion deadline time t L thereof video data. Processing similar to that of the transmission
(S502) A first encoding parameter based on video data is selected. First encoding parameter, the transmission processing time T P in all of the video data to be transmitted, the time limit (t L -t 0) are those selected to become less.
(S503) Video data to be transmitted is acquired from the video
(S504) The first encoded data encoded with the first encoding parameter is transmitted to the
（Ｓ５０５）以下、全ての映像データのエンコード化データの送信が完了するまでＳ５０６〜Ｓ５２２を繰り返す。
（Ｓ５０６）送信装置から送出されるデータ量（伝送速度）をチェックする。
（Ｓ５０７）測定された伝送速度に基づいて、期限時刻までに送信完了するか否か判定する。期限時刻を超過すると判定された場合、Ｓ５１４へ移行する。
（Ｓ５０８）期限時刻を超過しないと判定された場合、エンコード処理能力（グラフィック処理能力）に所定閾値以上の余裕があるか否かを判定する。エンコード処理能力に余裕が無いと判定された場合、Ｓ５２２へ移行する。
（Ｓ５０９）エンコード処理能力に余裕が有ると判定された場合、第１のエンコードパラメータよりも、伝送時間を短くするエンコードパラメータが有るか否かを判定する。伝送時間を短くするエンコードパラメータが有る場合、Ｓ５１１へ移行する。
（Ｓ５１０）第１のエンコードパラメータよりも短い伝送時間となる第２のエンコードパラメータが無い場合、又は、伝送速度によって変更されたビットレートが当該映像データのビットレートよりも過小な場合、映像データにおける画素数を減らすべく変換する。
（Ｓ５１１）第１のエンコードパラメータよりも、伝送時間を短くする第２のエンコードパラメータを選択する。選択された第２のエンコードパラメータの伝送時間が短いほど、期限時刻の超過を検出する時刻を早めにする（ｔＬ−ｔＤの余裕時間差を長くする）ことができる（図３参照）。
（Ｓ５１２）Ｓ５０４と同じ映像データについて、第２のエンコードパラメータを用いてエンコード処理を実行する。
（Ｓ５１３）第２のエンコード化データを、バッファする。そして、Ｓ５２２へ移行する。
(S505) Hereinafter, S506 to S522 are repeated until transmission of encoded data of all video data is completed.
(S506) The amount of data (transmission speed) transmitted from the transmission device is checked.
(S507) Based on the measured transmission rate, it is determined whether or not transmission is completed by the deadline time. If it is determined that the time limit is exceeded, the process proceeds to S514.
(S508) If it is determined that the deadline time is not exceeded, it is determined whether the encoding processing capability (graphic processing capability) has a margin equal to or greater than a predetermined threshold. When it is determined that there is no margin in the encoding processing capacity, the process proceeds to S522.
(S509) If it is determined that there is a margin in the encoding processing capability, it is determined whether there is an encoding parameter that shortens the transmission time as compared to the first encoding parameter. If there is an encoding parameter that shortens the transmission time, the process proceeds to S511.
(S510) If there is no second encoding parameter that has a transmission time shorter than the first encoding parameter, or if the bit rate changed by the transmission speed is less than the bit rate of the video data, Convert to reduce the number of pixels.
(S511) Select a second encoding parameter that shortens the transmission time compared to the first encoding parameter. As the transmission time of the selected second encoding parameter is shorter, the time for detecting the expiration of the deadline time can be advanced (the marginal time difference of t L -t D is increased) (see FIG. 3).
(S512) Encoding processing is executed on the same video data as in S504 using the second encoding parameter.
(S513) Buffer the second encoded data. Then, the process proceeds to S522.
（Ｓ５１４）期限時刻を超過すると判定された場合、第１のエンコード化データの送信を停止する。
（Ｓ５１５）次に、バッファ済みのデータがあるか否かを判定する。
（Ｓ５１６）バッファ済みのデータがある場合、Ｓ５１３でバッファしていた第２のエンコード化データを、ネットワークを介して受信装置へ送信する。
（Ｓ５１７〜Ｓ５２０）バッファ済みのデータがない場合、Ｓ５０９〜Ｓ５１２と同様の処理をする。
（Ｓ５２１）Ｓ５２０にて第２のエンコードパラメータでエンコードされた第２のエンコード化データを、ネットワークを介してデータ受信装置３へ送信する。
(S514) If it is determined that the time limit is exceeded, the transmission of the first encoded data is stopped.
(S515) Next, it is determined whether there is buffered data.
(S516) If there is buffered data, the second encoded data buffered in S513 is transmitted to the receiving apparatus via the network.
(S517 to S520) If there is no buffered data, the same processing as S509 to S512 is performed.
(S521) The second encoded data encoded with the second encoding parameter in S520 is transmitted to the
以上、詳細に説明したように、本発明のデータ送信装置、プログラム及び方法によれば、映像データに基づくエンコード化データを送信中に、ネットワークの伝送速度の低下によって、期限時刻までに送信が完了しないことが検出された場合であっても、ネットワークの伝送速度の低下を考慮したエンコード化データを予め生成しておくことによって、期限時刻までに送信を完了することができる。ユーザは、データ送信装置へ、送信すべき１つ以上の映像データと、その期限時刻とを入力するだけである。 As described above in detail, according to the data transmission device, program and method of the present invention, transmission of encoded data based on video data is completed by the time limit due to a decrease in the transmission speed of the network during transmission of encoded data based on video data. Even if it is detected that the transmission is not performed, transmission can be completed by the deadline time by generating in advance encoded data that takes into account the decrease in the transmission speed of the network. The user only inputs one or more video data to be transmitted and its time limit to the data transmission device.
前述した本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。 Various changes, modifications, and omissions of the above-described various embodiments of the present invention can be easily made by those skilled in the art. The above description is merely an example, and is not intended to be restrictive. The invention is limited only as defined in the following claims and the equivalents thereto.
１ データ送信装置
１０１ ユーザインタフェース部
１０２ 映像データインタフェース部
１０３ 通信インタフェース部
１１１ 映像データ蓄積部
１１２ エンコード部
１１３ データ送信部
１２１ 送信条件設定部
１２２ 伝送速度測定部
１２３ 期限時刻超過検出部
１２４ エンコードパラメータ選択部
１２５ 送信データ制御部
１２６ 映像変換部
２ カメラ
３ データ受信装置
DESCRIPTION OF
Claims (8)
送信すべき１つ以上の原データと、送信完了期限時刻ｔＬとを設定する送信条件設定手段と、
前記ネットワークにおける伝送速度を測定する伝送速度測定手段と、
エンコード化データの送信中に、現時点の伝送速度に応じて、前記送信完了期限時刻ｔＬまでに送信が完了しないことを検出する期限時刻超過検出手段と、
原データに基づく第１のエンコードパラメータと、当該第１のエンコードパラメータよりも短い伝送時間となる第２のエンコードパラメータとを選択するエンコードパラメータ選択手段と、
前記原データを第１のエンコードパラメータでエンコードした第１のエンコード化データを前記データ送信手段へ出力すると共に、前記原データを第２のエンコードパラメータでエンコードするエンコード手段と、
第１のエンコード化データを前記データ送信手段から送信中に、前記期限時刻超過検出手段によって前記送信完了期限時刻までに送信が完了しないことが検出された際、第１のエンコード化データの送信を停止すると共に、第２のエンコード化データを前記データ送信手段から送信するべく制御する送信データ制御手段と
を有することを特徴とするデータ送信装置。 In a data transmission apparatus having data transmission means for transmitting encoded data obtained by encoding original data to a reception apparatus via a network,
Transmission condition setting means for setting one or more original data to be transmitted and a transmission completion time limit t L ;
A transmission rate measuring means for measuring a transmission rate in the network;
A deadline time detection means for detecting that transmission is not completed by the transmission completion deadline time t L according to a current transmission rate during transmission of encoded data;
Encoding parameter selection means for selecting a first encoding parameter based on the original data and a second encoding parameter having a transmission time shorter than the first encoding parameter;
Outputting first encoded data obtained by encoding the original data with a first encoding parameter to the data transmitting means, and encoding means for encoding the original data with a second encoding parameter;
During transmission of the first encoded data from the data transmission means, transmission of the first encoded data is performed when it is detected by the expiration time excess detection means that the transmission is not completed by the transmission completion deadline time. And a transmission data control means for controlling to transmit the second encoded data from the data transmission means.
前記エンコードパラメータ選択手段は、第１のエンコードパラメータよりも短い伝送時間となる第２のエンコードパラメータが無い場合、又は、伝送速度によって変更されたビットレートが当該映像データのビットレートよりも過小な場合、映像データにおける画素数を減らすべく変換する映像変換手段を更に有することを特徴とする請求項１から３のいずれか１項に記載のデータ送信装置。 The original data is video data,
When there is no second encoding parameter having a transmission time shorter than the first encoding parameter, or when the bit rate changed according to the transmission speed is lower than the bit rate of the video data, the encoding parameter selection unit 4. The data transmission device according to claim 1, further comprising video conversion means for converting to reduce the number of pixels in the video data.
映像フォーマット、
画面サイズ（解像度）
フレームレート、
ビットレート、
空間方向の画素間予測を用いて符号化を行うフレームの割合、
時間方向の画素間予測を用いて符号化を行うフレームの割合、
画素間予測の探索を行う範囲の大きさ、
画素間予測の探索に用いるアルゴリズムの種別、
量子化パラメータの大きさ、
空間方向の画素成分を間引く割合、
画像の色成分を間引く割合、
単位時間あたりのフレーム数、
情報圧縮に用いる符号化のアルゴリズムの種類、
画素の周波数変換に用いる方式種別
のいずれか又はそれら複数の組み合わせを含むパラメータセットに基づくものであることを特徴とする請求項４又は５に記載のデータ送信装置。 The encoding parameter is
Video format,
Screen size (resolution)
frame rate,
bit rate,
The percentage of frames to be encoded using spatial inter-pixel prediction,
Percentage of frames to be encoded using temporal inter-pixel prediction,
The size of the range to search for inter-pixel prediction;
The type of algorithm used to search for inter-pixel prediction,
The size of the quantization parameter,
The ratio of thinning out pixel components in the spatial direction,
The ratio of thinning out the color components of the image,
The number of frames per unit time,
The type of encoding algorithm used for information compression;
6. The data transmission apparatus according to claim 4, wherein the data transmission apparatus is based on a parameter set including any one or a plurality of combinations of scheme types used for pixel frequency conversion.
送信すべき１つ以上の原データと、送信完了期限時刻ｔＬとを設定する送信条件設定手段と、
前記ネットワークにおける伝送速度を測定する伝送速度測定手段と、
エンコード化データの送信中に、現時点の伝送速度に応じて、前記送信完了期限時刻ｔＬまでに送信が完了しないことを検出する期限時刻超過検出手段と、
原データに基づく第１のエンコードパラメータと、当該第１のエンコードパラメータよりも短い伝送時間となる第２のエンコードパラメータとを選択するエンコードパラメータ選択手段と、
前記原データを第１のエンコードパラメータでエンコードした第１のエンコード化データを前記データ送信手段へ出力すると共に、前記原データを第２のエンコードパラメータでエンコードするエンコード手段と、
第１のエンコード化データを前記データ送信手段から送信中に、前記期限時刻超過検出手段によって前記送信完了期限時刻までに送信が完了しないことが検出された際、第１のエンコード化データの送信を停止すると共に、第２のエンコード化データを前記データ送信手段から送信するべく制御する送信データ制御手段と
してコンピュータを機能させることを特徴とするデータ送信用のプログラム。 In a data transmission apparatus equipped with a computer, the data transmission program for causing a computer to function as data transmission means for transmitting encoded data obtained by encoding original data to a reception apparatus via a network,
Transmission condition setting means for setting one or more original data to be transmitted and a transmission completion time limit t L ;
A transmission rate measuring means for measuring a transmission rate in the network;
A deadline time detection means for detecting that transmission is not completed by the transmission completion deadline time t L according to a current transmission rate during transmission of encoded data;
Encoding parameter selection means for selecting a first encoding parameter based on the original data and a second encoding parameter having a transmission time shorter than the first encoding parameter;
Outputting first encoded data obtained by encoding the original data with a first encoding parameter to the data transmitting means, and encoding means for encoding the original data with a second encoding parameter;
During transmission of the first encoded data from the data transmission means, transmission of the first encoded data is performed when it is detected by the expiration time excess detection means that the transmission is not completed by the transmission completion deadline time. A program for data transmission characterized by stopping and causing the computer to function as transmission data control means for controlling to transmit the second encoded data from the data transmission means.
送信すべき１つ以上の原データと、送信完了期限時刻ｔＬとを設定する第１のステップと、
エンコード化データの送信中に、ネットワークにおける現時点の伝送速度を測定し、前記送信完了期限時刻ｔＬまでに送信が完了しないことを検出する第２のステップと、
原データに基づく第１のエンコードパラメータと、当該第１のエンコードパラメータよりも短い伝送時間となる第２のエンコードパラメータとを選択する第３のステップと、
前記原データを第１のエンコードパラメータでエンコードした第１のエンコード化データを前記データ送信手段へ出力すると共に、前記原データを第２のエンコードパラメータでエンコードする第４のステップと、
第１のエンコード化データを前記データ送信部から送信中に、前記送信完了期限時刻までに送信が完了しないことが検出された際、第１のエンコード化データの送信を停止すると共に、第２のエンコード化データを前記データ送信部から送信するべく制御する第５のステップと
を有することを特徴とするデータ送信方法。 In a data transmission method in a data transmission device having a data transmission unit that transmits encoded data obtained by encoding original data to a reception device via a network.
A first step of setting one or more original data to be transmitted and a transmission completion time limit t L ;
A second step of measuring a current transmission rate in the network during transmission of the encoded data and detecting that transmission is not completed by the transmission completion time limit t L ;
A third step of selecting a first encoding parameter based on the original data and a second encoding parameter having a transmission time shorter than the first encoding parameter;
Outputting a first encoded data obtained by encoding the original data with a first encoding parameter to the data transmitting means, and a fourth step of encoding the original data with a second encoding parameter;
During transmission of the first encoded data from the data transmission unit, when it is detected that transmission is not completed by the transmission completion deadline time, transmission of the first encoded data is stopped, and second transmission And a fifth step of controlling the encoded data to be transmitted from the data transmission unit.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010193267A JP5385230B2 (en) | 2010-08-31 | 2010-08-31 | Data transmission device, program and method for completing data transmission by expiration time |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010193267A JP5385230B2 (en) | 2010-08-31 | 2010-08-31 | Data transmission device, program and method for completing data transmission by expiration time |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2012054634A JP2012054634A (en) | 2012-03-15 |
| JP5385230B2 true JP5385230B2 (en) | 2014-01-08 |
Family
ID=45907541
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010193267A Expired - Fee Related JP5385230B2 (en) | 2010-08-31 | 2010-08-31 | Data transmission device, program and method for completing data transmission by expiration time |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5385230B2 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014064793A1 (en) * | 2012-10-25 | 2014-05-01 | 株式会社日立製作所 | Analysis-result-data distribution device, analysis-result-data distribution system and analysis-result presentation terminal |
| JP6755347B2 (en) * | 2019-02-06 | 2020-09-16 | 三菱電機インフォメーションネットワーク株式会社 | Transmission device, transmission method, transmission program and transfer system |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7533398B2 (en) * | 2002-07-26 | 2009-05-12 | The Associated Press | Automatic selection of encoding parameters for transmission of media objects |
| JP2007180927A (en) * | 2005-12-28 | 2007-07-12 | Canon Inc | Transmitting device |
-
2010
- 2010-08-31 JP JP2010193267A patent/JP5385230B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2012054634A (en) | 2012-03-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5196666B2 (en) | Data transmission device, program and method for completing data transmission by expiration time | |
| US8848782B2 (en) | Reception apparatus, reception method, and program with encoding bit rate determination | |
| TWI586177B (en) | Adaptive bit rate control based on scenes | |
| US8243806B2 (en) | Recording and reproducing apparatus, sending apparatus and transmission system | |
| EP3176749A2 (en) | Efficient image processing on content-adaptive pq signal domain | |
| US7346271B2 (en) | Apparatus and method for converting a compressed video stream with preview of converted stream | |
| KR102013461B1 (en) | System and method for enhanced remote transcoding using content profiling | |
| US20060168350A1 (en) | Image processing apparatus | |
| JP5717870B2 (en) | COMMUNICATION DEVICE, COMMUNICATION METHOD, AND PROGRAM | |
| JP2011019068A (en) | Quality control device, quality control system, quality control method, and program | |
| WO2013011671A1 (en) | Transmission device and transmission method | |
| JP6653353B2 (en) | Transmission / reception system, transmission device, reception device, and image transmission method | |
| JP5385230B2 (en) | Data transmission device, program and method for completing data transmission by expiration time | |
| TWI655865B (en) | A method for configuration of video stream output from a digital video camera | |
| US20110317758A1 (en) | Image processing apparatus and method of processing image and video | |
| JP4451856B2 (en) | Video quality estimation apparatus, method, and program | |
| JP2012029219A (en) | Data transmitter, program and method for completing data transmission before time limit | |
| JP4447443B2 (en) | Image compression processor | |
| JP2008141326A (en) | Imaging system and camera unit | |
| US7983530B2 (en) | Recording and playback apparatus and recording and playback method, recording apparatus and recording method, playback apparatus and playback method, and program | |
| JP2018139349A (en) | Video processing apparatus and video processing program | |
| JP2021158614A (en) | Image processing apparatus and program | |
| JP2006310912A (en) | Moving picture bit rate conversion method, moving picture bit rate conversion apparatus, moving picture bit rate conversion circuit, and program recording medium | |
| JP6045051B1 (en) | Moving picture transmission apparatus and moving picture transmission method | |
| JP2012120011A (en) | Moving image communication apparatus, digital video camera, recording media, and semiconductor integrated circuit |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130304 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130805 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130807 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130918 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131003 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131003 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |