JP2007088771A - Video image compression transmitting device and video image compressing method - Google Patents
Video image compression transmitting device and video image compressing method Download PDFInfo
- Publication number
- JP2007088771A JP2007088771A JP2005274484A JP2005274484A JP2007088771A JP 2007088771 A JP2007088771 A JP 2007088771A JP 2005274484 A JP2005274484 A JP 2005274484A JP 2005274484 A JP2005274484 A JP 2005274484A JP 2007088771 A JP2007088771 A JP 2007088771A
- Authority
- JP
- Japan
- Prior art keywords
- video
- compression
- unit
- compression encoding
- encoding method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Abandoned
Links
Images
Landscapes
- Studio Devices (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
Description
本発明は、映像源から得られる原映像に圧縮符号化を施した後、それを通信網へ送出する映像圧縮送信装置、および映像圧縮方法に関する。 The present invention relates to a video compression / transmission apparatus and a video compression method for performing compression coding on an original video obtained from a video source and then sending the compressed video to a communication network.
映像圧縮送信装置の一態様としては、ビデオ会議システムにおける端末装置、災害検知や防犯用のための遠隔監視システムにおける監視映像送信装置等が挙げられる。以下では、前者の態様を例にとって、従来技術について述べる。
典型的なビデオ会議システムの端末装置は、大別して二つの機能を有する。第一に、各ビデオ会議端末装置は、空間的に隔離して存在する複数の会議拠点に設置され、映像源としてビデオカメラを有し、各ビデオカメラはその会議拠点における会議参加者を撮像し、得られた撮像映像に圧縮符号化を施した後、対地となる各会議拠点へ何らかの通信網を介して、その圧縮符号化映像を送信する機能を有する。また第二に、ビデオ会議端末装置は、他の端末装置により送信された圧縮符号化映像を受信し、それを復号伸張化して原映像を得、TVなどの表示装置に映し出す機能を有する。
As one aspect of the video compression transmission device, there are a terminal device in a video conference system, a monitoring video transmission device in a remote monitoring system for disaster detection and crime prevention, and the like. Hereinafter, the prior art will be described taking the former mode as an example.
A terminal device of a typical video conference system roughly has two functions. First, each video conference terminal device is installed at a plurality of conference bases that are spatially separated and has a video camera as a video source, and each video camera images a conference participant at the conference base. After the obtained captured video is compressed and encoded, it has a function of transmitting the compressed and encoded video to each conference base as a ground via some communication network. Secondly, the video conference terminal device has a function of receiving a compression-encoded video transmitted from another terminal device, decoding and decompressing it, obtaining an original video, and displaying it on a display device such as a TV.
既存のビデオ会議端末装置の多くは、会議参加者が任意の会議拠点のビデオ会議端末装置のビデオカメラに対して、パン/チルト、ズームイン/ズームアウト、フォーカス調節などといった遠隔操作を行なうための機能を備えている。まず、利用者である会議参加者には、何らかのビデオカメラ遠隔操作用のインターフェースが提供される。該インターフェースは、ある会議拠点の会議参加者が、他の会議拠点のビデオ会議端末装置に属するビデオカメラに対して、上記のような操作命令の発行できるようにするものである。該インターフェースにより発行されたビデオカメラの操作命令は、***作対象のビデオカメラを有するビデオ会議端末装置へ何らかの通信網を介して送信され、該会議端末装置からビデオカメラへと中継される。
利用者が遠隔の会議拠点に設置されたビデオカメラを操作する際には、***作対象のビデオカメラを有するビデオ会議端末装置より送り届けられた映像を参照しつつ、パン/チルトといった遠隔操作を行うことが想定される。こういった環境下のビデオカメラの遠隔操作について、良好な操作性を達成するためには、利用者による操作命令の発行から、その操作命令が反映された映像が利用者に送り届けられるまでに要する遅延時間を十分短縮することが望まれるのが一般である。
もし、利用者による操作命令の発行から、その操作命令が反映された映像を利用者が得るまでの遅延時間が大きい場合、利用者はビデオカメラの遠隔操作に対して、応答性の悪さを感じてしまうため、結果として良好な操作性を達成できなくなる。
Many of the existing video conference terminal devices are functions that allow conference participants to perform remote operations such as pan / tilt, zoom in / zoom out, focus adjustment, etc. on the video camera of the video conference terminal device at any conference base It has. First, some video camera remote control interface is provided to a conference participant who is a user. The interface enables a conference participant at a certain conference base to issue the operation command as described above to a video camera belonging to a video conference terminal device at another conference base. The operation instruction of the video camera issued by the interface is transmitted to the video conference terminal device having the operation target video camera via some communication network, and relayed from the conference terminal device to the video camera.
When a user operates a video camera installed at a remote conference base, a remote operation such as pan / tilt is performed while referring to an image sent from a video conference terminal device having a target video camera. It is assumed that In order to achieve good operability for video camera remote control in such an environment, it takes from the issuance of the operation command by the user until the video reflecting the operation command is delivered to the user. In general, it is desirable to sufficiently shorten the delay time.
If the delay time from issuance of an operation command by the user until the user obtains a video reflecting the operation command is large, the user feels poor response to the remote operation of the video camera. As a result, good operability cannot be achieved.
操作命令の発行から、その操作命令が反映された映像が利用者に送り届けられるまでの遅延時間は、様々な因子により発生する遅延時間の合算値にあたるが、その合算値の多くを占める因子は、映像の圧縮符号化及び復号化方式に起因した遅延時間である。通信網上で映像伝送を行なう場合、通信経路が有する帯域幅などのキャパシティを考慮した上で、単位時間当たりに伝送する情報量を削減する要求と、送り届ける映像の画質を保持するという要求とが並行して存在するのが一般である。これらを両立するために、映像の圧縮符号化時には、専らフレーム間圧縮を用いる。フレーム間圧縮とは、ある時系列単位に属するビデオフレーム群に対して変更部分を予測し、その予測から得られたビデオフレームとの実際のビデオフレームとの差分情報のみを符号化することにより、符号化情報量を大きく削減できる圧縮符号化方式である。すなわち、フレーム間圧縮を用いた映像圧縮送信装置を用いた場合、その圧縮アルゴリズム上、符号化処理時、及び、復号化処理時にそれぞれ数フレーム分に渡る遅延が発生することとなる。 The delay time from the issuance of an operation command until the video reflecting the operation command is delivered to the user corresponds to the sum of the delay times generated by various factors, but the factor that accounts for most of the sum is This is the delay time resulting from the video compression encoding and decoding method. When performing video transmission over a communication network, taking into account the capacity of the communication path, such as bandwidth, a request to reduce the amount of information transmitted per unit time, and a request to maintain the quality of the video to be delivered Are generally present in parallel. In order to achieve both of these, inter-frame compression is exclusively used during video compression encoding. Inter-frame compression is a method of predicting a changed part for a video frame group belonging to a certain time series unit, and encoding only difference information between the actual video frame and the video frame obtained from the prediction, This is a compression encoding method that can greatly reduce the amount of encoded information. That is, when a video compression / transmission apparatus using inter-frame compression is used, a delay of several frames occurs during the encoding process and the decoding process due to the compression algorithm.
以上ビデオ会議端末装置の例を用いて説明したように、空間的に隔離された拠点に設置された映像源に対する操作を、通信網を介して送り届けられる撮像映像を参照しながら行なう際には、映像の圧縮符号化及び復号伸張化処理に要する遅延に起因した応答性の問題を解消する手段が必要となる。最も簡単な解決手段の例としては、フレーム間圧縮を適用しないことによって、遅延時間の低減を達成することが考え得るが、この場合、通信回線上に送出する情報量が増大するという弊害がある。または、各ビデオフレームの符号化情報量を、フレームレートや画像解像度を下げるなどして符号化情報量を節減する手段も考えられるが、この場合、情報の欠落が大きいため復号伸張化後の画質が劣化するという弊害がある。 As described above using the example of the video conference terminal device, when performing an operation on a video source installed at a spatially isolated base with reference to a captured video delivered via a communication network, There is a need for means for solving the problem of responsiveness caused by delay required for video compression encoding and decoding expansion processing. As an example of the simplest solution, it can be considered that the delay time is reduced by not applying the inter-frame compression. However, in this case, there is an adverse effect that the amount of information transmitted on the communication line increases. . Alternatively, a means of reducing the amount of encoded information by reducing the frame rate and image resolution by reducing the amount of encoded information of each video frame is also conceivable. Has the negative effect of deteriorating.
以上では、ビデオ会議端末装置におけるビデオカメラを利用者が操作する場合を説明したが、映像圧縮送信装置におけるカメラ、特に監視用ビデオカメラには自動追尾機能などが備えられている場合がある。この場合も、上述同様の問題が発生する。すなわち、映像の圧縮符号化及び復号化方式に起因した遅延時間等により、カメラの追尾が反映された映像を利用者が取得する際の応答性が悪くなる。
本発明は、空間的に隔離された拠点に設置された映像源の位置や姿勢が変更された場合等において応答性よく映像を取得できるようにした映像圧縮送信装置および映像圧縮方法を提供する。 The present invention provides a video compression / transmission apparatus and a video compression method capable of acquiring a video with high responsiveness when the position or posture of a video source installed at a spatially isolated base is changed.
本発明の一態様としての圧縮映像送信装置は、映像信号を出力する撮像手段と、前記撮像手段の位置および姿勢の少なくとも一方を変更する駆動手段と、前記撮像手段の駆動状態に応じて、前記映像信号の圧縮符号化方式を選択する選択部と、選択した前記圧縮符号化方式によって前記映像信号を圧縮する圧縮手段と、圧縮された映像信号と、前記選択された圧縮符号化方式を示す情報とを送信する通信手段と、を備える。 The compressed video transmission apparatus as one aspect of the present invention includes an imaging unit that outputs a video signal, a driving unit that changes at least one of a position and an orientation of the imaging unit, and a driving state of the imaging unit. A selection unit that selects a compression encoding method of the video signal, a compression unit that compresses the video signal by the selected compression encoding method, a compressed video signal, and information indicating the selected compression encoding method And a communication means for transmitting.
本発明の一態様としての圧縮映像送信装置は、ズーム光学系および前記ズーム光学系を駆動する駆動手段を含む、映像信号を出力する撮像手段と、前記ズーム光学系の駆動状態に応じて、前記映像信号の圧縮符号化方式を選択する選択部と、選択した前記圧縮符号化方式によって前記映像信号を圧縮する圧縮手段と、圧縮された映像信号と、前記選択された圧縮符号化方式を示す情報とを送信する通信手段と、を備える。 The compressed video transmission apparatus as one aspect of the present invention includes an imaging unit that outputs a video signal including a zoom optical system and a driving unit that drives the zoom optical system, and the driving state of the zoom optical system. A selection unit that selects a compression encoding method of the video signal, a compression unit that compresses the video signal by the selected compression encoding method, a compressed video signal, and information indicating the selected compression encoding method And a communication means for transmitting.
本発明の一態様としての映像圧縮方法は、位置および姿勢の少なくとも一方を駆動により変更可能な撮像手段により撮像対象を撮像し、前記撮像手段の駆動状態に応じて、前記撮像手段から出力される映像信号の圧縮符号化方式を選択し、選択した前記圧縮符号化方式によって前記映像信号を圧縮し、圧縮された撮像信号と、前記選択された圧縮符号化方式を示す情報とを送信する。 In the video compression method as one aspect of the present invention, an imaging target is imaged by an imaging unit capable of changing at least one of a position and a posture by driving, and output from the imaging unit according to a driving state of the imaging unit. A video signal compression encoding method is selected, the video signal is compressed by the selected compression encoding method, and a compressed imaging signal and information indicating the selected compression encoding method are transmitted.
本発明の一態様としての映像圧縮方法は、ズーム光学系と前記ズーム光学系を駆動する駆動手段とを含む撮像手段により撮像対象を撮像し、前記ズーム光学系の駆動状態に応じて、前記撮像手段から出力される映像信号の圧縮符号化方式を選択し、選択した前記圧縮符号化方式によって前記映像信号を圧縮し、圧縮された映像信号と、前記選択された圧縮符号化方式を示す情報とを送信する。 According to another aspect of the present invention, there is provided a video compression method in which an imaging target is imaged by an imaging unit including a zoom optical system and a driving unit that drives the zoom optical system, and the imaging is performed according to a driving state of the zoom optical system. Selecting a compression encoding method of the video signal output from the means, compressing the video signal by the selected compression encoding method, compressed video signal, and information indicating the selected compression encoding method; Send.
本発明により、空間的に隔離された拠点に設置された映像源の位置や姿勢が変更した場合等において応答性よく映像を取得できる。 According to the present invention, an image can be acquired with high responsiveness when the position or posture of an image source installed at a spatially isolated base is changed.
以下、図面を参照しながら、本発明の実施形態について、詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
図1は、本発明の一実施の形態としての映像圧縮送信装置を示すブロック図である。図2は、図1の映像圧縮送信装置から圧縮符号化映像を受信し表示する受信装置の一態様を示す。 FIG. 1 is a block diagram showing a video compression / transmission apparatus as an embodiment of the present invention. FIG. 2 shows an aspect of a receiving apparatus that receives and displays the compressed and encoded video from the video compression / transmission apparatus of FIG.
図1の映像圧縮送信装置は、映像源11と映像圧縮送信処理部12とを備える。映像源11は、原映像を生成する映像生成部111と、映像生成部111の駆動状態(例えば映像撮影部1111(図3参照)の位置/姿勢駆動状態、映像撮影部1111におけるズーム光学系の駆動状態)を示す冗長情報を生成する冗長情報生成部112とから構成される。映像圧縮送信処理部12は、映像源11に対する制御信号を生成する映像源制御信号生成部121と、通信網10へ圧縮符号化された映像を送出し、並びに、通信網10から映像源11に対する操作命令を受信する通信処理部122と、複数の映像圧縮符号化手段を有し原映像に対して少なくともいずれかの映像圧縮符号化手段を用いて映像圧縮符号化を施す映像圧縮符号化処理部123と、映像源11から原映像を入力する映像入力部124と、冗長情報生成部112から直接または映像入力部124を経由して冗長情報を入力し、該冗長情報を基として原映像に適用する映像圧縮符号化手段を選択し、選択した映像圧縮符号化手段に映像入力部124からの原映像を出力する符号化手段選択部125とから構成される。原映像の選択された圧縮符号化手段への入力は、符号化手段選択部125を経由せずに行ってもよい。この場合、符号化手段選択部125が、映像入力部124に圧縮符号化手段を指定し、映像入力部124が圧縮符号化手段へ直接原映像を入力する。
The video compression / transmission apparatus in FIG. 1 includes a video source 11 and a video compression / transmission processing unit 12. The video source 11 includes a
映像圧縮符号化処理部123における各映像圧縮符号化手段は、符号化方式とその方式における符号化パラメータとの組合せによって定義される。図1の映像圧縮符号化処理部123では、高品質映像圧縮符号化手段1231と低遅延映像圧縮符号化手段1232のみが記載されているが、本発明は映像圧縮符号化手段の種類数に制限を設けるものではない。
Each video compression coding means in the video compression
映像生成部111によって生成された原映像は、映像入力部124に入力されるとともに、冗長情報生成部112によって何らかの冗長情報が関連付けられる。冗長情報生成部112から映像入力部124を経由して符号化手段選択部125へ延びる実線矢印は原映像の流れを示し、冗長情報生成部112から映像入力部124を経由して符号化手段選択部125へ延びる点線矢印は冗長情報の流れを示す。該冗長情報は、映像撮影部1111の位置/姿勢駆動状態、および映像撮影部1111におけるズーム光学系の駆動状態に応じて、冗長情報生成部112によって生成される。これらの駆動状態は、通信網10より映像源11に対する操作命令を受信した場合に変更される。また、映像源11が自律駆動を行う場合(例えば映像生成部111が自動追尾機能を有する場合)も随時変更される。該冗長情報は、何らかの伝達手段によって符号化手段選択部125に伝達される。符号化手段選択部125は、映像圧縮符号化処理部123へ出力する原映像に対しどの映像圧縮符号化手段を適用すべきかを上記冗長情報に従って判定する。
The original video generated by the
映像圧縮符号化処理部123から出力された圧縮符号化映像は、通信処理部122 によって通信網10を介して適切な宛先へ送出される。この際、通信処理部122は、圧縮符号化映像に対し、映像圧縮符号化処理部123で適用した映像圧縮符号化方式の識別情報や符号化パラメータ情報等の情報を関連付けて送出する。
The compressed and encoded video output from the video compression and
通信処理部122は、通信網10より映像源11に対する操作命令を受信した場合、その操作命令を映像源制御信号生成部121へと中継する。映像源制御信号生成部121は、該操作命令を受け取ると、その命令内容に対応した映像源11に対する制御信号を生成し送信する。
When the
このように、図1の映像圧縮送信装置は、原映像に対して映像圧縮符号化処理部123が適用する映像圧縮符号化方式を、上記冗長情報に基づいて、様々なバリエーションで切り替えられるように構成される。以下、この映像圧縮送信装置の詳細について述べる。
As described above, the video compression / transmission apparatus in FIG. 1 can switch the video compression coding method applied by the video compression
図3は、映像生成部111の一態様を示す。
映像生成部111は、カメラレンズや受光素子などを含むズーム光学系とズーム光学系を駆動する駆動手段とを有するビデオカメラ本体に相当する映像撮影部1111、映像撮影部1111を固定するアーム1112、アーム1112を上下に(図中矢印方向に)動かす垂直回動部1113、アーム1112を固定する雲台1114、雲台1114を図中矢印方向に回転させる水平回動部1115、アーム1112及び雲台1114が為す角度をデジタル情報として標本化する傾斜角AD変換部1116、雲台の回転角度をデジタル情報として標本化する旋回角AD 変換部1117を有する。1113〜1115は例えば駆動手段に対応し、これらにより映像撮影部1111の位置および姿勢を変更可能である。垂直回動部1113は、垂直方向への変位角を電圧値として取得するセンサー(ポテンションメーター等)を有する。同様に水平回動部1115は、水平方向への変位角を電圧値として取得するセンサー(ポテンションメーター等)を有する。
FIG. 3 shows an aspect of the
The
映像源制御信号生成部121により、垂直回動部1113や水平回動部1115に対して制御が与えられると、その際発生した角度の変位量がそれぞれ傾斜角AD変換部1116、旋回角AD変換部1117に伝えられ、デジタル情報に変換された後、冗長情報生成部112 に伝達される。映像生成部111が自律的に垂直回動部1113や水平回動部1115を回動可能な場合(この場合、映像源制御信号生成部121から制御が与えられない)も同様に、その際発生した角度の変位量がそれぞれ傾斜角AD変換部1116、旋回角AD変換部1117に伝えられ、デジタル情報に変換された後、冗長情報生成部112 に伝達される。
When the video source control
以上は映像生成部111が為すべき態様の一例に過ぎず、ここに示した限りではない。例えば、ズーム光学系の焦点距離を映像撮影部1111から冗長情報生成部112に伝達してもよい。また、映像生成部111が車輪や足等を有する等して自走可能な装置(自律歩行ロボットに搭載されたビデオカメラ等)である場合には、その駆動部分にセンサーを取り付けることによって、映像撮影部1111の回動方向、変位量等の情報を冗長情報生成部112に伝達してもよい。乃至は、こういったセンサーを用いず、映像生成部111に制御用プロセッサを搭載する等して、そういった情報だけでなく他の情報(ズームイン/アウト等)を該プロセッサから冗長情報生成部112に伝達してもよい。
The above is only an example of the mode to be performed by the
冗長情報生成部112は、傾斜角AD変換部1116及び旋回角AD変換部1117から取得された情報を、単位時間毎に集計することにより、映像撮影部1111の回動方向、変位量を入力する。これにより、冗長情報生成部112は、映像撮影部1111の位置および姿勢にどのような変化が生じたのかを知り、これを撮像映像に対する冗長情報(後述する図5参照)として逐次エンコードして、符号化手段選択部125に通知する。冗長情報生成部112 は、取得された情報を適当な離散値、例えば変位量の大・小・無し等として冗長情報へエンコードしてもよい。
The redundant
符号化手段選択部125は、冗長情報生成部112より冗長情報を取得すると、その内容に基づいて符号化手段を選択する。例えば、映像圧縮符号化処理部123が3 種類の映像圧縮符号化手段を有し、第1の映像圧縮符号化手段は、映像撮影部1111が静止している時に適用されるものであり、また第2の映像圧縮符号化手段は、映像撮影部1111が低速で回動している時に適用されるものであり、また第3の映像圧縮符号化手段は、映像撮影部1111が高速で回動している時に適用されるものである場合、符号化手段選択部125は、冗長情報生成部112から伝達される冗長情報における変位量に着目し、もし変位量が大であった場合、第3の映像圧縮符号化手段を活性化し、またもし変位量が小であった場合、第2の映像圧縮符号化手段を活性化し、またもし変位量が無しの場合、第1の映像圧縮符号化手段を活性化することが一例として考えられる。活性化する映像圧縮符号化手段を選択する方法については、映像圧縮符号化処理部123が、物理的に複数の映像圧縮符号化手段を有する場合には、映像の出力先の映像圧縮符号化手段を適宜変更して行う形態、乃至、映像圧縮符号化処理部123が物理的に1つの映像圧縮符号化手段を有する場合には、その映像圧縮符号化手段の動作設定を適宜変更して行う形態が考えられる。
When obtaining the redundant information from the redundant
次に、図2を用いて、図1の映像圧縮送信装置から圧縮符号化映像を受信し表示する受信装置について説明する。 Next, a receiving apparatus that receives and displays a compression-encoded video from the video compression / transmission apparatus of FIG. 1 will be described with reference to FIG.
図2の受信装置は、映像圧縮送信装置の映像源11に対する操作命令を生成するための映像源操作命令生成部21と、圧縮映像受信復元処理部22と、該処理部22から出力される復号伸張化後の原映像を表示する映像表示部23とを備える。
2 includes a video source operation
該処理部22は、映像圧縮送信装置から通信網20を介して送り届けられた圧縮符号化映像を受信し、並びに、映像源操作命令生成部21により生成された映像源11に対する操作命令を送信する通信処理部221と、該通信処理部221から圧縮符号化映像を入力し、該映像に施された圧縮符号化方式と符号化に用いたパラメータに基づいて、圧縮符号化映像の復号化手段を選択する復号化手段選択部222と、該復号化手段選択部222により選択された復号化手段により、圧縮符号化映像を復号伸張化する圧縮映像復号化処理部223と、復号伸張化後の原映像を入力し、その原映像を映像表示部23へと出力する映像出力部224から構成される。尚、通信網10と通信網20の伝送媒体については、本発明の提案範囲外であり、これに制限を設けない。
The
以下、図1に示す映像圧縮送信装置を利用者から空間的に隔離された拠点に設置し、また、利用者は利用者近傍に設置された図2に示す受信装置に備えられた映像原操作命令生成部21を用いて、映像圧縮送信装置の映像源11に対する遠隔操作を行なう利用ケースを想定して、本発明について具体的な解説を行なう。
In the following, the video compression / transmission apparatus shown in FIG. 1 is installed at a site spatially isolated from the user, and the user operates the video original operation provided in the reception apparatus shown in FIG. 2 installed near the user. A specific explanation of the present invention will be given assuming a use case in which the
例えば、映像源11が監視用ビデオカメラの場合、映像源11により生成される撮像映像には、監視用ビデオカメラが完全に静止した過程から得られる撮像映像と、パン/チルト、ズームアップ/ダウンなどといった駆動過程に得られる撮像映像とがある。監視用ビデオカメラが完全に静止した過程から得られる撮像映像が、映像源11より出力されると、映像生成部111の駆動状態を示す冗長情報が冗長情報生成部112によって生成され、符号化手段選択部125に伝達される。同様に、監視用ビデオカメラの駆動過程に得られる撮像映像が、映像源11より出力されると、映像生成部111の駆動状態を示す冗長情報が冗長情報生成部112によって生成され、符号化手段選択部125 に伝達される。監視用ビデオカメラの駆動過程を示す冗長情報の種類については、駆動状態をより細かく分類するなどして分解能を高めるなどといった応用も考えられ、これによって、符号化手段選択部125における高い粒度での符号化手段の選択を実現することも可能である。
For example, when the video source 11 is a surveillance video camera, the captured video generated by the video source 11 includes a captured video obtained from a process in which the surveillance video camera is completely stationary, pan / tilt, zoom up / down There are captured images obtained during the driving process. When the captured video obtained from the process in which the surveillance video camera is completely stationary is output from the video source 11, redundant information indicating the driving state of the
該冗長情報の伝達手段については、映像信号と同一伝送路上に時分割多重して伝送する手段や、冗長情報生成部112と符号化手段選択部125との間に何らかの伝送路を別途設ける手段や、デジタル伝送路を用いてパケット多重させる手段等が考えられる。図4は、該冗長情報を映像信号と同一伝送路上に時分割多重して伝送する手法について、一例を説明するものである。あるフレームの垂直ブランキング区間における予め定められた走査線に属する輝度信号に対し、70IREのリファレンス信号42と、それに続く各々が70IREまたは0IREをもつ信号列43(冗長情報を含む信号列)を配すことにより、該冗長情報の時分割多重伝送を実現する方法を図示している。40は走査線の水平同期信号である。カラーバースト信号(色情報復調のための基準信号)41が現れた後、所定の遅延時間後にリファレンス信号42が現れ、さらに所定の遅延時間後にN bitの信号列43が現れる。信号列43の各ビットは、波形の大きさがリファレンス信号42の大きさ以上の場合は第1のビット、リファレンス信号42の大きさ未満の場合は第2のビットとなる。
The redundant information transmission means includes means for time-division multiplexing transmission on the same transmission path as the video signal, means for separately providing some kind of transmission path between the redundant
図5は、冗長情報生成部112において冗長情報を上記信号列43へエンコードする手法を、監視用ビデオカメラから出力される映像信号を例にとって説明する図である。冗長情報は動作モード識別子511、パラメータA521、パラメータB531・・・を有する。動作モード識別子511 のビット列は、撮像(静止)、パン、チルト、ズームといった動作モードを表現し、また、パラメータA521のビット列は、各動作モード識別子511に対応して、旋回角、旋回角変化量、傾斜角変化量、ズームイン/アウトといったパラメータを表現し、また、パラメータB531のビット列は、各動作モード識別子511に対応して、傾斜角、旋回速度、傾斜速度、焦点距離といったパラメータを表現する。また、これらに加え、信号列43の後方にCRCビット列(巡回冗長検査ビット列)を印加することにより、伝送エラー時のチェック機能を設けても良い。
FIG. 5 is a diagram illustrating a technique for encoding redundant information into the
尚、これら冗長情報の伝達手段、及び、冗長情報のエンコード手段については、上記の他にも種種の手法が考えられ、本発明は、上記内容に限定されない。 Various methods other than the above can be considered for the redundant information transmission means and the redundant information encoding means, and the present invention is not limited to the above contents.
図1において、映像入力部124に入力された原映像に対して施される圧縮符号化は、符号化手段選択部125において、冗長情報生成部112から入力された冗長情報に基づいて選択される。符号化手段選択部125は、図5の冗長情報の全部に基づいて選択を行ってもよいし、動作モード識別子のみに基づいて選択を行ってもよいし、パラメータ部分のみに基づいて選択を行ってもよい。映像圧縮符号化処理部123は複数の圧縮符号化手段を有し、それぞれ異なる圧縮符号化特性を得るようにバリエーションを持っている。圧縮符号化手段は、圧縮符号化方式と、圧縮符号化方式の特性を決定する符号化パラメータ等との組合せで定義される。
In FIG. 1, compression encoding performed on the original video input to the
現在主流となる映像に関する圧縮符号化標準としては、MPEG-1/2/4、H.263、Motion JPEG等がある。符号化パラメータの例としては、画像解像度、フレームレート、量子化テーブル等を始めとして、より細部に渡るものまで様々な要素が存在する。これら圧縮符号化方式や符号化パラメータを要求に応じて組み合わせることにより、種々の特性を持つ圧縮符号化手段を定義できる。圧縮符号化手段の特性例としては、原映像の画像解像度やフレームレートを保持し、且つ、圧縮符号化及び復号伸張化処理に要する遅延を極力小さくするが、符号化情報量が大きいものや、原映像の画像解像度やフレームレートは保持するが、符号化情報量を小さくすることによって色再現性などの画質劣化が伴うものや、原映像の画像解像度やフレームレートは劣化するが、圧縮符号化及び復号伸張化処理に要する遅延を極力小さくするもの等が考えられる。 There are MPEG-1 / 2/4, H.263, Motion JPEG, and the like as compression coding standards for current mainstream video. Examples of encoding parameters include various elements from image resolution, frame rate, quantization table, etc. to more detailed ones. By combining these compression coding methods and coding parameters as required, compression coding means having various characteristics can be defined. Examples of characteristics of the compression encoding means include maintaining the image resolution and frame rate of the original video and minimizing the delay required for compression encoding and decoding / decompression processing, but with a large amount of encoded information, Although the image resolution and frame rate of the original video are retained, reducing the amount of encoded information may lead to degradation of image quality such as color reproducibility and the image resolution and frame rate of the original video, but compression encoding In addition, it is possible to reduce the delay required for the decoding / decompression processing as much as possible.
これら圧縮符号化手段の圧縮符号化方式の選定や符号化パラメータの決定については、圧縮符号化映像を通信網10、及至は、通信網20上に伝送する際に利用できる帯域幅に基づいて行なっても良い。例としては、画像解像度とフレームレートの保持を重視する高品質映像圧縮符号化手段1231と、圧縮符号化及び復号化遅延の低減を重視する低遅延映像圧縮符号化手段1232とを映像圧縮符号化処理部123に持ち合わせた映像圧縮送信装置の一態様において、各映像圧縮符号手段から圧縮符号化後に得られる圧縮符号化映像の単位時間当たりの符号化情報量を、通信網10、及至は、通信網20上で利用できる帯域幅を下回るように、符号化パラメータの調整を行なう方法が考えられる。この方法を用いた符号化パラメータの例としては、高品質映像圧縮符号化手段1231では、圧縮符号化及び復号伸張化処理に大きな遅延を有するが高い圧縮率を期待できるフレーム間圧縮方式(例えばMPEG-1/2/4、H.263)を用い、一方、低遅延映像圧縮符号化手段1232では、フレーム間圧縮を用いず、伝送する映像フレームを定期的に間引くことによる圧縮方式(例えばMotion JPEG)を用いるケース等が考えられる。
The selection of the compression encoding method of these compression encoding means and the determination of the encoding parameters are performed based on the bandwidth that can be used when the compressed encoded video is transmitted over the
映像圧縮符号化処理部123により圧縮符号化された映像は、通信処理部122に出力される。通信処理部122は、入力した圧縮符号化映像と、該圧縮符号化映像に施された圧縮符号化方式を識別する情報および符号化パラメータ情報とを互いに関連づけて通信網10に受信装置へ宛てて送出する。図6は、該関連付けの一例を説明したものである。通信処理部122が圧縮符号化映像を入力すると、圧縮符号化映像転送データユニット311のサイズに分割し、順々にデータフレーム31に収める。これに加えて、該転送データユニットに関連付けられる圧縮符号化方式識別情報313や該圧縮符号化手段に関する符号化パラメータ情報312も同一のデータフレーム31に収め、順次通信網10へ送出する。
The video compression encoded by the video compression
尚、ここで説明した、圧縮符号化映像と、圧縮符号化方式識別情報と、符号化パラメータ情報とを関連付けて通信網へ送出する手法は一つの例であり、本発明は、これに限定されない。 Note that the method described here of associating the compression-encoded video, the compression-encoding method identification information, and the encoding parameter information with each other and sending them to the communication network is an example, and the present invention is not limited to this. .
一方、図2における受信装置は、通信網20より送り届けられたデータフレーム31を通信処理部221にて受信すると、データフレーム31から圧縮符号化映像転送データユニット311、圧縮符号化方式識別情報313、符号化パラメータ情報312を抽出し、それぞれ復号化手段選択部222へ出力する。復号化手段選択部222は、圧縮符号化方式識別情報313から、圧縮符号化映像に施された符号化方式を判断する。また、該判断結果に基づいて復号化手段を選択し、選択した復号化手段へ圧縮符号化映像を出力する。図2では、圧縮映像復号化処理部223において複数の復号化手段が活性化しているが、これは該受信装置の一態様であって、例えば、圧縮映像復号化処理部223は常に一つの復号化手段のみを活性化しており、復号化手段選択部222より与えられた上記判断結果に基づいて、活性化すべき復号化手段を切り替える(例えばプログラムまたは回路構成を切り替える)ようにしても良い。
2 receives the
圧縮映像復号化処理部223は、復号化手段選択部222によって選択された復号化手段を用いて、圧縮符号化映像に対して復号伸張化を施して原映像を得、該原映像を映像出力部224 へ出力する。映像出力部224は、該原映像を映像表示部23へと出力する。映像表示部23は、該原映像を受像し、何らかの表示手段を用いて表示を行なう。
The compressed video
利用者が、映像原操作命令生成部21を介して映像源11への操作命令を生成した場合、該操作命令は受信装置が有する通信処理部221へ伝達され、映像圧縮送信装置宛てに通信網20に送出される。映像圧縮送信装置は、通信網10から送り届けられた該操作命令を通信処理部122にて受信した後、映像源制御信号生成部121に出力する。映像源制御信号生成部121は、送り届けられた制御命令の内容に基づいて映像源11に対する制御信号を生成し映像源11に送出する。該制御信号を受信した映像源11は、その制御信号が示す操作命令に従って何らかの動作変更や設定を行ない、その結果、映像生成部111の駆動状態に変更が生じた時、駆動状態の変化を示す冗長情報が冗長情報生成部112によって生成される。
When the user generates an operation command for the video source 11 via the video original operation
ところで本実施形態と関連した技術内容を記載した文献(公知例)として特開2003-284051公報、特開2001-45337公報がある。これらの公報では、映像を圧縮符号化する手段を切り替える契機が、利用者が発行する操作命令によってのみ与えられる。一方、本実施形態では、利用者からの操作命令のみならず、映像源11が自律的に、映像符号化手段を切り替える契機を与えることを可能としている。以下おいて、本実施形態によって開示される映像圧縮送信装置の優位点について、監視用ビデオカメラ応用を例に用いて説明する。 Incidentally, there are JP-A 2003-284051 and JP-A 2001-45337 as documents (public examples) describing the technical contents related to the present embodiment. In these publications, an opportunity to switch the means for compressing and encoding video is given only by an operation command issued by a user. On the other hand, in the present embodiment, not only the operation command from the user but also the video source 11 can give an opportunity to autonomously switch the video encoding means. In the following, the advantages of the video compression / transmission apparatus disclosed by the present embodiment will be described using a surveillance video camera application as an example.
映像圧縮送信装置の映像源11に相当する監視用ビデオカメラが、完全に静止した過程から得られる撮像映像を生成する場合、該撮像映像には高品質映像圧縮符号化手段1231による圧縮符号化が施され、また、利用者が受信装置の映像源操作命令生成部21を用いて監視用ビデオカメラに対する操作命令を発行した場合、撮像映像には低遅延映像圧縮符号化手段1232 により圧縮符号化が施され、加えて、監視用ビデオカメラが具備する自動追尾機能などが発動することによって、駆動過程の撮像映像が自律的に生成された場合、該撮像映像には低遅延映像圧縮符号化手段1232 により圧縮符号化が施され、さらに、これら圧縮符号化映像と、該圧縮符号化映像に施された圧縮符号化方法および符号化パラメータは、通信網10及び通信網20を介して受信装置まで伝送された後、圧縮映像復号化処理部223により該圧縮符号化手段に対応する圧縮映像復号化手段により復号伸張化される。
When the monitoring video camera corresponding to the video source 11 of the video compression / transmission device generates a captured video obtained from a completely stationary process, the captured video is compressed and encoded by the high quality video compression encoding means 1231. When the user issues an operation command for the monitoring video camera using the video source operation
これらにより、監視用ビデオカメラが完全に静止した過程から得られる撮像映像は、高精細且つ滑らかな再生品質で利用者まで送り届けられ、且つ、監視用ビデオカメラの駆動過程の撮像映像は、迅速に利用者まで送り届けられ、結果として常に良好な操作性を実現する遠隔監視システムを構築できる。 As a result, the captured image obtained from the process in which the surveillance video camera is completely stationary is delivered to the user with high definition and smooth reproduction quality, and the captured image in the process of driving the surveillance video camera is quickly As a result, it is possible to construct a remote monitoring system that is delivered to the user and as a result always realizes good operability.
これに対し、上記公知例では、監視用ビデオカメラが具備する自動追尾機能による自律的な旋回動作等に、圧縮符号化手段の選択を追従させることができないため、利用者が自律的な旋回動作過程で得られる映像を参照しながら操作命令を発行した場合には、その時分に適用された圧縮符号化手段に応じた圧縮符号化及び復号伸張化処理に要した遅延時間分、***作対象のビデオカメラが惰走してしまう(応答性が悪くなる)。従って、上記公知例に基づいた遠隔監視システムを用いる利用者は、良好な操作性を得ることができないこととなる。 On the other hand, in the above known example, since the selection of the compression coding means cannot follow the autonomous turning operation by the automatic tracking function provided in the surveillance video camera, the user can make the autonomous turning operation. When an operation command is issued while referring to the video obtained in the process, the delay time required for the compression encoding and decoding expansion processing according to the compression encoding means applied at that time, the operation target The video camera frustrates (response becomes worse). Therefore, the user who uses the remote monitoring system based on the known example cannot obtain good operability.
11 映像源
12 映像圧縮送信処理部
111 映像生成部
112 冗長情報生成部
121 映像源制御信号生成部
122 通信処理部
123 映像圧縮符号化処理部
124 映像入力部
125 符号化手段選択部
1231 高品質映像圧縮符号化手段
1232 低遅延映像圧縮符号化手段
1111 映像撮影部
1112 アーム
1113 垂直回動部
1114 雲台
1115 水平回動部
1116 傾斜角AD変換部
1117 旋回角AD変換部
31 フレーム
311 圧縮符号化映像転送データユニット
312 符号化パラメータ情報
313 圧縮符号化方式識別情報
11 Video source 12 Video compression
Claims (13)
前記撮像手段の位置および姿勢の少なくとも一方を変更する駆動手段と、
前記撮像手段の駆動状態に応じて、前記映像信号の圧縮符号化方式を選択する選択部と、
選択した前記圧縮符号化方式によって前記映像信号を圧縮する圧縮手段と、
圧縮された映像信号と、前記選択された圧縮符号化方式を示す情報とを送信する通信手段と、
を備えた圧縮映像送信装置。 Imaging means for outputting a video signal;
Drive means for changing at least one of the position and orientation of the imaging means;
A selection unit that selects a compression encoding method of the video signal according to a driving state of the imaging unit;
Compression means for compressing the video signal by the selected compression encoding method;
A communication means for transmitting a compressed video signal and information indicating the selected compression encoding method;
Compressed video transmission device.
前記駆動手段は、前記操作指示信号に基づいて前記撮像手段の位置および姿勢の少なくとも一方を変更することを特徴とする請求項1に記載の圧縮映像送信装置。 The communication means receives an operation instruction signal of the imaging means;
The compressed video transmission apparatus according to claim 1, wherein the driving unit changes at least one of a position and a posture of the imaging unit based on the operation instruction signal.
前記ズーム光学系の駆動状態に応じて、前記映像信号の圧縮符号化方式を選択する選択部と、
選択した前記圧縮符号化方式によって前記映像信号を圧縮する圧縮手段と、
圧縮された映像信号と、前記選択された圧縮符号化方式を示す情報とを送信する通信手段と、
を備えた圧縮映像送信装置。 An image pickup means for outputting a video signal, including a zoom optical system and a drive means for driving the zoom optical system;
A selection unit that selects a compression encoding method of the video signal according to a driving state of the zoom optical system;
Compression means for compressing the video signal by the selected compression encoding method;
A communication means for transmitting a compressed video signal and information indicating the selected compression encoding method;
Compressed video transmission device.
前記駆動手段は、前記操作指示信号に基づいて前記ズーム光学系を駆動することを特徴とする請求項5に記載の圧縮映像送信装置。 The communication means receives an operation instruction signal of the imaging means;
The compressed video transmitting apparatus according to claim 5, wherein the driving unit drives the zoom optical system based on the operation instruction signal.
前記圧縮手段は、前記選択された圧縮符号化方式とともに、決定された前記符号化パラメータに従って前記映像信号の圧縮を行い、
前記通信手段は、さらに前記選択された符号化パラメータを送信する、
ことを特徴とする請求項1ないし8のいずれかに記載の圧縮映像送信装置。 The selection unit determines an encoding parameter in addition to the compression encoding method,
The compression means compresses the video signal according to the determined encoding parameter together with the selected compression encoding method,
The communication means further transmits the selected encoding parameter;
9. A compressed video transmission apparatus according to claim 1, wherein
前記撮像手段の駆動状態に応じて、前記撮像手段から出力される映像信号の圧縮符号化方式を選択し、
選択した前記圧縮符号化方式によって前記映像信号を圧縮し、
圧縮された撮像信号と、前記選択された圧縮符号化方式を示す情報とを送信する、
映像圧縮方法。 Imaging the imaging target by imaging means capable of changing at least one of position and orientation by driving,
According to the driving state of the imaging means, select a compression encoding method of the video signal output from the imaging means,
Compressing the video signal by the selected compression encoding method;
Transmitting a compressed imaging signal and information indicating the selected compression encoding method;
Video compression method.
前記ズーム光学系の駆動状態に応じて、前記撮像手段から出力される映像信号の圧縮符号化方式を選択し、
選択した前記圧縮符号化方式によって前記映像信号を圧縮し、
圧縮された映像信号と、前記選択された圧縮符号化方式を示す情報とを送信する、
映像圧縮方法。 An imaging target is imaged by an imaging unit including a zoom optical system and a driving unit that drives the zoom optical system,
According to the driving state of the zoom optical system, select a compression encoding method of the video signal output from the imaging means,
Compressing the video signal by the selected compression encoding method;
Transmitting a compressed video signal and information indicating the selected compression encoding method;
Video compression method.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005274484A JP2007088771A (en) | 2005-09-21 | 2005-09-21 | Video image compression transmitting device and video image compressing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005274484A JP2007088771A (en) | 2005-09-21 | 2005-09-21 | Video image compression transmitting device and video image compressing method |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2007088771A true JP2007088771A (en) | 2007-04-05 |
Family
ID=37975320
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005274484A Abandoned JP2007088771A (en) | 2005-09-21 | 2005-09-21 | Video image compression transmitting device and video image compressing method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2007088771A (en) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009089157A (en) * | 2007-10-01 | 2009-04-23 | Yamaha Corp | Distribution system and method |
JP2009089156A (en) * | 2007-10-01 | 2009-04-23 | Yamaha Corp | Distribution system and method |
JP2012253823A (en) * | 2012-09-24 | 2012-12-20 | Yamaha Corp | Distribution system, distribution method, distribution server and communication terminal |
JP2014086850A (en) * | 2012-10-23 | 2014-05-12 | Kddi Corp | Video content distribution device |
JP2017135741A (en) * | 2017-03-30 | 2017-08-03 | Kddi株式会社 | Video content distribution device |
JP2019068254A (en) * | 2017-09-29 | 2019-04-25 | 株式会社小松製作所 | Display controller and display control method |
JP7012272B1 (en) | 2020-08-11 | 2022-01-28 | iPresence合同会社 | Robot system |
-
2005
- 2005-09-21 JP JP2005274484A patent/JP2007088771A/en not_active Abandoned
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009089157A (en) * | 2007-10-01 | 2009-04-23 | Yamaha Corp | Distribution system and method |
JP2009089156A (en) * | 2007-10-01 | 2009-04-23 | Yamaha Corp | Distribution system and method |
JP2012253823A (en) * | 2012-09-24 | 2012-12-20 | Yamaha Corp | Distribution system, distribution method, distribution server and communication terminal |
JP2014086850A (en) * | 2012-10-23 | 2014-05-12 | Kddi Corp | Video content distribution device |
JP2017135741A (en) * | 2017-03-30 | 2017-08-03 | Kddi株式会社 | Video content distribution device |
JP2019068254A (en) * | 2017-09-29 | 2019-04-25 | 株式会社小松製作所 | Display controller and display control method |
JP7012272B1 (en) | 2020-08-11 | 2022-01-28 | iPresence合同会社 | Robot system |
WO2022034839A1 (en) * | 2020-08-11 | 2022-02-17 | iPresence合同会社 | Robot system |
JP2022032308A (en) * | 2020-08-11 | 2022-02-25 | iPresence合同会社 | Robot system |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11051015B2 (en) | Low bitrate encoding of panoramic video to support live streaming over a wireless peer-to-peer connection | |
US20130265452A1 (en) | Image capture apparatus and remote control thereof | |
JP2007088771A (en) | Video image compression transmitting device and video image compressing method | |
US20090290645A1 (en) | System and Method for Using Coded Data From a Video Source to Compress a Media Signal | |
CN110121065B (en) | Multi-directional image processing in spatially ordered video coding applications | |
US20020063777A1 (en) | Image transmission apparatus, image receiving apparatus, image transmitting and receiving system, and image receiving and transmitting method | |
JP2007053717A (en) | Security monitoring system capable of outputting still image | |
JP5766297B2 (en) | Imaging device, video recording device, video display device, video monitoring device, video monitoring system, and video monitoring method | |
JP2007274443A (en) | Image transmitting method, transmitter, receiver and image transmitting system | |
JP3917506B2 (en) | Video signal recording and transmitting apparatus, monitoring system, and monitoring apparatus | |
KR20190071607A (en) | Efficient blending using encoder | |
US20060120454A1 (en) | Method and apparatus for encoding/decoding video signal using motion vectors of pictures in base layer | |
CN105681792A (en) | Method and device for real-time encoding | |
US20080008241A1 (en) | Method and apparatus for encoding/decoding a first frame sequence layer based on a second frame sequence layer | |
EP3902244B1 (en) | Controlling a pan-tilt-zoom camera | |
US20070242747A1 (en) | Method and apparatus for encoding/decoding a first frame sequence layer based on a second frame sequence layer | |
US20070223573A1 (en) | Method and apparatus for encoding/decoding a first frame sequence layer based on a second frame sequence layer | |
US20070280354A1 (en) | Method and apparatus for encoding/decoding a first frame sequence layer based on a second frame sequence layer | |
JP2009290662A (en) | Image transmitting apparatus and image receiving apparatus | |
JP4829867B2 (en) | Image encoding apparatus and image decoding apparatus | |
JP5045213B2 (en) | Imaging device, playback device, and recording file creation method | |
US10298651B2 (en) | Encoding device, decoding device, computer program product, and streaming system | |
JP2009118151A (en) | Communication system, transmitter, relay device, receiver, and transmission program | |
US10616620B1 (en) | Low bitrate encoding of spherical video to support live streaming over a high latency and/or low bandwidth network | |
JP2002016921A (en) | Moving picture encoding device and decoding device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A762 | Written abandonment of application |
Free format text: JAPANESE INTERMEDIATE CODE: A762 Effective date: 20100104 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100113 |