JP2017225021A - Video transmission system, video transmitter, video receiver and video processing program - Google Patents
Video transmission system, video transmitter, video receiver and video processing program Download PDFInfo
- Publication number
- JP2017225021A JP2017225021A JP2016119693A JP2016119693A JP2017225021A JP 2017225021 A JP2017225021 A JP 2017225021A JP 2016119693 A JP2016119693 A JP 2016119693A JP 2016119693 A JP2016119693 A JP 2016119693A JP 2017225021 A JP2017225021 A JP 2017225021A
- Authority
- JP
- Japan
- Prior art keywords
- video
- compression
- block
- data
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
Description
本発明は、映像伝送システム、映像送信装置、映像受信装置および映像処理プログラムに関し、特に、映像データを処理する映像伝送システム、映像送信装置、映像受信装置および映像処理プログラムに関する。 The present invention relates to a video transmission system, a video transmission device, a video reception device, and a video processing program, and more particularly to a video transmission system, a video transmission device, a video reception device, and a video processing program that process video data.
放送等では、８Ｋ ＵＨＤＴＶ（Ｕｌｔｒａ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｔｅｌｅｖｉｓｉｏｎ）のような超高精細のデジタル映像を伝送するための技術が開発されている。 In broadcasting and the like, a technique for transmitting ultra-high definition digital video such as 8K UHDTV (Ultra High Definition Television) has been developed.
たとえば、非特許文献１（”ウィキペディア”、［ｏｎｌｉｎｅ］、［平成２８年４月５日検索］、インターネット〈ＵＲＬ：ｈｔｔｐ：／／ｊａ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／Ｈ．２６５〉）には、映像データを圧縮するためのＨ．２６５について記載されている。 For example, Non-Patent Document 1 ("Wikipedia", [online], [April 5, 2016 search], Internet <URL: http://ja.wikipedia.org/wiki/H.265>) H. for compressing video data. H.265 is described.
Ｈ．２６５（ＩＳＯ／ＩＥＣ ２３００８−２ ＨＥＶＣ）は、動画圧縮規格の一つであり、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣの後続フォーマットである。Ｈ．２６５では、ブロックサイズの適正化など圧縮効率が優れており、ＭＰＥＧ−２（Ｈ．２６２）比で約４倍、Ｈ．２６４／ＡＶＣとの比較でも約２倍の圧縮性能を有すると言われている。Ｈ．２６５は、スーパーハイビジョン（８Ｋ，４３２０ｐ）等の高解像度な映像だけでなく携帯端末向けの映像配信での利用も想定されている。 H. H.265 (ISO / IEC 23008-2 HEVC) is one of the video compression standards. This is a subsequent format of H.264 / MPEG-4 AVC. H. H.265 has excellent compression efficiency such as optimization of the block size, and is approximately four times the MPEG-2 (H.262) ratio. In comparison with H.264 / AVC, it is said to have about twice the compression performance. H. H.265 is assumed to be used not only for high-resolution video such as Super Hi-Vision (8K, 4320p) but also for video distribution for mobile terminals.
たとえば、８Ｋ ＵＨＤＴＶのような超高精細のデジタル映像は、データレートが数十Ｇｂｐｓ（ｇｉｇａｂｉｔｓ ｐｅｒ ｓｅｃｏｎｄ）以上に達するため、伝送、蓄積および画像処理を行うためには、高速・大規模論理回路および大容量メモリ等の非常に大きな資源を必要とする。 For example, an ultra-high definition digital video such as 8K UHDTV has a data rate of several tens of Gbps (gigabits per second) or more, and therefore, in order to perform transmission, storage, and image processing, a high-speed and large-scale logic circuit and Very large resources such as large capacity memory are required.
この問題を解決するため、目的とする処理の前に映像信号を圧縮することが行われる。放送システムにおいて、伝送前に映像を圧縮し、ＴＶ受像機で提示する際に伸長することは、一つの典型的な例となっている。放送で用いられる非特許文献１に記載のＨ．２６５等の圧縮方式では、高い圧縮率を実現するため、空間周波数処理および高度な符号化等の複雑な演算に加えて、フレーム内およびフレーム間の相関を利用しており、圧縮および伸長の際に複数枚の画像の情報を使った一括処理が必要であるため、処理の負荷が非常に重い。その上、遅延時間も通常は３秒を越え、遅延時間が大きくなる事が避けられない。また、圧縮率についても変動が大きい。 In order to solve this problem, the video signal is compressed before the target processing. In a broadcast system, compressing video before transmission and expanding it when presented on a TV receiver is one typical example. Non-Patent Document 1 used in broadcasting is described in H.264. In order to achieve a high compression rate, compression schemes such as H.265 use intra-frame and inter-frame correlation in addition to complex operations such as spatial frequency processing and advanced coding. In addition, since the batch processing using the information of a plurality of images is necessary, the processing load is very heavy. In addition, the delay time usually exceeds 3 seconds, and it is inevitable that the delay time becomes large. Also, the compression rate varies greatly.
また、実用的な圧縮率たとえば数分の一以下を確保するために、圧縮および伸長の過程は非可逆となる。非可逆の圧縮および伸長の過程では、モザイクノイズ、モスキートノイズおよびシマリングといったデジタルノイズが重畳される。デジタルノイズの種類、形状、大きさおよび発生場所については、圧縮アルゴリズムに固有な特性であり、画像および画像間の繋がり（連続関係）にも依存する為、予測をすることが困難である。 Also, in order to ensure a practical compression rate, for example, a fraction of a fraction, the compression and decompression processes are irreversible. In the process of irreversible compression and decompression, digital noise such as mosaic noise, mosquito noise and shimmering is superimposed. The type, shape, size, and location of the digital noise are characteristics inherent to the compression algorithm, and depend on the image and the connection (continuous relationship) between the images, making it difficult to predict.
このような特性は画像解析および画像処理には不適合であるため、あらかじめ全画面を長方形のブロックまたは複数ラインのスライスに分割したうえで、小領域を圧縮する方法が考えられる。しかしながら、非可逆な特性および予測が困難なデジタルノイズの重畳等の解決が困難である。このため、厳格な処理結果が求められる応用分野では、オリジナル映像の処理が求められている。 Since such characteristics are unsuitable for image analysis and image processing, a method of compressing a small region after dividing the entire screen into rectangular blocks or slices of a plurality of lines in advance can be considered. However, it is difficult to solve the irreversible characteristics and the superimposition of digital noise that is difficult to predict. For this reason, in an application field where a strict processing result is required, processing of an original video is required.
この発明は、上述の課題を解決するためになされたもので、その目的は、オリジナル映像との同一性および伝送レートを考慮した適切な映像伝送を実現することが可能な映像伝送システム、映像送信装置、映像受信装置および映像処理プログラムを提供することである。 The present invention has been made to solve the above-described problems, and an object of the present invention is to provide a video transmission system and video transmission capable of realizing appropriate video transmission in consideration of the sameness and transmission rate as the original video. An apparatus, a video receiver, and a video processing program are provided.
（１）上記課題を解決するために、この発明のある局面に係わる映像伝送システムは、映像データを取得し、取得した前記映像データにおいて、１画面を複数のブロックに分割し、前記ブロックごとに画像データの圧縮処理を行い、前記圧縮処理を行った前記映像データを送信する映像送信装置と、前記映像送信装置から受信した前記映像データにおいて、前記ブロックごとに画像データの伸長処理を行う映像受信装置とを備え、前記映像送信装置は、可逆圧縮のアルゴリズムおよび非可逆圧縮のアルゴリズムを前記ブロックごとに選択可能であり、前記映像受信装置は、可逆伸長のアルゴリズムおよび非可逆伸長のアルゴリズムを前記ブロックごとに選択可能である。 (1) In order to solve the above problems, a video transmission system according to an aspect of the present invention acquires video data, divides one screen into a plurality of blocks in the acquired video data, and A video transmission apparatus that performs compression processing of image data and transmits the compressed video data, and video reception that performs image data expansion processing for each block in the video data received from the video transmission apparatus A video transmission device capable of selecting a lossless compression algorithm and a lossy compression algorithm for each block, and the video reception device selects a lossless decompression algorithm and a lossy decompression algorithm from the block. Can be selected for each.
（８）上記課題を解決するために、この発明のある局面に係わる映像送信装置は、映像データを取得する取得部と、前記取得部によって取得された前記映像データにおいて、１画面を複数のブロックに分割し、前記ブロックごとに画像データの圧縮処理を行う圧縮処理部と、前記圧縮処理部によって前記圧縮処理が行われた前記映像データを送信する送信部とを備え、前記圧縮処理部は、可逆圧縮のアルゴリズムおよび非可逆圧縮のアルゴリズムを前記ブロックごとに選択可能である。 (8) In order to solve the above-described problem, a video transmission apparatus according to an aspect of the present invention includes an acquisition unit that acquires video data, and a block of one screen in the video data acquired by the acquisition unit. A compression processing unit that performs compression processing of image data for each block, and a transmission unit that transmits the video data subjected to the compression processing by the compression processing unit, the compression processing unit includes: A lossless compression algorithm and a lossy compression algorithm can be selected for each block.
（９）上記課題を解決するために、この発明のある局面に係わる映像受信装置は、１画面が複数のブロックに分割され、前記ブロックごとに画像データの圧縮処理が行われた映像データを受信する受信部と、前記受信部によって受信された前記映像データにおいて、前記ブロックごとに画像データの伸長処理を行う伸長処理部とを備え、前記伸長処理部は、可逆伸長のアルゴリズムおよび非可逆伸長のアルゴリズムを前記ブロックごとに選択可能である。 (9) In order to solve the above problems, a video receiving apparatus according to an aspect of the present invention receives video data in which one screen is divided into a plurality of blocks and image data compression processing is performed for each block. And a decompression processor that decompresses image data for each block in the video data received by the receiver, the decompression processor includes a reversible decompression algorithm and an irreversible decompression algorithm. An algorithm can be selected for each block.
（１０）上記課題を解決するために、この発明のある局面に係わる映像処理プログラムは、映像送信装置において用いられる映像処理プログラムであって、コンピュータを、映像データを取得する取得部と、前記取得部によって取得された前記映像データにおいて、１画面を複数のブロックに分割し、前記ブロックごとに画像データの圧縮処理を行う圧縮処理部と、前記圧縮処理部によって前記圧縮処理が行われた前記映像データを送信する送信部と、として機能させるためのプログラムであり、前記圧縮処理部は、可逆圧縮のアルゴリズムおよび非可逆圧縮のアルゴリズムを前記ブロックごとに選択可能である。 (10) In order to solve the above-described problem, a video processing program according to an aspect of the present invention is a video processing program used in a video transmission device, and includes a computer, an acquisition unit that acquires video data, and the acquisition In the video data acquired by the unit, one screen is divided into a plurality of blocks, the compression processing unit performs compression processing of the image data for each block, and the video subjected to the compression processing by the compression processing unit A program for causing the data to function as a transmission unit that transmits data, and the compression processing unit can select a lossless compression algorithm and a lossy compression algorithm for each block.
（１１）上記課題を解決するために、この発明の他の局面に係わる映像処理プログラムは、映像受信装置において用いられる映像処理プログラムであって、コンピュータを、１画面が複数のブロックに分割され、前記ブロックごとに画像データの圧縮処理が行われた映像データを受信する受信部と、前記受信部によって受信された前記映像データにおいて、前記ブロックごとに画像データの伸長処理を行う伸長処理部と、として機能させるためのプログラムであり、前記伸長処理部は、可逆伸長のアルゴリズムおよび非可逆伸長のアルゴリズムを前記ブロックごとに選択可能である。 (11) In order to solve the above problems, a video processing program according to another aspect of the present invention is a video processing program used in a video receiving device, wherein a computer is divided into a plurality of blocks, A receiving unit that receives video data that has been subjected to image data compression processing for each block; and a decompression processing unit that performs image data decompression processing for each block in the video data received by the receiving unit; The decompression processing unit can select a lossless decompression algorithm and a lossy decompression algorithm for each block.
本発明は、このような特徴的な処理部を備える映像伝送システムとして実現することができるだけでなく、かかる特徴的な処理をステップとする方法として実現したり、映像伝送システムの一部または全部を実現する半導体集積回路として実現したりすることができる。 The present invention can be realized not only as a video transmission system including such a characteristic processing unit, but also as a method using such characteristic processing as a step, or a part or all of the video transmission system. It can be realized as a semiconductor integrated circuit to be realized.
また、本発明は、このような特徴的な処理部を備える映像送信装置として実現することができるだけでなく、かかる特徴的な処理をステップとする方法として実現したり、映像送信装置の一部または全部を実現する半導体集積回路として実現したりすることができる。 In addition, the present invention can be realized not only as a video transmission apparatus including such a characteristic processing unit, but also as a method using such characteristic processing as a step, or a part of the video transmission apparatus or It can be realized as a semiconductor integrated circuit that realizes all of them.
また、本発明は、このような特徴的な処理部を備える映像受信装置として実現することができるだけでなく、かかる特徴的な処理をステップとする方法として実現したり、映像受信装置の一部または全部を実現する半導体集積回路として実現したりすることができる。 In addition, the present invention can be realized not only as a video receiving apparatus including such a characteristic processing unit, but also as a method using such characteristic processing as a step, or a part of the video receiving apparatus or It can be realized as a semiconductor integrated circuit that realizes all of them.
本発明によれば、オリジナル映像との同一性および伝送レートを考慮した適切な映像伝送を実現することができる。 According to the present invention, it is possible to realize appropriate video transmission considering the identity and transmission rate with the original video.
最初に、本発明の実施形態の内容を列記して説明する。 First, the contents of the embodiment of the present invention will be listed and described.
（１）本発明の実施の形態に係る映像伝送システムは、映像データを取得し、取得した前記映像データにおいて、１画面を複数のブロックに分割し、前記ブロックごとに画像データの圧縮処理を行い、前記圧縮処理を行った前記映像データを送信する映像送信装置と、前記映像送信装置から受信した前記映像データにおいて、前記ブロックごとに画像データの伸長処理を行う映像受信装置とを備え、前記映像送信装置は、可逆圧縮のアルゴリズムおよび非可逆圧縮のアルゴリズムを前記ブロックごとに選択可能であり、前記映像受信装置は、可逆伸長のアルゴリズムおよび非可逆伸長のアルゴリズムを前記ブロックごとに選択可能である。 (1) The video transmission system according to the embodiment of the present invention acquires video data, divides one screen into a plurality of blocks in the acquired video data, and performs compression processing of image data for each of the blocks A video transmission device that transmits the compressed video data; and a video reception device that performs image data decompression processing for each block in the video data received from the video transmission device. The transmission device can select a lossless compression algorithm and a lossy compression algorithm for each block, and the video reception device can select a lossless decompression algorithm and a lossy decompression algorithm for each block.
このような構成により、可逆圧縮のアルゴリズムを適用したブロックについては、圧縮処理負荷を軽くするとともに、オリジナル映像に対する同一性を保持した画像データを映像受信装置において復元することができる。また、非可逆圧縮のアルゴリズムを適用したブロックについては、伝送時のデータサイズを小さくするとともに、オリジナル映像に近い画像データを映像受信装置において復元することができる。また、画面内の画像データを用いて圧縮処理を行うことで、画面間の画像データを用いて圧縮処理を行わないようにしてもよいので、処理負荷を軽減することができる。すなわち、映像送信装置および映像受信装置間のデータ伝送能力と、より多くのオリジナル映像を送信する目的とのバランスを考慮しながら、可逆圧縮または非可逆圧縮の別をブロックごとに適宜選択し、ブロックごとの圧縮処理を施した画像データを伝送することができる。したがって、オリジナル映像との同一性および伝送レートを考慮した適切な映像伝送を実現することができる。 With such a configuration, for a block to which a lossless compression algorithm is applied, the compression processing load can be reduced, and image data that retains the identity of the original video can be restored in the video receiver. In addition, for a block to which an irreversible compression algorithm is applied, the data size at the time of transmission can be reduced, and image data close to the original video can be restored in the video receiver. Further, by performing the compression process using the image data in the screen, the compression process may not be performed using the image data between the screens, so that the processing load can be reduced. In other words, considering the balance between the data transmission capability between the video transmitting device and the video receiving device and the purpose of transmitting more original video, appropriately select whether to use lossless compression or lossy compression for each block. It is possible to transmit image data subjected to compression processing for each. Therefore, it is possible to realize appropriate video transmission in consideration of the identity with the original video and the transmission rate.
（２）好ましくは、前記映像送信装置は、前記ブロックの画像データの圧縮率が所定値または所定範囲となるように前記圧縮処理を行う。 (2) Preferably, the video transmitting apparatus performs the compression processing so that the compression rate of the image data of the block becomes a predetermined value or a predetermined range.
このような構成により、各ブロックの圧縮後のデータサイズをある程度揃えることができるので、伝送レートの大きな変動および圧縮率の大きな変動を抑制することができる。これにより、オリジナル映像との同一性をより多く確保しながら、映像データを映像送信装置から映像受信装置へ効率よく伝送することができる。また、圧縮率を所定値にする場合、圧縮率の変動を吸収するためのバッファを不要とすることができる。また、遅延時間をほぼ一定にすることができるので、圧縮処理のアルゴリズムをハードウェアで容易に実現することができる。これにより、遅延時間を数ミリ秒程度に抑制することができるので、より多くのオリジナル映像をリアルタイムで伝送することができる。 With such a configuration, the data size after compression of each block can be made uniform to some extent, so that large fluctuations in the transmission rate and large fluctuations in the compression rate can be suppressed. Thereby, it is possible to efficiently transmit the video data from the video transmission device to the video reception device while ensuring more identity with the original video. Further, when the compression rate is set to a predetermined value, a buffer for absorbing a change in the compression rate can be eliminated. In addition, since the delay time can be made substantially constant, the compression processing algorithm can be easily realized by hardware. Thereby, since the delay time can be suppressed to about several milliseconds, more original images can be transmitted in real time.
（３）より好ましくは、前記映像送信装置は、前記圧縮率が所定値または所定範囲となるように前記可逆圧縮のアルゴリズムおよび前記非可逆圧縮のアルゴリズムのいずれか一方を選択する。 (3) More preferably, the video transmitting apparatus selects one of the lossless compression algorithm and the lossy compression algorithm so that the compression rate becomes a predetermined value or a predetermined range.
このような構成により、所定値または所定範囲を圧縮処理の目標として、圧縮効率が低いけれどもオリジナルのデータを再現可能な可逆圧縮、および可逆圧縮では目標に到達しない場合にオリジナルのデータに近くかつ目標に到達することが可能な非可逆圧縮のいずれかを適宜選択することができる。 With such a configuration, a predetermined value or a predetermined range is used as a compression processing target, lossless compression capable of reproducing the original data even though the compression efficiency is low, and close to the original data when the target is not reached by lossless compression and the target is reached. Any one of irreversible compressions that can be reached can be selected as appropriate.
（４）好ましくは、前記映像送信装置は、前記アルゴリズムの選択結果を示す選択情報を作成して送信し、前記映像受信装置は、前記映像送信装置から受信した前記選択情報を用いて前記伸長処理を行う。 (4) Preferably, the video transmission device creates and transmits selection information indicating a selection result of the algorithm, and the video reception device uses the selection information received from the video transmission device. I do.
このような構成により、映像受信装置では、ブロックに施された圧縮処理が可逆であるか非可逆であるかを選択情報から容易に認識することができるので、伸長処理を効率よく行うことができる。 With such a configuration, the video reception device can easily recognize from the selection information whether the compression processing applied to the block is reversible or irreversible, so that the expansion processing can be performed efficiently. .
（５）より好ましくは、前記映像受信装置は、前記映像送信装置から受信した前記選択情報を出力可能である。 (5) More preferably, the video reception device can output the selection information received from the video transmission device.
このような構成により、オリジナル映像との同一性についての品質を適切に管理することができる。具体的には、伸長処理後の映像において、同一性を保った映像部分と同一性が損なわれた映像部分とを提示することができるので、伸長処理後の映像の正確性を評価することができる。これにより、伸長処理後の映像が、医療、高精度な産業またはミッションクリティカルな監視等の厳格な用途に適用可能か否かを判断することができる。 With such a configuration, it is possible to appropriately manage the quality of identity with the original video. Specifically, in the video after the decompression process, it is possible to present the video part having the same identity and the video part in which the identity is impaired, so that the accuracy of the video after the decompression process can be evaluated. it can. Thereby, it is possible to determine whether or not the video after the decompression process can be applied to strict uses such as medical care, high-precision industry, or mission-critical monitoring.
（６）好ましくは、前記映像送信装置および前記映像受信装置の少なくともいずれか一方は、前記１画面において可逆圧縮または可逆伸長された前記ブロックの率を示す情報を出力可能である。 (6) Preferably, at least one of the video transmission device and the video reception device can output information indicating a rate of the block that is losslessly compressed or losslessly expanded on the one screen.
このような構成により、伸長処理後の映像のオリジナル映像に対する忠実度を定量化することができるので、たとえば、オリジナル映像の撮影条件の調整をリアルタイムで行うことができる。 With such a configuration, the fidelity of the decompressed image with respect to the original image can be quantified, and for example, the shooting conditions of the original image can be adjusted in real time.
（７）好ましくは、前記映像送信装置および前記映像受信装置の少なくともいずれか一方は、前記１画面において可逆圧縮または可逆伸長された前記ブロックの位置を示す情報を出力可能である。 (7) Preferably, at least one of the video transmission device and the video reception device can output information indicating a position of the block that is reversibly compressed or reversibly expanded on the one screen.
このような構成により、たとえば、可逆圧縮されたブロックをマップ化し、伸長処理後の映像と重ね合わせることで、オリジナル映像と伸長処理後の映像との比較処理を行うことなく同一性を保った映像部分を確定することができる。これにより、たとえば、伸長処理後の映像の提示または解析処理において、オリジナル映像を用いた場合と同一の結果を得ることが可能な映像部分を認識することができる。 With such a configuration, for example, a lossless-compressed block is mapped and overlapped with the decompressed video so that the original video and the video after the decompression can be compared without performing comparison processing. The part can be confirmed. Thereby, for example, in the presentation or analysis process of the video after the decompression process, it is possible to recognize a video part that can obtain the same result as when the original video is used.
（８）本発明の実施の形態に係る映像送信装置は、映像データを取得する取得部と、前記取得部によって取得された前記映像データにおいて、１画面を複数のブロックに分割し、前記ブロックごとに画像データの圧縮処理を行う圧縮処理部と、前記圧縮処理部によって前記圧縮処理が行われた前記映像データを送信する送信部とを備え、前記圧縮処理部は、可逆圧縮のアルゴリズムおよび非可逆圧縮のアルゴリズムを前記ブロックごとに選択可能である。 (8) The video transmission device according to the embodiment of the present invention divides one screen into a plurality of blocks in the acquisition unit that acquires video data and the video data acquired by the acquisition unit, and A compression processing unit that performs compression processing of image data, and a transmission unit that transmits the video data subjected to the compression processing by the compression processing unit. The compression processing unit includes an algorithm for lossless compression and an irreversible A compression algorithm can be selected for each block.
このような構成により、可逆圧縮のアルゴリズムを適用したブロックについては、圧縮処理負荷を軽くするとともに、オリジナル映像に対する同一性を保持した画像データを送信先の装置において復元することができる。また、非可逆圧縮のアルゴリズムを適用したブロックについては、伝送時のデータサイズを小さくするとともに、オリジナル映像に近い画像データを送信先の装置において復元することができる。また、画面間の画像データを用いて圧縮処理を行わないので、処理負荷を軽減することができる。すなわち、映像送信装置および送信先の装置間のデータ伝送能力と、より多くのオリジナル映像を送信する目的とのバランスを考慮しながら、可逆圧縮または非可逆圧縮の別をブロックごとに適宜選択し、ブロックごとの圧縮処理を施した画像データを伝送することができる。したがって、オリジナル映像との同一性および伝送レートを考慮した適切な映像伝送を実現することができる。 With such a configuration, for a block to which a lossless compression algorithm is applied, the compression processing load can be reduced, and image data that retains the identity of the original video can be restored in the transmission destination device. In addition, for a block to which an irreversible compression algorithm is applied, the data size at the time of transmission can be reduced, and image data close to the original video can be restored in the transmission destination device. In addition, since the compression processing is not performed using the image data between the screens, the processing load can be reduced. That is, while considering the balance between the data transmission capability between the video transmission device and the transmission destination device and the purpose of transmitting more original video, appropriately select the lossless compression or lossy compression for each block, Image data subjected to block-by-block compression processing can be transmitted. Therefore, it is possible to realize appropriate video transmission in consideration of the identity with the original video and the transmission rate.
（９）本発明の実施の形態に係る映像受信装置は、１画面が複数のブロックに分割され、前記ブロックごとに画像データの圧縮処理が行われた映像データを受信する受信部と、前記受信部によって受信された前記映像データにおいて、前記ブロックごとに画像データの伸長処理を行う伸長処理部とを備え、前記伸長処理部は、可逆伸長のアルゴリズムおよび非可逆伸長のアルゴリズムを前記ブロックごとに選択可能である。 (9) A video receiving apparatus according to an embodiment of the present invention includes a receiving unit that receives video data in which one screen is divided into a plurality of blocks and image data is compressed for each block; A decompression processing unit that performs image data decompression processing for each block in the video data received by the unit, and the decompression processing unit selects a lossless decompression algorithm and an irreversible decompression algorithm for each block Is possible.
このような構成により、可逆圧縮のアルゴリズムが適用されたブロックについては、オリジナル映像に対する同一性を保持した画像データを復元することができる。また、非可逆圧縮のアルゴリズムが適用されたブロックについては、オリジナル映像に近い画像データを復元することができる。すなわち、映像データの送信元の装置および映像受信装置間のデータ伝送能力と、より多くのオリジナル映像を送信する目的とのバランスを考慮しながら、可逆圧縮または非可逆圧縮の別がブロックごとに適宜選択され、ブロックごとの圧縮処理が当該送信元の装置において施された画像データを受信して復元することができる。したがって、オリジナル映像との同一性および伝送レートを考慮した適切な映像伝送を実現することができる。 With such a configuration, with respect to a block to which the lossless compression algorithm is applied, it is possible to restore image data that retains the identity of the original video. For blocks to which the lossy compression algorithm is applied, image data close to the original video can be restored. In other words, considering the balance between the data transmission capability between the video data transmission source device and the video reception device and the purpose of transmitting more original video images, whether reversible compression or lossy compression is appropriately determined for each block. It is possible to receive and restore image data selected and subjected to block-by-block compression processing in the transmission source device. Therefore, it is possible to realize appropriate video transmission in consideration of the identity with the original video and the transmission rate.
（１０）本発明の実施の形態に係る映像処理プログラムは、映像送信装置において用いられる映像処理プログラムであって、コンピュータを、映像データを取得する取得部と、前記取得部によって取得された前記映像データにおいて、１画面を複数のブロックに分割し、前記ブロックごとに画像データの圧縮処理を行う圧縮処理部と、前記圧縮処理部によって前記圧縮処理が行われた前記映像データを送信する送信部と、として機能させるためのプログラムであり、前記圧縮処理部は、可逆圧縮のアルゴリズムおよび非可逆圧縮のアルゴリズムを前記ブロックごとに選択可能である。 (10) A video processing program according to an embodiment of the present invention is a video processing program used in a video transmission device, and includes an acquisition unit that acquires video data, and the video acquired by the acquisition unit. In the data, a compression processing unit that divides one screen into a plurality of blocks and performs compression processing of image data for each block, and a transmission unit that transmits the video data subjected to the compression processing by the compression processing unit The compression processing unit can select a lossless compression algorithm and a lossy compression algorithm for each block.
このような構成により、可逆圧縮のアルゴリズムを適用したブロックについては、圧縮処理負荷を軽くするとともに、オリジナル映像に対する同一性を保持した画像データを送信先の装置において復元することができる。また、非可逆圧縮のアルゴリズムを適用したブロックについては、伝送時のデータサイズを小さくするとともに、オリジナル映像に近い画像データを送信先の装置において復元することができる。また、画面間の画像データを用いて圧縮処理を行わないので、処理負荷を軽減することができる。すなわち、映像送信装置および送信先の装置間のデータ伝送能力と、より多くのオリジナル映像を送信する目的とのバランスを考慮しながら、可逆圧縮または非可逆圧縮の別をブロックごとに適宜選択し、ブロックごとの圧縮処理を施した画像データを伝送することができる。したがって、オリジナル映像との同一性および伝送レートを考慮した適切な映像伝送を実現することができる。 With such a configuration, for a block to which a lossless compression algorithm is applied, the compression processing load can be reduced, and image data that retains the identity of the original video can be restored in the transmission destination device. In addition, for a block to which an irreversible compression algorithm is applied, the data size at the time of transmission can be reduced, and image data close to the original video can be restored in the transmission destination device. In addition, since the compression processing is not performed using the image data between the screens, the processing load can be reduced. That is, while considering the balance between the data transmission capability between the video transmission device and the transmission destination device and the purpose of transmitting more original video, appropriately select the lossless compression or lossy compression for each block, Image data subjected to block-by-block compression processing can be transmitted. Therefore, it is possible to realize appropriate video transmission in consideration of the identity with the original video and the transmission rate.
（１１）本発明の実施の形態に係る映像処理プログラムは、映像受信装置において用いられる映像処理プログラムであって、コンピュータを、１画面が複数のブロックに分割され、前記ブロックごとに画像データの圧縮処理が行われた映像データを受信する受信部と、前記受信部によって受信された前記映像データにおいて、前記ブロックごとに画像データの伸長処理を行う伸長処理部と、として機能させるためのプログラムであり、前記伸長処理部は、可逆伸長のアルゴリズムおよび非可逆伸長のアルゴリズムを前記ブロックごとに選択可能である。 (11) A video processing program according to an embodiment of the present invention is a video processing program used in a video receiving device, wherein a computer is divided into a plurality of blocks, and image data is compressed for each of the blocks. A program for functioning as a reception unit that receives processed video data, and a decompression processing unit that decompresses image data for each block in the video data received by the reception unit The decompression processing unit can select a lossless decompression algorithm and a lossy decompression algorithm for each block.
このような構成により、可逆圧縮のアルゴリズムが適用されたブロックについては、オリジナル映像に対する同一性を保持した画像データを復元することができる。また、非可逆圧縮のアルゴリズムが適用されたブロックについては、オリジナル映像に近い画像データを復元することができる。すなわち、映像データの送信元の装置および映像受信装置間のデータ伝送能力と、より多くのオリジナル映像を送信する目的とのバランスを考慮しながら、可逆圧縮または非可逆圧縮の別がブロックごとに適宜選択され、ブロックごとの圧縮処理が当該送信元の装置において施された画像データを受信して復元することができる。したがって、オリジナル映像との同一性および伝送レートを考慮した適切な映像伝送を実現することができる。 With such a configuration, with respect to a block to which the lossless compression algorithm is applied, it is possible to restore image data that retains the identity of the original video. For blocks to which the lossy compression algorithm is applied, image data close to the original video can be restored. In other words, considering the balance between the data transmission capability between the video data transmission source device and the video reception device and the purpose of transmitting more original video images, whether reversible compression or lossy compression is appropriately determined for each block. It is possible to receive and restore image data selected and subjected to block-by-block compression processing in the transmission source device. Therefore, it is possible to realize appropriate video transmission in consideration of the identity with the original video and the transmission rate.
以下、本発明の実施の形態について図面を用いて説明する。なお、図中同一または相当部分には同一符号を付してその説明は繰り返さない。また、以下に記載する実施の形態の少なくとも一部を任意に組み合わせてもよい。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. In the drawings, the same or corresponding parts are denoted by the same reference numerals and description thereof will not be repeated. Moreover, you may combine arbitrarily at least one part of embodiment described below.
［構成および基本動作］
図１は、本発明の実施の形態に係る映像伝送システムの構成を示す図である。
[Configuration and basic operation]
FIG. 1 is a diagram showing a configuration of a video transmission system according to an embodiment of the present invention.
図１を参照して、映像伝送システム３０１は、ビデオカメラ１２１と、映像受信装置１１１とを備える。ビデオカメラ１２１は、撮影部２１と、調整部２２と、表示部２３と、映像送信装置１０１とを備える。
With reference to FIG. 1, the
ビデオカメラ１２１における撮影部２１は、たとえば、撮影対象物の高精細映像を撮影し、撮影した映像を示す映像データを映像送信装置１０１へ出力する。映像には、複数の画面が含まれる。たとえば、６０ｆｐｓ（ｆｒａｍｅ ｐｅｒ ｓｅｃｏｎｄ）の映像データには、１秒あたり６０枚の画面が含まれる。
For example, the
より詳細には、撮影部２１は、たとえば、デュアルグリーン方式または４：２：２方式等に従って、８Ｋ ＵＨＤＴＶの解像度を有する撮影対象物の映像データを生成する。この映像データには、画面ごとの画面データが含まれる。
More specifically, the photographing
デュアルグリーン方式に従って生成された６０ｆｐｓの映像データの伝送レートは、たとえば２３．８９Ｇｂｐｓまたは１９．９１Ｇｂｐｓである。また、４：２：２方式に従って生成された映像データの伝送レートは、たとえば４７．７８Ｇｂｐｓまたは３９．８１Ｇｂｐｓである。 The transmission rate of 60 fps video data generated according to the dual green method is, for example, 23.89 Gbps or 19.91 Gbps. The transmission rate of video data generated according to the 4: 2: 2 system is, for example, 47.78 Gbps or 39.81 Gbps.
図２は、本発明の実施の形態に係る映像伝送システムにおける映像送信装置の構成を示す図である。 FIG. 2 is a diagram showing a configuration of a video transmission apparatus in the video transmission system according to the embodiment of the present invention.
図２を参照して、映像送信装置１０１は、取得部３１と、圧縮処理部３２と、送信部３３とを備える。
With reference to FIG. 2, the
映像送信装置１０１は、撮影部２１から受ける数十Ｇｂｐｓの伝送レートの映像データを、たとえば１０Ｇｂｐｓ以下の伝送レートで送信できるように当該映像データを圧縮する。
The
詳細には、映像送信装置１０１における取得部３１は、映像データを取得する。より詳細には、取得部３１は、撮影部２１から映像データを受けると、受けた映像データを圧縮処理部３２へ出力する。
Specifically, the
図３は、本発明の実施の形態に係る映像送信装置における圧縮処理部の構成を示す図である。 FIG. 3 is a diagram showing a configuration of the compression processing unit in the video transmission apparatus according to the embodiment of the present invention.
図３を参照して、圧縮処理部３２は、ブロック分割部４１と、データ分配部４２と、可逆圧縮部４３と、非可逆圧縮部４４と、方式選択部４５と、符号化部４６とを含む。
Referring to FIG. 3, the
圧縮処理部３２は、撮影部２１によって取得された映像データにおいて、当該映像データを構成する画像の１つである１画面ごとに圧縮処理を行う。より詳細には、圧縮処理部３２は、当該映像データにおいて、１画面を複数のブロックに分割し、ブロックごとに画像データの圧縮処理を行う。また、圧縮処理部３２は、可逆圧縮のアルゴリズムおよび非可逆圧縮のアルゴリズムをブロックごとに選択可能である。
The
たとえば、圧縮処理部３２は、ブロックの画像データの圧縮率が所定値Ａ１となるように圧縮処理を行う。詳細には、圧縮処理部３２は、たとえば、圧縮率が所定値Ａ１となるように可逆圧縮のアルゴリズムおよび非可逆圧縮のアルゴリズムのいずれか一方を選択する。ここで、圧縮率は、圧縮後のデータサイズを圧縮前のデータサイズで除した値と定義する。また、所定値Ａ１は、ユーザまたは調整部２２により設定変更可能である。
For example, the
より詳細には、圧縮処理部３２におけるブロック分割部４１は、取得部３１から映像データを受けて１画面分の画面データを確保すると、確保した画面データの示す１画面を複数のブロックに分割する。
More specifically, when the
具体的には、ブロック分割部４１は、画面データの示す画面を、同じ形状および同じ大きさを有する複数のブロックに分割する。より具体的には、ブロック分割部４１は、画面を１または複数の行ごとにスライスしたブロックに分割したり、１または複数の列ごとにスライスしたブロックに分割したり、縦ｎ個×横ｍ個（ここで、ｎ，ｍは正の整数。）の画素を有するブロックに分割したりする。
Specifically, the
なお、各ブロックの形状は任意の形状でよい。また、各ブロックの大きさは任意の大きさでよい。しかしながら、各ブロックの形状および大きさを統一すると、利便性が高まるので好ましい。また、ブロックのサイズが大きくなるほど圧縮率を高めることが可能となるが、処理負荷、処理回路、処理に要するメモリ容量および処理時間が増大するので、適正なサイズにすることが好ましい。 The shape of each block may be any shape. Moreover, the size of each block may be arbitrary. However, it is preferable to unify the shape and size of each block because convenience is enhanced. Further, the compression rate can be increased as the block size increases. However, since the processing load, the processing circuit, the memory capacity required for processing, and the processing time increase, it is preferable to set the size appropriately.
ブロック分割部４１は、ブロックにおける画像データ（以下、ブロックデータとも称する。）をブロックの画面における位置順にデータ分配部４２へ出力する。
The
データ分配部４２は、ブロック分割部４１から受けるブロックデータを分配する。より詳細には、データ分配部４２は、各ブロックデータを先頭から順に、後段の可逆圧縮部４３において並列処理可能な数ごとに可逆圧縮部４３へ出力する。
可逆圧縮部４３は、たとえば複数の可逆的な圧縮処理を並列して行うことが可能である。可逆圧縮部４３において用いられる可逆圧縮のアルゴリズムは、たとえば専用の半導体集積回路により実装される。ここで、可逆的な圧縮とは、圧縮後のブロックデータを圧縮前のブロックデータに戻すことが可能なように圧縮することであり、一般に圧縮率が低く、画像により圧縮率が大きく変動する。具体的には、雑音に近い画像の圧縮率は低い。一方、シャープな画像の圧縮率は高い。
The
より詳細には、可逆圧縮部４３は、データ分配部４２から複数のブロックデータを受けると、受けたブロックデータを並列に可逆的に圧縮し、圧縮後のブロックデータ（以下、可逆ブロックデータとも称する。）を方式選択部４５へ出力する。
More specifically, upon receiving a plurality of block data from the
圧縮処理部３２は、たとえば、アルゴリズムの選択結果を示す選択情報を作成する。より詳細には、圧縮処理部３２における方式選択部４５は、可逆圧縮部４３から可逆ブロックデータを受けると、受けた可逆ブロックデータのサイズに基づいて、可逆ブロックデータの圧縮率を確認する。
For example, the
具体的には、方式選択部４５は、可逆ブロックデータのサイズと所定サイズＢＳとの比を算出することにより可逆ブロックデータの圧縮率を確認する。ここで、所定サイズＢＳは、たとえばブロックデータを所定値Ａ１の圧縮率で圧縮したときのサイズである。
Specifically, the
方式選択部４５は、確認した圧縮率が所定値Ａ１である場合、すなわち、可逆ブロックデータのサイズが所定サイズＢＳである場合、可逆圧縮を行ったことを示す選択情報および圧縮方法を含む圧縮情報Ｒを可逆ブロックデータに付加する。圧縮情報は、たとえばフラグビットにより表される。
When the confirmed compression rate is the predetermined value A1, that is, when the size of the reversible block data is the predetermined size BS, the
また、方式選択部４５は、可逆ブロックデータのサイズが所定サイズＢＳより小さい場合、可逆ブロックデータにパディングを施すことにより可逆ブロックデータのサイズを所定サイズＢＳにした後、圧縮情報Ｒを可逆ブロックデータに付加する。
In addition, when the size of the reversible block data is smaller than the predetermined size BS, the
また、方式選択部４５は、可逆ブロックデータのサイズが所定サイズＢＳより大きい場合、可逆ブロックデータを破棄するとともに、当該可逆ブロックデータの順番をデータ分配部４２へ通知する。
In addition, when the size of the reversible block data is larger than the predetermined size BS, the
データ分配部４２は、方式選択部４５から順番の通知を受けると、通知された順番のブロックデータを非可逆圧縮部４４へ出力する。
When receiving the order notification from the
非可逆圧縮部４４は、たとえば、圧縮後のサイズを設定することが可能な、Ｖｉｓｕａｌｌｙ Ｌｏｓｓｌｅｓｓ ＣｏｍｐｒｅｓｓｉｏｎまたはＶｉｓｕａｌｌｙ Ｒｅｖｅｒｓｉｂｌｅ Ｃｏｍｐｌｅｓｓｉｏｎと呼ばれるアルゴリズムを用いてブロックデータを非可逆的に圧縮する。非可逆圧縮部４４において用いられる非可逆圧縮のアルゴリズムは、たとえば専用の半導体集積回路に実装される。ここで、非可逆的な圧縮とは、圧縮後のブロックデータを圧縮前のブロックデータに戻すことが不可能なように圧縮することである。
The
具体的には、非可逆圧縮部４４は、データ分配部４２から受けるブロックデータを、圧縮後のサイズが所定サイズＢＳになるように非可逆的に圧縮し、圧縮後のブロックデータ（以下、非可逆ブロックデータとも称する。）を方式選択部４５へ出力する。
Specifically, the
方式選択部４５は、非可逆圧縮部４４から非可逆ブロックデータを受けると、受けた非可逆ブロックデータに、非可逆圧縮を行ったことを示す選択情報と圧縮方法および圧縮パラメータとを含む圧縮情報Ｉを非可逆ブロックデータに付加する。
When the
以下、可逆ブロックデータおよび非可逆ブロックデータの各々を、圧縮ブロックデータとも称する。方式選択部４５は、圧縮ブロックデータを位置順に符号化部４６へ出力する。
Hereinafter, each of the lossless block data and the lossy block data is also referred to as compressed block data. The
符号化部４６は、方式選択部４５から受ける圧縮ブロックデータを符号化し、符号化した圧縮ブロックデータを送信部３３へ出力する。
The
再び図２を参照して、送信部３３は、圧縮処理部３２によって圧縮処理が行われた映像データを送信する。より詳細には、送信部３３は、符号化された圧縮ブロックデータを符号化部４６から受けると、受けた圧縮ブロックデータをネットワーク１０経由で映像受信装置１１１へ送信する。
Referring to FIG. 2 again, the
再び図１および図３を参照して、圧縮処理部３２は、たとえば、１画面における可逆圧縮ブロックの率Ｒ１を示す情報を出力可能である。
Referring to FIGS. 1 and 3 again, the
具体的には、圧縮処理部３２における方式選択部４５は、圧縮情報Ｒを付加したブロックデータの数と１画面におけるブロック数との比を算出することにより率Ｒ１を取得する。なお、方式選択部４５は、１画面における特定の領域における率Ｒ１を取得してもよい。方式選択部４５は、取得した率Ｒ１を示す率情報を調整部２２および表示部２３へ出力する。
Specifically, the
表示部２３は、方式選択部４５から率情報を受けると、受けた率情報の示す率Ｒ１を表示する。
When receiving the rate information from the
たとえば、撮影対象物がはっきりと映っている場合、映像データの可逆圧縮における圧縮率は通常高いため、率Ｒ１が高くなる。したがって、圧縮処理後の映像データをどの程度オリジナルの映像データに戻せるかを示す指標として率Ｒ１を用いることができる。ユーザは、表示部２３に表示された率Ｒ１が高くなるように撮影部２１における明るさ、ピントおよび絞り等の撮影条件を調整することにより、圧縮処理および伸長処理を施してもオリジナルの映像に対する同一性が損なわれにくい映像を撮影することができる。また、ユーザは、圧縮処理部３２における圧縮率の目標である所定値Ａ１を適宜設定することにより、率Ｒ１を所望の値に近づける調整をリアルタイムに行うことができる。
For example, when the object to be photographed is clearly shown, the rate R1 is high because the compression rate in the lossless compression of the video data is usually high. Therefore, the rate R1 can be used as an index indicating how much the compressed video data can be restored to the original video data. The user adjusts the shooting conditions such as the brightness, focus, and aperture in the
調整部２２は、方式選択部４５から率情報を受けると、受けた率情報の示す率Ｒ１を用いて撮影部２１を調整する。より詳細には、調整部２２は、率Ｒ１が高くなるように撮影部２１における上記のような撮影条件を調整する。
When receiving the rate information from the
また、調整部２２は、率情報の示す率Ｒ１を用いて圧縮処理部３２における圧縮率の目標である所定値Ａ１を調整する。より詳細には、調整部２２は、率Ｒ１が所望の値に近づくよう所定値Ａ１の設定変更を行う。
The
また、圧縮処理部３２は、たとえば、１画面において可逆圧縮されたブロックの位置を示す位置情報を出力可能である。
In addition, the
具体的には、圧縮処理部３２における方式選択部４５は、可逆圧縮部４３から受ける可逆ブロックデータの順番からブロックの位置を取得し、取得した位置、および可逆ブロックデータに圧縮情報Ｒを付加したか否かに基づいて、１画面において可逆圧縮されたブロックの位置を特定する。
Specifically, the
方式選択部４５は、可逆圧縮された各ブロックの位置を示す位置情報を調整部２２および表示部２３へ出力する。
The
表示部２３は、方式選択部４５から位置情報を受けると、受けた位置情報に基づいて、可逆圧縮されたブロックをマッピングして表示する。
When the
たとえば、映像において、撮影対象物が映っている部分以外の部分が不要な場合がある。このような場合において、たとえば、ユーザは、表示部２３に表示された内容を参照しながら、映像における撮影対象物に含まれるより多くのブロックが可逆圧縮可能となるように、圧縮処理部３２における圧縮率の目標である所定値Ａ１を設定したり、撮影部２１における上記のような撮影条件を調整したりする。
For example, in the video, there may be a case where a part other than the part where the shooting target object is shown is unnecessary. In such a case, for example, while referring to the content displayed on the
具体的には、たとえば、橋脚におけるひびを検査することを目的として、橋脚および雑草が映り込んだ映像を処理する状況を想定する。雑草の画像データの可逆圧縮率は低い一方、橋脚の画像データの可逆圧縮率は高い。たとえば、ユーザは、表示部２３に表示された内容を参照しながら、映像における雑草の部分の可逆性を考慮することなく、映像における橋脚の部分が可逆圧縮されるように所定値Ａ１を設定変更したり、上記のような撮影条件を調整したりする。
Specifically, for example, a situation is assumed in which an image in which a pier and a weed are reflected is processed for the purpose of inspecting a crack on the pier. The reversible compression rate of weed image data is low, while the reversible compression rate of pier image data is high. For example, the user changes the setting of the predetermined value A1 so that the bridge pier part in the video is reversibly compressed without considering the reversibility of the weed part in the video while referring to the content displayed on the
これにより、映像における必要な部分を優先して、オリジナル映像に対する同一性を確保することができる。 Thereby, priority can be given to the necessary part in a video | video, and the identity with respect to an original video | video can be ensured.
調整部２２は、方式選択部４５から位置情報を受けると、受けた位置情報に基づいて、たとえばユーザにより指定された部分に含まれるより多くのブロックが可逆圧縮可能となるように、撮影部２１における上記のような撮影条件の調整、および圧縮処理部３２における圧縮率の目標である所定値Ａ１の設定変更を行う。
When the
図４は、本発明の実施の形態に係る映像伝送システムにおける映像受信装置の構成を示す図である。 FIG. 4 is a diagram showing a configuration of a video reception device in the video transmission system according to the embodiment of the present invention.
図４を参照して、映像受信装置１１１は、受信部５１と、伸長処理部５２とを備える。
With reference to FIG. 4, the
映像受信装置１１１における受信部５１は、１画面が複数のブロックに分割され、ブロックごとに画像データの圧縮処理が行われた映像データを受信する。より詳細には、受信部５１は、符号化された圧縮ブロックデータを位置順に映像送信装置１０１から受信すると、受信した圧縮ブロックデータを伸長処理部５２へ出力する。
The receiving
図５は、本発明の実施の形態に係る映像受信装置における伸長処理部の構成を示す図である。 FIG. 5 is a diagram illustrating a configuration of the decompression processing unit in the video reception device according to the embodiment of the present invention.
図５を参照して、伸長処理部５２は、復号化部６１と、伸長部６２と、方式処理部６３と、ブロック合成部６４と、出力部６５とを含む。
With reference to FIG. 5, the
伸長処理部５２は、受信部５１によって受信された映像データにおいて、ブロックごとにデータの伸長処理を行う。また、伸長処理部５２は、可逆伸長のアルゴリズムおよび非可逆伸長のアルゴリズムをブロックごとに選択可能である。
The
たとえば、伸長処理部５２は、映像送信装置１０１から受信した選択情報を用いて伸長処理を行う。
For example, the
より詳細には、伸長処理部５２における復号化部６１は、受信部５１から圧縮ブロックデータを受けると、受けた圧縮ブロックデータを復号化する。
More specifically, when receiving the compressed block data from the receiving
復号化部６１は、復号化した圧縮ブロックデータから圧縮情報Ｒまたは圧縮情報Ｉを取得し、圧縮情報Ｒまたは圧縮情報Ｉを取り除いた圧縮ブロックデータを位置順に伸長部６２へ出力するとともに、取得した圧縮情報Ｒまたは圧縮情報Ｉを位置順に方式処理部６３へ出力する。
The
方式処理部６３は、復号化部６１から圧縮情報Ｒを受ける場合、受けた圧縮情報Ｒから選択情報および圧縮方法を取得し、取得した選択情報および圧縮方法を伸長部６２へ通知する。
When receiving the compression information R from the
伸長部６２は、方式処理部６３から通知された選択情報に基づいて、復号化部６１から受ける圧縮ブロックデータが可逆ブロックデータであることを認識し、方式処理部６３から通知された圧縮方法に従って、当該可逆ブロックデータを伸長する。
The decompressing
一方、方式処理部６３は、復号化部６１から圧縮情報Ｉを受ける場合、受けた圧縮情報Ｉから選択情報、圧縮方法および圧縮パラメータを取得し、取得した選択情報、圧縮方法および圧縮パラメータを伸長部６２へ通知する。
On the other hand, when receiving the compression information I from the
伸長部６２は、方式処理部６３から通知された選択情報に基づいて、復号化部６１から受ける圧縮ブロックデータが非可逆ブロックデータであることを認識し、方式処理部６３から通知された圧縮方法に従って、方式処理部６３から通知された圧縮パラメータを用いて当該非可逆ブロックデータを伸長する。非伸長部６２において用いられる可逆伸縮のアルゴリズムおよび非可逆伸縮のアルゴリズムは、たとえば専用の半導体集積回路に実装される。
The
伸長部６２は、伸長後のブロックデータを位置順にブロック合成部６４へ出力する。
The
ブロック合成部６４が、伸長部６２から受けるブロックデータから画面の一部を生成し、生成した画面の一部を伸長部６２から受けた順番に並べることにより１画面を完成させる。ブロック合成部６４は、完成させた１画面を示す画面情報を出力部６５へ出力する。
The
出力部６５は、ブロック合成部６４から画面情報を受けると、受けた画面情報の示す１画面を所定のフレーム周期で表示装置１３１に表示させる制御を行う。
When receiving the screen information from the
また、伸長処理部５２は、たとえば、映像送信装置１０１から受信した選択情報を出力可能である。具体的には、伸長処理部５２における方式処理部６３は、選択情報を位置順に出力部６５へ出力する。出力部６５は、方式処理部６３から受ける位置順の選択情報、および画面情報を記憶装置１４１に保存する。
Further, the
このように、位置順の選択情報を画面情報と共に保存する構成により、画像解析および画像処理において、たとえば、画像情報の示す画面からオリジナル画像との同一性を有する領域を切り出したり、非可逆圧縮された領域をマスキングしたりすることができる。 In this manner, the configuration in which the selection information in the position order is stored together with the screen information, for example, in image analysis and image processing, for example, a region having the sameness as the original image is cut out from the screen indicated by the image information, or is irreversibly compressed Or mask the area.
また、伸長処理部５２は、たとえば、１画面において可逆伸長されたブロックの率を示す情報を出力可能である。
Further, the
具体的には、伸長処理部５２における出力部６５は、位置順の選択情報に基づいて率Ｒ１を取得する。なお、出力部６５は、１画面における特定の領域における率Ｒ１を取得してもよい。出力部６５は、取得した率Ｒ１を、画像情報の示す画面に重ねて表示装置１３１に表示させる制御を行う。
Specifically, the
また、伸長処理部５２は、たとえば、たとえば、１画面において可逆伸長されたブロックの位置を示す情報を出力可能である。
Further, the
具体的には、伸長処理部５２における出力部６５は、位置順の選択情報に基づいて、非可逆圧縮されたブロックの画面における位置を取得する。
Specifically, the
出力部６５は、非可逆圧縮されたブロックを黒く塗りつぶした画面を作成し、作成した画面を、画像情報の示す画面に重ねて表示装置１３１に表示させる制御を行う。
The
これにより、ユーザは、表示装置１３１に表示された画面から、黒く塗りつぶされた部分が非可逆圧縮された領域であること、および黒く塗りつぶされずに画像の表示されている部分が可逆圧縮された領域であることを認識することができる。
As a result, the user can see from the screen displayed on the
［動作］
映像伝送システム３０１における映像送信装置１０１および映像受信装置１１１は、コンピュータを備え、当該コンピュータにおけるＣＰＵ等の演算処理部は、以下のシーケンス図またはフローチャートの各ステップの一部または全部を含むプログラムを図示しないメモリからそれぞれ読み出して実行する。これら複数の装置のプログラムは、それぞれ、外部からインストールすることができる。これら複数の装置のプログラムは、それぞれ、記録媒体に格納された状態で流通する。
[Operation]
The
図６は、本発明の実施の形態に係る映像送信装置が映像データにおける１画面の圧縮処理を行う際の動作手順を定めたフローチャートである。 FIG. 6 is a flowchart defining an operation procedure when the video transmission apparatus according to the embodiment of the present invention performs compression processing of one screen in video data.
図６を参照して、まず、映像送信装置１０１は、１画面分の映像データを撮影部２１から取得する（ステップＳ１０２）。
With reference to FIG. 6, first, the
次に、映像送信装置１０１は、取得した１画面分の映像データの示す画面を複数のブロックに分割する（ステップＳ１０４）。
Next, the
次に、映像送信装置１０１は、分割した複数のブロックのブロックデータの中からブロックデータを選択し、選択したブロックデータを可逆圧縮処理する（ステップＳ１０６）。
Next, the
次に、映像送信装置１０１は、圧縮ブロックデータのデータサイズが、圧縮率が所定値Ａ１に相当するサイズすなわち所定サイズＢＳより大きい場合（ステップＳ１０８でＹＥＳ）、当該ブロックデータを非可逆圧縮処理する（ステップＳ１２０）。
Next, when the data size of the compressed block data is larger than the size corresponding to the predetermined value A1, that is, the predetermined size BS (YES in step S108), the
次に、映像送信装置１０１は、非可逆圧縮処理後の圧縮ブロックデータに圧縮情報Ｉを付加する（ステップＳ１２２）。
Next, the
一方、映像送信装置１０１は、圧縮ブロックデータのデータサイズが所定サイズＢＳより小さい場合（ステップＳ１０８でＮＯおよびステップＳ１１０でＹＥＳ）、圧縮ブロックデータのデータサイズが所定サイズＢＳとなるように圧縮ブロックデータにパディングを施す（ステップＳ１１２）。
On the other hand, when the data size of the compressed block data is smaller than the predetermined size BS (NO in step S108 and YES in step S110), the
次に、映像送信装置１０１は、圧縮ブロックデータのデータサイズが所定サイズＢＳであるか（ステップＳ１０８でＮＯおよびステップＳ１１０でＮＯ）、または圧縮ブロックデータにパディングを施すと（ステップＳ１１２）、圧縮ブロックデータに圧縮情報Ｒを付加する（ステップＳ１１４）。
Next, when the data size of the compressed block data is the predetermined size BS (NO in step S108 and NO in step S110), or the
次に、映像送信装置１０１は、圧縮ブロックデータに圧縮情報Ｉを付加するか（ステップＳ１２２）、または圧縮ブロックデータに圧縮情報Ｒを付加すると（ステップＳ１１４）、すべてのブロックデータを選択したか否かを確認する（ステップＳ１１６）。
Next, when the
映像送信装置１０１は、すべてのブロックデータを選択していないことを確認すると（ステップＳ１１６でＮＯ）、分割した複数のブロックのブロックデータの中から新たなブロックデータを選択し、選択したブロックデータを可逆圧縮処理する（ステップＳ１０６）。
When confirming that all the block data has not been selected (NO in step S116),
一方、映像送信装置１０１は、すべてのブロックデータを選択したことを確認すると（ステップＳ１１６でＹＥＳ）、圧縮ブロックデータを位置順に映像受信装置１１１へ送信する（ステップＳ１１８）。
On the other hand, when confirming that all the block data has been selected (YES in step S116), the
なお、映像送信装置１０１は、ブロックデータを可逆圧縮処理してから（ステップＳ１０６）、圧縮ブロックデータのデータサイズが所定サイズＢＳより大きいブロックの画像データを非可逆圧縮処理したが（ステップＳ１０８でＹＥＳおよびステップＳ１２０）、これに限定するものではない。映像送信装置１０１は、ブロックデータを非可逆圧縮処理してから、当該ブロックデータを可逆圧縮処理してもよいし、非可逆圧縮処理および可逆圧縮処理を並行して行ってもよい。
The
また、映像送信装置１０１は、ブロックデータを可逆圧縮処理してから（ステップＳ１０６）、圧縮ブロックデータのデータサイズが所定サイズＢＳより大きいか否かを判定したが（ステップＳ１０８）、これに限定するものではない。映像送信装置１０１は、ブロックデータの可逆圧縮処理の途中において、圧縮処理後のデータサイズが所定サイズＢＳより大きくなることが明らかになったとき、当該可逆圧縮処理を中断して非可逆圧縮処理を開始してもよい。
The
映像送信装置１０１が、１画面分の映像データを撮影部２１から取得するごとに上記ステップＳ１０２〜Ｓ１２２の動作を行うことにより、複数の画面の画面データを含む映像データの圧縮処理が行われる。
Each time the
図７は、本発明の実施の形態に係る映像受信装置が映像データにおける１画面の伸長処理を行う際の動作手順を定めたフローチャートである。 FIG. 7 is a flowchart defining an operation procedure when the video receiving apparatus according to the embodiment of the present invention performs one-screen expansion processing on video data.
図７を参照して、まず、映像受信装置１１１は、映像送信装置１０１から送信される圧縮ブロックデータを取得する（ステップＳ２０２）。
With reference to FIG. 7, first, the
次に、映像受信装置１１１は、圧縮ブロックデータに付加された圧縮情報Ｒまたは圧縮情報Ｉに基づいて、当該圧縮ブロックデータが可逆圧縮されたか否かを判定する（ステップＳ２０４）。
Next, the
映像受信装置１１１は、当該圧縮ブロックデータが可逆圧縮されたと判定すると（ステップＳ２０４でＹＥＳ）、圧縮データＲに基づいて、当該圧縮ブロックデータすなわち可逆ブロックデータを伸長する（ステップＳ２０６）。
When determining that the compressed block data has been reversibly compressed (YES in step S204), the
一方、映像受信装置１１１は、当該圧縮ブロックデータが非可逆圧縮されたと判定すると（ステップＳ２０４でＮＯ）、圧縮データＩに基づいて、当該圧縮ブロックデータすなわち非可逆ブロックデータを伸長する（ステップＳ２１４）。
On the other hand, when determining that the compressed block data has been irreversibly compressed (NO in step S204), the
次に、映像受信装置１１１は、可逆ブロックデータを伸長するか（ステップＳ２０６）、または非可逆ブロックデータを伸長すると（ステップＳ２１４）、１画面分のブロックデータが蓄積されたか否かを判定する（ステップＳ２０８）。
Next, the
映像受信装置１１１は、１画面分のブロックデータが蓄積されていないと判定すると（ステップＳ２０８でＮＯ）、映像送信装置１０１から送信される新たな圧縮ブロックデータを取得する（ステップＳ２０２）。
If the
一方、映像受信装置１１１は、１画面分のブロックデータが蓄積されたと判定すると（ステップＳ２０８でＹＥＳ）、蓄積したブロックデータを用いて１画面を生成する（ステップＳ２１０）。
On the other hand, when determining that the block data for one screen has been accumulated (YES in step S208), the
次に、映像受信装置１１１は、生成した１画面を所定のフレーム周期で表示装置１３１に表示する制御を行う（ステップＳ２１２）。
Next, the
映像受信装置１１１が、１画面分のブロックデータを蓄積し、蓄積したブロックデータを用いて生成した１画面を表示装置１３１に表示する上記ステップＳ２０２〜Ｓ２１２の動作を繰り返し行うことにより、複数の画面の画面データを含む映像データの伸長処理が行われる。
The
なお、本発明の実施の形態に係る映像送信装置では、圧縮処理部３２は、ブロックデータの圧縮率が所定値Ａ１となるように圧縮処理を行う構成であるとしたが、これに限定するものではない。圧縮処理部３２は、当該圧縮率が所定範囲となるように圧縮処理を行う構成であってもよい。たとえば、圧縮処理部３２は、ブロックデータを可逆圧縮したときのデータサイズが、圧縮率の所定範囲における上限値に相当するサイズより大きい場合、当該サイズ以下を目標として当該ブロックデータを非可逆圧縮する。一方、圧縮処理部３２は、ブロックデータを可逆圧縮したときのデータサイズが、圧縮率の所定範囲における下限値に相当するサイズより小さい場合、データサイズが当該サイズになるようにパディングを施す。
In the video transmitting apparatus according to the embodiment of the present invention, the
また、本発明の実施の形態に係る映像送信装置では、圧縮処理部３２は、１画面において可逆圧縮されたブロックの率Ｒ１を示す情報を出力する構成であるとしたが、これに限定するものではない。圧縮処理部３２は、１画面において非可逆圧縮されたブロックの率を示す情報を出力する構成であってもよい。
In the video transmission device according to the embodiment of the present invention, the
また、本発明の実施の形態に係る映像受信装置では、伸長処理部５２は、１画面において可逆伸長されたブロックの率Ｒ１を示す情報を出力する構成であるとしたが、これに限定するものではない。伸長処理部５２は、１画面において非可逆伸長されたブロックの率を示す情報を出力する構成であってもよい。
Further, in the video reception device according to the embodiment of the present invention, the
また、本発明の実施の形態に係る映像送信装置では、圧縮処理部３２は、１画面において可逆圧縮されたブロックの位置を示す情報を出力する構成であるとしたが、これに限定するものではない。圧縮処理部３２は、１画面において非可逆圧縮されたブロックの位置を示す情報を出力する構成であってもよい。
Further, in the video transmission apparatus according to the embodiment of the present invention, the
また、本発明の実施の形態に係る映像受信装置では、伸長処理部５２は、１画面において可逆伸長されたブロックの位置を示す情報を出力する構成であるとしたが、これに限定するものではない。伸長処理部５２は、１画面において非可逆伸長されたブロックの位置を示す情報を出力する構成であってもよい。
Further, in the video reception device according to the embodiment of the present invention, the
また、本発明の実施の形態に係る映像送信装置では、伸長処理部５２は、映像送信装置１０１から受信した選択情報を用いて伸長処理を行う構成であるとしたが、これに限定するものではない。伸長処理部５２は、選択情報を用いず伸長処理を行う構成であってもよい。具体的には、たとえば、伸長処理部５２は、ブロックごとの画像データを可逆伸長することを試みる。伸長処理部５２は、可逆伸長処理に成功すると、伸長後の画像データを採用し、可逆伸長処理に失敗すると、当該画像データを非可逆伸長する。
In the video transmission device according to the embodiment of the present invention, the
ところで、たとえば、８Ｋ ＵＨＤＴＶのような超高精細のデジタル映像は、データレートが数十Ｇｂｐｓ以上に達するため、伝送、蓄積および画像処理を行うためには、高速・大規模論理回路および大容量メモリ等の非常に大きな資源を必要とする。 By the way, for example, an ultra-high-definition digital video such as 8K UHDTV has a data rate of several tens of Gbps or more. Therefore, in order to perform transmission, storage, and image processing, a high-speed / large-scale logic circuit and a large capacity memory Need very large resources.
この問題を解決するため、目的とする処理の前に映像信号を圧縮することが行われる。放送システムにおいて、伝送前に映像を圧縮し、ＴＶ受像機で提示する際に伸長することは、一つの典型的な例となっている。放送で用いられる非特許文献１に記載のＨ．２６５等の圧縮方式では、高い圧縮率を実現するため、空間周波数処理および高度な符号化等の複雑な演算に加えて、フレーム内およびフレーム間の相関を利用しており、圧縮および伸長の際に複数枚の画像の情報を使った一括処理が必要であるため、処理の負荷が非常に重い。その上、遅延時間も通常は３秒を越え、遅延時間が大きくなる事が避けられない。また、圧縮率についても変動が大きい。 In order to solve this problem, the video signal is compressed before the target processing. In a broadcast system, compressing video before transmission and expanding it when presented on a TV receiver is one typical example. Non-Patent Document 1 used in broadcasting is described in H.264. In order to achieve a high compression rate, compression schemes such as H.265 use intra-frame and inter-frame correlation in addition to complex operations such as spatial frequency processing and advanced coding. In addition, since the batch processing using the information of a plurality of images is necessary, the processing load is very heavy. In addition, the delay time usually exceeds 3 seconds, and it is inevitable that the delay time becomes large. Also, the compression rate varies greatly.
また、実用的な圧縮率たとえば数分の一以下を確保するために、圧縮および伸長の過程は非可逆となる。非可逆の圧縮および伸長の過程では、モザイクノイズ、モスキートノイズおよびシマリングといったデジタルノイズが重畳される。デジタルノイズの種類、形状、大きさおよび発生場所については、圧縮アルゴリズムに固有な特性であり、画像および画像間の繋がり（連続関係）にも依存する為、予測をすることが困難である。 Also, in order to ensure a practical compression rate, for example, a fraction of a fraction, the compression and decompression processes are irreversible. In the process of irreversible compression and decompression, digital noise such as mosaic noise, mosquito noise and shimmering is superimposed. The type, shape, size, and location of the digital noise are characteristics inherent to the compression algorithm, and depend on the image and the connection (continuous relationship) between the images, making it difficult to predict.
このような特性は画像解析および画像処理には不適合であるため、あらかじめ全画面を長方形のブロックまたは複数ラインのスライスに分割したうえで、小領域を圧縮する方法が考えられる。しかしながら、非可逆な特性および予測が困難なデジタルノイズの重畳等の解決が困難である。このため、厳格な処理結果が求められる応用分野では、オリジナル映像の処理が求められている。 Since such characteristics are unsuitable for image analysis and image processing, a method of compressing a small region after dividing the entire screen into rectangular blocks or slices of a plurality of lines in advance can be considered. However, it is difficult to solve the irreversible characteristics and the superimposition of digital noise that is difficult to predict. For this reason, in an application field where a strict processing result is required, processing of an original video is required.
これに対して、本発明の実施の形態に係る映像伝送システムでは、映像送信装置１０１は、映像データを取得し、取得した映像データにおいて、１画面を複数のブロックに分割し、ブロックごとに画像データの圧縮処理を行い、圧縮処理を行った映像データを送信する。映像受信装置１１１は、映像送信装置１０１から受信した映像データにおいて、ブロックごとに画像データの伸長処理を行う。映像送信装置１０１は、可逆圧縮のアルゴリズムおよび非可逆圧縮のアルゴリズムをブロックごとに選択可能である。そして、映像受信装置１１１は、可逆伸長のアルゴリズムおよび非可逆伸長のアルゴリズムをブロックごとに選択可能である。
On the other hand, in the video transmission system according to the embodiment of the present invention, the
このような構成により、可逆圧縮のアルゴリズムを適用したブロックについては、圧縮処理負荷を軽くするとともに、オリジナル映像に対する同一性を保持した画像データを映像受信装置１１１において復元することができる。また、非可逆圧縮のアルゴリズムを適用したブロックについては、伝送時のデータサイズを小さくするとともに、オリジナル映像に近い画像データを映像受信装置１１１において復元することができる。また、画面間の画像データを用いて圧縮処理を行わないので、処理負荷を軽減することができる。すなわち、映像送信装置１０１および映像受信装置１１１間のデータ伝送能力と、より多くのオリジナル映像を送信する目的とのバランスを考慮しながら、可逆圧縮または非可逆圧縮の別をブロックごとに適宜選択し、ブロックごとの圧縮処理を施した画像データを伝送することができる。したがって、オリジナル映像との同一性および伝送レートを考慮した適切な映像伝送を実現することができる。
With such a configuration, for the block to which the lossless compression algorithm is applied, the
また、本発明の実施の形態に係る映像伝送システムでは、映像送信装置１０１は、ブロックの画像データの圧縮率が所定値または所定範囲となるように圧縮処理を行う。
Further, in the video transmission system according to the embodiment of the present invention,
このような構成により、各ブロックの圧縮後のデータサイズをある程度揃えることができるので、伝送レートの大きな変動および圧縮率の大きな変動を抑制することができる。これにより、オリジナル映像との同一性をより多く確保しながら、映像データを映像送信装置１０１から映像受信装置１１１へ効率よく伝送することができる。また、圧縮率を所定値にする場合、圧縮率の変動を吸収するためのバッファを不要とすることができる。また、遅延時間をほぼ一定にすることができるので、圧縮処理のアルゴリズムをハードウェアで容易に実現することができる。これにより、遅延時間を数ミリ秒程度に抑制することができるので、より多くのオリジナル映像をリアルタイムで伝送することができる。
With such a configuration, the data size after compression of each block can be made uniform to some extent, so that large fluctuations in the transmission rate and large fluctuations in the compression rate can be suppressed. Thereby, the video data can be efficiently transmitted from the
また、本発明の実施の形態に係る映像伝送システムでは、映像送信装置１０１は、圧縮率が所定値または所定範囲となるように可逆圧縮のアルゴリズムおよび非可逆圧縮のアルゴリズムのいずれか一方を選択する。
Further, in the video transmission system according to the embodiment of the present invention,
このような構成により、所定値または所定範囲を圧縮処理の目標として、圧縮効率が低いけれどもオリジナルのデータを再現可能な可逆圧縮、および可逆圧縮では目標に到達しない場合にオリジナルのデータに近くかつ目標に到達することが可能な非可逆圧縮のいずれかを適宜選択することができる。 With such a configuration, a predetermined value or a predetermined range is used as a compression processing target, lossless compression capable of reproducing the original data even though the compression efficiency is low, and close to the original data when the target is not reached by lossless compression and the target is reached. Any one of irreversible compressions that can be reached can be selected as appropriate.
また、本発明の実施の形態に係る映像伝送システムでは、映像送信装置１０１は、アルゴリズムの選択結果を示す選択情報を作成して送信する。そして、映像受信装置１１１は、映像送信装置１０１から受信した選択情報を用いて伸長処理を行う。
Also, in the video transmission system according to the embodiment of the present invention,
このような構成により、映像受信装置１１１では、ブロックに施された圧縮処理が可逆であるか非可逆であるかを選択情報から容易に認識することができるので、伸長処理を効率よく行うことができる。
With such a configuration, the
また、本発明の実施の形態に係る映像伝送システムでは、映像受信装置１１１は、映像送信装置１０１から受信した選択情報を出力可能である。
In the video transmission system according to the embodiment of the present invention, the
このような構成により、オリジナル映像との同一性についての品質を適切に管理することができる。具体的には、伸長処理後の映像において、同一性を保った映像部分と同一性が損なわれた映像部分とを提示することができるので、伸長処理後の映像の正確性を評価することができる。これにより、伸長処理後の映像が、医療、高精度な産業またはミッションクリティカルな監視等の厳格な用途に適用可能か否かを判断することができる。 With such a configuration, it is possible to appropriately manage the quality of identity with the original video. Specifically, in the video after the decompression process, it is possible to present the video part having the same identity and the video part in which the identity is impaired, so that the accuracy of the video after the decompression process can be evaluated. it can. Thereby, it is possible to determine whether or not the video after the decompression process can be applied to strict uses such as medical care, high-precision industry, or mission-critical monitoring.
また、本発明の実施の形態に係る映像伝送システムでは、映像送信装置１０１および映像受信装置１１１の少なくともいずれか一方は、１画面において可逆圧縮または可逆伸長されたブロックの率を示す情報を出力可能である。
Further, in the video transmission system according to the embodiment of the present invention, at least one of the
このような構成により、伸長処理後の映像のオリジナル映像に対する忠実度を定量化することができるので、たとえば、オリジナル映像の撮影条件の調整をリアルタイムで行うことができる。 With such a configuration, the fidelity of the decompressed image with respect to the original image can be quantified, and for example, the shooting conditions of the original image can be adjusted in real time.
また、本発明の実施の形態に係る映像伝送システムでは、映像送信装置１０１および映像受信装置１１１の少なくともいずれか一方は、１画面において可逆圧縮または可逆伸長されたブロックの位置を示す情報を出力可能である。
In addition, in the video transmission system according to the embodiment of the present invention, at least one of the
このような構成により、たとえば、可逆圧縮されたブロックをマップ化し、伸長処理後の映像と重ね合わせることで、オリジナル映像と伸長処理後の映像との比較処理を行うことなく同一性を保った映像部分を確定することができる。これにより、たとえば、伸長処理後の映像の提示または解析処理において、オリジナル映像を用いた場合と同一の結果を得ることが可能な映像部分を認識することができる。 With such a configuration, for example, a lossless-compressed block is mapped and overlapped with the decompressed video so that the original video and the video after the decompression can be compared without performing comparison processing. The part can be confirmed. Thereby, for example, in the presentation or analysis process of the video after the decompression process, it is possible to recognize a video part that can obtain the same result as when the original video is used.
また、本発明の実施の形態に係る映像送信装置では、取得部３１は、映像データを取得する。圧縮処理部３２は、取得部３１によって取得された映像データにおいて、１画面を複数のブロックに分割し、ブロックごとに画像データの圧縮処理を行う。送信部３３は、圧縮処理部３２によって圧縮処理が行われた映像データを送信する。そして、圧縮処理部３２は、可逆圧縮のアルゴリズムおよび非可逆圧縮のアルゴリズムをブロックごとに選択可能である。
Moreover, in the video transmission apparatus according to the embodiment of the present invention, the
このような構成により、可逆圧縮のアルゴリズムを適用したブロックについては、圧縮処理負荷を軽くするとともに、オリジナル映像に対する同一性を保持した画像データを送信先の装置において復元することができる。また、非可逆圧縮のアルゴリズムを適用したブロックについては、伝送時のデータサイズを小さくするとともに、オリジナル映像に近い画像データを送信先の装置において復元することができる。また、画面間の画像データを用いて圧縮処理を行わないので、処理負荷を軽減することができる。すなわち、映像送信装置１０１および送信先の装置間のデータ伝送能力と、より多くのオリジナル映像を送信する目的とのバランスを考慮しながら、可逆圧縮または非可逆圧縮の別をブロックごとに適宜選択し、ブロックごとの圧縮処理を施した画像データを伝送することができる。したがって、オリジナル映像との同一性および伝送レートを考慮した適切な映像伝送を実現することができる。
With such a configuration, for a block to which a lossless compression algorithm is applied, the compression processing load can be reduced, and image data that retains the identity of the original video can be restored in the transmission destination device. In addition, for a block to which an irreversible compression algorithm is applied, the data size at the time of transmission can be reduced, and image data close to the original video can be restored in the transmission destination device. In addition, since the compression processing is not performed using the image data between the screens, the processing load can be reduced. In other words, considering the balance between the data transmission capability between the
また、本発明の実施の形態に係る映像受信装置では、受信部５１は、１画面が複数のブロックに分割され、ブロックごとに画像データの圧縮処理が行われた映像データを受信する。伸長処理部５２は、受信部５１によって受信された映像データにおいて、ブロックごとに画像データの伸長処理を行う。そして、伸長処理部５２は、可逆伸長のアルゴリズムおよび非可逆伸長のアルゴリズムをブロックごとに選択可能である。
In the video reception device according to the embodiment of the present invention, the
このような構成により、可逆圧縮のアルゴリズムが適用されたブロックについては、オリジナル映像に対する同一性を保持した画像データを復元することができる。また、非可逆圧縮のアルゴリズムが適用されたブロックについては、オリジナル映像に近い画像データを復元することができる。すなわち、映像データの送信元の装置および映像受信装置１１１間のデータ伝送能力と、より多くのオリジナル映像を送信する目的とのバランスを考慮しながら、可逆圧縮または非可逆圧縮の別がブロックごとに適宜選択され、ブロックごとの圧縮処理が当該送信元の装置において施された画像データを受信して復元することができる。したがって、オリジナル映像との同一性および伝送レートを考慮した適切な映像伝送を実現することができる。
With such a configuration, with respect to a block to which the lossless compression algorithm is applied, it is possible to restore image data that retains the identity of the original video. For blocks to which the lossy compression algorithm is applied, image data close to the original video can be restored. In other words, the reversible compression or irreversible compression is determined for each block while considering the balance between the data transmission capability between the video data transmission source device and the
上記実施の形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記説明ではなく特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。 The above embodiment should be considered as illustrative in all points and not restrictive. The scope of the present invention is defined by the terms of the claims, rather than the description above, and is intended to include any modifications within the scope and meaning equivalent to the terms of the claims.
以上の説明は、以下に付記する特徴を含む。 The above description includes the following features.
［付記１］
映像データを取得し、取得した前記映像データにおいて、１画面を複数のブロックに分割し、前記ブロックごとに画像データの圧縮処理を行い、前記圧縮処理を行った前記映像データを送信する映像送信装置と、
前記映像送信装置から受信した前記映像データにおいて、前記ブロックごとに画像データの伸長処理を行う映像受信装置とを備え、
前記映像送信装置は、可逆圧縮のアルゴリズムおよび非可逆圧縮のアルゴリズムを前記ブロックごとに選択可能であり、
前記映像受信装置は、可逆伸長のアルゴリズムおよび非可逆伸長のアルゴリズムを前記ブロックごとに選択可能であり、
前記各ブロックの形状および大きさは同じであり、
前記可逆圧縮のアルゴリズム、前記非可逆圧縮のアルゴリズム、前記可逆伸長のアルゴリズムおよび前記非可逆伸長のアルゴリズムは、半導体集積回路に実装される、映像伝送システム。
[Appendix 1]
A video transmission device that acquires video data, divides one screen into a plurality of blocks in the acquired video data, performs compression processing of image data for each block, and transmits the video data subjected to the compression processing When,
In the video data received from the video transmission device, comprising a video reception device that performs image data expansion processing for each block,
The video transmission device can select a lossless compression algorithm and a lossy compression algorithm for each block,
The video reception device can select a lossless decompression algorithm and a lossy decompression algorithm for each block,
The shape and size of each block are the same,
The lossless compression algorithm, the lossy compression algorithm, the lossless decompression algorithm, and the lossy decompression algorithm are mounted on a semiconductor integrated circuit.
［付記２］
映像データを取得する取得部と、
前記取得部によって取得された前記映像データにおいて、１画面を複数のブロックに分割し、前記ブロックごとに画像データの圧縮処理を行う圧縮処理部と、
前記圧縮処理部によって前記圧縮処理が行われた前記映像データを送信する送信部とを備え、
前記圧縮処理部は、可逆圧縮のアルゴリズムおよび非可逆圧縮のアルゴリズムを前記ブロックごとに選択可能であり、
前記各ブロックの形状および大きさは同じであり、
前記可逆圧縮のアルゴリズムおよび前記非可逆圧縮のアルゴリズムは、半導体集積回路に実装される、映像送信装置。
[Appendix 2]
An acquisition unit for acquiring video data;
In the video data acquired by the acquisition unit, a compression processing unit that divides one screen into a plurality of blocks and performs compression processing of image data for each block;
A transmission unit that transmits the video data subjected to the compression processing by the compression processing unit,
The compression processing unit can select a lossless compression algorithm and a lossy compression algorithm for each block,
The shape and size of each block are the same,
The lossless compression algorithm and the lossy compression algorithm are implemented in a semiconductor integrated circuit.
［付記３］
１画面が複数のブロックに分割され、前記ブロックごとに画像データの圧縮処理が行われた映像データを受信する受信部と、
前記受信部によって受信された前記映像データにおいて、前記ブロックごとに画像データの伸長処理を行う伸長処理部とを備え、
前記伸長処理部は、可逆伸長のアルゴリズムおよび非可逆伸長のアルゴリズムを前記ブロックごとに選択可能であり、
前記各ブロックの形状および大きさは同じであり、
前記可逆伸長のアルゴリズムおよび前記非可逆伸長のアルゴリズムは、半導体集積回路に実装される、映像受信装置。
[Appendix 3]
A receiving unit that receives video data in which one screen is divided into a plurality of blocks and image data compression processing is performed for each of the blocks;
In the video data received by the receiving unit, comprising: a decompression processing unit that decompresses image data for each block;
The decompression processing unit can select a reversible decompression algorithm and a lossy decompression algorithm for each block,
The shape and size of each block are the same,
The video receiving apparatus, wherein the reversible decompression algorithm and the irreversible decompression algorithm are mounted on a semiconductor integrated circuit.
１０ ネットワーク
２１ 撮影部
２２ 調整部
２３ 表示部
３１ 取得部
３２ 圧縮処理部
３３ 送信部
４１ ブロック分割部
４２ データ分配部
４３ 可逆圧縮部
４４ 非可逆圧縮部
４５ 方式選択部
４６ 符号化部
５１ 受信部
５２ 伸長処理部
６１ 復号化部
６２ 伸長部
６３ 方式処理部
６４ ブロック合成部
６５ 出力部
１０１ 映像送信装置
１１１ 映像受信装置
１２１ ビデオカメラ
１３１ 表示装置
１４１ 記憶装置
３０１ 映像伝送システム
DESCRIPTION OF
Claims (11)
前記映像送信装置から受信した前記映像データにおいて、前記ブロックごとに画像データの伸長処理を行う映像受信装置とを備え、
前記映像送信装置は、可逆圧縮のアルゴリズムおよび非可逆圧縮のアルゴリズムを前記ブロックごとに選択可能であり、
前記映像受信装置は、可逆伸長のアルゴリズムおよび非可逆伸長のアルゴリズムを前記ブロックごとに選択可能である、映像伝送システム。 A video transmission device that acquires video data, divides one screen into a plurality of blocks in the acquired video data, performs compression processing of image data for each block, and transmits the video data subjected to the compression processing When,
In the video data received from the video transmission device, comprising a video reception device that performs image data expansion processing for each block,
The video transmission device can select a lossless compression algorithm and a lossy compression algorithm for each block,
The video receiving system is capable of selecting a lossless decompression algorithm and a lossy decompression algorithm for each block.
前記映像受信装置は、前記映像送信装置から受信した前記選択情報を用いて前記伸長処理を行う、請求項１から請求項３のいずれか１項に記載の映像伝送システム。 The video transmission device creates and transmits selection information indicating a selection result of the algorithm,
The video transmission system according to any one of claims 1 to 3, wherein the video reception device performs the expansion processing using the selection information received from the video transmission device.
前記取得部によって取得された前記映像データにおいて、１画面を複数のブロックに分割し、前記ブロックごとに画像データの圧縮処理を行う圧縮処理部と、
前記圧縮処理部によって前記圧縮処理が行われた前記映像データを送信する送信部とを備え、
前記圧縮処理部は、可逆圧縮のアルゴリズムおよび非可逆圧縮のアルゴリズムを前記ブロックごとに選択可能である、映像送信装置。 An acquisition unit for acquiring video data;
In the video data acquired by the acquisition unit, a compression processing unit that divides one screen into a plurality of blocks and performs compression processing of image data for each block;
A transmission unit that transmits the video data subjected to the compression processing by the compression processing unit,
The video transmission apparatus, wherein the compression processing unit can select a lossless compression algorithm and a lossy compression algorithm for each block.
前記受信部によって受信された前記映像データにおいて、前記ブロックごとに画像データの伸長処理を行う伸長処理部とを備え、
前記伸長処理部は、可逆伸長のアルゴリズムおよび非可逆伸長のアルゴリズムを前記ブロックごとに選択可能である、映像受信装置。 A receiving unit that receives video data in which one screen is divided into a plurality of blocks and image data compression processing is performed for each of the blocks;
In the video data received by the receiving unit, comprising: a decompression processing unit that decompresses image data for each block;
The decompression processing unit is a video reception device capable of selecting a lossless decompression algorithm and a lossy decompression algorithm for each block.
コンピュータを、
映像データを取得する取得部と、
前記取得部によって取得された前記映像データにおいて、１画面を複数のブロックに分割し、前記ブロックごとに画像データの圧縮処理を行う圧縮処理部と、
前記圧縮処理部によって前記圧縮処理が行われた前記映像データを送信する送信部と、
として機能させるためのプログラムであり、
前記圧縮処理部は、可逆圧縮のアルゴリズムおよび非可逆圧縮のアルゴリズムを前記ブロックごとに選択可能である、映像処理プログラム。 A video processing program used in a video transmission device,
Computer
An acquisition unit for acquiring video data;
In the video data acquired by the acquisition unit, a compression processing unit that divides one screen into a plurality of blocks and performs compression processing of image data for each block;
A transmission unit that transmits the video data that has been subjected to the compression processing by the compression processing unit;
As a program to function as
The video processing program, wherein the compression processing unit can select a lossless compression algorithm and a lossy compression algorithm for each block.
コンピュータを、
１画面が複数のブロックに分割され、前記ブロックごとに画像データの圧縮処理が行われた映像データを受信する受信部と、
前記受信部によって受信された前記映像データにおいて、前記ブロックごとに画像データの伸長処理を行う伸長処理部と、
として機能させるためのプログラムであり、
前記伸長処理部は、可逆伸長のアルゴリズムおよび非可逆伸長のアルゴリズムを前記ブロックごとに選択可能である、映像処理プログラム。 A video processing program used in a video receiving device,
Computer
A receiving unit that receives video data in which one screen is divided into a plurality of blocks and image data compression processing is performed for each of the blocks;
In the video data received by the receiving unit, an expansion processing unit that performs image data expansion processing for each block;
As a program to function as
The decompression processing unit can select a reversible decompression algorithm and an irreversible decompression algorithm for each block.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016119693A JP2017225021A (en) | 2016-06-16 | 2016-06-16 | Video transmission system, video transmitter, video receiver and video processing program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016119693A JP2017225021A (en) | 2016-06-16 | 2016-06-16 | Video transmission system, video transmitter, video receiver and video processing program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2017225021A true JP2017225021A (en) | 2017-12-21 |
Family
ID=60686049
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016119693A Pending JP2017225021A (en) | 2016-06-16 | 2016-06-16 | Video transmission system, video transmitter, video receiver and video processing program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2017225021A (en) |
-
2016
- 2016-06-16 JP JP2016119693A patent/JP2017225021A/en active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11451787B2 (en) | Method and apparatus for video encoding and decoding | |
| CN109074161B (en) | Hybrid graphics and pixel domain architecture for 360 degree video | |
| CN109547786B (en) | Video encoding and video decoding methods and devices | |
| RU2553103C2 (en) | Encoding method, encoder, program product and program application for mobile wireless communication device | |
| US20230379502A1 (en) | Method and apparatus for image encoding/decoding | |
| US20150139303A1 (en) | Encoding device, encoding method, decoding device, and decoding method | |
| JPWO2018037737A1 (en) | IMAGE PROCESSING APPARATUS, IMAGE PROCESSING METHOD, AND PROGRAM | |
| US11375237B2 (en) | Method and apparatus for image encoding/decoding | |
| US20140119456A1 (en) | Encoding video into lower resolution streams | |
| JP2020065285A (en) | Decoding device and decoding method | |
| US10158861B2 (en) | Systems and methods for improving video compression efficiency | |
| JP2019029746A (en) | Video transmission system, video transmitter, video receiver, computer program, video distribution method, video transmission method and video reception method | |
| US20190141350A1 (en) | System and method for non-uniform video coding | |
| JP6988394B2 (en) | Video transmission system, video transmission device, video reception device, video transmission method, video reception method and computer program | |
| Adeyemi-Ejeye et al. | Impact of packet loss on 4K UHD video for portable devices | |
| US20230222696A1 (en) | Image processing method and apparatus, device, and computer-readable storage medium | |
| CN110662071B (en) | Video decoding method and device, storage medium and electronic device | |
| CN112567739B (en) | Planar prediction modes for visual media encoding and decoding | |
| US10341674B2 (en) | Method and device for distributing load according to characteristic of frame | |
| JP2017225021A (en) | Video transmission system, video transmitter, video receiver and video processing program | |
| US9432614B2 (en) | Integrated downscale in video core | |
| CN113545060A (en) | Empty tile coding in video coding | |
| JP7296219B2 (en) | Receiving device, transmitting device, and program | |
| JP2021125765A (en) | Content transmission system, compression device, restoration device, and content transmission method | |
| CN116761002A (en) | Video coding method, virtual reality live broadcast method, device, equipment and medium |