JP7186374B2

JP7186374B2 - VIDEO SIGNAL PROCESSING DEVICE, VIDEO DISPLAY SYSTEM, AND VIDEO SIGNAL PROCESSING METHOD

Info

Publication number: JP7186374B2
Application number: JP2018020309A
Authority: JP
Inventors: 竜司渕上
Original assignee: Panasonic Intellectual Property Management Co Ltd
Current assignee: Panasonic Intellectual Property Management Co Ltd
Priority date: 2017-10-04
Filing date: 2018-02-07
Publication date: 2022-12-09
Anticipated expiration: 2038-02-07
Also published as: JP2019068394A

Description

本開示は、映像信号処理装置、映像表示システム、及び映像信号処理方法に関し、特に、比較的高いフレームレートを有する映像に好適な映像信号処理装置、映像表示システム、及び映像信号処理方法に関する。 The present disclosure relates to a video signal processing device, a video display system, and a video signal processing method, and more particularly to a video signal processing device, a video display system, and a video signal processing method suitable for video with a relatively high frame rate.

映像（動画像）に対して画像処理や伝送を行うことにより、表示装置に映像を表示する映像表示システムは、人の視覚を考慮して６０ｆｐｓ（frame per seconds）以下のフレームレートにて動作するよう設計されるのが一般的である。このような映像表示システムでは、例えば、フレームレートが６０ｆｐｓの場合には、１フレームあたりの時間が約１６．６ｍｓとなるため、撮像装置によって生成された映像が表示装置で表示されるまでの間に、複数の画像処理や伝送が実行されることにより、システム全体としてある程度（例えば、１００ｍｓ）の遅延が発生することになる。 A video display system that displays video on a display device by performing image processing and transmission on video (moving image) operates at a frame rate of 60 fps (frame per second) or less in consideration of human vision. It is generally designed as In such a video display system, for example, when the frame rate is 60 fps, the time per frame is about 16.6 ms. In addition, a certain amount of delay (for example, 100 ms) occurs in the entire system due to multiple image processing and transmission being executed.

そのような撮像（映像出力）に対する映像表示の遅延は、例えば、産業用ロボットで不規則に動く対象をピッキングする場合などのフィードバックを伴うリアルタイムシステムでは、ロボット等の動作の安定性に悪影響を及ぼし得る。また、そのような映像表示の遅延が解消されれば、リアルタイム映像を利用する内視鏡手術及び遠隔手術や、災害救助ロボットの遠隔操作などに用いられる映像表示システムにも有益である。 Such a delay in video display with respect to imaging (video output) adversely affects the stability of robot movements in a real-time system with feedback, such as when picking an object that moves irregularly with an industrial robot. obtain. In addition, if such a delay in video display is eliminated, it will be beneficial for video display systems used for endoscopic surgery and remote surgery using real-time video, remote control of disaster rescue robots, and the like.

一方で、映像に比較的高いフレームレート（例えば、９６０ｆｐｓ）を適用することにより、そのような遅延を解消（抑制）することも考えられるが、単にフレームレートを増大させた場合には、伝送量や演算量の増大を招くことになる。 On the other hand, applying a relatively high frame rate (for example, 960 fps) to the video may eliminate (suppress) such a delay. and an increase in the amount of calculation.

従来、映像の高解像度を維持しつつ伝送量を抑制するための技術として、例えば、監視用カメラによって撮影された映像に関し、人が出入りするドアの付近などに注目し、この監視したい注目監視エリアを高フレームレートで表示し、植物が置かれた場所や壁など注目監視エリアの背景となるようなエリアをネットワーク帯域の有効利用を考慮して低フレームレートで伝送を行うようにしたものが知られている。 Conventionally, as a technology for suppressing the amount of transmission while maintaining the high resolution of the image, for example, regarding the image taken by the surveillance camera, we focus on the vicinity of the door where people go in and out, and this attention monitoring area that we want to monitor. is displayed at a high frame rate, and areas such as plants and walls that serve as the background of the attention monitoring area are transmitted at a low frame rate in consideration of the effective use of the network bandwidth. It is

特開２００８－２１９４８４号公報JP 2008-219484 A

ところで、上記特許文献１に記載された従来技術では、高フレームレートとして３０フレーム／秒程度が想定されているが、映像の高解像度を維持することが前提であるため、より高いフレームレート（例えば、９６０ｆｐｓ）を適用した場合には、高フレームレートの適用が画像の一部（注目監視エリア）であったとしても伝送量や演算量の増大は問題となり得る。 By the way, in the conventional technology described in Patent Document 1, a high frame rate of about 30 frames/second is assumed. , 960 fps), even if the high frame rate is applied to a part of the image (area of interest to be monitored), an increase in the amount of transmission and the amount of calculation may become a problem.

また、上記従来技術では、注目監視エリアのデータに対してＭＰＥＧ等の方式で符号化処理を行うが、より高いフレームレート（例えば、９６０ｆｐｓ）を適用した場合には、撮像における露光時間が短くなって映像のＳ／Ｎ比が悪化することにより、ＭＰＥＧ等の符号化処理における画像の圧縮率が向上しないという問題も生じ得る。 Further, in the above-described conventional technology, encoding processing is performed on the data of the attention monitoring area by a method such as MPEG. As a result, the S/N ratio of the video deteriorates, which may cause a problem that the compression rate of the image in encoding processing such as MPEG cannot be improved.

本開示は、このような従来技術の課題を鑑みて案出されたものであり、比較的高いフレームレートを有する映像（例えば、フレームレートが６０ｆｐｓを超える映像）を伝送する場合に、表示映像の品質低下を抑制しつつ、映像の伝送量および演算量の増大を抑制することを可能とする映像信号処理装置、映像表示システム、及び映像信号処理方法を提供することを主目的とする。 The present disclosure has been devised in view of such problems of the conventional technology. A main object of the present invention is to provide a video signal processing device, a video display system, and a video signal processing method capable of suppressing an increase in the amount of video transmission and the amount of calculation while suppressing deterioration in quality.

本開示の映像信号処理装置は、高いフレームレートの映像表示の場合にのみ発生する人間の視覚現象に基づいて、効率的且つ低遅延な映像データ圧縮を提供する。 The video signal processing device of the present disclosure provides efficient and low-delay video data compression based on the human visual phenomenon that occurs only in the case of high frame rate video display.

本開示の映像信号処理装置は、入力された第１のビット数を有する第１階調の映像データを符号化することにより、前記第１のビット数よりも小さい第２のビット数を有する第２階調の映像データとして出力する映像信号処理装置であって、前記第１階調の映像データに基づく入力データを前記第２階調の映像データに量子化した量子化データを順次出力する量子化器と、前記量子化器から出力される前記量子化データを順次記憶する記憶部と、現フレームに関する前記第１階調の映像データと前記記憶部に記憶された以前のフレームに関する前記量子化データとの差分を順次算出する差分計算器と、前記差分計算器から出力される前記差分を順次積算した積分データを、前記量子化器の前記入力データとして順次出力する積分器と、を備えたことを特徴とする。 The video signal processing device of the present disclosure encodes input video data of a first gradation having a first number of bits to obtain a second number of bits having a second number of bits smaller than the first number of bits. A video signal processing device for outputting video data of two gradations, wherein the input data based on the video data of the first gradation is quantized into the video data of the second gradation, and the quantized data is sequentially output. a storage section for sequentially storing the quantized data output from the quantizer; and the video data of the first gradation for the current frame and the quantization for the previous frame stored in the storage section. a difference calculator for sequentially calculating differences from data; and an integrator for sequentially outputting integral data obtained by sequentially accumulating the differences output from the difference calculator as the input data for the quantizer. It is characterized by

また、本開示の映像表示システムは、前記映像信号処理装置と、前記第１のビット数を有する第１階調の映像データを生成する撮像装置と、前記映像信号処理装置から出力された前記第２階調の映像データを受信し、この受信した前記第２階調の映像データを復号する復号回路と、前記復号回路によって復号された前記第２階調の映像データに基づく映像を表示する表示装置と、を備えたことを特徴とする。 Further, the video display system of the present disclosure includes the video signal processing device, an imaging device that generates video data of a first gradation having the first number of bits, and the first grayscale image data output from the video signal processing device. a decoding circuit that receives two-tone video data and decodes the received second-tone video data; and a display that displays video based on the second-tone video data decoded by the decoding circuit. and a device.

また、本開示の映像信号処理方法は、入力された第１のビット数を有する第１階調の映像データを符号化することにより、前記第１のビット数よりも小さい第２のビット数を有する第２階調の映像データとして出力する映像信号処理方法であって、前記第１階調の映像データに基づく入力データを、前記第２階調の映像データに順次量子化し、前記第２階調の映像データに量子化された量子化データを順次記憶し、現フレームに関する前記第１階調の映像データと前記記憶された以前のフレームに関する前記量子化データとの差分を順次算出し、算出された前記差分データを順次積算した積分データを、前記入力データとして生成することを特徴とする。 Further, the video signal processing method of the present disclosure encodes input video data of a first gradation having a first number of bits to obtain a second number of bits smaller than the first number of bits. a video signal processing method for outputting video data of a second gradation, wherein the input data based on the video data of the first gradation is sequentially quantized into the video data of the second gradation; sequentially storing the quantized data quantized to the grayscale video data, and sequentially calculating and calculating the difference between the first grayscale video data for the current frame and the quantized data for the stored previous frame; Integral data obtained by sequentially accumulating the obtained difference data is generated as the input data.

本開示によれば、比較的高いフレームレートを有する映像（例えば、フレームレートが６０ｆｐｓを超える映像）を伝送する場合に、映像データを効率的に圧縮しつつ低遅延で伝送し、且つ、後続フレームの補正で視覚的階調も回復することが可能となる。このようなことは、従来の比較的低いフレームレートで行っても、時間的ちらつき（フリッカー）を増大させるだけであるが、高いフレームレートにおいて特有に機能する。 According to the present disclosure, when transmitting video with a relatively high frame rate (for example, video with a frame rate exceeding 60 fps), the video data is efficiently compressed and transmitted with low delay, and the following frame It is possible to recover the visual gradation by correcting . Such a thing only increases temporal flicker even at conventional relatively low frame rates, but works peculiarly at high frame rates.

第１実施形態に係る映像表示システムの全体構成図1 is an overall configuration diagram of a video display system according to a first embodiment; FIG. 映像表示システムにおける処理の一例を示すタイムチャートTime chart showing an example of processing in a video display system 映像信号処理装置の概略構成を示すブロック図Block diagram showing a schematic configuration of a video signal processing device 図３に示した映像信号処理装置の動作例を示す説明図Explanatory diagram showing an operation example of the video signal processing device shown in FIG. 図３に示した映像信号処理装置の第１変形例を示すブロック図Block diagram showing a first modification of the video signal processing device shown in FIG. 図３に示した映像信号処理装置の第２変形例を示すブロック図Block diagram showing a second modification of the video signal processing device shown in FIG. 第２実施形態に係る映像表示システムにおける映像信号処理装置の概略構成を示すブロック図A block diagram showing a schematic configuration of a video signal processing device in a video display system according to a second embodiment. 図７に示した映像信号処理装置の第１の動作例を示す説明図Explanatory diagram showing a first operation example of the video signal processing device shown in FIG. 図７に示した映像信号処理装置の第１の動作例を示す説明図Explanatory diagram showing a first operation example of the video signal processing device shown in FIG. 図７に示した映像信号処理装置の第２の動作例を示す説明図Explanatory diagram showing a second operation example of the video signal processing device shown in FIG. 図７に示した映像信号処理装置の第２の動作例を示す説明図Explanatory diagram showing a second operation example of the video signal processing device shown in FIG. 図７に示した映像信号処理装置の第１変形例を示すブロック図Block diagram showing a first modification of the video signal processing device shown in FIG. 図７に示した映像信号処理装置の第２変形例を示すブロック図Block diagram showing a second modification of the video signal processing device shown in FIG. 図７に示した映像信号処理装置の第３変形例を示すブロック図Block diagram showing a third modification of the video signal processing device shown in FIG. 図１４に示した映像信号処理装置の動作例を示す説明図Explanatory diagram showing an operation example of the video signal processing device shown in FIG. 図１４に示した映像信号処理装置の動作例を示す説明図Explanatory diagram showing an operation example of the video signal processing device shown in FIG. 第３実施形態に係る映像表示システムにおける映像信号処理装置の概略構成を示すブロック図Block diagram showing a schematic configuration of a video signal processing device in a video display system according to a third embodiment. 図１７に示した映像信号処理装置の第１の動作例を示す説明図Explanatory diagram showing a first operation example of the video signal processing device shown in FIG. 図１７に示した映像信号処理装置の第２の動作例を示す説明図Explanatory diagram showing a second operation example of the video signal processing device shown in FIG.

前記課題を解決するためになされた第１の発明は、入力された第１のビット数を有する第１階調の映像データを符号化することにより、前記第１のビット数よりも小さい第２のビット数を有する第２階調の映像データとして出力する映像信号処理装置であって、前記第１階調の映像データに基づく入力データを前記第２階調の映像データに量子化した量子化データを順次出力する量子化器と、前記量子化器から出力される前記量子化データを順次記憶する記憶部と、現フレームに関する前記第１階調の映像データと前記記憶部に記憶された以前のフレームに関する前記量子化データとの差分を順次算出する差分計算器と、前記差分計算器から出力される前記差分を順次積算した積分データを、前記量子化器の前記入力データとして順次出力する積分器と、を備えたことを特徴とする。 A first invention, which has been made to solve the above-mentioned problems, encodes input video data of a first gradation having a first number of bits, whereby a second number of bits smaller than the first number of bits is encoded. A video signal processing device for outputting video data of a second gradation having a bit number of , wherein input data based on the video data of the first gradation is quantized into the video data of the second gradation. a quantizer for sequentially outputting data; a storage unit for sequentially storing the quantized data output from the quantizer; a difference calculator that sequentially calculates the difference between the quantized data and the frame of the frame; and an integration that sequentially outputs integral data obtained by sequentially accumulating the difference output from the difference calculator as the input data of the quantizer. and a container.

これによると、入力された映像データの階調を量子化により下げると共に、この量子化によって排除された情報（下位のビット）を、後続のフレームに反映させる構成としたため、比較的高いフレームレートを有する映像（例えば、フレームレートが６０ｆｐｓを超える映像）を伝送する場合に、表示映像の品質低下を抑制しつつ、映像の伝送量および演算量の増大を抑制することが可能となる。 According to this, the gradation of the input video data is lowered by quantization, and the information (lower bits) eliminated by this quantization is reflected in subsequent frames, so a relatively high frame rate can be achieved. When transmitting a video having a frame rate of more than 60 fps, it is possible to suppress an increase in the amount of transmission of the video and the amount of calculation while suppressing deterioration in the quality of the displayed video.

また、第２の発明は、入力された第１のビット数を有する第１階調の映像データを符号化することにより、前記第１のビット数よりも小さい第２のビット数を有する第２階調の映像データとして出力する映像信号処理装置であって、前記第１階調の映像データに基づく入力データを前記第２階調の映像データに量子化した量子化データを順次出力する量子化器と、前記量子化器から出力される前記量子化データを順次記憶する記憶部と、前記記憶部に記憶された前記量子化データを順次積算した積分データを順次出力する積分器と、前記第１階調の映像データと前記積分データとの差分を順次算出し、前記量子化器の前記入力データとして順次出力する差分計算器と、を備えたことを特徴とする。 A second aspect of the invention encodes input video data of a first gradation having a first number of bits, thereby generating second data having a second number of bits smaller than the first number of bits. A video signal processing device for outputting video data of gradation, wherein the input data based on the video data of the first gradation is quantized into the video data of the second gradation and the quantized data is sequentially output. a storage unit for sequentially storing the quantized data output from the quantizer; an integrator for sequentially outputting integrated data obtained by sequentially integrating the quantized data stored in the storage unit; and a difference calculator that sequentially calculates a difference between the video data of one gradation and the integrated data, and sequentially outputs the difference as the input data of the quantizer.

また、第３の発明は、入力された第１のビット数を有する第１階調の映像データを符号化することにより、前記第１のビット数よりも小さい第２のビット数を有する第２階調の映像データとして出力する映像信号処理装置であって、前記第２のビット数を有する変動値データを統計的または確率的に順次生成するパターン生成部と、前記第１階調の映像データに前記変動値データを順次加算する加算器と、前記加算器から出力されたデータを前記第２階調の映像データに量子化した量子化データを順次出力する量子化器と、を備えたことを特徴とする。 A third aspect of the present invention encodes input video data of a first gradation having a first number of bits, thereby generating second data having a second number of bits smaller than the first number of bits. A video signal processing apparatus for outputting grayscale video data, comprising: a pattern generator for sequentially generating variation value data having the second number of bits statistically or stochastically; and the first grayscale video data. and a quantizer for sequentially outputting quantized data obtained by quantizing the data output from the adder into video data of the second gradation. characterized by

これによると、入力された映像データの階調を量子化により下げると共に、この量子化によって排除される情報を代替する変動値データとして反映させる構成としたため、比較的高いフレームレートを有する映像（例えば、フレームレートが６０ｆｐｓを超える映像）を伝送する場合に、表示映像の品質低下を抑制しつつ、映像の伝送量および演算量の増大を抑制することが可能となる。 According to this, the gradation of the input video data is lowered by quantization, and the information eliminated by this quantization is reflected as alternative fluctuation value data, so that video with a relatively high frame rate (for example, , video with a frame rate exceeding 60 fps), it is possible to suppress an increase in the amount of transmission of the video and the amount of calculation while suppressing deterioration in the quality of the displayed video.

また、第４の発明は、現フレームに関する前記第１階調の映像データとそれ以前のフレームに関する前記第１階調の映像データとの間で動きベクトルを算出する動き予測部と、前記動きベクトルに基づき、前記積分器における積分データを補正する動き補償部と、を更に備えたことを特徴とする。 A fourth aspect of the present invention is a motion prediction unit for calculating a motion vector between the first gradation video data relating to the current frame and the first gradation video data relating to the previous frame, and the motion vector and a motion compensator for correcting the integrated data in the integrator based on the above.

これによると、映像中に動く物体が存在する場合でも、量子化によって排除された情報（下位のビット）を、後続のフレームに適切に反映させることが可能となる。 According to this, even if there is a moving object in the video, the information (lower order bits) eliminated by quantization can be properly reflected in subsequent frames.

また、第５の発明は、前記量子化器から出力される前記量子化データを圧縮符号化する符号化器と、前記符号化器から出力される前記量子化データを復号化する復号化器と、を更に備え、前記記憶部は、前記復号化器によって復号化された前記量子化データを順次記憶することを特徴とする。 In a fifth aspect of the invention, there is provided an encoder that compression-encodes the quantized data output from the quantizer, and a decoder that decodes the quantized data output from the encoder. , wherein the storage unit sequentially stores the quantized data decoded by the decoder.

これによると、符号化器においてＭＰＥＧ等の非可逆的な圧縮符号化を実行する場合でも、その圧縮符号化によって生じるノイズを抑制することが可能となる。 According to this, even when the encoder executes irreversible compression-encoding such as MPEG, it is possible to suppress noise caused by the compression-encoding.

また、第６の発明は、前記第１階調の映像データに関するフレームレートが、６０ｆｐｓよりも大きいことを特徴とする。 A sixth aspect of the invention is characterized in that the frame rate of the video data of the first gradation is higher than 60 fps.

これによると、比較的高いフレームレートを有する映像に関し、表示映像の品質低下を抑制しつつ、符号化された映像の伝送量および演算量の増大を効果的に抑制することが可能となる。 According to this, it is possible to effectively suppress an increase in the amount of transmission and the amount of calculation of the encoded video while suppressing deterioration in the quality of the displayed video with respect to video having a relatively high frame rate.

また、第７の発明は、第１から第６の発明のいずれかに係る前記映像信号処理装置と、前記第１のビット数を有する前記第１階調の映像データを生成する撮像装置と、前記映像信号処理装置から出力された前記第２階調の映像データを受信し、この受信した前記第２階調の映像データを復号する復号回路と、前記復号回路によって復号された前記第２階調の映像データに基づく映像を表示する表示装置と、を備えたことを特徴とする映像表示システムである。 A seventh invention is the video signal processing device according to any one of the first to sixth inventions; an imaging device that generates video data of the first gradation having the first number of bits; a decoding circuit for receiving the video data of the second grayscale output from the video signal processing device and decoding the received video data of the second grayscale; and the second grayscale decoded by the decoding circuit. and a display device for displaying an image based on grayscale image data.

これによると、比較的高いフレームレートを有する映像（例えば、フレームレートが６０ｆｐｓを超える映像）を処理する場合でも、表示映像の品質低下を抑制しつつ、符号化された映像の伝送量および演算量の増大を抑制することが可能となる。 According to this, even when processing video with a relatively high frame rate (for example, video with a frame rate exceeding 60 fps), the amount of transmission and the amount of calculation of the encoded video is suppressed while suppressing the deterioration of the quality of the displayed video. It is possible to suppress the increase in

また、第８の発明は、入力された第１のビット数を有する第１階調の映像データを符号化することにより、前記第１のビット数よりも小さい第２のビット数を有する第２階調の映像データとして出力する映像信号処理方法であって、前記第１階調の映像データに基づく入力データを、前記第２階調の映像データに順次量子化し、前記第２階調の映像データに量子化された量子化データを順次記憶し、現フレームに関する前記第１階調の映像データと前記記憶された以前のフレームに関する前記量子化データとの差分を順次算出し、前記差分を順次積算した積分データを、前記入力データとして生成することを特徴とする。 An eighth aspect of the present invention encodes input video data of a first gradation having a first number of bits, thereby generating second data having a second number of bits smaller than the first number of bits. A video signal processing method for outputting as gradation video data, wherein input data based on the first gradation video data is sequentially quantized into the second gradation video data, and the second gradation video is generated. sequentially storing the quantized data quantized in the data, sequentially calculating the difference between the video data of the first gradation regarding the current frame and the quantized data regarding the stored previous frame, and sequentially calculating the difference; It is characterized in that integrated integral data is generated as the input data.

これによると、入力された映像データの階調を量子化により下げると共に、この量子化によって排除された情報を、後続のフレームに反映させる構成としたため、比較的高いフレームレートを有する映像を伝送する場合に、表示映像の品質低下を抑制しつつ、映像の伝送量および演算量の増大を抑制することが可能となる。 According to this, the gradation of the input video data is lowered by quantization, and the information eliminated by this quantization is reflected in subsequent frames, so that video with a relatively high frame rate is transmitted. In this case, it is possible to suppress an increase in the amount of video transmission and the amount of calculation while suppressing deterioration in the quality of the displayed video.

また、第９の発明は、入力された第１のビット数を有する第１階調の映像データを符号化することにより、前記第１のビット数よりも小さい第２のビット数を有する第２階調の映像データとして出力する映像信号処理方法であって、前記第１階調の映像データに基づく入力データを、前記第２階調の映像データに順次量子化し、前記第２階調の映像データに量子化された量子化データを順次記憶し、前記記憶された前記量子化データを順次積算した積分データを順次生成し、前記第１階調の映像データと前記積分データとの差分を、前記入力データとして順次算出することを特徴とする。 A ninth aspect of the present invention encodes input video data of a first gradation having a first number of bits, thereby generating second data having a second number of bits smaller than the first number of bits. A video signal processing method for outputting as gradation video data, wherein input data based on the first gradation video data is sequentially quantized into the second gradation video data, and the second gradation video is generated. sequentially storing quantized data quantized in data, sequentially generating integral data by sequentially integrating the stored quantized data, and calculating a difference between the video data of the first gradation and the integral data, The input data is calculated sequentially.

また、第１０の発明は、入力された第１のビット数を有する第１階調の映像データを符号化することにより、前記第１のビット数よりも小さい第２のビット数を有する第２階調の映像データとして出力する映像信号処理方法であって、前記第２のビット数を有する変動値データを統計的または確率的に順次生成し、入力された前記第１階調の映像データに前記変動値データを順次加算し、前記加算されたデータを前記第２階調の映像データに量子化した量子化データを順次出力することを特徴とする。 A tenth aspect of the present invention encodes input video data of a first gradation having a first number of bits, thereby generating second data having a second number of bits smaller than the first number of bits. A video signal processing method for outputting as gradation video data, wherein the variation value data having the second number of bits is sequentially generated statistically or stochastically, and the input video data of the first gradation is converted to The variation value data are sequentially added, and quantized data obtained by quantizing the added data into the video data of the second gradation are sequentially output.

これによると、入力された映像データの階調を量子化により下げると共に、この量子化によって排除される情報（下位のビット）を、変動値データとして反映させる構成としたため、比較的高いフレームレートを有する映像（例えば、フレームレートが６０ｆｐｓを超える映像）を伝送する場合に、表示映像の品質低下を抑制しつつ、映像の伝送量および演算量の増大を抑制することが可能となる。 According to this, the gradation of the input video data is lowered by quantization, and the information (lower bits) eliminated by this quantization is reflected as fluctuation value data, so a relatively high frame rate can be achieved. When transmitting a video having a frame rate of more than 60 fps, it is possible to suppress an increase in the amount of transmission of the video and the amount of calculation while suppressing deterioration in the quality of the displayed video.

以下、本開示の実施の形態を、図面を参照しながら説明する。 Embodiments of the present disclosure will be described below with reference to the drawings.

（第１実施形態）
図１は、本開示の第１実施形態に係る映像表示システム１の全体構成図であり、図２は、映像表示システム１における処理（露光、伝送、及び表示）の一例を示すタイムチャートである。 (First embodiment)
FIG. 1 is an overall configuration diagram of a video display system 1 according to the first embodiment of the present disclosure, and FIG. 2 is a time chart showing an example of processing (exposure, transmission, and display) in the video display system 1. .

図１に示すように、映像表示システム１は、所望の映像を撮影するカメラ（撮像装置）２と、カメラ２から入力される映像データ（映像信号）を、伝送路３を介して送信する送信機４と、送信機４から受信した映像データを受信する受信機５と、受信機５によって受信された映像データに基づく映像を表示する表示デバイス６とを主として備える。 As shown in FIG. 1, a video display system 1 includes a camera (imaging device) 2 that captures a desired video, and video data (video signal) input from the camera 2 via a transmission line 3. a receiver 5 for receiving video data received from the transmitter 4; and a display device 6 for displaying video based on the video data received by the receiver 5.

カメラ２は、公知の撮影機能や通信機能（無線通信を含む）を有するビデオカメラであり、ここでは、人間の視覚時間感度（すなわち、視覚情報処理の時間的解像度）を超える比較的高いフレームレート（ここでは、９６０ｆｐｓ）の映像を出力することが可能な高速度カメラである。カメラ２は、公知の通信ケーブル（または通信ネットワーク）を介して送信機４と通信可能に接続され、カメラ２の撮影によって生成された映像データは、リアルタイムで送信機４に対して順次出力される。カメラ２によって撮影される映像の階調は、特に限定されないが、例えば、ＲＧＢで各８ビット（２４ビットカラー）とすることができる。 The camera 2 is a video camera having a known shooting function and communication function (including wireless communication). (here, 960 fps) is a high-speed camera capable of outputting video. The camera 2 is communicably connected to a transmitter 4 via a known communication cable (or communication network), and video data generated by shooting with the camera 2 is sequentially output to the transmitter 4 in real time. . Although the gradation of the image captured by the camera 2 is not particularly limited, for example, it can be 8 bits each for RGB (24-bit color).

送信機４および受信機５は、ＣＰＵやＧＰＵ等のプロセッサやメモリ等の公知のハードウェアを備える。また、後述するように、送信機４および受信機５は、映像データに対して必要な画像処理を行うための画像処理機能や、公知の通信ケーブルまたは通信ネットワークから構成される伝送路３を介して映像データを相互に送受信するための公知の有線または無線通信機能を有する。送信機４はカメラ２と一体に設けられてもよく、また、受信機５は表示デバイス６と一体に設けられてもよい。 The transmitter 4 and the receiver 5 include known hardware such as processors such as CPUs and GPUs and memories. In addition, as will be described later, the transmitter 4 and the receiver 5 have an image processing function for performing necessary image processing on video data, and a transmission line 3 configured by a known communication cable or communication network. It has a known wired or wireless communication function for transmitting and receiving video data to and from each other. The transmitter 4 may be provided integrally with the camera 2 , and the receiver 5 may be provided integrally with the display device 6 .

送信機４は、第１のビット数（例えば、８ビット）を有する第１階調の映像データを符号化することにより、その第１のビット数よりも小さい第２のビット数（例えば、４ビット）を有する第２階調の映像データとして出力する映像信号処理装置１１と、映像信号処理装置１１から出力される映像データにＭＰＥＧ、ランレングス符号化等の公知の手法に基づき圧縮符号化（データ圧縮）処理を実行する符号化器１２とを備える。また、受信機５は、送信機４から受信した量子化された映像データを復号する復号回路１３を備え、復号された映像データに基づき、表示デバイス６で表示可能な表示データを生成する。なお、復号回路１３は、後述する第２実施形態に係る映像表示システム１では、送信機４からの映像データを順次積算する機能を有する。 Transmitter 4 encodes the video data of the first gradation having the first number of bits (eg, 8 bits) to obtain a second number of bits (eg, 4 bits) smaller than the first number of bits. bit), and the video data output from the video signal processing device 11 is compression-encoded ( and an encoder 12 for performing data compression) processing. The receiver 5 also includes a decoding circuit 13 that decodes the quantized video data received from the transmitter 4, and generates display data that can be displayed on the display device 6 based on the decoded video data. Note that the decoding circuit 13 has a function of sequentially integrating the video data from the transmitter 4 in the video display system 1 according to the second embodiment, which will be described later.

表示デバイス６は、送信機４から送信される映像データのフレームレートに応じて映像を表示するための機能を有し、特に限定されるものではないが、例えば、公知の構成を有する液晶ディスプレイやプラズマディスプレイ等から構成される。 The display device 6 has a function of displaying an image according to the frame rate of the image data transmitted from the transmitter 4, and is not particularly limited. It consists of a plasma display, etc.

この映像表示システム１は、カメラ２で撮影された比較的高いフレームレートを有する映像を、伝送等による大きな遅延を発生させることなく、表示デバイス６に表示させることが可能であり、例えば、リアルタイム映像を利用する内視鏡手術及び遠隔手術や、災害救助ロボットの遠隔操作などに用いるのに好適である。 This video display system 1 can display a video having a relatively high frame rate captured by the camera 2 on the display device 6 without causing a large delay due to transmission or the like. It is suitable for use in endoscopic surgery and telesurgery using , remote control of disaster relief robots, and the like.

また、映像表示システム１では、図２に示すように、カメラ２のイメージセンサにおける露光、送信機４および受信機５間の映像データの伝送、及び表示デバイス６における表示の処理を、所定周期（図２中の破線の間隔）で同期するように設定することが可能である。 Further, in the video display system 1, as shown in FIG. 2, the exposure in the image sensor of the camera 2, the transmission of video data between the transmitter 4 and the receiver 5, and the display processing in the display device 6 are performed at a predetermined cycle ( 2) can be set to synchronize.

図３は、図１に示した第１実施形態に係る映像信号処理装置１１の概略構成を示すブロック図であり、図４は、第１実施形態に係る映像信号処理装置１１の動作例を示す説明図である。 FIG. 3 is a block diagram showing a schematic configuration of the video signal processing device 11 according to the first embodiment shown in FIG. 1, and FIG. 4 shows an operation example of the video signal processing device 11 according to the first embodiment. It is an explanatory diagram.

映像信号処理装置１１は、量子化器２１、第１フレームメモリ（記憶部）２２、差分計算器２３、積分器２４、及び第２フレームメモリ２５を備える。 The video signal processing device 11 includes a quantizer 21 , a first frame memory (storage unit) 22 , a difference calculator 23 , an integrator 24 and a second frame memory 25 .

量子化器２１は、積分器２４から出力された第１階調（例えば、８ビット）の映像データに基づくデータ（入力データ）を、第２階調（例えば、４ビット）の映像データに量子化して順次出力する。例えば、量子化器２１は、第１階調の８ビットの入力データのうちの上位４ビットを取得する（すなわち、下位４ビットを切り捨てる）ことにより、第２階調に階調を下げたデータ（量子化データ）を生成することができる。この量子化データは、映像データとして伝送路３側（ここでは、符号化器１２）に順次出力されると共に、ＳＤＲＡＭ等の公知のメモリによって構成される第１フレームメモリ２２に順次記憶される。 The quantizer 21 quantizes data (input data) based on the video data of the first gradation (eg, 8 bits) output from the integrator 24 into video data of the second gradation (eg, 4 bits). output sequentially. For example, the quantizer 21 acquires the upper 4 bits of the 8-bit input data of the first gradation (that is, truncates the lower 4 bits), thereby reducing the gradation to the second gradation. (quantized data) can be generated. This quantized data is sequentially output to the transmission line 3 side (here, the encoder 12) as video data, and is also sequentially stored in the first frame memory 22 constituted by a known memory such as SDRAM.

差分計算器２３は、カメラ２から順次入力される現フレームに関する８ビットの映像データと第１フレームメモリ２２に記憶された以前のフレーム（ここでは、直前のフレーム）に関する量子化データとの差分を順次算出する。このような構成により、量子化器２１の処理によって切り捨てられた下位４ビットの情報を、第１フレームメモリ２２および差分計算器２３を介したフィードバックループによって後続のフレームに順次反映させることが可能となる。 The difference calculator 23 calculates the difference between the 8-bit video data of the current frame sequentially input from the camera 2 and the quantized data of the previous frame (here, the immediately preceding frame) stored in the first frame memory 22. Calculate sequentially. With such a configuration, the lower 4-bit information truncated by the processing of the quantizer 21 can be sequentially reflected in subsequent frames by a feedback loop via the first frame memory 22 and the difference calculator 23. Become.

積分器２４は、差分計算器２３から出力される差分を順次積算した積分データを、量子化器２１の入力データとして順次出力する。また、算出された積分データは、ＳＤＲＡＭ等の公知のメモリによって構成される第２フレームメモリ２５に順次記憶され、次回の積分データを算出する際に順次読み出される。 The integrator 24 sequentially outputs integral data obtained by sequentially accumulating differences output from the difference calculator 23 as input data for the quantizer 21 . Further, the calculated integral data are sequentially stored in the second frame memory 25 constituted by a known memory such as SDRAM, and sequentially read out when calculating the next integral data.

図４では、第１実施形態に係る映像信号処理装置１１の動作例として、所定の時間間隔（例えば、１ｍｓ）で設定された時刻ｔ０～ｔ１５において、０～２４０まで設定された８ビットの映像データ（入力データ）の各階調値が、カメラ２から映像信号処理装置１１に入力される場合が示されている。ここでは、説明の便宜上、時刻ｔ０～ｔ１５にそれぞれ対応する１６のフレームの所定画素について、各階調値（同一の階調値）が連続して入力された場合（各階調値が１６フレームにわたり変化しない場合）が示されている。ただし、実際の映像データの階調値はフレーム毎に適宜変化し得る。 In FIG. 4, as an operation example of the video signal processing device 11 according to the first embodiment, an 8-bit video set from 0 to 240 is shown at times t0 to t15 set at predetermined time intervals (eg, 1 ms). A case where each gradation value of data (input data) is input from the camera 2 to the video signal processing device 11 is shown. Here, for convenience of explanation, it is assumed that each gradation value (the same gradation value) is continuously input to predetermined pixels of 16 frames corresponding to times t0 to t15 (each gradation value changes over 16 frames). (if not) is shown. However, the gradation value of the actual video data may change as appropriate for each frame.

ここで、量子化器２１は、８ビットの映像データの階調値を、０～１５の階調値からなる４ビットの映像データに変換して順次出力する。例えば、映像データの階調値が３の場合には、量子化器２１からの出力の初期値は、３を１６で除した値（ただし、１未満の数値が生じた場合には切り捨てる（以下同様））である０となり、また、積分値（積分器２４からの出力値）の初期値は０である。 Here, the quantizer 21 converts the gradation values of the 8-bit video data into 4-bit video data consisting of gradation values of 0 to 15 and sequentially outputs the 4-bit video data. For example, when the gradation value of the video data is 3, the initial value of the output from the quantizer 21 is the value obtained by dividing 3 by 16 (however, if a numerical value less than 1 occurs, it is rounded down (hereinafter )), and the initial value of the integrated value (the output value from the integrator 24) is 0.

また、映像データの階調値が３の場合、時刻ｔ０においては、量子化器２１からの出力値（延いては、送信機４からの出力値）は、積分値の初期値０に映像データの階調値３を加えた値を１６で除した値である０となり、積分値は、その初期値０に対し、映像データの階調値３と量子化器２１からの出力の初期値との差分（すなわち、差分計算器２３による算出値）を加算した値である３となる。ここで、差分計算器２３による差分の計算には、量子化器２１からの出力値に１６を乗じて逆量子化した値が用いられる（以下同様）。 When the gradation value of the video data is 3, at time t0, the output value from the quantizer 21 (and the output value from the transmitter 4) is set to the initial integral value of 0 in the video data. is added to the gradation value of 3 and divided by 16, and the integrated value is 0, which is the initial value of 0. (that is, the value calculated by the difference calculator 23) is added. Here, a value obtained by multiplying the output value from the quantizer 21 by 16 and performing inverse quantization is used for the calculation of the difference by the difference calculator 23 (the same applies hereinafter).

続く時刻ｔ１においては、量子化器２１からの出力値は、時刻ｔ０における積分値３に映像データの階調値３を加えた値を１６で除した値である０となり、積分値は、時刻ｔ０の積分値３に対し、映像データの階調値３と時刻ｔ０における量子化器２１からの出力値との差分を加算した値である６となる。 At the subsequent time t1, the output value from the quantizer 21 becomes 0, which is the value obtained by adding the gradation value 3 of the video data to the integrated value 3 at time t0 and dividing by 16, and the integrated value becomes 0. 6 is obtained by adding the difference between the gradation value 3 of the video data and the output value from the quantizer 21 at time t0 to the integrated value 3 of t0.

続く時刻ｔ２においては、量子化器２１からの出力値は、時刻ｔ１における積分値６に映像データの階調値３を加えた値を１６で除した値である０となり、積分値は、時刻ｔ１の積分値６に対し、映像データの階調値３と時刻ｔ１における量子化器２１からの出力値との差分を加算した値である９となる。以降、時刻ｔ３～時刻ｔ１５における量子化器２１からの出力値および積分値も上述の場合と同様に設定される。また、映像データの階調値が３以外の場合も、上述の場合と同様に時刻ｔ０～ｔ１５における量子化器２１からの出力値および積分値を求めることができる。 At the following time t2, the output value from the quantizer 21 becomes 0, which is the value obtained by adding the gradation value 3 of the video data to the integral value 6 at time t1 and dividing by 16, and the integral value becomes 0. 9 is obtained by adding the difference between the gradation value 3 of the video data and the output value from the quantizer 21 at time t1 to the integrated value 6 of t1. Thereafter, the output value and the integral value from the quantizer 21 from time t3 to time t15 are also set in the same manner as described above. Moreover, even when the gradation value of the video data is other than 3, the output value and the integral value from the quantizer 21 at times t0 to t15 can be obtained in the same manner as described above.

また、各階調値に関し、時刻ｔ０～ｔ１５における量子化器２１からの出力値の平均値に１６を乗じた値（平均値の逆量子化値）は、元の階調値と概ね等しくなる。 Also, for each gradation value, the value obtained by multiplying the average value of the output values from the quantizer 21 at times t0 to t15 by 16 (inverse quantization value of the average value) is approximately equal to the original gradation value.

このように、第１実施形態に係る映像信号処理装置１１は、カメラ２から入力された映像データの階調を量子化により下げると共に、この量子化によって排除された情報（ここでは、下位の４ビット）を、積分器２４での積分値を介して後続のフレームに反映させる構成としたため、人間の視覚時間感度を超える比較的高いフレームレートを有する映像（例えば、フレームレートが６０ｆｐｓを超える映像）を伝送する場合に、表示デバイス６における表示映像の品質低下を抑制しつつ、映像の伝送量および演算量の増大を抑制することが可能となる。 As described above, the video signal processing device 11 according to the first embodiment lowers the gradation of the video data input from the camera 2 by quantization, and the information excluded by this quantization (here, the lower 4 bit) is reflected in subsequent frames via the integrated value in the integrator 24, so video with a relatively high frame rate that exceeds human visual temporal sensitivity (for example, video with a frame rate exceeding 60 fps) is transmitted, it is possible to suppress an increase in the amount of transmission of the image and the amount of calculation while suppressing deterioration in the quality of the image displayed on the display device 6 .

この場合、送信機４から第２階調（ここでは、４ビット）のデータが出力されるにも拘わらず、表示デバイス６に表示される映像を視聴するユーザは、人の視覚の性質上、表示される物体の運動に関しては１フレーム分の遅延としか認知できないにもかかわらず、階調に関しては１０～２０フレーム分程度（図４の例では各階調値の時刻ｔ０～ｔ１５における複数のフレームに相当）の映像を残像として重ね合わせたように知覚されることになり、送信機４において排除された階調が視覚的に復元された（あたかも第１階調（ここでは、８ビット）の映像が表示された）ような効果が得られる。また、送信機４から受信機５への映像データの伝送時に一部のデータが欠落した場合も、一時的な階調低下を引き起こすのみで、継続の復号不能には陥らないため、再送制御を行わずにシステム動作を継続できるという利点もある。 In this case, despite the fact that data of the second gradation (here, 4 bits) is output from the transmitter 4, the user who views the video displayed on the display device 6 may, due to the nature of human vision, Although the motion of the displayed object can be perceived as a delay of only one frame, the gradation has a delay of about 10 to 20 frames (in the example of FIG. 4, multiple frames at times t0 to t15 of each gradation value). ) are superimposed as an afterimage, and the gradation eliminated in the transmitter 4 is visually restored (as if the first gradation (here, 8 bits) image is displayed). Also, even if part of the data is lost during transmission of the video data from the transmitter 4 to the receiver 5, it only causes a temporary decrease in gradation and does not cause continuous decoding failure, so retransmission control is performed. There is also the advantage that the system operation can be continued without doing so.

なお、映像表示システム１は、後述する他の実施形態や複数の変形例を含め、入力される現フレームに関する映像データの階調を量子化により下げると共に、この量子化によって排除された下位ビット（例えば、８ビットにおける下位４ビット）または統計的または確率的手法に基づくそれらの下位ビットに相当する代替データが、後続するフレームに関する映像データにおける上位ビット（例えば、８ビットにおける上位４ビット）に対して影響を及ぼすことが可能な構成であればよい。 Note that the video display system 1, including other embodiments and a plurality of modified examples described later, lowers the gradation of video data relating to the current frame to be input by quantization, and lower bits ( For example, the lower 4 bits in 8 bits) or alternative data corresponding to those lower bits based on a statistical or probabilistic method for the upper bits in the video data for the subsequent frame (e.g., the upper 4 bits in 8 bits). Any configuration can be used as long as it is possible to influence

また、第１実施形態に係る映像信号処理装置１１による動作は、従来の音声信号の符号化に用いられるΔΣ（デルタシグマ）変調に類似するが、音声信号に関するΔΣ変調の処理は、音声信号の量子化において発生し得るエイリアスノイズを低減して音質を向上させるためのものであり、映像信号処理装置１１による映像の処理とは、目的や効果を異にするものである。 Further, the operation of the video signal processing device 11 according to the first embodiment is similar to ΔΣ (delta sigma) modulation used for encoding conventional audio signals, but the ΔΣ modulation processing for audio signals is similar to that for audio signals. This is intended to improve sound quality by reducing alias noise that may occur in quantization, and has a different purpose and effect from video processing by the video signal processing device 11 .

図５および図６は、それぞれ図３に示した映像信号処理装置１１の第１及び第２変形例を示すブロック図である。図５および図６では、図３に示した映像信号処理装置１１と同様の構成については、同一の符号が付してある。また、第１及び第２変形例に関し、以下で特に言及しない事項については、上述の第１実施形態に係る映像信号処理装置１１と同様として詳細な説明を省略する。 5 and 6 are block diagrams showing first and second modifications of the video signal processing device 11 shown in FIG. 3, respectively. 5 and 6, the same reference numerals are assigned to the same components as those of the video signal processing apparatus 11 shown in FIG. Further, with respect to the first and second modified examples, matters not particularly mentioned below are the same as those of the video signal processing device 11 according to the above-described first embodiment, and detailed description thereof will be omitted.

（第１実施形態の第１変形例）
上述の例では、映像中に動く物体が存在する場合、例えば、背景画像に関して蓄積された量子化誤差（すなわち、下位４ビット）が、その動く物体の画像に適用されることにより、表示デバイス６で表示される映像品質が低下する（例えば、映像中の動く物体の明るさや色が不自然に変化する）場合がある。 (First Modification of First Embodiment)
In the example above, if there is a moving object in the image, the accumulated quantization error (i.e., the lower 4 bits) for the background image, for example, is applied to the image of the moving object so that the display device 6 may degrade the quality of the displayed image (e.g., the brightness and color of moving objects in the image may change unnaturally).

そこで、第１変形例に係る映像信号処理装置１１では、映像中に存在し得る動く物体の影響を排除するために、図５に示すように、動き予測部２６、第３フレームメモリ２７、及び動き補償部２８を更に備える。 Therefore, in the video signal processing device 11 according to the first modification, in order to eliminate the influence of moving objects that may exist in the video, as shown in FIG. A motion compensator 28 is further provided.

動き予測部２６は、カメラ２から入力される各フレームの映像データを第３フレームメモリ２７に順次記憶すると共に、現フレームと参照フレームとの映像データの差分から、ブロックマッチング法等の公知の手法に基づき各画素に関する動きベクトルを算出する。 The motion prediction unit 26 sequentially stores video data of each frame input from the camera 2 in the third frame memory 27, and uses a known method such as a block matching method from the difference in video data between the current frame and the reference frame. A motion vector for each pixel is calculated based on .

動き補償部２８は、動き予測部２６で算出された動きベクトルの情報を取得し、第２フレームメモリ２５から積分データを読み出す場合に、その動きベクトルの情報（動き予測）に基づき、各画素のデータの読出し位置を補償する。 The motion compensation unit 28 acquires the information of the motion vector calculated by the motion prediction unit 26, and when reading the integral data from the second frame memory 25, based on the information of the motion vector (motion prediction), calculates the value of each pixel. Compensate the data read position.

このような構成により、映像信号処理装置１１では、映像中に動く物体が存在する場合でも、量子化器２１における量子化によって排除された情報（下位のビット）を、後続のフレームに適切に反映させることが可能となる。 With such a configuration, in the video signal processing device 11, even if a moving object exists in the video, the information (lower bits) eliminated by quantization in the quantizer 21 is appropriately reflected in subsequent frames. It is possible to

（第１実施形態の第２変形例）
また、上述の例では、映像信号処理装置１１の後の符号化器１２（図１参照）においてＭＰＥＧ等の非可逆的な圧縮符号化に基づく処理を実行した場合、圧縮符号化によって生じるノイズが送信機４から送信される映像データに含まれることになる。 (Second Modification of First Embodiment)
Further, in the above example, when the encoder 12 (see FIG. 1) after the video signal processing device 11 executes processing based on irreversible compression encoding such as MPEG, noise generated by the compression encoding is It will be included in the video data transmitted from the transmitter 4 .

そこで、第２変形例に係る映像信号処理装置１１では、図６に示すように、符号化器１２が内部に設けられ（すなわち、圧縮符号化が映像信号処理装置１１の処理として実行され）、更に、符号化器１２によって圧縮符号化された映像データを復号化する復号化器２９を備える。 Therefore, in the video signal processing device 11 according to the second modification, as shown in FIG. Further, a decoder 29 for decoding the video data compression-encoded by the encoder 12 is provided.

このような構成により、非可逆的な圧縮符号化によって生じるノイズは、符号化器１２および復号化器２９を介して量子化データと共に第１フレームメモリ２２に記憶されるため、送信機４から送信される映像データにおいて非可逆的な圧縮符号化によって生じるノイズを抑制することが可能となる。 With such a configuration, the noise generated by the irreversible compression encoding is stored in the first frame memory 22 together with the quantized data via the encoder 12 and decoder 29. It is possible to suppress noise caused by irreversible compression encoding in the video data to be processed.

（第２実施形態）
図７は、本開示の第２実施形態に係る映像表示システム１における映像信号処理装置１１の概略構成を示すブロック図であり、図８及び図９は、それぞれ第２実施形態に係る映像信号処理装置１１の第１の動作例を示す説明図（数値例およびそれに対応するグラフ）であり、図１０及び図１１は、それぞれ第２実施形態に係る映像信号処理装置１１の第２の動作例を示す説明図（数値例およびそれに対応するグラフ）である。なお、図８及び図１０における数値例は、それぞれ一部を省略して示してある。また、第２実施形態に関し、以下で特に言及しない事項については、上述の第１実施形態に係る映像信号処理装置１１と同様として詳細な説明を省略する。 (Second embodiment)
FIG. 7 is a block diagram showing a schematic configuration of the video signal processing device 11 in the video display system 1 according to the second embodiment of the present disclosure, and FIGS. 8 and 9 respectively show video signal processing according to the second embodiment. FIG. 10 is an explanatory diagram (numerical examples and corresponding graphs) showing a first operation example of the device 11, and FIGS. 10 and 11 respectively show a second operation example of the video signal processing device 11 according to the second embodiment; 2 is an explanatory diagram (numerical examples and graphs corresponding thereto); FIG. It should be noted that numerical examples in FIGS. 8 and 10 are partially omitted. Further, with respect to the second embodiment, matters not particularly mentioned below are the same as those of the video signal processing device 11 according to the above-described first embodiment, and detailed description thereof is omitted.

映像信号処理装置１１は、量子化器３１、第１フレームメモリ（記憶部）３２、積分器３３、差分計算器３４、及び第２フレームメモリ３５を備える。 The video signal processing device 11 includes a quantizer 31 , a first frame memory (storage unit) 32 , an integrator 33 , a difference calculator 34 and a second frame memory 35 .

量子化器３１は、上述の量子化器２１と同様に、差分計算器３４から出力された第１階調（例えば、８ビット）の映像データに基づくデータ（入力データ）を、第２階調（例えば、４ビット）の映像データに量子化して順次出力する。この量子化データは、伝送路３側（ここでは、符号化器１２）に順次出力されると共に、ＳＤＲＡＭ等の公知のメモリによって構成される第１フレームメモリ３２に順次記憶される。 Similar to the quantizer 21 described above, the quantizer 31 converts the data (input data) based on the video data of the first gradation (for example, 8 bits) output from the difference calculator 34 into the second gradation. (For example, 4-bit) video data is quantized and sequentially output. This quantized data is sequentially output to the transmission path 3 side (here, the encoder 12) and is also sequentially stored in a first frame memory 32 constituted by a known memory such as SDRAM.

積分器３３は、第１フレームメモリ３２に記憶されたデータを順次積算した積分データを、差分計算器３４に対して順次出力する。また、積分データは、ＳＤＲＡＭ等の公知のメモリによって構成される第２フレームメモリ３５に順次記憶され、次回の積分データを算出する際に順次読み出される。 The integrator 33 sequentially outputs integrated data obtained by sequentially integrating the data stored in the first frame memory 32 to the difference calculator 34 . Further, the integral data are sequentially stored in a second frame memory 35 constituted by a known memory such as SDRAM, and are sequentially read when calculating the next integral data.

差分計算器３４は、カメラ２から入力される現フレームに関する８ビットの映像データと積分器３３からの積分データとの差分を順次算出し、この差分データを量子化器３１の入力データとして順次出力する。このような構成により、量子化器３１の処理によって切り捨てられた下位４ビットの情報を、第１フレームメモリ３２、積分器３３、及び差分計算器３４を介したフィードバックループにより後続のフレームに反映させることが可能となる。 The difference calculator 34 sequentially calculates the difference between the 8-bit video data of the current frame input from the camera 2 and the integral data from the integrator 33, and sequentially outputs the difference data as input data to the quantizer 31. do. With such a configuration, the lower 4-bit information truncated by the processing of the quantizer 31 is reflected in subsequent frames by a feedback loop via the first frame memory 32, the integrator 33, and the difference calculator 34. becomes possible.

図８及び図９では、第２実施形態に係る映像信号処理装置１１の第１の動作例として、所定の時間間隔（例えば、１ｍｓ）で入力されるフレームの所定画素について、０～２５５まで設定された８ビットの映像データ（入力データ）の階調値が、変化しつつカメラ２から映像信号処理装置１１に入力される場合が示されている。ただし、実際の映像データの階調値の変化は、ここに示すものに限定されず任意に変化し得る（後述する他の動作例についても同様）。 In FIGS. 8 and 9, as a first operation example of the video signal processing device 11 according to the second embodiment, 0 to 255 are set for predetermined pixels of frames input at predetermined time intervals (for example, 1 ms). A case is shown in which the gradation value of the 8-bit video data (input data) obtained is input from the camera 2 to the video signal processing device 11 while changing. However, changes in the gradation values of the actual video data are not limited to those shown here and can be changed arbitrarily (the same applies to other operation examples described later).

ここで、量子化器３１は、８ビットの映像データの階調値を、－８～７の階調値からなる４ビットの映像データに変換して順次出力する。図８において、例えば、フレームＮｏ．１では、映像データの階調値８が入力され、この映像データの階調値８と積分値０（積分器３３からの出力値）との差分（すなわち、差分計算器３４による算出値）に基づく７が、送信機４からの出力値（すなわち、量子化器３１からの出力値）となる。ここで、差分計算器３４で算出された差分値が７を超える場合には、送信機４からの出力値は上限値７に設定され、その差分値が－８未満の場合には、送信機４からの出力値は下限値－８に設定される（以下同様）。表示デバイス６では、その送信機４からの出力値７を受信し、これを初期の輝度値０（フレームＮｏ．０参照）に加算することにより、対象画素の表示に関して輝度値７が設定される。 Here, the quantizer 31 converts the gradation values of the 8-bit video data into 4-bit video data consisting of gradation values of -8 to 7 and sequentially outputs the 4-bit video data. In FIG. 8, for example, frame No. 1, the gradation value 8 of the video data is input, and the difference (that is, the value calculated by the difference calculator 34) between the gradation value 8 of the video data and the integral value 0 (output value from the integrator 33) is calculated. 7 based on is the output value from the transmitter 4 (that is, the output value from the quantizer 31). Here, when the difference value calculated by the difference calculator 34 exceeds 7, the output value from the transmitter 4 is set to the upper limit value 7, and when the difference value is less than -8, the transmitter The output value from 4 is set to the lower limit value -8 (and so on). The display device 6 receives the output value 7 from the transmitter 4 and adds it to the initial luminance value 0 (see frame No. 0), thereby setting the luminance value 7 for the display of the target pixel. .

続くフレームＮｏ．２では、映像データの階調値９が入力され、この映像データの階調値９からフレームＮｏ．２の積分値７（すなわち、フレームＮｏ．１の積分値０および送信機４からの出力値７の和）を減じた値に基づく２が、送信機４からの出力値となる。表示デバイス６では、その送信機４からの出力値２を受信し、これをフレームＮｏ．１までの輝度値７（積分値）に加算することにより、対象画素の表示に関して輝度値９が設定される。 The next frame No. 2, the gradation value 9 of the video data is input, and the frame number is determined from the gradation value 9 of the video data. The output value from the transmitter 4 is 2, which is obtained by subtracting the integral value 7 from 2 (that is, the sum of the integral value 0 of frame No. 1 and the output value 7 from the transmitter 4). The display device 6 receives the output value 2 from the transmitter 4 and stores it as a frame number. By adding to the luminance value 7 (integral value) up to 1, a luminance value 9 is set for the display of the target pixel.

続くフレームＮｏ．３では、映像データの階調値１０が入力され、この映像データの階調値１０からフレームＮｏ．３の積分値９（すなわち、フレームＮｏ．２の積分値７および送信機４からの出力値２の和）を減じた値に基づく１が、送信機４からの出力値となる。表示デバイス６では、その送信機４からの出力値１を受信し、これをフレームＮｏ．２までの輝度値９（積分値）に加算することにより、対象画素の表示に関して輝度値１０が設定される。フレームＮｏ．４以降についても、上述の場合と同様に、入力される映像データの階調値に基づき、積分値、送信機４からの出力値、及び表示デバイス６の輝度値がそれぞれ設定される。 The next frame No. 3, the gradation value 10 of the video data is input, and the frame number is determined from the gradation value 10 of the video data. The output value from the transmitter 4 is 1 based on the value obtained by subtracting the integral value 9 of 3 (that is, the sum of the integral value 7 of the frame No. 2 and the output value 2 from the transmitter 4). The display device 6 receives the output value 1 from the transmitter 4 and designates it as a frame number. A brightness value of 10 is set for the display of the target pixel by adding to the brightness value of 9 (integral value) up to 2. Frame no. 4 and later, the integral value, the output value from the transmitter 4, and the luminance value of the display device 6 are set based on the gradation value of the input video data, as in the case described above.

次に、図１０及び図１１では、第２実施形態に係る映像信号処理装置１１の第２の動作例として、所定の時間間隔（例えば、１ｍｓ）で入力されるフレームの所定画素について、０～２５５まで設定された８ビットの映像データ（入力データ）の階調値が、変化しつつカメラ２から映像信号処理装置１１に入力される場合が示されている。 Next, in FIGS. 10 and 11, as a second operation example of the video signal processing device 11 according to the second embodiment, for a predetermined pixel of a frame input at predetermined time intervals (for example, 1 ms), A case is shown in which the gradation value of 8-bit video data (input data) set up to 255 is input from the camera 2 to the video signal processing device 11 while changing.

ここで、量子化器３１は、８ビットの映像データの階調値を、－１、１の階調値からなる１ビットの映像データに変換して順次出力する。図１０において、例えば、フレームＮｏ．１では、映像データの階調値８が入力され、この映像データの階調値８と積分値（積分器３３からの出力値）との差分（すなわち、差分計算器３４による算出値８）に基づく１が、送信機４からの出力値（すなわち、量子化器３１からの出力値）となる。ここで、差分計算器３４で算出された差分値が１を超える場合には、送信機４からの出力値は上限値１に設定され、その差分値が－１未満の場合には、送信機４からの出力値は下限値－１に設定される（以下同様）。表示デバイス６では、その送信機４からの出力値１を受信し、これを初期の輝度値０（フレームＮｏ．０参照）に加算することにより、対象画素の表示に関して輝度値１が設定される。 Here, the quantizer 31 converts the gradation values of the 8-bit video data into 1-bit video data consisting of the gradation values of -1 and 1, and sequentially outputs the data. In FIG. 10, for example, frame No. In 1, the gradation value 8 of the video data is input, and the difference between the gradation value 8 of the video data and the integral value (output value from the integrator 33) (that is, the calculated value 8 by the difference calculator 34) is calculated. 1 based on is the output value from the transmitter 4 (that is, the output value from the quantizer 31). Here, when the difference value calculated by the difference calculator 34 exceeds 1, the output value from the transmitter 4 is set to the upper limit value 1, and when the difference value is less than -1, the transmitter The output value from 4 is set to the lower limit value -1 (and so on). The display device 6 receives the output value 1 from the transmitter 4 and adds it to the initial luminance value 0 (see frame No. 0), thereby setting the luminance value 1 for the display of the target pixel. .

続くフレームＮｏ．２では、映像データの階調値８が入力され、この映像データの階調値８からフレームＮｏ．２の積分値１（すなわち、フレームＮｏ．１の積分値０および送信機４からの出力値１の和）を減じた値（差分の値は７）に基づく１が、送信機４からの出力値となる。表示デバイス６では、その送信機４からの出力値１を受信し、これをフレームＮｏ．１までの輝度値２（積分値）に加算することにより、対象画素の表示に関して輝度値２が設定される。 The next frame No. 2, the gradation value 8 of the video data is input, and the frame number is determined from the gradation value 8 of the video data. 2 (that is, the sum of the integral value 0 of frame No. 1 and the output value 1 from the transmitter 4) is subtracted (the difference value is 7). value. The display device 6 receives the output value 1 from the transmitter 4 and designates it as a frame number. A brightness value of 2 is set for the display of the target pixel by adding to the brightness value of 2 (the integral value) up to 1.

続くフレームＮｏ．３では、映像データの階調値８が入力され、この映像データの階調値８からフレームＮｏ．３の積分値２（すなわち、フレームＮｏ．２の積分値１および送信機４からの出力値１の和）を減じた値（差分の値は６）に基づく１が、送信機４からの出力値となる。表示デバイス６では、その送信機４からの出力値１を受信し、これをフレームＮｏ．２までの輝度値２（積分値）に加算することにより、対象画素の表示に関して輝度値３が設定される。フレームＮｏ．４以降についても、上述の場合と同様に、入力される映像データの階調値に基づき、積分値、送信機４からの出力値、及び表示デバイス６の輝度値がそれぞれ設定される。 The next frame No. 3, the gradation value 8 of the video data is input, and the frame number is determined from the gradation value 8 of the video data. 1 based on the value obtained by subtracting the integral value 2 of 3 (that is, the sum of the integral value 1 of frame No. 2 and the output value 1 from the transmitter 4) (the difference value is 6) is the output from the transmitter 4 value. The display device 6 receives the output value 1 from the transmitter 4 and designates it as a frame number. A brightness value of 3 is set for the display of the target pixel by adding to the brightness value 2 (integral value) up to 2. Frame no. 4 and later, the integral value, the output value from the transmitter 4, and the luminance value of the display device 6 are set based on the gradation value of the input video data, as in the case described above.

このように、第２実施形態に係る映像信号処理装置１１は、上述の第１実施形態に係る映像信号処理装置１１と同様に、カメラ２から入力された映像データの階調を量子化により下げると共に、この量子化によって排除された情報を、積分器３３での積分値を介して後続のフレームに反映させる構成としたため、比較的高いフレームレートを有する映像を伝送する場合に、表示デバイス６における表示映像の品質低下を抑制しつつ（すなわち、図９、図１１に示すように、映像データの階調値を表示デバイス６の輝度値と良好に一致させて、視覚的階調を回復しつつ）、映像の伝送量および演算量の増大を抑制することが可能となる。 As described above, the video signal processing device 11 according to the second embodiment lowers the gradation of the video data input from the camera 2 by quantization, similarly to the video signal processing device 11 according to the first embodiment. In addition, since the information eliminated by this quantization is reflected in subsequent frames via the integrated value in the integrator 33, when transmitting a video having a relatively high frame rate, the display device 6 While suppressing the deterioration of the quality of the displayed image (that is, as shown in FIGS. 9 and 11, the gradation value of the image data is well matched with the luminance value of the display device 6, and the visual gradation is recovered. ), it is possible to suppress an increase in the amount of video transmission and the amount of calculation.

また、第２実施形態に係る映像信号処理装置１１による動作は、従来の音声信号の符号化に用いられるΔ（デルタ）変調に類似するが、音声信号に関するΔ変調の処理は、音声信号の量子化において発生し得るエイリアスノイズを低減して音質を向上させるためのものであり、映像信号処理装置１１による映像の処理とは、目的や効果を異にするものである。 Further, the operation of the video signal processing device 11 according to the second embodiment is similar to Δ (delta) modulation used for encoding conventional audio signals, but the processing of Δ modulation for audio signals is similar to the quantum modulation of audio signals. This is intended to improve sound quality by reducing alias noise that may occur in processing, and has a different purpose and effect from video processing by the video signal processing device 11 .

図１２、図１３、及び図１４は、それぞれ図７に示した第２実施形態に係る映像信号処理装置１１の第１、第２、及び第３変形例を示すブロック図であり、図１５及び図１６は、第３変形例に係る映像信号処理装置１１の動作例（数値例およびそれに対応するグラフ）を示す説明図である。図１２～図１４では、図７に示した映像信号処理装置１１と同様の構成については、同一の符号が付してある。また、第１～第３変形例に関し、以下で特に言及しない事項については、上述の第２実施形態に係る映像信号処理装置１１と同様として詳細な説明を省略する。 12, 13 and 14 are block diagrams respectively showing first, second and third modifications of the video signal processing device 11 according to the second embodiment shown in FIG. FIG. 16 is an explanatory diagram showing an operation example (numerical examples and corresponding graphs) of the video signal processing device 11 according to the third modification. 12 to 14, the same reference numerals are assigned to the same components as those of the video signal processing device 11 shown in FIG. Further, with respect to the first to third modified examples, matters not specifically mentioned below are the same as those of the video signal processing device 11 according to the above-described second embodiment, and detailed descriptions thereof are omitted.

（第２実施形態の第１変形例）
上述の第１実施形態の場合と同様に、第２実施形態の第１変形例に係る映像信号処理装置１１では、映像中に存在し得る動く物体の影響を排除するために、図１２に示すように、動き予測部３６、第３フレームメモリ３７、及び動き補償部３８を更に備える。 (First Modification of Second Embodiment)
As in the case of the above-described first embodiment, in the video signal processing device 11 according to the first modification of the second embodiment, in order to eliminate the influence of moving objects that may exist in the video, As shown, a motion prediction unit 36, a third frame memory 37, and a motion compensation unit 38 are further provided.

動き予測部３６は、カメラ２から入力される各フレームの映像データを第３フレームメモリ３７に順次記憶すると共に、現フレームと参照フレームとの映像データの差分から、ブロックマッチング法等の公知の手法に基づき各画素に関する動きベクトルを算出する。 The motion prediction unit 36 sequentially stores the video data of each frame input from the camera 2 in the third frame memory 37, and uses a known technique such as block matching from the difference between the video data of the current frame and the reference frame. A motion vector for each pixel is calculated based on .

動き補償部３８は、動き予測部３６で算出された動きベクトルの情報を取得し、第２フレームメモリ３５から積分データを読み出す場合に、その動きベクトルの情報（動き予測）に基づき、各画素の読出し位置を補償する。 The motion compensation unit 38 obtains the information of the motion vector calculated by the motion prediction unit 36, and when reading the integral data from the second frame memory 35, based on the information of the motion vector (motion prediction), calculates the value of each pixel. Compensate the read position.

このような構成により、映像信号処理装置１１では、映像中に動く物体が存在する場合でも、量子化器３１における量子化によって排除された情報（下位のビット）を、後続のフレームに適切に反映させることが可能となる。 With such a configuration, in the video signal processing device 11, even if a moving object exists in the video, the information (lower bits) eliminated by the quantization in the quantizer 31 is appropriately reflected in subsequent frames. It is possible to

（第２実施形態の第２変形例）
また、上述の第１実施形態の場合と同様に、第２変形例に係る映像信号処理装置１１では、図１３に示すように、符号化器１２が内部に設けられ（すなわち、圧縮符号化が映像信号処理装置１１の処理として実行され）、更に、符号化器１２によって圧縮符号化された映像データを復号化する復号化器３９を備える。 (Second modification of the second embodiment)
Further, as in the case of the first embodiment described above, in the video signal processing device 11 according to the second modification, as shown in FIG. (executed as processing of the video signal processing device 11) and further includes a decoder 39 for decoding the video data compression-encoded by the encoder 12. FIG.

このような構成により、非可逆的な圧縮符号化によって生じるノイズは、符号化器１２および復号化器３９を介して量子化データと共に第１フレームメモリ３２に記憶されるため、送信機４から送信される映像データにおいて非可逆的な圧縮符号化によって生じるノイズを抑制することが可能となる。 With such a configuration, the noise generated by the irreversible compression encoding is stored in the first frame memory 32 together with the quantized data via the encoder 12 and decoder 39. It is possible to suppress noise caused by irreversible compression encoding in the video data to be processed.

（第２実施形態の第３変形例）
第２実施形態の第３変形例に係る映像信号処理装置１１では、量子化器３１は、非線形量子化を実行し、また、図１４に示すように、量子化器３１からの出力を逆量子化する逆量子化部５１を更に備える。逆量子化部５１によって逆量子化された量子化器３１からの出力は、上述の第２実施形態に係る映像信号処理装置１１と同様に、第１フレームメモリ３２に順次記憶される。 (Third Modification of Second Embodiment)
In the video signal processing device 11 according to the third modification of the second embodiment, the quantizer 31 performs nonlinear quantization, and as shown in FIG. It further includes an inverse quantization unit 51 that converts the The output from the quantizer 31 that has been inversely quantized by the inverse quantization unit 51 is sequentially stored in the first frame memory 32 in the same manner as the video signal processing device 11 according to the second embodiment described above.

また、この第３変形例に係る映像信号処理装置１１を備えた映像表示システム１では、受信機５には、上述のような送信機４からの映像データを順次積算（積分）する機能の他に、その積算される前の映像データを逆量子化するための逆量子化部５１と同様の機能が設けられる。 In addition, in the video display system 1 including the video signal processing device 11 according to the third modification, the receiver 5 has the function of sequentially integrating (integrating) the video data from the transmitter 4 as described above. is provided with a function similar to that of the inverse quantization unit 51 for inversely quantizing the video data before being integrated.

図１５では、第２実施形態の第３変形例に係る映像信号処理装置１１の動作例として、所定の時間間隔（例えば、１ｍｓ）で入力されるフレームの所定画素について、０～２５５まで設定された８ビットの映像データ（入力データ）の階調値が、変化しつつカメラ２から映像信号処理装置１１に入力される場合が示されている。 In FIG. 15, as an operation example of the video signal processing device 11 according to the third modification of the second embodiment, 0 to 255 are set for predetermined pixels of frames input at predetermined time intervals (for example, 1 ms). A case is shown in which the gradation value of the 8-bit video data (input data) is input from the camera 2 to the video signal processing device 11 while changing.

ここで、量子化器３１は、非線形量子化を実行することにより、８ビットの映像データの階調値を、－５～５の階調値からなる４ビットの映像データに変換して順次出力する。図１５において、例えば、フレームＮｏ．１では、映像データの階調値１０が入力され、この映像データの階調値１０とフレームＮｏ．１での積分値０（積分器３３からの出力値）との差分（すなわち、差分計算器３４による算出値）に基づく差分値１０（すなわち、差分計算器３４による算出値）が量子化器３１に入力される。そこで、量子化器３１では、その差分値が正の場合には、２を底とする差分値の対数（ただし、１未満の数値が生じた場合には切り捨てる（以下同様））を出力し、また、その差分値が負の場合には、２を底とする差分値の絶対値の対数（ただし、１未満の数値が生じた場合には切り捨てる（以下同様））に－１を乗じた値を出力し、また、差分値が０の場合には、０を出力する（以下同様）。これにより、フレームＮｏ．１では、送信機４からの出力値（すなわち、量子化器３１からの出力値）は３となる。ここで、量子化器３１からの出力値を「Ｑ」とすると、Ｑが０以上の場合には、逆量子化部５１は、２のＱ乗を算出することにより逆量子化を行い、また、Ｑが負の場合には、逆量子化部５１は、２の－Ｑ乗を算出することにより逆量子化を行う（以下同様）。これにより、フレームＮｏ．１では、逆量子化部５１からの出力値は８（２の３乗）となる。また、フレームＮｏ．１に関する送信機４からの出力値を受信した受信機５では、逆量子化部５１と同様の逆量子化値８が算出され、さらに、表示デバイス６では、その逆量子化値８を初期の輝度値０（フレームＮｏ．０参照）に加算することにより、対象画素の表示に関して輝度値８が設定される。 Here, the quantizer 31 performs non-linear quantization to convert the gradation values of the 8-bit video data into 4-bit video data consisting of gradation values of −5 to 5, and sequentially outputs the data. do. In FIG. 15, for example, frame No. 1, the gradation value 10 of the video data is input, and the gradation value 10 of the video data and the frame number are combined. The difference value 10 (that is, the value calculated by the difference calculator 34) based on the difference (that is, the value calculated by the difference calculator 34) from the integral value 0 (output value from the integrator 33) at 1 is the quantizer 31 is entered in Therefore, when the difference value is positive, the quantizer 31 outputs the logarithm of the difference value with a base of 2 (however, if a numerical value less than 1 occurs, it is discarded (hereinafter the same)), In addition, if the difference value is negative, the logarithm of the absolute value of the difference value to the base 2 (however, if a value less than 1 occurs, it is rounded down (the same applies hereinafter)) multiplied by -1 is output, and when the difference value is 0, 0 is output (same below). As a result, the frame No. At 1, the output value from transmitter 4 (that is, the output value from quantizer 31) is 3. Here, assuming that the output value from the quantizer 31 is "Q", when Q is 0 or more, the inverse quantization unit 51 performs inverse quantization by calculating 2 to the power of Q, and , Q are negative, the inverse quantization unit 51 performs inverse quantization by calculating 2 to the -Q power (the same applies hereinafter). As a result, the frame No. At 1, the output value from the inverse quantization unit 51 is 8 (2 cubed). Also, the frame No. In the receiver 5 which received the output value from the transmitter 4 regarding 1, the inverse quantization value 8 similar to that of the inverse quantization unit 51 is calculated. By adding to the luminance value 0 (see frame No. 0), a luminance value of 8 is set for the display of the target pixel.

続くフレームＮｏ．２では、映像データの階調値１７が入力され、この映像データの階調値１７とフレームＮｏ．２での積分値８（フレームＮｏ．１の積分値０と逆量子化値８との和）との差分に基づく差分値９が量子化器３１に入力される。これにより、フレームＮｏ．２では、送信機４（量子化器３１）からの出力値は３となる。また、フレームＮｏ．２では、逆量子化部５１からの出力値は８となる。さらに、フレームＮｏ．２に関し、表示デバイス６では、その逆量子化値８をフレームＮｏ．１までの輝度値８（積分値）に加算することにより、対象画素の表示に関して輝度値１６が設定される。 The next frame No. 2, the gradation value 17 of the video data is input, and the gradation value 17 of the video data and the frame number are combined. 2 (the sum of the integral value 0 of frame No. 1 and the inverse quantization value 8). As a result, the frame No. At 2, the output value from transmitter 4 (quantizer 31) is 3. Also, the frame No. At 2, the output value from the inverse quantization unit 51 is 8. Furthermore, frame no. 2, the display device 6 displays the inverse quantization value 8 as the frame number. A brightness value of 16 is set for the display of the target pixel by adding to the brightness value of 8 (integral value) up to 1.

続くフレームＮｏ．３では、映像データの階調値２８が入力され、この映像データの階調値２８とフレームＮｏ．３での積分値１６（フレームＮｏ．２の積分値８と逆量子化値８との和）との差分に基づく差分値１２が量子化器３１に入力される。これにより、フレームＮｏ．３では、送信機４（量子化器３１）からの出力値は３となる。また、フレームＮｏ．３では、逆量子化部５１からの出力値は８となる。さらに、フレームＮｏ．３に関し、表示デバイス６では、その逆量子化値８をフレームＮｏ．２までの輝度値１６に加算することにより、対象画素の表示に関して輝度値２４が設定される。フレームＮｏ．４以降についても、上述の場合と同様に、入力される映像データの階調値に基づき、積分値、差分、送信機４からの出力値、及び表示デバイス６の輝度値がそれぞれ設定される。 The next frame No. 3, the gradation value 28 of the video data is input, and the gradation value 28 of the video data and the frame number are combined. A difference value 12 based on the difference between the integral value 16 at frame No. 3 (the sum of the integral value 8 and the inverse quantization value 8 of frame No. 2) is input to the quantizer 31 . As a result, the frame No. At 3, the output value from transmitter 4 (quantizer 31) is 3. Also, the frame No. At 3, the output value from the inverse quantization unit 51 is 8. Furthermore, frame no. 3, the display device 6 displays the inverse quantization value 8 as the frame number. By adding to the luminance value 16 up to 2, the luminance value 24 is set for the display of the target pixel. Frame no. 4 and later, the integral value, the difference, the output value from the transmitter 4, and the luminance value of the display device 6 are set based on the gradation value of the input video data, as in the case described above.

このように、第２実施形態の第３変形例に係る映像信号処理装置１１は、上述の第１実施形態に係る映像信号処理装置１１と同様に、カメラ２から入力された映像データの階調を量子化により下げると共に、この量子化によって排除された情報を、後続のフレームに反映させる構成としたため、比較的高いフレームレートを有する映像を伝送する場合に、表示デバイス６における表示映像の品質低下を抑制しつつ（すなわち、図１６に示すように、映像データの階調値を表示デバイス６の輝度値と良好に一致させて、視覚的階調を回復しつつ）、映像の伝送量および演算量の増大を抑制することが可能となる。特に、第２実施形態の第３変形例に係る映像信号処理装置１１では、非線形量子化を実行するため、カメラ２から入力された映像データの変動が比較的大きい場合（高い周波数を有する場合）にも、上述のような線形量子化を実行する場合と比べて円滑な処理が可能となるという利点がある。 In this way, the video signal processing device 11 according to the third modification of the second embodiment, similarly to the video signal processing device 11 according to the above-described first embodiment, adjusts the gradation of the video data input from the camera 2. is reduced by quantization, and the information eliminated by this quantization is reflected in subsequent frames. while suppressing (that is, as shown in FIG. 16, the gradation value of the video data is well matched with the luminance value of the display device 6, and the visual gradation is restored), the transmission amount of the video and the calculation It becomes possible to suppress the increase in the amount. In particular, since the video signal processing device 11 according to the third modification of the second embodiment performs non-linear quantization, when the video data input from the camera 2 fluctuates relatively large (when it has a high frequency), Also, there is an advantage that smooth processing can be performed as compared with the case of performing linear quantization as described above.

（第３実施形態）
図１７は、本開示の第３実施形態に係る映像表示システム１における映像信号処理装置１１の概略構成を示すブロック図であり、図１８及び図１９は、それぞれ第３実施形態に係る映像信号処理装置１１の第１及び第２の動作例を示す説明図である。第３実施形態に関し、以下で特に言及しない事項については、上述の第１または第２実施形態に係る映像信号処理装置１１と同様として詳細な説明を省略する。 (Third embodiment)
FIG. 17 is a block diagram showing a schematic configuration of the video signal processing device 11 in the video display system 1 according to the third embodiment of the present disclosure, and FIGS. 18 and 19 respectively show video signal processing according to the third embodiment. 4A and 4B are explanatory diagrams showing first and second operation examples of the device 11; FIG. Regarding the third embodiment, items not particularly mentioned below are the same as those of the video signal processing device 11 according to the above-described first or second embodiment, and detailed description thereof is omitted.

映像信号処理装置１１は、パターン生成部４１、加算器４２、及び量子化器４３を備える。 The video signal processing device 11 includes a pattern generator 41 , an adder 42 and a quantizer 43 .

パターン生成部４１は、カメラ２から入力される第１階調の映像データよりも小さいビット数（例えば、４ビット）を有する変動値データを統計的または確率的に順次生成し、加算器４２に対して出力する。このような変動値データは、例えば、乱数や三角波を利用して生成することができる。 The pattern generation unit 41 statistically or stochastically sequentially generates variation value data having a smaller number of bits (for example, 4 bits) than the video data of the first gradation input from the camera 2, and the adder 42 Output for Such fluctuation value data can be generated using, for example, random numbers or triangular waves.

加算器４２は、カメラ２から順次入力される現フレームに関する８ビットの映像データと変動値データを加算したデータを生成し、これを量子化器４３に対して出力する。 The adder 42 generates data by adding the 8-bit video data of the current frame sequentially input from the camera 2 and the variation value data, and outputs the data to the quantizer 43 .

量子化器４３は、上述の量子化器２１と同様に、加算器４２から出力されたデータを第２階調（例えば、４ビット）の映像データに量子化することにより、階調を下げたデータ（量子化データ）を生成することができる。 The quantizer 43, like the quantizer 21 described above, quantizes the data output from the adder 42 into video data of the second gradation (for example, 4 bits), thereby lowering the gradation. Data (quantized data) can be generated.

図１８では、第３実施形態に係る映像信号処理装置１１の第１の動作例として、０～２４０まで設定された８ビットの映像データ（入力データ）の各階調値が、所定の時間間隔（例えば、１ｍｓ）で、カメラ２から映像信号処理装置１１に入力される場合が示されている。このとき、パターン生成部４１は、三角波を利用して変動値０～１５（変動値データ）を順次生成し、これにより、加算器４２は、８ビットの映像データとその変動値を加算したデータを生成し、これを量子化器４３に対して出力する。また、量子化器４３は、加算器４２からの８ビットの映像データの階調値を、０～１５の階調値からなる４ビットの映像データに変換して順次出力する。 In FIG. 18, as a first operation example of the video signal processing device 11 according to the third embodiment, each gradation value of 8-bit video data (input data) set from 0 to 240 is displayed at predetermined time intervals ( For example, a case of inputting from the camera 2 to the video signal processing device 11 at 1 ms) is shown. At this time, the pattern generator 41 sequentially generates variation values 0 to 15 (variation value data) using the triangular wave, and the adder 42 adds the 8-bit video data and the variation value to the data. and outputs it to the quantizer 43 . Further, the quantizer 43 converts the gradation values of the 8-bit video data from the adder 42 into 4-bit video data consisting of gradation values of 0 to 15, and sequentially outputs the 4-bit video data.

変動値０に関し、８ビットの階調値２４０は、それに変動値０を加算した値を１６で除して求められる４ビットの階調値１５（ただし、１未満の数値が生じた場合には切り捨てる（以下同様））に変換され、８ビットの階調値２３９は、それに変動値０を加算した値を１６で除して求められる４ビットの階調値１４に変換され、それ以降も同様に、８ビットの階調値が４ビットの階調値に変換される。また、変動値１に関し、映像データの８ビットの階調値（映像の輝度値）２４０は、それに変動値１を加算した値を１６で除して求められる４ビットの階調値１５に変換され、８ビットの階調値２３９は、それに変動値１を加算した値を１６で除して求められる４ビットの階調値１４に変換され、それ以降も同様に、８ビットの階調値が４ビットの階調値に変換される。また、変動値２～１５に関しても同様に、映像データの８ビットの階調値から４ビットの階調値１４に変換される。 Regarding the variation value 0, the 8-bit gradation value 240 is the 4-bit gradation value 15 obtained by adding the variation value 0 and dividing by 16 (however, if a value less than 1 occurs, The 8-bit gradation value 239 is converted to a 4-bit gradation value 14 obtained by adding a variation value of 0 to it and dividing it by 16, and so on. 8-bit gradation values are converted into 4-bit gradation values. Regarding the variation value 1, the 8-bit gradation value (video luminance value) 240 of the video data is converted to the 4-bit gradation value 15 by dividing the value obtained by adding the variation value 1 to it by 16. The 8-bit gradation value 239 is converted to the 4-bit gradation value 14 obtained by adding the variation value 1 to it and dividing it by 16, and after that, similarly, the 8-bit gradation value is converted to a 4-bit gradation value. Similarly, the fluctuation values 2 to 15 are also converted from the 8-bit gradation value of the video data to the 4-bit gradation value 14 .

図１９では、第３実施形態に係る映像信号処理装置１１の第２の動作例として、０～２４０まで設定された８ビットの映像データ（入力データ）の各階調値が、所定の時間間隔（例えば、１ｍｓ）で、カメラ２から映像信号処理装置１１に入力される場合が示されている。このとき、パターン生成部４１は、乱数を利用して変動値０～１５（変動値データ）を順次生成し、これにより、加算器４２は、８ビットの映像データとその変動値を加算したデータを生成し、これを量子化器４３に対して出力する。また、量子化器４３は、加算器４２からの８ビットの映像データの階調値を、０～１５の階調値からなる４ビットの映像データに変換して順次出力する。 In FIG. 19, as a second operation example of the video signal processing device 11 according to the third embodiment, each gradation value of 8-bit video data (input data) set from 0 to 240 is displayed at predetermined time intervals ( For example, a case of inputting from the camera 2 to the video signal processing device 11 at 1 ms) is shown. At this time, the pattern generator 41 sequentially generates variation values 0 to 15 (variation value data) using random numbers, and the adder 42 adds the 8-bit video data and the variation value to the data. and outputs it to the quantizer 43 . Further, the quantizer 43 converts the gradation values of the 8-bit video data from the adder 42 into 4-bit video data consisting of gradation values of 0 to 15, and sequentially outputs the 4-bit video data.

変動値０に関し、８ビットの階調値２４０は、それに変動値０を加算した値を１６で除して求められる４ビットの階調値１５（ただし、１未満の数値が生じた場合には切り捨てる（以下同様））に変換され、８ビットの階調値２３９は、それに変動値０を加算した値を１６で除して求められる４ビットの階調値１４に変換され、それ以降も同様に、８ビットの階調値が４ビットの階調値に変換される。また、変動値１５に関し、映像データの８ビットの階調値（映像の輝度値）２４０は、それに変動値１５を加算した値を１６で除して求められる４ビットの階調値１５に変換され、８ビットの階調値２３９は、それに変動値１５を加算した値を１６で除して求められる４ビットの階調値１５に変換され、それ以降も同様に、８ビットの階調値が４ビットの階調値に変換される。また、他の変動値についても同様に、映像データの８ビットの階調値から４ビットの階調値１４に変換される。 Regarding the variation value 0, the 8-bit gradation value 240 is the 4-bit gradation value 15 obtained by adding the variation value 0 and dividing by 16 (however, if a value less than 1 occurs, The 8-bit gradation value 239 is converted to a 4-bit gradation value 14 obtained by adding a variation value of 0 to it and dividing it by 16, and so on. 8-bit gradation values are converted into 4-bit gradation values. Regarding the variation value 15, the 8-bit gradation value (video luminance value) 240 of the video data is converted to the 4-bit gradation value 15 by dividing the value obtained by adding the variation value 15 to it by 16. Then, the 8-bit gradation value 239 is converted to the 4-bit gradation value 15 obtained by adding the variation value 15 to it and dividing it by 16, and after that, similarly, the 8-bit gradation value is converted to a 4-bit gradation value. Similarly, other fluctuation values are also converted from 8-bit gradation values of video data to 4-bit gradation values 14 .

ここで、８ビットの階調値を「元の階調値」、４ビットの階調値を「変動階調値」と呼ぶものとする。或るフレームにおいて、例えば元の階調値１０１を出力する場合には、変動階調値６を１１回出力し、変動階調値７を５回出力する。即ち、１０１＝６×１１＋７×５となり、４ビット階調を出力するにもかかわらず、１６フレーム内において、変動階調値を必要に応じて変動させることにより、あたかも８ビット階調が表示されたように見せることができる。 Here, the 8-bit gradation value is called the "original gradation value", and the 4-bit gradation value is called the "varying gradation value". In a certain frame, for example, when outputting the original gradation value 101, the variable gradation value 6 is output 11 times and the variable gradation value 7 is output 5 times. That is, 101=6×11+7×5, and even though 4-bit gradation is output, it is possible to display 8-bit gradation by varying the variable gradation value as necessary within 16 frames. You can make it look like

このような構成により、第３実施形態に係る映像信号処理装置１１は、カメラ２から入力された映像データの階調を量子化により下げると共に、この量子化によって排除される情報を代替する変動値データとして反映させる構成としたため、比較的高いフレームレートを有する映像を伝送する場合に、表示映像の品質低下を抑制しつつ、映像の伝送量および演算量の増大を抑制することが可能となる。 With such a configuration, the video signal processing device 11 according to the third embodiment lowers the gradation of the video data input from the camera 2 by quantization, and also reduces the gradation of the video data that is eliminated by this quantization. Since the data is reflected as data, when transmitting a video having a relatively high frame rate, it is possible to suppress an increase in the amount of transmission of the video and the amount of calculation while suppressing deterioration in the quality of the displayed video.

以上、本開示を特定の実施の形態に基づいて説明したが、これらの実施の形態はあくまでも例示であって、本開示はこれらの実施の形態によって限定されるものではない。なお、上記実施の形態に示した本開示に係る映像信号処理装置、映像表示システム、及び映像信号処理方法の各構成要素は、必ずしも全てが必須ではなく、少なくとも本発明の範囲を逸脱しない限りにおいて適宜取捨選択することが可能である。 As described above, the present disclosure has been described based on specific embodiments, but these embodiments are merely examples, and the present disclosure is not limited by these embodiments. Note that each component of the video signal processing device, video display system, and video signal processing method according to the present disclosure shown in the above embodiments is not necessarily essential, and at least as long as it does not depart from the scope of the present invention. It is possible to select appropriately.

本開示に係る映像信号処理装置、映像表示システム、及び映像信号処理方法は、比較的高いフレームレートを有する映像（例えば、フレームレートが６０ｆｐｓを超える映像）を伝送する場合に、高いフレームレートを生かした低遅延の伝送を維持しつつ、表示映像の品質低下を抑制して、映像の伝送量および演算量の増大を抑制することを可能とし、比較的高いフレームレートを有する映像に好適な映像信号処理装置、映像表示システム、及び映像信号処理方法などとして有用である。 The video signal processing device, video display system, and video signal processing method according to the present disclosure utilize the high frame rate when transmitting video with a relatively high frame rate (for example, video with a frame rate exceeding 60 fps). A video signal suitable for video with a relatively high frame rate, capable of suppressing deterioration in the quality of displayed video and suppressing an increase in the amount of video transmission and computation while maintaining low-delay transmission. It is useful as a processing device, a video display system, a video signal processing method, and the like.

１：映像表示システム
２：カメラ（撮像装置）
３：伝送路
４：送信機
５：受信機
６：表示デバイス
１１：映像信号処理装置
１２：符号化器
１３：復号回路
２１：量子化器
２２：第１フレームメモリ（記憶部）
２３：差分計算器
２４：積分器
２５：第２フレームメモリ
２６：動き予測部
２７：第３フレームメモリ
２８：動き補償部
２９：復号化器
３１：量子化器
３２：第１フレームメモリ（記憶部）
３３：積分器
３４：差分計算器
３５：第２フレームメモリ
３６：動き予測部
３７：第３フレームメモリ
３８：動き補償部
３９：復号化器
４１：パターン生成部
４２：加算器
４３：量子化器
５１：逆量子化部 1: Video display system 2: Camera (imaging device)
3: Transmission line 4: Transmitter 5: Receiver 6: Display device 11: Video signal processing device 12: Encoder 13: Decoding circuit 21: Quantizer 22: First frame memory (storage unit)
23: difference calculator 24: integrator 25: second frame memory 26: motion prediction unit 27: third frame memory 28: motion compensation unit 29: decoder 31: quantizer 32: first frame memory (storage unit )
33: Integrator 34: Difference calculator 35: Second frame memory 36: Motion prediction unit 37: Third frame memory 38: Motion compensation unit 39: Decoder 41: Pattern generator 42: Adder 43: Quantizer 51: Inverse quantization unit

Claims

入力された第１のビット数を有する第１の映像データを量子化することにより、前記第１のビット数よりも小さいビット数を有する映像データとして出力する映像信号処理装置であって、
前記第１の映像データを量子化した量子化データを出力する量子化器と、
前記量子化器から出力される前記量子化データを記憶する記憶部と、
前記第１の映像データに続けて入力される第２の映像データと前記記憶部に記憶された量子化データとの差分を算出する差分計算器と、
前記差分計算器から出力される前記差分を積算した積分データを出力する積分器と、を備え、
さらに、前記積分器は前記第２の映像データの出力値と前記積分データの出力値とを加えた出力データを生成し、前記量子化器は前記第２の映像データが入力されると前記積分器が生成した出力データを量子化することを特徴とする映像信号処理装置。 A video signal processing device for outputting video data having a smaller number of bits than the first number of bits by quantizing input first video data having the first number of bits,
a quantizer that outputs quantized data obtained by quantizing the first video data;
a storage unit that stores the quantized data output from the quantizer;
a difference calculator for calculating a difference between second video data input following the first video data and quantized data stored in the storage unit;
an integrator that outputs integrated data obtained by integrating the differences output from the difference calculator;
Further, the integrator generates output data by adding the output value of the second video data and the output value of the integration data, and the quantizer receives the second video data and integrates the data. A video signal processing device characterized by quantizing output data generated by a device.

前記第１の映像データと前記第１の映像データ以前の映像データとの間で動きベクトルを算出する動き予測部と、
前記動きベクトルに基づき、前記積分器における前記積分データを補正する動き補償部と、
を更に備えたことを特徴とする請求項１に記載の映像信号処理装置。 a motion prediction unit that calculates a motion vector between the first video data and video data before the first video data;
a motion compensation unit that corrects the integrated data in the integrator based on the motion vector;
2. The video signal processing apparatus according to claim 1, further comprising:

前記量子化器から出力される前記量子化データを圧縮符号化する符号化器と、
前記符号化器から出力される前記量子化データを復号化する復号化器と、
を更に備え、
前記記憶部は、前記復号化器によって復号化された前記量子化データを順次記憶することを特徴とする請求項１に記載の映像信号処理装置。 an encoder that compresses and encodes the quantized data output from the quantizer;
a decoder for decoding the quantized data output from the encoder;
further comprising
2. The video signal processing apparatus according to claim 1, wherein the storage section sequentially stores the quantized data decoded by the decoder.

前記第１の映像データに関するフレームレートが、６０ｆｐｓよりも大きいことを特徴とする請求項１に記載の映像信号処理装置。 2. The video signal processing device according to claim 1, wherein a frame rate for said first video data is higher than 60 fps.

請求項１に記載の前記映像信号処理装置と、
前記第１のビット数を有する前記第１の映像データを生成する撮像装置と、
前記映像信号処理装置から出力された映像データを受信し、この受信した前記映像データを復号する復号回路と、
前記復号回路によって復号された映像データに基づく映像を表示する表示装置と、
を備えたことを特徴とする映像表示システム。 The video signal processing device according to claim 1;
an imaging device that generates the first video data having the first number of bits;
a decoding circuit that receives video data output from the video signal processing device and decodes the received video data;
a display device for displaying an image based on the image data decoded by the decoding circuit;
A video display system comprising:

入力された第１のビット数を有する第１の映像データを量子化することにより、前記第１のビット数よりも小さい第２のビット数を有する映像データとして出力する映像信号処理方法であって、
前記第１の映像データに基づく入力データを、前記第２のビット数を有する映像データに量子化および出力し、
前記第２のビット数を有する映像データに量子化された量子化データを記憶し、
前記第１の映像データに続けて入力される第２の映像データと前記記憶された量子化データとの差分を算出し、
前記差分を積算した積分データを生成および出力し、
前記第２の映像データの出力値と前記積分データの出力値とを加えた出力データを生成し、前記第２の映像データが入力されると前記第２の映像データの出力値と前記積分データの出力値とを加えた出力データを量子化することを特徴とする映像信号処理方法。 A video signal processing method for outputting video data having a second number of bits smaller than the first number of bits by quantizing input first video data having a first number of bits, ,
quantizing and outputting input data based on the first video data into video data having the second number of bits;
storing quantized data obtained by quantizing video data having the second number of bits;
calculating a difference between second video data that is input following the first video data and the stored quantized data;
generating and outputting integral data obtained by accumulating the difference;
output data is generated by adding the output value of the second video data and the output value of the integral data, and when the second video data is input, the output value of the second video data and the integral data are generated; A video signal processing method characterized by quantizing output data obtained by adding an output value of .