JP7324087B2

JP7324087B2 - Video decoder, video system, and program

Info

Publication number: JP7324087B2
Application number: JP2019149477A
Authority: JP
Inventors: 和博千田; 和久井口; 菊文神田
Original assignee: Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 2019-08-16
Filing date: 2019-08-16
Publication date: 2023-08-09
Anticipated expiration: 2039-08-16
Also published as: JP2021034766A

Description

本発明は、映像復号装置、映像システム、及びプログラムに関し、特に、符号化された映像の様々なフレーム周波数に対応可能な映像復号装置、映像システム、及びプログラムに関する。 The present invention relates to a video decoding device, a video system, and a program, and more particularly to a video decoding device, a video system, and a program that can support various frame frequencies of encoded video.

スーパーハイビジョン（４Ｋ，８Ｋ）放送の規格であるＡＲＩＢ（Association of Radio Industries and Business）ＳＴＤ－Ｂ３２（非特許文献１、以下、ＡＲＩＢ規格という。）には、映像・音声の符号化方式が記述されており、ＵＨＤＴＶ（Ultra High Definition Television）及び順次走査ＨＤＴＶ（High-definition television）の映像フォーマットには、フレーム周波数として、現行の５９．９４Ｈｚ（以下、６０Ｈｚと略す。）に加え、１１９．８８Ｈｚ（以下、１２０Ｈｚと略す。）が規定されている。 ARIB (Association of Radio Industries and Business) STD-B32 (Non-Patent Document 1, hereinafter referred to as the ARIB standard), which is a standard for Super Hi-Vision (4K, 8K) broadcasting, describes a video/audio coding method. The video format of UHDTV (Ultra High Definition Television) and progressive scanning HDTV (High-definition television) has a frame frequency of 119.88 Hz (hereinafter abbreviated as 60 Hz) in addition to the current 59.94 Hz (hereinafter abbreviated as 60 Hz). hereinafter abbreviated as 120 Hz).

ＡＲＩＢ規格では時間階層符号化の技術が導入されている。これにより将来１２０Ｈｚ放送が始まった際には、１２０Ｈｚ放送対応受信機では１２０Ｈｚ放送を、６０Ｈｚ放送専用受信機では１２０Ｈｚ放送の一部受信が可能となる。このとき６０Ｈｚ放送専用受信機は、１２０Ｈｚ放送の映像を２フレームに１フレーム間引いた映像を復号・表示することとなる。以降の説明では、１２０Ｈｚ放送時の６０Ｈｚ放送専用受信機で表示されるフレームをＥＶＥＮフレーム、間引かれて表示されないフレームをＯＤＤフレームとする。 The ARIB standard introduces a technique of temporal layered coding. As a result, when 120 Hz broadcasting starts in the future, receivers compatible with 120 Hz broadcasting will be able to receive 120 Hz broadcasting, and receivers dedicated to 60 Hz broadcasting will be able to receive part of 120 Hz broadcasting. At this time, the receiver dedicated to 60 Hz broadcast decodes and displays the image obtained by thinning out one frame out of two frames from the image of 120 Hz broadcast. In the following description, a frame displayed by a dedicated receiver for 60 Hz broadcast during 120 Hz broadcast is called an EVEN frame, and a frame that is thinned out and not displayed is called an ODD frame.

フレーム間引きによる表示では、通常ＥＶＥＮフレームのみをＥＶＥＮフレームとＯＤＤフレームの両期間表示するため、ストロボ効果（動きの不連続性）の影響による画質劣化（映像のジャダー等）が懸念される。これに対してアメリカの放送規格であるＡＴＳＣ（Advanced Television Systems Committee）Standards３．０では、ＡＴＳＣＡ／３４１：２０１９（非特許文献２）ＡｎｎｅｘＤにおいて、ストロボ効果による画質劣化の低減を狙ったフィルタリング手法が規定されている。このフィルタリング手法は、送信側でＥＶＥＮフレームに直前のＯＤＤフレームを加重平均した映像を、実際に送・受信するＥＶＥＮフレームとすることで、６０Ｈｚ放送専用受信機でのストロボ効果による画質劣化を低減し、１２０Ｈｚ放送対応受信機では復号映像から送信側で加重平均した直前ＯＤＤフレームの影響を減算し、元のＥＶＥＮフレーム及びＯＤＤフレームの映像に戻す、という処理が行われる。 In display by frame thinning, since only EVEN frames are normally displayed during both EVEN frame and ODD frame periods, image quality deterioration (video judder, etc.) due to the strobe effect (movement discontinuity) is a concern. On the other hand, in ATSC (Advanced Television Systems Committee) Standards 3.0, which is an American broadcasting standard, ATSC A/341:2019 (Non-Patent Document 2) Annex D, a filtering method aimed at reducing image quality deterioration due to strobe effects is stipulated. This filtering method reduces image quality deterioration due to the strobe effect in receivers dedicated to 60Hz broadcasts by using the weighted average of the video of the ODD frame immediately before the EVEN frame on the transmitting side as the EVEN frame that is actually sent/received. , the receiver for 120 Hz broadcasting subtracts the influence of the immediately preceding ODD frame obtained by weighted averaging on the transmitting side from the decoded video, and restores the video of the original EVEN frame and ODD frame.

ＡＲＩＢＳＴＤ－Ｂ３２３．１１版（第一分冊）、「デジタル放送における映像符号化、音声符号化及び多重化方式」ARIB STD-B32 Version 3.11 (Volume 1), "Video Coding, Audio Coding and Multiplexing Methods in Digital Broadcasting" ＡＴＳＣＡ／３４１：２０１９、“Ｖｉｄｅｏ－ＨＥＶＣ”ATSC A/341:2019, "Video-HEVC" 三浦，千田，市ヶ谷，神田，瀧口，西田、「ＨＦＲ（High Frame Rate）放送における後方互換性の検討」、電子情報通信学会総合大会（2019年）、情報・システム講演論文集２、Ｄ－１１－１Miura, Senda, Ichigaya, Kanda, Takiguchi, Nishida, ``Study of Backward Compatibility in HFR (High Frame Rate) Broadcasting'', The Institute of Electronics, Information and Communication Engineers General Conference (2019), Information and Systems Proceedings 2, D-11 -1

しかしながら、１２０Ｈｚ放送時の６０Ｈｚ放送専用受信機で表示される映像のストロボ効果については、ＡＴＳＣＡ／３４１：２０１９によるフィルタリング手法では有意な画質向上が認められず（非特許文献３）、フィルタリングにより制作者の意図と異なる映像が表示される可能性がある。また符号化ストリーム上に、加重平均した際のＥＶＥＮフレームに加算するＯＤＤフレームの割合を示すフラグを伝送する必要があることから、伝送情報が増加し、効率的ではない。 However, regarding the strobe effect of the video displayed on the receiver dedicated to 60 Hz broadcasting at 120 Hz broadcasting, no significant improvement in image quality was observed with the filtering method according to ATSC A/341:2019 (Non-Patent Document 3), and the production by filtering There is a possibility that an image different from the person's intention is displayed. In addition, since it is necessary to transmit a flag indicating the ratio of ODD frames to be added to EVEN frames in weighted averaging on the encoded stream, the amount of transmission information increases, which is not efficient.

また、近年の技術進歩により、表示モニターは、復号処理部で復号可能なフレーム周波数の２倍、４倍で制御されることも多い。例えば、６０Ｈｚの映像に対して超解像技術によってフレーム間の画像を作成し、１２０Ｈｚの映像を表示モニターに表示することができる。しかし、これらは６０Ｈｚ放送を前提に設計した制御がなされており、１２０Ｈｚ放送を前提とした制御はなされていない。１２０Ｈｚを間引いた６０Ｈｚ映像に対して超解像技術でフレーム間の画像を作成することは、映像制作者の意図しない画質劣化を招く可能性がある。 Further, due to recent technological advances, the display monitor is often controlled at twice or four times the frame frequency that can be decoded by the decoding processing unit. For example, an image between frames can be created for a 60 Hz video by super-resolution technology, and a 120 Hz video can be displayed on a display monitor. However, these are controlled on the premise of 60 Hz broadcasting, and are not controlled on the premise of 120 Hz broadcasting. Creating an image between frames using a super-resolution technique for a 60 Hz video that has been thinned out at 120 Hz may result in image quality deterioration unintended by the video creator.

これまでの研究によれば、各フレームの撮影時間と表示時間とを一致させると、映像が自然に見えることが分かっている。すなわち、１２０Ｈｚ放送のＥＶＥＮフレームのみを各フレーム期間で表示する場合は、ＯＤＤフレームの時間は黒画像表示することが望ましい。 According to previous studies, it has been found that matching the shooting time and display time of each frame makes the video look natural. That is, when only the EVEN frames of the 120 Hz broadcast are displayed in each frame period, it is desirable to display a black image during the ODD frame period.

したがって、６０Ｈｚ放送を復号した６０Ｈｚの映像信号と、１２０Ｈｚ放送を間引いて作成したＥＶＥＮフレームの映像信号とは、表示モニターにおいて異なる表示処理が必要となるが、現在の映像装置又は映像システムでは両者の映像信号を識別して対応することができない。 Therefore, the 60 Hz video signal obtained by decoding the 60 Hz broadcast and the EVEN frame video signal created by thinning out the 120 Hz broadcast require different display processing on the display monitor. It cannot identify and respond to video signals.

したがって、上記のような問題点に鑑みてなされた本発明の目的は、符号化ストリームの映像のフレーム周波数に応じて、表示モニターで適切な映像表示処理を可能とする、映像復号装置、映像システム、及びプログラムを提供することにある。 SUMMARY OF THE INVENTION Accordingly, an object of the present invention, which has been made in view of the above problems, is to provide a video decoding device and a video system that enable appropriate video display processing on a display monitor according to the frame frequency of video in an encoded stream. , and to provide a program.

上記課題を解決するために本発明に係る映像復号装置は、符号化ストリームの映像のフレーム周波数に応じた表示制御信号を生成する符号化ストリーム解析部と、前記符号化ストリームを復号して映像信号を生成する復号処理部とを備え、前記表示制御信号は、前記復号処理部が復号可能なフレーム周波数の最大値を、前記符号化ストリームのフレーム周波数で除した、表示時間開口率を表す信号であることを特徴とする。 In order to solve the above problems, a video decoding apparatus according to the present invention includes a coded stream analysis unit that generates a display control signal corresponding to a frame frequency of a video of a coded stream, and a video signal that decodes the coded stream. and the display control signal is a signal representing the display time aperture ratio obtained by dividing the maximum value of the frame frequency that can be decoded by the decoding processing unit by the frame frequency of the encoded stream. characterized by being

また、前記映像復号装置は、さらに、前記映像信号を表示する表示部を備え、前記表示部は、前記表示制御信号に基づいて１フレームの表示時間を制御することが望ましい。 Moreover, it is preferable that the video decoding device further includes a display section for displaying the video signal, and the display section controls the display time of one frame based on the display control signal.

また、前記映像復号装置は、前記符号化ストリームを放送信号として受信する、放送受信機であることが望ましい。 Also, the video decoding device is preferably a broadcast receiver that receives the encoded stream as a broadcast signal.

上記課題を解決するために本発明に係る映像システムは、映像復号装置と表示装置とを備えた映像システムであって、前記映像復号装置は、符号化ストリームの映像のフレーム周波数に応じた表示制御信号を生成する符号化ストリーム解析部と、前記符号化ストリームを復号して映像信号を生成する復号処理部とを備え、前記表示制御信号は、前記復号処理部が復号可能なフレーム周波数の最大値を、前記符号化ストリームのフレーム周波数で除した、表示時間開口率を表す信号であり、前記表示装置は、前記映像信号を表示するとともに、前記表示制御信号に基づいて１フレームの表示時間を制御することを特徴とする。 In order to solve the above problems, a video system according to the present invention includes a video decoding device and a display device, wherein the video decoding device controls display according to a frame frequency of video of an encoded stream. a coded stream analysis unit that generates a signal; and a decoding processing unit that decodes the coded stream to generate a video signal. is divided by the frame frequency of the encoded stream, and the display device displays the video signal and controls the display time of one frame based on the display control signal. characterized by

上記課題を解決するために本発明に係るプログラムは、コンピュータを、上記の映像復号装置として機能させることを特徴とする。 In order to solve the above problems, a program according to the present invention causes a computer to function as the above video decoding device.

本発明における映像復号装置、映像システム、及びプログラムによれば、符号化ストリームの映像信号のフレーム周波数に応じて、表示モニターで適切な映像表示処理をすることができる。 According to the video decoding device, video system, and program of the present invention, appropriate video display processing can be performed on the display monitor according to the frame frequency of the video signal of the encoded stream.

一実施形態の映像復号装置の機能ブロック図の例である。1 is an example of a functional block diagram of a video decoding device according to an embodiment; FIG. フレーム周波数判定部の動作を示すフローチャートの例である。It is an example of a flow chart showing the operation of a frame frequency determination unit. 表示部又は表示装置の動作を示すフローチャートの例である。It is an example of a flow chart showing the operation of a display unit or a display device. 他の実施形態の映像システムの機能ブロック図の例である。It is an example of a functional block diagram of a video system of another embodiment. 実施例のフレーム周波数判定部の動作を示すフローチャートの例である。It is an example of the flowchart which shows operation|movement of the frame frequency determination part of an Example.

本発明では、映像を符号化する符号化装置（送信側）では、特別な処理は行わず、通常の符号化アルゴリズムを適用して符号化ストリームを作成する。そして、映像復号装置（受信側）において、符号化ストリームに基づいて、映像のフレーム周波数に応じた表示処理を行う。なお、符号化ストリームは、映像のフレーム周波数等の情報を一種のメタデータとして備えている。以下、本発明の実施の形態について説明する。 In the present invention, an encoding device (transmitting side) that encodes video does not perform special processing, but applies a normal encoding algorithm to create an encoded stream. Then, the video decoding device (receiving side) performs display processing corresponding to the video frame frequency based on the encoded stream. Note that the encoded stream includes information such as the frame frequency of video as a kind of metadata. BEST MODE FOR CARRYING OUT THE INVENTION Embodiments of the present invention will be described below.

（実施の形態）
図１に、一実施形態の映像復号装置の機能ブロック図の例を示す。映像復号装置１００は、符号化ストリーム解析部１０と、復号処理部２０とを備えている。また、映像復号装置１００は、さらに、表示部３０を備えていてもよい。 (Embodiment)
FIG. 1 shows an example of a functional block diagram of a video decoding device according to one embodiment. The video decoding device 100 includes an encoded stream analysis section 10 and a decoding processing section 20 . Moreover, the video decoding device 100 may further include a display unit 30 .

符号化ストリーム解析部１０は、入力された符号化ストリームを解析し、復号すべき符号化ストリーム部分を抽出するとともに、符号化ストリームの復号処理に必要な情報、例えば、符号化ストリームの種類（音声か映像か等）、符号化圧縮方法、符号化のパラメータ、等を解析して、復号処理部２０に出力する。 The coded stream analysis unit 10 analyzes the input coded stream, extracts the coded stream part to be decoded, and obtains information necessary for the decoding process of the coded stream, such as the type of the coded stream (audio or video), encoding compression method, encoding parameters, etc., and output to the decoding processing unit 20 .

符号化ストリーム解析部１０は、さらにフレーム周波数判定部１１を内部に備えている。フレーム周波数判定部１１は、符号化ストリーム中の映像のフレーム周波数を示すフラグを確認し、符号化ストリームのフレーム周波数が、復号処理部２０の復号可能なフレーム周波数の最大値より高いフレーム周波数であった場合は、次式（１）から導出される表示時間開口率を示す制御信号（表示制御信号と言うことがある。）を生成する。なお、表示時間開口率は、表示部３０において、１フレーム期間の内、画像を表示する時間の割合に相当する。 The encoded stream analysis unit 10 further includes a frame frequency determination unit 11 inside. The frame frequency determination unit 11 checks the flag indicating the frame frequency of the video in the encoded stream, and determines whether the frame frequency of the encoded stream is higher than the maximum frame frequency that can be decoded by the decoding processing unit 20. In this case, a control signal (sometimes referred to as a display control signal) indicating the display time aperture ratio derived from the following equation (1) is generated. It should be noted that the display time aperture ratio corresponds to the proportion of time during which an image is displayed in one frame period in the display section 30 .

そして、フレーム周波数判定部１１（又は、符号化ストリーム解析部１０）は、この表示時間開口率を示す制御信号（表示制御信号）を、表示部３０に伝送する。 The frame frequency determination unit 11 (or the encoded stream analysis unit 10 ) then transmits a control signal (display control signal) indicating this display time aperture ratio to the display unit 30 .

通常、フレーム周波数の種類は規格等で限定されており、したがって、表示時間開口率の数値の種類も限られることから、制御信号においては、表示時間開口率の数値をそのまま伝送するよりも、表示時間開口率に対応したフラグを用いて伝送することが効率的である。 Normally, the types of frame frequencies are limited by standards, etc., and therefore the types of display time aperture ratio numerical values are also limited. It is efficient to use flags corresponding to temporal aperture ratios for transmission.

例えば、可能性のある表示時間開口率として、０．２５，０．５，０．７５，１．０の４種類を用意し、表示時間開口率を示す制御信号を、用意した４種類の信号から選択することとしてもよい。このとき、例えば、表１のように、制御信号を２桁の二進数からなるフラグとして設定することができる。 For example, four possible display time aperture ratios, 0.25, 0.5, 0.75, and 1.0, are prepared, and the control signal indicating the display time aperture ratio is the prepared four signals. may be selected from. At this time, for example, as shown in Table 1, the control signal can be set as a flag consisting of a two-digit binary number.

図２は、フレーム周波数判定部１１の動作を示すフローチャートの例である。以下、各ステップについて説明する。 FIG. 2 is an example of a flowchart showing the operation of the frame frequency determination unit 11. As shown in FIG. Each step will be described below.

ステップＳ１１：フレーム周波数判定部１１は、まず、符号化ストリームを受信する。符号化ストリームは、例えば、テレビジョン放送信号を復調した映像ストリームを含む符号化ストリームである。 Step S11: The frame frequency determination unit 11 first receives an encoded stream. An encoded stream is, for example, an encoded stream containing a video stream obtained by demodulating a television broadcast signal.

ステップＳ１２：符号化ストリーム中のフラグに基づいて映像データのフレーム周波数を取得し、符号化ストリーム（映像ストリーム）のフレーム周波数と、復号処理部２０の復号可能なフレーム周波数の最大値とを比較する。符号化ストリームのフレーム周波数が復号処理部２０の復号可能なフレーム周波数の最大値（復号レート）より高い場合は、ステップＳ１３へ進み、符号化ストリーム中のフレーム周波数が復号処理部２０の復号可能なフレーム周波数の最大値と同じ場合（又は以下の場合）は、ステップＳ１４へ進む。 Step S12: Acquire the frame frequency of the video data based on the flag in the encoded stream, and compare the frame frequency of the encoded stream (video stream) with the maximum decodable frame frequency of the decoding processing unit 20. . If the frame frequency of the encoded stream is higher than the maximum value (decoding rate) of the frame frequency that can be decoded by the decoding processing unit 20, the process proceeds to step S13, where the frame frequency in the encoded stream is higher than the decoding processing unit 20 can decode. If it is the same as the maximum value of the frame frequency (or less than), the process proceeds to step S14.

ステップＳ１３：式（１）に基づいて、表示時間開口率を算出し、算出された表示時間開口率を示す制御信号を生成する。そして、制御信号を表示部（表示モニター）３０に伝送する。その後、処理を終了する。 Step S13: Calculate the display time aperture ratio based on the equation (1), and generate a control signal indicating the calculated display time aperture ratio. Then, the control signal is transmitted to the display section (display monitor) 30 . After that, the process ends.

ステップＳ１４：フレーム周波数判定部１１は、表示部３０に通常の表示処理を行わせる。ここで、表示部３０に通常の表示処理を行わせるためには、フレーム周波数判定部１１は、特段の処理（信号出力）を行うことなく、処理を終了してもよい。或いは、符号化ストリームのフレーム周波数が復号処理部２０の復号可能なフレーム周波数以下であるから、式（１）に基づいて、表示時間開口率を「１．０」（１フレーム期間の全てで画像を表示）とする制御信号を、表示部３０に伝送してもよい。表示部３０にとって、表示時間開口率を「１．０」とすることは通常の表示処理である。その後、処理を終了する。 Step S14: The frame frequency determination section 11 causes the display section 30 to perform normal display processing. Here, in order to cause the display unit 30 to perform normal display processing, the frame frequency determination unit 11 may terminate the processing without performing any special processing (signal output). Alternatively, since the frame frequency of the encoded stream is equal to or lower than the decodable frame frequency of the decoding processing unit 20, the display time aperture ratio is set to "1.0" (image ) may be transmitted to the display unit 30 . For the display unit 30, setting the display time aperture ratio to "1.0" is normal display processing. After that, the process ends.

以上のとおり、フレーム周波数判定部１１は動作する。なお、ここでは「フレーム周波数判定部」を一つの機能ブロックとして説明したが、符号化ストリーム解析部１０の中に、符号化ストリームのフレーム周波数を判定し、制御信号を出力する機能があればよい。 As described above, the frame frequency determination unit 11 operates. Although the "frame frequency determination unit" has been described here as one functional block, it is sufficient if the encoded stream analysis unit 10 has a function of determining the frame frequency of the encoded stream and outputting a control signal. .

次に、復号処理部２０は、符号化ストリーム解析部１０から入力された符号化ストリーム及び復号処理に必要な情報に基づいて、符号化ストリームの復号処理を行う。復号された映像信号を表示部３０に出力する。 Next, the decoding processing unit 20 decodes the coded stream based on the coded stream input from the coded stream analysis unit 10 and the information necessary for the decoding processing. The decoded video signal is output to the display section 30 .

表示部３０は、フレーム周波数判定部１１（符号化ストリーム解析部１０）から入力された制御信号に基づいて、復号処理部２０から入力された映像信号を表示する。 The display unit 30 displays the video signal input from the decoding processing unit 20 based on the control signal input from the frame frequency determination unit 11 (encoded stream analysis unit 10).

図３は、表示部３０の動作のフローチャートの例である。以下、各ステップについて説明する。 FIG. 3 is an example of a flowchart of the operation of the display unit 30. As shown in FIG. Each step will be described below.

ステップＳ２１：表示部３０は、復号処理部２０で復号された映像信号を受信（入力）する。 Step S<b>21 : The display unit 30 receives (inputs) the video signal decoded by the decoding processing unit 20 .

ステップＳ２２：フレーム周波数判定部１１（符号化ストリーム解析部１０）からの制御信号の有無を判断する。制御信号がある場合はステップＳ２３に進み、制御信号がない場合はステップＳ２４に進む。 Step S22: Determine whether there is a control signal from the frame frequency determination unit 11 (encoded stream analysis unit 10). If there is a control signal, the process proceeds to step S23, and if there is no control signal, the process proceeds to step S24.

ステップＳ２３：表示部３０は、制御信号に含まれる表示時間開口率の情報（フラグで伝送された表示時間開口率）に基づいて、表示モニターを制御して、映像信号を表示する。具体的には、各フレーム期間において、映像信号の１フレームの画像を、通常の１フレーム期間に表示時間開口率を乗算した期間（開口時間）だけ表示し、残りの期間（非開口時間）は、黒画面表示とする。 Step S23: The display unit 30 controls the display monitor based on the display time aperture ratio information (the display time aperture ratio transmitted by the flag) included in the control signal to display the video signal. Specifically, in each frame period, an image of one frame of the video signal is displayed for a period (opening time) obtained by multiplying the normal one frame period by the display time aperture ratio, and the remaining period (non-opening time) is , a black screen is displayed.

ステップＳ２４：制御信号が無い場合は、通常の表示処理で映像信号を表示する。すなわち、映像信号の１フレームの画像を１フレーム期間中、表示する。 Step S24: When there is no control signal, the video signal is displayed by normal display processing. That is, one frame image of the video signal is displayed during one frame period.

このように、制御信号に基づく表示処理を行った後に、表示部３０は処理を終了する。 After performing the display processing based on the control signal in this manner, the display unit 30 ends the processing.

図４に、他の実施形態の映像システムの機能ブロック図の例を示す。映像システム２００は、映像復号装置１０１と、表示装置１０２とを備えている。また、映像復号装置１０１は、符号化ストリーム解析部１０と、復号処理部２０とを備えている。すなわち、本実施形態の映像システム２００は、復号処理部２０と表示装置（表示部）１０２とが別体として構成されている。図１と同じ機能ブロックについては、説明を簡略化する。 FIG. 4 shows an example of a functional block diagram of a video system according to another embodiment. A video system 200 includes a video decoding device 101 and a display device 102 . The video decoding device 101 also includes an encoded stream analysis unit 10 and a decoding processing unit 20 . That is, the video system 200 of the present embodiment is configured such that the decoding processing section 20 and the display device (display section) 102 are separate bodies. Description of the same functional blocks as in FIG. 1 will be simplified.

符号化ストリーム解析部１０は、入力された符号化ストリームを解析し、復号すべき符号化ストリーム部分と、復号処理に必要な情報を、復号処理部２０に出力する。 The encoded stream analysis unit 10 analyzes the input encoded stream and outputs the encoded stream portion to be decoded and information required for decoding processing to the decoding processing unit 20 .

符号化ストリーム解析部１０は、さらにフレーム周波数判定部１１を内部に備えている。フレーム周波数判定部１１は、符号化ストリーム中のフレーム周波数と、復号処理部２０の復号可能なフレーム周波数とに基づいて、式（１）から導出される表示時間開口率を示す制御信号を生成し、この表示時間開口率を示す制御信号を、表示装置１０２に伝送する。 The encoded stream analysis unit 10 further includes a frame frequency determination unit 11 inside. The frame frequency determination unit 11 generates a control signal indicating the display time aperture ratio derived from equation (1) based on the frame frequency in the encoded stream and the frame frequency that can be decoded by the decoding processing unit 20. , transmits a control signal indicating this display time aperture ratio to the display device 102 .

復号処理部２０は、符号化ストリーム解析部１０から入力された符号化ストリーム及び復号処理に必要な情報に基づいて、符号化ストリームの復号処理を行う。復号された映像信号を表示装置１０２に伝送する。 The decoding processing unit 20 decodes the encoded stream based on the encoded stream input from the encoded stream analysis unit 10 and information necessary for the decoding process. The decoded video signal is transmitted to the display device 102 .

本システムのように、映像復号装置１０１が表示部を備えていない場合（表示部一体型ではない場合）は、復号処理部２０から出力する映像信号に、フレーム周波数判定部１１から出力する制御信号（表示時間開口率を示すフラグ）を重畳して、同じ伝送路で伝送することが望ましい。なお、必要に応じて、映像信号と制御信号をそれぞれ別の伝送路で伝送することもできる。 When the video decoding device 101 does not have a display unit (not integrated with a display unit) as in this system, the control signal output from the frame frequency determination unit 11 is added to the video signal output from the decoding processing unit 20. (Flag indicating display time aperture ratio) is preferably superimposed and transmitted through the same transmission path. It should be noted that the video signal and the control signal can be transmitted through separate transmission paths, respectively, as required.

表示装置１０２は、受け取った制御信号に基づいて、フラグの表す表示時間開口率に応じて表示モニターを制御し、映像復号装置１０１（復号処理部２０）から入力された映像信号を表示する。表示装置１０２の処理は、図３のフローチャートに示される表示部３０の処理と同じである。 The display device 102 controls the display monitor according to the display time aperture ratio indicated by the flag based on the received control signal, and displays the video signal input from the video decoding device 101 (decoding processing unit 20). The processing of the display device 102 is the same as the processing of the display section 30 shown in the flowchart of FIG.

いずれの実施形態においても、本発明によれば、符号化ストリームのフレーム周波数と復号処理部の復号可能なフレーム周波数が異なる場合であっても、表示される映像でのストロボ効果を危惧したフィルタリング処理が必要なく、制作意図とは異なる映像が表示されることはない。また符号化ストリームで必ず伝送されるフレーム周波数の情報のみを使用することから、処理が効率的である。さらに表示モニターの制御が１２０Ｈｚ放送を前提とした方法となること、撮影時の開口時間と表示時間が同一になることで総合的な画質が向上する。 In any of the embodiments, according to the present invention, even if the frame frequency of the encoded stream and the frame frequency that can be decoded by the decoding processing unit are different, the filtering process is carried out with fear of the strobe effect in the displayed video. is not required, and images that are different from the production intention are not displayed. In addition, since only frame frequency information that is always transmitted in the encoded stream is used, processing is efficient. Further, the control of the display monitor is based on the premise of 120 Hz broadcasting, and the opening time and the display time at the time of photographing are the same, thereby improving the overall image quality.

次に、ＡＲＩＢ規格の４Ｋ，８Ｋ放送を、６０Ｈｚ放送専用受信機で受信する実施例を説明する。 Next, an embodiment in which ARIB standard 4K and 8K broadcasts are received by a receiver dedicated to 60 Hz broadcasts will be described.

符号化ストリームの映像のフレーム周波数は１２０Ｈｚ、放送受信機は、図１の映像復号装置１００と同等の構成を備えており、表示モニター一体型の６０Ｈｚ放送専用受信機（復号処理部２０の復号可能フレーム周波数６０Ｈｚ）とする。表示モニター（表示部３０）は、１２０Ｈｚ以上での駆動が可能であり、制御信号によってフレームの表示時間を制御可能なものとする。ここでは、多重化方式がＭＰＥＧ-２ＴＳ（トランスポートストリーム）の場合を想定するが、ＭＭＴ（MPEG Media Transport）でも同等の実施が可能である。 The frame frequency of the video of the encoded stream is 120 Hz, the broadcast receiver has the same configuration as the video decoding device 100 in FIG. frame frequency 60 Hz). The display monitor (display unit 30) is capable of being driven at 120 Hz or more, and is capable of controlling the frame display time by a control signal. Here, it is assumed that the multiplexing method is MPEG-2 TS (transport stream), but MMT (MPEG Media Transport) can be used in the same way.

受信機は、符号化ストリーム解析部１０とその内部にフレーム周波数判定部１１を持つ。本実施例における、フレーム周波数判定部１１の動作を図５のフローチャートに示す。図５のフローチャートは、図２のフローチャートをＭＰＥＧ-２ＴＳの多重化方式に対応させて、処理ステップを具体的に記載したものである。 The receiver has a coded stream analysis unit 10 and a frame frequency determination unit 11 therein. The operation of the frame frequency determination unit 11 in this embodiment is shown in the flow chart of FIG. The flowchart of FIG. 5 specifically describes the processing steps of the flowchart of FIG. 2 in correspondence with the MPEG-2 TS multiplexing method.

ステップＳ１１：フレーム周波数判定部１１は、まず、符号化ストリームを受信する。 Step S11: The frame frequency determination unit 11 first receives an encoded stream.

ステップＳ１２１：フレーム周波数判定部１１は、符号化ストリームを解析し、Hierarchy descriptorが付与されているか否か判定する。付与されている場合はステップＳ１２２に進み、付与されていない場合はステップＳ１４に進む。 Step S121: The frame frequency determination unit 11 analyzes the encoded stream and determines whether or not Hierarchy descriptor is added. If it has been given, the process proceeds to step S122, and if it has not been given, the process proceeds to step S14.

ステップＳ１２２：Hierarchy descriptorが付与されている場合は、さらに映像コンポーネント記述子（Video_Component_Descriptor）中の、video_frame_rateを確認し、この値が、１０又は１１である場合は、１２０Ｈｚ放送であると判定し、ステップＳ１３に進む。異なる値である場合はステップＳ１４に進む。 Step S122: If the Hierarchy descriptor is given, further check the video_frame_rate in the video component descriptor (Video_Component_Descriptor), and if this value is 10 or 11, determine that it is a 120 Hz broadcast, and step Proceed to S13. If they are different values, the process proceeds to step S14.

なお、多重化方式がＭＰＥＧ-２ＴＳの場合、ＡＲＩＢ規格では、１２０Ｈｚ放送時はHierarchy descriptor (descriptor_tag = 4)を必ず付与し、６０Ｈｚ放送では付与しない、と規定されているため、Hierarchy descriptorが付与されている場合は１２０Ｈｚ放送、付与されていない場合は、６０Ｈｚ放送と判定し、ステップＳ１２２のvideo_frame_rateの確認を省略してもよい。 If the multiplexing method is MPEG-2 TS, the ARIB standard stipulates that a Hierarchy descriptor (descriptor_tag = 4) must be assigned for 120Hz broadcasting, and not assigned for 60Hz broadcasting, so a Hierarchy descriptor is assigned. If it is, it is determined to be 120 Hz broadcasting, and if not, it is determined to be 60 Hz broadcasting, and the confirmation of video_frame_rate in step S122 may be omitted.

ステップＳ１３：式（１）に基づいて、表示時間開口率を算出し、算出された表示時間開口率を示す制御信号を生成する。本実施例の場合、符号化ストリームのフレーム周波数は１２０Ｈｚ、受信機が対応する復号可能なフレーム周波数の最大値は６０Ｈｚであるから、表示時間開口率は０．５となる。そして、制御信号（例えば、表１のフラグ「０１」）を表示部３０に伝送する。その後、処理を終了する。 Step S13: Calculate the display time aperture ratio based on the equation (1), and generate a control signal indicating the calculated display time aperture ratio. In this embodiment, the frame frequency of the encoded stream is 120 Hz, and the maximum decodable frame frequency supported by the receiver is 60 Hz, so the display time aperture ratio is 0.5. Then, it transmits a control signal (for example, flag “01” in Table 1) to the display unit 30 . After that, the process ends.

ステップＳ１４：フレーム周波数判定部１１は、表示部（表示モニター）３０に通常の表示処理を行わせる。すなわち、特段の処理（信号出力）を行うことなく、処理を終了するか、或いは、式（１）に基づいて、表示時間開口率を１．０とする制御信号を、表示部３０に伝送する。ただし、本実施例ではフレーム周波数が１２０Ｈｚであるので、このステップＳ１４は実行しない。 Step S14: The frame frequency determination unit 11 causes the display unit (display monitor) 30 to perform normal display processing. That is, the processing is terminated without performing any special processing (signal output), or a control signal for setting the display time aperture ratio to 1.0 is transmitted to the display unit 30 based on Equation (1). . However, since the frame frequency is 120 Hz in this embodiment, this step S14 is not executed.

続いて、表示部３０は、復号処理部２０で復号された映像信号を図３に示すフローチャートに基づいて表示する。本実施例では、表示時間開口率（０．５）を表す制御信号があるから、表示モニターの表示時間開口率を０．５として表示する。すなわち、復号された１フレームの画像を１フレームの１／２の期間表示し、残りの１／２の期間は黒画像を表示する。 Subsequently, the display unit 30 displays the video signal decoded by the decoding processing unit 20 based on the flowchart shown in FIG. In this embodiment, since there is a control signal representing the display time aperture ratio (0.5), the display time aperture ratio of the display monitor is displayed as 0.5. That is, the decoded image of one frame is displayed for half the period of one frame, and the black image is displayed for the remaining half period.

このように本実施例によれば、フレーム周波数１２０Ｈｚの映像ストリームを、６０Ｈｚ放送専用受信機で受信した場合であっても、映像の撮影時の開口時間と表示時間が一致するため、総合的な画質を向上させることができる。 As described above, according to the present embodiment, even when a video stream having a frame frequency of 120 Hz is received by a receiver dedicated to 60 Hz broadcasting, the opening time and the display time at the time of video shooting match. Image quality can be improved.

上記の実施の形態では、映像復号装置１００，１０１の構成と動作について説明したが、本発明はこれに限らず、符号化ストリームを復号するとともに、符号化ストリームのフレーム周波数に応じた表示制御信号を生成する方法として構成されてもよい。 Although the configurations and operations of the video decoding devices 100 and 101 have been described in the above embodiments, the present invention is not limited to this, and decodes an encoded stream and generates a display control signal corresponding to the frame frequency of the encoded stream. may be configured as a method of generating

なお、上述した映像復号装置１００，１０１として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、映像復号装置１００の各機能を実現する処理内容を記述したプログラムを該コンピュータの記憶部に格納しておき、該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。なお、このプログラムは、コンピュータ読取り可能な記録媒体に記録可能である。 A computer can be preferably used to function as the video decoding devices 100 and 101 described above. It can be realized by storing the program in a storage unit and reading and executing the program by the CPU of the computer. This program can be recorded on a computer-readable recording medium.

上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、実施形態に記載の複数の構成ブロックを１つに組み合わせたり、あるいは１つの構成ブロックを分割したりすることが可能である。 Although the above embodiments have been described as representative examples, it will be apparent to those skilled in the art that many modifications and substitutions may be made within the spirit and scope of the invention. Therefore, the present invention should not be construed as limited by the embodiments described above, and various modifications and changes are possible without departing from the scope of the appended claims. For example, it is possible to combine a plurality of configuration blocks described in the embodiments into one or divide one configuration block.

１０符号化ストリーム解析部
１１フレーム周波数判定部
２０復号処理部
３０表示部
１００，１０１映像復号装置
１０２表示装置
２００映像システム
10 encoded stream analysis unit 11 frame frequency determination unit 20 decoding processing unit 30 display units 100 and 101 video decoding device 102 display device 200 video system

Claims

符号化ストリームの映像のフレーム周波数に応じた表示制御信号を生成する符号化ストリーム解析部と、
前記符号化ストリームを復号して映像信号を生成する復号処理部と
を備え、
前記表示制御信号は、前記復号処理部が復号可能なフレーム周波数の最大値を、前記符号化ストリームのフレーム周波数で除した、表示時間開口率を表す信号である、
映像復号装置。 an encoded stream analysis unit that generates a display control signal according to the frame frequency of the video of the encoded stream;
a decoding processing unit that decodes the encoded stream to generate a video signal;
The display control signal is a signal representing a display time aperture ratio obtained by dividing the maximum value of the frame frequency that can be decoded by the decoding processing unit by the frame frequency of the encoded stream.
Video decoder.

請求項１に記載の映像復号装置において、
さらに、前記映像信号を表示する表示部を備え、
前記表示部は、前記表示制御信号に基づいて１フレームの表示時間を制御する、映像復号装置。 The video decoding device according to claim 1,
Furthermore, a display unit for displaying the video signal is provided,
The video decoding device, wherein the display unit controls the display time of one frame based on the display control signal.

請求項１または２に記載の映像復号装置において、
前記符号化ストリームを放送信号として受信する、放送受信機である映像復号装置。 The video decoding device according to claim 1 or 2,
A video decoding device, which is a broadcast receiver, for receiving the encoded stream as a broadcast signal.

映像復号装置と表示装置とを備えた映像システムであって、
前記映像復号装置は、符号化ストリームの映像のフレーム周波数に応じた表示制御信号を生成する符号化ストリーム解析部と、前記符号化ストリームを復号して映像信号を生成する復号処理部とを備え、
前記表示制御信号は、前記復号処理部が復号可能なフレーム周波数の最大値を、前記符号化ストリームのフレーム周波数で除した、表示時間開口率を表す信号であり、
前記表示装置は、前記映像信号を表示するとともに、前記表示制御信号に基づいて１フレームの表示時間を制御する、
映像システム。 A video system comprising a video decoding device and a display device,
The video decoding device includes a coded stream analysis unit that generates a display control signal according to the frame frequency of the video of the coded stream, and a decoding processing unit that decodes the coded stream to generate a video signal,
The display control signal is a signal representing a display time aperture ratio obtained by dividing the maximum value of the frame frequency that can be decoded by the decoding processing unit by the frame frequency of the encoded stream,
The display device displays the video signal and controls the display time of one frame based on the display control signal.
video system.

コンピュータを、請求項１乃至３のいずれか一項に記載の映像復号装置として機能させる、プログラム。
A program that causes a computer to function as the video decoding device according to any one of claims 1 to 3.