JP2016526312A - Dithering for chroma subsampled image formats - Google Patents

Dithering for chroma subsampled image formats Download PDF

Info

Publication number
JP2016526312A
JP2016526312A JP2016511744A JP2016511744A JP2016526312A JP 2016526312 A JP2016526312 A JP 2016526312A JP 2016511744 A JP2016511744 A JP 2016511744A JP 2016511744 A JP2016511744 A JP 2016511744A JP 2016526312 A JP2016526312 A JP 2016526312A
Authority
JP
Japan
Prior art keywords
noise
component
image
bit depth
generating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016511744A
Other languages
Japanese (ja)
Other versions
JP6220960B2 (en
Inventor
スコット ダリー，
スコット ダリー，
ボンスン リー，
ボンスン リー，
Original Assignee
ドルビー ラボラトリーズ ライセンシング コーポレイション
ドルビー ラボラトリーズ ライセンシング コーポレイション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ドルビー ラボラトリーズ ライセンシング コーポレイション, ドルビー ラボラトリーズ ライセンシング コーポレイション filed Critical ドルビー ラボラトリーズ ライセンシング コーポレイション
Publication of JP2016526312A publication Critical patent/JP2016526312A/en
Application granted granted Critical
Publication of JP6220960B2 publication Critical patent/JP6220960B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/2003—Display of colours
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/2007—Display of intermediate tones
    • G09G3/2044—Display of intermediate tones using dithering
    • G09G3/2048—Display of intermediate tones using dithering with addition of random noise to an image signal or to a gradation threshold
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G09G5/026—Control of mixing and/or overlay of colours in general
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10—Intensity circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/64—Systems for the transmission or the storage of the colour picture signal; Details therefor, e.g. coding or decoding means therefor
    • H04N1/646—Transmitting or storing colour television type signals, e.g. PAL, Lab; Their conversion into additive or subtractive colour signals or vice versa therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/68—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/02—Handling of images in compressed format, e.g. JPEG, MPEG
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/06—Colour space transformation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Color Television Systems (AREA)
  • Processing Of Color Television Signals (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)

Abstract

画像のディザリング技術を本明細書に記載する。第１のビット深度の入力画像をルマ成分および１つ以上のクロマ成分に分解する。人間の視覚システム（ＨＶＳ）の光学伝達関数（ＯＴＦ）のモデルを用いてディザノイズを生成し、このディザノイズを入力画像のクロマ成分に付加する。このＯＴＦのモデルは、クロマ成分の空間解像度に基づいて決定される視聴距離に応じて適応化される。オリジナルの入力ルマ成分およびノイズ修飾されたクロマ成分に基づく画像を、第１のビット深度よりも低い第２のビット深度に量子化し、これにより、出力ディザリング済み画像を生成する。【選択図】図２ＡImage dithering techniques are described herein. The first bit depth input image is decomposed into a luma component and one or more chroma components. Dither noise is generated using a model of the human visual system (HVS) optical transfer function (OTF), and the dither noise is added to the chroma component of the input image. This OTF model is adapted according to the viewing distance determined based on the spatial resolution of the chroma component. An image based on the original input luma component and the noise-modified chroma component is quantized to a second bit depth that is lower than the first bit depth, thereby producing an output dithered image. [Selection] Figure 2A

Description

関連出願Related applications

本願は、２０１３年４月２９日出願の米国仮出願第６１／８１７，２２２号、および、２０１３年６月４日出願の米国仮出願第６１／８３０，８０６号に基づく優先権を主張するものであり、これらの両方の出願の全体を本願に援用する。   This application claims priority based on US Provisional Application No. 61 / 817,222 filed Apr. 29, 2013 and US Provisional Application No. 61 / 830,806 filed Jun. 4, 2013. And both of these applications are incorporated herein in their entirety.

本発明は、広く画像に関する。より具体的には、本発明のある実施形態は、クロマサブサンプリングされたフォーマットで表現された画像のディザリングに関する。   The present invention relates generally to images. More specifically, certain embodiments of the invention relate to dithering an image represented in a chroma subsampled format.

本明細書において、用語「ディザリング」は、意図的にノイズを付加して、それにより、静止画または動画であるイメージまたはピクチャ(images or pictures)に適用されるビット深度変換による量子化誤差をランダム化する処理を指す。ディザリングは、信号のビット深度を低減する際に、量子化された出力信号の平均局所値が入力と同じビット深度を有することとなるように適用される。   As used herein, the term “dithering” intentionally adds noise, thereby reducing the quantization error due to bit depth transformations applied to images or pictures that are still images or videos. Refers to randomization. Dithering is applied such that in reducing the bit depth of the signal, the average local value of the quantized output signal will have the same bit depth as the input.

イメージングへの適用において、Ｎビット画像をＰビット画像に変換した場合（ＰはＮより小さい）、視覚系は平均化処理として作用する。例えば、ディザリングは、多ビット深度信号（例えば、Ｎ＝８）からバイナリ信号（例えば、Ｐ＝２）にする際に使用され得る。このケースは、ハーフトーン処理とも呼ばれる。ディスプレイ技術においては、ディザリングは、入力のビット深度（例えば、１０ビット）を下げて、対象とするディスプレイの、より小さいビット深度（例えば、８ビット）に合わせるために適用され得る。   In imaging applications, when an N-bit image is converted to a P-bit image (P is less than N), the visual system acts as an averaging process. For example, dithering may be used in making a binary signal (eg, P = 2) from a multi-bit depth signal (eg, N = 8). This case is also called halftone processing. In display technology, dithering can be applied to lower the input bit depth (eg, 10 bits) to match the smaller bit depth (eg, 8 bits) of the intended display.

本明細書において、用語「ダイナミックレンジ」（ＤＲ）は、人間の視覚システム（human visual system（ＨＶＳ））が、画像においてある範囲（例えば、最暗部から最明部まで）の強度（例えば、輝度、ルマ）を知覚する能力に関連し得る。この意味では、ＤＲはシーンリファード（scene-referred）の強度に関する。ＤＲはまた、ディスプレイデバイスが、ある特定の幅を有する強度範囲を適切にまたは近似的に描画する能力にも関連し得る。この意味では、ＤＲは、ディスプレイリファード（display-referred）の強度に関する。本明細書中のいかなる箇所においても、ある特定の意義が特に明示的に指定されている場合を除いて、この用語はどちらの意味としても（例えば、交換可能に）使用できるものとする。   As used herein, the term “dynamic range” (DR) refers to the intensity (eg, luminance) of a range (eg, from the darkest to the brightest) of the human visual system (HVS) in the image. , Luma). In this sense, DR relates to the intensity of scene-referred. DR may also relate to the ability of the display device to properly or approximately draw an intensity range with a certain width. In this sense, DR relates to the intensity of display-referred. At any point in the specification, the term shall be used in either meaning (eg, interchangeably), unless a specific significance is expressly specified.

本明細書において、ハイダイナミックレンジ（high dynamic range（ＨＤＲ））という用語は、ＨＶＳにおけるおおよそ１４〜１５桁にわたるＤＲ幅に関する。例えば、しっかりと順応した、（例えば、統計的な意味、バイオメトリック的な意味、または、眼科的な意味の１つ以上において）実質的に正常な視力を持つ人間は、約１５桁にわたる強度範囲を有する。順応した人間は、少量の光子のうす暗い光源を知覚し得る。また、同じ人間が、砂漠、海または雪上における真昼の太陽の、目が痛くなるほどの明るい強度を知覚し得る（また、損傷を受けないような短時間であるとしても太陽を見ることもできる）。ただし、この範囲は、「順応した」人間（例えば、そのＨＶＳをリセットして調節する時間を経た人間）に当てはまるものである。   As used herein, the term high dynamic range (HDR) relates to the DR width spanning approximately 14-15 digits in HVS. For example, a well-adapted person with substantially normal vision (eg, in one or more of the statistical, biometric, or ophthalmic meanings) has an intensity range spanning about 15 orders of magnitude. Have An adapted human can perceive a dark light source with a small amount of photons. Also, the same person can perceive the bright intensity of the midday sun in the desert, sea or snow that can cause painful eyes (and can see the sun even though it is not damaged for a short time) . However, this range applies to “adapted” humans (eg, humans who have passed time to reset and adjust their HVS).

これに対して、人間が、広範囲の強度範囲を同時に知覚し得るＤＲは、ＨＤＲに対して幾分端折られ得る。本明細書において、「視覚ダイナミックレンジ」（visual dynamic range（ＶＤＲ））またはエンハンストダイナミックレンジ（enhanced dynamic range（ＥＤＲ））という用語は、ＨＶＳによって同時に知覚可能なＤＲに関連し得る。本明細書において、ＶＤＲは、５〜６桁にわたるＤＲに関連し得るが、これは特定のダイナミックレンジ範囲に限定されるものではなく、ＶＤＲ（またはＥＤＲ）は、ＨＤＲよりも狭いか同等であってもよい。   In contrast, DR that allows a human to perceive a wide range of intensity simultaneously can be somewhat broken with respect to HDR. As used herein, the terms “visual dynamic range (VDR)” or enhanced dynamic range (EDR) may relate to DR that can be simultaneously perceived by HVS. As used herein, VDR may relate to DR over 5-6 orders of magnitude, but this is not limited to a specific dynamic range range and VDR (or EDR) is narrower or equivalent to HDR. May be.

つい最近まで、ディスプレイのＤＲは、ＨＤＲまたはＶＤＲよりも大幅に狭かった。典型的な陰極線管（ＣＲＴ）を用いるテレビ（ＴＶ）およびコンピュータモニタ装置、蛍光灯の一定な白色背面照明の液晶ディスプレイ（ＬＣＤ）、または、プラズマスクリーン技術は、そのＤＲ描画性能がおおよそ３桁に制約され得る。従って、このような従来のディスプレイは、ＶＤＲおよびＨＤＲに対して、ローダイナミックレンジ（ＬＤＲ）またはスタンダードダイナミックレンジ（standard dynamic range（ＳＤＲ））の典型例である。デジタルシネマシステムも、他の表示装置と同じ制限のいくらかを有する。本願において、「視覚ダイナミックレンジ（ＶＤＲ）」は、ＬＤＲまたはＳＤＲよりも広い任意のエンハンストダイナミックレンジを指すものであり、ＨＤＲよりも狭いか同等であり得る。   Until very recently, the DR of the display was much narrower than HDR or VDR. Television (TV) and computer monitor devices using a typical cathode ray tube (CRT), a constant white backlit liquid crystal display (LCD) with fluorescent lamps, or plasma screen technology, its DR drawing performance is roughly three orders of magnitude Can be constrained. Therefore, such conventional displays are typical examples of low dynamic range (LDR) or standard dynamic range (SDR) for VDR and HDR. Digital cinema systems also have some of the same limitations as other display devices. In this application, “visual dynamic range (VDR)” refers to any enhanced dynamic range wider than LDR or SDR and may be narrower or equivalent to HDR.

実際には、画像は、１つ以上の色成分（例えば、ルマ（luma）Ｙおよびクロマ（chroma）ＣｂおよびＣｒあるいはＲ、ＧおよびＢ）を有し、各色成分はＮビット／ピクセルの精度で表される（例えば、Ｎ＝８）。輝度ダイナミックレンジとビット深度は、等価なものではないが、両者は、多くの場合、互いに関連している。Ｎ≦８の画像（例えば、カラー２４ビットＪＰＥＧ画像）はスタンダードダイナミックレンジの画像とされ、他方、Ｎ＞８の画像はハイダイナミックレンジ性能を持つ画像とされ得る。ＶＤＲ画像およびＨＤＲ画像は、Ｉｎｄｕｓｔｒｉａｌ Ｌｉｇｈｔ ａｎｄ Ｍａｇｉｃが開発したＯｐｅｎＥＸＲファイルフォーマットなどの高精度の（例えば、１６ビット）浮動小数点フォーマットを用いて、保存および配信され得る。   In practice, an image has one or more color components (eg, luma Y and chroma Cb and Cr or R, G and B), each color component with an accuracy of N bits / pixel. Expressed (for example, N = 8). Luminance dynamic range and bit depth are not equivalent, but they are often related to each other. An image with N ≦ 8 (eg, a color 24-bit JPEG image) can be a standard dynamic range image, while an image with N> 8 can be an image with high dynamic range performance. VDR and HDR images can be stored and distributed using high-precision (eg, 16-bit) floating point formats such as the OpenEXR file format developed by Industrial Light and Magic.

近年のディスプレイ処理の進歩にもかかわらず、ＶＤＲ画像および映像の処理パイプラインのビット深度精度は未だにハードウェア上の制限によって制約され得る。本願発明者らも理解しているように、画像をディザリングする改良技術の開発が望まれている。   Despite recent advances in display processing, the bit depth accuracy of VDR image and video processing pipelines can still be constrained by hardware limitations. As understood by the present inventors, it is desired to develop an improved technique for dithering an image.

本節に記載されているアプローチは、探求し得るアプローチではあるが、必ずしもこれまでに着想または探求されてきたアプローチではない。従って、特に反対の記載がない限り、本節に記載されたアプローチのいずれも、本節に記載されているという理由だけで従来技術としての適格性を有すると考えるべきではない。同様に、特に反対の記載がない限り、本節に基づいて、１以上のアプローチに関して特定される問題が、いずれかの先行技術において認識されたことがあると考えるべきではない。   The approaches described in this section are approaches that can be explored, but not necessarily approaches that have been conceived or explored. Thus, unless otherwise stated to the contrary, none of the approaches described in this section should be considered as eligible for prior art just because they are described in this section. Similarly, unless specified to the contrary, based on this section, problems identified with respect to one or more approaches should not be considered recognized in any prior art.

本発明のある実施形態を、限定ではなく例示として、添付図面の各図により示す。これらの図において、類似の要素には同種の参照符号を付している。
図１Ａは、人間の視覚システムの光学伝達関数（ＯＴＦ）の一例を示す。 図１Ｂは、人間の視覚システムの光学伝達関数の逆数の一例を示す。 図２Ａは、本発明の実施形態による、クロマサブサンプリングされた画像をディザリングする処理の一例を示している。 図２Ｂは、本発明の実施形態による、クロマサブサンプリングされた画像をディザリングする処理の一例を示している。 Certain embodiments of the invention are illustrated by way of example and not limitation in the figures of the accompanying drawings. In these figures, similar elements are given the same reference numerals.
FIG. 1A shows an example of the optical transfer function (OTF) of the human visual system. FIG. 1B shows an example of the reciprocal of the optical transfer function of the human visual system. FIG. 2A illustrates an example of a process for dithering a chroma subsampled image according to an embodiment of the present invention. FIG. 2B illustrates an example of a process for dithering a chroma subsampled image according to an embodiment of the present invention.

画像のディザリング技術をここに説明する。クロマサブサンプリングされたビデオ信号の色成分に付加するノイズを形成するために、人間の視覚システム（ＨＶＳ）の光学伝達関数（ＯＴＦ）のモデルが用いられる。以下の説明においては、便宜上、本発明の完全な理解を提供するために、多数の具体的な詳細を示す。ただし、これらの詳細事項が無くても本発明を実施可能であることは明白であろう。他方、本発明の説明が不必要に不明瞭にならないように、周知の構造およびデバイスの網羅的な詳細までは説明しない。   Image dithering techniques will now be described. A model of the human visual system (HVS) optical transfer function (OTF) is used to form noise that adds to the color components of the chroma subsampled video signal. In the following description, for the purposes of convenience, numerous specific details are set forth in order to provide a thorough understanding of the present invention. However, it will be apparent that the invention may be practiced without these details. On the other hand, complete details of well-known structures and devices are not described in order to avoid unnecessarily obscuring the description of the present invention.

概要
本明細書に記載の実施形態例は、画像のディザリングに関する。第１のビット深度の入力画像は、ルマ成分および１つ以上のクロマ成分に分けられる。人間の視覚システム（ＨＶＳ）の光学伝達関数（ＯＴＦ）のモデルを用いてディザノイズを生成し、このディザノイズを入力画像のクロマ成分に付加することにより、ノイズ修飾されたクロマ成分（noise-modified chroma components）が生成される。このディザノイズは、疑似ランダムホワイトノイズ（pseudo-random white noise）を、ＯＴＦの逆数に基づくフィルタを用いてフィルタリングすることによって生成する。このＯＴＦのモデルは、サブサンプリングされたクロマ成分の空間解像度に基づいて決定される視聴距離に従って適応化されている。 Overview The example embodiments described herein relate to image dithering. The input image of the first bit depth is divided into a luma component and one or more chroma components. Noise-modified chroma components are generated by generating dither noise using an optical transfer function (OTF) model of the human visual system (HVS) and adding the dither noise to the chroma component of the input image. ) Is generated. This dither noise is generated by filtering pseudo-random white noise with a filter based on the inverse of the OTF. This OTF model is adapted according to the viewing distance determined based on the spatial resolution of the subsampled chroma components.

ある実施形態においては、入力ルマ成分およびノイズ修飾されたクロマ成分を第１のビット深度よりも低い第２のビット深度に量子化することによりディザリング済み出力画像を生成する。   In one embodiment, the dithered output image is generated by quantizing the input luma component and the noise-modified chroma component to a second bit depth that is lower than the first bit depth.

他のある実施形態においては、入力ルマ信号成分およびノイズ修飾されたクロマ成分を、第２のビット深度に量子化してディザリング済み出力画像を生成する前に、第２の色フォーマットの第２の画像に変換する。   In some other embodiments, the input luma signal component and the noise-modified chroma component are quantized to a second bit depth to generate a dithered output image, and a second color format second Convert to image.

いくつかの実施形態においては、入力画像信号を、ディザリングする前に、線形化色空間に変換する。   In some embodiments, the input image signal is converted to a linearized color space before dithering.

いくつかの実施形態においては、ＯＴＦモデルは、固定の瞳孔の大きさに対するＤｅｅｌｅｙＯＴＦモデルに基づいている。   In some embodiments, the OTF model is based on the Deley OTF model for a fixed pupil size.

いくつかの実施形態においては、フィルタリングされたホワイトノイズを、クロマ成分に付加する前に、入力画像の局所領域分析に従ってさらに調節する。   In some embodiments, the filtered white noise is further adjusted according to the local region analysis of the input image before being added to the chroma component.

ＯＴＦに基づくディザリングノイズ生成例
デジタルディザリングにおいて、一連のＮビットの入力画像（例えば、Ｎ＝８ビット）をＰビットの画像（Ｐ＜Ｎビット）に量子化する場合、下位ビットを落とすあるいは量子化する前に、これらの画像にノイズを付加する。基本的なエンジニアリング的矛盾（engineering trade-off）は、ビット深度低減処理においてできるだけ多くの有効知覚ビットの維持を可能とするようにできるだけ多くのノイズを付加しながらも、ノイズ自体は不可視としたいことである。不可視性は、ディスプレイおよび視聴距離パラメータに主に依存している。ある実施形態において、画像ディザリングにおいて用いるノイズ源のノイズ特性は、人間の視覚システム（ＨＶＳ）の光学伝達関数（ＯＴＦ）のモデルに基づいて決定される。 Example of Dithering Noise Generation Based on OTF In digital dithering, when quantizing a series of N-bit input images (for example, N = 8 bits) into P-bit images (P <N bits), lower bits are dropped or Noise is added to these images before quantization. The basic engineering trade-off is to add as much noise as possible to maintain as many effective perceptual bits as possible in the bit depth reduction process, but to make the noise itself invisible. It is. Invisibility depends mainly on the display and viewing distance parameters. In some embodiments, the noise characteristics of a noise source used in image dithering are determined based on a model of the human visual system (HVS) optical transfer function (OTF).

ＨＶＳのＯＴＦ（以下、単にＯＴＦと表記する）は、低域通過関数（low-pass function）そのものであるので、ＨＶＳのコントラスト感度関数（ＣＳＦ）よりもより良い、平均化処理の代表である。さらに、ＯＴＦが線形輝度領域におけるシフトに対して不変な線形フィルタであることに対して、ＣＳＦは複雑な非線形処理であり、フィルタおよび振幅の非線形性の組み合わせ処理としてモデリングされる場合もある。そして、ＣＳＦの高周波減衰の大部分はＯＴＦに起因するものである。   Since the HVS OTF (hereinafter simply referred to as OTF) is a low-pass function itself, it represents a better averaging process than the HVS contrast sensitivity function (CSF). Furthermore, while OTF is a linear filter that is invariant to shifts in the linear luminance region, CSF is a complex nonlinear process and may be modeled as a combined process of filter and amplitude nonlinearity. And most of the high frequency attenuation of CSF is due to OTF.

ある実施形態例において、ディザノイズは、視覚系のＯＴＦの作用の結果が知覚的に均一なノイズ（全周波数において等しく可視）となるようにするために、ＯＴＦの逆数となるようにスペクトル形成されてもよい。これにより、あらゆるレベルの可視性において、最大のノイズ分散が得られる。一般的に、設計手法としては、ディザノイズを全周波数にわたって等しく不可視にしておくものである。すなわち、網膜に到達したノイズがホワイトノイズとなるように、ノイズに対するＯＴＦの影響を予め補償しておく。   In one example embodiment, the dither noise is spectrally shaped to be the reciprocal of the OTF so that the result of the OTF action of the visual system is a perceptually uniform noise (equally visible at all frequencies). Also good. This gives the maximum noise variance at all levels of visibility. In general, the design technique is to keep the dither noise equally invisible across all frequencies. That is, the influence of the OTF on the noise is compensated in advance so that the noise reaching the retina becomes white noise.

ＯＴＦは、異なるデータセットに由来するいくつかの関数を用いてモデリングすることが可能であり、どの具体的な型を使用するかは重要ではない。例えば、参照により本明細書中に援用する「Ｄｏｕｂｌｅ−ｐａｓｓ ａｎｄ ｉｎｔｅｒｆｅｒｏｍｅｔｒｉｃ ｍｅａｓｕｒｅｓ ｏｆ ｔｈｅ ｏｐｔｉｃａｌ ｑｕａｌｉｔｙ ｏｆ ｔｈ ｅｙｅ」、ＪＯＳＡ Ａ １１．１２（１９９４）：３１２３−３１３５において、Ｗｉｌｌｉａｍｓらは、以下の等式を用いてＯＴＦを記述している。

Figure 2016526312

ただし、ｓは、視覚周波数（ｃｙ／ｄｅｇ）であり、この式のパラメータは、ａ＝０．１２１２、ｗ1＝０．３４８１、および、ｗ2＝０．６５１９である。 OTF can be modeled with several functions from different datasets, and it does not matter which specific type is used. For example, in "Double-pass and interferometric measurements of the optical quality of the eye", incorporated herein by reference, JOSA A 11.12 (1994): 3123-3135, Williams et al. Used to describe OTF.
Figure 2016526312
Where s is the visual frequency (cy / deg), and the parameters of this equation are a = 0.212, w 1 = 0.3481 and w 2 = 0.6519.

別の一般的なＯＴＦの形式が、参照により本明細書中にその全体を援用するＤｅｅｌｅｙ、Ｒｏｂｉｎ Ｊ．、Ｎｅｖｉｌｌｅ Ｄｒａｓｄｏ、およびＷ．Ｎｅｉｌ Ｃｈａｒｍａｎの「Ａ ｓｉｍｐｌｅ ｐａｒａｍｅｔｒｉｃ ｍｏｄｅｌ ｏｆ ｔｈｅ ｈｕｍａｎ ｏｃｕｌａｒ ｍｏｄｕｌａｔｉｏｎ ｔｒａｎｓｆｅｒ ｆｕｎｃｔｉｏｎ」、Ｏｐｈｔｈａｌｍｉｃ ａｎｄ Ｐｈｙｓｉｏｌｏｇｉｃａｌ Ｏｐｔｉｃｓ１１．１（１９９１）：９１−９３に記載されている。   Another common OTF format is Deley, Robin J., which is incorporated herein by reference in its entirety. , Neville Drasdo, and W.M. Neil Charman's "A simple parametric model of the human modal transfer transfer function", described in Ophthalmic and Physical Optics 11.1 (1991): 1991-1991.

Ｄｅｅｌｅｙモデルの利点は、瞳孔の大きさｄについてパラメータ化されている点である。このＯＴＦの等式は以下の通りである。

Figure 2016526312

ただし、ｆはサイクル／度（ｃｙ／ｄｅｇ）で表した空間周波数であり、ｄはミリメートル（ｍｍ）で表した瞳孔の大きさである。図１Ａは、３ｍｍの瞳孔（ｄ＝３）の場合の、等式（２）によるＯＴＦ関数の一例を示している。図１Ｂは、図１Ａの逆数（１／ＯＴＦ）を示している。 The advantage of the Deley model is that it is parameterized with respect to the pupil size d. The equation for this OTF is:
Figure 2016526312
Where f is the spatial frequency expressed in cycles / degree (cy / deg), and d is the size of the pupil expressed in millimeters (mm). FIG. 1A shows an example of an OTF function according to equation (2) for a 3 mm pupil (d = 3). FIG. 1B shows the reciprocal (1 / OTF) of FIG. 1A.

いくつかの実施形態において、ＯＴＦ関数を用いる代わりに、ＨＶＳの周波数スペクトル（例えば、０〜６０ｃｙ／ｄｅｃ）において定義される任意のローパスフィルタを適用してもよい。その場合、１／ＯＴＦノイズフィルタ（２２０）は、ＨＶＳの周波数スペクトルにおいて定義される任意のハイパスフィルタで表され得る。   In some embodiments, instead of using an OTF function, any low-pass filter defined in the frequency spectrum of HVS (eg, 0-60 cy / dec) may be applied. In that case, the 1 / OTF noise filter (220) may be represented by any high-pass filter defined in the frequency spectrum of the HVS.

ＯＴＦをデジタル画像領域に適用するためには、周波数をｃｙ／ｄｅｇからｃｙ／ｐｉｘｅｌへと変換する必要がある。（ただし、０．５ｃｙ／ｐｉｘｅｌは、ナイキスト折り返し周波数、すなわち、デジタル画像に乗せられる最大可能周波数である）。以下の等式を用いて、ｃｙ／ｄｅｇで与えられた視覚の空間周波数をｃｙ／ｍｍのような物理的周波数またはｃｙ／ｐｉｘｅｌで表されたデジタル周波数に変換する。

Figure 2016526312

Figure 2016526312
ただし、Ｄは、等式（３）の物理的周波数と同じ単位、例えば、ｍｍで、またはピクセル単位で（等式（４）参照）のいずれかで計測された視聴距離である。例えば、一般的な３Ｈ（three picture heights）の視聴距離からフル高解像度（ＨＤ）（例えば、１９２０×１０８０ピクセルの解像度を用いた）テレビを視聴する場合、Ｄ＝３×１０８０＝３２４０ピクセルである。 In order to apply OTF to the digital image domain, it is necessary to convert the frequency from cy / deg to cy / pixel. (However, 0.5 cy / pixel is the Nyquist aliasing frequency, that is, the maximum possible frequency that can be placed on the digital image). Using the following equation, the visual spatial frequency given in cy / deg is converted into a physical frequency like cy / mm or a digital frequency expressed in cy / pixel.
Figure 2016526312
Figure 2016526312
Where D is the viewing distance measured in either the same unit as the physical frequency in equation (3), eg, mm or in pixels (see equation (4)). For example, when viewing a full high resolution (HD) television (for example, using a resolution of 1920 × 1080 pixels) from a general 3H (three picture heights) viewing distance, D = 3 × 1080 = 3240 pixels. .

クロマサブサンプリングのためのスペクトル形成
ある実施形態例においては、ディザリングは、ＹＣｂＣｒ、ＹＵＶ、Ｌａｂ等の、映像信号の輝度／クロミナンス（ルマ／クロマとも呼ぶ）形式で表された信号に適用される。このような形式において、輝度情報の大部分は、ＹまたはＬ信号に乗せられる。クロミナンス成分信号（例えば、ＣｂＣｒ）には、ほとんど輝度情報が乗っておらず、これらは、近似的に等輝度または擬似等輝度であるとも言われる。 Spectral Shaping for Chroma Subsampling In some example embodiments, dithering is applied to signals expressed in the luminance / chrominance (also called luma / chroma) form of the video signal, such as YCbCr, YUV, Lab, etc. . In such a format, most of the luminance information is carried on the Y or L signal. The chrominance component signal (for example, CbCr) carries almost no luminance information, and these are also said to be approximately equal luminance or pseudo-isoluminance.

ある実施形態において、ディザノイズは、もっぱら、ＣｒおよびＣｂのような擬似等輝度信号に付加され、輝度成分には付加されない。これは、ノイズその他の空間的パターンの可視性は、色チャンネルよりも輝度チャンネルにおいてずっと高いからである。   In some embodiments, dither noise is added exclusively to pseudo-isoluminance signals such as Cr and Cb and not to the luminance component. This is because the visibility of noise and other spatial patterns is much higher in the luminance channel than in the color channel.

ある実施形態において、ノイズのスペクトルは、クロマ成分の空間解像度（ルマ成分の空間解像度とは異なり得る）に基づいて形成される。例えば、４：２：２クロマサンプリングを用いて、水平方向においてクロマ成分を１／２にサブサンプリングする。例えば、１９２０×１０８０映像信号は、１９２０×１０８０空間解像度のルマ信号成分（例えば、Ｙ）と、９６０×１０８０空間解像度のクロマ信号成分（例えば、ＣｂおよびＣｒ）とを含み得る。別の例において、４：２：０クロマサンプリングを用いて、水平方向および垂直方向の両方においてクロマ成分を１／２にサブサンプリングする。すると、１９２０×１０８０映像信号は、９６０×５４０空間解像度のクロマ成分を含み得る。   In some embodiments, the spectrum of noise is formed based on the spatial resolution of the chroma component (which may be different from the spatial resolution of the luma component). For example, 4: 2: 2 chroma sampling is used to subsample the chroma component in half in the horizontal direction. For example, a 1920 × 1080 video signal may include a 1920 × 1080 spatial resolution luma signal component (eg, Y) and a 960 × 1080 spatial resolution chroma signal component (eg, Cb and Cr). In another example, 4: 2: 0 chroma sampling is used to subsample the chroma component by half in both the horizontal and vertical directions. Then, the 1920 × 1080 video signal may include a 960 × 540 spatial resolution chroma component.

ある実施形態において、ノイズは、サブサンプリングされた領域において付加される。最終的に表示する前に、クロマサブサンプリングされた画像は、表示の必要に応じて（例えば、４：４：４形式へと）アップサンプリングされ、また、概して、ディスプレイの三原色を駆動するためにルマ／クロマ形式からＲＧＢ形式へと変換される。信号に付加されるディザノイズにも同じ処理が行われ、そのスペクトルは、クロマアップスケーリング処理のジオメトリ（geometry）によって変えられる。従って、アップサンプリング処理後に所望のスペクトル形状を有するように、アップスケーリング処理によって補償されるように設計する。前述のように、所望のスペクトル形状はＯＴＦの逆数である。   In some embodiments, noise is added in the subsampled region. Prior to final display, the chroma subsampled image is upsampled as needed for display (eg, into 4: 4: 4 format) and generally to drive the three primary colors of the display. Conversion from luma / chroma format to RGB format. The same process is performed on the dither noise added to the signal, and its spectrum is changed by the geometry of the chroma upscaling process. Therefore, it is designed to be compensated by the upscaling process so as to have a desired spectral shape after the upsampling process. As mentioned above, the desired spectral shape is the reciprocal of OTF.

図２Ａは、本発明のある実施形態によるクロマサブサンプリングされたＹＣｂＣｒ画像をディザリングする処理例を示している。図２Ａに示すように、ディザリング処理は以下の２つのパートに分割されてもよい：ａ）ディザノイズ発生器のオフライン設計、および、ｂ）量子化されるべき信号にノイズを付加するリアルタイムディザリング処理。   FIG. 2A illustrates an example process for dithering a chroma subsampled YCbCr image according to an embodiment of the present invention. As shown in FIG. 2A, the dithering process may be divided into two parts: a) an off-line design of the dither noise generator, and b) real-time dithering that adds noise to the signal to be quantized. processing.

図２Ａに示すように、これに限定はされないが、ディザノイズ生成処理は典型的にはオフラインで行う。ある実施形態において、クロマ成分に対する、得られたディザノイズパターンはメモリに格納してもよいが、もし演算リソースが十分にあるならば、この部分の処理もリアルタイムで行われ得る。   As shown in FIG. 2A, the dither noise generation process is typically performed offline, although not limited thereto. In some embodiments, the resulting dither noise pattern for the chroma component may be stored in memory, but if there are sufficient computational resources, this portion of processing can also be performed in real time.

図２Ａに示すように、ディザノイズ生成処理は、工程（２０５）においてＯＴＦモデルを確立することで開始する。ある実施形態例において、これに限定はされないが、ＯＴＦモデルは、固定値ｄを用いた場合の等式（２）のＤｅｅｌｅｙモデルであり得る。ある実施形態において、ｄ＝３ｍｍで、明るい光を表しているが、他の光条件に対してもＯＴＦ関数を簡単に調節することが可能である。工程（２１０）において、オリジナルＯＴＦモデルの出力は、その出力がｃｙ／ｐｉｘｅｌｓで表されるように調節され得る。ここで、等式（４）における視聴距離（例えば、Ｄ）は、対象となる空間方向におけるサブサンプリングされたクロマ成分に対する視聴距離を表している。例えば、４：２：２フォーマットで処理されたＨＤ１９２０×１０８０信号について、垂直周波数に対するＯＴＦモデルに関しては、ＤH＝３Ｈ＝３×１０８０＝３，２４０ピクセルである。同様に、水平周波数に対するＯＴＦモデルに関しては、ＤW＝３Ｈs＝３×（１０８０／２）＝３×５４０＝１６２０ピクセルである。 As shown in FIG. 2A, the dither noise generation process starts by establishing an OTF model in step (205). In an example embodiment, but not limited to this, the OTF model may be a Delayy model of equation (2) using a fixed value d. In one embodiment, d = 3 mm represents bright light, but the OTF function can be easily adjusted for other light conditions. In step (210), the output of the original OTF model can be adjusted so that the output is expressed in cy / pixels. Here, the viewing distance (for example, D) in equation (4) represents the viewing distance for the subsampled chroma component in the target spatial direction. For example, for an HD 1920 × 1080 signal processed in 4: 2: 2 format, D H = 3H = 3 × 1080 = 3,240 pixels for the OTF model for vertical frequency. Similarly, for the OTF model for horizontal frequency, D W = 3H s = 3 × (1080/2) = 3 × 540 = 1620 pixels.

垂直周波数および水平周波数に対して別個のＯＴＦモデルを用いると（例えば、等式（２）に基づいてＯＴＦ（ｆh，ｄ）およびＯＴＦ（ｆw，ｄ）など）、２次元（２−Ｄ）のＯＴＦモデル（例えば、ＯＴＦ（ｆh，ｆw））を生成し得る。いくつかの実施形態において、２−Ｄモデルはデカルト座標系において分離可能であってもよい（例えば、ＯＴＦ（ｆh，ｆw）＝ＯＴＦ（ｆh，ｄ）＊ＯＴＦ（ｆw，ｄ））。いくつかの他の実施形態において、この結合モデルは、極座標系において分離可能であってもよい。 Using separate OTF models for vertical and horizontal frequencies (eg, OTF (f h , d) and OTF (f w , d) based on equation (2)), two-dimensional (2-D ) OTF model (eg, OTF (f h , f w )). In some embodiments, the 2-D model may be separable in a Cartesian coordinate system (eg, OTF (f h , f w ) = OTF (f h , d) * OTF (f w , d) ). In some other embodiments, the coupling model may be separable in a polar coordinate system.

一般的に、ＯＴＦ関数は回転対称であり、よって、極座標系において分離可能であるが、異なる人間の間には差異があるので、デカルトモデルも有用であり得る。ある実施形態例において、

Figure 2016526312

とすると、ＯＴＦ（ｆh，ｆw）＝ＯＴＦ（ｒ，ｄ）（等式（２））となる。 In general, OTF functions are rotationally symmetric and are therefore separable in a polar coordinate system, but Cartesian models may also be useful because there are differences between different people. In an example embodiment,
Figure 2016526312
Then, OTF (f h , f w ) = OTF (r, d) (equation (2)).

工程（２３５）は、２次元のホワイト（例えば、ガウシアン）ノイズ発生器を表している。好ましい実施形態においてノイズ発生器は、２つの別個の疑似ランダム生成シード（pseudo-random generator seeds）を用いて、クロマチャンネルのそれぞれについて別々のノイズ出力（２３７−Ａおよび２３７−Ｂ）を生成する。ある実施形態例において、（０，２５５）範囲内のノイズ出力に対して、ノイズ発生器は、σ＝３０のホワイトノイズを生成し得る。   Step (235) represents a two-dimensional white (eg, Gaussian) noise generator. In a preferred embodiment, the noise generator uses two separate pseudo-random generator seeds to generate separate noise outputs (237-A and 237-B) for each of the chroma channels. In an example embodiment, for a noise output in the (0, 255) range, the noise generator may generate σ = 30 white noise.

ノイズ発生器（２３５）の出力（２３７−Ａ，２３７−Ｂ）のそれぞれは、ＯＴＦの逆数（すなわち、１／ＯＴＦ）に基づくフィルタを用いてフィルタリングされる。フィルタリングは、空間領域または周波数領域のいずれで行われてもよい。ＯＴＦ（２１５）は典型的には周波数領域にあるので、周波数領域におけるフィルタリングは、ａ）ノイズ発生器の出力（２３７）を例えば高速フーリエ変換（ＦＦＴ）を用いて周波数領域に変換することと、ｂ）変換工程の出力に逆数ＯＴＦを掛けることと、ｃ）逆ＦＦＴのような逆変換を用いて、この積を変換して空間領域に戻すこととを含む。よって、ノイズフィルタ（２２０）の出力（２２２および２２４）は、ディザリングされるべき入力信号（例えば、信号２０２）のクロマ成分（例えば、２０２−Ｃｒおよび２０２−Ｃｂ）に付加される２組の２次元（２Ｄ）ディザノイズパターンを表している。   Each of the outputs (237-A, 237-B) of the noise generator (235) is filtered using a filter based on the reciprocal of the OTF (ie, 1 / OTF). Filtering may be performed in either the spatial domain or the frequency domain. Since OTF (215) is typically in the frequency domain, filtering in the frequency domain includes: a) transforming the output (237) of the noise generator into the frequency domain using, for example, a fast Fourier transform (FFT); b) multiplying the output of the transform step by the reciprocal OTF and c) transforming this product back into the spatial domain using an inverse transform such as an inverse FFT. Thus, the output (222 and 224) of the noise filter (220) is added to two sets of chroma components (eg, 202-Cr and 202-Cb) of the input signal (eg, signal 202) to be dithered. It represents a two-dimensional (2D) dither noise pattern.

図２Ａに示すように、ノイズフィルタ（２２０）の出力は、随意に、重みＷCbおよびＷCrを用いてスケーリングされ得る。ある実施形態においてこれらの重みは、画像には依存せずに、対象とするディスプレイの（ダイナミックレンジおよび原色のような）特性に従って調節されるものであってよい。別の実施形態において、これらの重みは、高度に飽和した入力色の検出時に補償するべく、入力画像（２０２）の局所領域分析に基づいてさらに調節されてもよい。高度に飽和した色の領域の場合、意図された等輝度ノイズ変調は、輝度変調になる。例えば、純粋な緑色（ＲＧＢ＝（０，１，０））に対して意図されたＣｒ変調は、赤に導入される小さな変調が０（すなわち黒）付近であるので、輝度変調として現れる傾向がある。意図された負のＲ変調はクリッピングされ、これらのＲサブピクセルは完全にオンにされたＧサブピクセルの近傍にあるので、赤の正の変調は知覚されない。また、Ｇは最大値であるので、あらゆる正のＧ変調がクリッピングされる。従って、このような色領域においては、色度変調を完全に他のチャンネル（例えば、この例では、Ｃｂチャンネル）にシフトする方が良い。色ノイズ変調の再重み付けの様々な組み合わせを適用し得る。一例として、ある実施形態において、通常処理におけるＷCbおよびＷCrが画像に依存しない重みを示すとすると、「完全な赤」範囲（例えば、Ｒ＞２００、Ｇ＜１０およびＢ＜１０）内であると決定されたピクセルについて、局所領域分析工程２２５は、以下のようにして、２つの重みを調節し得る。

Ｉｆ ｉｎｐｕｔ ｐｉｘｅｌ ｉｓ “ｆｕｌｌ ｒｅｄ”
ｔｈｅｎ ＷCr＝ｃ１＊ ＷCr ａｎｄ ＷCb＝ｃ２＊ ＷCb；
ただし、ｃ１およびｃ２は、所定のスケーラ（ｓｃａｌｅｒ）（例えば、ｃ１＝０およびｃ２＝２．０）である。 As shown in FIG. 2A, the output of the noise filter (220) can optionally be scaled with weights W Cb and W Cr . In some embodiments, these weights may be adjusted according to the characteristics (such as dynamic range and primary color) of the intended display, independent of the image. In another embodiment, these weights may be further adjusted based on local region analysis of the input image (202) to compensate when detecting highly saturated input colors. In the case of highly saturated color regions, the intended isoluminance noise modulation becomes luminance modulation. For example, Cr modulation intended for pure green (RGB = (0,1,0)) tends to appear as luminance modulation because the small modulation introduced into red is near 0 (ie black). is there. The intended negative R modulation is clipped, and since these R subpixels are in the vicinity of the fully turned on G subpixel, no red positive modulation is perceived. Also, since G is the maximum value, any positive G modulation is clipped. Therefore, in such a color region, it is better to shift the chromaticity modulation completely to another channel (for example, Cb channel in this example). Various combinations of color noise modulation re-weighting may be applied. As an example, in one embodiment, assuming that W Cb and W Cr in normal processing indicate image-independent weights, within a “perfect red” range (eg, R> 200, G <10 and B <10). For a pixel determined to be, the local region analysis step 225 may adjust the two weights as follows.

If input pixel is “full red”
then W Cr = c1 * W Cr and W Cb = c2 * W Cb ;
However, c1 and c2 are predetermined scalers (for example, c1 = 0 and c2 = 2.0).

いくつかの実施形態において、局所領域分析（２２５）は、入力色領域（例えば、ＹＣｂＣｒ）とは異なる色領域（例えば、ＲＧＢ）で動作し得る。いくつかの他の実施形態において、局所領域分析（２２５）は、入力色領域（例えば、ＹＣｂＣｒ）と同じ色領域で動作し得る。   In some embodiments, the local region analysis (225) may operate on a color region (eg, RGB) that is different from the input color region (eg, YCbCr). In some other embodiments, the local region analysis (225) may operate on the same color region as the input color region (eg, YCbCr).

随意の重み付け（２３０−Ａおよび２３０−Ｂ）後、入力信号（２０２）のクロマ成分（２０２−Ｃｂおよび２０２−Ｃｒ）にディザリングノイズを付加して、ノイズ修飾された色成分（noise-modified color components）（２４６−Ｃｂ，２４６−Ｃｒ）を生成する。ディザリングノイズ（２２２および２２４）は、入力信号ビット深度よりも小さいビット深度で表し得る。ある実施形態において、ノイズおよび信号は、２つの信号の最下位ビットを揃えて加算される。   After optional weighting (230-A and 230-B), dithering noise is added to the chroma components (202-Cb and 202-Cr) of the input signal (202) to produce a noise-modified color component (noise-modified). color components) (246-Cb, 246-Cr). Dithering noise (222 and 224) may be represented by a bit depth that is less than the input signal bit depth. In some embodiments, the noise and signal are added with the least significant bits of the two signals aligned.

ディザノイズ付加後、オリジナルのルマ信号（２０２−Ｙ）およびノイズ修飾されたクロマ信号（２４６−Ｃｂおよび２４６−Ｃｒ）は、直接量子化されてもよいし、あるいは、工程（２４５）においてディスプレイに依存した色空間（例えば、ＲＧＢ）にまず変換されてもよい。この工程は、ルマ成分の解像度と合うようにクロマ成分をアップサンプリングすることをも含み得る。（随意の）色変換（２４５）後、その出力（２４７）を、当該分野において公知の任意の量子化方式を用いて各色成分について所望のビット深度（例えば、Ｐ＜Ｎ）に量子化して、出力ディザリング済み画像（２４９）を生成してもよい。サブサンプリングされたクロマ成分信号への、フィルタリングされたノイズの付加と、それに続く、ＲＧＢに戻す変換と、ＲＧＢのビット深度の切り捨てとは、図２の下部においてリアルタイム処理として示されている。   After dithering, the original luma signal (202-Y) and noise-modified chroma signals (246-Cb and 246-Cr) may be directly quantized, or depend on the display in step (245). May be first converted to a color space (for example, RGB). This step may also include upsampling the chroma component to match the resolution of the luma component. After (optional) color conversion (245), the output (247) is quantized to the desired bit depth (eg, P <N) for each color component using any quantization scheme known in the art, An output dithered image (249) may be generated. The addition of filtered noise to the subsampled chroma component signal, the subsequent conversion back to RGB, and truncation of RGB bit depth are shown as real-time processing at the bottom of FIG.

いくつかの実施形態において、ディザリングされる入力信号（例えば、２０２）は、ガンマ補正された領域にあり得、これは近似的に輝度のべき関数（例えば、１／２．２）である。いくつかの実施形態において、線形輝度領域においてはＯＴＦフィルタリング処理が線形フィルタの如く作用することを利用して、追加的な信号線形化工程（不図示）を、ノイズ付加工程（２４０−Ａおよび２４０−Ｂ）の前に行ってもよい。そのような実施形態（不図示）において、信号（２０２）は、ａ）オリジナルの入力ＹＣｂＣｒ信号をＲＧＢに変換すること、ｂ）ＲＧＢ信号に逆数ガンマの関数を適用すること、および、ｃ）変換して線形ＹＣｂＣｒ（例えば、Ｙ’Ｃｂ’Ｃｒ’）に戻すこと、によって生成され得る。いくつかの他の実施形態において、ディザノイズ付加工程は、その他の線形化色空間（例えば、ＬＭＳまたはＣＩＥ ＸＹＺ）において行ってもよい。そのような実施形態においては、色変換工程（２４５）を必要に応じて適応化すればよい（例えば、ＬＭＳからＲＧＢ、または、ＸＹＺからＲＧＢ）。   In some embodiments, the dithered input signal (eg, 202) can be in a gamma corrected region, which is approximately a power function of luminance (eg, 1 / 2.2). In some embodiments, an additional signal linearization step (not shown) is added to the noise addition step (240-A and 240) using the fact that the OTF filtering process acts like a linear filter in the linear luminance region. -B) may be performed before. In such an embodiment (not shown), the signal (202) is a) converting the original input YCbCr signal to RGB, b) applying a reciprocal gamma function to the RGB signal, and c) converting. And then reverting back to linear YCbCr (eg, Y′Cb′Cr ′). In some other embodiments, the dithering step may be performed in other linearized color spaces (eg, LMS or CIE XYZ). In such an embodiment, the color conversion step (245) may be adapted as needed (eg, LMS to RGB or XYZ to RGB).

図２Ｂは、本発明の他の実施形態によるクロマサブサンプリングされたＹＣｂＣｒ画像をディザリングする処理例を示す。図２Ａおよび２Ｂに示す各実施形態の主な差異は、図２Ｂに示すシステムにおいては、ＣｒおよびＣｂのような擬似等輝度信号と輝度成分Ｙ（２０２）との両方にディザノイズを付加する点である。   FIG. 2B illustrates an example process for dithering a chroma subsampled YCbCr image according to another embodiment of the present invention. The main difference between the embodiments shown in FIGS. 2A and 2B is that, in the system shown in FIG. 2B, dither noise is added to both the pseudo-equal luminance signal such as Cr and Cb and the luminance component Y (202). is there.

図２Ｂに示すように、「オフライン設計」の一部として、前述のクロマ関連ディザリング信号（２２２および２２４）を生成するために用いるアプローチと同様のアプローチを用いて、ルマ関連ディザリング信号（２２６）を生成してもよい。あるＯＴＦモデル（２０５）および入力サンプル領域において計算された視聴距離（２０８−Ｙ）が与えられると、入力ＯＴＦモデルは、等式（３）および（４）を用いて、ｃｙ／ｄｅｇからｃｙ／ｐｉｘｅｌ形式へとマッピングされる。マッピング関数（２１０−Ｃ）および（２１０−Ｙ）の間の主要な差異は、（２１０−Ｃ）においては、視聴距離がサブサンプリングされたクロマ領域において計算されるのに対して、（２１０−Ｙ）においては、視聴距離が入力の、つまりフル解像度の領域において演算される点である。   As shown in FIG. 2B, as part of the “offline design”, a luma-related dithering signal (226) is used using an approach similar to that used to generate the chroma-related dithering signals (222 and 224) described above. ) May be generated. Given an OTF model (205) and viewing distance (208-Y) calculated in the input sample domain, the input OTF model can be derived from cy / deg to cy / using equations (3) and (4). Mapped to pixel format. The main difference between the mapping functions (210-C) and (210-Y) is that in (210-C) the viewing distance is calculated in the subsampled chroma region, whereas (210- In Y), the viewing distance is calculated in the input, that is, in the full resolution area.

フィルタ（２２０）は、ここでは、３つの（色成分毎に１つ）別個の１／ＯＴＦフィルタを備えており、各フィルタが前述の２Ｄ空間ホワイトノイズ発生器（２３５）によって生成されたホワイトノイズをフィルタリングする。ノイズ発生器（２３５）は、ここでは、３つの（色成分毎に１つ）別々のシードを使用し得る。   The filter (220) here comprises three (one for each color component) separate 1 / OTF filters, each filter generating white noise generated by the aforementioned 2D spatial white noise generator (235). Filter. The noise generator (235) may now use three separate seeds (one for each color component).

図２Ｂに示すように、リアルタイム処理工程中において、ノイズフィルタ（２２０）のルマ関連出力（２２６）を、随意に、重みＷYを用いたスケーラ（２３０−Ｃ）によってスケーリングしてもよい。随意の重み付け（２３０−Ａ，２３０−Ｂ，２３０−Ｃ）の後、入力信号（２０２）のクロマ成分（２０２−Ｃｂおよび２０２−Ｃｒ）およびルマ成分（２０２−Ｙ）の両方にディザリングノイズを付加し、それにより、ノイズ修飾された色成分（２４６−Ｃｂ、２４６−Ｃｒおよび２４６−Ｙ）を生成する。 As shown in FIG. 2B, during the real-time processing step, the luma related output (226) of the noise filter (220) may optionally be scaled by a scaler (230-C) using weights W Y. After optional weighting (230-A, 230-B, 230-C), dithering noise on both the chroma component (202-Cb and 202-Cr) and luma component (202-Y) of the input signal (202) , Thereby generating noise-modified color components (246-Cb, 246-Cr and 246-Y).

ディザノイズの付加後、当該分野において公知の任意の量子化方式を用いて、修飾されたルマ信号（modified luma signal）（２４６−Ｙ）およびノイズ修飾されたクロマ信号（２４６−Ｃｂおよび２４６−Ｃｒ）を量子化器（２５０）で所望のビット深度（例えば、Ｐ＜Ｎ）に量子化し、それにより、出力ディザリング済み画像（２５２）を生成する。   After the addition of dither noise, the modified luma signal (246-Y) and noise-modified chroma signals (246-Cb and 246-Cr) are used using any quantization scheme known in the art. Is quantized with a quantizer (250) to a desired bit depth (eg, P <N), thereby producing an output dithered image (252).

いくつかの実施形態において、量子化（２５０）の後に、表示に適した色領域へと変換する随意の色変換（２４５）（例えば、ＹＣｂＣｒからＲＧＢ）またはその他の後処理を行って、ディザリング済み信号（２５４）を生成してもよい。この工程は、ルマ成分の解像度に合うようにクロマ成分をアップサンプリングすることをも含み得る。   In some embodiments, quantization (250) is followed by optional color transformation (245) (eg, YCbCr to RGB) or other post-processing that transforms into a color region suitable for display, and dithering. A completed signal (254) may be generated. This step may also include up-sampling the chroma component to match the resolution of the luma component.

いくつかの実施形態において、図２Ａに示すように、量子化工程（２５０）の前に、色変換（２４５）を行ってもよい。   In some embodiments, color conversion (245) may be performed prior to the quantization step (250), as shown in FIG. 2A.

コンピュータシステム実装例
本発明の実施形態は、コンピュータシステム、電子回路および電子部品で構成されたシステム、マイクロコントローラ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）または他のコンフィギュラブルもしくはプログラマブルロジックデバイス（ＰＬＤ）、離散時間もしくはデジタル信号プロセッサ（ＤＳＰ）、特定用途向けＩＣ（ＡＳＩＣ）などの集積回路（ＩＣ）デバイス、および／または、このようなシステム、デバイスまたは要素の１つ以上を含む装置、を用いて実装し得る。このコンピュータおよび／またはＩＣは、本明細書に記載のような画像ディザリングに関する命令を、行い、制御し、または実行し得る。このコンピュータおよび／またはＩＣは、本明細書に記載の画像ディザリングに関する様々なパラメータまたは値のいずれを演算してもよい。画像ディザリングの実施形態は、ハードウェア、ソフトウェア、ファームウェア、および、その様々な組み合わせで実装され得る。 Embodiments of a Computer System Embodiments of the present invention include computer systems, systems composed of electronic circuits and electronic components, microcontrollers, field programmable gate arrays (FPGAs) or other configurable or programmable logic devices (PLDs), discrete Implementation using a time or digital signal processor (DSP), an integrated circuit (IC) device such as an application specific IC (ASIC), and / or an apparatus including one or more of such systems, devices or elements. obtain. The computer and / or IC may perform, control, or execute instructions relating to image dithering as described herein. The computer and / or IC may compute any of a variety of parameters or values related to image dithering as described herein. Image dithering embodiments may be implemented in hardware, software, firmware, and various combinations thereof.

本発明の特定の実装は、本発明の方法をプロセッサに行わせるためのソフトウェア命令を実行するコンピュータプロセッサを含む。例えば、ディスプレイ、エンコーダ、セットトップボックス、トランスコーダなどの中の１つ以上のプロセッサは、そのプロセッサがアクセス可能なプログラムメモリ内にあるソフトウェア命令を実行することによって、上記のような画像ディザリングのための方法を実装し得る。本発明は、プログラム製品の形態で提供されてもよい。このプログラム製品は、データプロセッサによって実行された時に本発明の方法をデータプロセッサに実行させるための命令を含むコンピュータ読み取り可能な信号を格納する任意の媒体を含み得る。本発明によるプログラム製品は、様々な形態のいずれをとっていてもよい。例えば、このプログラム製品は、フロッピーディスク、ハードディスクドライブを含む磁気データ記憶媒体、ＣＤ ＲＯＭ、ＤＶＤを含む光学データ記憶媒体、ＲＯＭ、フラッシュＲＡＭを含む電子データ記憶媒体、などの物理的媒体を含み得る。このプログラム製品上のコンピュータ読み取り可能な信号は、随意に、圧縮または暗号化されていてもよい。   Particular implementations of the invention include computer processors that execute software instructions to cause a processor to perform the methods of the invention. For example, one or more processors in a display, encoder, set-top box, transcoder, etc. may perform image dithering as described above by executing software instructions in program memory accessible to the processor. A method may be implemented. The present invention may be provided in the form of a program product. The program product may include any medium that stores a computer readable signal that includes instructions for causing the data processor to perform the method of the present invention when executed by the data processor. The program product according to the present invention may take any of various forms. For example, the program product may include physical media such as floppy disks, magnetic data storage media including hard disk drives, optical data storage media including CD ROM, DVD, electronic data storage media including ROM, flash RAM, and the like. The computer readable signal on the program product may optionally be compressed or encrypted.

上記において、ある要素（例えば、ソフトウェアモジュール、プロセッサ、アセンブリ、デバイス、回路など）に言及している場合、その要素への言及（「手段」への言及を含む）は、そうでないと明記されている場合を除いて、当該要素の機能を果たす（例えば、機能的に均等である）いかなる要素（上記に例示した本発明の実施形態例に出てくる機能を果たす開示構造に対して構造的に均等ではない要素も含む）も、当該要素の均等物として含むものと解釈されるべきである。   In the above, when referring to an element (eg, a software module, processor, assembly, device, circuit, etc.), a reference to that element (including a reference to “means”) is explicitly stated otherwise. Any element that performs the function of the element (e.g., functionally equivalent) except for the case where the element is structurally (e.g., functionally equivalent to the disclosed structure that functions in the exemplary embodiments of the invention illustrated above). Should also be construed as including equivalents of such elements.

均等物、拡張例、変形例、および雑記
画像ディザリングに関する実施形態例を上述した。
この明細書中において、各実装毎に異なり得る多数の具体的な詳細に言及しながら本発明の実施形態を説明した。従って、本発明が如何なるものかおよび出願人は本発明が如何なるものであると意図しているかについての唯一且つ排他的な指標は、後の修正を含む、これら請求項が生じる具体的な形態の、本願から生じる１組の請求項である。当該請求項に含まれる用語に対して本明細書中に明示したあらゆる定義が、請求項内で使用される当該用語の意味を決定するものとする。よって、請求項に明示的に記載されていない限定事項、構成要素、特性、特徴、利点または属性は、いかなる形であれ請求の範囲を限定するものではない。従って、本明細書および図面は、限定的ではなく、例示的であると認識されるべきものである。 Equivalents, extensions, variations and miscellaneous examples Embodiments relating to image dithering have been described above.
In this specification, embodiments of the invention have been described with reference to numerous specific details that may vary from implementation to implementation. Accordingly, the only and exclusive indication as to what the present invention is and what the applicant intends to be is the specific form in which these claims arise, including later modifications. , A set of claims arising from this application. Any definitions expressly set forth herein for terms contained in such claims shall govern the meaning of such terms as used in the claims. Thus, no limitation, element, property, feature, advantage or attribute that is not expressly recited in a claim should limit the scope of the claim in any way. Accordingly, the specification and drawings are to be regarded as illustrative rather than restrictive.

Claims (24)

プロセッサを用いて画像をディザリングする方法であって、
第１のビット深度の入力画像を受信する工程であって、前記入力画像は、ルマ成分および１つ以上のクロマ成分を含む第１の色フォーマットで表されている工程と、
ホワイトノイズを生成する工程と、
人間の視覚システム（ＨＶＳ）の光学伝達関数（ＯＴＦ）の逆数に従って前記ホワイトノイズをフィルタリングし、それにより、ディザノイズを生成する工程であって、前記ＯＴＦは、少なくとも水平視聴距離または垂直視聴距離に従って適応化されている工程と、
前記１つ以上のクロマ成分に前記ディザノイズを付加し、それにより、ノイズ修飾されたクロマ成分を生成する工程と、を包含する方法。 A method of dithering an image using a processor,
Receiving an input image of a first bit depth, wherein the input image is represented in a first color format including a luma component and one or more chroma components;
Generating white noise;
Filtering the white noise according to the inverse of an optical transfer function (OTF) of a human visual system (HVS), thereby generating dither noise, wherein the OTF is adapted at least according to a horizontal viewing distance or a vertical viewing distance And the process
Adding the dither noise to the one or more chroma components, thereby generating a noise-modified chroma component. 前記ルマ成分に前記ディザノイズを付加し、それにより、ノイズ修飾されたルマ成分を生成する工程をさらに包含する、請求項１に記載の方法。   The method of claim 1, further comprising adding the dither noise to the luma component, thereby generating a noise-modified luma component. 前記ルマ成分および前記ノイズ修飾されたクロマ成分を第２の色フォーマットの第２の画像に変換する工程と、
前記第２の画像を量子化し、それにより、第２のビット深度の出力ディザリング済み画像を生成する工程であって、前記第２のビット深度は前記第１のビット深度よりも低い工程と、をさらに包含する、請求項１に記載の方法。 Converting the luma component and the noise-modified chroma component into a second image in a second color format;
Quantizing the second image, thereby generating an output dithered image with a second bit depth, wherein the second bit depth is lower than the first bit depth; The method of claim 1, further comprising: 前記ノイズ修飾されたルマ成分および前記１つ以上のノイズ修飾されたクロマ成分を量子化し、それにより、第２のビット深度の出力ディザリング済み画像（２５２）を生成する工程であって、前記第２のビット深度は前記第１のビット深度よりも低い工程、をさらに包含する、請求項２に記載の方法。   Quantizing the noise-modified luma component and the one or more noise-modified chroma components, thereby generating a second bit-depth output dithered image (252), comprising: The method of claim 2, further comprising: a bit depth of 2 being lower than the first bit depth. 前記ルマ成分および前記ノイズ修飾されたクロマ成分を量子化し、それにより、第２のビット深度の出力ディザリング済み画像（２４９）を生成する工程であって、前記第２のビット深度は前記第１のビット深度よりも低い工程、をさらに包含する、請求項１に記載の方法。   Quantizing the luma component and the noise modified chroma component, thereby generating an output dithered image (249) of a second bit depth, wherein the second bit depth is the first bit depth; The method of claim 1, further comprising: lower than a bit depth of. 前記ホワイトノイズは２つ以上の別個のホワイトノイズ出力を含み、各ノイズ出力は異なるシード値を用いて生成される、請求項１に記載の方法。   The method of claim 1, wherein the white noise includes two or more separate white noise outputs, each noise output being generated using a different seed value. ＯＴＦのモデルは、以下の関数を含み、
Figure 2016526312
ただし、ｄは人間の瞳孔の大きさをｍｍで表したものであり、ｆは入力空間周波数をサイクル／度を含むものである、請求項１に記載の方法。 The OTF model includes the following functions:
Figure 2016526312
2. The method of claim 1, wherein d is the human pupil size in mm and f is the input spatial frequency including cycles / degree. ｄ＝３ｍｍである、請求項７に記載の方法。   The method of claim 7, wherein d = 3 mm. 以下の変換関数、
Figure 2016526312
ただし、Ｄはピクセル単位で測定された視聴距離である、
を用いて、周波数をサイクル／度からサイクル／ピクセルに変換することによって、前記ＯＴＦモデルがデジタル画像領域に合わせて適応化される、請求項７に記載の方法。 The following conversion function,
Figure 2016526312
Where D is the viewing distance measured in pixels.
The method of claim 7, wherein the OTF model is adapted to the digital image domain by converting the frequency from cycles / degree to cycles / pixel using. 前記入力画像の少なくとも１つのクロマ成分は、前記入力画像の輝度成分の空間解像度よりも低い空間解像度を有する、請求項１に記載の方法。   The method of claim 1, wherein at least one chroma component of the input image has a lower spatial resolution than a spatial resolution of a luminance component of the input image. 前記入力画像の少なくとも１つの色成分の水平解像度は、前記入力画像の輝度成分の水平解像度の半分である、請求項１０に記載の方法。   The method of claim 10, wherein a horizontal resolution of at least one color component of the input image is half of a horizontal resolution of a luminance component of the input image. 前記第１の色フォーマットは４：２：２または４：２：０ＹＣｂＣｒ色フォーマットを有する、請求項１に記載の方法。   The method of claim 1, wherein the first color format has a 4: 2: 2 or 4: 2: 0 YCbCr color format. 前記水平または垂直視聴距離の少なくとも１つは、前記入力画像の前記クロマ成分の１つの空間解像度に基づいて決定される、請求項１に記載の方法。   The method of claim 1, wherein at least one of the horizontal or vertical viewing distance is determined based on one spatial resolution of the chroma component of the input image. 前記ホワイトノイズ出力の各成分を別個にフィルタリングし、それにより、１つ以上のディザノイズ成分を生成する、請求項６に記載の方法。   The method of claim 6, wherein each component of the white noise output is filtered separately, thereby generating one or more dither noise components. 第１のディザノイズ成分を第１のノイズスケール係数によってスケーリングし、それにより、第１のスケーリング済みディザノイズ成分を生成する工程と、
第２のディザノイズ成分を第２のノイズスケール係数によってスケーリングし、それにより、第２のスケーリング済みディザノイズ成分を生成する工程と、をさらに包含し、
前記第１のおよび第２のノイズスケール係数は、前記入力画像の局所領域分析に応じて決定される、請求項１４に記載の方法。 Scaling the first dither noise component by a first noise scale factor, thereby generating a first scaled dither noise component;
Scaling the second dither noise component by a second noise scale factor, thereby generating a second scaled dither noise component;
The method of claim 14, wherein the first and second noise scale factors are determined in response to a local region analysis of the input image. 前記局所領域分析は、前記入力画像の少なくとも１つのピクセルが１つ以上の所定のピクセル成分値範囲内であるかどうかを検出することを含む、請求項１５に記載の方法。   The method of claim 15, wherein the local region analysis comprises detecting whether at least one pixel of the input image is within one or more predetermined pixel component value ranges. 前記ルマ成分および前記ノイズ修飾されたクロマ成分を前記第２の色フォーマットの前記第２の画像に変換する前に、前記ルマ成分の空間解像度に合うように前記ノイズ修飾されたクロマ成分をアップスケーリングする、請求項４に記載の方法。   Prior to converting the luma component and the noise-modified chroma component into the second image in the second color format, the noise-modified chroma component is upscaled to match the spatial resolution of the luma component The method according to claim 4. 前記第１の色フォーマットは線形化色フォーマットである、請求項１に記載の方法。   The method of claim 1, wherein the first color format is a linearized color format. 前記線形化色フォーマットは、線形化ＹＣｂＣｒ、ＬＭＳまたはＣＩＥ ＸＹＺである、請求項１８に記載の方法。   The method of claim 18, wherein the linearized color format is linearized YCbCr, LMS or CIE XYZ. 前記ディザノイズを生成するまでの工程は前記プロセッサによってオフラインで演算され、他の工程は前記プロセッサまたは第２のプロセッサによってリアルタイムで演算される、請求項１に記載の方法。   The method according to claim 1, wherein the steps up to generating the dither noise are calculated off-line by the processor, and other steps are calculated in real time by the processor or the second processor. プロセッサを用いて画像をディザリングする方法であって、
第１のビット深度の入力画像を受信する工程であって、前記入力画像は、第１の空間解像度のルマ成分および第２の空間解像度の１つ以上のクロマ成分を含む第１の色フォーマットで表されており、前記第２の空間解像度は少なくとも垂直または水平方向において前記第１の空間解像度よりも低い工程と、
ホワイトノイズを生成する工程と、
第１のローパスフィルタの逆数応答に従って前記ホワイトノイズをフィルタリングし、それにより、クロマディザノイズを生成する工程であって、第１のローパスフィルタの応答は、前記第２の空間解像度に従って適応化されている工程と、
第２のローパスフィルタの逆数応答に従って前記ホワイトノイズをフィルタリングし、それにより、ルマディザノイズを生成する工程であって、前記第２のローパスフィルタの応答は、前記第１の空間解像度に従って適応化されている工程と、
前記ルマ成分に前記ルマディザノイズを付加し、それにより、ノイズ修飾されたルマ成分を生成する工程と、
前記１つ以上のクロマ成分に前記クロマディザノイズを付加し、それにより、ノイズ修飾されたクロマ成分を生成する工程と、
前記ノイズ修飾されたルマ成分および前記ノイズ修飾されたクロマ成分の量子化に応じて第２のビット深度の出力ディザリング済み画像を生成する工程であって、前記第２のビット深度は前記第１のビット深度よりも低い工程と、を包含する方法。 A method of dithering an image using a processor,
Receiving an input image of a first bit depth, wherein the input image is in a first color format including a luma component of a first spatial resolution and one or more chroma components of a second spatial resolution. And wherein the second spatial resolution is lower than the first spatial resolution at least in the vertical or horizontal direction;
Generating white noise;
Filtering the white noise according to a reciprocal response of a first low pass filter, thereby generating chroma dither noise, wherein the response of the first low pass filter is adapted according to the second spatial resolution. And the process
Filtering the white noise according to a reciprocal response of a second low-pass filter, thereby generating luma dither noise, wherein the response of the second low-pass filter is adapted according to the first spatial resolution. And the process
Adding the luma dither noise to the luma component, thereby generating a noise-modified luma component;
Adding the chroma dither noise to the one or more chroma components, thereby generating a noise-modified chroma component;
Generating an output dithered image having a second bit depth in response to quantization of the noise-modified luma component and the noise-modified chroma component, wherein the second bit depth is the first bit depth; And a step lower than the bit depth. 前記第１のローパスフィルタおよび前記第２のローパスフィルタの応答は、人間の視覚システムの光学伝達関数のモデルの応答に合っている、請求項２１に記載の方法。   The method of claim 21, wherein responses of the first low pass filter and the second low pass filter are matched to a response of a model of an optical transfer function of a human visual system. プロセッサを備え、請求項１から２２に記載の方法のいずれか１つを行うように構成された装置。   23. An apparatus comprising a processor and configured to perform any one of the methods of claims 1-22. 請求項１から２２のいずれかに記載の方法を実行するためのコンピュータ実行可能な命令を格納した非一時的なコンピュータ読み取り可能な記憶媒体。   A non-transitory computer-readable storage medium storing computer-executable instructions for performing the method according to any of claims 1 to 22.
JP2016511744A 2013-04-29 2014-04-02 Dithering for chroma subsampled image formats Active JP6220960B2 (en)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201361817222P 2013-04-29 2013-04-29
US61/817,222 2013-04-29
US201361830806P 2013-06-04 2013-06-04
US61/830,806 2013-06-04
PCT/US2014/032731 WO2014178989A1 (en) 2013-04-29 2014-04-02 Dithering for chromatically subsampled image formats

Publications (2)

Publication Number Publication Date
JP2016526312A true JP2016526312A (en) 2016-09-01
JP6220960B2 JP6220960B2 (en) 2017-10-25

Family

ID=50680192

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016511744A Active JP6220960B2 (en) 2013-04-29 2014-04-02 Dithering for chroma subsampled image formats

Country Status (7)

Country Link
US (1) US9762876B2 (en)
EP (1) EP2992671B1 (en)
JP (1) JP6220960B2 (en)
KR (1) KR101746491B1 (en)
CN (1) CN105164996B (en)
TW (1) TWI546798B (en)
WO (1) WO2014178989A1 (en)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015073373A1 (en) 2013-11-12 2015-05-21 Dolby Laboratories Licensing Corporation Pre-dithering in high dynamic range video coding
AU2015275320A1 (en) * 2015-12-23 2017-07-13 Canon Kabushiki Kaisha Method, apparatus and system for determining a luma value
CN105635742B (en) * 2015-12-30 2018-09-07 杭州电子科技大学 The method for resampling based on depth enhancing towards 3D Video codings
EP3296960B1 (en) * 2016-09-15 2018-08-22 Axis AB A method and an arrangement for pseudo coloring of a digital image
US10070098B2 (en) * 2016-10-06 2018-09-04 Intel Corporation Method and system of adjusting video quality based on viewer distance to a display
IT201700099120A1 (en) * 2017-09-05 2019-03-05 Salvatore Lamanna LIGHTING SYSTEM FOR SCREEN OF ANY KIND
US11423522B2 (en) 2017-11-24 2022-08-23 Interdigital Vc Holdings, Inc. Method and apparatus for colour correction during HDR to SDR conversion
US11790564B2 (en) * 2020-03-30 2023-10-17 Google Llc Encoders for improved image dithering
US11810494B2 (en) * 2021-09-22 2023-11-07 Apple Inc. Dither enhancement of display gamma DAC systems and methods

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06133164A (en) * 1992-10-20 1994-05-13 Fuji Xerox Co Ltd Picture signal processing method and it device
JP2006058879A (en) * 2004-08-17 2006-03-02 Sharp Corp Bit-depth extension system and method of digital display via use of model of impulse response of visual system
JP2006229264A (en) * 2004-02-09 2006-08-31 Sharp Corp Method and system for adaptive dither structure
JP2007208786A (en) * 2006-02-03 2007-08-16 Seiko Epson Corp Generation of dither matrix
JP2010044446A (en) * 2008-08-08 2010-02-25 Canon Inc Image processor, image processing method and program

Family Cites Families (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB1218015A (en) 1967-03-13 1971-01-06 Nat Res Dev Improvements in or relating to systems for transmitting television signals
US3961134A (en) 1975-05-09 1976-06-01 Bell Telephone Laboratories, Incorporated Bi-level display system
US4758893A (en) 1985-09-23 1988-07-19 Quanticon Inc. Cinematic dithering for television systems
US5309526A (en) 1989-05-04 1994-05-03 At&T Bell Laboratories Image processing system
US5138303A (en) 1989-10-31 1992-08-11 Microsoft Corporation Method and apparatus for displaying color on a computer output device using dithering techniques
JP3396512B2 (en) * 1993-08-31 2003-04-14 パイオニア株式会社 Dither generator
US5696602A (en) 1995-08-31 1997-12-09 Lexmark International, Inc. Method for halftoning using stochastic dithering with minimum density variance
US6760122B1 (en) 1999-08-24 2004-07-06 Hewlett-Packard Development Company, L.P. Reducing quantization errors in imaging systems
US6671068B1 (en) 1999-09-30 2003-12-30 Sharp Laboratories Of America, Inc. Adaptive error diffusion with improved edge and sharpness perception
US6441867B1 (en) 1999-10-22 2002-08-27 Sharp Laboratories Of America, Incorporated Bit-depth extension of digital displays using noise
JP4496574B2 (en) 1999-11-15 2010-07-07 セイコーエプソン株式会社 Image processing device, storage device, image processing system, and image processing method
US6697169B1 (en) 1999-12-08 2004-02-24 Sharp Laboratories Of America, Inc. Enhanced error diffusion using a correlated chromatic noise pattern
JP3763397B2 (en) 2000-03-24 2006-04-05 シャープ株式会社 Image processing apparatus, image display apparatus, personal computer, and image processing method
US7221381B2 (en) 2001-05-09 2007-05-22 Clairvoyante, Inc Methods and systems for sub-pixel rendering with gamma adjustment
JP4365105B2 (en) * 2001-05-23 2009-11-18 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ Dithering method and dithering apparatus
US7098927B2 (en) 2002-02-01 2006-08-29 Sharp Laboratories Of America, Inc Methods and systems for adaptive dither structures
JP4420607B2 (en) * 2002-02-01 2010-02-24 シャープ株式会社 Image processing method and image processing apparatus
TWI235000B (en) 2002-09-24 2005-06-21 Mstar Semiconductor Inc Apparatus and method for masking interference noise contained in signal source
US8243093B2 (en) 2003-08-22 2012-08-14 Sharp Laboratories Of America, Inc. Systems and methods for dither structure creation and application for reducing the visibility of contouring artifacts in still and video images
ES2363772T3 (en) 2003-09-23 2011-08-16 Thomson Licensing VIDEO COMFORT NOISE ADDITION TECHNIQUE.
US7352373B2 (en) 2003-09-30 2008-04-01 Sharp Laboratories Of America, Inc. Systems and methods for multi-dimensional dither structure creation and application
US7253819B1 (en) * 2004-04-16 2007-08-07 Majesco Holdings, Inc. Apparatus and method for representing visual information for embedded handheld devices
US7590299B2 (en) * 2004-06-10 2009-09-15 Samsung Electronics Co., Ltd. Increasing gamma accuracy in quantized systems
US7639849B2 (en) * 2005-05-17 2009-12-29 Barco N.V. Methods, apparatus, and devices for noise reduction
US7548177B2 (en) 2006-08-14 2009-06-16 Agilent Technologies, Inc. Multiple FM dither
KR20080066288A (en) * 2007-01-11 2008-07-16 삼성전자주식회사 Image display apparatus and image display method thereof
US7876247B1 (en) 2007-11-29 2011-01-25 Shawn David Hunt Signal dependent dither
US7551341B1 (en) * 2008-01-28 2009-06-23 Dolby Laboratories Licensing Corporation Serial modulation display having binary light modulation stage
JP5206276B2 (en) 2008-02-01 2013-06-12 ソニー株式会社 Gradation conversion device, gradation conversion method, and program
US8451298B2 (en) 2008-02-13 2013-05-28 Qualcomm Mems Technologies, Inc. Multi-level stochastic dithering with noise mitigation via sequential template averaging
EP2099014B1 (en) 2008-03-07 2014-06-18 Barco NV A method and device to enhance image quality in digital video processing systems using dithering
WO2009149552A1 (en) 2008-06-09 2009-12-17 Universite De Montreal Method and module for improving image fidelity
JP5282787B2 (en) 2008-12-03 2013-09-04 富士通株式会社 Display device and display control program
US8416256B2 (en) 2009-03-18 2013-04-09 Stmicroelectronics, Inc. Programmable dithering for video displays
US20120014594A1 (en) * 2009-07-30 2012-01-19 Niranjan Damera-Venkata Method for tone mapping an image
WO2011036735A1 (en) * 2009-09-28 2011-03-31 株式会社ミマキエンジニアリング Program, image processing device, and image processing method
GB2475878A (en) 2009-12-03 2011-06-08 St Microelectronics Obtaining dithered image data word by adding noise contribution
US8766830B2 (en) 2010-04-29 2014-07-01 Agilent Technologies, Inc. Digital waveform synthesizer for NMR phase control
US20120087411A1 (en) 2010-10-12 2012-04-12 Apple Inc. Internal bit depth increase in deblocking filters and ordered dither
JP5685064B2 (en) * 2010-11-29 2015-03-18 株式会社ジャパンディスプレイ Image display device, image display device driving method, image display program, and gradation conversion device
US20120268479A1 (en) * 2011-03-15 2012-10-25 Qualcomm Mems Technologies, Inc. Methods and apparatus for improved dithering on a line multiplied display
US20130046803A1 (en) * 2011-08-18 2013-02-21 Qualcomm Mems Technologies Dither-aware image coding
US9751465B2 (en) 2012-04-16 2017-09-05 Magna Electronics Inc. Vehicle vision system with reduced image color data processing by use of dithering

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06133164A (en) * 1992-10-20 1994-05-13 Fuji Xerox Co Ltd Picture signal processing method and it device
JP2006229264A (en) * 2004-02-09 2006-08-31 Sharp Corp Method and system for adaptive dither structure
JP2006058879A (en) * 2004-08-17 2006-03-02 Sharp Corp Bit-depth extension system and method of digital display via use of model of impulse response of visual system
JP2007208786A (en) * 2006-02-03 2007-08-16 Seiko Epson Corp Generation of dither matrix
JP2010044446A (en) * 2008-08-08 2010-02-25 Canon Inc Image processor, image processing method and program

Also Published As

Publication number Publication date
US20160080712A1 (en) 2016-03-17
CN105164996B (en) 2018-06-05
KR101746491B1 (en) 2017-06-13
TWI546798B (en) 2016-08-21
WO2014178989A1 (en) 2014-11-06
EP2992671B1 (en) 2018-11-28
US9762876B2 (en) 2017-09-12
CN105164996A (en) 2015-12-16
TW201445556A (en) 2014-12-01
JP6220960B2 (en) 2017-10-25
EP2992671A1 (en) 2016-03-09
KR20150138300A (en) 2015-12-09

Similar Documents

Publication Publication Date Title
JP6220960B2 (en) Dithering for chroma subsampled image formats
KR102157032B1 (en) Display management for high dynamic range video
US7474316B2 (en) Bit-depth extension of digital displays via the use of models of the impulse response of the visual system
JP4796064B2 (en) Improving gamma accuracy in quantized display systems.
JP6290392B2 (en) Conversion of images from dual-band sensors into visible color images
JP6451669B2 (en) Evaluation apparatus, evaluation method, and camera system
JP6755048B2 (en) Unevenness evaluation method and unevenness evaluation device
JP5878586B2 (en) Image color adjustment method and electronic apparatus therefor
EP2180688A1 (en) Image processing apparatus, image processing method, and program
US20210152727A1 (en) Image processing apparatus, image capturing apparatus, image processing method, and storage medium
WO2012147879A1 (en) Image processing device, display device, image processing method and image processing program
US9930349B2 (en) Image processing to retain small color/gray differences
US20230206400A1 (en) Gradient adaptive ringing control for image resampling
JP2010068368A (en) Image processing apparatus, image processing method, and program
TWI636686B (en) High dynamic range imaging
Johnson et al. Image appearance modeling
Qiao et al. A Variational Method for Expanding the Bit-Depth of Low Contrast Image
Kim et al. Clipping error rate-adaptive color compensation based on gamut extension for a low-performance camera in a projector-camera system
Fan et al. Increasing contrast resolution and decreasing spatial noise for liquid-crystal displays using digital dithering

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20161114

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161220

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170317

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170905

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171002

R150 Certificate of patent or registration of utility model

Ref document number: 6220960

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250