JP2017220828A - Coding device, imaging apparatus, coding method and program - Google Patents
Coding device, imaging apparatus, coding method and program Download PDFInfo
- Publication number
- JP2017220828A JP2017220828A JP2016114716A JP2016114716A JP2017220828A JP 2017220828 A JP2017220828 A JP 2017220828A JP 2016114716 A JP2016114716 A JP 2016114716A JP 2016114716 A JP2016114716 A JP 2016114716A JP 2017220828 A JP2017220828 A JP 2017220828A
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- unit
- encoding
- encoded
- photoelectric conversion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Studio Devices (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
本発明は、符号化装置、撮像装置、符号化方法及びプログラムに関する。 The present invention relates to an encoding device, an imaging device, an encoding method, and a program.
撮像センサにおいて１画素に対して２つの光電変換部を用い、撮影レンズの異なる瞳を通過した光を受光して画像信号を検出する技術が開発されている。この２つの画像信号には視差があるため、２つの画像の相関量を算出し、像ずれ量を求めることで位相差方式のデフォーカスマップの生成を行うことができる。このような１画素に対して複数の光電変換部を用いて分割された副画素ごとに画像信号を検出できる撮像センサのことを、瞳分割型の撮像センサと呼ぶことができる。 A technique has been developed in which two photoelectric conversion units are used for one pixel in an imaging sensor, and light that has passed through different pupils of a photographing lens is received to detect an image signal. Since these two image signals have parallax, a phase difference type defocus map can be generated by calculating a correlation amount between the two images and obtaining an image shift amount. Such an image sensor that can detect an image signal for each sub-pixel divided using a plurality of photoelectric conversion units for one pixel can be called a pupil-divided image sensor.
また、近年は４ｋテレビや４ｋビデオカメラが市場に出るなど、動画像の高解像度化、高フレームレート化が進んでいる。高解像度化、高フレームレート化にともない、撮像センサからの画像の読み出しデータ量が膨大になっている。このデータ量の増加にともない、撮像センサと画像処理エンジン間の伝送帯域がボトルネックになり、性能向上が図れないという問題がある。 In recent years, 4k televisions and 4k video cameras have been put on the market, and the resolution of moving images and the frame rate have been increasing. Along with higher resolution and higher frame rate, the amount of data read out from the image sensor has become enormous. As the amount of data increases, the transmission band between the image sensor and the image processing engine becomes a bottleneck, and there is a problem that performance cannot be improved.
そこで、撮像センサ内で画像データを符号化して圧縮することにより、撮像センサからの読み出しデータ量を削減するという方法が提案されている（特許文献１参照）。撮像センサ内での符号化を行う場合、処理の遅延が少なく、なるべく簡易的な回路で構成されることが望ましい。こういった処理に適した符号化方法として、DPCM（Differential Pulse Code Modulation）符号化方式がある（特許文献２参照）。DPCM符号化方式は、画像の空間的な相関性の高さを生かして、画素差分を取ることにより圧縮を行う方式であり、比較的簡単な回路で構成することができる。 Therefore, a method has been proposed in which image data is encoded and compressed in the image sensor to reduce the amount of data read from the image sensor (see Patent Document 1). When encoding is performed in the imaging sensor, it is desirable that the processing delay is small and the circuit is configured as simple as possible. As an encoding method suitable for such processing, there is a DPCM (Differential Pulse Code Modulation) encoding method (see Patent Document 2). The DPCM encoding method is a method of performing compression by taking advantage of the high spatial correlation of an image and taking a pixel difference, and can be configured with a relatively simple circuit.
しかし、瞳分割型の撮像センサを用いて取得した複数の画像に対してDPCM方式を用いて符号化を行う場合、複数の画像は互いに類似しているので、その相関性の高さを生かさなければ符号化効率が低下してしまう。 However, when encoding using the DPCM method for multiple images acquired using a pupil-division-type imaging sensor, the multiple images are similar to each other. If this is the case, the encoding efficiency will be reduced.
そこで、本発明は、瞳分割型の撮像センサを用いて取得した複数の画像に対して、より効率的な圧縮符号化を可能とする技術を提供する。 Therefore, the present invention provides a technique that enables more efficient compression encoding of a plurality of images acquired using a pupil division type imaging sensor.
上記課題を解決するための発明は、符号化装置であって、
それぞれが複数の光電変換部を有する単位画素が複数配置された撮像手段からの画像データを入力する入力手段と、
前記画像データにおける、前記光電変換部にそれぞれ対応した複数の画素のデータを符号化する符号化手段であって、予測画素のデータを用いて符号化対象の画素のデータを符号化する符号化手段とを有し、
前記符号化手段は、前記符号化対象の画素と同じ前記単位画素における他の光電変換部に対応した画素と、前記符号化対象の画素を含む単位画素に隣接する単位画素の光電変換部に対応した画素の一方を、前記予測画素として選択することを特徴とする。
An invention for solving the above-described problem is an encoding device,
Input means for inputting image data from an imaging means in which a plurality of unit pixels each having a plurality of photoelectric conversion units are arranged;
Encoding means for encoding data of a plurality of pixels respectively corresponding to the photoelectric conversion units in the image data, and encoding means for encoding data of pixels to be encoded using prediction pixel data And
The encoding unit corresponds to a pixel corresponding to another photoelectric conversion unit in the same unit pixel as the pixel to be encoded, and a photoelectric conversion unit of a unit pixel adjacent to the unit pixel including the pixel to be encoded. One of the selected pixels is selected as the predicted pixel.
本発明によれば、瞳分割型の撮像センサを用いて取得した複数の画像に対して効率的な圧縮符号化を行うことができる。 According to the present invention, efficient compression coding can be performed on a plurality of images acquired using a pupil division type imaging sensor.
以下、図面を参照しながら本発明の好適な実施の形態を説明する。 Hereinafter, preferred embodiments of the present invention will be described with reference to the drawings.
［実施形態１］
以下、発明の実施形態に対応するカメラシステムの構成を説明する。図１は発明の実施形態におけるカメラシステム１０の構成の一例を示す図である。カメラシステム１０は、撮像装置１００と、画像処理装置１１０とを含んで構成される。図１のカメラシステム１０において、各ブロックは、撮像素子や表示素子のような物理的デバイスを除き専用のデバイス、ロジック回路やメモリを用いてハードウェア的に構成されてもよい。或いは、メモリに記憶されている処理プログラムをＣＰＵ等のコンピュータが実行することにより、ソフトウェア的に構成されてもよい。カメラシステム１０は例えばデジタルカメラとして実施することができるが、それ以外にも、例えばパーソナルコンピュータ、携帯電話、スマートフォン、ＰＤＡ、タブレット端末、デジタルビデオカメラなど、撮像機能を有する任意の装置とすることができる。以下、カメラシステム１０の各構成要素の構成及び機能について説明する。
[Embodiment 1]
The configuration of the camera system corresponding to the embodiment of the invention will be described below. FIG. 1 is a diagram illustrating an example of a configuration of a
まず、本実施形態において、撮像装置１００は瞳分割型撮像装置であり、光学系１０１、撮像素子部１０２、Ａ（アナログ）／Ｄ（デジタル）変換器１０３、画像バッファ１０４、撮像画素符号化部１０５を含む。光学系１０１は複数のレンズ群と絞り機構からなり、フォーカスレンズ（測距用レンズ）、ズーム用レンズ及び絞り機構を含むことができる。被写体から反射した入射光は光学系１０１を介して撮像素子部１０２で受光される。撮像素子部１０２は、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）や、ＣＣＤ（Charge Coupled Device）で構成され、アナログ画像データをＡ／Ｄ変換器１０３に出力する。Ａ／Ｄ変換器１０３は、アナログ信号をデジタル信号に変換し、デジタル画像データを画像バッファ１０４へ出力する。
First, in the present embodiment, the
画像バッファ１０４には、符号化対象となる複数画素の画像データが入力される。画像バッファ１０４は、画素の符号化が行われるまで画素を保持しておく。同一画素成分の複数画素を一つの単位として符号化が行われる。本実施形態では、横方向ｎ画素を含む画素ブロックを一つの単位として符号化を行う例について説明する。符号化を行う画素ブロックの単位は、何画素単位でもよい。撮像画素符号化部１０５は、画像バッファ１０４に保持されている符号化対象画素を符号化し、符号化ストリームを生成する。撮像画素符号化部１０５は、符号化ストリームを画像処理装置１１０に出力する。符号化の詳細は、後に説明する。また、撮像素子部１０２、Ａ／Ｄ変換部１０３、画像バッファ１０４、及び撮像画素符号化部１０５を、一つの半導体集積回路チップとして構成することも可能である。
The
画像処理装置１１０は、撮像装置１００から受け取った符号化ストリームから、撮像画素復号部１１１が画像データを復号する。画像処理部１１２は、復号された画像データに対し、歪補正や色変換などの画像処理を実施する。また、画像処理部１１２は、画像データに基づいてデフォーカスマップの作成や、絞り値の決定等も行う。画像処理部１１２はまた、画像データを解析して絞り値の他に、露光時間、ピント位置等を決定し、これらを光学系の各構成要素を制御する制御部にフィードバックする。これにより、被写体像を常に適切な露出、ピント位置で捉え続けることが可能である。画像処理部１１２は、画像処理後の画像データを符号化部１１３に出力する。符号化部１１３は、画像データの圧縮符号化を行う。符号化部１１３での画像圧縮は、動画像であればH.264などの符号化方式に従って実施される。符号化部１１３は、符号化後の符号化ストリームを記録メディア１１４に出力し、記録を行う。
In the
次に、図２を参照し、撮像素子部１０２の構成を説明する。図２は、本実施形態における撮像素子部１０２の構成例を示す図である。図２（ａ）は撮像素子部１０２を正面から見た場合の、２次元の画素配列を説明する図である。撮像素子部１０２は、２つの光電変換部を有する単位画素２００が縦横に整列した状態で画素領域２０５に複数配置されて構成されている。本実施形態では、説明の簡単のため画素領域２０５が水平７画素×垂直６画素の水平垂直配列から構成される例を示したが、実用上はさらに多数の画素が配置される。なお、以下特に断りのない限りは、本明細書を通じて、画素領域２０５の左上の単位画素２００を第１列目（ｘ＝１）、第１行目（ｙ＝１）の画素と定義する。
Next, the configuration of the
単位画素２００は、図２（ｂ）に示すように入射光を受光して電気信号に変換する一対の光電変換部２０１と２０２とを有するように構成され、その上部にカラーフィルタ２０３とマイクロレンズ２０４とが設けられている。各単位画素のカラーフィルタ２０３として、ベイヤー配列に対応した色のフィルタが割り当てられる。よって、奇数行の画素には、左から順に緑（Ｇ）と赤（Ｒ）のカラーフィルタが交互に設けられる。また、偶数行の画素には、左から順に青（Ｂ）と緑（Ｇ）のカラーフィルタが交互に設けられる。撮像画素符号化部１０５は、赤（Ｒ）の複数画素ごとや、青（Ｂ）の複数画素ごとのように、同一画素成分の複数画素について符号化を行う。
As shown in FIG. 2B, the
このような単位画素２００の構成において、光電変換部２０１、２０２はそれぞれ射出瞳における別々の領域の光を受光する。よって、光電変換部２０１と２０２の出力信号を比較することで位相差の検知が可能となる。ここで、光電変換部２０１により光電変換された画像信号に対応する第１の画像をＡ像、光電変換部２０２により光電変換された画像信号に対応する第２の画像をＢ像と、それぞれ称する。
In such a configuration of the
本実施形態では、光電変換部２０１及び２０２から出力されるＡ像、Ｂ像のデータは、Ａ／Ｄ変換器１０３に対して１画素単位でＡ像とＢ像とが交互に入力される構成としている。また、本実施形態では、同一の単位画素内ではＡ像がＢ像よりも符号化順序で先行する。これ以外に、複数画素単位でＡ像とＢ像を交互に入力する構成や、１行単位でＡ像とＢ像とを交互に入力する構成としてもよい。また、Ｂ像の代わりにＡ像とＢ像とを加算したＡ＋Ｂ像を入力する構成としてもよい。この場合、画像バッファ１０４には、Ａ像とＡ＋Ｂ像とが格納されることになる。また、撮像画素符号化部１０５は、Ａ＋Ｂ像を読み出した後、同一位置のＡ像を減算することによりＢ像を生成し、符号化することができる。
In the present embodiment, the A image and B image data output from the
次に、図３を参照して、画像バッファ１０４に格納される画素について説明する。図３は、本実施形態における撮像画素符号化部１０５が符号化を行う前に画像バッファ１０４に格納されている一つのブロックの画素の関係を説明するための図である。ここで、撮像素子部１０２において水平方向位置がx、垂直方向位置がyにある位置の画素のＡ像の画素値をＡ(ｘ、ｙ)、Ｂ像の画素値をＢ(ｘ、ｙ)と表記する。図３では、画素位置（ｘ、ｙ）から（ｘ＋ｎ−１、ｙ）の同一行のＡ像ｎ画素、Ｂ像ｎ画素のＡ像及びＢ像の各画素が画像バッファ１０４に格納されており、これらの画素に対して符号化を行うものとする。このように本実施形態の撮像画素符号化部１０５が実行する符号化処理では、入力画像データを所定数の画素で構成されるブロック（以下、「符号化ブロック」という）に分割し、符号化ブロック単位に符号化を行うものとする。
Next, the pixels stored in the
次に、図４を参照して、撮像画素符号化部１０５での符号化動作について説明する。図４は、本実施形態に対応する撮像画素符号化部１０５の構成例を示す。まず、入力された画像データは１画素ずつ量子化部４０１に送られ、量子化処理が行われる。量子化処理に用いる量子化パラメータは、例えば、符号化ブロックの符号量が所定の符号量になるように量子化制御部４０２で符号化単位ごとに決定され、量子化部４０１に設定される。量子化後のデータと、画像バッファ４０３に格納されている量子化済みのデータ（予測データ）との差分が可変長符号化部４０４に送られる。また量子化後のデータは、次の画素のための予測データとして使用するため、画像バッファ４０３に格納される。以下、符号化対象の画素を符号化するために使用される予測データを予測画素という。
Next, the encoding operation in the imaging
可変長符号化部４０４は、差分データに対して所定の可変長符号化方式に従う可変長符号化を行う。所定の可変長符号化方式には、例えばハフマン符号、ゴロム符号などが含まれる。この可変長符号化方式では、入力値が０の場合に最も短い符号長の符号データが割り当てられており、入力値の絶対値が大きくなるほど、符号データの符号長は長くなる。可変長符号化後の符号化データは、DPCM方式の符号化データとして多重化部４０５に送られる。ここで、ブロックの先頭画素のように予測画像が存在しない等の条件により、量子化後のデータをPCM方式の符号化データとして多重化部４０５に送る場合もある。即ち、ブロックの先頭の画素を符号化する際には量子化部４０１からのデータを選択して多重化部４０５に出力し、ブロックの先頭以外の画素を符号化する際には可変長符号化部４０４からの符号化データを選択して多重化部４０５に出力する。多重化部４０５では、符号化ブロックに含まれる各画素の符号化データと量子化制御部４０２から送られてくる量子化パラメータとを１本のストリームとして多重化し、符号化ストリームとして出力する。
The variable
次に、画像バッファ１０４に格納された画素の符号化処理手順を、図５を参照して説明する。図５は、発４の実施形態に対応するＡ像及びＢ像の画素の符号化手順を説明するための図である。まず、符号化対象の画素は、図３で示したＡ（ｘ、ｙ）〜Ａ（ｘ＋ｎ−１、ｙ）のｎ画素、およびＢ（ｘ、ｙ）〜Ｂ（ｘ＋ｎ−１、ｙ）のｎ画素である。本実施形態では、同一単位画素において符号化順序が最初（先）となるＡ像の画素について、符号化ブロック内の全てのＡ像の画素をまず符号化する。このとき、符号化対象のＡ像の画素と空間的に隣接する他の単位画素のＡ像の画素との差分を算出する。次いで、符号化済みの同一単位画素のＡ像の画素を使って、対応するＢ像の画素を順に符号化する。
Next, the encoding processing procedure of the pixels stored in the
本実施形態では、Ａ像のｎ画素が１画素ずつ順番に画像バッファ１０４から撮像画素符号化部１０５に入力され、符号化が行われる。このとき、図５（ａ）に示すように、ブロックの先頭画素（ブロック内でｘが最小値となる画素）Ａ（ｘ、ｙ）は、予測画素が存在しないので予測画素との差分を取らずに量子化後にPCM符号化データとして、そのまま多重化部４０５に出力する。また、図５では、Ａ（ｘ、ｙ）の量子化後のデータをＡＱ（ｘ、ｙ）、同様にＢ（ｘ、ｙ）の量子化後のデータをＢＱ（ｘ、ｙ）と表記している。量子化後のデータであるＡＱ（ｘ、ｙ）は、画像バッファ４０３に格納される。
In the present embodiment, n pixels of the A image are sequentially input from the
次に２番目以降の画素については、まず図５（ｂ）に示すように、次の画素であるＡ（ｘ＋１、ｙ）の符号化時は、当該画素が属する単位画素に隣接する単位画素（隣接位置）のＡ像の符号化済みのデータであるＡＱ（ｘ、ｙ）を予測データに用いる。Ａ（ｘ、ｙ）の量子化後のデータであるＡＱ（ｘ＋１、ｙ）と予測データＡＱ（ｘ、ｙ）との間で差分を取り、可変長符号化が行われ、DPCM符号化データとして符号化する。これ以降は、図５（ｃ）に示すように、同様にしてＡ（ｘ＋２、ｙ）からＡ（ｘ＋ｎ−１、ｙ）まで、隣接する単位画素のＡ像の符号化済みのデータを予測画素として符号化を行う。 Next, for the second and subsequent pixels, as shown in FIG. 5 (b), when encoding the next pixel A (x + 1, y), a unit pixel adjacent to the unit pixel to which the pixel belongs ( AQ (x, y), which is encoded data of the A image at the (adjacent position), is used as the prediction data. A difference is taken between AQ (x + 1, y), which is data after quantization of A (x, y), and prediction data AQ (x, y), variable length coding is performed, and DPCM encoded data is obtained. Encode. Thereafter, as shown in FIG. 5C, similarly, encoded data of A image of adjacent unit pixels from A (x + 2, y) to A (x + n-1, y) is predicted pixels. Is encoded as follows.
Ａ像についてＡＱ（ｘ、ｙ）)からＡＱ（ｘ＋ｎ−１、ｙ）までが画像バッファ４０３に格納されると、次はＢ像の画素の符号化を行う。Ｂ像のｎ画素が１画素ずつ順番に画像バッファ１０４から撮像画素符号化部１０５に入力され、符号化が行われる。本実施形態におけるＢ像の符号化処理では、予測画素として、隣接する単位画素のＢ像の符号化済みのデータではなく、同一単位画素内（同一位置）の符号化済みのＡ像の符号化済みのデータを用いる。これは、図２に示すようにＢ像同士の隣接位置の画素よりも、同一位置のＡ像とＢ像の画素の方が距離が近いため、より相関が高くなり、符号化効率を高めることができるからである。
When AQ (x, y)) to AQ (x + n-1, y) are stored in the
図５（ｄ）に示すように、Ｂ（ｘ、ｙ）の符号化時には、予測画素として同一単位画素（ｘの値が同一）のA像の符号化済みのデータ、すなわちＡＱ（ｘ、ｙ）が用いられる。Ｂ（ｘ、ｙ）の量子化後のデータであるＢＱ（ｘ、ｙ）と予測画素ＡＱ（ｘ、ｙ）との間で差分を取り、可変長符号化が行われ、DPCM符号化データが生成される。これ以降は、図５（ｅ）に示すように、同様にしてＢ（ｘ、ｙ）)からＢ（ｘ＋ｎ−１、ｙ）まで、符号化対象のＢ像の画素と同一単位画素のＡ像の符号化済みデータを予測画素として符号化が行われ、Ａ像ｎ画素、Ｂ像ｎ画素の符号化ストリームが作成される。 As shown in FIG. 5D, at the time of encoding B (x, y), the encoded data of the A image of the same unit pixel (same value of x) as the predicted pixel, that is, AQ (x, y ) Is used. A difference is taken between BQ (x, y), which is data after quantization of B (x, y), and the predicted pixel AQ (x, y), variable length coding is performed, and DPCM encoded data is Generated. Thereafter, as shown in FIG. 5 (e), in the same way, from B (x, y)) to B (x + n-1, y), an A image of the same unit pixel as the B image pixel to be encoded. Are encoded using the encoded data as prediction pixels, and encoded streams of A image n pixels and B image n pixels are created.
本実施形態において撮像画素符号化部１０５の構成、符号化方法は、上述の構成、方法に限ったものではなく、画素差分を用いた符号化方式であれば、どんなものを用いてもよい。例えば、画素差分を取った後に量子化処理を行うような方式を用いてもよい。また撮像画素復号部１１１は、撮像画素符号化部１０５の符号化方式に対応させた復号方式を用いれば、どのような構成をとってもよい。
In the present embodiment, the configuration and encoding method of the imaging
以上のように、本実施形態では、瞳分割型の撮像センサのＡ像の画素とＢ像の画素を、画素差分を用いて符号化を行う方式において、同一単位画素内のＡ像とＢ像とで参照する画素を切替えることができる。具体的に、Ａ像を符号化する場合には、隣接単位画素のＡ像の符号化済みのデータを予測データとして使用する一方、B像を符号化する場合は、同一単位画素内のA像の符号化済みのデータを予測データとして使用する。これにより、同一の単位画素に含まれる光電変換部から生成された画素の相関性の高さを生かすことができ、符号化効率を高めることができる。 As described above, in the present embodiment, the A image and the B image in the same unit pixel in the method of encoding the pixel of the A image and the pixel of the B image of the pupil division type imaging sensor using the pixel difference. The pixel to be referred to can be switched with. Specifically, when encoding an A image, encoded data of an A image of an adjacent unit pixel is used as prediction data, while when encoding a B image, an A image in the same unit pixel is used. Are used as prediction data. Thereby, the high correlation of the pixel produced | generated from the photoelectric conversion part contained in the same unit pixel can be utilized, and encoding efficiency can be improved.
［実施形態２］
実施形態１では、B像の符号化時に予測画素として同一位置のＡ像の符号化済みデータを用いた。これに対し本実施形態では、B像の符号化時の予測画素として、同一位置のA像の符号化済みデータと、隣接位置のB像の符号化済みデータとのいずれかを選択して用いる場合を説明する。本実施形態２と上述の実施形態１との相違点は、撮像画素符号化部１０５の構成にあり、その他の機能ブロックの構成及び動作については実施形態１と同様であるため説明は省略する。
[Embodiment 2]
In the first embodiment, encoded data of an A image at the same position is used as a prediction pixel when encoding a B image. On the other hand, in the present embodiment, either the encoded data of the A image at the same position or the encoded data of the B image at the adjacent position is selected and used as a prediction pixel at the time of encoding the B image. Explain the case. The difference between the second embodiment and the first embodiment described above lies in the configuration of the imaging
本実施形態に対応する撮像画素符号化部１０５の構成例を図６に示す。図４に示した実施形態１における撮像画素符号化部１０５との違いは、予測画素選択部６０１が追加されている点である。本実施形態でも、実施形態１と同様、符号化ブロックとして同一行の（ｘ、ｙ）から（ｘ＋ｎ−１、ｙ）の画素位置にあるＡ（ｘ、ｙ）)からＡ（ｘ＋ｎ−１、ｙ）のＡ像ｎ画素、およびＢ（ｘ、ｙ）)からＢ（ｘ＋ｎ−１、ｙ）のＢ像ｎ画素を符号化する場合について説明する。
A configuration example of the imaging
まず、Ａ（ｘ、ｙ）からＡ（ｘ＋ｎ−１、ｙ）のＡ像ｎ画素については符号化順に従い、隣接位置のＡ像の符号化済みのデータを予測画素として符号化を行う。次に、Ｂ像の先頭画素であるＢ（ｘ、ｙ）は、同一位置のＡ像の符号化済みのデータであるＡＱ（ｘ、ｙ）を予測画素として符号化を行う。次に、Ｂ像の次の画素であるＢ（ｘ＋１、ｙ）のための予測画素は、同一位置のＡ像の符号化済みのデータであるＡＱ（ｘ＋１、ｙ）と、隣接位置のＢ像の符号化済みのデータであるＢＱ（ｘ、ｙ）から選択する。 First, the A image n pixels from A (x, y) to A (x + n−1, y) are encoded in accordance with the encoding order using the encoded data of the A image at the adjacent position as a prediction pixel. Next, B (x, y), which is the first pixel of the B image, is encoded using AQ (x, y), which is encoded data of the A image at the same position, as a prediction pixel. Next, the prediction pixel for B (x + 1, y), which is the next pixel of the B image, is AQ (x + 1, y), which is the encoded data of the A image at the same position, and the B image at the adjacent position. Are selected from BQ (x, y) which is already encoded data.
このときＡ像とＢ像のいずれかの符号化済みデータを予測画素として選択するための、本実施形態に対応する選択方法を説明する。予測画素選択部６０１には、符号化対象画素であるＢ（ｘ＋１、ｙ）を量子化したＢＱ（ｘ＋１、ｙ）と予測画素候補であるＡＱ（ｘ＋１、ｙ）、ＢＱ（ｘ、ｙ）が入力される。予測画素選択部６０１は、符号化コストとしてそれぞれの予測画素候補との差分絶対値を算出し、差分絶対値の小さくなる符号化済み画素を予測画素として選択する。
At this time, a selection method corresponding to the present embodiment for selecting encoded data of either the A image or the B image as a prediction pixel will be described. The prediction
すなわち、予測画素選択部６０１は、|ＢＱ（ｘ＋１、ｙ）−ＡＱ（ｘ＋１、ｙ）|と|ＢＱ（ｘ＋１、ｙ）−ＢＱ（ｘ、ｙ）|とをそれぞれ算出する。そして、２つの算出値を比較し、|ＢＱ（ｘ＋１、ｙ）−ＡＱ（ｘ＋１、ｙ）|の方が小さければ同一位置のＡ像の符号化済みのデータを予測画素として選択する。一方、|ＢＱ（ｘ＋１、ｙ）−ＢＱ（ｘ、ｙ）|の方が小さければ隣接位置のＢ像の符号化済みのデータを予測画素として選択する。
That is, the prediction
選択結果は、画像バッファ４０３に出力され画像バッファ４０３から読み出す画素を選択するために使用される。このようにして画像バッファ４０３から選択され、出力された予測画素と、符号化対象画素の量子化結果との差分が可変長符号化部４０４に出力され、可変長符号化が実行される。
The selection result is output to the
また、予測画素選択部６０１は、Ａ像とＢ像のうちのどちらの予測画素を使用して符号化したのかの情報（予測情報）を多重化部４０５に送る。それ以降のB像のB(x+2,y)〜B(x+n-1,y)の画素についても同様に符号化を行う。多重化部４０５では、符号化データ、量子化パラメータとともに各画素の予測情報を多重化し、符号化ストリームとして出力する。
Further, the prediction
以上のように、本実施形態では同一位置のA像の画素を予測画素として用いる場合と、隣接位置のB像の画素を予測画素として用いる場合とを比較し、符号化コストの小さい方を選択することにより、符号化効率を高めることができる。 As described above, in this embodiment, the case where the pixel of the A image at the same position is used as the prediction pixel is compared with the case where the pixel of the B image at the adjacent position is used as the prediction pixel, and the one with the lower encoding cost is selected By doing so, encoding efficiency can be improved.
また、本実施形態においてはB像の予測画素として同一位置のA像を用いるか、隣接位置のB像を用いるかの予測情報を１画素ごとに符号化ストリームに付加したが、符号化ブロックごと共通で使用する単一の予測情報を１つ付加する構成にしてもよい。その場合、符号化ブロック内のｎ個のＢ画素について、あらかじめ同一位置のA像を予測画素とした場合の全体コスト、隣接位置のB像を予測画素とした場合の全体コストをそれぞれ算出し、符号化効率が良い方を選択すればよい。この点は、以下の実施形態でも同様である。 Further, in the present embodiment, prediction information indicating whether the A image at the same position or the B image at the adjacent position is used as the prediction pixel of the B image is added to the encoded stream for each pixel. A configuration may be adopted in which one piece of single prediction information used in common is added. In that case, for n B pixels in the coding block, the total cost when the A image at the same position is set as the prediction pixel in advance and the total cost when the B image at the adjacent position is set as the prediction pixel are respectively calculated. The one with the better coding efficiency may be selected. This also applies to the following embodiments.
［実施形態３］
本実施形態では、実施形態２の変形例として、Ｂ像の画素を符号化する場合に、Ａ像とＢ像のいずれかの符号化済みデータを予測画素として選択するための他の選択方法について説明する。具体的に、実施形態２では差分絶対値に基づき予測画素を選択したが、本実施形態では、符号化対象の画素が含まれる領域が合焦領域か否かに基づき予測画素を選択する場合を説明する。以下、上述の実施形態との相違部分について説明する。
[Embodiment 3]
In the present embodiment, as a modification of the second embodiment, when a B image pixel is encoded, another selection method for selecting encoded data of either the A image or the B image as a predicted pixel is described. explain. Specifically, in the second embodiment, the prediction pixel is selected based on the absolute difference value. However, in the present embodiment, the prediction pixel is selected based on whether or not the region including the pixel to be encoded is a focused region. explain. Hereinafter, differences from the above-described embodiment will be described.
図２に示すように、同一の単位画素から得られた同一位置のA像とB像は、隣接する単位画素のB像同士と比較して、空間的な距離が近いため、画素値の相関性が高いと考えられる。ただし、A像とB像とでは視差があるため、ピントがあっている（合焦）部分に関しては相関が高くなるが、ピントがあっていない（非合焦）部分に関しては、必ずしも相関が高くなるとは限らない。このことに鑑み、本実施形態では、処理対象の単位画素が属する領域がピントの合っている画素領域かどうかに応じて、予測画素の選択を自動的に行う。 As shown in FIG. 2, since the A and B images at the same position obtained from the same unit pixel are closer in spatial distance than the B images of adjacent unit pixels, the correlation of pixel values It is considered that the nature is high. However, because there is parallax between the A and B images, the correlation is high for the focused (focused) part, but the correlation is not necessarily high for the unfocused (unfocused) part. Not necessarily. In view of this, in the present embodiment, the prediction pixel is automatically selected depending on whether or not the region to which the unit pixel to be processed belongs is a focused pixel region.
本実施形態のカメラシステムの構成例を図７に示す。実施形態１との差異は、合焦検出部７０２を備えること、および合焦検出部７０２から撮像画素符号化部７０１へ、画素領域２０５のうちのどの領域にピントが合っているかのフォーカス領域情報が渡されることである。また、撮像画素符号化部７０１は、フォーカス領域情報を用いて予測画素を選択するように動作する。
A configuration example of the camera system of the present embodiment is shown in FIG. The difference from
画像処理部１１２は、符号化対象画素が含まれるフレーム画像の一つ前のフレーム画像のA像とB像の情報からデフォーカスマップを生成する。画像処理部１１２はデフォーカスマップを合焦検出部７０２に提供する。合焦検出部７０２は、取得したデフォーカスマップに基づいて、所定のデフォーカス量を閾値として、画素領域２０５を、ピントが合っている合焦領域とピントが合ってない非合焦領域とをそれぞれ特定する。合焦検出部７０２は、このピントが合っている合焦領域の情報をフォーカス領域情報として、撮像画素符号化部７０１へ出力する。
The
撮像画素符号化部７０１の構成例は図６（ｂ）に示す通りである。実施形態２の図６（ａ）の構成と相違点は、予測画素選択部６０２にフォーカス領域情報が入力され、それを用いて予測画素を選択する点である。本実施形態でも実施形態１と同様、(ｘ、ｙ）〜（ｘ＋ｎ−１、ｙ）の画素位置にある同一行のＡ（ｘ、ｙ）からＡ（ｘ＋ｎ−１、ｙ）のＡ像ｎ画素、およびＢ（ｘ、ｙ）〜Ｂ（ｘ＋ｎ−１、ｙ）のＢ像ｎ画素からなる符号化ブロックについて符号化を行う場合を説明する。まず、Ａ（ｘ、ｙ）〜Ａ（ｘ＋ｎ−１、ｙ）のＡ像ｎ画素については上述の実施形態と同様に隣接位置のＡ像の符号化済みのデータを予測画素として符号化を行う。次に、B像の先頭画素であるＢ（ｘ，ｙ）は、同一位置のA像の符号化済みのデータであるＡＱ（ｘ、ｙ）を予測画素として符号化を行う。次のＢ（ｘ＋１、ｙ）からＢ（ｘ＋ｎ−１、ｙ）を符号化する場合に、フォーカス領域情報を用いて予測画素の選択を行う。
A configuration example of the imaging
予測画素選択部６０２は、これから符号化を行うB(x+1,y)の位置情報、およびフォーカス領域情報から、符号化対象画素であるＢ（ｘ＋１、ｙ）が合焦領域に含まれるか否か（当該画素に対してピントが合っている状態か）どうかを判定する。予測画素選択部６０２は、処理対象画素が合焦領域に含まれると判定すると、同一の単位画素のA像の符号化済みのデータであるＡＱ（ｘ＋１、ｙ）を予測画素として符号化を行う。一方、予測画素選択部６０２は処理対象画素が合焦領域に含まれていないと判定すると、隣接位置のB像の符号化済みのデータであるＢＱ（ｘ、ｙ）を予測画素として符号化を行う。同様にして、Ｂ（ｘ＋ｎ−１、ｙ）まで、処理対象画素が合焦領域に含まれているかに応じて予測画素の選択を行い、符号化を行う。
The predicted
以上のように、処理対象の画素に対してピントが合っている状態かどうかに応じて、自動的に相関性の高い予測画素を選択することにより、符号化効率を高めることができる。 As described above, encoding efficiency can be increased by automatically selecting a predictive pixel having a high correlation depending on whether or not the pixel to be processed is in focus.
［実施形態４］
本実施形態では、実施形態２の更なる変形例として、Ｂ像の画素を符号化する場合に、Ａ像とＢ像のいずれかの符号化済みデータを予測画素として選択するための他の選択方法について説明する。具体的に、実施形態３ではフォーカス領域情報に基づき予測画素を選択したが、本実施形態では、絞り情報を用いて予測画素を選択する場合を説明する。以下、上述の実施形態との相違部分について説明する。
[Embodiment 4]
In the present embodiment, as a further modification of the second embodiment, when the B image pixel is encoded, another selection for selecting encoded data of either the A image or the B image as the prediction pixel is performed. A method will be described. Specifically, in the third embodiment, the prediction pixel is selected based on the focus area information. However, in the present embodiment, a case where the prediction pixel is selected using the aperture information will be described. Hereinafter, differences from the above-described embodiment will be described.
実施形態３で説明したように、合焦領域に属する画素ではA像とB像との画素値の相関性が高い。そして絞り情報に基づけば画素領域２０５のどの部分でピントが合っているかが推測できるので、本実施形態では、絞り情報に応じて予測画素の選択を行う。具体的に、絞り値が大きい場合は、被写界深度は深くなり画像領域中のほとんどの部分でピントが合っている状態になると考えられる。一方、絞り値が小さい場合は、被写界深度は浅くなり画像領域中でピントが合っている領域が少なくなると考えられる。そこで、絞り値が所定の閾値以上の場合、B像の符号化時に予測画素として同一位置のA像の符号化済みのデータを用いる。一方、絞り値が所定の閾値よりも小さい場合、B像の符号化時に予測画素として隣接位置のB像の符号化済みのデータを用いる。
As described in the third embodiment, the correlation between the pixel values of the A and B images is high in the pixels belonging to the in-focus area. Then, based on the aperture information, it can be inferred in which part of the
絞り値は、例えば画像処理部１１２が、処理対象の画素が含まれるフレーム画像の一つ前のフレーム画像を解析して決定することができる。本実施形態では、画像処理部１１２が絞り値を実施形態３のフォーカス領域情報の代わりに予測画素選択部６０２に提供する。予測画素選択部６０２は、画像処理部１１２から取得した絞り値を所定の閾値と比較して、フレーム画像単位にＡ像とＢ像とのいずれかを選択する。或いは、画像処理部１１２が予め所定の閾値との比較を行ってＡ像とＢ像とのいずれかを使用するかを決定し、Ａ像またはＢ像を指定する信号を予測画素選択部６０２に提供してもよい。
The aperture value can be determined by, for example, the
このようにして、絞り情報を用いることで、予測画素として相関性の高い画素を選択することができる。なお、画像全域で絞り値は同一となるので、予測画素として同一位置のＡ像の符号化後の画素値を用いるのか、隣接位置のＢ像の符号化後の画素値を用いるのかの予測情報はフレーム画像全体について１回だけ送ればよい。 In this way, by using the aperture information, it is possible to select a highly correlated pixel as a predicted pixel. Note that since the aperture value is the same throughout the entire image, prediction information as to whether the pixel value after encoding of the A image at the same position is used as the prediction pixel or the pixel value after encoding of the B image at the adjacent position is used. Need only be sent once for the entire frame image.
以上のように、本実施形態では、絞り値に応じて自動的に相関性の高い予測画素を選択することにより、符号化効率を高めることができる。 As described above, in this embodiment, encoding efficiency can be increased by automatically selecting a predictive pixel having high correlation according to the aperture value.
１００ 撮像装置、１１０ 画像処理装置 100 imaging device, 110 image processing device
Claims (14)
前記画像データにおける、前記光電変換部にそれぞれ対応した複数の画素のデータを符号化する符号化手段であって、予測画素のデータを用いて符号化対象の画素のデータを符号化する符号化手段と
を有し、
前記符号化手段は、前記符号化対象の画素と同じ前記単位画素における他の光電変換部に対応した画素と、前記符号化対象の画素を含む単位画素に隣接する単位画素の光電変換部に対応した画素の一方を、前記予測画素として選択する
ことを特徴とする符号化装置。 Input means for inputting image data from an imaging means in which a plurality of unit pixels each having a plurality of photoelectric conversion units are arranged;
Encoding means for encoding data of a plurality of pixels respectively corresponding to the photoelectric conversion units in the image data, and encoding means for encoding data of pixels to be encoded using prediction pixel data And
The encoding unit corresponds to a pixel corresponding to another photoelectric conversion unit in the same unit pixel as the pixel to be encoded, and a photoelectric conversion unit of a unit pixel adjacent to the unit pixel including the pixel to be encoded. One of the selected pixels is selected as the predicted pixel.
前記符号化手段は、
前記符号化対象の画素が前記合焦領域に含まれる単位画素の画素である場合、前記同一の単位画素における他の光電変換部に対応した画素を前記予測画素として選択し、
前記符号化対象の画素が前記合焦領域に含まれる単位画素の画素でない場合、前記隣接する単位画素の光電変換部に対応した画素を前記予測画素として選択する
ことを特徴とする請求項４に記載の符号化装置。 Further comprising specifying means for specifying a focus area among pixel areas in which a plurality of unit pixels are arranged;
The encoding means includes
When the pixel to be encoded is a pixel of a unit pixel included in the in-focus area, a pixel corresponding to another photoelectric conversion unit in the same unit pixel is selected as the prediction pixel,
5. The pixel corresponding to the photoelectric conversion unit of the adjacent unit pixel is selected as the prediction pixel when the encoding target pixel is not a pixel of a unit pixel included in the in-focus area. The encoding device described.
前記符号化手段は、
前記絞り値が所定の閾値以上の場合に、前記同一の単位画素における他の光電変換部に対応した画素を前記予測画素として選択し、
前記絞り値が所定の閾値より小さい場合に、前記隣接する単位画素の光電変換部に対応した画素を前記予測画素として選択する
ことを特徴とする請求項４に記載の符号化装置。 An acquisition means for acquiring information on an aperture value of an optical system when the imaging means performs imaging;
The encoding means includes
When the aperture value is greater than or equal to a predetermined threshold, select a pixel corresponding to another photoelectric conversion unit in the same unit pixel as the prediction pixel,
The encoding apparatus according to claim 4, wherein when the aperture value is smaller than a predetermined threshold, a pixel corresponding to a photoelectric conversion unit of the adjacent unit pixel is selected as the prediction pixel.
前記選択された予測画素に関する情報は、前記符号化ストリームごとに単一の情報が設定されることを特徴とする請求項８に記載の符号化装置。 The multiplexing means generates the encoded stream with a predetermined number of pixels as an encoding unit,
The encoding apparatus according to claim 8, wherein the information related to the selected prediction pixel is set as a single information for each encoded stream.
前記量子化手段により量子化された符号化対象の画素のデータと、前記量子化手段により量子化された前記予測画素のデータとの差分を符号化することを特徴とする請求項１から９のいずれか１項に記載の符号化装置。 The encoding means includes quantization means for quantizing pixel data input by the input means,
10. The difference between the encoding target pixel data quantized by the quantization means and the predicted pixel data quantized by the quantization means is encoded. The encoding device according to any one of claims.
前記ブロックの先頭の前記単位画素における複数の前記光電変換部に対応した複数の画素のうち、最初に符号化される画素については前記量子化手段により量子化されたデータを出力し、前記ブロックにおける２番目以降に符号化される画素については前記予測画素のデータとの差分を符号化した結果を出力することを特徴とする請求項１０に記載の符号化装置。 The encoding means encodes the image data in units of blocks including a predetermined number of pixels,
Among the plurality of pixels corresponding to the plurality of photoelectric conversion units in the unit pixel at the head of the block, for the pixel encoded first, the data quantized by the quantization unit is output, The encoding apparatus according to claim 10, wherein the second and subsequent encoded pixels output a result of encoding a difference from the predicted pixel data.
前記撮像手段により得られた画像データにおける、前記光電変換部にそれぞれ対応した複数の画素のデータを符号化する符号化手段であって、予測画素のデータを用いて符号化対象の画素のデータを符号化する符号化手段と
を有し、
前記符号化手段は、前記符号化対象の画素と同じ単位画素における他の光電変換部に対応した画素と、前記符号化対象の画素を含む単位画素に隣接する単位画素の光電変換部に対応した画素の一方を、前記予測画素として選択することを特徴とする撮像装置。 An imaging unit including an imaging element in which a plurality of unit pixels each having a plurality of photoelectric conversion units are arranged;
Coding means for coding data of a plurality of pixels respectively corresponding to the photoelectric conversion units in the image data obtained by the imaging means, wherein the pixel data to be coded is encoded using prediction pixel data Encoding means for encoding,
The encoding means corresponds to a pixel corresponding to another photoelectric conversion unit in the same unit pixel as the pixel to be encoded and a photoelectric conversion unit of a unit pixel adjacent to the unit pixel including the pixel to be encoded. One of the pixels is selected as the predicted pixel.
前記符号化手段が、予測画素のデータを用いて符号化対象の画素のデータを符号化する符号化する工程であって、前記符号化対象の画素と同じ前記単位画素における他の光電変換部に対応した画素と、前記符号化対象の画素を含む単位画素に隣接する単位画素の光電変換部に対応した画素の一方を、前記予測画素として選択することを含む、工程を有することを特徴とする符号化方法。 Executed by an encoding apparatus having encoding means for encoding data of a plurality of pixels respectively corresponding to the photoelectric conversion sections in image data from an imaging means in which a plurality of unit pixels each having a plurality of photoelectric conversion sections are arranged An encoding method for
The encoding means is a process of encoding data of a pixel to be encoded using prediction pixel data, and is applied to another photoelectric conversion unit in the same unit pixel as the pixel to be encoded. And selecting one of the corresponding pixels and the pixel corresponding to the photoelectric conversion unit of the unit pixel adjacent to the unit pixel including the pixel to be encoded as the prediction pixel. Encoding method.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016114716A JP2017220828A (en) | 2016-06-08 | 2016-06-08 | Coding device, imaging apparatus, coding method and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016114716A JP2017220828A (en) | 2016-06-08 | 2016-06-08 | Coding device, imaging apparatus, coding method and program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2017220828A true JP2017220828A (en) | 2017-12-14 |
Family
ID=60656247
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016114716A Pending JP2017220828A (en) | 2016-06-08 | 2016-06-08 | Coding device, imaging apparatus, coding method and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2017220828A (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019230443A1 (en) * | 2018-06-01 | 2019-12-05 | ソニー株式会社 | Image processing device and method |
| WO2020116178A1 (en) * | 2018-12-05 | 2020-06-11 | ソニー株式会社 | Image processing device and method |
-
2016
- 2016-06-08 JP JP2016114716A patent/JP2017220828A/en active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019230443A1 (en) * | 2018-06-01 | 2019-12-05 | ソニー株式会社 | Image processing device and method |
| US11758298B2 (en) | 2018-06-01 | 2023-09-12 | Sony Corporation | Image processing apparatus and method |
| WO2020116178A1 (en) * | 2018-12-05 | 2020-06-11 | ソニー株式会社 | Image processing device and method |
| US11935212B2 (en) | 2018-12-05 | 2024-03-19 | Sony Group Corporation | Image processing apparatus and method |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8416303B2 (en) | Imaging apparatus and imaging method | |
| US9609192B2 (en) | Image processing apparatus, image processing method and program, and imaging apparatus | |
| EP1631055B1 (en) | Imaging apparatus | |
| US20180109797A1 (en) | Moving image compression device, moving image decoding device, image compression device, image decoding device, imaging device, and non-transitory medium storage program | |
| US10003806B2 (en) | Optimized plenoptic image encoding | |
| JP2018530963A (en) | Method and apparatus for encoding and decoding light field based images and corresponding computer program product | |
| WO2019142821A1 (en) | Encoder, decoder, encoding method, decoding method, encoding program, and decoding program | |
| JP6628987B2 (en) | Image processing apparatus, image processing method, and imaging apparatus | |
| US20160360136A1 (en) | Imaging element, image pickup apparatus, method of controlling imaging element, program, and storage medium | |
| JP2014086968A (en) | Image processing device, image processing method, and program | |
| JP2009194760A (en) | Image coding device, image decoding device, program for coding image, and program for decoding image | |
| JP2017220828A (en) | Coding device, imaging apparatus, coding method and program | |
| JP2018046324A (en) | Imaging sensor, control method therefor, and imaging apparatus | |
| JP2013258501A (en) | Image processing device and image processing method | |
| US10748305B2 (en) | Image capturing apparatus that can reduce amount of data that is to be recorded, method for controlling the image capturing apparatus, and storage medium | |
| JP5974691B2 (en) | MOVING IMAGE COMPRESSION DEVICE, IMAGING DEVICE, AND PROGRAM | |
| US10516896B2 (en) | Encoding device, encoding method, and storage medium | |
| JP7041494B2 (en) | Image processing device and image processing method | |
| US10863088B2 (en) | Image capturing apparatus and control method for capturing still images without interrupting video recordings | |
| JP7417388B2 (en) | Encoding device, decoding device, and program | |
| JP5924262B2 (en) | Image processing apparatus and image processing program | |
| JP2021141357A (en) | Imaging sensor and imaging apparatus | |
| JP7076983B2 (en) | Coding device, image processing device and image processing method | |
| JP2017126889A (en) | Image processing apparatus, imaging device, image processing method and program | |
| JP5974692B2 (en) | Moving picture decoding apparatus and program |