JP5924262B2 - 画像処理装置および画像処理プログラム - Google Patents

画像処理装置および画像処理プログラム Download PDF

Info

Publication number
JP5924262B2
JP5924262B2 JP2012521282A JP2012521282A JP5924262B2 JP 5924262 B2 JP5924262 B2 JP 5924262B2 JP 2012521282 A JP2012521282 A JP 2012521282A JP 2012521282 A JP2012521282 A JP 2012521282A JP 5924262 B2 JP5924262 B2 JP 5924262B2
Authority
JP
Japan
Prior art keywords
gradation conversion
image processing
image data
image
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012521282A
Other languages
English (en)
Other versions
JPWO2011161883A1 (ja
Inventor
茂 土井田
茂 土井田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Publication of JPWO2011161883A1 publication Critical patent/JPWO2011161883A1/ja
Application granted granted Critical
Publication of JP5924262B2 publication Critical patent/JP5924262B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/73Colour balance circuits, e.g. white balance circuits or colour temperature control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H04N19/197Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters including determination of the initial value of an encoding parameter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843Demosaicing, e.g. interpolating colour pixel values
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/68Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
    • H04N9/69Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits for modifying the colour signals by gamma correction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2101/00Still video cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/82Camera processing pipelines; Components thereof for controlling camera response irrespective of the scene brightness, e.g. gamma correction
    • H04N23/83Camera processing pipelines; Components thereof for controlling camera response irrespective of the scene brightness, e.g. gamma correction specially adapted for colour signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Description

本発明は、画像処理装置および画像処理プログラムに関する。
一般に、デジタルカメラ等の撮像装置では、撮像素子から出力されるRAW画像データに色補間処理等の画像処理を実施し、画像処理後のデータを一般的な画像ファイルの形式に圧縮する。例えば、静止画像の撮影では、画像処理後のデータは、JPEG(Joint Photographic Experts Group)形式に圧縮される。また、動画像の撮影では、画像処理後のデータは、MPEG(Moving Picture Experts Group)形式等に圧縮される。圧縮後のデータは、記憶媒体等に記憶される。
近年では、静止画像を撮影したときのRAW画像データを記憶媒体等に記憶するデジタルカメラが普及してきている。RAW画像データは、例えば、画像の色調やコントラスト等を撮影後に精度よく調整する際に利用される。なお、一般的に、RAW画像データでは、画像処理および圧縮処理が実施されたデータに比べて、データ量が多くなる。このため、静止画像を撮影したときのRAW画像データを色成分毎に圧縮し、各色成分の圧縮後のデータを記憶媒体等に記憶する技術が提案されている(例えば、特許文献1参照)。
特開2002−125241号公報
動画像の撮影においても、RAW画像データを記憶媒体等に記憶することが望まれている。なお、多数のフレームから構成される動画像では、データ量が非常に多いため、RAW画像データを圧縮する必要がある。RAW画像データは、撮像素子の色配列(例えば、ベイヤー(Bayer)配列)に依存した画素構造であるため、各フレームにおける互いに隣接する画素間の相関が低く、フレーム間の相関も低い。このため、例えば、動画像を撮影したときのRAW画像データをMEPG形式に圧縮しても、MPEG本来の圧縮効率を得ることはできない。しかしながら、動画像等の連続して撮影された画像のRAW画像データを効率的に圧縮する手法は、提案されていない。
本発明の目的は、連続して撮影された画像のRAW画像データを効率的に圧縮することができる画像処理装置および画像処理プログラムを提供することである。
画像処理装置は、撮像部と、階調変換部と、画像圧縮部とを有している。撮像部は、被写体を撮像して複数のRAW画像データを生成する。階調変換部は、複数のRAW画像データのうちの第1RAW画像データの複数の色信号に対して、色信号毎に階調変換を実施する。画像圧縮部は、階調変換後の第1RAW画像データに対して、圧縮処理を実施する。階調変換部は、複数の色信号のうちの第1色信号に対して、撮像部の第1行の第1画素の色信号毎および第1行の隣りの第2行の第2画素の色信号毎に階調変換を実施する。画像圧縮部は、階調変換後の第1画素の色信号毎および階調変換後の第2画素の色信号毎に、空間方向および時間方向の相関を利用した圧縮処理を実施する。
一実施形態における画像処理装置の概要を示す図である。 図1に示した圧縮部の動作の一例を示す図である。 色成分毎のフレームデータの一例を示す図である。 階調変換テーブルの入出力特性の一例を示す図である。
以下、本発明の実施形態を図面を用いて説明する。
図1は、本発明の一実施形態を示している。この実施形態の画像処理装置10は、例えば、動画像の撮影が可能なデジタルカメラである。以下、画像処理装置10をデジタルカメラ10とも称する。例えば、デジタルカメラ10は、撮影レンズ20、撮像素子22、アナログ処理部24、A/D変換部26、制御部28、画像処理部30、圧縮部32、バッファ部34、メモリ36、記憶媒体38、モニタ40および操作部42を有している。例えば、A/D変換部26、制御部28、画像処理部30、圧縮部32、バッファ部34、メモリ36、記憶媒体38およびモニタ40は、バスBUSに接続されている。なお、図中の破線の矢印は、画像データRAWDATA、RAWCOMPの流れの一例を示している。
撮影レンズ20は、被写体の像を撮像素子22の受光面に結像する。撮像素子22は、例えば、CCDイメージサンサーやCMOSイメージセンサーである。撮像素子22は、撮影レンズ20を介して入射される被写体の像を電気信号(以下、画像信号とも称する)に変換し、変換した電気信号をアナログ処理部24に出力する。
アナログ処理部24は、撮像素子22から受けた画像信号に対してアナログ信号処理を実施するアナログフロントエンド回路である。例えば、アナログ処理部24は、画像信号のゲインを調整するゲイン制御や画像信号のノイズ成分を低減するための相関二重サンプリング処理等を実施し、アナログ画像データを生成する。そして、アナログ処理部24は、生成したアナログ画像データをA/D変換部26に出力する。
A/D変換部26は、アナログ処理部24から受けたアナログ画像データをデジタル画像データに変換することにより、RAW画像データRAWDATAを生成する。そして、A/D変換部26は、RAW画像データRAWDATAを圧縮部32およびバッファ部34に出力する。このように、撮像素子22、アナログ処理部24およびA/D変換部26は、撮影された画像のRAW画像データを生成する撮像部として機能する。
RAW画像データRAWDATAでは、撮像素子22の画素配列(例えば、ベイヤー(Bayer)配列)に基づいて、1つの画素に1色の輝度情報が格納される。以下、1つの画素に1色の輝度情報が格納されるデータ形式を、RAW形式とも称する。
制御部28は、例えば、マイクロプロセッサであり、メモリ36に記憶されているプログラムに基づいて、デジタルカメラ10の動作を制御する。例えば、制御部28は、オートフォーカス制御、露出制御、ホワイトバランス制御および画像データの記録等を実施する。
画像処理部30は、バッファ部34に記憶されたRAW画像データRAWDATAに対して少なくとも色補間処理を含む画像処理を実施し、撮影画像の本画像データを生成する。これにより、デジタルカメラ10は、必要に応じて、本画像データを記憶媒体38等に記憶することができる。ここで、色補間処理は、例えば、各画素の足りない色の輝度情報を周囲の画素の色情報(輝度情報)を利用して補間する処理である。したがって、色補間処理等の画像処理が実施された画像データである本画像データでは、各画素は、全ての色(例えば、赤、緑、青)の輝度情報を有している。なお、例えば、画像処理部30は、色補間処理の他に、ホワイトバランス処理、輪郭補償処理、ガンマ処理、ノイズリダクション処理等の画像処理を、RAW画像データRAWDATAに対して実施してもよい。
圧縮部32は、例えば、動画像のRAW画像データRAWDATAをRAW形式のまま圧縮し、圧縮画像データRAWCOMPを生成する。例えば、圧縮部32は、連続して撮影された画像のRAW画像データRAWDATAに対して、撮像素子22の画素配列に基づく色信号毎に、撮影条件に応じた階調変換を実施する。そして、圧縮部32は、階調変換が実施されたRAW画像データRAWDATAに対して、色信号毎に空間方向および時間方向の相関を利用した圧縮処理を実施する。圧縮部32により生成された圧縮画像データRAWCOMPは、例えば、記憶媒体38に記憶される。
このように、この実施形態では、圧縮部32は、連続して撮影された画像のRAW画像データRAWDATAに対して、撮像素子22の画素配列に基づく色信号毎に、撮影条件に応じた階調変換を実施する階調変換部として機能する。さらに、圧縮部32は、階調変換が実施されたRAW画像データRAWDATAに対して、色信号毎に空間方向および時間方向の相関を利用した圧縮処理を実施する画像圧縮部として機能する。すなわち、この実施形態では、圧縮部32は、階調変換部および画像圧縮部を有している。
ここで、撮影条件は、例えば、撮影時の露出条件、撮影時のホワイトバランスおよび画像の輝度の少なくとも1つを含んでいる。なお、撮影条件は、例えば、撮影時の露出条件、撮影時のホワイトバランスおよび画像の輝度の少なくとも1つの時系列の変化に基づく推移情報を含んでもよい。
例えば、撮影時の露出条件や撮影時のホワイトバランスが撮影条件に含まれる場合、圧縮部32は、撮影時の露出条件やホワイトバランス等を示す撮影情報SHINFを、制御部28から取得する。また、例えば、画像の輝度が撮影条件に含まれる場合、圧縮部32は、RAW画像データRAWDATAの輝度信号を解析し、画像の輝度を示す輝度情報を算出する。RAW画像データRAWDATAから算出される輝度情報は、例えば、画像の輝度分布や画面全体の平均輝度等の撮影時の光量に相当する情報である。
なお、圧縮部32は、静止画像のRAW画像データRAWDATAをRAW形式のまま圧縮してもよい。この場合、圧縮部32は、例えば、階調変換が実施されたRAW画像データRAWDATAに対して、色信号毎に空間方向の相関を利用した圧縮処理を実施する。静止画像におけるRAW画像データRAWDATAの色信号毎の圧縮処理には、JPEG(Joint Photographic Experts Group)形式等の既存の圧縮符号化方式を適用できる。
また、圧縮部32は、本画像データ(画像処理後の画像データ)を圧縮する機能を有してもよい。この場合、圧縮部32は、MPEG(Moving Picture Experts Group)形式やH.264/MPEG−4 AVC形式等の圧縮符号化方式を用いて、動画像の本画像データを圧縮する。あるいは、圧縮部32は、JPEG形式等の圧縮符号化方式を用いて、静止画像の本画像データを圧縮する。
バッファ部34は、例えば、A/D変換部26から受けたRAW画像データRAWDATAを一時的に記憶する。メモリ36は、例えば、フラッシュメモリ等の不揮発性メモリで形成された内蔵メモリであり、デジタルカメラ10の動作を制御するためのプログラム等を記憶する。
記憶媒体38は、撮影された画像の圧縮画像データRAWCOMP等を、記憶媒体インターフェース(図示せず)を介して記憶する。モニタ40は、例えば、液晶ディスプレイであり、スルー画像やメニュー画面等を表示する。操作部42は、レリーズボタンおよびその他の各種スイッチを有し、デジタルカメラ10を動作させるために、ユーザにより操作される。
図2は、図1に示した圧縮部32の動作の一例を示している。なお、図2は、動画撮影が実施されたときの圧縮部32の動作の一例を示している。例えば、ステップS100−S220は、圧縮部32により、メモリ36に記憶された画像処理プログラムに従って実施される。先ず、動画撮影の開始により、ステップS100が実施される。
ステップS100では、圧縮部32は、圧縮画像データRAWCOMPの記録に使用する記録用ファイルを、記憶媒体38に作成する。
ステップS110では、圧縮部32は、動画の各フレームに対応するRAW画像データRAWDATAを、A/D変換部26から順次取得する。なお、RAW画像データRAWDATAは、図1で説明したように、バッファ部34に順次記憶される。したがって、圧縮部32は、RAW画像データRAWDATAをバッファ部34から順次読み出してもよい。この場合、A/D変換部26は、RAW画像データRAWDATAを圧縮部32に出力しなくてもよい。
ステップS120では、圧縮部32は、各フレームの撮影情報SHINFを制御部28から順次取得し、取得した撮影情報SHINFをバッファ部34等に順次記憶する。撮影情報SHINFは、動画の各フレームの撮影時の露出条件やホワイトバランス等を示す情報であり、例えば、階調変換の処理内容等を決定する際(ステップS140)に参照される。このため、圧縮部32は、現在のフレームより前の所定時間分(例えば、1秒間程度)の撮影情報SHINFをバッファ部34等に記憶すればよい。なお、圧縮部32は、撮影情報SHINFを記憶するバッファを有してもよい。
ステップS130では、圧縮部32は、動画像の各フレームの輝度情報をRAW画像データRAWDATAから順次抽出し、抽出した輝度情報をバッファ部34等に順次記憶する。輝度情報は、画像の輝度分布やフレーム(画面全体)の平均輝度等であり、例えば、階調変換の処理内容等を決定する際(ステップS140)に参照される。このため、圧縮部32は、現在のフレームより前の所定時間分(例えば、1秒間程度)の輝度情報をバッファ部34等に記憶すればよい。なお、圧縮部32は、輝度情報を記憶するバッファを有してもよい。ここで、輝度情報の抽出は、RAW画像データRAWDATAの輝度信号を解析することにより実施される。例えば、圧縮部32は、RAW画像データRAWDATAの緑色成分の輝度信号に基づいて、画像の輝度分布を抽出する。
ステップS140では、圧縮部32は、バッファ部34に記憶された撮影情報SHINF(撮影時の露出条件、撮影時のホワイトバランス等)および輝度情報(画像の輝度分布等)に基づいて、階調変換の処理内容および圧縮フレーム数を決定する。例えば、圧縮部32は、撮影時の露出条件、撮影時のホワイトバランスおよび画像の輝度を総合的に判断して、階調変換の処理内容および圧縮フレーム数を決定する。なお、圧縮部32は、撮影時の露出条件、撮影時のホワイトバランスおよび画像の輝度の少なくとも1つに基づいて、階調変換の処理内容および圧縮フレーム数を決定してもよい。あるいは、圧縮部32は、撮影時の露出条件、撮影時のホワイトバランスおよび画像の輝度の少なくとも1つの時系列の変化に基づく推移情報に応じて、階調変換の処理内容および圧縮フレーム数を決定してもよい。
ここで、階調変換の処理内容の決定は、例えば、後述する図4に示すような複数の階調変換テーブルが予め用意されている場合、階調変換に使用する階調変換テーブルを選択することである。例えば、圧縮部32は、画像の輝度(輝度分布や平均輝度等)が低輝度側に寄っているときには、低輝度部の階調を残す階調変換テーブルを、予め用意された複数の階調変換テーブルの中から選択する。
圧縮フレーム数の決定は、時間方向の圧縮処理の基準となるフレーム(以下、基準フレームとも称する)の周期を決定することである。すなわち、圧縮フレーム数は、基準フレームの周期に相当する。例えば、H.264/MPEG−4 AVCでは、圧縮フレーム数は、IDR(Instantaneous Decoder Refresh)ピクチャの周期に相当する。なお、圧縮フレーム数は、一定でもよいし、可変でもよい。例えば、圧縮部32は、撮影時の露出条件、撮影時のホワイトバランスおよび輝度情報の少なくとも1つの時系列の変化が大きい場合、圧縮フレーム数を変更する。なお、上述した階調変換の処理内容の決定は、例えば、基準フレーム毎に実施される。例えば、圧縮部32は、基準フレーム毎に、階調変換に使用する階調変換テーブルを予め用意された複数の階調変換テーブルの中から選択する。これにより、階調変換の処理内容は、基準フレーム毎に更新される。
ステップS150では、圧縮部32は、ステップS110で取得したRAW画像データRAWDATAを色信号(色成分)毎に分離し、色成分毎のフレームデータを生成する。例えば、圧縮部32は、撮像素子22の画素配列がベイヤー配列の場合、後述する図3に示すように、R(赤色)成分、Gr(緑色)成分、Gb(緑色)成分およびB(青色)成分の4つのフレームデータFRM12、FRM14、FRM16、FRM18を生成する。フレームデータFRM12、FRM14、FRM16、FRM18は、例えば、バッファ部34等に記憶される。
ステップS160では、圧縮部32は、圧縮した画像データ(圧縮画像データRAWCOMP)を復号する際に必要な付加情報を生成する。付加情報は、例えば、撮影情報SHINF、ステップS150で生成した各フレームデータの色成分を示す情報、ステップS140で決定した階調変換の処理内容を示す情報および圧縮処理の情報(圧縮フレーム数や圧縮符号化方式)等である。なお、圧縮部32は、付加情報をフレーム毎に生成してもよいし、付加情報を基準フレーム毎に生成してもよい。例えば、付加情報がフレーム毎に生成される場合、基準フレーム以外のフレームの付加情報の内容(例えば、撮影情報SHINFの内容)は、基準フレームとの差分だけでもよい。
ステップS170では、圧縮部32は、ステップS140で決定した階調変換の処理内容に基づいて、ステップS150で生成した各色成分のフレームデータを階調変換する。すなわち、圧縮部32は、RAW画像データRAWDATAの階調変換を、色成分毎に撮影条件に応じて実施する。階調変換された各色成分のフレームデータは、例えば、バッファ部34等に記憶される。
ステップS180では、圧縮部32は、ステップS170で階調変換された各色成分のフレームデータに対して、空間方向および時間方向の相関を利用した圧縮処理を実施する。すなわち、圧縮部32は、階調変換が実施されたRAW画像データRAWDATAに対して、空間方向および時間方向の相関を利用した圧縮処理を色成分毎に実施する。なお、ステップS150で生成されたフレームデータは、それぞれ単体では、モノクロのフレームデータとして扱うことが可能である。また、各色成分のフレームデータでは、互いに隣接する画素間の相関が高くなり、時系列に連続するフレームデータ間の相関も高くなる。このため、各色成分のフレームデータの圧縮処理には、MPEG形式やH.264/MPEG−4 AVC形式等の既存の圧縮符号化方式を適用できる。
ステップS190では、圧縮部32は、ステップS160で生成した付加情報を圧縮符号化する。付加情報の圧縮符号化には、ハフマン符号化等の既存の圧縮符号化方式を適用できる。なお、圧縮部32は、付加情報を、圧縮符号化する代わりに、暗号化してもよい。例えば、付加情報の暗号化には、AES(Advanced Encryption Standard)等の既存の暗号化方式を適用できる。付加情報の圧縮符号化(あるいは、暗号化)は、予め決められた方法で実施される。
ステップS200では、圧縮部32は、ステップS100で記憶媒体38に作成した記録用ファイルに、ステップS180で圧縮処理された各色成分のフレームデータとステップS190で圧縮処理され付加情報とを記録する。なお、付加情報が基準フレーム毎に生成される場合、付加情報を基準フレーム毎に記録用ファイルに記録してもよいし、付加情報(基準フレーム毎に内容が更新される付加情報)をフレーム毎に記録用ファイルに記録してもよい。
ステップS210では、圧縮部32は、撮影が終了したか否かを判定する。圧縮部32は、例えば、制御部28から撮影の終了を示す信号等を受信することにより、撮影が終了したか否かを判定できる。撮影が終了していない場合(ステップS210のNo)、圧縮部32の動作は、ステップS110に移る。一方、撮影が終了している場合(ステップS210のYes)、圧縮部32は、ステップS220において、記憶媒体38に作成した記録用ファイルをクローズして、動画像の圧縮処理を終了する。
ここで、ステップS100−S220により記憶媒体38に記憶された圧縮画像データRAWCOMPは、上述の圧縮処理と逆の手順により、画質の調整に適したRAW形式の動画像データに復号される。例えば、圧縮処理された付加情報が復号され、復号された付加情報に基づいて各色成分のフレームデータが復号される。これにより、ユーザは、RAW形式の動画像データを編集することができ、動画像の編集等を精度よく実施できる。
なお、圧縮部32の動作は、この例に限定されない。例えば、ステップS110、S120等は、並列に実行されてもよいし、実行される順番が逆でもよい。また、例えば、ステップS140で輝度情報が使用されない場合、圧縮部32は、ステップS130の処理を省いてもよい。あるいは、ステップS100、S220等の記憶媒体38を制御する動作は、制御部28により実施されてもよい。
図3は、色成分毎のフレームデータFRMの一例を示している。なお、図3は、撮像素子22の画素配列がベイヤー配列のときのフレームデータFRMの一例を示している。
RAW画像データRAWDATAのフレームデータFRM10は、赤色(R)の画素および緑色(Gr)の画素が交互に配置された行と、緑色(Gb)の画素および青色(B)の画素が交互に配置された行とを有している。なお、赤色(R)、緑色(Gr、Gb)および青色(B)の画素は、赤色(R)、緑色(Gr、Gb)および青色(B)の輝度情報をそれぞれ有している。フレームデータFRM10は、上述した図2のステップS150で説明したように、色成分毎のフレームデータFRM12、FRM14、FRM16、FRM18に分離される。
例えば、フレームデータFRM12では、フレームデータFRM10における赤色(R)の画素間の相関を維持した状態で、赤色(R)の画素が配列される。フレームデータFRM14では、フレームデータFRM10における緑色(Gr)の画素間の相関を維持した状態で、緑色(Gr)の画素が配列される。フレームデータFRM16では、フレームデータFRM10における緑色(Gb)の画素間の相関を維持した状態で、緑色(Gb)の画素が配列される。フレームデータFRM18では、フレームデータFRM10における青色(B)の画素間の相関を維持した状態で、青色(B)の画素が配列される。これにより、この実施形態では、各フレームデータFRM12、FRM14、FRM16、FRM18において、互いに隣接する画素間の相関を高くできる。すなわち、この実施形態では、フレーム内の互いに隣接する画素間の相関を高くでき、時系列に連続するフレーム間の相関を高くできる。
図4は、階調変換テーブルTBの入出力特性の一例を示している。なお、図4は、入力階調および出力階調がそれぞれ12ビット(0〜4095)および10ビット(0〜1023)の階調変換テーブルTBの入出力特性の一例を示している。階調変換テーブルTBは、階調変換後の画像データの階調のビット数を階調変換前の画像データの階調のビット数に比べて少なくするためのテーブルである。したがって、デジタルカメラ10は、階調変換前後での画質の劣化を抑制するために、入出力特性の異なる複数の階調変換テーブルTBを有している。
例えば、階調変換テーブルTB1は、低輝度部の階調の精度の劣化が少ない入出力特性を有している。階調変換テーブルTB2、TB3は、中輝度部の階調の精度の劣化が階調変換テーブルTB1に比べて少ない入出力特性を有している。階調変換テーブルTB4は、高輝度部の階調の精度の劣化が少ない入出力特性を有している。
圧縮部32は、例えば、上述した図2のステップS140において、元の画像データの残したい情報の精度を維持する階調変換テーブルTBを、複数の階調変換テーブルTB1、TB2、TB3、TB4から撮影条件に基づいて選択する。例えば、画像の輝度(画像の輝度情報が示す輝度分布等)が低輝度側に寄っているときには、低輝度部の階調を残す階調変換テーブルTB1が選択される。あるいは、画像の輝度(画像の輝度情報が示す輝度分布等)が高輝度側に寄っているときには、高輝度部の階調を残す階調変換テーブルTB4が選択される。なお、圧縮部32は、撮影時のホワイトバランスに基づいて階調変換テーブルTBを選択してもよいし、撮影時の露出条件に基づいて階調変換テーブルTBを選択してもよい。あるいは、圧縮部32は、画像の輝度情報および撮影時のホワイトバランス等の複数の情報に基づいて、階調変換テーブルTBを選択してもよい。
このように、この実施形態では、撮影条件に応じた階調変換テーブルTBが選択されるため、階調変換前後での画質の劣化を抑制できる。したがって、この実施形態では、階調変換前後での画質の劣化を抑制しつつ、階調変換後の画像データ(圧縮処理が実施される画像データ)のデータ量を階調変換前の画像データのデータ量に比べて少なくできる。
ここで、撮影条件に撮影時のホワイトバランスが含まれる場合でも、デジタルカメラ10は、ホワイトバランスに応じた階調変換テーブルTBを有していなくてもよい。この場合、例えば、圧縮部32は、ホワイトバランスに応じた色信号毎のゲイン値を各色信号に乗算する。その後に、圧縮部32は、画像の輝度情報等に応じて選択した階調変換テーブルTBを利用して、階調変換を実施する。これにより、予め用意する階調変換テーブルTBの数を減らすことができる。
以上、この実施形態では、デジタルカメラ10は、連続して撮影された画像のRAW画像データRAWDATAをRAW形式のまま圧縮する圧縮部32を有している。圧縮部32は、動画像等の連続して撮影された画像のRAW画像データRAWDATAを色信号毎に撮影条件に基づいて階調変換し、階調変換後のRAW画像データRAWDATAを色信号毎に圧縮する。これにより、この実施形態では、階調変換前後での画質の劣化を抑制しつつ、連続して撮影された画像のRAW画像データRAWDATAを効率的に圧縮できる。すなわち、この実施形態では、連続して撮影された画像のRAW画像データを効率的に圧縮することができる画像処理装置および画像処理プログラムを提供できる。
また、この実施形態のデジタルカメラ10により生成された圧縮画像データRAWCOMPは、図2に示した圧縮処理と逆の手順により、画質の調整に適したRAW形式の動画像データに復号される。例えば、撮影後に動画像を編集する場合、圧縮画像データRAWCOMPは、階調変換前のRAW画像データRAWDATAに復号される。これにより、ユーザは、動画像の編集等を精度よく実施できる。すなわち、この実施形態では、動画像の編集等を精度よく実施することが可能な動画像データを、提供できる。
なお、上述した実施形態では、動画像のRAW画像データRAWDATAがRAW形式のまま圧縮される例について述べた。本発明は、かかる実施形態に限定されるものではない。例えば、連写撮影により得られた画像のRAW画像データRAWDATAがRAW形式のまま圧縮されてもよい。この場合にも、上述した実施形態と同様の効果を得ることができる。
上述した実施形態では、ベイヤー配列のフレームデータFRM10が4つのフレームデータFRM12、FRM14、FRM16、FRM18に分離される例について述べた。本発明は、かかる実施形態に限定されるものではない。例えば、フレームデータFRM10は、赤色(R)、緑色(G)および青色(B)の3つのフレームデータに分離されてもよい。この場合、例えば、2つの緑色(Gr、Gb)のフレームデータFRM14、FRM16は、2つの緑色(Gr、Gb)の平均をとることにより、1つの緑色(G)のフレームデータにまとめられる。付加情報には、ベイヤー配列における2つの緑色(Gr、Gb)を1つの緑色(G)にまとめたことを示す情報が含まれる。この場合にも、上述した実施形態と同様の効果を得ることができる。
上述した実施形態では、RAW画像データRAWDATAがベイヤー配列である場合の例について述べた。本発明は、かかる実施形態に限定されるものではない。例えば、RAW画像データRAWDATAは、ベイヤー配列以外のカラー配列でもよい。また、RAW画像データRAWDATAは、赤色(R)、緑色(Gr、Gb)および青色(B)以外のカラー配列でもよい。例えば、RAW画像データRAWDATAは、CMY(シアン、マゼンタ、イエロー)のカラー配列でもよい。この場合にも、上述した実施形態と同様の効果を得ることができる。
上述した実施形態では、画像処理装置10がデジタルカメラに適用された場合の例について述べた。本発明は、かかる実施形態に限定されるものではない。例えば、本発明の画像処理装置は、連写撮影や動画撮影の機能を有するカメラ付き携帯電話やデジタルビデオ等の電子機器に適用されてもよい。この場合にも、上述した実施形態と同様の効果を得ることができる。
上述した実施形態では、画像処理装置10が撮像素子22を含んで構成される例について述べた。本発明は、かかる実施形態に限定されるものではない。例えば、画像処理装置10は、少なくとも圧縮部32を有していればよい。また、圧縮部32により実行される処理(図2のステップS100−S220)は、コンピュータ等の外部処理装置により実行されてもよい。すなわち、画像処理プログラムは、圧縮部32により実行される処理(図2のステップS100−S220)を、コンピュータ等の外部処理装置に実行させてもよい。例えば、画像処理プログラムは、外部処理装置で読み取り可能なCD−ROM等の記憶媒体やインターネット等の通信網を介して外部処理装置にインストールされる。
以上、本発明について詳細に説明してきたが、上記の実施形態およびその変形例は発明の一例に過ぎず、本発明はこれに限定されるものではない。本発明を逸脱しない範囲で変形可能であることは明らかである。
画像処理装置および画像処理プログラムに利用できる。

Claims (13)

  1. 被写体を撮像して複数のRAW画像データを生成する撮像部と、
    前記複数のRAW画像データのうちの第1RAW画像データの複数の色信号に対して、色信号毎に階調変換を実施する階調変換部と
    階調変換後の前記第1RAW画像データに対して、圧縮処理を実施する画像圧縮部とを備え、
    前記階調変換部は、前記複数の色信号のうちの第1色信号に対して、前記撮像部の第1行の第1画素の色信号毎および前記第1行の隣りの第2行の第2画素の色信号毎に階調変換を実施し、
    前記画像圧縮部は、階調変換後の前記第1画素の色信号毎および階調変換後の前記第2画素の色信号毎に、空間方向および時間方向の相関を利用した圧縮処理を実施する画像処理装置。
  2. 請求項1記載の画像処理装置において、
    前記第1画素と前記第2画素とは、配列される行および列が異なる画像処理装置。
  3. 請求項1記載の画像処理装置において、
    前記第1RAW画像データは、
    前記第1画素と、前記第1画素に対して第1方向に配列された第2色信号の第3画素と、前記第1画素に対して前記第1方向と交差する第2方向に配列された第3色信号の第4画素と、前記第4画素に対して前記第1方向に配列された前記第2画素とにより構成される画素群が繰り返し配列されている画像処理装置。
  4. 請求項1記載の画像処理装置において、
    前記第1RAW画像データを一時的に記憶するバッファ部を備えている画像処理装置。
  5. 請求項1記載の画像処理装置において、
    前記階調変換部は、前記第1RAW画像データの撮影条件に応じた階調変換を実施し、
    前記撮影条件は、撮影時の露出条件、撮影時のホワイトバランスおよび画像の輝度の少なくとも1つを含んでいる画像処理装置。
  6. 請求項1記載の画像処理装置において、
    階調変換後の画像の階調のビット数を階調変換前の画像の階調のビット数より少なくするための複数の階調変換テーブルを有し、
    前記階調変換部は、階調変換に使用する階調変換テーブルを、前記複数の階調変換テーブルの中から前記第1RAW画像データの撮影条件に基づいて選択する画像処理装置。
  7. 請求項1記載の画像処理装置において、
    前記階調変換部は、前記第1RAW画像データの撮影条件に応じた階調変換を実施し、
    前記撮影条件は、撮影時の露出条件、撮影時のホワイトバランスおよび画像の輝度の少なくとも1つの時系列の変化に基づく推移情報を含んでいる画像処理装置。
  8. 請求項1記載の画像処理装置において、
    前記画像圧縮部は、撮影情報に基づいて、圧縮処理に関する決定を行う画像処理装置。
  9. RAW画像データを圧縮する画像処理プログラムにおいて、
    撮像部により撮像された複数のRAW画像データのうちの第1RAW画像データの複数の色信号に対して、色信号毎に階調変換を実施する工程と、
    階調変換後の前記第1RAW画像データに対して、圧縮処理を実施する工程とをコンピュータに実行させ、
    階調変換の工程では、前記複数の色信号のうちの第1色信号に対して、前記撮像部の第1行の第1画素の色信号毎および前記第1行の隣りの第2行の第2画素の色信号毎に階調変換を実施し、
    圧縮処理の工程では、階調変換後の前記第1画素の色信号毎および階調変換後の前記第2画素の色信号毎に、空間方向および時間方向の相関を利用した圧縮処理を実施する画像処理プログラム。
  10. 請求項9記載の画像処理プログラムにおいて、
    階調変換の工程では、前記第1RAW画像データの撮影条件に応じた階調変換を実施し
    前記撮影条件は、撮影時の露出条件、撮影時のホワイトバランスおよび画像の輝度の少なくとも1つを含んでいる画像処理プログラム。
  11. 請求項9記載の画像処理プログラムにおいて、
    階調変換の工程では、階調変換後の画像の階調のビット数を階調変換前の画像の階調のビット数より少なくするための複数の階調変換テーブルの中から、階調変換に使用する階調変換テーブルを前記第1RAW画像データの撮影条件に基づいて選択する画像処理プログラム。
  12. 請求項9記載の画像処理プログラムにおいて、
    階調変換の工程では、前記第1RAW画像データの撮影条件に応じた階調変換を実施し
    前記撮影条件は、撮影時の露出条件、撮影時のホワイトバランスおよび画像の輝度の少なくとも1つの時系列の変化に基づく推移情報を含んでいる画像処理プログラム。
  13. 請求項9記載の画像処理プログラムにおいて、
    圧縮処理の工程では、撮影情報に基づいて、圧縮処理に関する決定を行う画像処理プログラム。
JP2012521282A 2010-06-25 2011-06-06 画像処理装置および画像処理プログラム Active JP5924262B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010144604 2010-06-25
JP2010144604 2010-06-25
PCT/JP2011/003181 WO2011161883A1 (ja) 2010-06-25 2011-06-06 画像処理装置および画像処理プログラム

Publications (2)

Publication Number Publication Date
JPWO2011161883A1 JPWO2011161883A1 (ja) 2013-08-19
JP5924262B2 true JP5924262B2 (ja) 2016-05-25

Family

ID=45371090

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012521282A Active JP5924262B2 (ja) 2010-06-25 2011-06-06 画像処理装置および画像処理プログラム

Country Status (3)

Country Link
US (1) US9554108B2 (ja)
JP (1) JP5924262B2 (ja)
WO (1) WO2011161883A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9693010B2 (en) * 2014-03-11 2017-06-27 Sony Corporation Method, electronic device, and server for generating digitally processed pictures

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007198831A (ja) * 2006-01-25 2007-08-09 Fujifilm Corp 画像データの処理方法および処理プログラム
JP2008067315A (ja) * 2006-09-11 2008-03-21 Olympus Corp 撮像装置、画像処理装置、撮像システム及び画像処理プログラム
WO2008132791A1 (ja) * 2007-04-13 2008-11-06 Panasonic Corporation 画像処理装置、集積回路及び画像処理方法
JP4372686B2 (ja) * 2002-07-24 2009-11-25 パナソニック株式会社 撮像システム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002125241A (ja) 2001-08-02 2002-04-26 Konica Corp スチルビデオカメラ
JP4470485B2 (ja) * 2003-12-25 2010-06-02 株式会社ニコン 固定ビット長の予測差分圧縮データを生成する画像圧縮装置および画像圧縮プログラム、画像伸張装置および画像伸張プログラム、並びに電子カメラ
JP4875833B2 (ja) 2004-03-16 2012-02-15 オリンパス株式会社 撮像装置、画像処理装置、画像処理システム、及び画像処理方法
US7880771B2 (en) * 2004-03-16 2011-02-01 Olympus Corporation Imaging apparatus, image processing apparatus, image processing system and image processing method
JP4107302B2 (ja) * 2005-03-22 2008-06-25 セイコーエプソン株式会社 印刷装置、画像処理装置、印刷方法、画像処理方法、および変換テーブルの作成方法
JP4759363B2 (ja) * 2005-10-27 2011-08-31 Hoya株式会社 画像信号処理ユニット
JP5211521B2 (ja) * 2007-03-26 2013-06-12 株式会社ニコン 画像処理装置、画像処理方法、画像処理プログラム、およびカメラ
JP4785799B2 (ja) * 2007-07-17 2011-10-05 富士フイルム株式会社 画像処理装置、画像処理方法及び撮影装置
JP4973372B2 (ja) * 2007-08-06 2012-07-11 株式会社ニコン 画像処理装置、撮像装置および画像処理プログラム
JP5220677B2 (ja) * 2009-04-08 2013-06-26 オリンパス株式会社 画像処理装置、画像処理方法および画像処理プログラム
JP5780764B2 (ja) * 2011-01-17 2015-09-16 オリンパス株式会社 撮像装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4372686B2 (ja) * 2002-07-24 2009-11-25 パナソニック株式会社 撮像システム
JP2007198831A (ja) * 2006-01-25 2007-08-09 Fujifilm Corp 画像データの処理方法および処理プログラム
JP2008067315A (ja) * 2006-09-11 2008-03-21 Olympus Corp 撮像装置、画像処理装置、撮像システム及び画像処理プログラム
WO2008132791A1 (ja) * 2007-04-13 2008-11-06 Panasonic Corporation 画像処理装置、集積回路及び画像処理方法

Also Published As

Publication number Publication date
CN102959956A (zh) 2013-03-06
WO2011161883A1 (ja) 2011-12-29
US20130100313A1 (en) 2013-04-25
US9554108B2 (en) 2017-01-24
JPWO2011161883A1 (ja) 2013-08-19

Similar Documents

Publication Publication Date Title
US8009924B2 (en) Method and apparatus for recording image data
US10674110B2 (en) Image encoding apparatus, and control method thereof
JPWO2019142821A1 (ja) 符号化装置、復号装置、符号化方法、復号方法、符号化プログラム、および復号プログラム
KR101931631B1 (ko) 카메라 장치의 이미지 부호화장치 및 방법
JP2009194760A (ja) 画像符号化装置、画像復号化装置、画像符号化プログラム及び画像復号化プログラム
US10244199B2 (en) Imaging apparatus
JP6700798B2 (ja) 撮像装置及びその制御方法
WO2016171006A1 (ja) 符号化装置および符号化方法、並びに、復号装置および復号方法
JP5407651B2 (ja) 画像処理装置、画像処理プログラム
JP5924262B2 (ja) 画像処理装置および画像処理プログラム
JP6741532B2 (ja) 撮像装置および記録方法
JP2009268032A (ja) 撮像装置
US11823422B2 (en) Image processing apparatus, control method of the same, and storage medium
EP2515543A2 (en) Image capturing apparatus and image capturing method
KR100827680B1 (ko) 썸네일 데이터 전송 방법 및 장치
JP6152642B2 (ja) 動画像圧縮装置、動画像復号装置およびプログラム
JP5167385B2 (ja) デジタルカメラ
JP2010124114A (ja) デジタルカメラおよび画像データ処理プログラム
JP6907004B2 (ja) 画像処理装置、画像処理方法、及びプログラム
CN102959956B (zh) 图像处理装置和图像处理方法
JP2005217493A (ja) 撮像装置
JP2017200199A (ja) 動画像圧縮装置、動画像復号装置およびプログラム
KR100771138B1 (ko) 촬영 장치 및 영상 보정 방법
JP2009033629A (ja) 撮像装置及びその制御方法、並びにプログラム及び媒体、画像処理装置
WO2020188875A1 (ja) 符号化装置、復号装置、符号化方法、復号方法、符号化プログラム、および復号プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140529

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150303

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150507

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151013

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151214

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160322

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160404

R150 Certificate of patent or registration of utility model

Ref document number: 5924262

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250