JP2013126186A - 撮像装置及び画像処理方法 - Google Patents
撮像装置及び画像処理方法 Download PDFInfo
- Publication number
- JP2013126186A JP2013126186A JP2011275010A JP2011275010A JP2013126186A JP 2013126186 A JP2013126186 A JP 2013126186A JP 2011275010 A JP2011275010 A JP 2011275010A JP 2011275010 A JP2011275010 A JP 2011275010A JP 2013126186 A JP2013126186 A JP 2013126186A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- filter
- image
- data
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/41—Bandwidth or redundancy reduction
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Studio Devices (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
【課題】外部メモリを介さずに画像処理後の画像を複数のブロックに分割してJPEG圧縮符号化する際に、効率よくJEPG圧縮符号化が可能であり、また自然な圧縮画像を生成することが可能な撮像装置を提供する。
【解決手段】画像処理部は、生成した画像データを横方向に複数のブロックに分割して前記記憶部を介さずに前記符号化部へ供給し、前記画像処理部は、前記生成されるデータに対して所定のフィルタ処理を実行する少なくとも1つのフィルタ部と、前記フィルタ部のフィルタ処理を制御するフィルタ制御部と、を含み、前記フィルタ制御部は、前記符号化部で符号化される画像データの垂直画素数の情報を取得し、前記画像データの垂直画素数が前記符号化部での符号化単位の垂直画素数で割り切れない場合は割り切れるまで、前記生成されるデータの最下行のデータを追加する制御を前記フィルタ部へ実行することを特徴とする、撮像装置が提供される。
【選択図】図1
【解決手段】画像処理部は、生成した画像データを横方向に複数のブロックに分割して前記記憶部を介さずに前記符号化部へ供給し、前記画像処理部は、前記生成されるデータに対して所定のフィルタ処理を実行する少なくとも1つのフィルタ部と、前記フィルタ部のフィルタ処理を制御するフィルタ制御部と、を含み、前記フィルタ制御部は、前記符号化部で符号化される画像データの垂直画素数の情報を取得し、前記画像データの垂直画素数が前記符号化部での符号化単位の垂直画素数で割り切れない場合は割り切れるまで、前記生成されるデータの最下行のデータを追加する制御を前記フィルタ部へ実行することを特徴とする、撮像装置が提供される。
【選択図】図1
Description
本発明は、撮像装置及び画像処理方法に関する。
JPEG方式による画像の圧縮符号化に際しては、1画面全体を1つの単位として処理することが定められている。しかし、デジタルスチルカメラ等に設けられるLSI(Large Scale Integration)の内部では、ラインメモリの容量削減のために、1つの画像を縦に複数のブロックに分割して処理する。
そのため、1つの画像全てを処理して、JPEG圧縮が可能な状態にするには、全てのブロックの処理を終了し、その結果をSDRAM等の外部メモリに書きこんで、結合する必要がある。そしてJPEG圧縮するためのJPEG圧縮符号化器は、外部メモリに構成された画像を読みだして圧縮符号化を実行する。そのため、デジタルスチルカメラでのJPEG圧縮に際しては、常に画像を1枚分SDRAM等の外部メモリに書き込み、また当該外部メモリから読みだすという手順が必要となる。
従来は、デジタルスチルカメラの速度性能は撮像素子の速度性能によって決まっている部分が多く、また1秒間に3枚から7枚程度の連写性能しか必要とされていなかった。しかし、近年では撮像素子の高性能化が進み、その解像度も1200万画素から2000万画素以上のものが用いられるようになった。さらに、最近では連写性能も1秒間に10枚から15枚程度のものが要求されるようになり、デジタルスチルカメラに求められる処理性能は従来のものに比べて格段に高くなってきている。
そのため、画像のJPEG圧縮符号化のために、画像の外部メモリへの読み書きを毎回繰り返すと、消費電力の増大、読み書きの増加に伴う速度不足解消のための外部メモリ搭載数の増加によるコスト増という問題が生じる。そのため、外部メモリへの読み書きを極力行わずに画像のJPEG圧縮符号化を実行する必要性が高まっている。
外部メモリを極力使用せずに画像のJPEG圧縮符号化を実行するために、1つの画像を縦に分割した複数のブロックそれぞれに対してJPEG圧縮符号化を実行し、記録メディアに記録する段階で結合する方法がある。これにより、外部メモリへのアクセスは軽減される。
JPEG圧縮符号化は、DCT(離散コサイン変換)を基本とした符号化であり、垂直8画素単位でしか符号化することが出来ない。最下部が8画素に満たない場合には、最終ラインをコピーするか、黒ラインを挿入することにより最下部を符号化していた。しかし、最終ラインをコピーするか、黒ラインを挿入することにより最下部を符号化すると、最下部において自然な画像にならないという問題があった。
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、外部メモリを介さずに画像処理後の画像を複数のブロックに分割してJPEG圧縮符号化する際に、効率よくJEPG圧縮符号化が可能であり、また自然な圧縮画像を生成することが可能な、新規かつ改良された撮像装置及び画像処理方法を提供することにある。
上記課題を解決するために、本発明のある観点によれば、撮像素子への入光により生成されるデータから画像データを生成する画像処理部と、画像処理部が生成した画像データを符号化して符号化画像データを生成する符号化部と、符号化部が生成した符号化画像データを記憶する記憶部と、を備え、画像処理部は、生成した画像データを横方向に複数のブロックに分割して記憶部を介さずに符号化部へ供給し、画像処理部は、生成されるデータに対して所定のフィルタ処理を実行する少なくとも1つのフィルタ部と、フィルタ部のフィルタ処理を制御するフィルタ制御部と、を含み、フィルタ制御部は、符号化部で符号化される画像データの垂直画素数の情報を取得し、画像データの垂直画素数が符号化部での符号化単位の垂直画素数で割り切れない場合は割り切れるまで、生成されるデータの最下行のデータを追加する制御をフィルタ部へ実行することを特徴とする、撮像装置が提供される。
かかる構成によれば、画像処理部は撮像素子への入光により生成されるデータから画像データを生成し、符号化部は画像処理部が生成した画像データを符号化して符号化画像データを生成し、記憶部は符号化部が生成した符号化画像データを記憶する。そして画像処理部は、生成した画像データを横方向に複数のブロックに分割して記憶部を介さずに符号化部へ供給し、また画像処理部は、少なくとも1つのフィルタ部と、フィルタ部のフィルタ処理を制御するフィルタ制御部とを含み、フィルタ部は、生成されるデータに対して所定のフィルタ処理を実行し、フィルタ制御部はフィルタ部のフィルタ処理を制御する。そして、フィルタ制御部は、符号化部で符号化される画像データの垂直画素数の情報を取得し、画像データの垂直画素数が符号化部での符号化単位の垂直画素数で割り切れない場合は割り切れるまで、生成されるデータの最下行のデータを追加する制御をフィルタ部へ実行する。これにより、外部メモリを介さずに画像処理後の画像を複数のブロックに分割してJPEG圧縮符号化する際に、効率よくJEPG圧縮符号化が可能であり、また自然な圧縮画像を生成することが可能となる。
フィルタ部が実行する所定のフィルタ処理は、入力データの画素数と出力データの画素数とが一致するフィルタ処理であってもよい。
画像処理部は、フィルタ部を2つ以上含み、複数のフィルタ部は縦続接続され、入力データの画素数と出力データの画素数とが一致するフィルタ処理は、複数のフィルタ部の内の最後段のフィルタ部においてのみ実行されるようにしてもよい。
画像処理部は、符号化部が生成する符号化画像データの垂直画素数を取得し、画像データの垂直画素数が符号化部での符号化単位の垂直画素数で割り切れない場合は、符号化部での符号化単位に足りない分を生成されるデータの上下へ分担して画像データを生成するようにしてもよい。
また、上記課題を解決するために、本発明の別の観点によれば、撮像素子への入光により生成されるデータから画像データを生成する画像処理ステップと、前記画像処理ステップで生成した画像データを符号化して符号化画像データを生成する符号化ステップと、前記符号化ステップで生成された前記符号化画像データを記憶する記憶ステップと、を備え、前記画像処理ステップは、生成した画像データを横方向に複数のブロックに分割して前記記憶ステップを介さずに前記符号化ステップで符号化し、前記画像処理ステップは、前記生成されるデータに対して所定のフィルタ処理を実行する少なくとも1つのフィルタステップと、前記フィルタステップでのフィルタ処理を制御するフィルタ制御ステップと、を含み、前記フィルタ制御ステップは、前記符号化ステップで符号化される画像データの垂直画素数の情報を取得し、前記画像データの垂直画素数が前記符号化ステップでの符号化単位の垂直画素数で割り切れない場合は割り切れるまで、前記生成されるデータの最下行のデータを追加するよう前記フィルタステップでのフィルタ処理を制御することを特徴とする、画像処理方法が提供される。
以上説明したように本発明によれば、外部メモリを介さずに画像処理後の画像を複数のブロックに分割してJPEG圧縮符号化する際に、効率よくJEPG圧縮符号化が可能であり、また自然な圧縮画像を生成することが可能な、新規かつ改良された撮像装置及び画像処理方法を提供することができる。
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
<1.従来技術およびその問題点>
まず、本発明の好適な実施の形態について詳細に説明する前に、従来技術の説明および従来技術の問題点について述べる。図1は従来技術の概要を示す説明図であり、特許文献1に記載されている、JPEG圧縮符号化の際の外部メモリへのアクセスを軽減するために、1つの画像を縦に分割した複数のブロックそれぞれに対してRSTマーカーコードを付ける技術の概要を示す説明図である。
まず、本発明の好適な実施の形態について詳細に説明する前に、従来技術の説明および従来技術の問題点について述べる。図1は従来技術の概要を示す説明図であり、特許文献1に記載されている、JPEG圧縮符号化の際の外部メモリへのアクセスを軽減するために、1つの画像を縦に分割した複数のブロックそれぞれに対してRSTマーカーコードを付ける技術の概要を示す説明図である。
JPEG圧縮符号化は、必ずしも1つの画像全体で行わなければいけないものではなく、画像の一部をRSTマーカーコードで区切って符号化することが可能である。図1は、1つの画像を4つのブロック(タイル0、タイル1、タイル2、タイル3)に分割し、それぞれのブロックのMCUラインの一番右にRSTマーカーコードを付加して圧縮符号化する状態を示している。このように、1つの画像を複数のブロックに分割する際には、各ブロックのMCUラインの最後尾にRSTマーカーコードを付して符号化する。
しかし、このように符号化すると、データの保存方向はブロック単位となり、タイル0→タイル1→タイル2→タイル3のようにはならない。従って、符号化後の画像データを保存するためには、タイル0の最上行のMCUライン→タイル1の最上行のMCUライン→・・・という順番に並べ替える必要がある。
JPEGの符号化では可変長符号化を用いるため、画素毎、MCU毎の符号量は一定ではなく、なおかつバイト単位でもない。ただし、RSTマーカーコードはバイト境界にある必要があるため、各MCU列はバイト単位となり、外部メモリでの扱いは簡単になる。
しかし、特許文献1に記載されている、RSTマーカーコードを付加して圧縮する方法は、以下のような問題がある。
まず、RSTマーカーコードを付加して圧縮すると、符号化効率が低下する。JPEGでは左側のブロックの情報を基に、差分を取ってDC予測を行なって符号化する。画像を複数のブロックに分割し、RSTマーカーコードで区切る場合、ブロック単位で差分がリセットされるために、構成は簡単になるが、この分RSTマーカーコードの符号を付加する必要性が生じ、またブロック間で差分符号化が使えないために符号化効率が低下する。
図2は、従来技術について示す説明図であり、従来技術では、ブロック間で差分符号化が使えない状態を示す説明図である。図2に示すように、同一のブロック内ではMCU間でDC予測を行なって符号化することができる。しかし、ブロックを跨いでしまうと差分符号化が使えないので、このブロックを跨いだ部分での符号化効率が低下する。
次に、RSTマーカーコードを付加した圧縮には、画像サイズの制限がある。RSTマーカーコード間の画像サイズは一定である必要がある。通常、デジタルスチルカメラのJPEGでは、輝度成分で水平16画素単位での処理を行うため、それぞれのブロックは16画素単位でなければならない。従って、例えば4つのブロックに縦長に分割する構成であれば、64画素単位でしか画像サイズを変更できない。
しかし、ブロックの大きさは通常水平256pixel、512pixel等の小さいものであり、画像全体は5000〜8000pixel等の大きなものになりつつある。このため、例えば32ブロックに画像を分割して処理すると、256画素単位でしか画像サイズを変更することができない。
しかし、そのような都合の良い撮像素子は多くなく、割り切れない部分は画像の右側には黒を挿入する必要が生じる。図3は、従来技術について示す説明図であり、従来技術では、画像の右側には黒を挿入する必要が生じる状態を示す説明図である。画像サイズが横7952画素で、ブロックの幅が256画素である場合、一番右のブロックは16画素のみが実際の画像であり、残りの画素には黒のデータを挿入しないとブロックとして処理することができない。
そこで以下で説明する本発明の一実施形態では、外部メモリを介さずに画像処理後の画像を複数のブロックに分割してJPEG圧縮符号化する際に、符号化効率を低下させず、またブロックの画像サイズの制限が無く、JPEG圧縮符号化および圧縮後の画像の結合を簡易に行うことが可能な、新規かつ改良された撮像装置について説明する。
<2.本発明の一実施形態>
[デジタルスチルカメラの機能構成例]
まず、本発明の一実施形態に係るデジタルスチルカメラの構成について説明する。図4は、本発明の一実施形態に係るデジタルスチルカメラ100の構成について示す説明図である。以下、図4を用いて本発明の一実施形態に係るデジタルスチルカメラ100の構成について説明する。
[デジタルスチルカメラの機能構成例]
まず、本発明の一実施形態に係るデジタルスチルカメラの構成について説明する。図4は、本発明の一実施形態に係るデジタルスチルカメラ100の構成について示す説明図である。以下、図4を用いて本発明の一実施形態に係るデジタルスチルカメラ100の構成について説明する。
図4に示したデジタルスチルカメラ100は、本発明の撮像装置の一例である。図4に示したように、本発明の一実施形態に係るデジタルスチルカメラ100は、カメラ部102と、CPU104と、ROM105と、マルチプレクサ(MUX)106と、現像部110と、画像圧縮部112と、歪補正処理部113と、メモリカード114と、LCD116と、SDRAM I/F118と、SDRAM120と、を含んで構成される。
カメラ部102は、図4には図示しないが、ズームレンズ、フォーカスレンズ、ベイヤー配列の色フィルタが設けられた撮像素子等からなり、被写体からの光を撮像素子で光電変換し、撮像素子からのベイヤー配列のRGB画像データを出力するものである。ここで、撮像素子としてはCCD(Charge Coupled Device)イメージセンサやCMOS(Complementary Metal Oxide Semiconductor)イメージセンサを用いることができる。カメラ部102で生成されて出力されるベイヤー配列のRGB画像データ(以下、カメラ部102から出力されるベイヤー配列のRGB画像データを単に「データ」とも称する)はSDRAM I/F118を介してSDRAM120に送られるか、または直接マルチプレクサ106に送られる。
CPU(Central Processing Unit)104は、デジタルスチルカメラ104の各部の動作を制御するものである。ROM105は、デジタルスチルカメラ100の動作制御に用いる各種プログラムや設定情報が格納されるものである。マルチプレクサ106は、カメラ部102で生成されて出力されるデータと、SDRAM120に格納された画像データの入力を受け、現像部110に送るものである。
現像部110は、カメラ部102で生成されたデータを用いて、輝度信号と色差信号とを含むYCbCr情報からなる画像データを生成する(現像処理に相当する処理を実行する)ものである。現像部110が生成する画像データは、画像圧縮部112に送られる。
画像圧縮部112は、現像部110が生成した画像データに対して所定の画像圧縮処理を実行するものである。所定の画像圧縮処理としては、JPEGへの圧縮処理を用いる。CPU104の制御によって画像圧縮部112で圧縮処理が施された画像データはSDRAM I/F118を介してSDRAM120に送られる。
歪補正処理部113は、SRAMへのクロックの供給を制御することで消費電力を抑えつつ、SDRAM120に格納された画像データに対して歪みを補正する処理を実行するものである。歪補正処理部113によって、歪補正処理部113によって、SDRAM120に格納された画像データの歪みを補正することができる。
メモリカード114は、画像圧縮部112で圧縮され、SDRAM120に格納された画像データを保存するものである。メモリカード114への画像データの記録はCPU104の制御によって実行される。
LCD(Liquid Crystal Display)116は、デジタルスチルカメラ100の各種設定画面を表示したり、カメラ部102が生成したデータをリアルタイムで表示(ライブビュー表示)したり、メモリカード114に保存された画像データを表示したりするものである。なお、本実施形態ではLCDを用いているが、本発明においてはLCD以外の表示デバイス、例えば有機ELを用いた表示デバイスを用いても良い。
SDRAM I/F118は、SDRAM120との間のインタフェースであり、SDRAM120へのデータの記録やSDRAM120からのデータの読み出しを仲介するものである。SDRAM(Synchronous Dynamic Random Access Memory)120は、カメラ部102が生成したデータや、現像部110で現像処理が施されたデータ、画像圧縮部112で圧縮された画像データ等を一時的に格納するものである。
なお、図4には図示しないが、デジタルスチルカメラ100には、ユーザの入力操作を受け付ける入力部を備えていてもよく、入力部には、撮影処理を実行するためのシャッタボタンや、デジタルスチルカメラ100を操作するための操作ボタンを備えていても良い。
本実施形態では、現像部110で画像データを生成すると、その画像データを、SDRAM120を介さずに画像圧縮部112に直接供給する。これにより、カメラ部102により撮影が行われてから画像圧縮部112による圧縮処理が完了するまでに要する時間の高速化を図ることが出来る。
以上、図4を用いて本発明の一実施形態に係るデジタルスチルカメラ100の構成について説明した。次に、本発明の一実施形態に係るデジタルスチルカメラ100に含まれる現像部110の構成例について説明する。
図5は、本発明の一実施形態に係るデジタルスチルカメラ100に含まれる現像部110の構成例を示す説明図である。以下、図5を用いて本発明の一実施形態に係るデジタルスチルカメラ100に含まれる現像部110の構成例について説明する。
図5に示したように、本発明の一実施形態に係るデジタルスチルカメラ100に含まれる現像部110は、フィルタ部131a、131b、131cと、リクエスト制御部132と、を含んで構成される。また図5には、現像部110に含まれる構成として、DMA133と、JPEGバッファ134と、を含んで構成される。また、画像圧縮部112の構成として、JPEG符号化部141と、DMA142と、を図示している。
フィルタ部131a、131b、131cは、それぞれ、DMA133がSDRAM120から読み出したデータに対するフィルタ処理を実行するものである。例えば、フィルタ部131aはベイヤーデータからYUVデータへの変換、フィルタ部131bは、ノイズリダクション、フィルタ部131cはエッジ強調の補正等を行う。
リクエスト制御部132は、JPEGバッファ134の出力ライン数を観測して、JPEGバッファ134に対してラインが入力されるタイミングを制御するためのものである。これは、JPEGバッファ134が出力を完了するまでに新たな入力がされないようにするためのものである。このリクエスト制御部132は、DMA133及びフィルタ部131a、131b、131cに対して、ラインをいつ出力するかについて、そのタイミングを制御するように構成してある。
DMA133は、リクエスト制御部132からリクエストがあった場合に、SDRAM120に格納されている元画像データの上端から下端に向かって1ライン又は複数ラインごとに読み出し、フィルタ部131aへと出力する。なお、図5では3つのフィルタ部131a、131b、131cを図示しているが、フィルタの数はかかる例に限定されないことは言うまでもなく、2つ以下であっても、4つ以上であってもよい。ここで、本実施形態にかかるデジタルスチルカメラ100に含まれる現像部110の、フィルタ部131a、131b、131cによるフィルタ処理について説明する。
フィルタ処理を行う場合は、通常フィルタののりしろとなる部分(Ring Pixel)が必要となる。フィルタの出力は、このRing Pixel部分が取り除かれた状態のものとなる。しかし、このようにRing Pixelを取り除くと、Ring Pixelの分だけ画像が小さくなる。特に、近年の高画質化の要望に伴ってフィルタのタップ数も増大しているため、タップ数の増大に伴って、Ring Pixelの画素数も大きくなってきている。
図6は、Ring Pixelを取り除く、通常のフィルタ処理について示す説明図である。図6では、画像データの垂直方向における最終5ラインについて、それぞれラインメモリに画像データを入力している状態が図示されている。このように、画像データの垂直方向における最終5ラインについて、最後のラインまでラインメモリに入力された時点でフィルタ処理の動作が終了する。
ここで本実施形態にかかるデジタルスチルカメラ100では、フィルタ部131a、131b、131cにおいて、上述したようなRing Pixelを取り除くことなく、入力画像のサイズと同じサイズの画像を出力するフィルタ処理(リングレス処理)を実行する。なお、リングレス処理は、フィルタ部131a、131b、131cの全てにおいて実行するようにしてもよく、最後段のフィルタ部131cのみ実行するようにしてもよい。
図7は、本実施形態にかかるデジタルスチルカメラ100に含まれる現像部110の、フィルタ部131a、131b、131cによるフィルタ処理について示す説明図である。図7では、図6と同様に画像データの垂直方向における最終5ラインについての処理が示されているが、図7では、最終3ラインをラインメモリに入力し、残りの2ラインは最終ラインのコピーをラインメモリに入力した状態が示されている。このようにラインメモリに画像データを入力することで、Ring Pixelを取り除くことなく、入力画像のサイズと同じサイズの画像を出力するフィルタ処理が実現できる。
フィルタ部131a、131b、131cによるフィルタ処理について簡単に説明する。上述したように、本実施形態では、フィルタ部131aはベイヤーデータからYUVデータへの変換、フィルタ部131bは、ノイズリダクション、フィルタ部131cはエッジ強調の補正等を行う。
これらのフィルタは直列に直結してあり、各フィルタから出力されたデータは直接、後の工程のフィルタへと入力されることになる。また、各フィルタにおいて複数ピクセルの画素に基づいて1つの画素を構成する処理を行うようになっており、そのまま入力された画像に対して処理を行うとその分画素が減少してしまうのを防ぐために、各フィルタにおいて、入力されたラインに対してリングピクセルを付加するようにしている。
より具体的には、リクエスト制御部132は、JPEGバッファ134が、入力されたライン数よりも少ないライン数を出力する場合には、特に制御を行わない。この場合、JPEGバッファ134への入力待ちがないので、連続してラインを入力すればよく、フィルタ部131a、131b、131cは、入力されるラインが無くなったことを検出して、下側のリングラインを次のフィルタ又はJPEGバッファ134へと入力するように構成しておけばよい。
JPEGバッファ134が、1ライン入力に対して1ライン出力以上が行われる場合には、リクエスト制御部132は、SDRAM120に記憶されている元画像データの全てのラインが出力されるまでの間は、DMA133のラインの読み出し、及びその出力タイミングを制御する。
具体的には、JPEGバッファ134で出力が完了したことを検知すると、次のラインを読み込むようにDMA133にリクエストを行うようにしてある。その後、各フィルタにおいて付加されるリングピクセル枠に合わせて、各下側リングラインがJPEGバッファ134まで入力されるように、フィルタ部131a、131b、131cの順で各下側リングラインを出力するリクエストを行うように構成してある。
このリクエストに関しては以下のような手順でその順番が決定される。ここで、元画像データを分割した入力ライン数をA、フィルタ部131cから今まで出力された出力ライン数をB、フィルタ部131a、131b、131cにおける下側リングラインの数をそれぞれL1、L2、L3とした場合、A−(L1+L2+L3)≦B<A−(L2+L3)の間に出力ライン数Bがあるときは、フィルタ部131aから下側リングラインを上から下へと順番に出力するようにリクエストする。
次にA−(L2+L3)≦B<A−L3の間に出力ライン数Bがある場合には、リクエスト制御部132は、フィルタ部131bに下側リングラインを上から順に出力するようにリクエストする。
最後に、A−L3≦B<Aの間に出力ライン数Bがある場合には、リクエスト制御部132は、フィルタ部131cに下側リングラインを上から順に出力するようにリクエストする。
もちろん、フィルタ部131a、131b、131cによるフィルタ処理は、かかる例に限定されないことは言うまでもない。
画像圧縮部112が実行する、JPEGによる符号化は、DCTを基本とした符号化のため、垂直8画素単位でしか符号化することが出来ない。しかし、現像部110での画像処理はベイヤーのサイズ以上は出力しないため、例えば垂直ライン数が100ラインであった場合には、最後に4ライン不足することになる。そして従来では、画像データを垂直8画素単位で符号化していき、最下部が8画素に満たない場合には、8ラインに満たない行については、最終ラインをコピーするか、黒データを挿入することにより対応していた。
しかし、本実施形態にかかるデジタルスチルカメラ100のように、現像部110が画像処理したデータを、SDRAM120を介さず画像圧縮部112に供給すると、JPEGでの垂直画素数は画像圧縮部112(またはJPEGバッファ134)で分かる。従って、画像圧縮部112またはJPEGバッファ134からフィルタ部131a、131b、131cに対して吐き出し処理を実行する。図5では、JPEGバッファ134からリクエスト制御部132へ、フィルタ部131a、131b、131cに対する吐き出し処理を指示する。
具体的には、本実施形態にかかるデジタルスチルカメラ100は以下のような処理を実行する。
(1)Frameが有効の場合
通常動作のフィルタ処理を実行する。画像圧縮部112でのJPEGのIPが間に合っている間は、JPEGバッファ134はリクエスト制御部132に対してラインのリクエストを行う。
通常動作のフィルタ処理を実行する。画像圧縮部112でのJPEGのIPが間に合っている間は、JPEGバッファ134はリクエスト制御部132に対してラインのリクエストを行う。
(2)Frameが無効になった場合
Frameの有効期間中にフィルタ部131a、131b、131cに含まれるラインカウンタが動作を始めていた場合、リクエスト制御部132は、8の倍数になるまでフィルタ部131a、131b、131cへリクエストを発行し、8の倍数になった時点で動作を完了する。現像部110では、フィルタ部131a、131b、131cが上述のリングレス処理を行っているため、入力される画像と大きく相違しない画像を出力することができる。
Frameの有効期間中にフィルタ部131a、131b、131cに含まれるラインカウンタが動作を始めていた場合、リクエスト制御部132は、8の倍数になるまでフィルタ部131a、131b、131cへリクエストを発行し、8の倍数になった時点で動作を完了する。現像部110では、フィルタ部131a、131b、131cが上述のリングレス処理を行っているため、入力される画像と大きく相違しない画像を出力することができる。
図8は、本発明の一実施形態にかかるデジタルスチルカメラ100の動作を示す流れ図である。図8に示した流れ図は、本発明の一実施形態にかかるデジタルスチルカメラ100の現像部110におけるフィルタ処理について示したものである。以下、図8を用いて本発明の一実施形態にかかるデジタルスチルカメラ100の動作について説明する。
JPEGバッファ134は、JPEG符号化前の垂直ライン数を取得する(ステップS101)。JPEGバッファ134は、取得した垂直ライン数の情報をリクエスト制御部132へ送る。
リクエスト制御部132は、JPEGバッファ134からJPEG符号化前の垂直ライン数の情報を受け取ると、その垂直ライン数が、MCUの垂直画素数である8で割り切れるものかどうか判断する(ステップS102)。
リクエスト制御部132は、上記ステップS102の判断の結果、JPEG符号化前の垂直ライン数が8で割り切れないライン数である場合は、最終ライン以降、8で割り切れるようになるまで、最終ラインをラインメモリに挿入していくよう、フィルタ部131a、131b、131cへリクエストする(ステップS103)。
リクエスト制御部132は、上記ステップS102の判断の結果、JPEG符号化前の垂直ライン数が8で割り切れる画素数である場合、また、上記ステップS103によりフィルタ部131a、131b、131cへリクエストすると、フィルタ部131a、131b、131cは、DMA133がSDRAM120から読み出したデータに対するフィルタ処理を実行する(ステップS104)。
図9は、本実施形態にかかるデジタルスチルカメラ100に含まれる現像部110の、フィルタ部131a、131b、131cによるフィルタ処理について示す説明図である。図9では、図6、図7と同様に、画像データの垂直方向における最終5ラインについての処理が示されている。
まずフィルタ部131aでは、最終3ラインをラインメモリに入力し、残りの2ラインは最終ラインのコピーをラインメモリに入力して出力する。続いてフィルタ部131bでは、最終2ラインをラインメモリに入力し、残りの3ラインは最終ラインのコピーをラインメモリに入力して出力する。最後にフィルタ部131cでは、最終ラインをラインメモリに入力し、残りの4ラインは最終ラインのコピーをラインメモリに入力して出力する。
このように、最終ラインのデータを順次ラインメモリに入力していくことで、従来の、8ラインに満たない行について最終ラインをコピーするか、黒データを挿入することによりJPEGによる符号化を行なっていた場合と比較して、画像の下部において画質を改善し、より自然な画像を得ることが可能となる。
図10は、本発明の一実施形態に係るデジタルスチルカメラ100に含まれる現像部110の変形例を示す説明図である。以下、図5を用いて本発明の一実施形態に係るデジタルスチルカメラ100に含まれる現像部110の変形例について説明する。
図9に示したように、本発明の一実施形態に係るデジタルスチルカメラ100に含まれる現像部110は、フィルタ部131a、131b、131cと、リクエスト制御部132と、演算部135と、を含んで構成される。また図9には、現像部110に含まれる構成として、DMA133と、JPEGバッファ134と、を含んで構成される。また、画像圧縮部112の構成として、JPEG符号化部141と、DMA142と、を図示している。
演算部135は、出力ライン数レジスタ151と、減算部152と、除算部153と、加算部154と、を含んで構成される。
出力ライン数レジスタ151は、JPEGによる符号化後の画像の垂直ライン数の情報を記録する。減算部152は、出力ライン数レジスタ151に書きこまれた、出力ライン数の情報を、後述する、1つのMCUの垂直画素数である8(111)から減算する。除算部153は、減算部152の減算結果を2で除算する。加算部154は、出力ライン数レジスタ151に書きこまれた出力ライン数の情報と、除算部153による除算結果とを加算して出力する。
JPEGによる符号化後の画像の垂直ライン数の情報は、設定されれば予め分かるので、出力ライン数の情報は、CPU104から出力ライン数レジスタ151に書き込むことができる。減算部152は、出力ライン数レジスタ151に書きこまれた、出力ライン数の情報におけるLSB3ビットを、1つのMCUの垂直画素数である8(111)から減算する処理を実行し、減算結果を除算部153に送る。除算部153は、減算部152の減算結果を2で除算する。そして、加算部154は、出力ライン数レジスタ151に書き込まれる出力ライン数の情報と、除算部153の除算結果とを加算して、リクエスト制御部132に出力する。
演算部135が、このように出力ライン数の情報を演算してリクエスト制御部132に出力することで、フィルタ部131a、131b、131cは、8ラインに満たない行についての演算を画面の上下で分担することができ、JPEGによる符号化を行った場合に、より自然な画像を得ることができる。
例えば、JPEGによる符号化後の画像の垂直ライン数を8で割った余りが4であることが演算部135の演算で判明したとすると、最初に2ライン分だけ余分にリクエストを発行し、その後、フィルタ部131a、131b、131cによるフィルタ処理を実行する、そして、最下部の2ライン分については、最終ラインのデータをラインメモリに挿入する。このように、フィルタ処理を画面の上下で分担することで、JPEGによる符号化を行った場合に、より自然な画像を得ることができる。
<3.まとめ>
以上説明したように本発明の一実施形態にかかるデジタルスチルカメラ100によれば、現像部110が輝度信号と色差信号とを含むYCbCr情報からなる画像データを生成し、SDRAM120を介さずにその画像データを画像圧縮部112に供給する場合に、1つの画像を複数のタイルに分割して現像部110から画像圧縮部112に供給する。画像圧縮部112では、タイル単位で画像データを可変長符号化する。
以上説明したように本発明の一実施形態にかかるデジタルスチルカメラ100によれば、現像部110が輝度信号と色差信号とを含むYCbCr情報からなる画像データを生成し、SDRAM120を介さずにその画像データを画像圧縮部112に供給する場合に、1つの画像を複数のタイルに分割して現像部110から画像圧縮部112に供給する。画像圧縮部112では、タイル単位で画像データを可変長符号化する。
そして、本発明の一実施形態にかかるデジタルスチルカメラ100は、現像部110においてリングレス処理によるフィルタ処理を実行するが、JPEGによる符号化はMCU単位で行われるので、垂直8ライン単位でしか符号化ができない。そこで現像部110は、フィルタ部131a、131b、131cによるフィルタ処理に際して、8ラインに満たない部分については最終ラインをラインメモリに挿入する。これにより、JPEGによる符号化後を行った場合により自然な画像を得ることができる。
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
100 デジタルスチルカメラ
102 カメラ部
104 CPU
105 ROM
106 マルチプレクサ(MUX)
110 現像部
112 画像圧縮部
113 歪補正処理部
114 メモリカード
116 LCD
118 SDRAM I/F
120 SDRAM
131a、131b、131c フィルタ部
132 リクエスト制御部
133 入力DMA
134 JPEGバッファ
135 演算部
102 カメラ部
104 CPU
105 ROM
106 マルチプレクサ(MUX)
110 現像部
112 画像圧縮部
113 歪補正処理部
114 メモリカード
116 LCD
118 SDRAM I/F
120 SDRAM
131a、131b、131c フィルタ部
132 リクエスト制御部
133 入力DMA
134 JPEGバッファ
135 演算部
Claims (5)
- 撮像素子への入光により生成されるデータから画像データを生成する画像処理部と、
前記画像処理部が生成した画像データを符号化して符号化画像データを生成する符号化部と、
前記符号化部が生成した前記符号化画像データを記憶する記憶部と、
を備え、
前記画像処理部は、生成した画像データを横方向に複数のブロックに分割して前記記憶部を介さずに前記符号化部へ供給し、
前記画像処理部は、
前記生成されるデータに対して所定のフィルタ処理を実行する少なくとも1つのフィルタ部と、
前記フィルタ部のフィルタ処理を制御するフィルタ制御部と、
を含み、
前記フィルタ制御部は、前記符号化部で符号化される画像データの垂直画素数の情報を取得し、前記画像データの垂直画素数が前記符号化部での符号化単位の垂直画素数で割り切れない場合は割り切れるまで、前記生成されるデータの最下行のデータを追加する制御を前記フィルタ部へ実行することを特徴とする、撮像装置。 - 前記フィルタ部が実行する所定のフィルタ処理は、入力データの画素数と出力データの画素数とが一致するフィルタ処理であることを特徴とする、請求項1に記載の撮像装置。
- 前記画像処理部は、前記フィルタ部を2つ以上含み、複数の前記フィルタ部は縦続接続され、
入力データの画素数と出力データの画素数とが一致するフィルタ処理は、複数の前記フィルタ部の内の最後段のフィルタ部においてのみ実行されることを特徴とする、請求項1に記載の撮像装置。 - 前記画像処理部は、前記符号化部が生成する符号化画像データの垂直画素数を取得し、前記画像データの垂直画素数が前記符号化部での符号化単位の垂直画素数で割り切れない場合は、前記符号化部での符号化単位に足りない分を前記生成されるデータの上下へ分担して画像データを生成することを特徴とする、請求項1に記載の撮像装置。
- 撮像素子への入光により生成されるデータから画像データを生成する画像処理ステップと、
前記画像処理ステップで生成した画像データを符号化して符号化画像データを生成する符号化ステップと、
前記符号化ステップで生成された前記符号化画像データを記憶する記憶ステップと、
を備え、
前記画像処理ステップは、生成した画像データを横方向に複数のブロックに分割して前記記憶ステップを介さずに前記符号化ステップで符号化し、
前記画像処理ステップは、
前記生成されるデータに対して所定のフィルタ処理を実行する少なくとも1つのフィルタステップと、
前記フィルタステップでのフィルタ処理を制御するフィルタ制御ステップと、
を含み、
前記フィルタ制御ステップは、前記符号化ステップで符号化される画像データの垂直画素数の情報を取得し、前記画像データの垂直画素数が前記符号化ステップでの符号化単位の垂直画素数で割り切れない場合は割り切れるまで、前記生成されるデータの最下行のデータを追加するよう前記フィルタステップでのフィルタ処理を制御することを特徴とする、画像処理方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011275010A JP2013126186A (ja) | 2011-12-15 | 2011-12-15 | 撮像装置及び画像処理方法 |
KR1020120127622A KR101923971B1 (ko) | 2011-12-15 | 2012-11-12 | 촬상 장치 및 화상 처리 방법 |
US13/715,195 US8934028B2 (en) | 2011-12-15 | 2012-12-14 | Imaging apparatus and image processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011275010A JP2013126186A (ja) | 2011-12-15 | 2011-12-15 | 撮像装置及び画像処理方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2013126186A true JP2013126186A (ja) | 2013-06-24 |
Family
ID=48777175
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011275010A Pending JP2013126186A (ja) | 2011-12-15 | 2011-12-15 | 撮像装置及び画像処理方法 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2013126186A (ja) |
KR (1) | KR101923971B1 (ja) |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4151684B2 (ja) * | 2005-01-26 | 2008-09-17 | ソニー株式会社 | 符号化装置、符号化方法および符号化プログラム、並びに撮像装置 |
JP4769039B2 (ja) * | 2005-07-26 | 2011-09-07 | パナソニック株式会社 | デジタル信号符号化および復号化装置ならびにその方法 |
JP4288623B2 (ja) * | 2007-01-18 | 2009-07-01 | ソニー株式会社 | 撮像装置、ノイズ除去装置、ノイズ除去方法、ノイズ除去方法のプログラム及びノイズ除去方法のプログラムを記録した記録媒体 |
KR20100036601A (ko) * | 2008-09-30 | 2010-04-08 | 엘지전자 주식회사 | 영상 잡음 제거 장치 및 방법 |
-
2011
- 2011-12-15 JP JP2011275010A patent/JP2013126186A/ja active Pending
-
2012
- 2012-11-12 KR KR1020120127622A patent/KR101923971B1/ko active IP Right Grant
Also Published As
Publication number | Publication date |
---|---|
KR101923971B1 (ko) | 2019-02-22 |
KR20130069373A (ko) | 2013-06-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
RU2473968C2 (ru) | Видеокамера | |
JP4151684B2 (ja) | 符号化装置、符号化方法および符号化プログラム、並びに撮像装置 | |
US9723169B2 (en) | Imaging apparatus and imaging apparatus control method | |
US20160037122A1 (en) | Image processing apparatus and image processing method | |
TWI360347B (en) | Image processor, imaging device, and image process | |
JP4560180B2 (ja) | 撮像装置 | |
JP2007088806A (ja) | 画像信号処理装置及び画像信号処理方法 | |
US20170134648A1 (en) | Image processing apparatus, method for controlling image processing apparatus, image pickup apparatus, method for controlling image pickup apparatus, and recording medium | |
US8049794B2 (en) | Method and apparatus for processing image data | |
JP6278712B2 (ja) | 撮像装置およびその制御方法 | |
JP6700798B2 (ja) | 撮像装置及びその制御方法 | |
JP2016005103A (ja) | 撮像装置およびその制御方法 | |
JP2011035863A (ja) | 撮像装置 | |
KR102012715B1 (ko) | 촬상 장치 및 화상처리 방법 | |
KR100935541B1 (ko) | 이미지 신호의 처리 방법 및 이를 수행하는 신호 처리 장치 | |
JP2010028758A (ja) | 画像処理装置及び方法、プログラム、並びに撮像装置 | |
JP2013126186A (ja) | 撮像装置及び画像処理方法 | |
JP5884604B2 (ja) | 画像記録装置、撮像装置、画像記録プログラム、および画像表示プログラム | |
JP5607345B2 (ja) | 画像処理装置及び画像処理方法 | |
JP2004312072A (ja) | 画像処理装置及びカメラ、並びに画像処理方法 | |
US8934028B2 (en) | Imaging apparatus and image processing method | |
JP2014116746A (ja) | 撮像装置、歪補正回路及び歪補正方法 | |
TWI424371B (zh) | Video processing device and processing method thereof | |
JP2009038740A (ja) | 画像符号化装置 | |
JP2009201153A (ja) | ディジタルカメラおよび撮影方法 |