JP5724609B2 - Image processing apparatus, image processing method, and imaging apparatus - Google Patents
Image processing apparatus, image processing method, and imaging apparatus Download PDFInfo
- Publication number
- JP5724609B2 JP5724609B2 JP2011108374A JP2011108374A JP5724609B2 JP 5724609 B2 JP5724609 B2 JP 5724609B2 JP 2011108374 A JP2011108374 A JP 2011108374A JP 2011108374 A JP2011108374 A JP 2011108374A JP 5724609 B2 JP5724609 B2 JP 5724609B2
- Authority
- JP
- Japan
- Prior art keywords
- imaging data
- data
- unit
- field
- divided
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Studio Devices (AREA)
Description
画像処理装置、画像処理方法、撮像装置に関する。 The present invention relates to an image processing device, an image processing method, and an imaging device.
従来、デジタルカメラ等の撮像装置は、CCDイメージセンサ等の撮像素子によって得られた撮像信号をデジタルの撮像データに変換し、メモリ(例えば、SDRAM)に格納する。そして、撮像装置は、メモリから読み出した画像データを、表示部(例えばLCD)に表示する。また、撮像装置は、メモリから読み出した画像データに対して、色処理や圧縮処理等の処理を行い、処理後のデータをメモリに格納する。 Conventionally, an imaging apparatus such as a digital camera converts an imaging signal obtained by an imaging element such as a CCD image sensor into digital imaging data and stores the digital imaging data in a memory (for example, SDRAM). Then, the imaging device displays the image data read from the memory on a display unit (for example, LCD). Further, the imaging apparatus performs processing such as color processing and compression processing on the image data read from the memory, and stores the processed data in the memory.
撮像素子として用いられるCCDイメージセンサは、撮像した画像に対応する1フレームの撮像信号(撮像データ)を、複数回に分けて出力する方式を採用している(例えば、特許文献1,2参照)。1回に出力する撮像信号(撮像データ)をフィールドと呼ぶ。
A CCD image sensor used as an image sensor employs a method of outputting an image signal (image data) corresponding to a captured image divided into a plurality of times (see, for example,
撮像装置は、撮像素子から出力される複数フィールドの撮像データを合成して1つのフレームを構成し、その1つのフレームの画像データに対して、上記の色処理や圧縮処理などを行う。 The imaging apparatus composes a plurality of fields of imaging data output from the imaging device to form one frame, and performs the above color processing and compression processing on the image data of the one frame.
画像データに対する各種の処理は、1フレーム分の撮像データを必要とする。イメージセンサにおける画素数の増加は、イメージセンサから出力されるフィールド数の増加を招き、1フレーム分の撮像データを出力する期間を長期化する。この結果、例えば、表示部に表示される画像の更新間隔が長くなるなど、使用者の待ち時間の増大を招いていた。 Various processes for image data require imaging data for one frame. An increase in the number of pixels in the image sensor causes an increase in the number of fields output from the image sensor, thereby prolonging a period for outputting imaging data for one frame. As a result, the waiting time of the user is increased, for example, the update interval of the image displayed on the display unit becomes longer.
本発明の一観点によれば、1フレームの撮像データが分割された第1〜第Nフィールド(Nは2以上の整数)の分割撮像データのうち、第1フィールドから第(N−1)フィールドのうちの1以上のフィールドの前記分割撮像データに基づいて、第Nフィールドを含むX個のフィールド(Xは1以上の整数)の分割撮像データを生成する生成部と、前記生成部にて生成されたX個のフィールドの前記分割撮像データを記憶部に格納する格納制御部と、生成するフィールドに応じたタイミングで、前記分割撮像データを出力する撮像部に、前記撮像部が前記分割撮像データを停止して次のフレームに対する処理を開始する信号を出力する制御部と、を有する。 According to an aspect of the present invention, the first field to the (N-1) th field among the divided imaging data of the first to Nth fields (N is an integer of 2 or more) obtained by dividing the imaging data of one frame. Generation unit that generates divided imaging data of X fields (X is an integer of 1 or more) including the Nth field based on the divided imaging data of one or more fields, and generated by the generation unit A storage control unit that stores the divided imaging data of the X fields that have been generated in a storage unit, and an imaging unit that outputs the divided imaging data at a timing according to a field to be generated; And a control unit that outputs a signal to start processing for the next frame .
本発明の一観点によれば、処理開始までの時間を短縮することができる。 According to one aspect of the present invention, the time until the start of processing can be shortened.
以下、実施形態を添付図面に従って説明する。
[撮像装置の全体構成]
図1に示すように、この撮像装置は例えばデジタルスチルカメラであり、撮像部11と画像処理部(ISP:Image Signal Processor)12、メモリ(記憶部)13、表示デバイス14を備えている。
Hereinafter, embodiments will be described with reference to the accompanying drawings.
[Overall configuration of imaging device]
As shown in FIG. 1, the imaging apparatus is, for example, a digital still camera, and includes an
撮像部11は、撮像光学系21と、撮像素子部22と、アナログフロントエンド(AFE:Analog Front End)23を備えている。
撮像光学系21は、被写体からの光を集光する複数のレンズ(フォーカスレンズなど)、これらのレンズを通過した光の量を調整する絞り、等を含み、光学的な被写体像を撮像素子部22に導く。
The
The imaging optical system 21 includes a plurality of lenses (such as a focus lens) that collect light from a subject, a diaphragm that adjusts the amount of light that has passed through these lenses, and the like, and an optical subject image is captured by an imaging device unit. Lead to 22.
撮像素子部22は、例えば、ベイヤ配列のカラーフィルタと、撮像素子とを含む。撮像素子は、CCD(Charge Coupled Device )イメージセンサである。撮像素子は、カラーフィルタを介して入射する光の量に応じた撮像信号(アナログ信号)を出力する。
The
撮像素子は、撮像した画像に対応する1フレームの撮像信号を、複数回に分けて出力する方式を採用している。1回に出力する撮像信号をフィールドと呼ぶ。CCDは、光を信号に変換する光電変換部と、信号を転送する垂直転送部を備える。出力するフィールドの数を増加させることで、1つの画素に対する垂直転送部の大きさを小さくすることができる。このため、1画素における光電変換部の面積を大きくすることができ、高感度化、広ダイナミックレンジ化を図ることが可能となる。 The image sensor employs a method of outputting an image signal of one frame corresponding to a captured image divided into a plurality of times. An imaging signal output at a time is called a field. The CCD includes a photoelectric conversion unit that converts light into a signal and a vertical transfer unit that transfers the signal. By increasing the number of fields to be output, the size of the vertical transfer unit for one pixel can be reduced. For this reason, the area of the photoelectric conversion unit in one pixel can be increased, and high sensitivity and a wide dynamic range can be achieved.
AFE23は、撮像素子部22から出力されるアナログの撮像信号をデジタルの撮像データに変換するA/D変換回路を含み、撮像データを出力する。また、AFE23は、画像処理部(ISP)12から供給される制御信号を、同期信号に応じて撮像素子部22へ出力する。同期信号は、1つのフィールドの区切りを示す垂直同期信号と、1ラインの区切りを示す水平同期信号を含む。
The AFE 23 includes an A / D conversion circuit that converts an analog imaging signal output from the
画像処理部12は、センサインタフェース(I/F)31、色処理部32、画像処理部33、静止画コーデック部34、メモリカードインタフェース(I/F)35、表示インタフェース(I/F)36、DMA調停部37、メモリコントローラ38、CPU(制御部)39を備えている。
The
センサI/F31,色処理部32,画像処理部33,静止画コーデック部34,メモリカードI/F35,表示I/F36,DMA調停部37は、内部バス40を介して互いに接続されている。
The sensor I /
DMA調停部37はメモリコントローラ38を介してメモリ13と接続されている。図1に示すメモリ13は、例えば同期式半導体メモリ(SDRAM:Synchronous Dynamic Random Access Memory)である。メモリ13には、撮像部11から出力される撮像データがセンサI/F31によって格納される。また、メモリ13には、各処理部32〜34による処理後の画像データが格納される。
The
センサI/F31は、撮像部11から出力される撮像データ(RGB形式の画像データ(ベイヤデータ))を受け取り、メモリ13に格納する。
色処理部32は、例えば色空間変換部であり、メモリ13に格納されたRGB形式の画像データ(ベイヤデータ)を読み出し、画像データをYCbCr形式の画像データに変換する。そして、色処理部32は、変換後の画像データをメモリ13に格納する。
The sensor I /
The
画像処理部33は、上記の処理以外の処理を行う1つ又は複数の処理部である。上記以外の処理には、例えば、画素数を増減する解像度変換処理、セピア色などの色調を変換する色調変換処理、画像の輪郭(エッジ)を強調するエッジ強調処理、画像データに含まれるノイズを除去するノイズ除去処理、等が含まれる。
The
静止画コーデック部34は、メモリ13に格納された画像データを読み出し、その画像データを所定の方式(例えばJPEG(Joint Photographic Experts Group)方式)により符号化し、符号化後の画像データ(符号化データ)をメモリ13に格納する。
The still
メモリカードI/F35は、撮像装置に装着されるメモリカード15と接続される。メモリカードI/F35は、メモリ13に格納されたデータ(例えば圧縮された画像データ)をメモリカード15に格納する。
The memory card I /
表示I/F36には、表示デバイス14が接続されている。表示デバイス14は、例えば液晶表示装置(LCD:Liquid Crystal Display)である。表示デバイス14は、撮影装置の駆動源であるバッテリの残量、撮影モード、撮影フレーム、記憶された画像データの表示、等に用いられる。例えば、表示I/F36は、メモリ13に格納された画像データを読み出し、その画像データを表示デバイス14に出力する。
The display device 14 is connected to the display I /
センサI/F31,色処理部32,画像処理部33,静止画コーデック部34,メモリカードI/F35,表示I/F36は、それぞれメモリアクセスコントローラ(DMAC:Direct Memory Access Controller)31a〜36aを備えている。メモリアクセスコントローラ31a〜36aは、各回路31〜36が行う処理に応じたアクセス要求を出力する。例えば、センサI/F31は、撮像部11から出力される撮像データを、メモリ13に格納する。このため、センサI/F31のメモリアクセスコントローラ31aは、書き込み要求(ライトリクエスト)を出力する。表示I/F36は、表示デバイス14に表示する画像データをメモリ13から読み出す。このため、表示I/F36のメモリアクセスコントローラ36aは、読み出し要求(リードリクエスト)を出力する。
The sensor I /
DMA調停部37は、各回路31〜36のメモリアクセスコントローラ31a〜36aから出力され競合する要求(リクエスト)を、例えば各処理部31〜36に対応して設定された優先度に従って要求を調停し、1つの回路に対するアクセスを許可する。アクセスが許可された回路は、メモリ13に対するアクセスのための制御信号を出力する。読み出し要求の場合、メモリコントローラ38は、制御信号に応じてメモリ13からデータを読み出し、その読み出したデータを要求元に出力する。メモリコントローラ38は、書き込み要求と、その要求元から出力されるデータをメモリ13に出力し、メモリ13はそのデータを記憶する。
The
CPU39は、画像処理部12全体を制御する。また、CPU39は、センサI/F31を制御する。上記したように、撮像素子部22に含まれる撮像素子(CCDイメージセンサ)は、1フレームの撮像データを、複数のフィールドに分割し、各フィールドの分割撮像データを順次出力する。センサI/F31は、撮像部11から順次出力されるフィールドの分割撮像データを受け取る。そして、センサI/F31は、受け取ったフィールドの分割撮像データから、受け取っていないフィールドに対応する分割撮像データを生成し、生成した分割撮像データをメモリ13に格納する。これにより、メモリ13には、1フレーム分の画素数に対応するデータ量の撮像データが格納される。従って、撮像素子部22が1フレームの撮像データの出力を開始してから、メモリ13に1フレーム分の撮像データが格納されるまでに要する時間(撮像データ出力期間)が、全てのフレームの撮像データを受け取るための必要な時間よりも短くなる。そして、全てのフィールドの分割撮像データをセンサI/F31が受け取るタイミングよりも早くメモリ13に格納された撮像データに対する各種の処理を開始することが可能となる。
The
次に、センサI/Fの構成例を順次説明する。
[第1実施形態]
図2に示すように、センサI/F50は、3つのメモリアクセス部(DMA0,DMA1,DMA2と表記)51,52,53と、1つの演算部54を備える。
Next, configuration examples of the sensor I / F will be sequentially described.
[First Embodiment]
As shown in FIG. 2, the sensor I /
各メモリアクセス部51〜53は、それぞれ設定に従って要求を出力し、メモリ13との間に転送チャネルをそれぞれ形成する。第1のメモリアクセス部51は、メモリ13に対してデータを格納するライトチャネルを形成する。第1のメモリアクセス部51は、撮像部11から出力される撮像データを、ライトチャネルを介してメモリ13に格納する。
Each of the
第2のメモリアクセス部52は、メモリ13に対してデータを格納するライトチャネルを形成する。第2のメモリアクセス部52は、演算部54から出力されるデータを、ライトチャネルを介してメモリ13に格納する。メモリアクセス部51は格納制御部(第1の格納制御部)の一例である。メモリアクセス部52は格納制御部(第2の格納制御部)の一例である。
The second
第3のメモリアクセス部53は、メモリ13からデータを読み出すリードチャネルを形成する。第3のメモリアクセス部53は、メモリ13から読み出したデータを演算部54に出力する。メモリアクセス部53は読出部の一例である。
The third
演算部54には、撮像部11から出力される撮像データGDが供給される。演算部54は、撮像データGDと、第3のメモリアクセス部53から出力されるデータとを演算して生成したデータを第2のメモリアクセス部52に出力する。演算部54には、各メモリアクセス部51〜53が、メモリ13に対してアクセス(リード又はライト)する撮像データGDの画素の位置に応じた演算内容が設定されている。
Imaging data GD output from the
撮像部11は、1フレームの撮像データを3つのフィールドの分割撮像データに分けて順次出力する。センサI/F50は、1番目のフィールドの分割撮像データを、第1のメモリアクセス部51を介してメモリ13に格納する。次に、センサI/F50は、2番目のフィールドの分割撮像データを、第1のメモリアクセス部51と演算部54とに供給する。第1のメモリアクセス部51は、供給される2番目のフィールドの分割撮像データをメモリ13に格納する。第3のメモリアクセス部53は、メモリ13に格納されている撮像データ、つまり1番目のフィールドの分割撮像データを順次読み出し、演算部54に出力する。演算部54は、入力データ、つまり1番目のフィールドの分割撮像データと、2番目のフィールドの分割撮像データとに基づいて、3番目のフィールドに対応する分割撮像データを生成する。
The
1フレームの撮像データと、各フィールドの分割撮像データとの関係を説明する。
図3に示すように、1つのフレームの撮像データは、複数(図3において12)のラインデータL1〜L12を含む。各ラインデータL1〜L12は、撮像素子の1つの方向(例えば水平方向)に配列された複数(図3において4)の画素がそれぞれ受ける光の量に応じた値(画素値)を含む。また、撮像素子の各画素は、所定配列(例えばベイヤ配列)のカラーフィルタを透過した光を受光する。従って、各ラインデータL1〜L12に含まれる各画素値は、カラーフィルタの配列及び色に応じた色情報を含む。
A relationship between one frame of image data and divided image data of each field will be described.
As shown in FIG. 3, the imaging data of one frame includes a plurality (12 in FIG. 3) of line data L1 to L12. Each of the line data L1 to L12 includes a value (pixel value) corresponding to the amount of light received by each of a plurality (4 in FIG. 3) of pixels arranged in one direction (for example, the horizontal direction) of the image sensor. Each pixel of the image sensor receives light that has passed through a color filter having a predetermined arrangement (for example, a Bayer arrangement). Accordingly, each pixel value included in each line data L1 to L12 includes color information corresponding to the arrangement and color of the color filter.
例えば、図3において、撮像素子の奇数段の列に対応するラインデータL1,L3,L5,L7,L9,L11は、赤画素Rの画素データと緑画素Grの画素データを交互に含み、偶数段の列に対応するラインデータL2,L4,L6,L8,L10,L12は、緑画素Gbの画素データと青画素Bの画素データを交互に含む。なお、緑画素は、水平方向に赤画素Rが配列された列の緑画素をGr、水平方向に青画素Bが配列された列の緑画素をGbとして示す。 For example, in FIG. 3, line data L1, L3, L5, L7, L9, and L11 corresponding to the odd-numbered columns of the image sensor alternately include pixel data of red pixels R and pixel data of green pixels Gr. The line data L2, L4, L6, L8, L10, and L12 corresponding to the stage column alternately include the pixel data of the green pixel Gb and the pixel data of the blue pixel B. The green pixel is indicated by Gr as a green pixel in a column in which red pixels R are arranged in the horizontal direction and Gb in a column in which blue pixels B are arranged in the horizontal direction.
各ラインデータL1〜L12は、撮像素子の構成に従って、水平方向に沿って順次出力される。例えば、各ラインデータL1〜L12は、左端の画素から右端の画素まで、水平方向に沿って順次出力される。 The line data L1 to L12 are sequentially output along the horizontal direction according to the configuration of the image sensor. For example, the line data L1 to L12 are sequentially output along the horizontal direction from the leftmost pixel to the rightmost pixel.
この撮像素子は、1つのフレームの撮像データを、3つのフィールドに分けて出力する。各フィールドの分割撮像データは、3ライン毎の各ラインデータを含む。従って、図4に示すように、第1のフィールド(1フィールド目)の分割撮像データは、ラインデータL1,L4,L7,L10を含む。同様に、第2のフィールド(2フィールド目)の分割撮像データは、ラインデータL2,L5,L8,L11を含み、第3のフィールド(3フィールド目)の分割撮像データは、ラインデータL3,L6,L9,L12を含む。 This image sensor outputs image data of one frame divided into three fields. The divided imaging data of each field includes each line data for every three lines. Therefore, as shown in FIG. 4, the divided imaging data of the first field (first field) includes line data L1, L4, L7, and L10. Similarly, the divided imaging data of the second field (second field) includes line data L2, L5, L8, and L11, and the divided imaging data of the third field (third field) is line data L3 and L6. , L9, L12.
第3のフィールドのラインデータL3は、図3に示すように、第1のフィールドのラインデータL1や、第2のフィールドのラインデータL5と同じ配列の色情報を含む。そして、ラインデータL3は、ラインデータL1とラインデータL5の間にあって、垂直方向におけるラインデータL3の画素とラインデータL1の画素との間の距離は、ラインデータL3の画素とラインデータL5の画素との間の距離に等しい。そして、ラインデータL3の画素における受光量は、ラインデータL1の画素における受光量とラインデータL5の画素における受光量と、相対的に関連することが多い。画素間の距離は、撮像素子の大きさが変らなければ、画素の数が多いほど小さくなり、各画素の受光量は高い相関関係となる場合が多い。 As shown in FIG. 3, the line data L3 of the third field includes color information having the same arrangement as the line data L1 of the first field and the line data L5 of the second field. The line data L3 is between the line data L1 and the line data L5, and the distance between the pixel of the line data L3 and the pixel of the line data L1 in the vertical direction is the pixel of the line data L3 and the pixel of the line data L5. Is equal to the distance between The amount of light received by the pixel of line data L3 is often relatively related to the amount of light received by the pixel of line data L1 and the amount of light received by the pixel of line data L5. If the size of the image sensor does not change, the distance between pixels decreases as the number of pixels increases, and the amount of light received by each pixel often has a high correlation.
このため、図2に示すセンサI/F50は、第1のフィールドの分割撮像データと、第2のフィールドの分割撮像データと用い、両フィールドの相対的な関係に基づいて、第3のフィールドに対応する分割撮像データを生成する。具体的には、図5に示すように、メモリアクセス部(DMA0)51は、第1のフィールドに含まれる全てのラインデータL1,L4,L7,L10をメモリ13に格納する。
For this reason, the sensor I /
次いで、第2のフィールドのラインデータL5に対応する撮像データが入力されると、メモリアクセス部(DMA0)51は、このラインデータL5に対応する撮像データをメモリ13に格納する。このとき、メモリアクセス部(DMA2)53は、メモリ13からラインデータL1に対応する撮像データを順次読み出す。そして、演算部54は、ラインデータL1の各画素の撮像データと、ラインデータL5の各画素の撮像データとに基づいて、ラインデータL3の各画素に対応する撮像データを算出する。例えば、ラインデータL3とラインデータL1との距離、ラインデータL3とラインデータL5の距離は、互いに等しい。従って、演算部54は、ラインデータL5の各画素の撮像データと、ラインデータL1の各画素の撮像データとの平均値を算出し、この算出結果を、ラインデータL3の各画素に対応する撮像データとして出力する。メモリアクセス部(DMA1)52は、演算部54の出力値を、メモリ13内の領域であって、第2のフィールドのラインデータL3に対応する領域に格納する。
Next, when imaging data corresponding to the line data L5 of the second field is input, the memory access unit (DMA0) 51 stores the imaging data corresponding to the line data L5 in the
同様に、第2のフィールドのラインデータL8が入力されるとき、メモリアクセス部(DMA2)53は、ラインデータL8に対応するラインデータL4の撮像データを順次読み出す。演算部54は、ラインデータL8の各画素の撮像データと、ラインデータL4の各画素の撮像データに基づいて、ラインデータL6の各画素に対応する撮像データを順次算出し、メモリアクセス部(DMA1)は、このラインデータL6の各画素に対応する撮像データを順次メモリ13に格納する。
Similarly, when the line data L8 of the second field is input, the memory access unit (DMA2) 53 sequentially reads the imaging data of the line data L4 corresponding to the line data L8. The
各メモリアクセス部51〜53は、撮像部11が出力するフィールドの数と、各フィールドに含まれるラインの数により、その時々にアクセスするメモリ13の領域を決定する。撮像部11は、同期信号(水平同期信号Hs,垂直同期信号Vs)に同期して各フィールドの分割撮像データを出力する。例えば、図6(a)に示すように、撮像部11は、垂直同期信号Vsの1周期の間に、第1のフィールドに含まれるラインデータL1,L4,L7,L10に対応する撮像データを、水平同期信号Hs毎に出力する。次の垂直同期信号Vsの1周期の間に、第2のフィールドに含まれるラインデータL2,L5,L8,L11に対応する撮像データを、水平同期信号Hs毎に出力する。更に、次の垂直同期信号Vsの1周期の間に、第3のフィールドに含まれるラインデータL3,L6,L9,L12に対応する撮像データを、水平同期信号Hs毎に出力する。
Each of the
従って、各メモリアクセス部51〜53は、垂直同期信号Vsと水平同期信号Hsをそれぞれカウントし、それらのカウント値と演算式により、各ラインの各画素の撮像データを格納する領域を得る。なお、領域の取得には、例えばテーブル(LUT:Look Up Table)を用いても良い。また、各メモリアクセス部51〜53がアクセスする領域を算出する算出部を備え、その算出部から各メモリアクセス部51〜53に対して領域の設定を行うようにしてもよい。
Accordingly, each of the
次に、センサI/F50の作用を説明する。
図6(a)に示すように、図2に示す撮像部11は、垂直同期信号Vsの1周期の間に、水平同期信号Hs毎に、第1のフィールドのラインデータL1,L4,L7,L10に対応する撮像データGDを順次出力する。センサI/F50は、各ラインデータL1,L4,L7,L10に対応する撮像データGDを、ハッチングで示すように、メモリ13に格納する。
Next, the operation of the sensor I /
As shown in FIG. 6A, the
次いで、撮像部11は、垂直同期信号Vsの1周期の間に、水平同期信号Hs毎に、第2のフィールドのラインデータL2,L5,L8,L11に対応する撮像データGDを順次出力する。センサI/F50は、ラインデータL2に対応する撮像データGDをメモリ13に格納する。次いで、センサI/F50は、ラインデータL5に対応する撮像データGDをメモリ13に格納する。また、センサI/F50は、メモリ13から読み出したラインデータL1に対応する撮像データと、ラインデータL5に対応する撮像データに基づいて、ラインデータL3に対応する撮像データを算出し、メモリ13に格納する。
Next, the
次いで、センサI/F50は、ラインデータL8に対応する撮像データGDをメモリ13に格納する。また、センサI/F50は、メモリ13から読み出したラインデータL4に対応する撮像データと、ラインデータL8に対応する撮像データに基づいて、ラインデータL6に対応する撮像データを算出し、メモリ13に格納する。次いで、センサI/F50は、ラインデータL11に対応する撮像データGDをメモリ13に格納する。また、センサI/F50は、メモリ13から読み出したラインデータL7に対応する撮像データと、ラインデータL11に対応する撮像データに基づいて、ラインデータL9に対応する撮像データを算出し、メモリ13に格納する。
Next, the sensor I /
図4に示すように、第3のフィールド(3フィールド目)の分割撮像データには、ラインデータL12が含まれる。ラインデータL12と同じ色画素を含み、ラインデータL12に含まれる色情報と同じ配列に色情報を含むラインデータは、図3における垂直方向上側ではラインデータL10である、しかし、ラインデータL12に対して垂直方向下側のラインデータは、図4において、第1のフィールドと第2のフィールドに含まれていない。 As shown in FIG. 4, line data L12 is included in the divided imaging data of the third field (third field). The line data including the same color pixels as the line data L12 and including the color information in the same arrangement as the color information included in the line data L12 is the line data L10 on the upper side in the vertical direction in FIG. In FIG. 4, the line data on the lower side in the vertical direction is not included in the first field and the second field.
しかし、以上において説明した1つのフレームの撮像データ(ラインデータL1〜L12)は、静止画のサイズ(所謂イメージサイズ)である。図1に示す撮像部11に含まれる撮像素子の有効画素数又は総画素数は、静止画の画素数よりも多く、静止画として用いられる画素領域の周辺にある有効画素の撮像データGDは、画像処理に必要な情報として、各フィールドの出力期間に、撮像部11から出力される。この周辺にある有効画素の撮像データGD(分割撮像データ)は、ラインデータL12よりも垂直方向下側のラインデータ(ラインデータL12よりも2ライン分下のラインデータ)を含み、メモリ13に格納される。センサI/F50は、メモリ13から読み出したラインデータL10に対応する撮像データと、メモリ13に格納した第2のフィールドに対応する周辺の有効画素の撮像データ(ラインデータL12よりも2ライン分下のラインデータ)に基づいて、ラインデータL12に対応する撮像データを算出し、メモリ13に格納する。
However, the image data (line data L1 to L12) of one frame described above is a still image size (so-called image size). The number of effective pixels or the total number of pixels of the image sensor included in the
このように、第3のフィールドに対応する垂直同期信号Vsが入力されるとき、第1のフィールドの分割撮像データと第2のフィールドの分割撮像データとに基づいて算出された第3のフィールドに対応する分割撮像データがメモリ13に格納されている。つまり、1つのフレームを構成する3つのフィールドに対応する分割撮像データの全てが、メモリ13に格納されている。このため、図1に示す各処理部32〜36は、撮像部11が第3のフィールドに対応する分割撮像データGDを出力するとき、処理を開始する。
As described above, when the vertical synchronization signal Vs corresponding to the third field is input, the third field calculated based on the divided imaging data of the first field and the divided imaging data of the second field is input to the third field. Corresponding divided imaging data is stored in the
図6(b)に示すように、3つのフィールドに対応する分割撮像データを順次メモリ13に格納する場合、ラインデータL12に対応する撮像データがメモリ13に格納された後に、処理の開始が可能となる。このような場合と比べ、図2に示すセンサI/F50により撮像データをメモリ13に格納すると、処理の開始タイミングが早くなる。各処理に必要な時間は、画素数に対応する。従って、処理の開始タイミングが早くなると、それに対応して処理の終了タイミングも早くなる。従って、1つのフレームの読み出しを開始してから、そのフレームの撮像データに対する処理を終了するまでの時間は、図6(b)に示す読み出し方法と比べ、短くなる。
As shown in FIG. 6B, when the divided imaging data corresponding to the three fields are sequentially stored in the
以上記述したように、本実施形態によれば、以下の効果を奏する。
(1)センサI/F50は、撮像部11が出力する1番目のフィールドの分割撮像データと2番目のフィールドの分割撮像データから、最終(3番目の)フィールドに対応する分割撮像データを生成し、メモリ13に格納する。従って、画像処理部12に含まれる各処理部32〜36は、撮像部11が最終フィールドに対応する分割撮像データを出力するときに、メモリ13に格納された撮像データに対する処理を行う。従って、画像処理の開始タイミングが、全てのフィールドの分割撮像データをメモリに格納する場合と比べて早くなる。処理の開始が早くなれば、相対的に処理の終了するタイミングも早くなる。従って、1つのフレームの撮像データの読み出しを開始してからそのフレームに対する処理が終了するまでに要する時間、つまり、1つのフレームの撮像データの処理に要する時間が短くなり、使用者の待ち時間を短縮することができる。
As described above, according to the present embodiment, the following effects can be obtained.
(1) The sensor I /
(2)センサI/F50は、撮像部11から出力される最終フィールドに対応する分割撮像データを生成し、その撮像データをメモリ13に格納する。従って、撮像部11が最終フィールドに対応する分割撮像データを出力するとき、センサI/F50はメモリ13をアクセスしない。センサI/F50がメモリ13をアクセスするための要求の優先度は、他の回路が行う要求の優先度より高い。これは、撮像部11が出力する撮像データの全てをメモリ13に格納するためである。優先度が低いと、他の回路の処理の終了を待つ間に撮像部11が出力する撮像データをメモリ13に格納することができないためである。
(2) The sensor I /
全てのフィールドの分割撮像データをメモリ13に格納する方式のセンサI/Fは、撮像部から連続的にフレームの撮像データを出力するとき、ほぼ連続的に動作する。例えば、メモリに格納した1つのフレームの撮像データに対する処理を行うとき、センサI/Fは、次のフレームの撮像データをメモリに格納する。つまり、処理の開始時において、センサI/Fと処理部が同時に動作することになる。このため、センサI/Fのアクセス要求と、他の処理部のアクセス要求とが競合することが多い。
The sensor I / F that stores the divided imaging data of all fields in the
本実施形態のセンサI/F50は、撮像部11が出力する最終(3番目)のフィールドに対応する分割撮像データを出力するとき、メモリ13をアクセスしない。
各処理部32〜36は、メモリ13に1フレーム分の撮像データが格納されているため、撮像部11が出力する最終(3番目)のフィールドに対応する分割撮像データを出力するとき、メモリ13に格納された撮像データに対する処理を実行する。
The sensor I /
Since each
つまり、撮像部11が出力する最終(3番目)のフィールドに対応する分割撮像データを出力する間、各処理部32〜36のみがメモリ13をアクセスするため、メモリ13に対するアクセス要求が少なくなり、要求が競合する割合(確率)が低くなる。このため、各処理部32〜36がアクセスする割合が多くなるため、各処理部32〜36の平均的な処理速度が高くなる、つまり、処理効率を向上させることができる。
That is, only the
[第二実施形態]
以下、第二実施形態を説明する。なお、上記の各実施形態と同じ部材については同じ符号を付し、その説明の全て又は一部を省略する。
[Second Embodiment]
The second embodiment will be described below. In addition, the same code | symbol is attached | subjected about the same member as said each embodiment, and the description of all or one part is abbreviate | omitted.
図7に示すように、センサI/F60は、2つのメモリアクセス部(DMA0,DMA1)61,62、2つのラインメモリ(LMEM0,LMEM1と表記)63,64、選択回路(SELと表記)65、乗算器66,67、加算器68を備える。
As shown in FIG. 7, the sensor I /
撮像部11から出力される撮像データは、第1のメモリアクセス部61に供給される。第1のメモリアクセス部61は、設定に従って、メモリ13との間に転送チャネルを形成、詳しくはメモリ13に対してデータを格納するライトチャネルを形成する。第1のメモリアクセス部61は、撮像部11から出力される撮像データを、ライトチャネルを介してメモリ13に格納する。メモリアクセス部61は格納制御部(第1の格納制御部)の一例である。
The imaging data output from the
また、撮像部11から出力される撮像データは、乗算器66と2つのラインメモリ63,64に供給される。
第1の乗算器66は、入力データに対して第1の係数α1を乗算した結果を、加算器68に出力する。
Further, the imaging data output from the
The
2つのラインメモリ63,64は、それぞれ、一つのラインデータを記憶可能なメモリ容量に設定されている。2つのラインメモリ63,64は、交互にラインデータを記憶するように制御される。選択回路65は、2つのラインメモリ63,64から交互に記憶したデータを読み出し、読み出したデータを第2の乗算器67に出力する。
The two
第2の乗算器67は、入力データに対して第2の係数α2を乗算した結果を、加算器68に出力する。
加算器68は、第1の乗算器66から出力されるデータに、第2の乗算器67から出力されるデータを加算し、加算結果のデータを第2のメモリアクセス部62に出力する。
The
The
第2のメモリアクセス部62は、設定に従って要求を出力し、メモリ13との間に転送チャネルを形成、詳しくはメモリ13に対してデータを格納するライトチャネルを形成する。第2のメモリアクセス部62は、加算器68から出力されるデータを、ライトチャネルを介してメモリ13に格納する。メモリアクセス部62は格納制御部(第2の格納制御部)の一例である。
The second
このセンサI/F60は、1番目のフィールドの分割撮像データから、3番目のフィールドに対応する分割撮像データを生成し、生成した分割撮像データをメモリ13に格納する。
The sensor I /
即ち、上記第1のメモリアクセス部61は、例えば、同期信号(垂直同期信号Vs、水平同期信号Hs)に基づいて、1番目のフィールドの分割撮像データと2番目のフィールドの分割撮像データを、メモリ13の対応する領域に格納する。
That is, the first
ラインメモリ63,64、選択回路65、乗算器66,67、及び加算器68は、1番目のフィールドの分割撮像データから、3番目のフィールドに対応する分割撮像データを生成する生成部の一例である。第2のメモリアクセス部62は、例えば、同期信号(垂直同期信号Vs、水平同期信号Hs)に基づいて、3番目(最終段)のフィールドに対応する領域を指定し、加算器68から出力されるデータを、メモリ13に格納する。
The
3番目のフィールドに対応する分割撮像データの生成を説明する。
ラインメモリ63,64は、1番目のフィールドに含まれる各ラインの撮像データを、順次記憶する。図9に示すように、第1のラインメモリ63は、ラインデータL1に対応する撮像データを記憶し、第2のラインメモリ64は、ラインデータL4に対応する撮像データを記憶する。
Generation of divided imaging data corresponding to the third field will be described.
The
乗算器66,67に供給される係数α1,α2は、1番目のフィールドに含まれる2つのラインと、それらのラインの間であって3番目のフィールドに含まれるラインとの位置関係に応じた値に設定されている。詳しくは、各係数α1,α2は1番目のフィールドに含まれる2つのライン(第1及び第2の参照ライン)から、3番目のフィールドに含まれ、第1及び第2の参照ラインと同じ色配列のラインを内挿するように、設定される。
The coefficients α1 and α2 supplied to the
例えば、図8に示すように、1番目のフィールドの分割撮像データはラインデータL1とラインデータL7を含み、3番目のフィールドの分割撮像データはラインデータL3を含む。ラインデータL3とラインデータL1との間の距離(画素間の数)と、ラインデータL3とラインデータL7の間の距離(画素間の数)の比は、1:2である。この比1:2に対応して、ラインデータL1の画素の値と、ラインデータL7の画素の値を例えば直線補間によってラインデータL3に対応する画素を演算する。この場合、第1の係数α1と第2の係数α2との比は、2:1となり、第1の係数α1と第2の係数α2は、それぞれ0.66,0.33となる。第1の係数α1と第2の係数α2は、参照するラインデータL1,L7と生成するラインデータL3の画素位置関係に応じた重み付け値である。 For example, as shown in FIG. 8, the divided imaging data of the first field includes line data L1 and line data L7, and the divided imaging data of the third field includes line data L3. The ratio of the distance between the line data L3 and the line data L1 (number between pixels) and the distance between the line data L3 and the line data L7 (number between pixels) is 1: 2. Corresponding to this ratio 1: 2, a pixel corresponding to the line data L3 is calculated by linear interpolation of the pixel value of the line data L1 and the pixel value of the line data L7. In this case, the ratio between the first coefficient α1 and the second coefficient α2 is 2: 1, and the first coefficient α1 and the second coefficient α2 are 0.66 and 0.33, respectively. The first coefficient α1 and the second coefficient α2 are weight values according to the pixel positional relationship between the line data L1 and L7 to be referenced and the line data L3 to be generated.
加算器68は、第1の乗算器66の出力データに第2の乗算器67の出力データを加算し、加算結果を算出する。
従って、センサI/F60は、図9に示すように、ラインデータL7に対応する撮像データと、ラインデータL1に対応する撮像データとに基づいて、ラインデータL3に対応する撮像データを生成する。同様に、センサI/F60は、ラインデータL10に対応する撮像データと、ラインデータL4に対応する撮像データに基づいて、ラインデータL6に対応する撮像データを生成する。
The
Accordingly, as shown in FIG. 9, the sensor I /
以上記述したように、本実施形態によれば、以下の効果を奏する。
(1)センサI/F60は、撮像部11が出力する1番目のフィールドの分割撮像データから、最終フィールドに対応する分割撮像データを生成し、メモリ13に格納する。従って、第一実施形態と同様に、画像処理の開始タイミングが、全てのフィールドの分割撮像データをメモリに格納する場合と比べて早くなる。処理の開始が早くなれば、相対的に処理の終了するタイミングも早くなる。従って、1つのフレームの撮像データの読み出しを開始してからそのフレームに対する処理が終了するまでに要する時間、つまり、1つのフレームの撮像データの処理に要する時間が短くなり、使用者の待ち時間を短縮することができる。
As described above, according to the present embodiment, the following effects can be obtained.
(1) The sensor I /
(2)センサI/F60は、撮像部11が出力する1番目のフィールドの分割撮像データのラインデータをラインメモリ63,64に順次格納し、ラインメモリ63,64に格納したラインデータに基づいて、最終フィールドに対応する分割撮像データを生成する。従って、メモリ13に対するアクセスが第一実施形態と比べて少なくなり、処理の高速化に適している。
(2) The sensor I /
[第三実施形態]
以下、第三実施形態を説明する。なお、上記の各実施形態と同じ部材については同じ符号を付し、その説明の全て又は一部を省略する。
[Third embodiment]
Hereinafter, a third embodiment will be described. In addition, the same code | symbol is attached | subjected about the same member as said each embodiment, and the description of all or one part is abbreviate | omitted.
図10に示すように、センサI/F70は、2つのメモリアクセス部(DMA0,DMA1)61,62、2つのラインメモリ(LMEM0,LMEM1と表記)63,64、選択回路(SELと表記)65、乗算器66,67、加算器68に加え、メモリアクセス部71、2つの乗算器72,73及び加算器74を備える。
As shown in FIG. 10, the sensor I /
第3の乗算器72には、第1の乗算器66と同様に、撮像部11から出力される撮像データと、第3の係数α3が入力される。第3の乗算器72は、入力データに対して第3の係数α3を乗算した結果を、第2の加算器74に出力する。
Similarly to the
第4の乗算器73には、第2の乗算器67と同様に、選択回路65によって、2つのラインメモリ63,64から交互に読み出されたデータと、第4の係数α4が入力される。第4の乗算器73は、選択回路65から出力されるデータに対して第4の係数α4を乗算した結果を、第2の加算器74に出力する。
Similarly to the
第2の加算器74は、第3の乗算器72から出力されるデータに、第4の乗算器73から出力されるデータを加算し、加算結果を第3のメモリアクセス部71に出力する。
第3のメモリアクセス部71は、設定に従って要求を出力し、メモリ13との間に転送チャネルを形成、詳しくはメモリ13に対してデータを格納するライトチャネルを形成する。第3のメモリアクセス部71は、加算器74から出力されるデータを、ライトチャネルを介してメモリ13に格納する。メモリアクセス部71は格納制御部(第2の格納制御部)の一例である。
The
The third
第3の乗算器72には、第2の乗算器67に対する第2の係数α2と等しい第3の係数α3が供給される。また、第4の乗算器73には、第1の乗算器66に対する第1の係数α1と等しい第4の係数α4が供給される。
The third multiplier 72 is supplied with a third coefficient α3 that is equal to the second coefficient α2 for the
従って、第3の係数α3と第4の係数α4は、図11に示すように、ラインデータL1とラインデータL5の間の距離(画素間の数)と、ラインデータL5とラインデータL7の間の距離(画素間の数)に対応する。第3の係数α3と第4の係数α4は、参照するラインデータL1,L7と、生成するラインデータL5の画素位置関係に応じた重み付け値である。従って、第3の乗算器72の出力データに第4の乗算器73の出力データを加算する第2の加算器74の出力データは、ラインデータL5に対応し、このラインデータL5は、図4に示すように、2番目のフィールドに含まれる。
Therefore, as shown in FIG. 11, the third coefficient α3 and the fourth coefficient α4 are the distance between the line data L1 and the line data L5 (the number between pixels) and the line data L5 and the line data L7. Corresponding to the distance (number between pixels). The third coefficient α3 and the fourth coefficient α4 are weight values corresponding to the pixel positional relationship between the line data L1 and L7 to be referenced and the line data L5 to be generated. Therefore, the output data of the
従って、センサI/F70は、図12に示すように、ラインデータL1に対応する撮像データとラインデータL7に対応する撮像データとに基づいて、ラインデータL5に対応する撮像データと、ラインデータL3に対応する撮像データを生成する。同様に、センサI/F70は、ラインデータL4に対応する撮像データとラインデータL10に対応する撮像データとに基づいて、ラインデータL8に対応する撮像データと、ラインデータL6に対応する撮像データを生成する。即ち、センサI/F70は、1番目のフィールドの分割撮像データから、2番目のフィールドに対応する分割撮像データと、3番目のフィールドに対応する分割撮像データを生成する。
Therefore, as shown in FIG. 12, the sensor I /
これにより、図1に示す処理部32〜36は、撮像部11が2番目のフィールドに対応する分割撮像データを出力するときに、それぞれの処理を行うことができる。
以上記述したように、本実施形態によれば、以下の効果を奏する。
Accordingly, the
As described above, according to the present embodiment, the following effects can be obtained.
(1)センサI/F70は、撮像部11が出力する1番目のフィールドの分割撮像データから、2番目のフィールドに対応する分割撮像データと最終フィールドに対応する分割撮像データを生成し、メモリ13に格納する。従って、画像処理の開始タイミングが、全てのフィールドの分割撮像データをメモリに格納する場合と比べて早くなる。処理の開始が早くなれば、相対的に処理の終了するタイミングも早くなる。従って、1つのフレームの撮像データの読み出しを開始してからそのフレームに対する処理が終了するまでに要する時間、つまり、1つのフレームの撮像データの処理に要する時間が短くなり、使用者の待ち時間を短縮することができる。
(1) The sensor I /
尚、上記各実施形態は、以下の態様で実施してもよい。
上記各実施形態において、各処理部32〜36の処理を適宜変更してもよい。
例えば、図13(a)に示すように、1フレームの撮像データに対する処理時間を設定してもよい。この場合、例えば、クロック信号の周波数を低くし、各処理部32〜36が処理を実行する速度を遅くする。動作速度が遅くなると、平均的な消費電力が少なくなるため、撮像装置における低消費電力化が可能となる。
In addition, you may implement each said embodiment in the following aspects.
In each said embodiment, you may change the process of each process part 32-36 suitably.
For example, as shown in FIG. 13A, a processing time for one frame of imaging data may be set. In this case, for example, the frequency of the clock signal is lowered, and the speed at which the
また、図13(b)に示すように、1つのフレームの撮像データに対して画像処理を行う期間を、2つのフィールドの分割撮像データを転送する間に終了するように設定する。この設定は、例えばクロック信号の周波数を高くすることで可能となる。この場合、撮像部11から2つのフィールドの分割撮像データを出力するようにする。これには、例えば、図1に示すCPU39からリセット信号SRを供給することにより可能となる。
Further, as shown in FIG. 13B, the period for performing image processing on the imaging data of one frame is set to end during the transfer of the divided imaging data of two fields. This setting can be made, for example, by increasing the frequency of the clock signal. In this case, the divided imaging data of two fields is output from the
CPU39は、センサI/F31が1フレーム分のデータ量の撮像データをメモリ13に格納すると、リセット信号SRを出力する。このリセット信号SRは、AFE23を介して撮像素子部22に送られる。撮像素子部22に含まれる撮像素子(イメージセンサ)は、リセット信号SRに応答して、撮像データの出力を停止し、光電変換部と垂直転送部をリセット(蓄積電荷の放出)する。これにより、撮像素子部22は、次のフレームの撮像データの生成、つまり、光電変換部において、入射光に応じた電荷の蓄積を行うことが可能となる。即ち、撮像素子部22は、1フレームを構成する全てのフィールドの分割撮像データを出力する間隔よりも短い間隔で、撮像を行うことができる、つまり単位時間において撮像するフレームの数を多くすることができる。
The
なお、CPU39は、設定に従ってリセット信号SRを出力する。設定は、図示しない操作ボタンや表示デバイス14とともに設けられたタッチパネルに対する操作により行われる。CPU39は、表示デバイス14に設定のためのメニュー画面を表示させ、操作に従って入力又は選択された設定値を、レジスタ(例えば、CPU39が持つ不揮発性メモリ)に格納する。そして、CPU39は、その設定に従って、センサI/F31を含む各処理部に対する制御と、撮像部11に対するリセット信号SRの出力を行う。
The
上記第二実施形態では、1番目のフィールドの分割撮像データに基づいて3番目のフィールドに対応する分割撮像データを生成したが、2番目のフィールドの分割撮像データに基づいて3番目のフィールドに対応する分割撮像データを生成するようにしてもよい。例えば、図7に示すセンサI/F60において、第1の乗算器66に供給する第1の係数α1と、第2の乗算器67に供給する第2の係数α2の値を入れ替える。例えば、ラインデータL2に対応する撮像データと、ラインデータL8に対応する撮像データとに基づいて、3番目のフィールドに含まれるラインデータL6に対応する撮像データを生成する。
In the second embodiment, the divided imaging data corresponding to the third field is generated based on the divided imaging data of the first field, but the third field is supported based on the divided imaging data of the second field. The divided imaging data to be generated may be generated. For example, in the sensor I /
また、第二実施形態において、参照するフィールドを変更可能に構成してもよい。例えば、図14(a)に示すように、1フィールド目の分割撮像データから3フィールド目に対応する分割撮像データを補間生成するモードと、図14(b)に示すように、2フィールド目の分割撮像データから3フィールド目に対応する分割撮像データを補間生成するモードとを切替え可能とする。 In the second embodiment, the referenced field may be configured to be changeable. For example, as shown in FIG. 14A, a mode for interpolating and generating divided imaging data corresponding to the third field from the divided imaging data of the first field, and the second field as shown in FIG. A mode for interpolating and generating divided imaging data corresponding to the third field from the divided imaging data can be switched.
上記各形態において、フィールドの数を、2つ又は4つ以上としてもよい。センサI/Fは、撮像部11(撮像素子)から出力されるフィールドに応じて構成され、入力される複数(2以上)のフィールドの分割撮像データのうち、少なくとも最終段のフィールドに対応する分割撮像データを生成する。 In each of the above forms, the number of fields may be two or four or more. The sensor I / F is configured according to the field output from the imaging unit 11 (imaging device), and among the input divided image data of a plurality of (two or more) fields, the division corresponding to at least the final stage field. Imaging data is generated.
例えば、1つのフレームを8つのフィールドに分けて出力する撮像部の場合、図15に示すように、各フィールド(1F〜8F)は、対応するラインを含む。尚、図15は、垂直方向の画素(ライン)を32とした場合を示す。また、図15に示すラインデータL33,L34は、静止画として用いられる画素領域の周辺に含まれる画素(例えば、リングピクセル)の撮像データを読み出したラインである。 For example, in the case of an imaging unit that divides and outputs one frame into eight fields, each field (1F to 8F) includes a corresponding line as shown in FIG. FIG. 15 shows a case where the number of pixels (lines) in the vertical direction is 32. Further, the line data L33 and L34 illustrated in FIG. 15 are lines obtained by reading imaging data of pixels (for example, ring pixels) included in the periphery of a pixel region used as a still image.
このように、撮像部から8つのフィールドの分割撮像データが出力される場合、例えば、図16(a)に示すように、第1〜第4フィールド(1F〜4F)をメモリ13に格納する。そして、第1フィールド(1F)と第3フィールド(3F)の分割撮像データから第5フィールドに対応する分割撮像データと第7フィールドに対応する分割撮像データを生成する。同様に、第2フィールド(2F)と第4フィールド(4F)の分割撮像データから第6フィールドに対応する分割撮像データと第7フィールドに対応する分割撮像データを生成する。そして、生成した4つのフィールドに対応する分割撮像データをメモリ13に格納する。
As described above, when the divided imaging data of eight fields is output from the imaging unit, for example, the first to fourth fields (1F to 4F) are stored in the
また、図16(b)に示すように、第1フィールド(1F)の分割撮像データから第3,第5,第7フィールドに対応する分割撮像データを生成し、第2フィールド(2F)の分割撮像データから第4,第6,第8フィールドに対応する分割撮像データを生成し、各分割撮像データをメモリ13に格納する。
Also, as shown in FIG. 16B, the divided imaging data corresponding to the third, fifth, and seventh fields is generated from the divided imaging data of the first field (1F), and the second field (2F) is divided. The divided imaging data corresponding to the fourth, sixth, and eighth fields is generated from the imaging data, and each divided imaging data is stored in the
このように構成しても、1つのフレームの撮像データに対する処理の開始を早くすることができ、1つのフレームの撮像データに係る処理時間(分割撮像データの出力開始から画像処理を終了するまでに要する時間)の短縮を図ることができる。 Even with this configuration, it is possible to speed up the start of processing for imaging data of one frame, and the processing time related to the imaging data of one frame (from the start of output of divided imaging data to the end of image processing). Time required) can be shortened.
なお、設定された静止画のサイズ(イメージサイズ)に対応する画素の領域は、デジタルカメラとして設定されて静止画として利用可能な画素を含む領域(有効画素数:イメージエリア)が異なる(イメージサイズがイメージエリアよりも小さい)場合がある。このような場合、イメージエリア内の画素を用いて少なくとも最終フィールドに対応する分割撮像データを生成し、補間により生成できない画素(例えば、図4に示す3フィールド目の分割撮像データに含まれるラインデータL12の画素)の生成を行わないようにする。つまり、静止画や動画として記録される画素について分割撮像データを生成することができればよく、記録されない画素についてデータを生成しないようにする(処理を省略する)ようにしてもよい。 The pixel area corresponding to the set still image size (image size) is different from the area (number of effective pixels: image area) including pixels that can be used as a still image set as a digital camera (image size). May be smaller than the image area). In such a case, divided image data corresponding to at least the final field is generated using pixels in the image area, and pixels that cannot be generated by interpolation (for example, line data included in the divided image data of the third field shown in FIG. 4). (L12 pixel) is not generated. In other words, it is only necessary to generate divided imaging data for pixels recorded as a still image or a moving image, and data may not be generated for pixels that are not recorded (processing is omitted).
上記実施形態において、ベイヤ配列のカラーフィルタを含む撮像素子部22を用いたが、その他の配列カラーフィルタを含む撮像素子部を用いても良い。また、画素の配列方向は直交する2つの軸に限らない。更には、各色の画素がチップの深さ方向に形成された撮像素子を用いても良い。また、赤(R),青(B),緑(Gr,Gb)以外の色のフィルタを含む撮像素子部を用いてもよい。フィルタは、原色フィルタに限らず、補色フィルタを用いてもよい。
In the above embodiment, the
11 撮像部
12 画像処理部
13 メモリ
31 センサインタフェース
50,60,70 センサインタフェース
51〜53 メモリアクセス部
54 演算部
61,62 メモリアクセス部
63,64 ラインメモリ
65 選択部
66,67 乗算部
68 加算部
71 メモリアクセス部
72,73 乗算部
74 加算部
GD 撮像データ
L1〜L12 ラインデータ
DESCRIPTION OF
Claims (11)
前記生成部にて生成されたX個のフィールドの前記分割撮像データを記憶部に格納する格納制御部と、
生成するフィールドに応じたタイミングで、前記分割撮像データを出力する撮像部に、前記撮像部が前記分割撮像データを停止して次のフレームに対する処理を開始する信号を出力する制御部と、
を有することを特徴とする画像処理装置。 Among the divided imaging data of the first to Nth fields (N is an integer of 2 or more) obtained by dividing the imaging data of one frame, the one or more of the fields from the first field to the (N−1) th field. A generation unit that generates divided imaging data of X fields (X is an integer of 1 or more) including the Nth field, based on the divided imaging data;
A storage control unit for storing the divided imaging data of the X fields generated by the generation unit in a storage unit;
A control unit that outputs a signal for the imaging unit to stop the divided imaging data and start processing for the next frame to an imaging unit that outputs the divided imaging data at a timing according to a field to be generated;
An image processing apparatus comprising:
前記第1〜第Mフィールドの前記分割撮像データのうちの1以上のフィールドの前記分割撮像データに基づいて、第(M+1)〜第Nフィールドの前記分割撮像データを生成する生成部と、
前記生成部により生成された前記分割撮像データを前記記憶部に格納する第2の格納制御部と、
生成するフィールドに応じたタイミングで、前記分割撮像データを出力する撮像部に、前記撮像部が前記分割撮像データを停止して次のフレームに対する処理を開始する信号を出力する制御部と、
を有することを特徴とする画像処理装置。 Of the divided imaging data of the first to Nth fields (N is an integer of 2 or more) obtained by dividing the imaging data of one frame, the divided imaging data of the first field to the Mth field (M is an integer less than N). A first storage control unit for storing
A generating unit that generates the divided imaging data of the (M + 1) th to Nth fields based on the divided imaging data of one or more fields among the divided imaging data of the first to Mth fields;
A second storage control unit that stores the divided imaging data generated by the generation unit in the storage unit;
A control unit that outputs a signal for the imaging unit to stop the divided imaging data and start processing for the next frame to an imaging unit that outputs the divided imaging data at a timing according to a field to be generated;
An image processing apparatus comprising:
参照するフィールドの前記分割撮像データに含まれる複数のラインデータに基づいて、生成するフィールドの前記分割撮像データに含まれる1つのラインデータを生成する、
ことを特徴とする請求項1又は2に記載の画像処理装置。 The generator is
One line data included in the divided imaging data of the field to be generated is generated based on a plurality of line data included in the divided imaging data of the field to be referenced.
The image processing apparatus according to claim 1, wherein the image processing apparatus is an image processing apparatus.
前記生成部は、参照するフィールドに含まれる同色の画素データを用いて演算することにより、前記分割撮像データを生成する、
ことを特徴とする請求項1〜3のうちの何れか一項に記載の画像処理装置。 The divided imaging data is image data including color information corresponding to the position of each pixel,
The generation unit generates the divided imaging data by calculating using pixel data of the same color included in a field to be referenced.
The image processing apparatus according to claim 1, wherein the image processing apparatus is an image processing apparatus.
ことを特徴とする請求項1〜4のうちの何れか一項に記載の画像処理装置。 The generation unit generates the divided imaging data by assigning a weight according to a positional relationship between a plurality of lines to be referred to and a line to be generated to pixel values of the plurality of line data to be referred to.
The image processing apparatus according to claim 1, wherein the image processing apparatus is an image processing apparatus.
前記記憶部に格納されたフィールドの前記分割撮像データを読み出す読出部と、
前記分割撮像データを出力する撮像部から出力される前記フィールドの前記分割撮像データに含まれる画素データと、前記読出部により読み出された画素データとを演算して生成するフィールドに含まれるラインの画素データを生成する演算部と、
を有することを特徴とする請求項2に記載の画像処理装置。 The generator is
A readout unit for reading out the divided imaging data of the field stored in the storage unit;
The line included in the field generated by calculating pixel data included in the divided imaging data of the field output from the imaging unit that outputs the divided imaging data and pixel data read out by the reading unit. An arithmetic unit for generating pixel data;
The image processing apparatus according to claim 2, further comprising:
参照する1つのフィールドに含まれるラインデータを記憶する複数のラインメモリと、
参照するラインデータに対応するラインメモリの出力データを選択する選択部と、
参照するラインデータと前記選択部により選択されたラインメモリの出力データとを演算して生成するフィールドの前記ラインデータを生成する演算部と、
を有することを特徴とする請求項1〜5のうちの何れか一項に記載の画像処理装置。 The generator is
A plurality of line memories for storing line data included in one field to be referenced;
A selection unit for selecting output data of the line memory corresponding to the line data to be referenced;
A calculation unit that generates the line data of a field that is generated by calculating line data to be referenced and output data of the line memory selected by the selection unit;
The image processing apparatus according to claim 1, further comprising:
生成されたX個のフィールドの前記分割撮像データを記憶部に格納し、
生成するフィールドに応じたタイミングで、前記分割撮像データを出力する撮像部に、前記撮像部が前記分割撮像データを停止して次のフレームに対する処理を開始する信号を出力する
ことを特徴とする画像処理方法。 Among the divided imaging data of the first to Nth fields (N is an integer of 2 or more) obtained by dividing the imaging data of one frame, the one or more of the fields from the first field to the (N−1) th field. Based on the divided imaging data, X divided field imaging data including X fields (X is an integer equal to or greater than 1) including the Nth field are generated.
Storing the divided imaging data of the generated X fields in a storage unit ;
The imaging unit outputs a signal for stopping the divided imaging data and starting processing for the next frame to an imaging unit that outputs the divided imaging data at a timing according to a field to be generated. A featured image processing method.
前記第1〜第Mフィールドの前記分割撮像データのうちの1以上のフィールドの前記分割撮像データに基づいて生成した第(M+1)〜第Nフィールドの前記分割撮像データを前記記憶部に格納し、
生成するフィールドに応じたタイミングで、前記分割撮像データを出力する撮像部に、前記撮像部が前記分割撮像データを停止して次のフレームに対する処理を開始する信号を出力する
ことを特徴とする画像処理方法。 Of the divided imaging data of the first to Nth fields (N is an integer of 2 or more) obtained by dividing the imaging data of one frame, the divided imaging data of the first field to the Mth field (M is an integer less than N). Is stored in the storage unit,
Storing the divided imaging data of the (M + 1) th to Nth fields generated based on the divided imaging data of one or more fields among the divided imaging data of the first to Mth fields in the storage unit ;
The imaging unit outputs a signal for stopping the divided imaging data and starting processing for the next frame to an imaging unit that outputs the divided imaging data at a timing according to a field to be generated. A featured image processing method.
少なくとも1フレーム分の撮像データを記憶可能な記憶部と、
前記第1〜第Nフィールドの分割撮像データのうち、第1フィールドから第(N−1)フィールドのうちの1以上のフィールドの前記分割撮像データに基づいて、第Nフィールドを含むX個のフィールド(Xは1以上の整数)の分割撮像データを生成する生成部と、前記生成部にて生成されたX個のフィールドの前記分割撮像データを記憶部に格納する格納制御部と、生成するフィールドに応じたタイミングで、前記分割撮像データを出力する撮像部に、前記撮像部が前記分割撮像データを停止して次のフレームに対する処理を開始する信号を出力する制御部と、を含む処理部と、
を有する、撮像装置。 An imaging unit that outputs divided imaging data of first to Nth fields (N is an integer of 2 or more) obtained by dividing imaging data of one frame;
A storage unit capable of storing imaging data for at least one frame;
X fields including the Nth field based on the divided imaging data of one or more fields from the first field to the (N-1) th field among the divided imaging data of the first to Nth fields. A generation unit that generates (X is an integer of 1 or more) divided imaging data, a storage control unit that stores the divided imaging data of the X fields generated by the generation unit in a storage unit, and a field that is generated A control unit that outputs to the imaging unit that outputs the divided imaging data at a timing according to the control unit that outputs a signal that causes the imaging unit to stop the divided imaging data and start processing for the next frame ; ,
An imaging device.
少なくとも1フレーム分の撮像データを記憶可能な記憶部と、
前記第1〜第Nフィールドの分割撮像データのうち、第1フィールド〜第Mフィールド(MはN未満の整数)の前記分割撮像データを記憶部に格納する第1の格納制御部と、前記第1〜第Mフィールドの前記分割撮像データのうちの1以上のフィールドの前記分割撮像データに基づいて第(M+1)〜第Nフィールドの前記分割撮像データを生成する生成部と、前記生成部により生成された第(M+1)〜第Nフィールドの前記分割撮像データを前記記憶部に格納する第2の格納制御部と、生成するフィールドに応じたタイミングで、前記分割撮像データを出力する撮像部に、前記撮像部が前記分割撮像データを停止して次のフレームに対する処理を開始する信号を出力する制御部と、を含む処理部と、
を有する、撮像装置。 An imaging unit that outputs divided imaging data of first to Nth fields (N is an integer of 2 or more) obtained by dividing imaging data of one frame;
A storage unit capable of storing imaging data for at least one frame;
A first storage control unit that stores, in a storage unit, the divided imaging data of the first field to the Mth field (M is an integer less than N) among the divided imaging data of the first to Nth fields; A generation unit that generates the divided imaging data of the (M + 1) th to Nth fields based on the divided imaging data of one or more fields among the divided imaging data of the 1st to Mth fields, and the generation unit A second storage control unit that stores the divided imaging data of the (M + 1) th to Nth fields in the storage unit, and an imaging unit that outputs the divided imaging data at a timing according to the field to be generated, A control unit that outputs a signal for the imaging unit to stop the divided imaging data and start processing for the next frame ; and
An imaging device.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011108374A JP5724609B2 (en) | 2011-05-13 | 2011-05-13 | Image processing apparatus, image processing method, and imaging apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011108374A JP5724609B2 (en) | 2011-05-13 | 2011-05-13 | Image processing apparatus, image processing method, and imaging apparatus |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012239132A JP2012239132A (en) | 2012-12-06 |
JP5724609B2 true JP5724609B2 (en) | 2015-05-27 |
Family
ID=47461617
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011108374A Active JP5724609B2 (en) | 2011-05-13 | 2011-05-13 | Image processing apparatus, image processing method, and imaging apparatus |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5724609B2 (en) |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3843924B2 (en) * | 2002-09-30 | 2006-11-08 | コニカミノルタフォトイメージング株式会社 | Imaging device |
JP2005117494A (en) * | 2003-10-09 | 2005-04-28 | Konica Minolta Photo Imaging Inc | Imaging apparatus |
JP5386996B2 (en) * | 2009-01-14 | 2014-01-15 | カシオ計算機株式会社 | Imaging apparatus and program |
-
2011
- 2011-05-13 JP JP2011108374A patent/JP5724609B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2012239132A (en) | 2012-12-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5195818B2 (en) | Display control device | |
CN102256060B (en) | Camera and Displaying timer control circuit | |
JP5163728B2 (en) | Timing generator, photographing device, dot clock output method | |
US8194155B2 (en) | Information processing apparatus, buffer control method, and computer program | |
JP6210743B2 (en) | Data processing device and data transfer control device | |
JP6136190B2 (en) | Image processing apparatus and imaging apparatus | |
JP5029725B2 (en) | Imaging device | |
JP5310647B2 (en) | Imaging device | |
US9363440B2 (en) | Imaging device and imaging method that sets a phase difference between first and second synchronization signals | |
JP2006191362A (en) | Device and method for processing image data | |
KR20100007628A (en) | Image sensor interface apparatus and digital photographing apparatus comprising the same | |
JP5959194B2 (en) | Imaging device | |
JP5724609B2 (en) | Image processing apparatus, image processing method, and imaging apparatus | |
JP5718029B2 (en) | Imaging device | |
US11546561B2 (en) | Imaging apparatus, image data processing method of imaging apparatus, and program | |
JP2006211402A (en) | Camera apparatus and image processing method | |
JP5582229B2 (en) | Camera, display device and image processing device | |
JP5158165B2 (en) | Imaging device, display timing control circuit | |
JP6091216B2 (en) | Image signal processing apparatus, control method therefor, and imaging apparatus | |
JP2002199281A (en) | Image processing apparatus | |
JP4677581B2 (en) | Data transfer control device and data transfer method | |
JP2007243819A (en) | Image processing apparatus | |
JP5017601B2 (en) | Data transfer control device and data transfer method | |
JP2009260788A (en) | Imaging unit | |
JP5402379B2 (en) | Imaging device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140129 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140917 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20141021 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20141212 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150303 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150316 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5724609 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |