JP6198567B2

JP6198567B2 - Image sensor, operation method thereof, and electronic apparatus

Info

Publication number: JP6198567B2
Application number: JP2013218176A
Authority: JP
Inventors: 大木　光晴; 光晴大木
Original assignee: Sony Semiconductor Solutions Corp
Current assignee: Sony Semiconductor Solutions Corp
Priority date: 2013-10-21
Filing date: 2013-10-21
Publication date: 2017-09-20
Anticipated expiration: 2033-10-21
Also published as: US9813626B2; US20150108329A1; JP2015082677A

Description

本技術は、イメージセンサおよびその動作方法、並びに電子機器に関し、特に、ブレ、およびローリングシャッタ現象を低減できるようにしたイメージセンサおよびその動作方法、並びに電子機器に関する。 The present technology relates to an image sensor, an operation method thereof, and an electronic device, and more particularly, to an image sensor, an operation method thereof, and an electronic device that can reduce blurring and a rolling shutter phenomenon.

最近のイメージセンサで主流となっているCMOS（Complementary Metal Oxide Semiconductor）イメージセンサは、線順次で読み出すため、ローリングシャッタ現象が生じ、移動しながらデジタルカメラで動画を撮像すると、画像が歪んでしまうことがある。 CMOS (Complementary Metal Oxide Semiconductor) image sensors, which are the mainstream in recent image sensors, read line-sequentially, causing a rolling shutter phenomenon, and when moving images are captured with a digital camera while moving, the images are distorted. There is.

この歪みは、線順次で読み出す速度を高速にすることで抑制することができる。すなわち、６０ｆｐｓ（フレーム／秒）の動画は、通常１フレーム分の画素データを１／６０秒かけて読み出している。この場合、例えば、この１フレーム分の画素データを高速化し、１／４８０秒で全画素データを読み出すようにすることで、ローリングシャッタ現象を８分の１に抑制することができる。 This distortion can be suppressed by increasing the speed of line-sequential readout. That is, for 60 fps (frame / second) moving images, pixel data for one frame is normally read out over 1/60 seconds. In this case, for example, the rolling shutter phenomenon can be suppressed to 1/8 by increasing the speed of the pixel data for one frame and reading out all the pixel data in 1/480 seconds.

ところで、最終的にディスプレイに表示する場合や、後段の記録媒体に記録する場合、データレートは、１／６０秒かけて１フレーム分の画素データが連続的（間欠的でない）に送信されなければならない。従って、イメージセンサから１／４８０秒で全画素を読み出してしまうと、一旦、フレームメモリに画素データを蓄えてから、連続的に１／６０秒かけて１フレーム分の画素データを出力するようにタイミングを調整する必要がある。従って、従来の手法では、フレームメモリが必須の構成であった。 By the way, when finally displaying on a display or recording on a subsequent recording medium, the data rate is 1/60 sec. Unless one frame of pixel data is transmitted continuously (not intermittently). Don't be. Therefore, once all the pixels are read out from the image sensor in 1/480 seconds, the pixel data is temporarily stored in the frame memory, and then the pixel data for one frame is continuously output over 1/60 seconds. Timing needs to be adjusted. Therefore, in the conventional method, the frame memory is an essential configuration.

また、イメージセンサから読み出すタイミングを制御してローリングシャッタ現象を補正する技術が提案されている（特許文献１，２）。より具体的には、特許文献１，２の技術では、奇数ラインは下から上へと順番に読み出し、偶数ラインは逆に上から下へと順番に読み出し、これら２組のデータ群から画像処理にて補正をものである。この場合、処理する際に、隣接する偶数ラインと奇数ラインの画素データが同時に必要である。従って、この技術においてもフレームメモリが必要であり、装置コストに負担を与えることになる。 Further, techniques for correcting the rolling shutter phenomenon by controlling the timing of reading from the image sensor have been proposed (Patent Documents 1 and 2). More specifically, in the techniques of Patent Documents 1 and 2, odd lines are read sequentially from bottom to top, and even lines are read sequentially from top to bottom, and image processing is performed from these two data groups. The correction is what. In this case, when processing, pixel data of adjacent even lines and odd lines are necessary at the same time. Therefore, this technology also requires a frame memory, which imposes a burden on the device cost.

さらに、横方向のみではあるが、ローリングシャッタ現象を補正する技術が提案されている（特許文献３）。 Furthermore, although only in the horizontal direction, a technique for correcting the rolling shutter phenomenon has been proposed (Patent Document 3).

また、縦方向と横方向のローリングシャッタ現象の補正を行う技術が提案されている（特許文献４乃至６）。この技術においては、イメージセンサからの読み出しタイミングを動的に切り替えることで、ローリングシャッタ現象の補正を具現化している。ただし、リセットのタイミングについては記述がなく、不明である。 Further, techniques for correcting the vertical and horizontal rolling shutter phenomenon have been proposed (Patent Documents 4 to 6). In this technique, correction of the rolling shutter phenomenon is realized by dynamically switching the readout timing from the image sensor. However, the reset timing is not described and is unknown.

特開２０１２−０８０４９０号公報JP 2012-080490 A 特開２０１３−０７４３７２号公報JP 2013-074372 A 特開２００１−３５８９９９号公報JP 2001-358999 A 特開２００６−２８７９４６号公報JP 2006-287946 A 特開２００６−３０４３１３号公報JP 2006-304313 A 特開２００６−３１１５４４号公報JP 2006-311544 A

しかしながら、上述した技術では、ローリングシャッタ現象を補正するには、フレームメモリが必須構成であるため、装置のコストが大きくなるのが一般的であった。 However, in the above-described technique, since the frame memory is an essential configuration for correcting the rolling shutter phenomenon, the cost of the apparatus is generally increased.

また、ローリングシャッタ現象を補正した上で、動画において、画像内の被写体の位置を所定の位置に固定するように撮像する場合、ブレをキャンセルする（抑制する）必要があるが、上述した技術では、ブレをキャンセルする処理がなされていない。このため、ローリングシャッタ現象を補正した上で、動画において、画像内の被写体の位置を所定の位置に固定するように撮像する場合、画像に対して生じているブレが発生してしまうことがあった。 In addition, when correcting the rolling shutter phenomenon and capturing an image so that the position of the subject in the image is fixed at a predetermined position in the moving image, it is necessary to cancel (suppress) the blur. No processing for canceling blur has been made. For this reason, when the moving shutter phenomenon is corrected and an image is captured so that the position of the subject in the image is fixed at a predetermined position in a moving image, blurring may occur with respect to the image. It was.

本技術は、このような状況に鑑みてなされたものであり、特に、フレームメモリを特に設けない構成とすることでコストを低減すると共に、ローリングシャッタ現象を補正しつつ、ブレを抑制できるようにするものである。 The present technology has been made in view of such a situation, and in particular, it is possible to suppress the blur while correcting the rolling shutter phenomenon while reducing the cost by adopting a configuration in which the frame memory is not particularly provided. To do.

本技術の第１の側面のイメージセンサは、被写体からの光を受光する２次元上に配置された複数の受光素子と、前記２次元上に配置された複数の受光素子に投影される前記被写体の投影像の移動量を検出する検出部と、前記移動量に応じて、前記２次元上に配置された複数の受光素子から画素データを読み出すタイミングをライン毎に適応的に制御する受光素子制御部とを含み、前記受光素子制御部は、過去に複数の受光素子から前記画素データを読み出したラインの時系列の変位と、現在の複数の受光素子から前記画素データを読み出したラインの時系列の変位との案分により求められるタイミングでライン毎の読み出しを適応的に制御する。 An image sensor according to a first aspect of the present technology includes a plurality of light receiving elements arranged in a two-dimensional manner for receiving light from a subject, and the subject projected on the plurality of light receiving elements arranged in the two dimensions. And a light-receiving element control for adaptively controlling the timing for reading out pixel data from the plurality of light-receiving elements arranged in two dimensions according to the amount of movement. a Department viewed including the light receiving element control section includes a displacement of the time series of lines read the pixel data from the plurality of light receiving elements in the past, when the current of the plurality of light receiving elements of the line which reads the pixel data Read-out for each line is adaptively controlled at a timing determined based on the appropriate amount of displacement of the series .

前記検出部には、前記受光素子により過去、および現在において撮像された画像を用いて前記移動量を検出させる、または、ジャイロセンサにより前記移動量を検出させるようにすることができる。 The detection unit may be configured to detect the movement amount using images captured in the past and the present by the light receiving element, or to detect the movement amount using a gyro sensor.

前記受光素子制御部には、前記受光素子がリセットされてから読み出されるまでの露光時間の、適正露光時間に対する割合の逆数に比例する係数を算出し、前記２次元上に配置された複数の受光素子の一部の受光素子が受光することで発生した画素データに、前記係数を乗算してゲインを調整する乗算部をさらに含ませるようにすることができる。 The light receiving element control unit calculates a coefficient that is proportional to the reciprocal of the ratio of the exposure time from when the light receiving element is reset to when the light receiving element is read out to the appropriate exposure time, and a plurality of light receiving elements arranged in the two-dimensional manner. It is possible to further include a multiplying unit that adjusts the gain by multiplying the pixel data generated by the light receiving elements of some of the elements receiving light.

本技術の第１の側面のイメージセンサの動作方法は、被写体からの光を受光する２次元上に配置された複数の受光素子を有するイメージセンサの動作方法において、前記２次元上に配置された複数の受光素子に投影される前記被写体の投影像の移動量を検出し、前記移動量に応じて、前記２次元上に配置された複数の受光素子から画素データを読み出すラインを適応的に制御し、
前記受光素子を制御する処理は、過去に複数の受光素子から前記画素データを読み出したラインの時系列の変位と、現在の複数の受光素子から前記画素データを読み出したラインの時系列の変位との案分により求められるタイミングでライン毎の読み出しを適応的に制御する。 An operation method of an image sensor according to a first aspect of the present technology is the operation method of an image sensor having a plurality of light receiving elements arranged two-dimensionally to receive light from a subject. The amount of movement of the projected image of the subject projected on the plurality of light receiving elements is detected, and the line for reading pixel data from the plurality of light receiving elements arranged on the two dimensions is adaptively controlled according to the amount of movement. And
The process of controlling the light receiving element includes a time series displacement of a line in which the pixel data is read from a plurality of light receiving elements in the past, and a time series displacement of a line in which the pixel data is read from a plurality of current light receiving elements. The line-by-line readout is adaptively controlled at the timing determined by the proposition .

本技術の第１の側面のプログラムは、被写体からの光を受光する２次元上に配置された複数の受光素子を有するイメージセンサを制御するコンピュータに、前記２次元上に配置された複数の受光素子に投影される前記被写体の投影像の移動量を検出し、前記移動量に応じて、前記２次元上に配置された複数の受光素子から画素データを読み出すラインを適応的に制御するステップを含む処理を実行させ、前記受光素子を制御するステップは、過去に複数の受光素子から前記画素データを読み出したラインの時系列の変位と、現在の複数の受光素子から前記画素データを読み出したラインの時系列の変位との案分により求められるタイミングでライン毎の読み出しを適応的に制御する。 A program according to a first aspect of the present technology includes a computer that controls an image sensor having a plurality of light receiving elements arranged in two dimensions that receive light from a subject, and a plurality of light receiving elements arranged in the two dimensions. Detecting a movement amount of the projected image of the subject projected on the element, and adaptively controlling a line for reading out pixel data from the plurality of light receiving elements arranged on the two-dimensional according to the movement amount. The step of executing the processing including controlling the light receiving element includes a time-series displacement of a line in which the pixel data is read from a plurality of light receiving elements in the past, and a line in which the pixel data is read from the plurality of current light receiving elements. when it adaptively controls reading of each line at a timing determined by pro rata with the displacement of the sequence.

本技術の第１の側面の電子機器は、被写体からの光を受光する２次元上に配置された複数の受光素子と、前記２次元上に配置された複数の受光素子に投影される前記被写体の投影像の移動量を検出する検出部と、前記移動量に応じて、前記２次元上に配置された複数の受光素子から画素データを読み出すタイミングをライン毎に適応的に制御する受光素子制御部とを含み、前記受光素子制御部は、過去に複数の受光素子から前記画素データを読み出したラインの時系列の変位と、現在の複数の受光素子から前記画素データを読み出したラインの時系列の変位との案分により求められるタイミングでライン毎の読み出しを適応的に制御する。 The electronic device according to the first aspect of the present technology includes a plurality of light receiving elements arranged in a two-dimensional manner for receiving light from a subject, and the subject projected on the plurality of light receiving elements arranged in the two dimensions. And a light-receiving element control for adaptively controlling the timing for reading out pixel data from the plurality of light-receiving elements arranged in two dimensions according to the amount of movement. a Department viewed including the light receiving element control section includes a displacement of the time series of lines read the pixel data from the plurality of light receiving elements in the past, when the current of the plurality of light receiving elements of the line which reads the pixel data Read-out for each line is adaptively controlled at a timing determined based on the appropriate amount of displacement of the series .

本技術の第２の側面のイメージセンサは、被写体からの光を受光する２次元上に配置された複数の受光素子と、前記２次元上に配置された複数の受光素子に投影される前記被写体の投影像の移動量を検出する検出部と、前記移動量に応じて、前記２次元上に配置された複数の受光素子のうち、一部の受光素子の露光時間を適応的に短くし、複数回数撮像するように制御する受光素子制御部とを含み、前記受光素子制御部は、前記一部の受光素子により撮像された画素データについては、前記一部の受光素子を除く受光素子により撮像された画素データよりも語長を短くする。 An image sensor according to a second aspect of the present technology includes a plurality of light receiving elements arranged in a two-dimensional manner for receiving light from a subject, and the subject projected on the plurality of light receiving elements arranged in the two dimensions. A detection unit that detects the amount of movement of the projected image of the image sensor, and adaptively shortening the exposure time of some of the light receiving elements among the plurality of light receiving elements arranged in two dimensions according to the amount of movement, look including a light receiving element controller for controlling to a plurality of times imaging, the light receiving element controller, said the imaging pixel data by a portion of the light receiving element, the light receiving elements, except the light receiving element of said part The word length is made shorter than the imaged pixel data .

前記検出部に、前記一部の受光素子により過去、および現在において撮像された画像を用いて前記移動量を検出させるようにする、または、ジャイロセンサにより前記移動量を検出させるようにすることができる。 The detection unit may be configured to detect the movement amount using images picked up in the past and present by the partial light receiving elements, or to detect the movement amount using a gyro sensor. it can.

本技術の第２の側面のイメージセンサの動作方法は、被写体からの光を受光する２次元上に配置された複数の受光素子を備えるイメージセンサの動作方法であって、前記２次元上に配置された複数の受光素子に投影される前記被写体の投影像の移動量を検出し、前記移動量に応じて、前記２次元上に配置された複数の受光素子のうち、一部の受光素子の露光時間を適応的に短くし、複数回数撮像するように制御し、前記受光素子を制御する処理は、前記一部の受光素子により撮像された画素データについては、前記一部の受光素子を除く受光素子により撮像された画素データよりも語長を短くする。 An operation method of an image sensor according to a second aspect of the present technology is an operation method of an image sensor including a plurality of light receiving elements arranged two-dimensionally to receive light from a subject, and is arranged on the two-dimensional arrangement. The amount of movement of the projected image of the subject projected on the plurality of light receiving elements is detected, and according to the amount of movement, among the plurality of light receiving elements arranged in two dimensions, some of the light receiving elements The exposure time is adaptively shortened, and control is performed so that imaging is performed a plurality of times, and the process of controlling the light receiving elements excludes the part of the light receiving elements for pixel data captured by the part of the light receiving elements. The word length is made shorter than the pixel data imaged by the light receiving element .

本技術の第２の側面のプログラムは、被写体からの光を受光する２次元上に配置された複数の受光素子を備えるイメージセンサを制御するコンピュータに、前記２次元上に配置された複数の受光素子に投影される前記被写体の投影像の移動量を検出し、前記移動量に応じて、前記２次元上に配置された複数の受光素子のうち、一部の受光素子の露光時間を適応的に短くし、複数回数撮像するように制御するステップを含む処理を実行させ、前記受光素子を制御するステップは、前記一部の受光素子により撮像された画素データについては、前記一部の受光素子を除く受光素子により撮像された画素データよりも語長を短くする。 A program according to a second aspect of the present technology includes a computer that controls an image sensor including a plurality of light receiving elements arranged in two dimensions for receiving light from a subject, and a plurality of light receiving elements arranged in the two dimensions. The amount of movement of the projection image of the subject projected on the element is detected, and the exposure time of some of the light receiving elements among the plurality of light receiving elements arranged in two dimensions is adaptive according to the amount of movement. And the step of controlling the light receiving elements is executed for the pixel data captured by the part of the light receiving elements. The word length is made shorter than the pixel data imaged by the light receiving element excluding .

本技術の第２の側面の電子機器は、被写体からの光を受光する２次元上に配置された複数の受光素子と、前記２次元上に配置された複数の受光素子に投影される前記被写体の投影像の移動量を検出する検出部と、前記移動量に応じて、前記２次元上に配置された複数の受光素子のうち、一部の受光素子の露光時間を適応的に短くし、複数回数撮像するように制御する受光素子制御部とを含み、前記受光素子制御部は、前記一部の受光素子により撮像された画素データについては、前記一部の受光素子を除く受光素子により撮像された画素データよりも語長を短くする。 The electronic device according to the second aspect of the present technology includes a plurality of light receiving elements arranged in a two-dimensional manner for receiving light from a subject, and the subject projected on the plurality of light receiving elements arranged in the two dimensions. A detection unit that detects the amount of movement of the projected image of the image sensor, and adaptively shortening the exposure time of some of the light receiving elements among the plurality of light receiving elements arranged in two dimensions according to the amount of movement, look including a light receiving element controller for controlling to a plurality of times imaging, the light receiving element controller, said the imaging pixel data by a portion of the light receiving element, the light receiving elements, except the light receiving element of said part The word length is made shorter than the imaged pixel data .

本技術の第１の側面においては、２次元上に配置された複数の受光素子により、被写体からの光が受光され、前記２次元上に配置された複数の受光素子に投影される前記被写体の投影像の移動量が検出され、前記移動量に応じて、前記２次元上に配置された複数の受光素子から読み出すタイミングがライン毎に適応的に制御され、過去に複数の受光素子から前記画素データを読み出したラインの時系列の変位と、現在の複数の受光素子から前記画素データを読み出したラインの時系列の変位との案分により求められるタイミングでライン毎の読み出しが適応的に制御される。 In the first aspect of the present technology, light from a subject is received by a plurality of light receiving elements arranged two-dimensionally, and the object projected onto the plurality of light receiving elements arranged two-dimensionally is received. detected amount of movement of the projected image, in response to said amount of movement, the timing of reading from the plurality of light receiving elements arranged on the two-dimensionally are adaptively controlled for each line, the pixels from the plurality of light receiving elements in the past The readout for each line is adaptively controlled at a timing determined by the probable amount of the time-series displacement of the line from which data is read and the time-series displacement of the line from which the pixel data is read from a plurality of current light receiving elements. The

本技術の第２の側面においては、２次元上に配置された複数の受光素子により、被写体からの光が受光され、前記２次元上に配置された複数の受光素子に投影される前記被写体の投影像の移動量が検出され、前記移動量に応じて、前記２次元上に配置された複数の受光素子のうち、一部の受光素子の露光時間が適応的に短くされ、複数回数撮像されるように制御され、前記一部の受光素子により撮像された画素データについては、前記一部の受光素子を除く受光素子により撮像された画素データよりも語長が短くされる。 In the second aspect of the present technology, light from a subject is received by a plurality of light receiving elements arranged two-dimensionally, and the object projected onto the plurality of light receiving elements arranged two-dimensionally is received. The amount of movement of the projected image is detected, and according to the amount of movement, the exposure time of some light receiving elements among the plurality of light receiving elements arranged in the two-dimensional manner is adaptively shortened, and images are taken a plurality of times. It is controlled in so that the the image pickup pixel data by a portion of the light receiving element, the word length than the pixel data captured by the light receiving element, except for the light receiving element of the part of Ru is shortened.

本技術の第１，２の側面によれば、フレームメモリを特に設けない構成とすることで装置コストを低減することが可能になると共に、ローリングシャッタ現象を補正させつつ、ブレを抑制させることが可能となる。 According to the first and second aspects of the present technology, it is possible to reduce the apparatus cost by adopting a configuration in which no frame memory is provided, and to suppress blurring while correcting the rolling shutter phenomenon. It becomes possible.

一般的なイメージセンサの構成においてフレームメモリが必須であることを説明する図である。It is a figure explaining that a frame memory is essential in the structure of a general image sensor. ブレの発生により違和感のある画像が発生することを説明する図である。It is a figure explaining that the image with a sense of incongruity generate | occur | produces by generation | occurrence | production of a blur. ブレの発生により違和感のある画像が発生することを説明する図である。It is a figure explaining that the image with a sense of incongruity generate | occur | produces by generation | occurrence | production of a blur. イメージセンサの座標系を説明する図である。It is a figure explaining the coordinate system of an image sensor. ローリングシャッタ現象を抑制して動画をスタビライズさせるための読み出し手順を説明する図である。It is a figure explaining the read-out procedure for suppressing a rolling shutter phenomenon and stabilizing a moving image. ローリングシャッタ現象を抑制して動画をスタビライズさせるための読み出し手順を説明する図である。It is a figure explaining the read-out procedure for suppressing a rolling shutter phenomenon and stabilizing a moving image. ローリングシャッタ現象を抑制して動画をスタビライズさせるための読み出し手順を説明する図である。It is a figure explaining the read-out procedure for suppressing a rolling shutter phenomenon and stabilizing a moving image. ローリングシャッタ現象を抑制して動画をスタビライズさせるための読み出し手順を説明する図である。It is a figure explaining the read-out procedure for suppressing a rolling shutter phenomenon and stabilizing a moving image. ローリングシャッタ現象を抑制して動画をスタビライズさせるための読み出し手順を説明する図である。It is a figure explaining the read-out procedure for suppressing a rolling shutter phenomenon and stabilizing a moving image. ローリングシャッタ現象を抑制して動画をスタビライズさせるための読み出し手順を説明する図である。It is a figure explaining the read-out procedure for suppressing a rolling shutter phenomenon and stabilizing a moving image. ローリングシャッタ現象を抑制して動画をスタビライズさせるための読み出し手順を説明する図である。It is a figure explaining the read-out procedure for suppressing a rolling shutter phenomenon and stabilizing a moving image. ローリングシャッタ現象を抑制して動画をスタビライズさせるための読み出し手順を説明する図である。It is a figure explaining the read-out procedure for suppressing a rolling shutter phenomenon and stabilizing a moving image. ローリングシャッタ現象を抑制して動画をスタビライズさせるための読み出し手順を説明する図である。It is a figure explaining the read-out procedure for suppressing a rolling shutter phenomenon and stabilizing a moving image. ローリングシャッタ現象を抑制して動画をスタビライズさせるための読み出し手順を説明する図である。It is a figure explaining the read-out procedure for suppressing a rolling shutter phenomenon and stabilizing a moving image. 偶数ラインの画素のリセットのタイミングと読み出しのタイミングを説明する図である。It is a figure explaining the reset timing and read-out timing of the pixel of an even line. 偶数ラインの画素を撮像するときのリセットのタイミングと読み出しのタイミングの間に、偶数ラインよりも短い露光時間で２枚の奇数ラインの画像を撮像する例を説明する図である。It is a figure explaining the example which images the image of two odd lines with the exposure time shorter than an even line between the reset timing and the read-out timing when imaging the pixel of an even line. 偶数ラインの画素を撮像するときのリセットのタイミングと読み出しのタイミングの間に、偶数ラインよりも短い露光時間で４枚の奇数ラインの画像を撮像する例を説明する図である。It is a figure explaining the example which images the image of four odd lines with the exposure time shorter than an even line between the reset timing and the read-out timing when imaging the pixel of an even line. フレームメモリを利用した場合のリセットと読み出しのタイミングを説明する図である。It is a figure explaining the timing of reset and reading at the time of using a frame memory. 本技術を適用したフレームメモリを利用しない場合のリセットと読み出しのタイミングを説明する図である。It is a figure explaining the timing of reset and reading when not using the frame memory to which this technique is applied. 偶数ラインの読み出しタイミングを説明する図である。It is a figure explaining the read-out timing of an even-numbered line. 偶数ラインの読み出しタイミングの波形から奇数ラインの読み出しタイミングを求める例を説明する図である。It is a figure explaining the example which calculates | requires the read timing of an odd line from the waveform of the read timing of an even line. 過去の偶数ラインの読み出しタイミングの波形を延長する波形を説明する図である。It is a figure explaining the waveform which extends the waveform of the read timing of the past even-numbered line. 未来の偶数ラインの読み出しタイミングの波形を延長する波形を説明する図である。It is a figure explaining the waveform which extends the waveform of the read timing of the future even line. 未来の偶数ラインの波形と現在の偶数ラインの波形とから奇数ラインの波形を補間生成する例を説明する図である。It is a figure explaining the example which carries out the interpolation production | generation of the waveform of an odd line from the waveform of the future even line and the waveform of the present even line. 過去の偶数ライン、および未来の偶数ラインのそれぞれの波形と、現在の偶数ラインの波形とから奇数ラインを補間生成する例を説明する図である。It is a figure explaining the example which carries out the interpolation production | generation of the odd number line from the waveform of each of the past even number line and the future even number line, and the waveform of the present even number line. 本技術を適用した撮像装置に用いられるクロックを説明する図である。It is a figure explaining the clock used for the imaging device to which this art is applied. 本技術を適用した撮像装置に入力される信号、および出力される信号を説明する図である。It is a figure explaining the signal inputted into the imaging device to which this art is applied, and the signal outputted. 本技術を適用したイメージセンサを有する撮像装置の一実施の形態の構成例を説明する図である。It is a figure explaining an example of composition of an embodiment of an imaging device which has an image sensor to which this art is applied. 図２８の制御部の入力信号および出力信号を説明する図である。It is a figure explaining the input signal and output signal of the control part of FIG. 図２８のタイミング制御部、垂直制御部、および水平制御部の入力信号および出力信号を説明する図である。It is a figure explaining the input signal and output signal of a timing control part of FIG. 28, a vertical control part, and a horizontal control part. 図２８のイメージセンサ、シリアルパラレル変換部および乗算部の入力信号および出力信号を説明する図である。It is a figure explaining the input signal and output signal of the image sensor of FIG. 28, a serial parallel conversion part, and a multiplication part. 図２８の動き検出部、およびフレームメモリの入力信号および出力信号を説明する図である。It is a figure explaining the motion detection part of FIG. 28, and the input signal and output signal of a frame memory. 図２８のラインメモリ、データセットメモリ、および補間部の入力信号および出力信号を説明する図である。It is a figure explaining the input signal and output signal of the line memory of FIG. 28, a data set memory, and an interpolation part. 画像データ出力処理を説明するフローチャートである。It is a flowchart explaining an image data output process. 読み出しライン制御処理を説明するフローチャートである。It is a flowchart explaining a read line control process. 水平制御部の入力信号および出力信号と、後述するフローチャートに用いられるシンタックスにおける表記の対応関係を説明する図である。It is a figure explaining the correspondence of the notation in the input signal and output signal of a horizontal control part, and the syntax used for the flowchart mentioned later. 水平制御部の処理を説明するフローチャートである。It is a flowchart explaining the process of a horizontal control part. 垂直制御部の入力信号および出力信号と、後述するフローチャートに用いられるシンタックスにおける表記の対応関係を説明する図である。It is a figure explaining the correspondence of the notation in the syntax used for the input signal and output signal of a vertical control part, and the flowchart mentioned later. 垂直制御部の処理を説明するフローチャートである。It is a flowchart explaining the process of a vertical control part. タイミング制御部の第１の処理を実行するサブ演算ブロックにおける入力信号および出力信号と、後述するフローチャートに用いられるシンタックスにおける表記の対応関係を説明する図である。It is a figure explaining the correspondence of the notation in the syntax used for the input signal and output signal in the sub calculation block which perform the 1st process of a timing control part, and the below-mentioned flowchart. タイミング制御部の第１の処理を説明するフローチャートである。It is a flowchart explaining the 1st process of a timing control part. タイミング制御部の第２の処理を実行するサブ演算ブロックにおける入力信号および出力信号と、後述するフローチャートに用いられるシンタックスにおける表記の対応関係を説明する図である。It is a figure explaining the correspondence of the notation in the syntax used for the input signal and output signal in the sub calculation block which perform the 2nd process of a timing control part, and the below-mentioned flowchart. タイミング制御部の第３の処理を実行するサブ演算ブロックにおける入力信号および出力信号と、後述するフローチャートに用いられるシンタックスにおける表記の対応関係を説明する図である。It is a figure explaining the correspondence of the notation in the syntax used for the input signal and output signal in the sub calculation block which perform the 3rd process of a timing control part, and the flowchart mentioned later. タイミング制御部の第２の処理および第３の処理を実行するサブ演算ブロックにおける入力信号および出力信号と、後述するフローチャートに用いられるシンタックスにおける表記の対応関係を説明する図である。It is a figure explaining the correspondence of the notation in the syntax used for the input signal and output signal in the sub-operation block which perform the 2nd process and 3rd process of a timing control part, and the below-mentioned flowchart. タイミング制御部の第２の処理および第３の処理を説明するフローチャートである。It is a flowchart explaining the 2nd process and 3rd process of a timing control part. タイミング制御部の第４の処理を実行するサブ演算ブロックにおける入力信号および出力信号と、後述するフローチャートに用いられるシンタックスにおける表記の対応関係を説明する図である。It is a figure explaining the correspondence of the notation in the syntax used for the input signal and output signal in the sub operation block which perform the 4th process of a timing control part, and the below-mentioned flowchart. タイミング制御部の第４の処理を説明するフローチャートである。It is a flowchart explaining the 4th process of a timing control part. タイミング制御部の第４の処理を説明するフローチャートである。It is a flowchart explaining the 4th process of a timing control part. タイミング制御部の第４の処理を説明するフローチャートである。It is a flowchart explaining the 4th process of a timing control part. タイミング制御部の第４の処理を説明するフローチャートである。It is a flowchart explaining the 4th process of a timing control part. タイミング制御部の第５の処理を実行するサブ演算ブロックにおける入力信号および出力信号と、後述するフローチャートに用いられるシンタックスにおける表記の対応関係を説明する図である。It is a figure explaining the correspondence of the notation in the syntax used for the input signal and output signal in the sub calculation block which perform the 5th process of a timing control part, and the flowchart mentioned later. タイミング制御部の第５の処理を説明するフローチャートである。It is a flowchart explaining the 5th process of a timing control part. タイミング制御部の第５の処理を説明するフローチャートである。It is a flowchart explaining the 5th process of a timing control part. タイミング制御部の第５の処理を説明するフローチャートである。It is a flowchart explaining the 5th process of a timing control part. タイミング制御部の第５の処理を説明するフローチャートである。It is a flowchart explaining the 5th process of a timing control part. タイミング制御部の第５の処理を説明するフローチャートである。It is a flowchart explaining the 5th process of a timing control part. タイミング制御部の第５の処理を説明するフローチャートである。It is a flowchart explaining the 5th process of a timing control part. タイミング制御部の第５の処理を説明するフローチャートである。It is a flowchart explaining the 5th process of a timing control part. タイミング制御部の第５の処理を説明するフローチャートである。It is a flowchart explaining the 5th process of a timing control part. タイミング制御部の第５の処理を説明するフローチャートである。It is a flowchart explaining the 5th process of a timing control part. タイミング制御部の第５の処理を説明する図である。It is a figure explaining the 5th process of a timing control part. タイミング制御部の第５の処理を説明する図である。It is a figure explaining the 5th process of a timing control part. タイミング制御部の第５の処理を説明する図である。It is a figure explaining the 5th process of a timing control part. タイミング制御部の第６の処理を実行するサブ演算ブロックにおける入力信号および出力信号と、後述するフローチャートに用いられるシンタックスにおける表記の対応関係を説明する図である。It is a figure explaining the correspondence of the notation in the syntax used for the input signal and output signal in the sub calculation block which perform the 6th process of a timing control part, and the below-mentioned flowchart. タイミング制御部の第６の処理を説明するフローチャートである。It is a flowchart explaining the 6th process of a timing control part. タイミング制御部の第６の処理を説明するフローチャートである。It is a flowchart explaining the 6th process of a timing control part. 制御部の処理を説明するフローチャートである。It is a flowchart explaining the process of a control part. マッチング部の処理を説明するフローチャートである。It is a flowchart explaining the process of a matching part. マッチング部の処理を説明する図である。It is a figure explaining the process of a matching part. 動き検出部の処理を説明するフローチャートである。It is a flowchart explaining the process of a motion detection part. 動き検出部の処理を説明するフローチャートである。It is a flowchart explaining the process of a motion detection part. 動き検出部の処理を説明する図である。It is a figure explaining the process of a motion detection part. 補間部の処理を説明するフローチャートである。It is a flowchart explaining the process of an interpolation part. 補間部の処理を説明するフローチャートである。It is a flowchart explaining the process of an interpolation part. 補間部の処理を説明する図である。It is a figure explaining the process of an interpolation part. 偶数ラインと奇数ラインの読み出しタイミングとして求められる波形を説明する図である。It is a figure explaining the waveform calculated | required as a read timing of an even-numbered line and an odd-numbered line. 汎用のパーソナルコンピュータの構成例を説明する図である。And FIG. 11 is a diagram illustrating a configuration example of a general-purpose personal computer.

＜一般的なイメージセンサの動作＞
最近のイメージセンサで主流となっているCMOS（Complementary Metal Oxide Semiconductor）イメージセンサは、線順次で読み出すため、ローリングシャッタ現象が発生し、移動しながらデジタルカメラで動画を撮影すると、歪んだ画像になってしまう。 <General image sensor operation>
CMOS (Complementary Metal Oxide Semiconductor) image sensors, which are the mainstream in recent image sensors, read line-sequentially, causing a rolling shutter phenomenon, and when moving images are taken with a digital camera while moving, the image becomes distorted. End up.

この歪みの発生を抑制するためには、線順次で読み出す速度を高速にすればよい。例えば、６０ｆｐｓ（フレーム／秒）の動画であれば、通常１フレーム分の画素データは１／６０秒で読み出される。これに対して画像の歪を抑制するには、読み出し速度を高速化して１／４８０秒で全画素データが読み出されるようにすることで、ローリングシャッタ現象が８分の１に抑えられる。 In order to suppress the occurrence of this distortion, the line-sequential readout speed may be increased. For example, in the case of a moving image of 60 fps (frames / second), pixel data for one frame is normally read out in 1/60 seconds. On the other hand, in order to suppress image distortion, the rolling shutter phenomenon can be suppressed to 1/8 by increasing the reading speed so that all pixel data is read out in 1/480 seconds.

ところで、最終的にディスプレイに表示する場合や、後段の記録媒体に記録する場合には、データレートは、１／６０秒で１フレーム分の画素データが連続的に（間欠的ではない状態で）送信されなければならない。従って、イメージセンサから１／４８０秒で全画素を読み出してしまうと、一旦、フレームメモリに画素データを蓄えてから、連続的に１／６０秒で１フレーム分の画素データを出力するようにタイミングを調整する必要がある。 By the way, when finally displaying on a display or when recording on a subsequent recording medium, the data rate is 1/60 seconds and pixel data for one frame is continuously (in a non-intermittent state). Must be sent. Therefore, once all pixels are read out from the image sensor in 1/480 seconds, the pixel data is temporarily stored in the frame memory, and then the timing is such that pixel data for one frame is continuously output in 1/60 seconds. Need to be adjusted.

すなわち、例えば、図１の上段で示されるように、６０ｆｐｓ（フレーム/秒）の動画であれば、１フレーム分の画素データが、イメージセンサからフレームメモリに１／４８０秒で読み出される。そして、図１の下段で示されるように、読み出し速度を１／６０秒で全画素データが読み出されるようにする。このような動作により、ローリングシャッタ現象が８分の１に抑えられる。尚、図１においては、１フレームについてＮ個の画素データから構成されており、１フレームの画像を構成する画素データＤ０，Ｄ１・・・ＤＮ−１が順次出力された後、その次のタイミングで出力される１フレームの画像を構成する画素データＥ０，Ｅ１・・・ＥＮ−１が出力される用紙が示されている。 That is, for example, as shown in the upper part of FIG. 1, in the case of a moving image of 60 fps (frame / second), pixel data for one frame is read from the image sensor to the frame memory in 1/480 seconds. Then, as shown in the lower part of FIG. 1, all pixel data is read at a reading speed of 1/60 seconds. By such an operation, the rolling shutter phenomenon is suppressed to 1/8. In FIG. 1, each frame is composed of N pieces of pixel data, and the pixel data D0, D1,... The paper on which the pixel data E0, E1,... EN-1 constituting one frame image output in (1) is output is shown.

しかしながら、このような手法を用いる場合、一般的には、フレームメモリが必須の構成とされるため、装置コストが嵩む構成となる。 However, when such a method is used, since the frame memory is generally an essential configuration, the device cost increases.

また、撮像装置を手で持った状態で動画が撮像されると、所定の画像（１フレーム分の画素データ）にはブレがなく、また、所定の画像とは異なる画像にはブレが存在していることが、しばしば起きる。つまり、所定の画像が撮像されている間（すなわち、所定の１フレームのための露光時間内）に手持ち撮像により、撮像装置の撮像方向が変化するように動いたか否かにより、撮像された画像内にブレが発生したりしなかったりする。 In addition, when a moving image is captured with the imaging device held by hand, there is no blur in a predetermined image (pixel data for one frame), and there is a blur in an image different from the predetermined image. Often happens. In other words, an image captured depending on whether or not the imaging direction of the imaging apparatus is changed by hand-held imaging while a predetermined image is captured (that is, within an exposure time for a predetermined frame). There may or may not be blurring inside.

通常、動画が再生される際には、撮像装置の撮像方向が変化するように動いていれば、動画像内で被写体の位置も動くことになり、”被写体が動いているからブレている”と感じ、このブレについて鑑賞者は、視聴に違和感を抱くことがない。 Normally, when a moving image is reproduced, if the imaging direction of the imaging device moves so as to change, the position of the subject also moves in the moving image, and “the subject is moving because it is moving” The viewer does not feel uncomfortable with this blur.

すなわち、図２で示されるように、フレームＦ１乃至Ｆ５、および、フレームＦ９乃至Ｆ１２を撮像していた時間帯においては、たまたまカメラの撮像方向が動かずに被写体（図２においては家）が撮像できたものとする。一方、フレームＦ６乃至Ｆ８が撮像されていた時間帯において、手持ちにより撮像装置の撮像方向が下方向に動いて撮像（被写体である家が、フレーム内において相対的に上へ移動）されてしまったものとする。この場合、フレームＦ６乃至Ｆ８においては、露光時間内に被写体が動画像内を動いてしまうことになるためブレが生じる。 That is, as shown in FIG. 2, in the time zone in which the frames F1 to F5 and the frames F9 to F12 were imaged, the subject (the house in FIG. 2) was imaged without happening to move the imaging direction of the camera. Suppose that it was made. On the other hand, during the time period when the frames F6 to F8 were imaged, the imaging direction of the imaging device moved downward by hand and the image was taken (the subject house moved relatively up in the frame). Shall. In this case, in the frames F6 to F8, the subject moves within the moving image within the exposure time, so that blurring occurs.

ところが、このフレームＦ１乃至Ｆ１２で示される１２フレーム分の動画が再生されるとき、フレームＦ６乃至Ｆ８のタイミングにおいて、撮像装置の撮像方向が変化することで、相対的に被写体がフレーム内を移動していることにより、ブレが発生していることを認識することができるので、鑑賞者は視聴に際して違和感を抱くことがない。尚、図２は、手持ちで撮像した動画の中のフレームＦ１乃至Ｆ１２の１２フレーム分の画像を時系列に示したものである。 However, when 12 frames of moving images shown by the frames F1 to F12 are reproduced, the subject moves relatively in the frame by changing the imaging direction of the imaging device at the timing of the frames F6 to F8. Therefore, it is possible to recognize the occurrence of blurring, so that the viewer does not feel uncomfortable when viewing. FIG. 2 shows, in time series, images of 12 frames of frames F1 to F12 in a moving image captured by hand.

しかしながら、ローリングシャッタ現象を補正しつつ、動画像内の被写体をフレーム内でスタビライズさせるようにすると、鑑賞者は、このブレに違和感を抱くことになる。ここで、"スタビライズ"させるとは、フレーム間で位置合わせを行うことで、静止している被写体の投影像の位置をフレーム内で一定の位置にさせることを意味する。 However, if the subject in the moving image is stabilized in the frame while correcting the rolling shutter phenomenon, the viewer will feel uncomfortable with this blur. Here, “stabilize” means that the position of the projected image of the stationary subject is made to be a fixed position in the frame by performing alignment between the frames.

図３は、図２の画像に対して、被写体となる家をフレーム内でスタビライズさせた場合の動画像の１２フレーム分の画像として示したものである。 FIG. 3 shows the image of 12 frames of the moving image when the house as the subject is stabilized in the frame with respect to the image of FIG.

図３に示したフレームＦ２１乃至Ｆ３２の画像は、それぞれ図２のフレームＦ１乃至Ｆ１２に対応した画像である。ただし、図３のフレームＦ２１乃至Ｆ３２の画像は、図２のフレームＦ１乃至Ｆ１２の画像に対して、被写体をスタビライズさせている。すなわち、カメラの動きが補正され、被写体である家がフレーム内の一定の位置に固定されている。これにより、図３で示されるように、被写体である家は、フレームＦ２１乃至Ｆ３２まですべてにおいて、画像上の略同一の位置に存在するようにされている。 The images of the frames F21 to F32 shown in FIG. 3 are images corresponding to the frames F1 to F12 of FIG. However, in the images of the frames F21 to F32 in FIG. 3, the subject is stabilized with respect to the images of the frames F1 to F12 in FIG. That is, the movement of the camera is corrected, and the house that is the subject is fixed at a certain position in the frame. As a result, as shown in FIG. 3, the house as the subject is present at substantially the same position on the image in all of the frames F21 to F32.

しかしながら、このフレームＦ２１乃至Ｆ３２の１２フレーム分の動画を再生すると、被写体の家は、フレーム内において常に静止しているにも関わらず、フレームＦ２６乃至Ｆ２８の時間においてのみブレが生じる。このため、鑑賞者は視聴に際して違和感を抱くことになる。 However, when 12 frames of moving images of frames F21 to F32 are reproduced, the subject's house is always stationary in the frame, but blurring occurs only during the times of frames F26 to F28. For this reason, the viewer feels uncomfortable when viewing.

＜本技術を適用したイメージセンサによる撮像方法の概要について＞
次に、本技術を適用することにより、フレームメモリを利用することなく、このような動画像を再生したとき、その鑑賞に際して生じる違和感を低減できるようにしたイメージセンサによる撮像方法の概要について説明する。 <Overview of imaging method using image sensor to which this technology is applied>
Next, an outline of an imaging method using an image sensor that can reduce the uncomfortable feeling that occurs when such a moving image is reproduced without using a frame memory by applying the present technology will be described. .

尚、以降において、本技術を適用したイメージセンサを有する撮像装置による撮像方法を説明するにあたり、イメージセンサ内の画素配列を特定する座標系については、図４で示されるように定義されるものとする。 In the following, in describing an imaging method by an imaging apparatus having an image sensor to which the present technology is applied, a coordinate system for specifying a pixel arrangement in the image sensor is defined as shown in FIG. To do.

すなわち、図４のイメージセンサ１１の画素は、水平方向（ｘ軸方向）の画素数がWSであり、垂直方向（ｙ軸方向）の画素数がHSで配置されているものとする。そして、この画素のうち撮像される動画像の１フレームを構成する領域２１は、６０ｆｐｓで、水平方向の画素数×垂直方向の画素数＝W×Hであるものとする。フルＨＤ（High Dedinition）動画像である場合、例えば、水平方向の画素数Wは1920画素であり、垂直方向の画素数Ｈは1080画素であり、以降においては、この画素数であるものとして説明を進めるものとするが、いうまでもなく、それ以外の画素数であってもよいものである。また、画素数Wは、画素数WSよりも小さく（W＜WS）、画素数Hは、画素数HSよりも小さい（H＜HS）。さらに、イメージセンサ１１により動画を撮像可能な範囲は、領域２１の範囲W×Hより大きな範囲WS×HSであるものとする。 In other words, the pixels of the image sensor 11 in FIG. 4 are arranged such that the number of pixels in the horizontal direction (x-axis direction) is WS and the number of pixels in the vertical direction (y-axis direction) is HS. An area 21 constituting one frame of a moving image to be captured is 60 fps, and the number of pixels in the horizontal direction × the number of pixels in the vertical direction = W × H. In the case of a full HD (High Dedinition) moving image, for example, the number of pixels W in the horizontal direction is 1920 pixels, and the number of pixels H in the vertical direction is 1080 pixels. However, it goes without saying that other pixel numbers may be used. The pixel number W is smaller than the pixel number WS (W <WS), and the pixel number H is smaller than the pixel number HS (H <HS). Furthermore, the range in which a moving image can be captured by the image sensor 11 is a range WS × HS larger than the range W × H of the region 21.

＜手振れのない固定したカメラで撮像される場合＞
まず、図５を参照して、手振れのない固定したカメラ（撮像装置）で撮像される場合の画素データが読み出されるタイミングについて説明する。 <When captured with a fixed camera without camera shake>
First, with reference to FIG. 5, the timing at which pixel data is read when imaged with a fixed camera (imaging device) without camera shake will be described.

ここで、図５は、３フレーム分の動画像を撮像する際のイメージセンサにおける画素データを転送する範囲と、タイミングを示すタイミングチャートである。図５のタイミングチャートにおいては、図中の垂直方向がイメージセンサ１１、および領域２１の水平方向（ｙ軸方向）であり、図中右方向が時刻方向である。 Here, FIG. 5 is a timing chart showing a range and timing for transferring pixel data in the image sensor when capturing a moving image for three frames. In the timing chart of FIG. 5, the vertical direction in the figure is the horizontal direction (y-axis direction) of the image sensor 11 and the region 21, and the right direction in the figure is the time direction.

また、図５においては、１／６０秒の時間内において、第１フレームの垂直方向の時刻１Ｈ＠１Ｆｒａｍｅ乃至１０８０Ｈ＠１Ｆｒａｍｅの各タイミングで、実線の枠で示されるイメージセンサ１１−１−１乃至１１−１−１０８０のうち、図中の点線の矩形領域で示される領域２１−１−１乃至２１−１−１０８０の太線で示される垂直方向の１ライン分の画素データがそれぞれ読み出される。 In FIG. 5, the image sensors 11-1-11 to 11-1-1 indicated by solid lines at the timings 1H @ 1 Frame to 1080H @ 1 Frame in the vertical direction of the first frame within the time of 1/60 seconds. Among 11-1-1080, pixel data for one line in the vertical direction indicated by the thick lines in the areas 21-1-1 to 21-1-1080 indicated by the dotted rectangular areas in the drawing is read out.

同様に、第２フレームのうち、垂直方向の時刻１Ｈ＠２Ｆｒａｍｅ乃至１０８０Ｈ＠２Ｆｒａｍｅの各タイミングで、図中のイメージセンサ１１−２−１乃至１１−２−１０８０のそれぞれの領域２１−２−１乃至２１−２−１０８０の太線で示される垂直方向の１ライン分の画素データがそれぞれ読み出される。 Similarly, in the second frame, the respective regions 21-2-1 of the image sensors 11-2-1 to 11-2-1080 in the drawing at timings 1H @ 2Frame to 1080H @ 2Frame in the vertical direction. The pixel data for one line in the vertical direction indicated by thick lines 21 to 1080 is read out.

さらに、同様に、第３フレームのうち、垂直方向の時刻１Ｈ＠３Ｆｒａｍｅ乃至１０８０Ｈ＠３Ｆｒａｍｅの各タイミングで、図中のイメージセンサ１１−３−１乃至１１−３−１０８０のそれぞれの領域２１−３−１乃至２１−３−１０８０の太線で示される垂直方向の１ライン分がそれぞれ読み出される。 Further, similarly, in the third frame, the respective regions 21-3 of the image sensors 11-3-1 to 11-3-1080 in the figure at the respective timings of the times 1H @ 3Frame to 1080H @ 3Frame in the vertical direction. One line in the vertical direction indicated by bold lines -1 to 21-3-1080 is read out.

尚、領域２１−１−１乃至２１−１−１０８０、領域２１−２−１乃至２１−２−１０８０、および、領域２１−３−１乃至２１−３−１０８０のそれぞれについて、特に区別する必要がない場合、単に領域２１と称するものとし、その他の構成についても同様に称するものとする。 In addition, it is necessary to particularly distinguish each of the regions 21-1-1 to 21-1-1080, the regions 21-2-1 to 21-2-1080, and the regions 21-3-1 to 21-3-1080. If there is no area, it is simply referred to as region 21 and the other components are also referred to in the same manner.

すなわち、最初の時刻１Ｈ＠１Ｆｒａｍｅにおいては、図中の太線で示した１ライン分（点線矩形領域で示される領域２１の一番上のライン）の画素データが読み出される。 That is, at the first time 1H @ 1Frame, pixel data for one line indicated by a thick line (the uppermost line of the area 21 indicated by the dotted rectangular area) is read out.

次の時刻２Ｈ＠１Ｆｒａｍｅにおいては、図中の太線で示した１ライン分（点線矩形領域の領域２１の上から２番目のライン）の画素データが読み出される。 At the next time 2H @ 1Frame, pixel data for one line (the second line from the top of the dotted-line rectangular area 21) indicated by the bold line in the drawing is read.

さらに次の時刻３Ｈ＠１Ｆｒａｍｅにおいては、図中の太線で示した１ライン分（点線矩形領域の領域２１の上から３番目のライン）の画素データが読み出される。 Further, at the next time 3H @ 1Frame, pixel data for one line (the third line from the top of the dotted-line rectangular area 21) indicated by the bold line in the drawing is read.

以降、同様にして、１フレーム目の最後の時刻１０８０Ｈ＠１Ｆｒａｍｅにおいては、図中の太線で示した１ライン分（点線矩形領域の領域２１の一番下のライン）の画素データが読み出される。 Thereafter, in the same manner, at the last time 1080H @ 1Frame of the first frame, pixel data for one line (the lowermost line of the area 21 of the dotted rectangular area) indicated by the bold line in the drawing is read.

２フレーム目以降も同様である。このようにして、イメージセンサから１ライン分ごとの時間間隔（１／（６０×１０８０）秒）で１ラインずつ画素データが読み出され、読み出された１０８０ライン分の画素データから１フレーム分の画像が構成される。 The same applies to the second and subsequent frames. In this way, pixel data is read from the image sensor one line at a time interval (1 / (60 × 1080) seconds) for each line, and one frame worth is read from the read pixel data for 1080 lines. Images are constructed.

ここで、時刻の表記については、例えば、"時刻１Ｈ＠１Ｆｒａｍｅ"の場合、１フレーム（Ｆｒａｍｅ）目の垂直方向の１ライン目の１ライン分の画素データを転送する時刻であることを示す。したがって、時刻１Ｈ＠１Ｆｒａｍｅ、時刻２Ｈ＠１Ｆｒａｍｅ・・・１０８０Ｈ＠１Ｆｒａｍｅ、時刻１Ｈ＠２Ｆｒａｍｅ、時刻２Ｈ＠２Ｆｒａｍｅ・・・１０８０Ｈ＠２Ｆｒａｍｅ、時刻１Ｈ＠３Ｆｒａｍｅ、時刻２Ｈ＠３Ｆｒａｍｅ・・・１０８０Ｈ＠３Ｆｒａｍｅ・・・といった順序で等間隔に変位する。 Here, regarding the notation of time, for example, in the case of “time 1H @ 1Frame”, it indicates that it is time to transfer pixel data for one line of the first line in the vertical direction of the first frame. Therefore, time 1H @ 1Frame, time 2H @ 1Frame ... 1080H @ 1Frame, time 1H @ 2Frame, time 2H @ 2Frame ... 1080H @ 2Frame, time 1H @ 3Frame, time 2H @ 3Frame ... 1080H @ 3Frame.・・ It is displaced at equal intervals in the order.

＜手振れのない固定したカメラで撮像される場合の読み出しタイミングとリセットタイミング＞
次に、図６を参照して、手振れのない固定したカメラで撮像される場合の読み出しタイミングとリセットタイミングについて説明する。 <Reading timing and reset timing when captured with a fixed camera without camera shake>
Next, with reference to FIG. 6, the readout timing and the reset timing in the case of imaging with a fixed camera without camera shake will be described.

ここで、図６は、図５で示される画素データの転送タイミングを示すタイミングチャートをｘ軸方向に射影したタイミングチャートである。図中の垂直方向が画像の垂直方向のラインを特定するｙ軸であり、ｙ＝０からｙ＝HS−１が、イメージセンサ１１の垂直方向の画素配列に対応している。一方、図中の水平方向が時間軸（time軸）を表している。 Here, FIG. 6 is a timing chart obtained by projecting the timing chart showing the pixel data transfer timing shown in FIG. 5 in the x-axis direction. The vertical direction in the figure is the y-axis that specifies the vertical line of the image, and y = 0 to y = HS-1 corresponds to the vertical pixel array of the image sensor 11. On the other hand, the horizontal direction in the figure represents the time axis.

すなわち、図６で示されるように、イメージセンサ１１の画素の中央部分の1080ライン分の画素データが順次読み出される。図中の太い実線で示される直線Ｌ１０乃至Ｌ１２が、各画素ラインの画素データが読み出されるタイミングを表している。各時刻１Ｈ分の時間に対して１ラインずつ読み出されるので、この太い実線は図中で直線（時間軸に対するｙ軸の位置が比例関係）となる。また、図中の太い点線で示される直線Ｌ１乃至Ｌ３は各画素をリセットするタイミングを表している。各ラインの画素（正確には、各ラインに含まれる水平方向に１列に配置された複数の画素）は、リセットされた時刻から読み出しされる時刻までの時間（例えば、直線Ｌ１乃至Ｌ１１の時間）が、露光時間とされる。 That is, as shown in FIG. 6, pixel data for 1080 lines in the central portion of the pixels of the image sensor 11 are sequentially read out. Straight lines L10 to L12 indicated by thick solid lines in the drawing represent the timing at which the pixel data of each pixel line is read. Since one line is read for each time of 1H, this thick solid line is a straight line in the figure (the y-axis position is proportional to the time axis). In addition, straight lines L1 to L3 indicated by thick dotted lines in the figure represent the timing for resetting each pixel. The pixels of each line (more precisely, the plurality of pixels arranged in one column in the horizontal direction included in each line) are time from the reset time to the read time (for example, the time of straight lines L1 to L11) ) Is the exposure time.

＜手振れしながら撮像される場合に手振れ補正されるとき＞
次に、図７を参照して、手振れしながら撮像される（手持ちによりブレが発生した状態で撮像される）場合に手振れ補正されるときの画素データが読み出されるタイミングについて説明する。尚、ここでは、説明を簡単にするために、手振れの発生によりイメージセンサ１１の撮像方向が常に下方向に動いているものとする。すなわち、一般的には、手振れによりイメージセンサ１１は、ランダムに上下左右に動くが、図が煩雑になるので、下方向の一方向にのみ動いているものとする。尚、言うまでも無く、それ以外の方向についても手振れは発生する。 <When camera shake is corrected when shooting with camera shake>
Next, with reference to FIG. 7, a description will be given of the timing at which pixel data is read out when camera shake correction is performed when an image is captured while being shaken (images are taken in a state in which hand shake occurs). Here, in order to simplify the explanation, it is assumed that the imaging direction of the image sensor 11 is always moving downward due to the occurrence of camera shake. That is, in general, the image sensor 11 moves up and down and left and right randomly due to camera shake, but the drawing becomes complicated, so it is assumed that the image sensor 11 moves only in one direction downward. Needless to say, camera shake occurs in other directions.

また、図７においては、図５と同様に、第１フレーム１Ｆｒａｍｅ乃至第３フレーム３Ｆｒａｍｅからなる３フレーム分の時間（３／６０秒）が示されている。また、イメージセンサ１１−１１−１乃至１１−１１−１０８０，１１−１２−１乃至１１−１２−１０８０，１１−１３−１乃至１１−１３−１０８０、および領域２１−１１−１乃至２１−１１−１０８０，２１−１２−１乃至２１−１２−１０８０，２１−１３−１乃至２１−１３−１０８０は、それぞれ図５のイメージセンサ１１−１−１乃至１１−１−１０８０，１１−２−１乃至１１−２−１０８０，１１−３−１乃至１１−３−１０８０、および領域２１−１−１乃至２１−１−１０８０，２１−２−１乃至２１−２−１０８０，２１−３−１乃至２１−３−１０８０に対応するものである。 Further, in FIG. 7, similarly to FIG. 5, the time (3/60 seconds) for three frames including the first frame 1 frame to the third frame 3 frame is shown. Also, the image sensors 11-11-1 to 11-11-1080, 11-12-1 to 11-12-1080, 11-13-1 to 11-13-1080, and the regions 21-11-1 to 21- Reference numerals 11-1080, 21-12-1 to 21-12-1080, and 21-13-1 to 21-13-1080 are image sensors 11-1-1 to 11-1-1080 and 11-2 in FIG. -1 to 11-2-1080, 11-3-1 to 11-3-1080, and regions 21-1-1 to 21-1-1080, 21-2-1 to 21-2-1080, 21-3 -1 to 21-3-1080.

ここで、上述したように、イメージセンサ１１は手振れにより下方向に撮像方向が動いているので、図５のように、イメージセンサ１１の中で常に同じ矩形領域で示される領域２１の位置が読み出されていくと、各フレーム内でローリングシャッタ現象が生じ、フレーム間で被写体がスタビライズされない。 Here, as described above, since the imaging direction of the image sensor 11 moves downward due to camera shake, the position of the region 21 indicated by the same rectangular region in the image sensor 11 is always read as shown in FIG. As it comes out, a rolling shutter phenomenon occurs in each frame, and the subject is not stabilized between frames.

そこで、図７で示されるように、イメージセンサ１１の撮像方向が動いている方向と逆方向に点線矩形領域となる領域２１が動かされる。この点線矩形領域で示される領域２１に対して、最初の時刻１Ｈ＠１Ｆｒａｍｅにおいては、図中の太線で示された１ライン分（点線矩形領域で示される領域２１の一番上のライン）の画素データが読み出される。 Therefore, as shown in FIG. 7, a region 21 that is a dotted rectangular region is moved in a direction opposite to the direction in which the imaging direction of the image sensor 11 is moving. With respect to the area 21 indicated by the dotted rectangular area, at the first time 1H @ 1Frame, one line indicated by the bold line in the figure (the uppermost line of the area 21 indicated by the dotted rectangular area). Pixel data is read out.

次の時刻２Ｈ＠１Ｆｒａｍｅにおいては、図中の太線で示した１ライン分（点線矩形領域の上から２番目のライン）の画素データが読み出される。 At the next time 2H @ 1Frame, pixel data for one line (the second line from the top of the dotted rectangular area) indicated by the bold line in the drawing is read.

さらに、次の時刻３Ｈ＠１Ｆｒａｍｅにおいては、図中の太線で示した１ライン分（点線矩形領域の上から３番目のライン）の画素データが読み出される。 Further, at the next time 3H @ 1Frame, pixel data for one line (the third line from the top of the dotted-line rectangular area) indicated by the bold line in the drawing is read.

以降、同様にして、１フレーム目の最後の時刻（図中の時刻１０８０Ｈ＠１Ｆｒａｍｅ）においては、図中の太線で示した１ライン分（点線矩形領域の一番下のライン）の画素データが読み出される。２フレーム目以降も同様である。このようにして、イメージセンサ１１から各１Ｈ分の時間（１／（６０×１０８０）秒）に対して１ライン分ずつの画素データが読み出され、読み出された1080ラインの画素データから１つのフレームが構成される。これにより、ローリングシャッタ現象が補正されて、動画像における被写体をスタビライズさせることが可能となる。 Thereafter, similarly, at the last time of the first frame (time 1080H @ 1Frame in the figure), the pixel data of one line (the bottom line of the dotted rectangular area) indicated by the bold line in the figure is obtained. Read out. The same applies to the second and subsequent frames. In this way, pixel data for one line is read from the image sensor 11 for each 1 H time (1 / (60 × 1080) seconds), and 1 pixel is read out from the read 1080 line pixel data. One frame is constructed. As a result, the rolling shutter phenomenon is corrected, and the subject in the moving image can be stabilized.

＜手振れしながら撮像される場合に手振れ補正されるときの読み出しタイミング＞
次に、図８，図９を参照して、手振れしながら撮像される場合に手振れ補正されるときの読み出しタイミングとリセットタイミングについて説明する。 <Reading timing when camera shake correction is performed when imaging is performed with camera shake>
Next, with reference to FIG. 8 and FIG. 9, the readout timing and reset timing when camera shake correction is performed when imaging is performed while shaking.

ここで、図８は、図７で示される画素データの転送タイミングを示すタイミングチャートをｘ軸方向に射影したタイミングチャートである。図中の太い実線で示される直線Ｌ３１乃至Ｌ３３が各ラインの画素データが読み出されるタイミングを表している。図中の垂直方向が画像の垂直方向のラインを特定するｙ軸であり、ｙ＝０からｙ＝HS−１が、イメージセンサ１１の垂直方向の画素配列に対応している。一方、図中の水平方向が時間軸（time軸）を表している。 Here, FIG. 8 is a timing chart obtained by projecting the timing chart showing the transfer timing of the pixel data shown in FIG. 7 in the x-axis direction. The straight lines L31 to L33 indicated by thick solid lines in the drawing represent the timing at which the pixel data of each line is read out. The vertical direction in the figure is the y-axis that specifies the vertical line of the image, and y = 0 to y = HS-1 corresponds to the vertical pixel array of the image sensor 11. On the other hand, the horizontal direction in the figure represents the time axis.

また、図９は、手振れによりイメージセンサ１１の撮像方向が常に上方向に動いている場合のタイミングチャートを示しており、図中の太い実線で示される直線Ｌ４１乃至Ｌ４３が各ラインの画素データが読み出されるタイミングを表している。 FIG. 9 shows a timing chart when the imaging direction of the image sensor 11 always moves upward due to camera shake, and straight lines L41 to L43 indicated by thick solid lines in FIG. It represents the timing of reading.

すなわち、図８および図９で示されるように、手振れしながら撮像される場合、手振れ補正するときには、手振れによりブレた分を補正するため、領域２１を構成する最終ラインを読出した次のタイミングで、最終ラインから１０８０ライン分だけ上方（図８）および下方（図９）のラインから画素データが順次読み出される。 That is, as shown in FIG. 8 and FIG. 9, in the case where an image is captured while shaking, when correcting camera shake, in order to correct the amount of blurring caused by camera shake, at the next timing when the last line constituting the region 21 is read out. Pixel data is sequentially read from the upper (FIG. 8) and lower (FIG. 9) lines by 1080 lines from the last line.

より詳細には、図８の場合、次のフレームに移る時刻（各フレームの最初の１Ｈの時刻）において、読み出しラインが1080ラインだけ上に移動される。すなわち、例えば、図７で示されるように、時刻１０８０Ｈ＠１Ｆｒａｍｅにおいて、領域２１−１１−１０８０における太線で示される第１フレームの最終ラインとなる１ライン分の画素データが読み出されるタイミングを考える。すると、次のタイミングである時刻１Ｈ＠２Ｆｒａｍｅにおいて、領域２１−１２−１で示される、1080ライン分上の太線で示される１ライン分が第２フレームの先頭ラインの画素データとして読み出される。 More specifically, in the case of FIG. 8, at the time of moving to the next frame (the time of the first 1H of each frame), the readout line is moved up by 1080 lines. That is, for example, as shown in FIG. 7, consider the timing at which pixel data for one line serving as the last line of the first frame indicated by the thick line in the region 21-11-1080 is read at time 1080H @ 1Frame. Then, at time 1H @ 2Frame, which is the next timing, one line indicated by a thick line on the 1080 lines indicated by area 21-12-1 is read as pixel data of the first line of the second frame.

このような動作により、図７の領域２１−１１−１乃至２１−１１−１０８０，２１−１２−１乃至２１−１２−１０８０，２１−１３−１乃至２１−１３−１０８０における図中の左上部の位置が時間軸（time軸）と平行な点線で一致した位置に統一されることで、手振れによるブレの発生を抑制することができる。 By such an operation, upper left in the figure in the regions 21-11-1 to 21-11-1080, 21-12-1 to 21-12-1080, 21-13-1 to 21-13-1080 in FIG. By unifying the position of the part to a position that coincides with a dotted line parallel to the time axis (time axis), it is possible to suppress the occurrence of shake due to camera shake.

同様に、図９の場合、次のフレームに移る時刻（各フレームの最初の１Ｈの時刻）において、読み出しラインが1080ライン分だけ下に移動される。 Similarly, in the case of FIG. 9, at the time of moving to the next frame (the time of the first 1H of each frame), the readout line is moved down by 1080 lines.

このような動作により、手振れしながらイメージセンサ１１上の被写体のブレの補正を実現することが可能となる。 By such an operation, it is possible to correct blurring of the subject on the image sensor 11 while shaking.

＜パンしながら撮像される場合に手振れ補正されるとき＞
次に、図１０を参照して、パンしながら撮像される場合に手振れ補正されるときの画素データが読み出されるタイミングについて説明する。尚、ここでは、説明を簡単にするために、撮像者の意思に基づいたパンによりイメージセンサ１１の撮像方向が常に下方向に動いているものとする。すなわち、一般的には、パンによりイメージセンサ１１は、撮像者の意思に従って上下左右に動くが、図が煩雑になるので、一方向に動いているものとする。尚、いうまでもなく、それ以外の方向にパンするようにしてもよいものである。 <When camera shake is corrected when shooting while panning>
Next, with reference to FIG. 10, the timing at which pixel data is read when camera shake correction is performed when imaging is performed while panning will be described. Here, in order to simplify the explanation, it is assumed that the imaging direction of the image sensor 11 always moves downward by panning based on the intention of the photographer. That is, generally, the image sensor 11 moves up and down and left and right according to the intention of the photographer by panning. However, since the figure becomes complicated, it is assumed that the image sensor 11 moves in one direction. Needless to say, panning in other directions may be performed.

すなわち、図１０におけるパンによる下方向への移動は、図７の場合と異なり、撮像者が意図した動きであり、撮像された動画像もこの動きに追従するように再生される必要がある。この場合、１フレーム内では、イメージセンサ１１が動いている方向と逆方向に点線矩形領域からなる領域２１を動かすことで、ローリングシャッタ現象が補正される。そして、フレーム間では、点線矩形領域からなる領域２１はイメージセンサ１１上で同一の位置に固定させる（各フレームの１Ｈの時刻においては、ｙ＝ｙ０のラインを読み出す）ことで、スタビライズさせずにパンさせることが可能となる。 That is, unlike the case of FIG. 7, the downward movement by pan in FIG. 10 is a movement intended by the photographer, and the captured moving image needs to be reproduced so as to follow this movement. In this case, in one frame, the rolling shutter phenomenon is corrected by moving the area 21 formed by the dotted rectangular area in the direction opposite to the direction in which the image sensor 11 is moving. Then, between the frames, the area 21 consisting of the dotted rectangular area is fixed at the same position on the image sensor 11 (at the time of 1H of each frame, the line y = y0 is read out) without being stabilized. Panning is possible.

尚、図１０においては、図５と同様に、第１フレーム１Ｆｒａｍｅ乃至第３フレーム３Ｆｒａｍｅからなる３フレーム分の時間（３／６０秒）が示されている。また、イメージセンサ１１−２１−１乃至１１−２１−１０８０，１１−２２−１乃至１１−２２−１０８０，１１−２３−１乃至１１−２３−１０８０、および領域２１−２１−１乃至２１−２１−１０８０，２１−２２−１乃至２１−２２−１０８０，２１−２３−１乃至２１−２３−１０８０は、それぞれ図５のイメージセンサ１１−１−１乃至１１−１−１０８０，１１−２−１乃至１１−２−１０８０，１１−３−１乃至１１−３−１０８０、および領域２１−１−１乃至２１−１−１０８０，２１−２−１乃至２１−２−１０８０，２１−３−１乃至２１−３−１０８０に対応するものである。 In FIG. 10, as in FIG. 5, the time (3/60 seconds) for three frames including the first frame 1 frame to the third frame 3 frame is shown. Also, the image sensors 11-21-1 to 11-21-1080, 11-22-1 to 11-22-1080, 11-23-1 to 11-23-1080, and the regions 21-21-1 to 21- Reference numerals 21-1080, 21-22-1 to 21-22-1080, and 21-23-1 to 21-23-1080 are image sensors 11-1-1 to 11-1-1080 and 11-2 in FIG. -1 to 11-2-1080, 11-3-1 to 11-3-1080, and regions 21-1-1 to 21-1-1080, 21-2-1 to 21-2-1080, 21-3 -1 to 21-3-1080.

＜パンしながら撮像される場合に手振れ補正されるときの読み出しタイミング＞
次に、図１１，図１２を参照して、パンしながら撮像される場合に手振れ補正されるときの読み出しタイミングとリセットタイミングについて説明する。 <Reading timing when camera shake correction is performed when shooting while panning>
Next, with reference to FIG. 11 and FIG. 12, the readout timing and reset timing when camera shake correction is performed when imaging is performed while panning will be described.

ここで、図１１は、図１０で示される画素データの転送タイミングを示すタイミングチャートをｘ軸方向に射影した図である。図中の垂直方向が画像の垂直方向のラインを特定するｙ軸であり、ｙ＝０からｙ＝HS−１が、イメージセンサ１１の垂直方向の画素配列に対応している。一方、図中の水平方向が時間軸（time軸）を表している。図中の太い実線で示される分布Ｌ６１乃至Ｌ６３、が読み出すタイミングを表している。また、図１２は、パンによりカメラ（イメージセンサ）が常に上方向に動いている場合の各ラインの転送タイミングを示すタイミングチャートであり、太い実線で示される分布Ｌ７１乃至Ｌ７３が読み出すタイミングを表している。 Here, FIG. 11 is a diagram in which the timing chart showing the transfer timing of the pixel data shown in FIG. 10 is projected in the x-axis direction. The vertical direction in the figure is the y-axis that specifies the vertical line of the image, and y = 0 to y = HS-1 corresponds to the vertical pixel array of the image sensor 11. On the other hand, the horizontal direction in the figure represents the time axis. Distributions L61 to L63 indicated by thick solid lines in the figure represent the readout timing. FIG. 12 is a timing chart showing the transfer timing of each line when the camera (image sensor) always moves upward due to panning, and represents the timing at which the distributions L71 to L73 indicated by thick solid lines read. Yes.

図１１，図１２で示されるように、画素データを転送する画素ラインは、次のフレームに移る時刻（各フレームの最初の１Ｈの時刻）において、読み出しラインが常に同じ位置（ｙ＝ｙ０）に移動している。すなわち、イメージセンサ１１の撮像方向は、撮像者により意図的にパンされているので、そのパンに応じて領域２１を構成するフレームの先頭ラインを、同一の位置とすることで、違和感のない画像に補正することが可能となる。 As shown in FIGS. 11 and 12, the pixel line for transferring the pixel data is always at the same position (y = y0) at the time when the pixel line moves to the next frame (the first 1H time of each frame). Has moved. That is, since the image capturing direction of the image sensor 11 is intentionally panned by the photographer, by setting the first line of the frame constituting the region 21 according to the panning to the same position, an image that does not feel uncomfortable It becomes possible to correct to.

＜手振れに対する補正動作とパンに対する補正動作を合成した動作＞
すなわち、図７乃至図９を参照して説明したイメージセンサ１１の動きは、パンではなく完全な手振れの場合の動作を示したものであり、図１０乃至図１２を参照して説明したイメージセンサ１１の動きは、手振れではなく完全なパンの場合の動作を示したものである。 <Operation combining camera shake correction operation and pan correction operation>
That is, the movement of the image sensor 11 described with reference to FIGS. 7 to 9 shows the operation in the case of complete camera shake instead of panning. The image sensor described with reference to FIGS. The movement of 11 shows an operation in the case of complete panning instead of hand movement.

しかしながら、パンと手振れは、いずれかのみといったことは少なく、それらが混じった状態が一般的である。そこで、本技術における補正は、図８および図９、並びに図１１および図１２を参照して説明した、手振れに対する補正動作とパンに対する補正動作とを組み合わせた動作とされる。 However, pan and hand shake are rarely only one, and they are generally mixed. Therefore, the correction in the present technology is an operation that combines the correction operation for camera shake and the correction operation for pan described with reference to FIGS. 8 and 9 and FIGS. 11 and 12.

より具体的には、例えば、図１３で示されるように、図８および図１１を参照して説明した動作を組み合わせた動作、または、図１４で示されるように、図９および図１２を参照して説明した動作を組み合わせた動作がなされる。 More specifically, for example, as shown in FIG. 13, an operation combining the operations described with reference to FIGS. 8 and 11, or as shown in FIG. 14, see FIGS. 9 and 12. An operation combining the operations described above is performed.

すなわち、図１３においては、第２フレームである２Ｆｒａｍｅの読み出しが開始される時刻１Ｈ＠２Ｆｒａｍｅにおいて、手振れを補正するための１Ｆｒａｍｅにおける1080ライン目の位置から1080ライン分上の位置と、パンを補正するためのｙ＝ｙ０の位置とから、"パンとブレとの割合"であるパン：ブレ＝Ｐ：Ｂにより案分された位置に、読み出し開始位置が補正されている。 That is, in FIG. 13, at the time 1H @ 2Frame at which the reading of the 2nd frame, which is the second frame, is started, the position of the 1080th line from the position of the 1st frame for correcting the camera shake and the pan are corrected. The read start position is corrected from the position of y = y0 for the purpose to the position allocated by pan: blur = P: B, which is “the ratio of pan to blur”.

同様に、図１４においては、第２フレームである２Ｆｒａｍｅの読み出しが開始される時刻１Ｈ＠２Ｆｒａｍｅにおいて、手振れを補正するための１Ｆｒａｍｅにおける１０８０ライン目の位置から１０８０ライン分上の位置と、パンを補正するためのｙ＝ｙ０の位置とから、"パンとブレとの割合"であるパン：ブレ＝Ｐ：Ｂにより案分された位置に、読み出し開始位置が補正されている。 Similarly, in FIG. 14, at the time 1H @ 2Frame at which the reading of the 2nd frame, which is the second frame, is started, the position of 1080 lines from the position of the 1080th line in the 1st frame for correcting camera shake and panning The read start position is corrected from the position y = y0 for correction to the position allocated by pan: blur = P: B, which is “the ratio of pan to blur”.

この"パンとブレの割合"は、既存の技術（制御方法）により取得することができる。例えば、過去のイメージセンサ１１の撮像方向と比較し、大きく変化が生じている場合、撮像者の意図した動き、すなわちパンであるものとして、処理し、パンの割合を大きくする。逆に、過去のイメージセンサ１１の撮像方向と比較し、大きな変化がない場合、撮像者の意図しない動き（手振れにより生じるブレ）であるものとみなし、ブレの割合を大きくする。 This “bread and blur ratio” can be obtained by an existing technique (control method). For example, when there is a large change compared to the imaging direction of the past image sensor 11, processing is performed on the assumption that the photographer intended movement, that is, panning, and the panning ratio is increased. On the contrary, if there is no significant change compared to the past imaging direction of the image sensor 11, it is considered that the movement is not intended by the photographer (blur caused by camera shake), and the blur rate is increased.

また、他の"パンとブレの割合"の制御方法として、イメージセンサ１１の現在のフレームの読み出し位置が、イメージセンサ１１の端部に近づいた場合、次のフレームで読み出そうとする位置がイメージセンサ１１の領域をはみ出してしまう可能性があるので、パンの割合を大きくする。このようにパンの割合を大きくすれば、強制的にｙ＝ｙ０から１０８０ライン分が読み出されるような位置にすることが可能となる。逆に、イメージセンサの中央部分を読み出している場合は、ブレの割合を大きくする。このような動作により、より精度よく手振れにより生じたブレを補正することが可能となる。 As another method for controlling the “pan / blur ratio”, when the reading position of the current frame of the image sensor 11 approaches the end of the image sensor 11, the position to be read out in the next frame is determined. Since there is a possibility that the area of the image sensor 11 may protrude, the ratio of bread is increased. By increasing the pan ratio in this way, it is possible to force the position to read 1080 lines from y = y0. Conversely, when the central portion of the image sensor is read, the blur ratio is increased. By such an operation, it is possible to correct blur caused by camera shake more accurately.

＜ライン毎に異なる露光時間を設定することで手振れを補正する＞
手振れが含まれるような動画の撮像に対して、手振れをキャンセルするために、画素を２つのグループに分け、一方のグループの画素に対しては通常の露光時間とし、他方のグループの画素に対しては、ブレ量に応じて露光時間を変化させ、得られた画素データを合成することで、手振れを補正する。 <Correcting camera shake by setting a different exposure time for each line>
In order to cancel camera shake when shooting moving images that include camera shake, the pixels are divided into two groups, one group of pixels has a normal exposure time, and the other group of pixels Thus, the camera shake is corrected by changing the exposure time in accordance with the amount of blur and combining the obtained pixel data.

以降においては、偶数ラインに属する画素を一方のグループとし、奇数ラインに属する画素を他方のグループとして説明を進めるものとする。ただし、ラインの分け方は偶数と奇数に限定するわけではなく、それ以外の分け方でもよく、例えば、水平方向のラインのみならず、垂直方向の列単位でグループ分けしてもよいし、ラスタスキャン方向に対して１行おきに異なるグループに設定するようにしてもよい。 In the following description, it is assumed that the pixels belonging to the even lines are set as one group and the pixels belonging to the odd lines are set as the other group. However, the way of dividing the line is not limited to even and odd numbers, and other methods may be used. For example, the lines may be grouped not only in the horizontal direction but also in the vertical unit, or raster. Different groups may be set every other line in the scanning direction.

また、ブレ量については、例えば、イメージセンサ１１を含む撮像装置に組み込まれたジャイロセンサ（図示省略）のデータを使うようにしてもよいし、後述するように画像解析により各画素の動きを検出することで、次のフレームにおいて、リセットから読み出しまでの露光時間内における各画素のブレ量を予測するようにしてもよい。 As for the amount of blur, for example, data of a gyro sensor (not shown) incorporated in an imaging device including the image sensor 11 may be used, and the movement of each pixel is detected by image analysis as will be described later. Thus, in the next frame, the blur amount of each pixel within the exposure time from reset to readout may be predicted.

ここで、ブレ量とは、露光時間内において、イメージセンサに投影される静止被写体に属する画素が、手振れにより何画素分移動するかを示す量である。なお、ジャイロセンサとは、角速度センサとも称される。 Here, the blur amount is an amount indicating how many pixels the pixels belonging to the stationary subject projected on the image sensor move within the exposure time due to camera shake. The gyro sensor is also called an angular velocity sensor.

より詳細には、このブレ量が２画素未満である場合には、偶数ライン（正確には、偶数ラインに属する画素）も奇数ライン（正確には、奇数ラインに属する画素）も、適正露光時間となるように、露光開始時刻からのリセットのタイミングが調整される。 More specifically, when the amount of blur is less than two pixels, both the even line (exactly, the pixel belonging to the even line) and the odd line (exactly, the pixel belonging to the odd line) have appropriate exposure times. Thus, the reset timing from the exposure start time is adjusted.

すなわち、図１５で示されるように、各ラインは、読み出し時刻よりも適正露光時間だけ過去の時間にリセットされる。より詳細には、偶数ラインの各画素は、実線Ｌ２００で示されるように、図中の上部の画素から順次読み出されると共に、読み出された直後のタイミングである点線Ｌ２０１で示されるタイミングでリセットがなされる。そして、リセットがなされたタイミングから１／６０秒、すなわち、通常の露光時間が経過した、実線で示される直線Ｌ２０２におけるタイミングで読み出される。 That is, as shown in FIG. 15, each line is reset to a past time by an appropriate exposure time from the readout time. More specifically, each pixel in the even line is sequentially read from the upper pixel in the drawing as indicated by a solid line L200, and reset at a timing indicated by a dotted line L201, which is a timing immediately after the readout. Made. Then, it is read out at a timing on a straight line L202 indicated by a solid line, which is 1/60 second from the timing when the reset is performed, that is, a normal exposure time has elapsed.

すなわち、この場合、従来と同様の読み出しにより、従来と同様の画像が生成されるが、ブレ量は２画素未満という僅かな量である場合のみであるので手振れの影響は極僅かであるので、補正がなくても実質的に視聴に影響しない。 That is, in this case, an image similar to the conventional image is generated by the same reading as the conventional image, but since the blur amount is only a small amount of less than 2 pixels, the influence of camera shake is negligible. Even if there is no correction, it does not substantially affect viewing.

一方、このブレ量が２画素以上であって、かつ、４画素未満である場合、図１６で示されるように、偶数ラインは適正露光となるように、直前の読み出しタイミングとなる実線で示される直線Ｌ２１０の直後のタイミングとなる直線Ｌ２１１におけるタイミングで、図中の上から順次リセットされ、それぞれのライン上の画素において適切な露光時間が経過した後、読み出される。すなわち、偶数ライン上の画素は、リセットから通常の露光時間が経過した後、読み出されるように撮像がなされる。 On the other hand, when the blur amount is 2 pixels or more and less than 4 pixels, as shown in FIG. 16, the even line is indicated by a solid line which is the immediately preceding readout timing so as to achieve proper exposure. At the timing of the straight line L211 which is the timing immediately after the straight line L210, the pixels are sequentially reset from the top in the drawing, and are read after an appropriate exposure time has elapsed in the pixels on each line. That is, the pixels on the even lines are imaged so that they are read after the normal exposure time has elapsed since the reset.

また、図１６で示されるように、奇数ラインについては、直線Ｌ２１１で示される、偶数ラインの"直前の読み出し時刻"の直後にリセットがなされると、適正露光時間の略半分の時間が経過する直線Ｌ２１２で表されるタイミングにおいて、１回目の読み出し時刻とされる。さらに、１回目の読み出しがなされた直後の、点線Ｌ２１３で示されるタイミングにリセットがなされると、再び、適正露光時間の略半分の時間が経過する、実線Ｌ２１４で示されるタイミングで、２回目の読み出しがなされる。すなわち、奇数ラインの画素については、適正露光時間内で、リセットと読み出しがそれぞれ略等間隔で２回実行される。 Also, as shown in FIG. 16, when the odd line is reset immediately after the “immediate read time” of the even line, indicated by the straight line L <b> 211, approximately half of the appropriate exposure time has elapsed. At the timing represented by the straight line L212, the first read time is set. Further, when reset is made at the timing indicated by the dotted line L213 immediately after the first reading, the second time is again indicated at the timing indicated by the solid line L214, at which about half of the appropriate exposure time has elapsed. Reading is performed. That is, for the pixels on the odd lines, reset and readout are executed twice at substantially equal intervals within the appropriate exposure time.

このように撮像されると、このフレーム内の偶数ラインの画素からなる画像については、従来と同様の露光時間でリセットと読み出しが行われるので、従来と同様の画像が生成される。つまり、ブレ量が２画素乃至４画素程度のブレた画像が撮像される。 When the image is captured in this manner, an image composed of even-numbered pixels in this frame is reset and read out with the same exposure time as the conventional one, so that the same image as the conventional one is generated. That is, a blurred image with a blur amount of about 2 to 4 pixels is captured.

一方、奇数ラインの画素からなる画像については、適正露光時間（従来の露光時間）の半分の時間しか露光していないので、ブレ量も半分となり、１画素乃至２画素程度のブレしかない画像となる。ただし、奇数ラインの画素からなる画像は、露光時間が半分であり、２倍にゲインアップする必要があるが、これによりノイズも２倍となるため、多少ノイズのある画像となる。 On the other hand, an image composed of pixels of odd lines is exposed for only half of the appropriate exposure time (conventional exposure time), so the amount of blurring is also halved and the image has only one or two pixels of blurring. Become. However, an image composed of pixels of odd lines has half the exposure time and needs to be increased by a factor of two. However, this also doubles the noise, resulting in a somewhat noisy image.

この結果、偶数ラインの画素からなるブレのある画像と、奇数ラインの画素からなるノイズはあるがブレのない画像（奇数ライン）とが合成されることで、ある程度ブレを抑え、かつ、ある程度ノイズを抑えた画像を生成することが可能となる。 As a result, a blurred image consisting of even-line pixels and an image consisting of pixels consisting of odd-numbered pixels but no noise (odd lines) are combined to reduce blurring to some extent and to some degree noise. It is possible to generate an image in which the image is suppressed.

さらに、ブレ量が４画素以上である場合、図１７で示されるように、偶数ラインの画素は、適正露光となるように、実線Ｌ２３０で示される直線の読み出しタイミングの直後の、点線Ｌ２３１で示されるタイミングでリセットがなされると、適正露光時間が経過する、実線Ｌ２３８で示されるタイミングで、偶数ラインに属する画素の画素データが読み出される。 Further, when the amount of blur is 4 pixels or more, as shown in FIG. 17, even-line pixels are indicated by a dotted line L231 immediately after the straight line readout timing indicated by the solid line L230 so as to achieve proper exposure. If the reset is performed at the timing, the pixel data of the pixels belonging to the even lines are read out at the timing indicated by the solid line L238 when the appropriate exposure time elapses.

一方、奇数ラインの画素については、ブレ量が２画素乃至４画素である場合と同様の手法で、適正露光時間にリセットと読み出しがそれぞれ略等間隔で４回実行される。すなわち、奇数ラインに属する画素については、直線Ｌ２３１で示される、偶数ラインの"直前の読み出し時刻"の直後にリセットがなされると、適正露光時間の略１／４の時間が経過する実線Ｌ２３２で表されるタイミングにおいて、１回目の読み出し時刻とされる。さらに、１回目の読み出しがなされた直後の、点線Ｌ２３３で示されるタイミングにリセットがなされると、再び、適正露光時間の略１／４の時間が経過する、実線Ｌ２３４で示されるタイミングで、２回目の読み出しがなされる。以下、同様に、２回目の読み出しが成された直後の点線Ｌ２３５のタイミングにリセットがなされると、適正露光時間の略１／４の時間が経過する実線Ｌ２３６で表されるタイミングにおいて、３回目の読み出し時刻とされる。さらに、３回目の読み出しがなされた直後の、点線Ｌ２３７で示されるタイミングにリセットがなされると、再び、適正露光時間の略１／４の時間が経過する、実線Ｌ２３８で示されるタイミングで、４回目の読み出しがなされる。 On the other hand, for pixels on odd lines, reset and readout are executed four times at substantially equal intervals during the appropriate exposure time in the same manner as when the amount of blur is 2 to 4 pixels. That is, for pixels belonging to the odd lines, when reset is performed immediately after the “immediate readout time” of the even lines, indicated by the straight line L231, a solid line L232 in which approximately 1/4 of the appropriate exposure time has elapsed. At the represented timing, it is the first read time. Further, when the reset is performed at the timing indicated by the dotted line L233 immediately after the first reading, the time indicated by the solid line L234 at which about 1/4 of the appropriate exposure time elapses again. A second read is performed. Similarly, when reset is performed at the timing of the dotted line L235 immediately after the second reading is performed, the third time at the timing indicated by the solid line L236 at which approximately 1/4 of the appropriate exposure time has elapsed. Read time. Further, when the reset is performed at the timing indicated by the dotted line L237 immediately after the third reading, the timing indicated by the solid line L238 at which about 1/4 of the appropriate exposure time has elapsed again becomes 4 A second read is performed.

従って、偶数ラインの画素については、従来と同様にリセットがされた後、適正露光時間が経過した後、画素データが読み出されるので、従来と同様の画像、すなわち、ブレ量が４画素程度のブレた画像が撮像される。一方、奇数ラインの画素については、従来の露光時間である適正露光時間の略１／４ずつの露光時間であるので、ブレ量が１／４程度の、すなわち、ブレ量が１画素程度のブレの画像が撮像されることになる。ただし、露光時間が略１／４であるので、４倍にゲインアップする必要があるが、これによりノイズも４倍となり、多少ノイズのある画像となる。 Accordingly, for pixels on even lines, pixel data is read after the appropriate exposure time has elapsed after resetting as in the conventional case, so that an image similar to the conventional case, that is, a blur amount of about 4 pixels, is read. A captured image is captured. On the other hand, for pixels on odd lines, the exposure time is about 1/4 of the appropriate exposure time that is the conventional exposure time, so the blur amount is about 1/4, that is, the blur amount is about 1 pixel. The image will be picked up. However, since the exposure time is approximately ¼, it is necessary to increase the gain by a factor of 4, but this also increases the noise by a factor of 4, resulting in a somewhat noisy image.

この結果、偶数ラインの画素により撮像されるブレのある画像と、奇数ラインの画素により撮像されるノイズはあるがブレの少ない画像とを合成することで、ブレを抑え、かつ、ノイズを抑えた画像を生成することが可能となる。 As a result, blurring is suppressed and noise is suppressed by combining a blurry image captured by even-line pixels and an image with noise but less blur captured by odd-line pixels. An image can be generated.

尚、以降においては、図１５を参照して説明したように偶数ラインの画素、および奇数ラインの画素がいずれも適正露光時間だけ露光されて読み出される処理を、等倍読み出し処理と称するものとする。また、図１６を参照して説明した偶数ラインの画素により適正露光時間だけ露光されるのに対して、奇数ラインの画素が、適正露光時間に対して略半分の露光時間で２回リセットと読み出しを繰り返す処理を、奇数ラインの偶数ラインに対する２倍読み出し処理と称するものとする。さらに、図１７を参照して説明した偶数ラインの画素により適正露光時間だけ露光されるのに対して、奇数ラインの画素が、適正露光時間に対して略１／４の露光時間で４回リセットと読み出しを繰り返す処理を、奇数ラインの偶数ラインに対する４倍読み出し処理と称するものとする。 In the following, as described with reference to FIG. 15, a process in which even-line pixels and odd-line pixels are both exposed and read for an appropriate exposure time is referred to as an equal magnification read process. . In addition, the pixels of the even lines described with reference to FIG. 16 are exposed for the appropriate exposure time, whereas the pixels of the odd lines are reset and read twice with approximately half the exposure time with respect to the appropriate exposure time. The process of repeating the above will be referred to as a double-reading process for odd lines and even lines. Furthermore, the pixels of the even lines described with reference to FIG. 17 are exposed for the appropriate exposure time, whereas the pixels of the odd lines are reset four times with an exposure time approximately ¼ of the appropriate exposure time. The process of repeating the readout is referred to as a quadruple readout process for even lines of odd lines.

さらに、奇数ラインの画素は、例えば、偶数ラインにおける適正露光時間内であれば、適正露光時間の略１／４よりも短い露光時間に設定して、リセットと読み出しを４回以上繰り返すようにしてもよい。したがって、適正露光時間内に、Ｎ回等間隔でリセットと読み出しが繰り返される処理は、奇数ラインの偶数ラインに対するＮ倍読み出し処理と称されるものとする。 Furthermore, for pixels on odd lines, for example, within an appropriate exposure time on even lines, an exposure time shorter than about 1/4 of the appropriate exposure time is set, and reset and readout are repeated four or more times. Also good. Therefore, processing in which reset and reading are repeated N times at regular intervals within an appropriate exposure time is referred to as N-times reading processing for even lines of odd lines.

しかしながら、例えば、適正露光時間を８分割して、８回のリセットと読み出しをそれぞれ繰り返すようにした場合、例えば、８回読み出すとき、読み出されるフレーム数は、６０×８＝４８０ｆｐｓで読み出すことを意味する。従って、このような高速読み出しがなされると、消費電力が大きくなるので、消費電力の観点からも、リセットと読み出しを繰り返す回数は、ある程度の回数に制限されることになる。 However, for example, when the appropriate exposure time is divided into 8 and 8 resets and readouts are repeated, for example, when reading 8 times, the number of frames to be read means reading at 60 × 8 = 480 fps. To do. Therefore, since such high-speed reading increases power consumption, the number of times reset and reading are repeated is limited to a certain number from the viewpoint of power consumption.

また、上述した奇数ラインの偶数ラインに対する２倍読み出し処理、または、４倍読み出し処理を実行する場合、それぞれのデータの読み出し量は、偶数ラインの画素の読み出し量にける２倍量および４倍量となる。しかしながら、このようにデータ量が多すぎて、転送速度が物理的に限界を超えてしまうような場合、奇数ラインの各画素データの語長を短くしてデータ量を削減するようにしてもよい。 In addition, when the above-described double-reading process or quadruple-reading process is performed on the even-numbered lines of the odd-numbered lines, the read-out amount of each data is doubled and quadrupled in the read-out amount of pixels of the even-numbered lines It becomes. However, if the amount of data is so large that the transfer speed physically exceeds the limit, the word length of each pixel data on the odd lines may be shortened to reduce the amount of data. .

具体的な例としては、偶数ラインの各画素データの語長が１２ビット（値が０．０乃至１．０の間を４０９６分割した刻みで量子化されたデータ）の場合、等倍読み出し処理の場合、奇数ラインの各画素データの語長も１２ビットとする。しかしながら、２倍読み出し処理がなされる場合、奇数ラインの画素データについては、奇数ラインの各画素データの語長は１０ビット（値が０．０乃至１．０の間を１０２４分割した刻みで量子化されたデータ）程度としてもよい。また、４倍読み出し処理がなされる場合、奇数ラインの各画素データの語長は８ビット（値が０．０乃至１．０の間を２５６分割した刻みで量子化されたデータ）程度としてもよい。 As a specific example, when the word length of each pixel data of an even line is 12 bits (data quantized in increments of 4096 divided between 0.0 and 1.0), the same-size read processing In this case, the word length of each pixel data of the odd line is also 12 bits. However, when the double-reading process is performed, for the odd-line pixel data, the word length of each pixel data of the odd-line is 10 bits (quantization in increments of 1024 between 0.0 and 1.0). Data). In addition, when quadruple read processing is performed, the word length of each pixel data of odd lines may be about 8 bits (data quantized in increments of 256 divided between 0.0 and 1.0). Good.

従って、適正露光時間内におけるブレ量が予測され、予測されたブレ量に応じて、奇数ラインのリセットと読み出しの回数Ｎが特定される。そして、特定された回数Ｎに基づいて、Ｎ倍読み出し処理が実行される。この回数Ｎは、ブレ量に依存し、適応的に切り替えられる。そして、偶数ラインに属する画素により撮像されるブレのある画像と、奇数ラインに属する画素により撮像される、ノイズはあるがブレのない画像（奇数ライン）とが合成されることで、ブレとノイズがバランスよく抑制された画像を生成することが可能となる。 Accordingly, the blur amount within the appropriate exposure time is predicted, and the number N of resets and readouts of odd lines is specified according to the predicted blur amount. Then, based on the specified number of times N, the N-times reading process is executed. The number N depends on the amount of blur and can be switched adaptively. Then, the blurring image captured by the pixels belonging to the even lines and the image including the noises but not blurring (odd lines) captured by the pixels belonging to the odd lines are combined to generate blur and noise. Can be generated in a balanced manner.

＜イメージセンサより読み出すタイミングを調整し、フレームメモリを省略する手法＞
ここで、図１８を参照して、ローリングシャッタ現象を抑制して、動画をスタビライズするための従来の手法を説明する。 <Method to adjust the readout timing from the image sensor and omit the frame memory>
Here, a conventional method for stabilizing a moving image while suppressing the rolling shutter phenomenon will be described with reference to FIG.

図８等を参照して説明したように、カメラなどの撮像装置に組み込まれたジャイロセンサ（図示省略）のデータ、または、画像解析により検出される動きのデータを利用することで、次の１Ｈ後の時間において読み出すラインが決定される。そして、例えば、図１８の実線Ｌ２５１（またはＬ２５３）で示されるタイミングで、その決定されたラインの画素が順次読み出されることで、ローリングシャッタ現象を補正して、動画における被写体をフレーム内でスタビライズしていた。 As described with reference to FIG. 8 and the like, the following 1H can be obtained by using data of a gyro sensor (not shown) incorporated in an imaging device such as a camera or motion data detected by image analysis. The line to be read at a later time is determined. Then, for example, at the timing indicated by the solid line L251 (or L253) in FIG. 18, the pixels of the determined line are sequentially read out to correct the rolling shutter phenomenon and stabilize the subject in the moving image within the frame. It was.

このような処理を実現させるべく、従来においては、1080ラインよりも多めのラインの画素データが読み出され、一旦、フレームメモリに格納された後、太い実線Ｌ２５２（またはＬ２５４）で示されるタイミングでフレームメモリから格納された画素データが読み出されていた。尚、この太い実線Ｌ２５２，Ｌ２５４は、ローリングシャッタ現象を補正して、動画をスタビライズするために読み出すべきラインの画素を読み出すタイミングを示している。 In order to realize such processing, conventionally, pixel data of a line larger than 1080 lines is read out, temporarily stored in the frame memory, and then at a timing indicated by a thick solid line L252 (or L254). Pixel data stored from the frame memory has been read out. The thick solid lines L252 and L254 indicate the timing for reading out pixels on a line to be read in order to correct a rolling shutter phenomenon and stabilize a moving image.

一方、本技術においては、カメラなどの撮像装置に組み込まれたジャイロセンサ（図示省略）のデータ、または、後述するように画像解析により検出される動きのデータを利用することで、次の１Ｈ後の時間において読み出すラインが決定される。そして、読み出しが決定されたラインの画素データが、イメージセンサから読み出される。 On the other hand, in the present technology, by using data of a gyro sensor (not shown) incorporated in an imaging apparatus such as a camera or movement data detected by image analysis as described later, The line to be read is determined at the time. Then, the pixel data of the line determined to be read is read from the image sensor.

または、現在画素データが読み出されたラインの画素に対して、次のラインが読み出されるまでの時間が計算され、その時間が来るまで、次のラインが読み出されない。 Alternatively, the time until the next line is read out is calculated for the pixels in the line from which the current pixel data is read out, and the next line is not read out until that time comes.

このように、イメージセンサの動き（正確には、次の１Ｈ時間内におけるイメージセンサに投影される静止被写体の手振れによる動き）に基づき、読み出すラインが決定される、または、読み出すタイミングが変えられることで、ローリングシャッタ現象が補正されて、動画がスタビライズされている。 As described above, the line to be read is determined based on the movement of the image sensor (more precisely, the movement of a stationary subject projected on the image sensor within the next 1H time), or the read timing is changed. Thus, the rolling shutter phenomenon is corrected and the moving image is stabilized.

換言すれば、イメージセンサ１１の各画素（受光素子のキャパシタ）が、フレームメモリの代用をしている。すなわち、従来、フレームメモリで画素データを読み出すタイミング調整をしていたのに対し、本技術においてはイメージセンサ１１の各画素（受光素子のキャパシタ）が画素データを読み出すタイミングを調整している。 In other words, each pixel (capacitor of the light receiving element) of the image sensor 11 substitutes for the frame memory. That is, while the timing of reading pixel data is conventionally adjusted by the frame memory, in the present technology, the timing of reading the pixel data by each pixel (capacitor of the light receiving element) of the image sensor 11 is adjusted.

より詳細には、図１９で示されるように、実線Ｌ２７１で画素データが順次読み出されると、その直後の点線Ｌ２７２で示されるタイミングにおいて、リセットがなされる。さらに、リセットがなされると、実線Ｌ２７３で示されるタイミングで、次のフレームの画素データが読み出される。さらに、その直後である、点線Ｌ２７４のタイミングにおいて、リセットがなされる。 More specifically, as shown in FIG. 19, when the pixel data is sequentially read by the solid line L271, the reset is performed at the timing indicated by the dotted line L272 immediately after that. Further, when the reset is performed, the pixel data of the next frame is read at the timing indicated by the solid line L273. Further, the reset is performed immediately after that at the timing of the dotted line L274.

このような処理により、イメージセンサ１１の各画素がフレームメモリの役目を果たしており、このため、フレームメモリを利用する必要がなくなり、結果としてコストを低減することが可能となる。 By such processing, each pixel of the image sensor 11 serves as a frame memory. Therefore, it is not necessary to use the frame memory, and as a result, the cost can be reduced.

尚、例えば、ｙ＝ｙ１のライン、および、ｙ＝ｙ２のラインでは、図１９で示されるように、露光時間（図中の矢印の長さ）が異なる。そこで、後述するように、各ラインのリセットの時間と読み出し時間の差に逆比例する係数を乗じることで、各ラインの画素データのゲインを調整するという補正が必要となる。 For example, the exposure time (the length of the arrow in the figure) differs between the line y = y1 and the line y = y2, as shown in FIG. Therefore, as will be described later, it is necessary to perform correction by adjusting the gain of the pixel data of each line by multiplying a coefficient that is inversely proportional to the difference between the reset time and the readout time of each line.

＜手振れとパンに対する補正動作を合成した動作と、フレームメモリを省略する手法を併用する際の注意点＞
次に、ブレとパンに対する補正動作を合成した動作と、フレームメモリを省略する手法を併用する際の注意点について説明する。 <Points to note when combining the motion compensation and panning motion and the method of omitting the frame memory>
Next, a description will be given of points to be noted when combining the operation of combining the correction operation for blurring and panning with the technique of omitting the frame memory.

図１６では、偶数ラインの読み出しタイミングは直線的（時間軸に対するｙ軸の位置が比例関係）であるとして説明していた。 In FIG. 16, it has been described that the even-line read timing is linear (the y-axis position is proportional to the time axis).

しかしながら、フレームメモリを利用しない構成とした場合、図２０の実線Ｌ３０１乃至Ｌ３０３で示されるように、一般的には、偶数ラインの読み出し時刻は曲線状に変化する。従って、奇数ラインの画素について、偶数ラインの適正露光時間に対して、例えば、２倍読み出しの場合、適正露光時間の略半分の時間間隔で２回のリセットと読み出しが実行される。そこで、２倍読み出し処理については、偶数ラインの画素の直前の読み出し時刻と今回の読み出し時刻とを２分割し、その２分割される時間間隔で、リセットと読み出しを実行することにより、偶数ラインの読み出し回数に対して、２倍である２回のリセットと読み出しを奇数ラインにおいて実行するものと考える。 However, in the case where the frame memory is not used, as shown by solid lines L301 to L303 in FIG. 20, in general, the read time of even lines changes in a curved line. Therefore, for the pixels on the odd lines, for example, in the case of double reading with respect to the appropriate exposure time for the even lines, reset and read are executed twice at approximately half the time interval of the proper exposure time. Therefore, in the double readout process, the readout time immediately before the pixels of the even line and the current readout time are divided into two, and the reset and readout are executed at the time interval divided into two, so that It is assumed that two resets and readings, which are twice the number of readings, are performed on odd lines.

このように考えた場合、２倍読み出し処理のとき図２１で示されるように、奇数ラインの読み出し時刻は、曲線である偶数ラインの前後する読み出し時刻を２分割することで求められる。例えば、図２１で示されるように、奇数ラインであるｙ＝ｙ３のラインに属する画素であって、時刻ｔ２の画素Ｐ１の場合、その前後のタイミングにおける偶数ラインの読み出し時刻は、実線Ｌ３２３，Ｌ３２５のそれぞれにおける画素Ｐ１に対応する時刻ｔ０と時刻ｔ１であるものとする。この場合、奇数ラインであるｙ＝ｙ３のライン上の画素Ｐ１は、これら２つの時刻ｔ０，ｔ１の中間点である時刻ｔ２で読み出せばよい。 When considered in this way, as shown in FIG. 21 in the double readout process, the readout time of the odd lines is obtained by dividing the readout time before and after the even lines which are curves. For example, as shown in FIG. 21, in the case of a pixel P1 at time t2 that is a pixel belonging to an odd-numbered line y = y3, the readout time of the even-numbered line at the timing before and after that is the solid lines L323 and L325. It is assumed that time t0 and time t1 correspond to the pixel P1 in each of the above. In this case, the pixel P1 on the y = y3 line which is an odd line may be read out at the time t2 which is an intermediate point between these two times t0 and t1.

しかしながら、時刻ｔ２において、偶数ラインの読み出し時刻ｔ１は、未定であり、画素Ｐ１に対応する偶数ライン上の画素の読み出し時刻ｔ１を利用して時刻ｔ２を特定することはできない。すなわち、未来の手振れによるイメージセンサの動きは予測できないので、未来の偶数ラインの読み出し時刻ｔ１を特定できず、結果として、奇数ラインであるｙ＝ｙ３のライン上の画素Ｐ１の読み出し時刻ｔ２を特定することはできない。 However, at time t2, the read time t1 of the even line is undetermined, and the time t2 cannot be specified using the read time t1 of the pixel on the even line corresponding to the pixel P1. That is, since the motion of the image sensor due to future camera shake cannot be predicted, the read time t1 of the future even line cannot be specified, and as a result, the read time t2 of the pixel P1 on the y = y3 line which is an odd line is specified. I can't do it.

尚、図２１においては、実線Ｌ３２１，Ｌ３２３，Ｌ３２５が、偶数ラインおよび奇数ラインに属する画素データの読み出し時刻を表しており、実線Ｌ３２２，Ｌ３２４が奇数ラインに属する画素データの読み出し時刻を表している。図２１においては、実線Ｌ３２１，Ｌ３２３，Ｌ３２５のそれぞれの間隔の２等分した位置に、実線Ｌ３２２，Ｌ３２４が配置されている。 In FIG. 21, solid lines L321, L323, and L325 represent pixel data readout times belonging to even lines and odd lines, and solid lines L322 and L324 represent readout times of pixel data belonging to odd lines. . In FIG. 21, solid lines L322 and L324 are arranged at positions that bisect the intervals between the solid lines L321, L323, and L325.

以上のことから、奇数ラインの画素データの読み出し時刻については、直前の偶数ラインの画素データの読み出し時刻に基づいて近似により求める。 From the above, the readout time of the pixel data of the odd line is obtained by approximation based on the readout time of the pixel data of the immediately previous even line.

より詳細には、図２１を参照した説明においては時間方向に２分割することで奇数ラインの画素データの読み出し時刻求めていたが、未来の偶数ラインにおける読み出し時刻を特定することができないので、空間方向に２分割する近似により、奇数ラインにおける読み出し時刻を求める。 More specifically, in the description with reference to FIG. 21, the pixel data read time of the odd lines is obtained by dividing into two in the time direction. However, since the read time of the future even lines cannot be specified, the space The readout time in the odd-numbered line is obtained by approximation divided into two in the direction.

すなわち、例えば、図２２で示されるように、時刻ｔ３であるとき、実線Ｌ３４２におけるｙ＝ｙ４までの偶数ラインの画素データが読み出されている。したがって、時刻ｔ３以降は、未来であり、時刻ｔ３の時点では未定である。このとき、時刻ｔ３を含む、現在のフレームの偶数ラインの読み出し時刻に対して、１だけ過去のフレームから現在のフレームの読み出し時刻を示す実線Ｌ３４１を延長する点線Ｌ３５１を考える。 That is, for example, as shown in FIG. 22, at time t3, pixel data of even lines up to y = y4 in the solid line L342 is read. Therefore, the time after time t3 is the future, and is undecided at time t3. At this time, consider a dotted line L351 that extends a solid line L341 indicating the read time of the current frame from the past frame by one with respect to the read time of the even lines of the current frame including the time t3.

すなわち、この点線Ｌ３５１は、１つ過去のフレームの偶数ラインの画素データの読み出し時刻を示す実線Ｌ３４１の仮想的な延長線である。したがって、現在のフレームの偶数ラインの画素データの読み出し時刻ｔ３に対応するライン（ｙ＝ｙ４）と、１つ過去のフレームの偶数ラインの画素データの読み出し時刻の仮想的な延長線の時刻ｔ３に対応するライン（ｙ＝ｙ５）との中間地点となる図中の黒四角で示される画素Ｐ２１のライン（ｙ＝（ｙ４＋ｙ５）／２）を、時刻ｔ３における奇数ラインの読み出す画素データのラインとして近似する。 That is, this dotted line L351 is a virtual extension of the solid line L341 indicating the readout time of the pixel data of the even-numbered lines of the previous frame. Therefore, the line (y = y4) corresponding to the pixel data read time t3 of the even line of the current frame and the virtual extension line time t3 of the pixel data read time of the even line of the previous frame are used. Approximate the line (y = (y4 + y5) / 2) of the pixel P21 indicated by the black square in the figure, which is an intermediate point with the corresponding line (y = y5), as the pixel data line to be read out of the odd line at time t3. To do.

以上の処理により、現在のフレームの偶数ラインの読み出し時刻を表す実線Ｌ３４２よりもｙ軸の正の空間における読み出し時刻を算出することが可能となる。尚、実線Ｌ３４１，Ｌ３４３についても同様である。 With the above processing, it is possible to calculate the reading time in the positive space of the y axis from the solid line L342 representing the reading time of the even-numbered line of the current frame. The same applies to the solid lines L341 and L343.

一方、現在のフレームの偶数ラインの読み出し時刻のよりも上方（ｙ軸の負の方向）についても同様の手法が可能である。 On the other hand, the same method can be used above the reading time of the even lines of the current frame (in the negative direction of the y-axis).

すなわち、図２３に示すように、現在の時刻が時刻ｔ４である場合、偶数ラインの画素データの読み出し時刻を示す実線Ｌ３４２上の時刻ｔ４までのラインの画素データが読み出されているが、時刻ｔ４以降については、未来であり、時刻ｔ４においては未定である。 That is, as shown in FIG. 23, when the current time is the time t4, the pixel data of the line up to the time t4 on the solid line L342 indicating the read time of the pixel data of the even line is read. The period after t4 is the future, and is undecided at time t4.

ここで、時刻ｔ４を含む、現在のフレームの偶数ラインの画素データの読み出し時刻に対して、現在のフレームから１つ未来のフレームの読み出し時刻を示す実線Ｌ３４２に対して、未来のフレームの最上位のラインへの移動量（図２３の上向き点線矢印）だけ加算した点線Ｌ３７１を考える。 Here, with respect to the read time of the pixel data of the even-numbered line of the current frame including the time t4, the highest level of the future frame with respect to the solid line L342 indicating the read time of one future frame from the current frame Consider a dotted line L371 obtained by adding the amount of movement to the line (upward dotted arrow in FIG. 23).

この点線Ｌ３７１を求めることができれば、現在までの偶数ラインＬ３４２を合わせて利用することで、奇数ラインの画素データを読み出す時刻を求めることができる。しかしながら、時刻ｔ４においては、図２３の上向き点線矢印は未来の事象であり、その大きさは未知の値である。従って、現在のフレームの偶数ラインの読み出し時刻の実線Ｌ３４２よりもｙ軸の正の方向のラインにおける読み出し時刻と同様にして求めることはできない。 If the dotted line L371 can be obtained, the time for reading out the pixel data of the odd line can be obtained by using the even line L342 up to the present. However, at time t4, the upward dotted arrow in FIG. 23 is a future event, and its magnitude is an unknown value. Therefore, it cannot be obtained in the same manner as the reading time of the line in the positive direction of the y axis from the solid line L342 of the reading time of the even line of the current frame.

そこで、現在のフレームの始まる時刻において、次のフレーム（１つ未来のフレーム）における"パンとブレの割合"を現在の偶数ラインにおける画素データの読み出し時刻を表す実線Ｌ３４２に加算し、点線Ｌ３７１を求める。 Therefore, at the start time of the current frame, the “pan and blur ratio” in the next frame (one future frame) is added to the solid line L342 representing the pixel data read time in the current even line, and a dotted line L371 is added. Ask.

尚、この"パンとブレの割合"は、外部より供給される情報であり、従来からある既知の技術（制御方法）をもって取得することができる値であるので、その説明は、簡単なものとする。 Note that the “ratio of panning and blurring” is information supplied from the outside and is a value that can be obtained by a known technique (control method) in the past, so that the description thereof is simple. To do.

すなわち、例えば、過去のイメージセンサの動きと極端に違う場合は、撮像者の意図した動き（つまりパン）であるとして、パンの割合を大きくし、逆に、過去のイメージセンサの動きと似たような動きである場合は、撮像者の意図しない動き（手振れ）であるとして、ブレの割合を大きくする。 That is, for example, if the movement of the image sensor is extremely different from the past movement of the image sensor, it is assumed that the movement is intended by the photographer (that is, panning). In the case of such a movement, it is assumed that the movement is not intended by the photographer (camera shake), and the blur rate is increased.

また、"パンとブレの割合"の他の制御の方法としては、イメージセンサの現在のフレームの読み出し位置が、イメージセンサ１１の端部に近づいた場合、次のフレームで読み出そうとする位置がイメージセンサ１１の領域をはみ出してしまう可能性があるので、パンの割合を大きくする。このようにパンの割合を大きくすれば、強制的にｙ＝ｙ０から1080ライン分が読み出されるような位置にすることが可能となる。逆に、イメージセンサの中央部分を読み出している場合、ブレの割合を大きくする。 Further, as another control method of the “ratio of panning and blurring”, when the reading position of the current frame of the image sensor approaches the end of the image sensor 11, the position to be read in the next frame However, there is a possibility that the area of the image sensor 11 will be protruded, so the ratio of panning is increased. By increasing the pan ratio in this way, it is possible to force the position to read 1080 lines from y = y0. Conversely, when the central portion of the image sensor is being read, the blur ratio is increased.

一方、図２４で示されるように、イメージセンサの動きはパンであると仮定したときの、１つ未来のフレームの偶数ラインの読み出し時刻を表す一点鎖線Ｌ３９１を求める。また、図２４で示されるように、イメージセンサの動きはブレであると仮定したときの、１つ未来のフレームの偶数ラインの読み出し時刻を表す二点鎖線Ｌ３９２を求める。 On the other hand, as shown in FIG. 24, when it is assumed that the movement of the image sensor is panning, a one-dot chain line L391 representing the readout time of the even-numbered line of one future frame is obtained. Also, as shown in FIG. 24, a two-dot chain line L392 representing the readout time of the even-numbered line of one future frame when the motion of the image sensor is assumed to be blurred is obtained.

すなわち、イメージセンサの動きが完全にパンである場合、図１１および図１２を参照して説明したように、現在のフレームの読み出す時刻を表す点線Ｌ３７１にかかわらず、１つ未来のフレームの始まりの時刻においては、ｙ＝ｙ０のラインを読み出す。そこで、現在のフレームの始まりの時刻においてｙ＝ｙ０−１０８０であり、現在のフレームの最後の時刻（つまり、１つ未来のフレームの始まりの時刻）においてｙ＝ｙ０である一点鎖線Ｌ３９１が求められる。すなわち、一点鎖線Ｌ３９１は、イメージセンサの動きがパンであると仮定したときの、１つ未来のフレームの偶数ラインの読み出し時刻の仮想的な延長線である。 That is, when the movement of the image sensor is completely pan, as described with reference to FIG. 11 and FIG. 12, the start of one future frame, regardless of the dotted line L371 indicating the reading time of the current frame. At time, the line y = y0 is read. Therefore, a one-dot chain line L391 in which y = y0-1080 at the start time of the current frame and y = y0 at the last time of the current frame (that is, the start time of one future frame) is obtained. . That is, the alternate long and short dash line L391 is a virtual extension line of the readout time of the even-numbered line of one future frame when it is assumed that the movement of the image sensor is pan.

また、イメージセンサの動きが完全に手振れによるブレである場合、図８および図９を参照して説明したように、現在のフレームの読み出し曲線の最後に対して１０８０ライン上のラインが、１つ未来のフレームの始まりのラインとなる。そこで、現在のフレームの偶数ラインの読み出し時刻を表す点線Ｌ３７１よりも常に１０８０ラインだけ上のラインを表す二点鎖線Ｌ３９２が求められる。すなわち、二点鎖線Ｌ３９２は、イメージセンサの動きは手振れによるブレであると仮定したときの、１つ未来のフレームの偶数ラインの読み出し時刻の仮想的な延長線である。 In addition, when the movement of the image sensor is completely shake due to camera shake, as described with reference to FIGS. 8 and 9, there is one line on 1080 lines with respect to the end of the readout curve of the current frame. It will be the starting line of the future frame. Therefore, a two-dot chain line L392 that represents a line that is always 1080 lines higher than the dotted line L371 that represents the read time of the even-numbered line in the current frame is obtained. That is, the alternate long and two short dashes line L392 is a virtual extension of the readout time of the even-numbered line of one future frame when it is assumed that the movement of the image sensor is a shake due to camera shake.

この一点鎖線Ｌ３９１と二点鎖線Ｌ３９２とを用いて、求められたパンと手振れの割合を用いて案分することで、１つ未来のフレームの偶数ラインの読み出し時刻の仮想的な延長線である点線Ｌ３７１が求められる。尚、"パンとブレの割合”が、完全にパンである場合、点線３７１は、一点鎖線Ｌ３９１と一致する。逆に、"パンとブレの割合”が、完全に手振れによるブレである場合、点線Ｌ３７１は、二点鎖線Ｌ３９２と一致する。 By using the one-dot chain line L391 and the two-dot chain line L392, and proportionally using the ratio of the obtained pan and camera shake, it is a virtual extension line of the readout time of the even-numbered line of one future frame. A dotted line L371 is obtained. When the “ratio of panning and blurring” is completely panning, the dotted line 371 coincides with the alternate long and short dash line L391. On the contrary, when the “ratio of panning and shaking” is completely shake due to camera shake, the dotted line L371 coincides with the two-dot chain line L392.

このようにして点線Ｌ３７１が求められることにより、例えば、図２５の時刻ｔ４においては、イメージセンサの動きがパンであると仮定したときの、１つ未来のフレームの偶数ラインの読み出し時刻の仮想的な延長線上のラインがｙ＝ｙ６となる画素Ｐ１３が求められる。また、イメージセンサの動きは手振れであると仮定したときの、１つ未来のフレームの偶数ラインの読み出し時刻の仮想的な延長線上のラインがｙ＝ｙ７となる画素Ｐ１１が求められる。このとき、１つ未来のフレームの偶数ラインの読み出し時刻の仮想的な延長線である点線Ｌ３７１上の画素Ｐ１２のラインｙ＝ｙ８が、画素Ｐ１１，Ｐ１３におけるラインｙ＝ｙ６，ｙ７をパンと手振れの割合で案分した画素Ｐ１２のラインｙ＝ｙ８として求められる。 By obtaining the dotted line L371 in this way, for example, at time t4 in FIG. 25, when it is assumed that the movement of the image sensor is pan, the virtual time of reading the even-numbered line of one future frame A pixel P13 whose line on the extended line is y = y6 is obtained. Further, when it is assumed that the movement of the image sensor is a camera shake, a pixel P11 in which the line on the virtual extension line of the read time of the even-numbered line of one future frame is y = y7 is obtained. At this time, the line y = y8 of the pixel P12 on the dotted line L371, which is a virtual extension line of the readout time of the even-numbered line of one future frame, shakes the lines y = y6 and y7 in the pixels P11 and P13. Is obtained as a line y = y8 of the pixel P12 prorated according to the ratio.

このようにして、１つ未来のフレームの偶数ラインの読み出し時刻の仮想的な延長線である点線Ｌ３７１を決定した後、現在のフレームの偶数ラインの読み出し時刻の実線Ｌ３４２よりもｙ軸の負の方向のラインについての手法と同様に算出することができる。すなわち、現在のフレームの偶数ラインの読み出し時刻が時刻ｔ４であるラインｙ＝ｙ９と、１つ未来のフレームの偶数ラインの読み出し時刻の仮想的な延長線の時刻ｔ４に対応するラインｙ＝ｙ８との中間地点となる黒丸で示される画素Ｐ２２のラインｙ＝（ｙ８＋ｙ９）／２が、時刻ｔ４における奇数ラインの画素データの読み出しラインとなる。 In this way, after determining the dotted line L371 that is a virtual extension of the read time of the even-numbered line of one future frame, the negative line of the y-axis is more negative than the solid line L342 of the read-time of the even-numbered line of the current frame. It can be calculated in the same manner as the method for the direction line. That is, the line y = y9 where the reading time of the even line of the current frame is time t4, and the line y = y8 corresponding to the time t4 of the virtual extension line of the reading time of the even line of one future frame, A line y = (y8 + y9) / 2 of the pixel P22 indicated by a black circle which is an intermediate point of the pixel becomes a read line for pixel data of odd lines at time t4.

尚、上記説明では、奇数ラインの読み出し時刻について、偶数ラインの直前の読み出し時刻と今回の読み出し時刻の間を２分割して、２回のリセットと読み出しを行う」場合についての説明であったが、奇数ラインについて、偶数ラインの直前の読み出しと今回の読み出しの間を４分割して、４回のリセットと読み出しを行う４倍読み出し処理の場合についても同様である。 In the above description, regarding the read time of the odd lines, the reset time and read are performed twice by dividing the read time immediately before the even lines and the current read time into two. The same applies to the case of quadruple read processing for the odd line, in which the interval between the read immediately before the even line and the current read is divided into four and the reset and read are performed four times.

＜撮像装置に供給される信号について＞
以降において撮像装置の構成例について説明するにあたり、撮像装置の動作の制御に必要とされるクロックの構成と、撮像装置に入力される信号について説明する。 <Signal supplied to imaging device>
In the following description of the configuration example of the imaging apparatus, the configuration of a clock required for controlling the operation of the imaging apparatus and signals input to the imaging apparatus will be described.

例えば、図１１を参照して説明した場合においては、１／６０秒の間に、１０８０ライン未満の画素データが読み出されることになるが、一方で、図１２を参照して説明した場合においては、１０８０ライン以上の画素データが読み出されている。そこで、どちらの場合にも対応できるように、通常の１／（６０×１０８０）秒で１ライン分の画素データが読み出されるよりも高速に動作させる必要がある。 For example, in the case described with reference to FIG. 11, pixel data of less than 1080 lines is read out in 1/60 seconds, whereas in the case described with reference to FIG. Pixel data of 1080 lines or more is read out. Therefore, in order to be able to cope with either case, it is necessary to operate at a higher speed than reading pixel data for one line in a normal 1 / (60 × 1080) second.

そこで、図２６で示されるように、（６０×１０８０）ＨｚのクロックclockHと共に、それよりも高速なクロックclockHMを発生するクロック信号発生部（図示せず）が設けられている。したがって、撮像装置においては、常時、クロックclockH，clockHMが発生されて、供給されることを前提とする。 Therefore, as shown in FIG. 26, a clock signal generator (not shown) for generating a clock clockHM of a higher speed than the clock clockH of (60 × 1080) Hz is provided. Therefore, in the imaging apparatus, it is assumed that the clocks clockH and clockHM are always generated and supplied.

したがって、例えば、イメージセンサ１１の各画素のリセットや読み出しは、クロックclockHMに同期して実行される。ただし、最終的に、１フレームの画像を作成するに当たって、クロックclockHに同期させる必要がある。尚、図２６においては、Ｈの値は１０８０であり、例えば２０％余裕をもたせるために、HMの値は１０８０×１．２程度としている。 Therefore, for example, reset and readout of each pixel of the image sensor 11 are executed in synchronization with the clock clockHM. However, it is necessary to finally synchronize with the clock clockH in creating an image of one frame. In FIG. 26, the value of H is 1080, and the value of HM is set to about 1080 × 1.2 in order to give a 20% margin, for example.

また、本技術においては、絶対時刻も必要であるので、クロックclockHMに同期して、１ずつインクリメントしていく絶対時刻absoluteTimeというデータもクロック信号発生部により発生されるものとする。 Further, in the present technology, since an absolute time is also required, it is assumed that the clock signal generation unit also generates data called an absolute time absoluteTime that is incremented by one in synchronization with the clock clockHM.

さらに、現在の時刻に対応するライン番号も必要であるので、クロックclockHMに同期して、１ずつインクリメントされていくライン番号curHM（１／６０秒ごとに０にリセットされる）も、図示せぬクロック信号発生部により発生されるものとする。 Further, since the line number corresponding to the current time is also required, the line number curHM incremented by 1 in synchronization with the clock clockHM (reset to 0 every 1/60 seconds) is not shown. It is assumed that the clock signal generator generates the clock signal.

したがって、図２６においては、上からクロックclockH，clockHM、ライン番号curHM、および絶対時刻absoluteTimeが示されている。また、Hは、この例においては、1080であり、MHは、H×1.2であるものとするが、それ以外の値であってもよい。 Therefore, in FIG. 26, the clocks clockH and clockHM, the line number curHM, and the absolute time absoluteTime are shown from the top. In this example, H is 1080 and MH is H × 1.2, but other values may be used.

図２７で示されるように、本技術を適用したイメージセンサを備えた撮像装置１０１には、図２６を参照して説明したクロックclockH，clockHM、ライン番号curHM、および絶対時刻absoluteTimeに加えて、さらに、適正露出時間（単位：秒）の情報が供給される。この適正露出時間（単位：秒）は、例えば、一般的な露出計等（図示せず）より求められるものである。 As shown in FIG. 27, the image pickup apparatus 101 including the image sensor to which the present technology is applied includes a clock clockH, clockHM, a line number curHM, and an absolute time absoluteTime described with reference to FIG. Information on proper exposure time (unit: second) is supplied. The appropriate exposure time (unit: second) is obtained from, for example, a general exposure meter (not shown).

さらに、図２７で示されるように、この撮像装置１０１には、WS×HS個の画素（受光素子）からなる上述したイメージセンサ１１が設けられており、各画素（受光素子）において図示せぬレンズを介して被写体からの光Ｑが入射され、光電変換が行われる。このとき、上述した一連の処理により、撮像装置１０１からは、ローリングシャッタ現象が補正せれ、かつ、ブレが抑制された動画が出力される。 Further, as shown in FIG. 27, the imaging device 101 is provided with the above-described image sensor 11 composed of WS × HS pixels (light receiving elements), which is not shown in each pixel (light receiving element). Light Q from the subject enters through the lens, and photoelectric conversion is performed. At this time, by the series of processes described above, the imaging apparatus 101 outputs a moving image in which the rolling shutter phenomenon is corrected and blurring is suppressed.

＜本技術を適用したイメージセンサを備えた撮像装置の構成例＞
次に、図２８を参照して、上述した本技術を適用したイメージセンサを備えた撮像装置の構成例について説明する。 <Configuration example of an imaging device including an image sensor to which the present technology is applied>
Next, a configuration example of an imaging device including an image sensor to which the above-described present technology is applied will be described with reference to FIG.

撮像装置１０１は、制御部（controller）１２１、タイミング制御部（Reset and Readout Timing block）１２２、垂直制御部（Computing Line Corresponding to Start Time block）１２３、水平制御部（Computing Pixel Corresponding to Start Time block）１２４、イメージセンサ（Image Sensor）１１、パラレルシリアル変換部（Ｐ／Ｓ）１２５、乗算部１２６、フレームメモリ（Frame Memory）１２７、マッチング部（Matching）１２８、動き検出部（Comp Delta MV）１２９、ラインメモリ（Line Memory）１３０、データセットメモリ（Data Set Memory）１３１、および補間部（Interpolation）１３２を備えている。 The imaging apparatus 101 includes a controller 121, a timing controller (Reset and Readout Timing block) 122, a vertical controller (Computing Line Corresponding to Start Time block) 123, and a horizontal controller (Computing Pixel Corresponding to Start Time block). 124, image sensor 11, parallel serial conversion unit (P / S) 125, multiplication unit 126, frame memory 127, matching unit 128, motion detection unit (Comp Delta MV) 129, A line memory 130, a data set memory 131, and an interpolation unit 132 are provided.

制御部１２１は、撮像装置１０１の動作の全体を制御する。より詳細には、制御部１２１は、タイミング制御部１２２、垂直制御部１２３、および水平制御部１２４の動作を制御する。尚、制御部１２１の詳細な動作については、図２９を参照して詳細を後述する。 The control unit 121 controls the overall operation of the imaging apparatus 101. More specifically, the control unit 121 controls operations of the timing control unit 122, the vertical control unit 123, and the horizontal control unit 124. The detailed operation of the control unit 121 will be described later with reference to FIG.

垂直制御部１２３は、制御部１２１により制御され、動き検出部１２９より供給されてくる画素毎の動きの情報に基づいて、リセットすべき垂直方向の画素位置、および読み出すべき垂直方向の画素位置を特定する情報をタイミング制御部１２２およびデータセットメモリ１３１に供給する。尚、垂直制御部１２３の動作については、図３０を参照して詳細を後述する。 The vertical control unit 123 controls the vertical pixel position to be reset and the vertical pixel position to be read based on the motion information for each pixel which is controlled by the control unit 121 and supplied from the motion detection unit 129. Information to be specified is supplied to the timing control unit 122 and the data set memory 131. The operation of the vertical control unit 123 will be described in detail later with reference to FIG.

タイミング制御部１２２は、制御部１２１により制御され、垂直制御部１２３より供給されてくるリセットすべき垂直方向の画素位置、および読み出しすべき垂直方向の画素位置を特定する情報に基づいて、イメージセンサ１１の各画素についてリセット、または読み出しを制御する。また、タイミング制御部１２２は、リセット、および読み出しのタイミングの情報に基づいて、画素単位の露光時間の差異を調整するための係数を乗算部１２６に供給する。さらに、タイミング制御部１２２は、リセット、および読み出しのタイミングの情報をフレームメモリ１２７、およびマッチング部１２８に供給する。尚、タイミング制御部１２２の動作については、図３０を参照して詳細を後述する。 The timing control unit 122 is controlled by the control unit 121, and is based on information specifying the vertical pixel position to be reset and the vertical pixel position to be read, which is supplied from the vertical control unit 123. Reset or readout is controlled for each of the eleven pixels. In addition, the timing control unit 122 supplies a coefficient for adjusting the difference in exposure time for each pixel to the multiplication unit 126 based on the reset and readout timing information. Further, the timing control unit 122 supplies reset and read timing information to the frame memory 127 and the matching unit 128. The operation of the timing control unit 122 will be described later in detail with reference to FIG.

イメージセンサ１１は、タイミング制御部１２２より供給されてくる各画素の垂直方向に画素位置毎のタイミングの情報に基づいて、リセットおよび読み出しを実行することで、所定の露光時間において、光電変換により生成された画素データをパラレル信号としてパラレルシリアル変換部（Ｐ／Ｓ）１２５に供給する。尚、イメージセンサ１１の構成の詳細については、図３１を参照して後述する。 The image sensor 11 generates by photoelectric conversion in a predetermined exposure time by executing reset and readout based on timing information for each pixel position in the vertical direction of each pixel supplied from the timing control unit 122. The processed pixel data is supplied as a parallel signal to the parallel / serial conversion unit (P / S) 125. The details of the configuration of the image sensor 11 will be described later with reference to FIG.

水平制御部１２４は、制御部１２１により制御され、動き検出部１２９より供給されてくる画素毎の動きの情報に基づいて、読み出しすべき水平方向の画素位置を特定する情報をパラレルシリアル変換部１２５およびデータセットメモリ１３１に供給する。尚、水平制御部１２４の動作については、図３０を参照して詳細を後述する。 The horizontal control unit 124 is controlled by the control unit 121 and, based on the motion information for each pixel supplied from the motion detection unit 129, information for specifying the pixel position in the horizontal direction to be read out is converted into the parallel-serial conversion unit 125. And supplied to the data set memory 131. The operation of the horizontal control unit 124 will be described later in detail with reference to FIG.

パラレルシリアル変換部（Ｐ／Ｓ）１２５は、イメージセンサ１１よりパラレル信号として供給されてくる画素データをシリアル信号に変換すると共に、水平制御部１２４からの水平方向の画素位置を特定する情報に基づいて、読み出すべき画素位置の画素データのみを乗算部１２６に供給する。尚、パラレルシリアル変換部１２５の構成および動作については、図３１を参照して詳細を後述する。 The parallel / serial conversion unit (P / S) 125 converts pixel data supplied as a parallel signal from the image sensor 11 into a serial signal, and based on information specifying the horizontal pixel position from the horizontal control unit 124. Thus, only the pixel data at the pixel position to be read is supplied to the multiplier 126. The configuration and operation of the parallel-serial conversion unit 125 will be described later in detail with reference to FIG.

乗算部１２６は、タイミング制御部１２２より供給されてくる、画素単位の露光時間の差異を調整するための係数を、シリアル信号に変換された画素データにそれぞれ乗じて、露光時間を調整し、フレームメモリ１２７、マッチング部１２８、およびラインメモリ１３０に供給する。尚、乗算部１２６の構成および動作については、図３１を参照して詳細を後述する。 The multiplying unit 126 adjusts the exposure time by multiplying the pixel data converted from the serial signal by the coefficient for adjusting the difference in exposure time for each pixel supplied from the timing control unit 122, and the frame. The data is supplied to the memory 127, the matching unit 128, and the line memory 130. The configuration and operation of the multiplication unit 126 will be described in detail later with reference to FIG.

フレームメモリ１２７は、乗算部１２６より供給されてくる画素データをフレーム単位で一時的に記憶して、適宜マッチング部１２８に供給する。尚、フレームメモリ１２７の動作の詳細については、図３２を参照して後述する。 The frame memory 127 temporarily stores the pixel data supplied from the multiplication unit 126 in units of frames and supplies the data to the matching unit 128 as appropriate. Details of the operation of the frame memory 127 will be described later with reference to FIG.

マッチング部１２８は、乗算部１２６より供給されてくる今現在のフレームの画素データと、フレームメモリ１２７より供給されてくる１つ前のフレームの画素データとを用いて、画素単位でマッチングし、マッチング結果を動き検出部１２９に供給する。尚、マッチング部１２８の動作の詳細については、図３２を参照して後述する。 The matching unit 128 uses the pixel data of the current frame supplied from the multiplication unit 126 and the pixel data of the previous frame supplied from the frame memory 127 to perform matching on a pixel basis. The result is supplied to the motion detection unit 129. The details of the operation of the matching unit 128 will be described later with reference to FIG.

動き検出部１２９は、マッチング部１２８のマッチング結果に基づいて、画素単位の動きを検出し、検出結果を垂直制御部１２３、および水平制御部１２４に供給する。尚、動き検出部１２９の動作の詳細については、図３２を参照して後述する。 The motion detection unit 129 detects a pixel unit motion based on the matching result of the matching unit 128 and supplies the detection result to the vertical control unit 123 and the horizontal control unit 124. Details of the operation of the motion detection unit 129 will be described later with reference to FIG.

補間部１３２は、ラインメモリ１３０に格納されているフレーム周波数と同様のクロックclockHより高速のクロックclockHM単位で読み出される画素データを、データセットメモリ１３１に記憶されているデータセットに基づいて読み出し、クロックclockH単位の画素データを補間生成し、出力する。尚、補間部１３２の動作の詳細については、図３３を参照して後述する。 The interpolation unit 132 reads out pixel data read in units of clock clockHM faster than the clock clockH similar to the frame frequency stored in the line memory 130 based on the data set stored in the data set memory 131, Interpolate and output pixel data in clockH units. The details of the operation of the interpolation unit 132 will be described later with reference to FIG.

＜制御部の入力信号および出力信号について＞
次に、図２９を参照して制御部１２１の入力信号および出力信号について説明する。 <Regarding the input and output signals of the control unit>
Next, an input signal and an output signal of the control unit 121 will be described with reference to FIG.

制御部１２１は、図示せぬ露出計等より供給される周辺外光の情報に基づいた、適正露光時間の信号が入力される。また、制御部１２１は、動き検出部１２９より供給されてくる水平移動量deltaWperTwoClockHMおよび垂直移動量deltaHperTwoClockHMの信号が入力される。 The controller 121 receives a signal of an appropriate exposure time based on information on ambient ambient light supplied from an exposure meter (not shown). Further, the control unit 121 receives the signals of the horizontal movement amount deltaWperTwoClockHM and the vertical movement amount deltaHperTwoClockHM supplied from the motion detection unit 129.

水平移動量deltaWperTwoClockHMは、現在の時刻において、クロックclockHMの２サイクル分の時間後に、どれだけ右方向（ｘ軸方向）の画素を読み出せば良いかを示す画素数を表すものである。 The horizontal movement amount deltaWperTwoClockHM represents the number of pixels indicating how much pixels in the right direction (x-axis direction) should be read after the time corresponding to two cycles of the clock clockHM at the current time.

垂直移動量deltaHperTwoClockHMは、現在の時刻において、クロックclockHMの２サイクル分の時間後に、どれだけ下方（ｙ軸方向）のラインを読み出せば良いかを示すライン数を表すものである。 The vertical movement amount deltaHperTwoClockHM represents the number of lines indicating how much lower line (in the y-axis direction) should be read after the time corresponding to two cycles of the clock clockHM at the current time.

なお、図１９乃至図２１を参照して説明したように、１Ｈの時間（＝クロックclockH＝１に対応する時間）ごとに動きを検出して読み出すラインが決定されるが、動き検出部１２９においては、クロックclockHMの２サイクル分の時間ごとに動きが検出されて読み出すべきライン（およびｘ軸方向の画素位置）が決定されている。これは、後述するように、偶数ラインと奇数ラインとが、クロックclockHMの偶数サイクル目と奇数サイクル目とで交互に読み出されるからであり、処理もクロックclockHMの２サイクル分の時間ごとに行われるからである。 As described with reference to FIGS. 19 to 21, a line for detecting and reading a motion is determined every 1H time (= time corresponding to clock clockH = 1). The line (and the pixel position in the x-axis direction) to be read is determined by detecting the motion every two cycles of the clock clockHM. This is because, as will be described later, the even lines and the odd lines are alternately read out at the even and odd cycles of the clock clockHM, and the processing is also performed every two clock cycles of the clock clockHM. Because.

さらに、垂直移動量deltaHperTwoClockHMは、現在読み出された垂直方向（ｙ座標）のラインYcurrentに対して、クロックclockHMの２サイクル分の時間後に読み出すべきラインYnextを示している。すなわち、Ynext＝Ycurrent＋deltaHperTwoClockHMである。 Further, the vertical movement amount deltaHperTwoClockHM indicates a line Ynext to be read after a time corresponding to two cycles of the clock clockHM with respect to the currently read line Ycurrent in the vertical direction (y coordinate). That is, Ynext = Ycurrent + deltaHperTwoClockHM.

水平移動量deltaWperTwoClockHMは、現在読み出した水平方向（Ｘ座標）の画素位置Xcurrentに対して、クロックclockHMの２サイクル分の時間後に読み出すべき画素位置Xnextを示している。すなわち、Xnext＝Xcurrent＋deltaWperTwoClockHMである。 The horizontal movement amount deltaWperTwoClockHM indicates the pixel position Xnext to be read after a time corresponding to two cycles of the clock clockHM with respect to the pixel position Xcurrent in the horizontal direction (X coordinate) that is currently read. That is, Xnext = Xcurrent + deltaWperTwoClockHM.

また、手振れによるブレのない（例えば、三脚に固定した）撮像装置１０１で動画を撮像した場合、図５，図６を参照して説明したように、常に、イメージセンサ１１内の中央部分のW×H画素＝1980×1080画素（固定された領域）が取り出されることになる。水平方向のx座標に着目すると、いずれのラインについても常に同じ座標の値から始まって1980画素を読み出すので、X＝Xcurrentである。一方、ｙ座標について着目すると、１Ｈごと（クロックclockHの１サイクル時間ごと）に次のラインが読み出される。 Further, when a moving image is picked up by the image pickup apparatus 101 that is not shaken by camera shake (for example, fixed to a tripod), as described with reference to FIGS. × H pixels = 1980 × 1080 pixels (fixed area) are extracted. When attention is paid to the x coordinate in the horizontal direction, X = Xcurrent because 1980 pixels are always read from the same coordinate value for any line. On the other hand, focusing on the y coordinate, the next line is read every 1H (every cycle time of the clock clockH).

すなわち、クロックclockHMの２サイクルごとに、2×H/HMだけ下がったラインが読み出されることになる。従って、Ynext＝Ycurrent＋2×H/HMであり、垂直移動量deltaHperTwoClockHM＝2×H/HMである。 That is, a line lowered by 2 × H / HM is read out every two cycles of the clock clockHM. Therefore, Ynext = Ycurrent + 2 × H / HM and the vertical movement amount deltaHperTwoClockHM = 2 × H / HM.

以上をまとめると、手振れによるブレのない（例えば、三脚に固定した）カメラで動画を撮像した場合、水平移動量deltaWperTwoClockHM＝0.0、かつ、垂直移動量deltaHperTwoClockHM＝2×H/HMとなるような処理が、イメージセンサ１１においては行われる。ここで、水平移動量deltaWperTwoClockHMが0であるのに対し、垂直移動量deltaHperTwoClockHMの値は0でない。すなわち、例えば、手振れによるブレによりイメージセンサ１１に投影されている投影像が、クロックclockHMの２サイクル分の間に、０．１画素左方向に、かつ、０．２画素下方向にずれるのであれば、水平移動量deltaWperTwoClockHM＝−０．１であり、垂直移動量deltaHperTwoClockHM＝（2×H/HM）＋０．２である。 In summary, when moving images are captured with a camera that does not shake due to camera shake (for example, fixed to a tripod), the horizontal movement amount deltaWperTwoClockHM = 0.0 and the vertical movement amount deltaHperTwoClockHM = 2 × H / HM However, this is performed in the image sensor 11. Here, the horizontal movement amount deltaWperTwoClockHM is 0, whereas the value of the vertical movement amount deltaHperTwoClockHM is not 0. That is, for example, if the projected image projected on the image sensor 11 due to camera shake is shifted by 0.1 pixels to the left and 0.2 pixels downward during two cycles of the clock clockHM. For example, the horizontal movement amount deltaWperTwoClockHM = −0.1, and the vertical movement amount deltaHperTwoClockHM = (2 × H / HM) +0.2.

制御部１２１は、適正露光時間、水平移動量deltaWperTwoClockHM、および垂直移動量deltaHperTwoClockHMの入力を受け付ける。また、制御部１２１は、これらの入力に基づいて、現在フレーム偶数ライン露光時間exposure time for current image capt、現在奇数フレーム読み出し回数number of readout per frame for current motion capture、現在フレーム奇数ライン露光時間exposure time for current motion capture、現在垂直基準位置designated line number which attracts the start of current frame、現在垂直パンブレ割合attractive vertical force for current frame、直前水平基準位置designated pixel number which attracts the start of previous frame、および直前水平パンブレ割合attractive horizontal force for previous frameを出力する。 The control unit 121 accepts inputs of an appropriate exposure time, a horizontal movement amount deltaWperTwoClockHM, and a vertical movement amount deltaHperTwoClockHM. Based on these inputs, the control unit 121 determines the current frame even line exposure time exposure time for current image capt, the current odd frame read number, the number of readout per frame for current motion capture, the current frame odd line exposure time exposure time. for current motion capture, current vertical reference position designed line number which attracts the start of current frame, current vertical pan position percentage, attractive vertical force for current frame, previous pixel position, designated pixel number which attracts the start of previous frame, and previous horizontal position Outputs an attractive horizontal force for previous frame.

現在フレーム偶数ライン露光時間exposure time for current image captureは、現在フレームの偶数ラインにおける各画素のクロックclockHMを単位時間とした適正露光時間を意味する。すなわち、外部の露出計等より供給される情報である適正露光時間（単位：秒）を（60×HM）倍した値である。現在のフレームの偶数ラインは、この値の示す時間だけ露光されるように制御される。 The current frame even line exposure time exposure time for current image capture means an appropriate exposure time with the clock clockHM of each pixel in the even line of the current frame as a unit time. That is, it is a value obtained by multiplying an appropriate exposure time (unit: second), which is information supplied from an external exposure meter or the like, by (60 × HM). The even lines of the current frame are controlled to be exposed for the time indicated by this value.

現在奇数フレーム読み出し回数number of readout per frame for current motion captureは、直前の偶数ラインの画素データの読み出し時刻と現在の偶数ラインの画素データの読み出し時刻との時間間隔において、奇数ラインの画素データのリセットと読み出しを行う回数を示すものである。ここでは、１，２、または、４のいずれかであるが、それ以外の回数であってもよいものである。 The number of readout per frame for current motion capture is the reset of the pixel data of the odd line at the time interval between the pixel data read time of the previous even line and the current pixel data read time of the even line. And the number of times of reading. Here, it is either 1, 2, or 4, but it may be any other number.

現在フレーム奇数ライン露光時間exposure time for current motion captureは、現在フレームの奇数ラインにおける各画素のクロックclockHMを単位時間とした適正露光時間を意味する。 The current frame odd line exposure time exposure time for current motion capture means an appropriate exposure time with the clock clockHM of each pixel in the odd line of the current frame as a unit time.

現在垂直基準位置designated line number which attracts the start of current frame、および直前水平基準位置designated pixel number which attracts the start of previous frameは、それぞれイメージセンサ１１内から、画像を構成するW×H画素＝1980×1080画素の領域２１を取り出す際に基準となる左上の画素における垂直方向の位置を特定する現在フレームのｙ座標および直前フレームのｘ座標を表している。つまり、直前水平基準位置designated pixel number which attracts the start of previous frame＝（WS−W）/2であり、現在垂直基準位置designated line number which attracts the start of current frame＝（HS−H）/2である。 The current vertical reference position designated line number which attracts the start of current frame and the immediately previous horizontal reference position designated pixel number which attracts the start of previous frame are respectively W × H pixels = 1980 × constituting the image from the image sensor 11. The y-coordinate of the current frame and the x-coordinate of the immediately preceding frame that specify the position in the vertical direction of the upper left pixel, which is the reference when extracting the area 21 of 1080 pixels, are shown. That is, the immediately preceding horizontal reference position designated pixel number which attracts the start of previous frame = (WS−W) / 2, and the current vertical reference position designed line number which attracts the start of current frame = (HS−H) / 2. is there.

現在垂直パンブレ割合attractive vertical force for current frame、および直前水平パンブレ割合attractive horizontal force for previous frameは、それぞれ現在フレームの垂直方向、および直前フレームの水平方向のパンとブレの割合を示し、いずれも０．０以上１．０以下の値である。それぞれ、この値が、小さければ小さいほど、カメラの動きは手振れによるブレであるとして、補正を強くかける。逆に大きければ大きいほど、カメラの動きはパンであるとして、補正を弱くする。なお、ここで言う補正とは、各フレームの最初の時刻において、1080ラインだけ上のラインを読み出すか、または、強制的にｙ＝ｙ０のラインを読み出すかという事である。水平方向についても同様である。 The current vertical pan blur ratio attractive vertical force for current frame and the previous horizontal pan shake ratio attractive horizontal force for previous frame indicate the pan and blur ratio in the vertical direction of the current frame and the horizontal direction of the previous frame, respectively. The value is 0 or more and 1.0 or less. The smaller this value is, the stronger the correction is made assuming that the camera movement is shake due to camera shake. Conversely, the larger the value, the weaker the correction, assuming that the movement of the camera is pan. The correction referred to here is whether to read a line above 1080 lines at the first time of each frame or to forcibly read a line with y = y0. The same applies to the horizontal direction.

＜タイミング制御部、垂直制御部および水平制御部の入力信号および出力信号について＞
次に、図３０を参照して、タイミング制御部１２２、垂直制御部１２３および水平制御部１２４の入力信号および出力信号について説明する。 <Input Signals and Output Signals of Timing Control Unit, Vertical Control Unit, and Horizontal Control Unit>
Next, input signals and output signals of the timing control unit 122, the vertical control unit 123, and the horizontal control unit 124 will be described with reference to FIG.

まず、垂直制御部１２３について説明する。 First, the vertical control unit 123 will be described.

垂直制御部１２３には、制御部１２２より供給される現在垂直基準位置designated line number which attracts the start of current frame、および現在垂直パンブレ割合attractive vertical force for current frame、並びに、動き検出部１２９より供給される垂直移動量deltaHperTwoClockHMがそれぞれ入力される。 The vertical control unit 123 is supplied from the current vertical reference position designed line number which attracts the start of current frame supplied from the control unit 122, the current vertical pan blur ratio attractive vertical force for current frame, and the motion detection unit 129. The vertical movement amount deltaHperTwoClockHM is input.

垂直制御部１２３は、これらの入力に基づいて、直前フレーム偶数ライン延長線上読み出し垂直座標line corresponding to start time of previous frame、現在フレーム偶数ライン上読み出し垂直座標line corresponding to start time of current frame、および未来フレーム偶数ライン延長線上垂直座標line corresponding to start time of next frameを出力する。 Based on these inputs, the vertical control unit 123 reads the previous frame even line extension line read vertical coordinate line corresponding to start time of previous frame, the current frame even line read vertical coordinate line corresponding to start time of current frame, and the future Output the line corresponding to start time of next frame on the even line extension line.

直前フレーム偶数ライン延長線上読み出し垂直座標line corresponding to start time of previous frameは、例えば、図２５を用いて説明した１つ直前のフレームの偶数ラインの読み出し時刻の仮想的な延長線である点線Ｌ３５１の現在の時刻におけるｙ座標の値を表す。 The vertical coordinate line corresponding to start time of previous frame on the previous line even line extension line is, for example, the dotted line L351 which is a virtual extension line of the read time of the even line of the immediately previous frame described with reference to FIG. Represents the value of the y coordinate at the current time.

現在フレーム偶数ライン上読み出し垂直座標line corresponding to start time of current frameは、例えば、図２５を用いて説明した現在のフレームの偶数ラインの読み出し時刻を表す実線Ｌ３４２上の現在の時刻におけるｙ座標の値を表す。 The vertical coordinate line corresponding to start time of current frame on the even line of the current frame is, for example, the value of the y coordinate at the current time on the solid line L342 representing the read time of the even line of the current frame described with reference to FIG. Represents.

未来フレーム偶数ライン延長線上読み出し垂直座標line corresponding to start time of next frameは、図２５を用いて説明した１つ未来のフレームの偶数ラインの読み出し時刻の仮想的な延長線である点線Ｌ３７１上の現在の時刻におけるｙ座標の値を表す。 The vertical coordinate line corresponding to start time of next frame read out on the even line extension line of the future frame is the current line on the dotted line L371 which is a virtual extension line of the read time of the even line of the one future frame described with reference to FIG. Represents the value of the y-coordinate at the time.

次に、タイミング制御部１２２について説明する。タイミング制御部１２２には、垂直制御部１２３より直前フレーム偶数ライン延長線上読み出し垂直座標line corresponding to start time of previous frame、現在フレーム偶数ライン上読み出し垂直座標line corresponding to start time of current frame、および未来フレーム偶数ライン延長線上垂直座標line corresponding to start time of next frameが入力される。 Next, the timing control unit 122 will be described. The timing control unit 122 reads the vertical coordinate line corresponding to start time of previous frame from the vertical control unit 123, the vertical frame line corresponding to start time of previous frame, the current frame even line reading vertical coordinate line corresponding to start time of current frame, and the future frame. The vertical coordinates line corresponding to start time of next frame are input.

また、タイミング制御部１２２には、制御部１２１より、現在フレーム偶数ライン露光時間exposure time for current image capt、現在奇数フレーム読み出し回数number of readout per frame for current motion capture、現在フレーム奇数ライン露光時間exposure time for current motion captureが入力される。 Also, the timing control unit 122 receives, from the control unit 121, the current frame even line exposure time exposure time for current image capt, the current odd frame read number, the number of readout per frame for current motion capture, and the current frame odd line exposure time exposure time. for current motion capture is entered.

さらに、タイミング制御部１２２は、入力された信号に基づいて、イメージセンサ１１の各画素における露光を制御するリセット信号reset[0:HS-1]、および読み出し信号read[0:HS-1]を出力する。さらに、タイミング制御部１２２は、入力された信号に基づいて、偶数ライン係数exposure compensation value for image capture line、奇数ライン係数exposure compensation value for motion capture line[0:3]、現在時刻読み出し偶数ラインpresent read line for image capture、および現在時刻読み出し奇数ラインpresent read line for motion capture[0:3]を、フレームメモリ１２７、マッチング部１２８、およびラインメモリ１３０に出力する。尚、ここで、[0:3]は、[0]乃至[3]を表しており、以降において、[i](i＝0乃至3)とも表記するものとする。 Further, the timing control unit 122 generates a reset signal reset [0: HS-1] and a readout signal read [0: HS-1] for controlling exposure in each pixel of the image sensor 11 based on the input signal. Output. Further, the timing control unit 122, based on the input signal, even line coefficient exposure compensation value for image capture line, odd line coefficient exposure compensation value for motion capture line [0: 3], current time read even line present read Line for image capture and current time read odd line present read line for motion capture [0: 3] are output to the frame memory 127, the matching unit 128, and the line memory 130. Here, [0: 3] represents [0] to [3], and is hereinafter also referred to as [i] (i = 0 to 3).

ここで、リセット信号reset[0:HS-1]は、イメージセンサ１１のWS×HS個の画素（受光素子）の中で、現在の時刻においてリセットすべき垂直方向の位置であるラインを指定する信号である。 Here, the reset signal reset [0: HS-1] designates a line which is a vertical position to be reset at the current time among the WS × HS pixels (light receiving elements) of the image sensor 11. Signal.

読み出し信号read[0:HS-1]は、イメージセンサ１１のWS×HS個の画素（受光素子）の中で、現在の時刻において読み出すべき垂直方向の位置であるラインを指定する信号である。 The read signal read [0: HS-1] is a signal that designates a line that is a vertical position to be read at the current time among the WS × HS pixels (light receiving elements) of the image sensor 11.

偶数ライン係数exposure compensation value for image capture lineは、現在の時刻において読み出している偶数ラインの画素データに対して、乗算すべき係数を指定しており、各ラインのリセット時刻と読み出し時刻との差に逆比例するゲインの値である。 The even line coefficient exposure compensation value for image capture line specifies the coefficient to be multiplied with the pixel data of the even line read out at the current time, and the difference between the reset time and readout time of each line is specified. This is the inversely proportional gain value.

奇数ライン係数exposure compensation value for motion capture line[0:3]は、現在の時刻において読み出している奇数ラインの画素に対して、乗算すべき係数を指定している。 The odd line coefficient exposure compensation value for motion capture line [0: 3] designates a coefficient to be multiplied with respect to the pixels of the odd line read out at the current time.

より詳しく述べると、奇数ライン係数exposure compensation value for motion capture line [0]は、奇数ラインについて、偶数ラインの直前の読み出し時刻と現在の読み出し時刻との間隔を４分割した時間間隔で、４回のリセットと読み出しを行う、４倍読み出し処理の場合の４回の中の最初の読み出しを行う奇数ラインの画素に対して、乗算すべき係数である。 More specifically, the odd line coefficient exposure compensation value for motion capture line [0] is obtained by dividing the interval between the read time immediately before the even line and the current read time into four times for the odd line. This is a coefficient to be multiplied with the odd-numbered line pixels to be read first in four times in the case of the quadruple read process in which reset and read are performed.

奇数ライン係数exposure compensation value for motion capture line[1]は、奇数ラインについて、偶数ラインの直前の読み出し時刻と現在の読み出し時刻との間隔を４分割した時間間隔で、４回のリセットと読み出しを行う４倍読み出し処理の場合の２番目の読み出しを行う奇数ラインの画素に対して、乗算すべき係数である。また、奇数ライン係数exposure compensation value for motion capture line[1]は、「奇数ラインについて、偶数ラインの直前の読み出し時刻と現在の読み出し時刻との間隔を２分割した時間間隔で、２回のリセットと読み出しを行う２倍読み出し処理の場合の前半の読み出しを行った奇数ラインの画素に対して、乗算すべき係数である。 The odd line coefficient exposure compensation value for motion capture line [1] resets and reads four times for the odd line at a time interval obtained by dividing the interval between the read time immediately before the even line and the current read time by four. This is a coefficient to be multiplied with respect to the pixels of the odd-numbered lines on which the second readout is performed in the case of the quadruple readout processing. In addition, the odd line coefficient exposure compensation value for motion capture line [1] is “for an odd line, two resets are performed at a time interval obtained by dividing the interval between the read time immediately before the even line and the current read time into two. This is a coefficient to be multiplied with the pixels of the odd-numbered lines that have been read in the first half in the case of the double-reading process in which reading is performed.

奇数ライン係数exposure compensation value for motion capture line[2]は、奇数ラインについて、偶数ラインの直前の読み出し時刻と現在の読み出し時刻との間隔を４分割した時間間隔で、４回のリセットと読み出しを行う４倍読み出し処理の場合の３番目の読み出しを行う奇数ラインの画素に対して、乗算すべき係数である。 The odd line coefficient exposure compensation value for motion capture line [2] performs reset and read four times for the odd line at a time interval obtained by dividing the interval between the read time immediately before the even line and the current read time by four. This is a coefficient to be multiplied with respect to the pixels of the odd-numbered lines on which the third readout in the case of the quadruple readout processing is performed.

奇数ライン係数exposure compensation value for motion capture line[3]は、奇数ラインについて、偶数ラインの直前の読み出し時刻と現在の読み出し時刻の間隔を４分割した時間間隔で、４回のリセットと読み出しを行う４倍読み出し処理の場合の４番目（最後）の読み出しを行う奇数ラインの画素に対して、乗算すべき係数である。 The odd line coefficient exposure compensation value for motion capture line [3] resets and reads four times at an interval obtained by dividing the interval between the read time immediately before the even line and the current read time with respect to the odd line. This is a coefficient to be multiplied with respect to the pixels of the odd lines for the fourth (last) reading in the double reading process.

また、奇数ライン係数exposure compensation value for motion capture line[3]は、奇数ラインについて、偶数ラインの直前の読み出し時刻と現在の読み出し時刻との間隔を２分割した時間間隔で、２回のリセットと読み出しを行う２倍読み出し処理の場合の後半の読み出しを行う奇数ラインの画素に対して、乗算すべき係数である。 The odd line coefficient exposure compensation value for motion capture line [3] is reset and read twice for the odd line at a time interval obtained by dividing the interval between the read time immediately before the even line and the current read time. This is a coefficient to be multiplied with respect to the pixels of the odd-numbered lines to be read in the latter half in the case of the double-reading process for performing the above.

さらに、奇数ライン係数exposure compensation value for motion capture line[3]は、奇数ラインについて、偶数ラインのリセットと読み出しと同じリセットと読み出しを行う等倍読み出し処理の場合の読み出しを行った奇数ラインの画素に対して、乗算すべき係数である。 In addition, the odd line coefficient exposure compensation value for motion capture line [3] is the pixel of the odd line that has been read in the case of the same-size read processing that performs the same reset and read as the reset and read of the even line for the odd line. On the other hand, it is a coefficient to be multiplied.

現在時刻読み出し偶数ラインpresent read line for image captureは、イメージセンサ１１のWS×HS個の画素（受光素子）の中で、現在の時刻において読み出した偶数ラインの垂直方向の位置（ｙ座標）を表している。 The present time read even line present read line for image capture represents the vertical position (y coordinate) of the even line read at the current time among the WS × HS pixels (light receiving elements) of the image sensor 11. ing.

現在時刻読み出し奇数ラインpresent read line for motion capture[0:3]は、イメージセンサ１１のWS×HS個の画素（受光素子）の中で、現在の時刻において読み出した奇数ラインの位置（ｙ座標）を表している。 The present time read odd line present read line for motion capture [0: 3] is the position (y coordinate) of the odd line read at the current time among the WS × HS pixels (light receiving elements) of the image sensor 11. Represents.

より詳しく述べると、現在時刻読み出し奇数ラインpresent read line for motion capture[0]は、奇数ラインについて、偶数ラインの画素データの直前の読み出し時刻と現在の読み出し時刻の間隔を４分割した時間間隔で、４回のリセットと読み出しを行う４倍読み出し処理の場合の４回の中の最初に読み出した奇数ラインの位置（ｙ座標）を表している。 More specifically, the present time read odd line present read line for motion capture [0] is a time interval obtained by dividing the interval between the read time immediately before the pixel data of the even line and the current read time with respect to the odd line by four. This represents the position (y coordinate) of the odd-numbered line read out first among the four times in the case of the quadruple read processing in which reset and read are performed four times.

現在時刻読み出し奇数ラインpresent read line for motion capture[1]は、奇数ラインについて、偶数ラインの画素データの直前の読み出し時刻と現在の読み出し時刻との間隔を４分割した時間間隔で、４回のリセットと読み出しを行う４倍読み出し処理の場合の２番目の読み出しを行う奇数ラインの位置（ｙ座標）を表している。 Current read odd line present read line for motion capture [1] resets the odd line four times at an interval obtained by dividing the interval between the read time immediately before the pixel data of the even line and the current read time by four. And the position (y coordinate) of the odd-numbered line where the second reading is performed in the case of the quadruple-reading process in which reading is performed.

また、現在時刻読み出し奇数ラインpresent read line for motion capture[1]は、「奇数ラインについて、偶数ラインの直前の読み出し時刻と今回の読み出し時刻との間隔を２分割して、２回のリセットと読み出しを行う２倍読み出し処理の場合の前半の読み出しを行った奇数ラインの位置（ｙ座標）を表している。 In addition, the current time read odd line present read line for motion capture [1] is “for odd lines, the interval between the read time immediately before the even line and the current read time is divided into two, and reset and read twice. Represents the position (y coordinate) of the odd-numbered line from which the first half reading in the double reading process is performed.

現在時刻読み出し奇数ラインpresent read line for motion capture[2]は、奇数ラインについて、偶数ラインの直前の読み出し時刻と現在の読み出し時刻の間隔を４分割した時間間隔で、４回のリセットと読み出しを行う４倍読み出し処理の場合の３番目の読み出しを行う奇数ラインの位置（ｙ座標）を表している。 Current read odd line present read line for motion capture [2] performs reset and read four times for the odd line at a time interval obtained by dividing the read time immediately before the even line and the current read time by four. This represents the position (y coordinate) of the odd line where the third reading is performed in the case of the quadruple reading process.

現在時刻読み出し奇数ラインpresent read line for motion capture[3]は、奇数ラインについて、偶数ラインの直前の読み出し時刻と現在の読み出し時刻の間隔を４分割した時間間隔で、４回のリセットと読み出しを行う４倍読み出し処理の場合の４番目（最後）の読み出しを行った奇数ラインの位置（ｙ座標）を表している。 Current read odd line present read line for motion capture [3] performs reset and read four times for the odd line at a time interval obtained by dividing the read time immediately before the even line and the current read time by four. This represents the position (y coordinate) of the odd line where the fourth (last) read in the case of the quadruple read process is performed.

また、現在時刻読み出し奇数ラインpresent read line for motion capture[3]は、奇数ラインについて、偶数ラインの直前の読み出し時刻と今回の読み出し時刻の間隔を２分割した時間間隔で、２回のリセットと読み出しを行う２倍読み出し処理の場合の後半の読み出しを行う奇数ラインの位置（ｙ座標）を表している。 Also, the current time read odd line present read line for motion capture [3] is reset and read twice for the odd line at an interval obtained by dividing the interval between the read time immediately before the even line and the current read time into two. This represents the position (y coordinate) of the odd-numbered line where the latter half of reading is performed in the double reading process.

さらに、現在時刻読み出し奇数ラインpresent read line for motion capture[3]は、奇数ラインについて、偶数ラインのリセット時刻と読み出し時刻とを同じ時間間隔でリセットと読み出しを行う等倍読み出し処理の場合の読み出しを行う奇数ラインの位置（ｙ座標）を表している。 In addition, the current time read odd line present read line for motion capture [3] performs read in the case of the same size read processing that resets and reads the reset time and read time of the even line at the same time interval for the odd line. It represents the position (y coordinate) of the odd line to be performed.

次に、水平制御部１２４について説明する。 Next, the horizontal control unit 124 will be described.

水平制御部１２４には、動き検出部１２９より供給されてくる水平変化量deltaHperTwoClockHM、並びに制御部１２１からの直前水平基準位置designated pixel number which attracts the start of previous frame、および直前垂直パンブレ割合attractive vertical force for previous frameが入力される。 The horizontal control unit 124 includes a horizontal change amount deltaHperTwoClockHM supplied from the motion detection unit 129, a previous horizontal reference position from the control unit 121, a designated pixel number which attracts the start of previous frame, and an immediately preceding vertical pan rate. for previous frame is entered.

また、水平制御部１２４は、入力される信号に基づいて、水平方向読み出し開始位置read start pixel、整数水平方向読み出し開始位置read start pixel int、および過去水平方向読み出し開始位置read start pixel pastを出力する。 Further, the horizontal control unit 124 outputs a horizontal readout start position read start pixel, an integer horizontal readout start position read start pixel int, and a past horizontal readout start position read start pixel past based on the input signal. .

水平方向読み出し開始位置read start pixelは、現在の時刻からクロックclockHMの２サイクル分の時間後に読み出す画素位置Xnextの水平方向の座標（ｘ座標）である。水平方向読み出し開始位置read start pixelは、一般的には、小数部がある。 The horizontal read start position read start pixel is a horizontal coordinate (x coordinate) of the pixel position Xnext to be read after a time corresponding to two cycles of the clock clockHM from the current time. Horizontal read start position read start pixel is typically have fractional portion.

整数水平方向読み出し開始位置read start pixel intは、水平方向読み出し開始位置read start pixelを整数に切り捨てた値である。すなわち、イメージセンサ１１のWS×HS個の画素（受光素子）からの画素データは整数単位で指定して読み出すので、水平方向読み出し開始位置read start pixelの小数点以下の値を切り捨てた整数の値として、整数水平方向読み出し開始位置read start pixel intが必要となる。 The integer horizontal readout start position read start pixel int is a value obtained by rounding down the horizontal readout start position read start pixel to an integer. That is, the pixel data from the WS × HS pixels (light receiving elements) of the image sensor 11 are specified and read in integer units, and therefore, an integer value obtained by rounding down the value after the decimal point of the horizontal read start position read start pixel is used. An integer horizontal direction read start position read start pixel int is required.

＜イメージセンサ、パラレルシリアル変換部、および乗算部における入力信号と出力信号について＞
次に、図３１を参照して、イメージセンサ１１、パラレルシリアル変換部１２５、および乗算部１２６の構成と、それぞれの構成における入力信号と出力信号について説明する。 <Input and output signals in the image sensor, parallel-serial converter, and multiplier>
Next, the configuration of the image sensor 11, the parallel-serial conversion unit 125, and the multiplication unit 126, and input signals and output signals in the respective configurations will be described with reference to FIG.

イメージセンサ１１は、タイミング制御部１２２より供給されてくるリセット信号reset[0:HS-1]および読み出し信号read[0:HS-1]に基づいて、それぞれのマトリクス状の情報から対応する位置の画素の画素データを読み出して順次パラレル信号として転送し、パラレルシリアル変換部１２５に供給する。 Based on the reset signal reset [0: HS-1] and the read signal read [0: HS-1] supplied from the timing control unit 122, the image sensor 11 determines the corresponding position from each matrix information. The pixel data of the pixel is read out, sequentially transferred as a parallel signal, and supplied to the parallel / serial conversion unit 125.

パラレルシリアル変換部１２５は、詳細には、図３１で示されるように、パラレルシリアル変換部１２５−１乃至１２５−５から構成されており、イメージセンサ１１より入力されてきた画素データがパラレルシリアル変換部１２５−１乃至１２５−５に入力される。そして、パラレルシリアル変換部１２５−１乃至１２５−５は、それぞれ入力されたパラレル信号からなる画素データをパラレルシリアル変換してシリアル信号として乗算部１２６−１乃至１２６−５に供給する。 Specifically, as shown in FIG. 31, the parallel-serial conversion unit 125 includes parallel-serial conversion units 125-1 to 125-5, and the pixel data input from the image sensor 11 is converted into parallel-serial conversion. Input to the sections 125-1 to 125-5. Then, the parallel / serial conversion units 125-1 to 125-5 perform parallel-serial conversion on the pixel data composed of the input parallel signals, and supply them to the multiplication units 126-1 to 126-5 as serial signals.

このような動作により、ライン番号curHMの値が偶数である時間（クロックclockHMの１サイクル分の時間）に、１ラインの偶数ラインの画素データが読み出される。この偶数ラインの画素データは、パラレルシリアル変換部１２５−１にパラレル信号として入力される。 With such an operation, even when the value of the line number curHM is an even number (time for one cycle of the clock clockHM), the pixel data of one even line is read. The even line pixel data is input as a parallel signal to the parallel-serial conversion unit 125-1.

ライン番号curHMの値が奇数である時間（クロックclockHMの１サイクル分の時間）では、奇数ラインのうちの最大で４ライン分の画素データが読み出される。この４ライン分の奇数ラインの画素データは、パラレルシリアル変換部１２５−２乃至１２５−５に、それぞれ、パラレル信号として入力される。 During the time when the value of the line number curHM is an odd number (the time corresponding to one cycle of the clock clockHM), the pixel data for up to four lines of the odd lines is read. The pixel data of the odd lines for the four lines are input as parallel signals to the parallel-serial conversion units 125-2 to 125-5, respectively.

より詳細には、現在の時刻における、奇数ラインについて、偶数ラインの画素データの直前の読み出し時刻と現在の読み出し時刻の間隔を４分割した時間間隔で、４回のリセットと読み出しを行う４倍読み出し処理の場合、イメージセンサ１１のWS×HS個の画素（受光素子）から読み出された、４回の読み出し画素データの中の最初の読み出しによる１ライン分（奇数ライン）の画素データが、パラレルシリアル変換部１２５−１にパラレル信号として入力される。 More specifically, for odd lines at the current time, quadruple readout is performed with four resets and readouts at a time interval obtained by dividing the interval between the read time immediately before the pixel data of the even lines and the current read time by four. In the case of processing, pixel data for one line (odd line) by the first reading out of the four times of read pixel data read from the WS × HS pixels (light receiving elements) of the image sensor 11 is parallel. The signal is input as a parallel signal to the serial conversion unit 125-1.

現在の時刻における、奇数ラインについて、偶数ラインの画素データの直前の読み出し時刻と現在の読み出し時刻との間隔を４分割した時間間隔で、４回のリセットと読み出しを行う４倍読み出し処理の場合、イメージセンサ１１のWS×HS個の画素（受光素子）から読み出された、４回の読み出し画素データのなかの２番目の読み出しによる１ライン分（奇数ライン）の画素データは、パラレルシリアル変換部１２５−３にパラレル信号として入力される。 For the odd line at the current time, in the case of quadruple read processing that performs reset and read four times at a time interval obtained by dividing the interval between the read time immediately before the pixel data of the even line and the current read time by four, The pixel data for one line (odd line) read out from the WS × HS pixels (light-receiving elements) of the image sensor 11 by the second reading out of the four times of read pixel data is the parallel-serial conversion unit. 125-3 is input as a parallel signal.

また、現在の時刻における、奇数ラインについて、偶数ラインの画素データの直前の読み出し時刻と今回の読み出し時刻との間隔を２分割した時間間隔で、２回のリセットと読み出しを行う２倍読み出し処理の場合、イメージセンサ１１のWS×HS個の画素（受光素子）から読み出された、２回の読み出し画素データの最初（前半）の読み出しによる１ライン分（奇数ライン）の画素データは、パラレルシリアル変換部１２５−３にパラレル信号として入力される。 In addition, for an odd line at the current time, a double readout process in which reset and readout are performed twice at a time interval obtained by dividing the interval between the read time immediately before the pixel data of the even line and the current read time into two. In this case, the pixel data for one line (odd line) read out from the first (first half) of the read pixel data of two times read out from the WS × HS pixels (light receiving elements) of the image sensor 11 is parallel serial. The signal is input to the conversion unit 125-3 as a parallel signal.

さらに、現在の時刻における、奇数ラインについて、偶数ラインの画素データの直前の読み出し時刻と現在の読み出し時刻との間隔を４分割した時間間隔で、４回のリセットと読み出しを行う４倍読み出し処理の場合、イメージセンサ１１のWS×HS個の画素（受光素子）から読み出された、４回の読み出し画素データの３番目の読み出しによる１ライン分（奇数ライン）の画素データは、パラレルシリアル変換部１２５−４にパラレル入力される。 Furthermore, for the odd line at the current time, a quadruple read process is performed in which reset and read are performed four times at a time interval obtained by dividing the interval between the read time immediately before the pixel data of the even line and the current read time by four. In this case, the pixel data for one line (odd line) read out from the WS × HS pixels (light receiving elements) of the image sensor 11 by the third reading of the read pixel data four times is converted into a parallel-serial conversion unit. 125-4 is input in parallel.

現在の時刻における、奇数ラインについて、偶数ラインの画素データの直前の読み出し時刻と現在の読み出し時刻との間隔を４分割した時間間隔で、４回のリセットと読み出しを行う４倍読み出し処理の場合のイメージセンサ１１のWS×HS個の画素（受光素子）から読み出された、４回の読み出し画素データのなかの４番目（最後）の読み出しによる１ライン分（奇数ライン）の画素データは、パラレルシリアル変換部１２５−５にパラレル信号として入力される。 For the odd line at the current time, in the case of quadruple read processing in which the interval between the read time immediately before the pixel data of the even line and the current read time is divided into four times and read four times. The pixel data for one line (odd line) by the fourth (last) read out of the four read pixel data read from the WS × HS pixels (light receiving elements) of the image sensor 11 is parallel. The signal is input as a parallel signal to the serial conversion unit 125-5.

また、現在の時刻における、奇数ラインについて、偶数ラインの直前の読み出し時刻と現在の読み出し時刻との間隔を２分割した時間間隔で、２回のリセットと読み出しを行う２倍読み出し処理の場合、イメージセンサ１１のWS×HS個の画素（受光素子）から読み出された、２回の読み出しのなかの２番目（後半）の読み出しによる１ライン分（奇数ライン）の画素データは、パラレルシリアル変換部１２５−５にパラレル信号として入力される。 Further, in the case of double readout processing in which reset and readout are performed twice for an odd line at the current time at a time interval obtained by dividing the interval between the read time immediately before the even line and the current read time into two, The pixel data for one line (odd line) read out from the WS × HS pixels (light receiving elements) of the sensor 11 by the second (second half) reading out of the two readings is a parallel-serial conversion unit. 125-5 is input as a parallel signal.

さらに、現在の時刻における、奇数ラインについて、偶数ラインのリセット時刻と読み出し時刻とが同じ等倍処理の場合、イメージセンサ１１のWS×HS個の画素（受光素子）から読み出された１ライン分（奇数ライン）の画素データは、パラレルシリアル変換部１２５−３にパラレル入力される。 Further, for odd lines at the current time, when the even line reset time and read time are the same magnification processing, one line read from the WS × HS pixels (light receiving elements) of the image sensor 11. The pixel data of (odd line) is input in parallel to the parallel-serial conversion unit 125-3.

これらのパラレルシリアル変換部１２５−１乃至１２５−５に入力された画素データは、遅延部（1 delay）１４１により遅延されて供給される整数水平方向読み出し開始位置read start pixel intの値が示す位置（ｘ座標の位置）から右方向（ｘ座標の正の方向）の画素が１画素ずつシリアル信号として読み出される。読み出されたシリアル信号からなる画素データは、それぞれ乗算部１２６−１乃至１２６−５に供給される。 The pixel data input to these parallel / serial conversion units 125-1 to 125-5 is a position indicated by the value of the integer horizontal direction read start position read start pixel int supplied after being delayed by a delay unit (1 delay) 141. Pixels in the right direction (the positive direction of the x coordinate) from (the position of the x coordinate) are read out one by one as a serial signal. Pixel data composed of the read serial signals is supplied to the multipliers 126-1 to 126-5, respectively.

乗算部１２６−１は、リセットの時刻と読み出し時刻との差分となる時間に逆比例する偶数ライン係数exposure compensation value for image capture lineを乗じて、偶数ラインデータimg dataとして出力する。 The multiplier 126-1 multiplies an even line coefficient exposure compensation value for image capture line that is inversely proportional to the time that is the difference between the reset time and the read time, and outputs the result as even line data img data.

また、乗算部１２６−２乃至１２６−５は、リセットの時刻と読み出し時刻との差分となる時間に逆比例する奇数ライン係数exposure compensation value for motion capture line[0:3]を乗じて、奇数ラインデータmot data 0、mot data 1、mot data 2、mot data 3としてそれぞれ出力する。 Further, the multipliers 126-2 to 126-5 multiply the odd line coefficient by multiplying an odd line coefficient exposure compensation value for motion capture line [0: 3] that is inversely proportional to the time that is the difference between the reset time and the read time. Output as data mot data 0, mot data 1, mot data 2, and mot data 3.

尚、以降においても、パラレルシリアル変換部１２５−１乃至１２５−５、および乗算部１２６−１乃至１２６−５をそれぞれ区別する必要がない場合、単にパラレルシリアル変換部１２５および乗算部１２６と称するものとし、その他の構成についても同様にする。 In the following description, when there is no need to distinguish between the parallel-serial converters 125-1 to 125-5 and the multipliers 126-1 to 126-5, they are simply referred to as the parallel-serial converter 125 and the multiplier 126. The same applies to other configurations.

＜フレームメモリ、マッチング部および動き検出部の構成について＞
次に、図３２を参照して、フレームメモリ、マッチング部および動き検出部の入力信号および出力信号について説明する。 <Configuration of frame memory, matching unit and motion detection unit>
Next, input signals and output signals of the frame memory, matching unit, and motion detection unit will be described with reference to FIG.

まず、フレームメモリ１２７について説明する。 First, the frame memory 127 will be described.

フレームメモリ１２７は、圧縮部（shrink）１６１−１乃至１６１−４により圧縮された奇数ラインデータmot data [i]（i＝0乃至3）を記憶する。この際、フレームメモリ１２７は、圧縮部１６１−１乃至１６１−４のそれぞれに対応して入力されるイネーブル信号present read line for motion capture[i]（Write EN[i]）（i＝0乃至3）がそれぞれ有効であることを示す信号である場合、In0端子、In1端子、In2端子、In3端子のそれぞれに入力される、圧縮された奇数ラインデータmot data [i]（i＝0乃至3）を記憶する。また、フレームメモリ１２７は、遅延部（1 delay）１５１により１クロックclockHM分ほど遅延された整数水平方向読み出し開始位置read start pixel int、および絶対時刻absoluteTimeの情報を格納する。 The frame memory 127 stores the odd line data mot data [i] (i = 0 to 3) compressed by the compression units (shrink) 161-1 to 161-4. At this time, the frame memory 127 receives an enable signal present read line for motion capture [i] (Write EN [i]) (i = 0 to 3) input corresponding to each of the compression units 161-1 to 161-4. ) Is a signal indicating that each is valid, the compressed odd line data mot data [i] (i = 0 to 3) input to each of the In0, In1, In2, and In3 terminals. Remember. Also, the frame memory 127 stores information on the integer horizontal direction read start position read start pixel int and the absolute time absoluteTime delayed by one clock clockHM by the delay unit (1 delay) 151.

マッチング部１２８は、マッチング部１２８−１乃至１２８−４より構成され、それぞれが奇数ラインデータmot data [i]（i＝0乃至3）のそれぞれに対応する処理を実行する。より詳細には、マッチング部１２８−１乃至１２８−４は、それぞれに対応してEN端子より入力されるイネーブル信号present read line for motion capture[i]（Write EN[i]）（i＝0乃至3）がそれぞれ有効であることを示す信号である場合、現在読み出されている奇数ラインデータmot data [i]と、伸張部（enlarge）１６２によりフレームメモリ１２７より読み出され、伸張された、対応する過去の奇数ラインデータmot data [i]の入力を受け付ける。マッチング部１２８−１乃至１２８−４は、TGT端子より現在の奇数ラインデータmot data [i]をターゲットデータtarget dataを受け付け、REF端子より伸張部１６２より供給されてくる過去の奇数ラインデータmot data [0:3]を参照データreference dataとすることで、相互のライン上における、相関の高いラインの画素配列の位置をマッチングにより検索する。そして、マッチング部１２８−１乃至１２８−４は、マッチングの検索結果として、垂直方向差分diffH、および水平方向差分diffW、並びに基準時刻baseTimeを動き検出部１２９に供給する。 The matching unit 128 includes matching units 128-1 to 128-4, each of which executes processing corresponding to each of odd-numbered line data mot data [i] (i = 0 to 3). More specifically, the matching units 128-1 to 128-4 correspond to the enable signals present read line for motion capture [i] (Write EN [i]) (i = 0 to 3) are signals indicating that each is valid, the odd line data mot data [i] that is currently read and the decompression unit (enlarge) 162 read from the frame memory 127 and decompressed, Accepts input of corresponding past odd line data mot data [i]. The matching units 128-1 to 128-4 receive the current odd line data mot data [i] from the TGT terminal and the target data target data, and the past odd line data mot data supplied from the decompression unit 162 from the REF terminal. By using [0: 3] as reference data reference data, the positions of pixel arrays of highly correlated lines are searched by matching on mutual lines. Then, the matching unit 128-1 through 128- 4 supplies a search result of the matching, the vertical difference DiffH, and horizontal difference DiffW, and the reference time baseTime to the motion detection unit 129.

動き検出部１２９は、奇数ラインデータmot data [0]乃至mot data [3]のそれぞれについての垂直方向差分diffH、および水平方向差分diffW、並びに基準時刻baseTimeに基づいて、それぞれの水平移動量deltaWperTwoClockHMおよび垂直移動量deltaHperTwoClockHMを動きとして検出し、検出結果を出力する。 Based on the vertical direction difference diffH and the horizontal direction difference diffW and the reference time baseTime for each of the odd-numbered line data mot data [0] to mot data [3], the motion detection unit 129 receives the respective horizontal movement amounts deltaWperTwoClockHM and The vertical movement amount deltaHperTwoClockHM is detected as a motion, and the detection result is output.

ところで、圧縮部１６１は、入力されてくる画素データを、例えば、１／８程度のデータ量に圧縮し、フレームメモリ１２７に記憶させる。また、伸張部１６２は、フレームメモリ１２７に記憶されている、圧縮された画素データを、例えば、８倍程度のデータ量に伸張する。フレームメモリ１２７に記憶される画素データは、マッチング部１２８が、マッチングに利用するのみであるので、高解像度で、データ量の大きな画像である必要がない。このため、フレームメモリ１２７は、小さな容量のもので事足り、一般的に必要とされるイメージセンサ１１より出力される１フレーム分の画素データを記憶することができるほどの容量は不要である。 By the way, the compression unit 161 compresses the input pixel data to a data amount of about 1/8, for example, and stores it in the frame memory 127. The decompressing unit 162 decompresses the compressed pixel data stored in the frame memory 127 to a data amount of about 8 times, for example. Since the pixel data stored in the frame memory 127 is only used for matching by the matching unit 128, it is not necessary to be an image with a high resolution and a large amount of data. For this reason, the frame memory 127 suffices to have a small capacity , and a capacity that can store pixel data for one frame output from the image sensor 11 that is generally required is unnecessary.

＜データセットメモリ、ラインメモリ、および補間部について＞
次に、図３３を参照して、ラインメモリ１３０、データセットメモリ１３１、および補間部１３２の構成について説明する。 <Data set memory, line memory, and interpolation unit>
Next, the configuration of the line memory 130, the data set memory 131, and the interpolation unit 132 will be described with reference to FIG.

データセットメモリ（Memory: Write Data Set only when timeHM is even.）１３１は、Data Set端子を介して入力される、過去水平方向読み出し開始位置read start pixel past、水平方向読み出し開始位置read start pixel、直前フレーム偶数ライン延長線上読み出し垂直座標line corresponding to start time of previous frame、現在フレーム偶数ライン上読み出し垂直座標line corresponding to start time of current frame、および、クロックtimeHM（クロックcurHMの遅延部（1 delay）１８１を介した値）を１組にパッキングしたデータセットとして、Write EN端子にイネーブル信号が入力されるとき、記憶する。 The data set memory (Memory: Write Data Set only when timeHM is even.) 131 is input via the Data Set terminal, the past horizontal read start position read start pixel past, the horizontal read start position read start pixel, immediately before Read vertical coordinate line corresponding to start time of previous frame on frame even line extension line, vertical coordinate line corresponding to start time of current frame read on even line of current frame, and clock timeHM (1 delay) 181 of clock curHM Stored as a data set packed in one set when the enable signal is input to the Write EN terminal.

これらデータセットは、後述するようにクロックclockHMの２サイクルに１回更新されるので、クロックtimeHMが奇数のときのみ、記録するように処理される。このデータセットは、クロックclockHMに同期して、現在の時刻において、どのラインのどの画素が読み出されるかを表す情報である。 Since these data sets are updated once every two cycles of the clock clockHM as will be described later, they are processed so as to be recorded only when the clock timeHM is an odd number. This data set is information indicating which pixel of which line is read out at the current time in synchronization with the clock clockHM.

次に、ラインメモリ１３０について説明する。 Next, the line memory 130 will be described.

ラインメモリ１３０は、In 0端子より偶数ラインデータimg dataを受け付け、イメージセンサ１１のWS×HS個の画素（受光素子）の中のどのライン（ｙ座標）のどの位置（ｘ座標）から読み出されたデータであるかという情報、すなわち、現在時刻読み出し偶数ラインpresent read line for image captureおよび整数水平方向読み出し開始位置read start pixel intの遅延部（1 delay）１８２を介した値を、一緒にパッキングして記憶する。また、ラインメモリ１３０は、Write EN 0端子に、現在時刻読み出し偶数ラインpresent read line for image captureが対応するラインである時、有効なデータあるものとみなし、偶数ラインデータimg dataを記憶する。 The line memory 130 receives even line data img data from the In 0 terminal and reads from which position (x coordinate) of which line (y coordinate) in the WS × HS pixels (light receiving elements) of the image sensor 11. Packing information together, that is, the value through the delay part (1 delay) 182 of the present time read even line present read line for image capture and the integer horizontal read start position read start pixel int And remember. Further, the line memory 130 considers that there is valid data when the present time read even line present read line for image capture corresponds to the Write EN 0 terminal, and stores even line data img data.

また、ラインメモリ１３０は、In 1端子を介して、奇数ラインデータmot data 3を受け付け、イメージセンサ１１のWS×HS個の画素（受光素子）の中のどのライン（ｙ座標）のどの位置（ｘ座標）から読み出されたデータであるかという情報、すなわち、現在時刻読み出し奇数ラインpresent read line for motion capture[3]および整数水平方向読み出し開始位置read start pixel intの遅延部（1 delay）１８２を介した値と一緒にパッキングして、記憶する。さらに、ラインメモリ１３０は、Write EN 1端子に、現在時刻読み出し奇数ラインpresent read line for motion capture[3]が対応するラインである時、有効なデータであるものとみなし、奇数ラインデータmot data 3を記憶する。 Further, the line memory 130 receives the odd line data mot data 3 via the In 1 terminal, and which position (y coordinate) of which line (y coordinate) in the WS × HS pixels (light receiving elements) of the image sensor 11 ( information indicating whether the data is read from the x coordinate), that is, the current time read odd line present read line for motion capture [3] and the integer horizontal direction read start position read start pixel int delay part (1 delay) 182 Pack together with the value via and store. Further, the line memory 130 regards the write EN 1 terminal as valid data when the present time read odd line present read line for motion capture [3] corresponds to the odd line data mot data 3 Remember.

次に、補間部１３２について説明する。 Next, the interpolation unit 132 will be described.

補間部１３２は、クロックclockHMに同期して、データセットメモリ１３１に記憶されている、どの時刻（上述のtimeHM）に、どのラインのどの画素を読み出せば良いかを示す情報から、クロックclockHに同期した各時刻において、どのラインのどの画素を読み出せば良いかという情報を求める。そして、補間部１３２は、この情報に基づいて、ラインメモリ１３０にアクセスし、対応する偶数ラインデータimg data、および奇数ラインデータmot data 3を用いて、現在のクロックclockHに対応するラインの画素を補間生成し、出力データOut Dataとして出力する。 The interpolation unit 132 synchronizes with the clock clockHM from the information stored in the data set memory 131 indicating which pixel of which line should be read at which time (the above-mentioned timeHM). Information about which pixel of which line should be read out at each synchronized time is obtained. Based on this information, the interpolation unit 132 accesses the line memory 130 and uses the corresponding even line data img data and the odd line data mot data 3 to determine the pixel of the line corresponding to the current clock clockH. Interpolated and output as output data Out Data.

＜画像データ出力処理＞
次に、図３４のフローチャートを参照して、撮像装置１０１の画像データ出力処理について説明する。 <Image data output processing>
Next, image data output processing of the imaging apparatus 101 will be described with reference to the flowchart of FIG.

ステップＳ１１において、制御部１２１は、図示せぬ露出計などにより測定される撮像領域の適正露出時間の情報を取得する。 In step S11, the control unit 121 acquires information on the appropriate exposure time of the imaging region measured by an exposure meter (not shown) or the like.

ステップＳ１２において、動き検出部１２９は、適正露光時間中のブレ量を測定する。すなわち、動き検出部１２９は、ライン単位の画素の動きを検出し、検出結果をブレ量として垂直制御部１２３、および水平制御部１２４に出力する。垂直制御部１２３は、ブレ量の情報に基づいて、イメージセンサ１１上の読み出し開始位置の情報を生成してタイミング制御部１２２、およびデータセットメモリ１３１に供給する。データセットメモリ１３１は、供給されてきた水平方向の読み出し開始位置の情報を記憶する。尚、ブレ量となる水平移動量deltaWperTwoClockHMおよび垂直移動量deltaHperTwoClockHMを求める処理については、図７０乃至図７２を参照して、詳細を後述する。 In step S12, the motion detector 129 measures the amount of blur during the appropriate exposure time. That is, the motion detection unit 129 detects the motion of the pixels in units of lines, and outputs the detection result to the vertical control unit 123 and the horizontal control unit 124 as a blur amount. The vertical control unit 123 generates information on the read start position on the image sensor 11 based on the blur amount information, and supplies the information to the timing control unit 122 and the data set memory 131. The data set memory 131 stores the information on the horizontal readout start position that has been supplied. Details of the process for obtaining the horizontal movement amount deltaWperTwoClockHM and the vertical movement amount deltaHperTwoClockHM, which are blurring amounts, will be described later with reference to FIGS.

ステップＳ１３において、タイミング制御部１２２は、イメージセンサ１１上の読み出し開始位置の情報に基づいて、露光時間が適正露光時間となるように偶数ラインに対してリセット信号を供給すると共に、適切なタイミングで読み出し信号を指示して読み出させる。イメージセンサ１１は、この指示に基づいて、偶数ラインについて、リセット信号、および読み出し信号に対応するラインの画素データを出力する。このとき、データセットメモリ１３１は、供給されてきた読み出される画素のラインの座標の情報を記憶する。 In step S13, the timing control unit 122 supplies a reset signal to the even lines based on the information of the reading start position on the image sensor 11 so that the exposure time becomes an appropriate exposure time, and at an appropriate timing. A read signal is instructed to be read. Based on this instruction, the image sensor 11 outputs the pixel data of the line corresponding to the reset signal and the readout signal for the even lines. At this time, the data set memory 131 stores the supplied coordinate information of the line of the pixel to be read out.

ステップＳ１４において、制御部１２１は、ブレ量に応じて奇数ラインのリセットと読み出しを繰り返す回数を特定し、特定した繰り返し回数、すなわち、等倍読み出し処理、２倍読み出し処理、および４回読み出し処理のいずれかを特定し、その回数を特定する情報をタイミング制御部１２２に供給する。 In step S <b> 14, the control unit 121 specifies the number of repetitions of resetting and reading the odd lines according to the blur amount, and specifies the specified number of repetitions, that is, the same-size reading process, the two-times reading process, and the four-time reading process. Any one of them is specified, and information for specifying the number of times is supplied to the timing control unit 122.

より具体的には、ブレ量が２画素未満である場合、タイミング制御部１２２は、等倍読み出し処理を実行するものとし、奇数ラインの画素データが偶数ラインの画素データの読み出し回数と同一である等倍読み出し処理である１回であることを示す情報をタイミング制御部１２２に供給する。 More specifically, when the amount of blur is less than two pixels, the timing control unit 122 performs the same-size reading process, and the pixel data of the odd lines is the same as the number of times of reading the pixel data of the even lines. Information indicating that it is a one-time read process is supplied to the timing control unit 122.

同様に、ブレ量が２画素以上で、かつ、４画素未満である場合、タイミング制御部１２２は、２倍読み出し処理を実行するものとし、奇数ラインの画素データを偶数ラインの画素データの露光時間を半分にして、リセットと読み出しを２回とする情報をタイミング制御部１２２に供給する。 Similarly, when the blur amount is 2 pixels or more and less than 4 pixels, the timing control unit 122 executes the double readout process, and converts the odd line pixel data into the even line pixel data exposure time. The timing control unit 122 is supplied with information indicating that reset and read are performed twice.

さらに、ブレ量が４画素以上である場合、タイミング制御部１２２は、４倍読み出し処理を実行するものとし、奇数ラインの画素データを偶数ラインの画素データの露光時間を１／４にして、リセットと読み出しを４回とする情報をタイミング制御部１２２に供給する。 Further, when the blur amount is 4 pixels or more, the timing control unit 122 executes the 4 times read process, resets the pixel data of the odd lines to the exposure time of the pixel data of the even lines, and resets them. And the information which reads out 4 times is supplied to the timing control part 122.

このような処理により、タイミング制御部１２２は、イメージセンサ１１上の読み出し開始位置の情報に基づいて、奇数ラインに対して等倍読み出し処理、２倍読み出し処理、および４倍読み出し処理のいずれかとなるようにリセット信号を供給すると共に、適切なタイミングで読み出し信号を指示して読み出させる。イメージセンサ１１は、この指示に基づいて、奇数ラインについて、リセット信号、および読み出し信号に対応するラインの画素データを出力する。 By such processing, the timing control unit 122 becomes any one of the 1 × read processing, 2 × read processing, and 4 × read processing for the odd lines based on the information of the read start position on the image sensor 11. Thus, the reset signal is supplied, and the read signal is instructed and read at an appropriate timing. Based on this instruction, the image sensor 11 outputs pixel data of the line corresponding to the reset signal and the readout signal for the odd lines.

以上の処理により順次出力される画素データは、パラレルシリアル変換部１２５に供給されて、パラレル信号からシリアル信号に変換されて、乗算部１２６に供給される。乗算部１２６は、タイミング制御部１２２より供給されてくる露光時間を調整する係数を乗じることで、各画素のゲインを調整してフレームメモリ１２７、マッチング部１２８、およびラインメモリ１３０に供給する。尚、偶数ラインおよび奇数ラインのリセットおよび読み出しに係る処理については、図４７乃至図６４を参照してより詳細な処理について後述する。 Pixel data sequentially output by the above processing is supplied to the parallel-serial conversion unit 125, converted from a parallel signal to a serial signal, and supplied to the multiplication unit 126. The multiplication unit 126 adjusts the gain of each pixel by multiplying the coefficient for adjusting the exposure time supplied from the timing control unit 122 and supplies the adjusted gain to the frame memory 127, the matching unit 128, and the line memory 130. Note that processing related to resetting and reading of even lines and odd lines will be described later in detail with reference to FIGS. 47 to 64.

ステップＳ１５において、補間部１３２は、データセットメモリ１３１に格納されているデータセットの情報に基づいて、ラインメモリ１３０に記憶されているライン単位の画素データに基づいて、偶数ラインの画素データと奇数ラインの画素データとを用いて、それらを合成することで画像を構成し、出力する。尚、補間部１３２の処理については、図７３乃至図７５を参照して詳細を後述する。 In step S <b> 15, the interpolation unit 132 calculates pixel data of even lines and odd numbers based on pixel data in units of lines stored in the line memory 130 based on data set information stored in the data set memory 131. An image is constructed and output by combining the pixel data of the line and combining them. Details of the processing of the interpolation unit 132 will be described later with reference to FIGS. 73 to 75.

ステップＳ１６において、制御部１２１は、所定の１フレーム分の処理に当てられている時間が経過するまで、処理を停止し、初手の時間が経過した場合、処理は、ステップＳ１１に戻り、それ以降の処理が繰り返される。 In step S <b> 16, the control unit 121 stops the process until the time allocated for the process for a predetermined one frame elapses, and when the first time elapses, the process returns to step S <b> 11 and thereafter. The process is repeated.

以上の処理により、偶数ラインにより、通常の適正露光時間の画像が取得され、奇数ラインによりブレ量に応じた露光時間の画像が取得され、これらが合成されることにより、ブレが抑制された画像を生成することが可能となる。尚、各処理の詳細な動作については、図３６以降を参照して後述する。 Through the above processing, an image with a normal appropriate exposure time is acquired with an even number of lines, an image with an exposure time according to the amount of blur is acquired with an odd number of lines, and these are combined to reduce blurring. Can be generated. The detailed operation of each process will be described later with reference to FIG.

＜読み出しライン制御処理＞
次に、図３５を参照して、読み出しライン制御処理について説明する。 <Read line control processing>
Next, the read line control process will be described with reference to FIG.

ステップＳ２１において、マッチング部１２８は、今現在読み出されている奇数ラインの画素データと、フレームメモリ１２７より読み出される奇数ラインの画素データであって、伸張部１６２により伸張されている奇数ラインの画素データとのマッチング処理により、相関の高い位置を検出し、検出結果を動き検出部１２９に供給する。動き検出部１２９は、この相関高い奇数ラインの画素データのそれぞれのフレーム内における垂直方向の移動距離に基づいて、１Ｈ（１ライン分）の処理時間での移動量ＭＶを求め、垂直制御部１２３に供給する。この移動量ＭＶは、上述した水平移動量deltaWperTwoClockHMおよび垂直移動量deltaHperTwoClockHMに対応するものである。 In step S <b> 21, the matching unit 128 detects the odd line pixel data that is currently read out and the odd line pixel data that is read from the frame memory 127 and is expanded by the expansion unit 162. A position with high correlation is detected by matching processing with data, and the detection result is supplied to the motion detection unit 129. The motion detection unit 129 obtains the movement amount MV in the processing time of 1H (for one line) based on the vertical movement distance of the pixel data of the odd-numbered odd line in each frame, and the vertical control unit 123 To supply. This movement amount MV corresponds to the horizontal movement amount deltaWperTwoClockHM and the vertical movement amount deltaHperTwoClockHM described above.

ステップＳ２２において、垂直制御部１２３は、移動量ＭＶに基づいて、直前で読み出したラインに対して（１−ＭＶ）だけずれたラインの画素データを読み出し開始位置とするように設定し、タイミング制御部１２２に供給する。 In step S22, the vertical control unit 123 sets the pixel data of the line shifted by (1-MV) with respect to the line read immediately before as the read start position based on the movement amount MV, and performs timing control. To the unit 122.

ステップＳ２３において、マッチング部１２８は、１Ｈ（１ライン）分の処理が終了するまで待機し、１Ｈ分の処理が終了すると、処理は、ステップＳ２１に戻り、それ以降の処理が繰り返される。 In step S23, the matching unit 128 waits until the processing for 1H (1 line) is completed. When the processing for 1H is completed, the processing returns to step S21, and the subsequent processing is repeated.

すなわち、以上の処理により、図１９を参照して説明したように、イメージセンサ１１により撮像された画像データを一時的に格納するフレームメモリを設けなくても、イメージセンサ１１のリセットと読み出しを調整するのみで画像データを読み出すことが可能となる。 That is, by the above processing, as described with reference to FIG. 19, the reset and readout of the image sensor 11 are adjusted without providing a frame memory for temporarily storing the image data captured by the image sensor 11. It is possible to read out image data simply by doing this.

尚、ここでは、フレームメモリを設けなくても、イメージセンサ１１のリセットと読み出しを調整するのみで画像データを読み出すことが可能であることを説明するためのポイントのみを簡易的な説明であるが、これらの詳細については、図４７乃至図６４を参照して後述するものとする。 Note that, here, only a point for explaining that image data can be read out only by adjusting reset and reading of the image sensor 11 without providing a frame memory is a simple explanation. Details thereof will be described later with reference to FIGS. 47 to 64.

＜水平制御部の処理＞
次に、図３６，図３７を参照して、水平制御部１２４の処理について説明する。尚、図３７のフローチャートにおいては、シンタックスによる記述を参照して説明する部位があり、一部、シンタックスにおけるパラメータの名称と、これまで説明してきたパラメータの名称とが異なる部位があるので、図３６を参照して、その対応関係を説明する。 <Processing of horizontal control unit>
Next, processing of the horizontal control unit 124 will be described with reference to FIGS. In the flowchart of FIG. 37, there is a part to be described with reference to the description by the syntax, and since there is a part where the name of the parameter in the syntax is different from the name of the parameter described so far, The correspondence relationship will be described with reference to FIG.

水平制御部１２４には、直前水平パンブレ割合attractive horizontal force for previous frame、直前水平基準位置designated pixel number which attracts the start of previous frame、水平移動量deltaWperTwoClockHM、クロックclockHMおよびライン番号curHMが入力される。また、水平制御部１２４は、これらの入力信号に基づいて、水平方向読み出し開始位置read start pixel、整数水平方向読み出し開始位置read start pixel int、および過去水平方向読み出し開始位置read start pixel pastを出力する。 The horizontal control unit 124 receives the immediately preceding horizontal panning ratio attractive horizontal force for previous frame, the immediately preceding horizontal reference position designed pixel number which attracts the start of previous frame, the horizontal movement amount deltaWperTwoClockHM, the clock clockHM, and the line number curHM. Further, based on these input signals, the horizontal control unit 124 outputs a horizontal readout start position read start pixel, an integer horizontal readout start position read start pixel int, and a past horizontal readout start position read start pixel past. .

ここで、図３７のフローチャートにおけるシンタックスにおいては、直前水平パンブレ割合attractive horizontal force for previous frameは、inWeightと表記され、直前水平基準位置designated pixel number which attracts the start of previous frameは、inTargetPixelと表記される。また、水平移動量deltaWperTwoClockHMは、inDと表記され、ライン番号curHMは、timeHMと表記される。また、水平方向読み出し開始位置read start pixelは、outS1と表記され、整数水平方向読み出し開始位置read start pixel intはoutS2と表記され、および過去水平方向読み出し開始位置read start pixel pastは、outS1pastと表記される。 Here, in the syntax in the flowchart of FIG. 37, the immediately preceding horizontal pan ratio is expressed as inWeight, and the immediately preceding horizontal reference position designated pixel number which attracts the start of previous frame is described as inTargetPixel. The The horizontal movement amount deltaWperTwoClockHM is expressed as inD, and the line number curHM is expressed as timeHM. Also, the horizontal readout start position read start pixel is expressed as outS1, the integer horizontal readout start position read start pixel int is expressed as outS2, and the past horizontal readout start position read start pixel past is expressed as outS1past. The

ここで、図３７のフローチャートを参照して、水平制御部１２４の処理について説明する。 Here, the processing of the horizontal control unit 124 will be described with reference to the flowchart of FIG.

ステップＳ５１において、水平制御部１２４は、ライン番号curHMであるtimeHMが０であるか否かを判定する。すなわち、供給されてくるフレームの先頭ラインであるか否かが判定され、例えば、先頭ラインである場合、処理は、ステップＳ５２に進む。 In step S51, the horizontal control unit 124 determines whether or not timeHM that is the line number curHM is zero. That is, it is determined whether or not it is the leading line of the supplied frame. For example, if it is the leading line, the process proceeds to step S52.

ステップＳ５２において、水平制御部１２４は、水平方向読み出し開始位置read start pixelであるoutS1に、水平移動量deltaWperTwoClockHMであるinDを加算して、新たな過去水平方向読み出し開始位置read start pixel pastであるoutS1pastを更新する。 In step S52, the horizontal control unit 124 adds inD that is the horizontal movement amount deltaWperTwoClockHM to outS1 that is the horizontal readout start position read start pixel, and outS1past that is the new past horizontal direction readout start position read start pixel past. Update.

また、水平制御部１２４は、直前水平パンブレ割合attractive horizontal force for previous frameである、inWeight（パンの重み）により、パンと考えられる水平方向の座標であるinTargetPixelと、手振れを加味した水平方向の座標である（outS1+inD）とを重み付けすることで、パンと手振れとを相互に加味した新たな水平方向読み出し開始位置read start pixelであるoutS1を求める。 In addition, the horizontal control unit 124 uses inWeight (the weight of the pan), which is the immediately preceding horizontal pan shake ratio attractive horizontal force for previous frame, inTargetPixel, which is a horizontal coordinate that is considered to be pan, and the horizontal coordinate that takes camera shake into account. (OutS1 + inD) is weighted to obtain outS1 which is a new horizontal readout start position read start pixel that takes into account panning and camera shake.

さらに、水平制御部１２４は、求められた新たな水平方向読み出し開始位置read start pixelであるoutS1をfloor関数により小数点以下を切り捨てることで、整数の座標であるoutS2を算出する。 Further, the horizontal control unit 124 calculates outS2 which is an integer coordinate by truncating outS1 which is the obtained new horizontal reading start position read start pixel by using the floor function.

一方、ステップＳ５１において、ライン番号curHMであるtimeHMが０でなく、供給されてくるフレームの先頭ラインではないとみなされた場合、処理は、ステップＳ５３に進む。 On the other hand, if timeHM, which is the line number curHM, is not 0 in step S51 and is not considered to be the first line of the supplied frame, the process proceeds to step S53.

ステップＳ５３において、水平制御部１２４は、ライン番号curHMであるtimeHMが偶数であるか否かを判定する。すなわち、供給されてくるフレームのラインが偶数であるか否かが判定され、例えば、偶数である場合、処理は、ステップＳ５４に進む。 In step S53, the horizontal control unit 124 determines whether or not timeHM that is the line number curHM is an even number. That is, it is determined whether or not the line of the supplied frame is an even number. For example, if it is an even number, the process proceeds to step S54.

ステップＳ５４において、水平制御部１２４は、過去水平方向読み出し開始位置read start pixel pastであるoutS1pastに、水平移動量deltaWperTwoClockHMであるinDを加算して、新たな過去水平方向読み出し開始位置read start pixel pastであるoutS1pastを更新する。 In step S54, the horizontal control unit 124 adds inD that is the horizontal movement amount deltaWperTwoClockHM to outS1past that is the past horizontal direction read start position read start pixel past, and at the new past horizontal direction read start position read start pixel past. Update some outS1past.

また、水平制御部１２４は、水平方向読み出し開始位置read start pixelであるoutS1に、水平移動量deltaWperTwoClockHMであるinDを加算して、新たな水平方向読み出し開始位置read start pixelであるoutS1を更新する。 Further, the horizontal control unit 124 adds inD, which is the horizontal movement amount deltaWperTwoClockHM, to outS1, which is the horizontal readout start position read start pixel, and updates outS1, which is a new horizontal direction readout start position read start pixel.

尚、ステップＳ５３において、ライン番号curHMであるtimeHMが偶数ではない場合、処理は終了する。 In step S53, if timeHM that is the line number curHM is not an even number, the process ends.

すなわち、以上の処理により、クロックcloclHMに同期して１サイクルに一回ずつこの処理が実行され、フレームの先頭ラインについては、パンと手振れの割合に応じて、水平方向読み出し開始位置read start pixelであるoutS1が設定された後は、偶数ライン毎に順次水平移動量deltaWperTwoClockHMであるinDが加算されていく。 That is, by the above processing, this processing is executed once per cycle in synchronization with the clock cloclHM, and the start line of the frame is read at the horizontal readout start position read start pixel according to the ratio of pan and camera shake. After a certain outS1 is set, inD that is the horizontal movement amount deltaWperTwoClockHM is sequentially added for each even line.

このような処理により手振れとパンとがバランスよく加味されるので、ローリングシャッタ現象を補正することが可能となる。 By such processing, camera shake and panning are added in a balanced manner, so that the rolling shutter phenomenon can be corrected.

＜垂直制御部の処理＞
次に、図３８，図３９を参照して、垂直制御部１２３の処理について説明する。尚、図３９のフローチャートにおいては、シンタックスによる記述を参照して説明する部位があり、一部、シンタックスにおけるパラメータの名称と、これまで説明してきたパラメータの名称とが異なる部位があるので、図３８を参照して、その対応関係を説明する。 <Processing of vertical control unit>
Next, processing of the vertical control unit 123 will be described with reference to FIGS. In the flowchart of FIG. 39, there is a part that will be described with reference to the description by the syntax, and because there is a part where the name of the parameter in the syntax is different from the name of the parameter that has been described so far. The correspondence relationship will be described with reference to FIG.

垂直制御部１２３には、現在垂直パンブレ割合attractive vertical force for current frame、現在垂直基準位置designated line number which attracts the start of current frame、垂直移動量deltaHperTwoClockHM、クロックclockHMおよびライン番号curHMが入力される。また、垂直制御部１２３は、直前フレーム偶数ライン延長線上読み出し垂直座標line corresponding to start time of previous frame、現在フレーム偶数ライン上読み出し垂直座標line corresponding to start time of current frame、および未来フレーム偶数ライン延長線上垂直座標line corresponding to start time of next frameを出力する。 The vertical control unit 123 receives a current vertical pan rate, an attractive vertical force for current frame, a current vertical reference position designed line number which attracts the start of current frame, a vertical movement amount deltaHperTwoClockHM, a clock clockHM, and a line number curHM. Also, the vertical control unit 123 reads the vertical coordinate line corresponding to start time of previous frame, the current frame even line read vertical coordinate line corresponding to start time of current frame, and the future frame even line extension line. The vertical coordinate line corresponding to start time of next frame is output.

ここで、図３９のフローチャートにおけるシンタックスにおいては、現在垂直パンブレ割合attractive vertical force for current frameは、inWeightと表記され、現在垂直基準位置designated line number which attracts the start of current frameは、inTargetLineと表記される。また、垂直移動量deltaHperTwoClockHMは、inDと表記され、ライン番号curHMは、timeHMと表記される。また、直前フレーム偶数ライン延長線上読み出し垂直座標line corresponding to start time of previous frameは、outPと表記され、現在フレーム偶数ライン上読み出し垂直座標line corresponding to start time of current frameは、outCと表記され、未来フレーム偶数ライン延長線上垂直座標line corresponding to start time of next frameは、outNと表記される。 Here, in the syntax in the flowchart of FIG. 39, the current vertical pan rate ratio attractive vertical force for current frame is expressed as inWeight, and the current vertical reference position designed line number which attracts the start of current frame is expressed as inTargetLine. The The vertical movement amount deltaHperTwoClockHM is expressed as inD, and the line number curHM is expressed as timeHM. In addition, the vertical coordinate line corresponding to start time of previous frame read on the even line extension line of the immediately preceding frame is expressed as outP, and the vertical coordinate read out on even line of the current frame line corresponding to start time of current frame is expressed as outC, and the future. The vertical coordinate line corresponding to start time of next frame on the even line extension line is expressed as outN.

ここで、図３９のフローチャートを参照して、垂直制御部１２３の処理について説明する。 Here, the processing of the vertical control unit 123 will be described with reference to the flowchart of FIG.

ステップＳ６１において、垂直制御部１２３は、ライン番号curHMであるtimeHMが０であるか否かを判定する。すなわち、供給されてくるフレームの先頭ラインであるか否かが判定され、例えば、先頭ラインである場合、処理は、ステップＳ６２に進む。 In step S61, the vertical control unit 123 determines whether or not timeHM that is the line number curHM is zero. That is, it is determined whether or not it is the leading line of the supplied frame. For example, if it is the leading line, the process proceeds to step S62.

ステップＳ６２において、垂直制御部１２３は、現在フレーム偶数ライン上読み出し垂直座標line corresponding to start time of current frameであるoutCに、垂直移動量deltaHperTwoClockHMであるinDを加算して、新たに、直前フレーム偶数ライン延長線上読み出し垂直座標line corresponding to start time of previous frameであるoutPを更新する。 In step S62, the vertical control unit 123 adds inD, which is the vertical movement amount deltaHperTwoClockHM, to outC, which is the vertical coordinate line corresponding to start time of current frame, which is read on the current frame even line. Read out on extension line and update outP which is the vertical coordinate line corresponding to start time of previous frame.

ここで、tmp1は、1フレーム前の現在垂直基準位置designated line number which attracts the start of current frameであるinTargetLineからフレームの垂直方向の幅Hだけ減算された値である。また、tmp2は、1フレーム前の現在フレーム偶数ライン上読み出し垂直座標line corresponding to start time of current frameであるoutCからフレームの垂直方向の幅Hだけ減算された値である。さらに、weightは1フレーム前のinWeightである。 Here, tmp1 is a value obtained by subtracting the width H in the vertical direction of the frame from inTargetLine which is the current vertical reference position designated line number which attracts the start of current frame one frame before. Further, tmp2 is a value obtained by subtracting the width H in the vertical direction of the frame from outC which is the vertical coordinate line corresponding to start time of current frame read out on the even frame of the current frame one frame before. Furthermore, weight is inWeight one frame before.

すなわち、（tmp1＋（2×H/HM））は、クロックclockHMの2サイクル分垂直方向に移動したときのパンにより特定されるラインであり、例えば、図２４における画素Ｐ１３のラインである。また、（tmp2＋inD）は、手振れにより特定されるラインであり、例えば、図２４における画素Ｐ１１のラインである。 That is, (tmp1 + (2 × H / HM)) is a line specified by panning when moving in the vertical direction by two cycles of the clock clockHM, for example, the line of the pixel P13 in FIG. Further, (tmp2 + inD) is a line specified by camera shake, for example, the line of the pixel P11 in FIG.

すなわち、垂直制御部１２３は、現在垂直パンブレ割合attractive vertical force for current frameであるinWeight（パンの重み）により、パンによる垂直方向の座標である（tmp1＋（2×H/HM））と、手振れを加味した垂直方向の座標である（tmp2＋inD）とを重み付けすることで、現在フレーム偶数ライン上読み出し垂直座標line corresponding to start time of current frameであるoutCを求める。 That is, the vertical control unit 123 uses the current vertical pan blur ratio attractive vertical force for current frame inWeight (pan weight) to indicate the vertical coordinate by the pan (tmp1 + (2 × H / HM)), and shake the camera shake. The weighted vertical coordinate (tmp2 + inD) is added to obtain the outC which is the vertical coordinate line corresponding to start time of current frame read out on the even line of the current frame.

さらに、垂直制御部１２３は、パンによる垂直方向の座標としてtmp1を用い、手振れによる垂直方向の座標としてtmp2を用いることで、現在垂直パンブレ割合attractive vertical force for current frameであるinWeight（パンの重み）を用いて、パンと手振れとを相互に加味した未来フレーム偶数ライン延長線上垂直座標line corresponding to start time of next frameであるoutNを算出する。 Further, the vertical control unit 123 uses tmp1 as the vertical coordinate by panning and tmp2 as the vertical coordinate by camera shake, so that inWeight (pan weight) that is the current vertical panning ratio attractive vertical force for current frame is used. Is used to calculate outN which is a vertical coordinate line corresponding to the start line of the future frame even line extension, taking into account the pan and camera shake.

すなわち、直前フレーム偶数ライン延長線上読み出し垂直座標line corresponding to start time of previous frameであるoutPは、図２５の点線Ｌ３５１上の垂直方向の座標である。また、現在フレーム偶数ライン上読み出し垂直座標line corresponding to start time of current frameであるoutCは、図２５における実線Ｌ３４２上の垂直方向の座標である。さらに、未来フレーム偶数ライン延長線上垂直座標line corresponding to start time of next frameであるoutNは、図２５における点線Ｌ３７１上の垂直方向の座標である。すなわち、このように、偶数ラインにおける過去、現在、および未来の垂直方向の座標が求められる。 That is, outP which is the vertical coordinate line corresponding to start time of previous frame read out on the even-line extension line of the immediately preceding frame is the vertical coordinate on the dotted line L351 in FIG. Further, outC, which is the vertical coordinate line corresponding to start time of current frame read out on the even-numbered line of the current frame, is the vertical coordinate on the solid line L342 in FIG. Further, outN which is the vertical coordinate line corresponding to start time of next frame on the future frame even line extension line is a vertical coordinate on the dotted line L371 in FIG. In other words, the past, present, and future vertical coordinates in the even lines are thus obtained.

一方、ステップＳ６１において、ライン番号curHMであるtimeHMが０でなく、供給されてくるフレームの先頭ラインではないとみなされた場合、処理は、ステップＳ６３に進む。 On the other hand, if it is determined in step S61 that timeHM which is the line number curHM is not 0 and is not the first line of the supplied frame, the process proceeds to step S63.

ステップＳ６３において、垂直制御部１２３は、ライン番号curHMであるtimeHMが偶数であるか否かを判定する。すなわち、供給されてくるフレームのラインが偶数であるか否かが判定され、例えば、偶数である場合、処理は、ステップＳ６４に進む。 In step S63, the vertical control unit 123 determines whether timeHM that is the line number curHM is an even number. That is, it is determined whether or not the line of the supplied frame is an even number. For example, if it is an even number, the process proceeds to step S64.

ステップＳ６４において、垂直制御部１２３は、直前フレーム偶数ライン延長線上読み出し垂直座標line corresponding to start time of previous frameであるoutPに、垂直移動量deltaHperTwoClockHMであるinDを加算して、新たに、直前フレーム偶数ライン延長線上読み出し垂直座標line corresponding to start time of previous frameであるoutPを更新する。 In step S64, the vertical control unit 123 adds inD, which is the vertical movement amount deltaHperTwoClockHM, to outP, which is the vertical coordinate line corresponding to start time of previous frame, which is read on the even frame extension line of the previous frame. Read out on the line extension line and update outP which is the vertical coordinate line corresponding to start time of previous frame.

また、垂直制御部１２３は、tmp1にクロックclockHMの２サイクル分で考慮すべき（2×H/HM）を加算して更新し、tmp2、outCにクロックclockHMの２サイクル分で考慮すべき垂直移動量deltaHperTwoClockHMであるinDを加算して更新する。 Also, the vertical control unit 123 updates tmp1 by adding (2 × H / HM) to be considered for two cycles of the clock clockHM, and vertical movement to be considered for two cycles of the clock clockHM to tmp2 and outC. Update by adding inD, which is the amount deltaHperTwoClockHM.

さらに、垂直制御部１２３は、２サイクル分のパンが考慮された垂直方向の座標tmp1と、２サイクル分の手振れが考慮された垂直方向の座標tmp2とを重みweightにより重み付けして、パンと手振れとを相互に加味した未来フレーム偶数ライン延長線上垂直座標line corresponding to start time of next frameであるoutNを更新する。 Further, the vertical control unit 123 weights the vertical coordinate tmp1 in consideration of panning for two cycles and the vertical coordinate tmp2 in consideration of camera shake for two cycles with a weight weight, and panning and camera shake. OutN which is the vertical coordinate line corresponding to the start line of the even frame, and the corresponding frame to the start time of next frame.

尚、ステップＳ６３において、ライン番号curHMであるtimeHMが偶数ではない場合、処理は終了する。 In step S63, if timeHM which is the line number curHM is not an even number, the process ends.

すなわち、以上の処理により、クロックcloclHMに同期して１サイクルに一回ずつこの処理が実行され、フレームの先頭ラインについては、パンと手振れの割合に応じて、直前フレーム偶数ライン延長線上読み出し垂直座標line corresponding to start time of previous frameであるoutP、現在フレーム偶数ライン上読み出し垂直座標line corresponding to start time of current frameであるoutC、および、未来フレーム偶数ライン延長線上垂直座標line corresponding to start time of next frameであるoutNが更新される。 In other words, the above processing is executed once per cycle in synchronization with the clock cloclHM. For the first line of the frame, the read vertical coordinate on the even-line extension line of the immediately preceding frame according to the ratio of pan and camera shake. line corresponding to start time of previous frame outP, current frame even line read vertical coordinate line corresponding to start time of current frame outC, and future frame even line extension vertical coordinate line corresponding to start time of next frame OutN is updated.

＜タイミング制御部の第１の処理について＞
次に、図４０，図４１を参照して、タイミング制御部１２２の第１の処理について説明する。尚、図４１のフローチャートにおいては、シンタックスによる記述を参照して説明する部位があり、一部、シンタックスにおけるパラメータの名称と、これまで説明してきたパラメータの名称とが異なる部位があるので、図４０を参照して、その対応関係を説明する。 <About the first process of the timing control unit>
Next, the first process of the timing control unit 122 will be described with reference to FIGS. 40 and 41. In the flowchart of FIG. 41, there is a part to be described with reference to the description by the syntax, and since there is a part in which the name of the parameter in the syntax is different from the name of the parameter described so far, The correspondence relationship will be described with reference to FIG.

タイミング制御部１２２には、サブ演算ブロック２１１乃至２１３が設けられており、それぞれクロックclockHMに同期して、クロックclockHMの１サイクルに１回、それぞれの処理が実行される。 The timing control unit 122 includes sub-operation blocks 211 to 213, and each process is executed once in one cycle of the clock clockHM in synchronization with the clock clockHM.

サブ演算ブロック２１１には、現在フレーム偶数ライン露光時間exposure time for current image capture、ライン番号curHM、およびクロックclockHMが入力される。また、サブ演算ブロック２１１は、入力信号に基づいて、現在フレーム偶数ライン露光時間exp time for cur image capt、および直前フレーム偶数ライン露光時間exp time for prev image captを出力する。 The sub-operation block 211 receives the current frame even line exposure time exposure time for current image capture, the line number curHM, and the clock clockHM. The sub-operation block 211 outputs the current frame even line exposure time exp time for cur image capt and the previous frame even line exposure time exp time for prev image capt based on the input signal.

ここで、図４１のシンタックスにおいては、現在フレーム偶数ライン露光時間exposure time for current image captureはinと表記され、ライン番号curHMはtimeHMと表記される。また、現在フレーム偶数ライン露光時間exp time for cur image captはout1と表記され、直前フレーム偶数ライン露光時間exp time for prev image captはout2と表記される。 Here, in the syntax of FIG. 41, the current frame even line exposure time exposure time for current image capture is expressed as in, and the line number curHM is expressed as timeHM. The current frame even line exposure time exp time for cur image capt is expressed as out1, and the immediately previous frame even line exposure time exp time for prev image capt is expressed as out2.

サブ演算ブロック２１２には、現在奇数フレーム読み出し回数number of readout per frame for current motion capture、ライン番号curHM、およびクロックclockHMが入力される。また、サブ演算ブロック２１２は、入力信号に基づいて、現在奇数フレーム読み出し回数num of read for cur motion capt、および直前奇数フレーム読み出し回数num of read for prev motion captを出力する。 The sub-operation block 212 is supplied with the current number of readout per frame for current motion capture, the line number curHM, and the clock clockHM. Also, the sub-operation block 212 outputs the current odd frame read count num of read for cur motion capt and the previous odd frame read count num of read for prev motion capt based on the input signal.

ここで、図４１のシンタックスにおいては、現在奇数フレーム読み出し回数number of readout per frame for current motion captureはinと表記され、ライン番号curHMはtimeHMと表記される。また、現在奇数フレーム読み出し回数num of read for cur motion captはout1と表記され、直前奇数フレーム読み出し回数num of read for prev motion captはout2と表記される。 Here, in the syntax of FIG. 41, the current odd number of frame readout times number of readout per frame for current motion capture is expressed as in, and the line number curHM is expressed as timeHM. In addition, the current odd frame read count num of read for curv motion capt is expressed as out1, and the previous odd frame read count num of read for prev motion capt is expressed as out2.

サブ演算ブロック２１３には、現在フレーム奇数ライン露光時間exposure time for current motion capture、ライン番号curHM、およびクロックclockHMが入力される。また、サブ演算ブロック２１３は、入力信号に基づいて、現在フレーム奇数ライン露光時間exp time for cur motion capt、および直前フレーム奇数ライン露光時間exp time for prev motion captを出力する。 The sub-operation block 213 receives the current frame odd line exposure time exposure time for current motion capture, the line number curHM, and the clock clockHM. The sub-operation block 213 outputs the current frame odd line exposure time exp time for cur motion capt and the previous frame odd line exposure time exp time for prev motion capt based on the input signal.

ここで、図４１のシンタックスにおいては、現在フレーム奇数ライン露光時間exposure time for current motion captureはinと表記され、ライン番号curHMはtimeHMと表記される。また、現在フレーム奇数ライン露光時間exp time for cur motion captはout1と表記され、直前フレーム奇数ライン露光時間exp time for prev motion captはout2と表記される。 Here, in the syntax of FIG. 41, the current frame odd line exposure time exposure time for current motion capture is expressed as in, and the line number curHM is expressed as timeHM. The current frame odd line exposure time exp time for cur motion capt is expressed as out1, and the previous frame odd line exposure time exp time for prev motion capt is expressed as out2.

次に、図４１のフローチャートを参照して、タイミング制御部１２２の第１の処理について説明する。 Next, the first process of the timing control unit 122 will be described with reference to the flowchart of FIG.

ステップＳ８１において、サブ演算ブロック２１１は、ライン番号curHMであるtimeHMが０であるか否かを判定する。すなわち、供給されてくるフレームの先頭ラインであるか否かが判定され、例えば、先頭ラインである場合、処理は、ステップＳ８２に進む。 In step S81, the sub-operation block 211 determines whether timeHM that is the line number curHM is 0 or not. That is, it is determined whether or not it is the leading line of the supplied frame. For example, if it is the leading line, the process proceeds to step S82.

ステップＳ８２において、サブ演算ブロック２１１は、直前フレーム偶数ライン露光時間exp time for prev image captであるout2に、現在フレーム偶数ライン露光時間exp time for cur image captであるout1を代入する。また、サブ演算ブロック２１１は、現在フレーム偶数ライン露光時間exp time for cur image captであるout1に、現在フレーム偶数ライン露光時間exposure time for current image captureであるinを代入する。 In step S82, the sub-operation block 211 substitutes out1, which is the current frame even line exposure time exp time for cur image capt, to out2, which is the previous frame even line exposure time exp time for prev image capt. Also, the sub-operation block 211 substitutes in which is the current frame even line exposure time exposure time for current image capture into out1 which is the current frame even line exposure time exp time for cur image capt.

サブ演算ブロック２１２，２１３においては、ステップＳ８２の処理が異なる。 In the sub-operation blocks 212 and 213, the processing in step S82 is different.

すなわち、サブ演算ブロック２１２の場合、ステップＳ８２においては、サブ演算ブロック２１２は、直前奇数フレーム読み出し回数num of read for prev motion captであるout2に、現在奇数フレーム読み出し回数num of read for cur motion captであるout1を代入する。また、サブ演算ブロック２１２は、現在奇数フレーム読み出し回数num of read for cur motion captであるout1に、現在奇数フレーム読み出し回数number of readout per frame for current motion captureであるinを代入する。 That is, in the case of the sub operation block 212, in step S82, the sub operation block 212 sets the current odd frame read count num of read for cur motion capt to out2, which is the previous odd frame read count num of read for prev motion capt. Assign a certain out1. In addition, the sub-operation block 212 substitutes “in” which is the current odd frame read number “number of readout per frame for current motion capture” for out1 which is the current odd frame read number “num of read for cur motion capt”.

また、サブ演算ブロック２１３の場合、ステップＳ８２においては、サブ演算ブロック２１３は、直前フレーム奇数ライン露光時間exp time for prev motion captであるout2に、現在フレーム奇数ライン露光時間exp time for cur motion captであるout1を代入する。また、サブ演算ブロック２１３は、現在フレーム奇数ライン露光時間exp time for cur motion captであるout1に、現在フレーム奇数ライン露光時間exposure time for current motion captureであるinを代入する。 In the case of the sub operation block 213, in step S82, the sub operation block 213 sets the current frame odd line exposure time exp time for cur motion capt to out2 which is the previous frame odd line exposure time exp time for prev motion capt. Assign a certain out1. Further, the sub-operation block 213 substitutes in which is the current frame odd line exposure time exposure time for current motion capture into out1 which is the current frame odd line exposure time exp time for cur motion capt.

すなわち、サブ演算ブロック２１１乃至２１３は、クロックclockHMに同期して、クロックclockHMの１サイクルに１回、上述した処理が繰り返し実行される。 That is, the sub-operation blocks 211 to 213 repeatedly execute the above-described processing once in one cycle of the clock clockHM in synchronization with the clock clockHM.

＜タイミング制御部の第２の処理および第３の処理について＞
次に、図４２乃至図４５を参照して、タイミング制御部１２２の第２の処理、および第３の処理について説明する。尚、図４５のフローチャートにおいては、シンタックスによる記述を参照して説明する部位があり、一部、シンタックスにおけるパラメータの名称と、これまで説明してきたパラメータの名称とが異なる部位があるので、図４２乃至図４４を参照して、その対応関係を説明する。 <About the second process and the third process of the timing control unit>
Next, the second process and the third process of the timing control unit 122 will be described with reference to FIGS. 42 to 45. Incidentally, in the flowchart of FIG. 45, there is a part to be described with reference to the description by the syntax, and since there is a part where the name of the parameter in the syntax is different from the name of the parameter described so far, The correspondence will be described with reference to FIGS.

図４２で示されるように、タイミング制御部１２２には、第２の処理を実行するためのサブ演算ブロック（Comp Timing）２２１が設けられている。 As shown in FIG. 42, the timing control unit 122 is provided with a sub-operation block (Comp Timing) 221 for executing the second process.

サブ演算ブロック２２１には、直前フレーム偶数ライン延長線上読み出し垂直座標line corresponding to start time of previous frame、および現在フレーム偶数ライン上読み出し垂直座標line corresponding to start time of current frameが入力される。 The sub-computation block 221 receives the read-out vertical coordinate line corresponding to start time of previous frame, and the read-out vertical coordinate line corresponding to start line of current frame.

また、サブ演算ブロック２２１には、直前フレーム偶数ライン露光時間exp time for prev image capt、および直前フレーム奇数ライン露光時間exp time for prev motion captが入力される。 The sub-operation block 221 receives the previous frame even line exposure time exp time for prev image capt and the previous frame odd line exposure time exp time for prev motion capt.

さらに、サブ演算ブロック２２１は、入力信号に基づいて、直前読み出し偶数ライン位置read position for previous image capture、および直前リセット偶数ライン位置reset position for previous image captureを出力する。 Further, the sub-operation block 221 outputs the previous read even line position read position for previous image capture and the previous reset even line position reset position for previous image capture based on the input signal.

また、サブ演算ブロック２２１は、直前読み出し奇数ライン位置read position for previous motion capture[0:3]、および直前リセット奇数ライン位置reset position for previous motion capture[0:3]を出力する。 Further, the sub-operation block 221 outputs the previous read odd line position read position for previous motion capture [0: 3] and the previous reset odd line position reset position for previous motion capture [0: 3].

ここで、図４５のシンタックスにおいては、直前フレーム偶数ライン延長線上読み出し垂直座標line corresponding to start time of previous frameは、startLineOldFrmと表記され、現在フレーム偶数ライン上読み出し垂直座標line corresponding to start time of current frameは、startLineNewFrmと表記される。また、直前フレーム偶数ライン露光時間exp time for prev image captは、expImgCaptと表記され、直前フレーム奇数ライン露光時間exp time for prev motion captは、expMotCaptと表記される。 Here, in the syntax of FIG. 45, the readout vertical coordinate line corresponding to start time of previous frame is expressed as startLineOldFrm, and the readout vertical coordinate line corresponding to start time of current of the current frame is even. The frame is expressed as startLineNewFrm. The previous frame even line exposure time exp time for prev image capt is expressed as expImgCapt, and the previous frame odd line exposure time exp time for prev motion capt is expressed as expMotCapt.

さらに、直前読み出し偶数ライン位置read position for previous image captureは、readPositionForImageCaptと表記され、直前リセット偶数ライン位置reset position for previous image captureは、resetPositionForImageCaptと表記される。また、直前読み出し奇数ライン位置read position for previous motion capture[0:3]は、readPositionForMotCapt[0:3]と表記され、直前リセット奇数ライン位置reset position for previous motion capture[0:3]は、resetPositionForMotCapt[0:3]と表記される。 Further, the previous read even line position read position for previous image capture is expressed as readPositionForImageCapt, and the previous reset even line position reset position for previous image capture is expressed as resetPositionForImageCapt. In addition, the previous read odd line position read position for previous motion capture [0: 3] is expressed as readPositionForMotCapt [0: 3], and the previous reset odd line position reset position for previous motion capture [0: 3] is resetPositionForMotCapt [ 0: 3].

また、図４３で示されるように、タイミング制御部１２２には、第３の処理を実行するためのサブ演算ブロック（Comp Timing）２３１が設けられている。 As shown in FIG. 43, the timing control unit 122 is provided with a sub-operation block (Comp Timing) 231 for executing the third process.

サブ演算ブロック２３１には、現在フレーム偶数ライン延長線上読み出し垂直座標line corresponding to start time of current frame、および未来フレーム偶数ライン上読み出し垂直座標line corresponding to start time of next frameが入力される。また、サブ演算ブロック２３１には、現在フレーム偶数ライン露光時間exp time for cur image capt、および、現在フレーム奇数ライン露光時間exp time for cur motion captが入力される。 The sub-operation block 231 receives the current frame even line extension vertical line readout corresponding to start time of current frame and the future frame even line readout vertical coordinate line corresponding to start time of next frame. The sub-operation block 231 receives the current frame even line exposure time exp time for cur image capt and the current frame odd line exposure time exp time for cur motion capt.

また、サブ演算ブロック２３１は、入力信号に基づいて、現在読み出し偶数ライン位置read position for current image capture、および現在リセット偶数ライン位置reset position for current image captureを出力する。また、サブ演算ブロック２３１は、現在読み出し奇数ライン位置read position for current motion capture[0:3]、および現在リセット奇数ライン位置reset position for current motion capture[0:3]を出力する。 The sub-operation block 231 outputs a current read even line position read position for current image capture and a current reset even line position reset position for current image capture based on the input signal. Further, the sub-operation block 231 outputs the current read odd line position read position for current motion capture [0: 3] and the current reset odd line position reset position for current motion capture [0: 3].

ここで、図４５のシンタックスにおいては、現在フレーム偶数ライン延長線上読み出し垂直座標line corresponding to start time of current frameは、startLineOldFrmと表記され、未来フレーム偶数ライン上読み出し垂直座標line corresponding to start time of next frameは、startLineNewFrmと表記される。また、現在フレーム偶数ライン露光時間exp time for cur image captは、expimgCaptと表記され、現在フレーム奇数ライン露光時間exp time for cur motion captは、expMotCaptと表記される。 Here, in the syntax of FIG. 45, the vertical coordinate line corresponding to start time of current frame on the current frame even line extension line is expressed as startLineOldFrm, and the vertical coordinate read on the future frame even line line corresponding to start time of next. The frame is expressed as startLineNewFrm. The current frame even line exposure time exp time for cur image capt is expressed as expimgCapt, and the current frame odd line exposure time exp time for cur motion capt is expressed as expMotCapt.

さらに、現在読み出し偶数ライン位置read position for current image captureは、readPositionForImageCaptと表記され、現在リセット偶数ライン位置reset position for current image captureは、resetPositionForImageCaptと表記される。また、現在読み出し奇数ライン位置read position for current motion capture[0:3]は、readPositionForMotCapt[0:3]と表記され、現在リセット奇数ライン位置reset position for current motion capture[0:3]は、resetPositionForMotCapt[0:3]と表記される。 Further, the current read even line position read position for current image capture is expressed as readPositionForImageCapt, and the current reset even line position reset position for current image capture is expressed as resetPositionForImageCapt. The current read odd line position read position for current motion capture [0: 3] is expressed as readPositionForMotCapt [0: 3], and the current reset odd line position reset position for current motion capture [0: 3] is resetPositionForMotCapt [ 0: 3].

すなわち、サブ演算ブロック２２１，２３１は、いずれも図４４で示されるように、同様の処理を実行する。すなわち、サブ演算ブロック２２１，２３１には、いずれも、シンタックスで表記されるパラメータのstartLineOldFrm、startLineNewFrm、expimgCapt、およびexpMotCaptが入力される。また、サブ演算ブロック２２１，２３１は、いずれも、この入力信号に基づいて、readPositionForImageCapt、resetPositionForImageCapt、readPositionForMotCapt[0:3]、およびresetPositionForMotCapt[0:3]を出力する。 That is, each of the sub-operation blocks 221 and 231 executes the same processing as shown in FIG. That is, in each of the sub-operation blocks 221 and 231, parameters startLineOldFrm, startLineNewFrm, expimgCapt, and expMotCapt expressed in syntax are input. Also, each of the sub-operation blocks 221 and 231 outputs readPositionForImageCapt, resetPositionForImageCapt, readPositionForMotCapt [0: 3], and resetPositionForMotCapt [0: 3] based on this input signal.

次に、図４５のフローチャートを参照して、サブ演算ブロック２２１の処理について説明する。 Next, processing of the sub-operation block 221 will be described with reference to the flowchart of FIG.

ステップＳ１０１において、サブ演算ブロック２２１は、直前フレーム偶数ライン延長線上読み出し垂直座標line corresponding to start time of previous frameであるstartLineOldFrmから、現在フレーム偶数ライン上読み出し垂直座標line corresponding to start time of current frameであるstartLineNewFrmを減算し、これをHMで除することにより垂直方向の変化量dHを算出する。 In step S101, the sub-operation block 221 is the read-out vertical coordinate line corresponding to start time of the current frame from startLineOldFrm which is the read-out vertical coordinate line corresponding to start time of the previous frame. Subtract startLineNewFrm and divide this by HM to calculate the amount of change dH in the vertical direction.

ステップＳ１０２において、サブ演算ブロック２２１は、直前フレーム偶数ライン延長線上読み出し垂直座標line corresponding to start time of previous frameであるstartLineOldFrmから１クロックclockHM当たりの垂直方向の変化量dHにHMを乗じた値を減算することで、直前読み出し偶数ライン位置read position for previous image captureであるreadPositionForImageCaptを算出する。 In step S102, the sub-operation block 221 subtracts a value obtained by multiplying the vertical change amount dH per clock clockHM by HM from startLineOldFrm which is the vertical coordinate line corresponding to start time of previous frame read out on the previous frame even line extension line. As a result, readPositionForImageCapt which is the read position for previous image capture is calculated.

ステップＳ１０３において、サブ演算ブロック２２１は、直前読み出し偶数ライン位置read position for previous image captureであるreadPositionForImageCaptに、直前フレーム偶数ライン露光時間exp time for prev image captであるexpImgCaptに１クロックclockHM当たりの垂直方向の変化量dHを乗じた値を加算することにより、直前リセット偶数ライン位置reset position for previous image captureであるresetPositionForImageCaptを算出する。 In step S103, the sub-operation block 221 sets the readPositionForImageCapt which is the previous read even line position read position for previous image capture, the expImgCapt which is the previous frame even line exposure time exp time for prev image capt, in the vertical direction per clock clockHM. A value obtained by multiplying the change amount dH is added to calculate resetPositionForImageCapt which is a reset position for previous image capture.

ステップＳ１０４において、サブ演算ブロック２２１は、直前フレーム偶数ライン延長線上読み出し垂直座標line corresponding to start time of previous frameであるstartLineOldFrmから１クロックclockHM当たりの垂直方向の変化量dHに、４倍読み出し処理における奇数ラインとして、それぞれHMに１／４、２／４、３／４、および４／４を乗じた値を減算することで、直前読み出し奇数ライン位置read position for previous motion capture[0:3]であるreadPositionForMotCapt[0:3]を算出する。 In step S104, the sub-operation block 221 converts the vertical coordinate line corresponding to start time of previous frame from startLineOldFrm to the vertical change amount dH per clock clockHM to the odd number in the quadruple read processing. By subtracting the values obtained by multiplying HM by 1/4, 2/4, 3/4, and 4/4 as lines, the previous read odd line position is read position for previous motion capture [0: 3]. ReadPositionForMotCapt [0: 3] is calculated.

ステップＳ１０５において、サブ演算ブロック２２１は、直前読み出し奇数ライン位置read position for previous motion capture[0:3]であるreadPositionForMotCapt[0:3]に、直前フレーム奇数ライン露光時間exp time for prev motion captであるexpMotCaptに垂直方向の変化量dHを乗じた値を加算することにより、直前リセット奇数ライン位置reset position for previous motion capture[0:3]であるresetPositionForMotCapt[0:3]を算出する。 In step S105, the sub-operation block 221 sets the previous frame odd line exposure time exp time for prev motion capt to readPositionForMotCapt [0: 3] which is the previous read odd line position read position for previous motion capture [0: 3]. By adding a value obtained by multiplying expMotCapt by the vertical change amount dH, resetPositionForMotCapt [0: 3] which is the reset line for previous motion capture [0: 3] is calculated.

同様に、サブ演算ブロック２３１の処理についても同様となる。 Similarly, the processing in the sub-operation block 231 is the same.

すなわち、ステップＳ１０１において、サブ演算ブロック２３１は、現在フレーム偶数ライン延長線上読み出し垂直座標line corresponding to start time of current frameであるstartLineOldFrmから、未来フレーム偶数ライン上読み出し垂直座標line corresponding to start time of next frameであるstartLineNewFrmを減算し、これをHMで除することにより垂直方向の変化量dHを算出する。 That is, in step S101, the sub-operation block 231 reads the current frame even line extension vertical line read vertical coordinate line corresponding to start time of current frame from startLineOldFrm, and the future frame even line read vertical coordinate line corresponding to start time of next frame. Is calculated by subtracting startLineNewFrm and dividing this by HM.

ステップＳ１０２において、サブ演算ブロック２３１は、未来フレーム偶数ライン上読み出し垂直座標line corresponding to start time of next frameは、startLineNewFrmから垂直方向の変化量dHを乗じた値を減算することで、現在リセット偶数ライン位置reset position for current image captureであるresetPositionForImageCaptを算出する。 In step S102, the sub-operation block 231 reads the future frame even line read vertical coordinate line corresponding to start time of next frame by subtracting the value obtained by multiplying startLineNewFrm by the vertical variation dH, thereby resetting the current reset even line. Calculate resetPositionForImageCapt which is the position reset position for current image capture.

ステップＳ１０３において、サブ演算ブロック２３１は、現在リセット偶数ライン位置reset position for current image captureであるresetPositionForImageCaptに、現在フレーム偶数ライン露光時間exp time for cur image captであるexpimgCaptに垂直方向の変化量dHを乗じた値を加算することにより、現在リセット偶数ライン位置reset position for current image captureであるresetPositionForImageCaptを算出する。 In step S103, the sub-operation block 231 multiplies resetPositionForImageCapt which is the current reset even line position reset position for current image capture by vertical change amount dH to expimgCapt which is the current frame even line exposure time exp time for cur image capt. Then, resetPositionForImageCapt which is the current reset even line position reset position for current image capture is calculated.

ステップＳ１０４において、サブ演算ブロック２３１は、現在フレーム偶数ライン延長線上読み出し垂直座標line corresponding to start time of current frameであるstartLineOldFrmから１クロックclockHM当たりの垂直方向の変化量dHに、４倍読み出し処理における奇数ラインとして、それぞれHMに１／４、２／４、３／４、および４／４を乗じた値を減算することで、現在読み出し奇数ライン位置read position for current motion capture[0:3]であるreadPositionForMotCapt[0:3]を算出する。 In step S104, the sub-operation block 231 converts the start frameOldFrm which is the vertical coordinate line corresponding to start time of current frame to the vertical amount of change dH per clock clockHM from the current frame even line extension line read-out vertical coordinate line to an odd number in the quadruple read processing. As a line, the current read odd line position is read position for current motion capture [0: 3] by subtracting the value obtained by multiplying HM by 1/4, 2/4, 3/4, and 4/4, respectively. ReadPositionForMotCapt [0: 3] is calculated.

ステップＳ１０５において、サブ演算ブロック２３１は、現在読み出し奇数ライン位置read position for current motion capture[0:3]であるreadPositionForMotCapt[0:3]に、現在フレーム奇数ライン露光時間exp time for cur motion captであるexpMotCaptに垂直方向の変化量dHを乗じた値を加算することにより、現在リセット奇数ライン位置reset position for current motion capture[0:3]であるresetPositionForMotCapt[0:3]を算出する。 In step S105, the sub-operation block 231 sets the current frame odd line exposure time exp time for cur motion capt to readPositionForMotCapt [0: 3] which is the current read odd line position read position for current motion capture [0: 3]. By adding a value obtained by multiplying expMotCapt by the vertical change amount dH, resetPositionForMotCapt [0: 3] which is the current reset odd line position reset position for current motion capture [0: 3] is calculated.

以上の処理により、偶数ライン、および４倍読み出し処理に対応する奇数ラインのリセット、および読み出しの位置を設定することが可能となる。 With the above processing, it is possible to set the even line and odd line reset and read positions corresponding to the quadruple read process.

＜タイミング制御部の第４の処理について＞
次に、図４６乃至図５０を参照して、タイミング制御部１２２の第４の処理について説明する。尚、図４７乃至図５１のフローチャートにおいては、シンタックスによる記述を参照して説明する部位があり、一部、シンタックスにおけるパラメータの名称と、これまで説明してきたパラメータの名称とが異なる部位があるので、図４６を参照して、その対応関係を説明する。 <About the 4th process of a timing control part>
Next, the fourth process of the timing control unit 122 will be described with reference to FIGS. 46 to 50. In the flowcharts of FIGS. 47 to 51, there are portions that are described with reference to the description in the syntax. Some portions of the names of parameters in the syntax are different from the names of parameters that have been described so far. Therefore, the correspondence relationship will be described with reference to FIG.

図４６で示されるように、タイミング制御部１２２には、第４の処理を実行するためのサブ演算ブロック（Reset Generator）２４１が設けられている。 As shown in FIG. 46, the timing control unit 122 is provided with a sub-operation block (Reset Generator) 241 for executing the fourth process.

サブ演算ブロック２４１には、遅延部（1delay）２５１を介して、クロックclockHMにより１サイクル分だけ遅延されたライン番号curHM、現在リセット偶数ライン位置reset position for current image capture、現在リセット奇数ライン位置reset position for current motion capture[0:3]、直前リセット偶数ライン位置reset position for previous image capture、直前リセット奇数ライン位置reset position for previous motion capture[0:3]、現在奇数フレーム読み出し回数num of read for cur motion capt、クロックclockHMおよび直前奇数フレーム読み出し回数num of read for prev motion captが入力される。 The sub-operation block 241 has a delay number (1delay) 251 through which the line number curHM delayed by one cycle by the clock clockHM, current reset even line position reset position for current image capture, current reset odd line position reset position for current motion capture [0: 3], last reset even line position reset position for previous image capture, last reset odd line position reset position for previous motion capture [0: 3], current odd frame read count num of read for cur motion The capt, the clock clockHM, and the number num of read for prev motion capt are input.

また、サブ演算ブロック２４１は、入力信号に基づいて、リセット信号reset[0:HS-1]を出力する。 The sub-operation block 241 outputs a reset signal reset [0: HS-1] based on the input signal.

ここで、図４７乃至図５０のフローチャートにおけるシンタックスにおいては、ライン番号curHMは、timeHMと表記され、現在リセット偶数ライン位置reset position for current image captureは、resetPositionForImageCaptと表記される。また、現在リセット奇数ライン位置reset position for current motion capture[0:3]は、resetPositionForCurMotCapt[0:3]と表記され、直前リセット偶数ライン位置reset position for previous image captureは、resetPositionForPrevImgCaptと表記される。さらに、直前リセット奇数ライン位置reset position for previous motion capture[0:3]は、resetPositionForPrevMotCapt[0:3]と表記される。 Here, in the syntax in the flowcharts of FIGS. 47 to 50, the line number curHM is expressed as timeHM, and the current reset even line position reset position for current image capture is expressed as resetPositionForImageCapt. The current reset odd line position reset position for current motion capture [0: 3] is expressed as resetPositionForCurMotCapt [0: 3], and the previous reset even line position reset position for previous image capture is expressed as resetPositionForPrevImgCapt. Further, the previous reset odd line position reset position for previous motion capture [0: 3] is expressed as resetPositionForPrevMotCapt [0: 3].

現在奇数フレーム読み出し回数num of read for cur motion captは、readNumForCurMotCaptと表記され、直前奇数フレーム読み出し回数num of read for prev motion captは、readNumForPrevMotCaptと表記される。また、リセット信号reset[0:HS-1]は、out[0:HS-1]と表記される。 The current odd frame read count num of read for cur motion capt is expressed as readNumForCurMotCapt, and the previous odd frame read count num of read for prev motion capt is expressed as readNumForPrevMotCapt. The reset signal reset [0: HS-1] is expressed as out [0: HS-1].

次に、図４７乃至図５０のフローチャートを参照して、サブ演算ブロック２４１の処理について説明する。 Next, processing of the sub-operation block 241 will be described with reference to the flowcharts of FIGS.

ステップＳ１２１において、サブ演算ブロック２４１は、リセット信号reset[0:HS-1]であるout[0:HS-1]を、初期化して、NoReset、すなわち、リセットしない状態に設定する。 In step S121, the sub-operation block 241 initializes out [0: HS-1], which is the reset signal reset [0: HS-1], and sets it to NoReset, that is, not reset.

ステップＳ１２２において、サブ演算ブロック２４１は、ライン番号curHMであるtimeHMが０であるか否かを判定する。すなわち、供給されてくるフレームの先頭ラインであるか否かが判定され、例えば、先頭ラインである場合、処理は、ステップＳ１２３に進む。 In step S122, the sub-operation block 241 determines whether or not timeHM that is the line number curHM is zero. That is, it is determined whether or not it is the leading line of the supplied frame. For example, if it is the leading line, the process proceeds to step S123.

ステップＳ１２３において、サブ演算ブロック２４１は、最新の直前リセット偶数ライン位置latestResetForPrevImgCaptを、それまでの最新の現在リセット偶数ライン位置latestResetForCurImgCaptで置換して更新する。また、サブ演算ブロック２４１は、最新の現在リセット偶数ライン位置latestResetForCurImgCaptを、現在リセット偶数ライン位置reset position for current image captureであるresetPositionForImgCaptの２進数表現で整数部１ケタ目を四捨五入（1.0を加算し、2.0で除算した値をfloor関数にいれて、さらに、2を掛ける）した値で置き換えて更新する。 In step S123, the sub-operation block 241 replaces and updates the latest previous reset even line position latestResetForPrevImgCapt with the latest current reset even line position latestResetForCurImgCapt. The sub-operation block 241 rounds the latest current even-numbered line position latestResetForCurImgCapt to the first digit of the integer part in the binary representation of resetPositionForImgCapt, which is the current reset even-line position reset position for current image capture. Replace the value divided by 2.0 with the floor function and multiply by 2) to update.

ステップＳ１２４において、サブ演算ブロック２４１は、最新の直前リセット奇数ライン位置latestResetForPrevMotCapt[0:3]を、それまでの最新の現在リセット奇数ライン位置latestResetForCurMotCapt[0:3]で置換して更新する。また、サブ演算ブロック２４１は、最新の現在リセット奇数ライン位置latestResetForCurMotCapt[0:3]を、現在リセット奇数ライン位置reset position for current motion capture[0:3]であるresetPositionForCurMotCapt[0:3]の２進数表現で整数部１ケタ目を四捨五入（1.0を加算し、2.0で除算した値をfloor関数にいれて、さらに、2を掛ける）した値で置き換えて更新する。 In step S124, the sub-operation block 241 replaces and updates the latest previous reset odd line position latestResetForPrevMotCapt [0: 3] with the latest current reset odd line position latestResetForCurMotCapt [0: 3]. Further, the sub-operation block 241 uses the latest current reset odd line position latestResetForCurMotCapt [0: 3] as a binary number of resetPositionForCurMotCapt [0: 3] which is the current reset odd line position reset position for current motion capture [0: 3]. In the expression, the first digit of the integer part is rounded (1.0 is added, and the value obtained by dividing by 2.0 is added to the floor function and then multiplied by 2), and then updated.

ステップＳ１２２において、ライン番号curHMであるtimeHMが０でない場合、ステップＳ１２３，Ｓ１２４の処理はスキップされる。 In step S122, when timeHM which is the line number curHM is not 0, the processing of steps S123 and S124 is skipped.

ステップＳ１２５において、サブ演算ブロック２４１は、ライン番号curHMであるtimeHMが０であるか否かを判定する。すなわち、供給されてくるフレームの先頭ラインであるか否かが判定され、例えば、先頭ラインである場合、処理は、ステップＳ１２７（図４８）に進む。 In step S125, the sub-operation block 241 determines whether or not timeHM that is the line number curHM is zero. That is, it is determined whether or not it is the leading line of the supplied frame. For example, if it is the leading line, the process proceeds to step S127 (FIG. 48).

ステップＳ１２７（図４８）において、サブ演算ブロック２４１は、リセットするラインの最大値maxResetLineを、最新の現在リセット偶数ライン位置latestResetForCurImgCaptで置換して更新する。さらに、サブ演算ブロック２４１は、リセットするラインの最大値maxResetLineと、偶数ライン間の間隔で４番目に読み出される奇数ラインの最新の現在リセット奇数ライン位置latestResetForCurMotCapt[3]との比較で大きいものをリセットするラインの最大値maxResetLineに設定する。 In step S127 (FIG. 48), the sub-operation block 241 replaces and updates the maximum value maxResetLine of the line to be reset with the latest current reset even line position latestResetForCurImgCapt. Further, the sub-operation block 241 resets the larger one by comparing the maximum value maxResetLine of the line to be reset with the latest current reset odd line position latestResetForCurMotCapt [3] of the odd line read fourth in the interval between even lines. Set to the maximum value maxResetLine of the line to be executed.

また、サブ演算ブロック２４１は、現在奇数フレーム読み出し回数num of read for cur motion captであるreadNumForCurMotCaptが２回または４回である場合、リセットするラインの最大値maxResetLineと、偶数ライン間の間隔で２番目に読み出される奇数ラインの最新の現在リセット奇数ライン位置latestResetForCurMotCapt[1]との比較で大きいものをリセットするラインの最大値maxResetLineに設定する。 In addition, the sub-operation block 241 displays the second value at the maximum value maxResetLine of the line to be reset and the interval between the even lines when readNumForCurMotCapt, which is the current num of read for cur motion capt, is 2 or 4 times. Compared with the latest current reset odd line position latestResetForCurMotCapt [1] of the odd-numbered line read out, the largest line is reset to the maximum value maxResetLine.

さらに、サブ演算ブロック２４１は、現在奇数フレーム読み出し回数num of read for cur motion captであるreadNumForCurMotCaptが４回である場合、リセットするラインの最大値maxResetLineと、偶数ライン間の間隔で１番目に読み出される奇数ラインの最新の現在リセット奇数ライン位置latestResetForCurMotCapt[0]との比較で大きいものをリセットするラインの最大値maxResetLineに設定する。また、サブ演算ブロック２４１は、リセットするラインの最大値maxResetLineと、偶数ライン間の間隔で３番目に読み出される奇数ラインの最新の現在リセット奇数ライン位置latestResetForCurMotCapt[2]との比較で大きいものをリセットするラインの最大値maxResetLineに設定する。 Further, the sub-operation block 241 reads the first value at the interval between the maximum value maxResetLine of the line to be reset and the even line when readNumForCurMotCapt, which is the current num of read for cur motion capt, is four times. The latest current reset of the odd line is set to the maximum value maxResetLine of the line to be reset in comparison with the odd line position latestResetForCurMotCapt [0]. In addition, the sub-operation block 241 resets the largest value by comparing the maximum value maxResetLine of the line to be reset with the latest current reset odd line position latestResetForCurMotCapt [2] of the odd line that is read third in the interval between the even lines. Set to the maximum value maxResetLine of the line to be executed.

さらに、サブ演算ブロック２４１は、リセット信号reset[0:HS-1]であるout[0:HS-1]のうち、イメージセンサ１１の最上位ラインからリセットするラインの最大値maxResetLineから１ライン上のラインまでの全ラインに属する画素を、リセット信号reset[0:HS-1]であるout[0:HS-1]をDoResetに設定し、リセット状態に設定し、処理は、ステップＳ１２６（図４７）に進む。 Further, the sub-operation block 241 is one line higher than the maximum value maxResetLine of the line to be reset from the highest line of the image sensor 11 in out [0: HS-1] which is the reset signal reset [0: HS-1]. The pixels belonging to all the lines up to this line are set to DoReset by setting the reset signal reset [0: HS-1] out [0: HS-1] to DoReset, and the process proceeds to step S126 (FIG. Proceed to 47).

一方、ステップＳ１２５において、ライン番号curHMであるtimeHMが０でない場合、処理は、ステップＳ１２６に進む。 On the other hand, if timeHM which is the line number curHM is not 0 in step S125, the process proceeds to step S126.

ステップＳ１２６において、サブ演算ブロック２４１は、ライン番号curHMであるtimeHMが偶数であるか否かを判定する。ステップＳ１２６において、例えば、ライン番号curHMであるtimeHMが偶数である場合、処理は、ステップＳ１２８（図４９）に進む。 In step S126, the sub-operation block 241 determines whether or not timeHM that is the line number curHM is an even number. In step S126, for example, when timeHM that is the line number curHM is an even number, the process proceeds to step S128 (FIG. 49).

ステップＳ１２８（図４９）において、サブ演算ブロック２４１は、ライン番号curHMであるtimeHMが0である場合、最新の現在リセット偶数ライン位置latestResetForCurImgCaptがイメージセンサ１１の垂直方向の範囲内、すなわち、0以上で、かつ、HS-1以下であるとき、最新の現在リセット偶数ライン位置latestResetForCurImgCaptに対応する画素out[latestResetForCurImgCapt]に対してDoResetに設定し、リセットを指示する。 In step S128 (FIG. 49), when timeHM which is the line number curHM is 0, the sub-operation block 241 has the latest current reset even line position latestResetForCurImgCapt within the vertical range of the image sensor 11, that is, 0 or more. If it is equal to or less than HS-1, the pixel out [latestResetForCurImgCapt] corresponding to the latest current reset even line position latestResetForCurImgCapt is set to DoReset, and reset is instructed.

一方、ライン番号curHMであるtimeHMが０ではない場合、最新の現在リセット偶数ライン位置latestResetForCurImgCaptに３を加算した値が、floor関数により、現在リセット偶数ライン位置reset position for current image captureであるresetPositionForImageCaptの小数点以下を切り捨てた値以下であるとき、サブ演算ブロック２４１は、最新の現在リセット偶数ライン位置latestResetForCurImgCaptを２インクリメントする。 On the other hand, if timeHM, which is the line number curHM, is not 0, the value obtained by adding 3 to the latest current reset even line position latestResetForCurImgCapt is the decimal point of resetPositionForImageCapt that is the current reset even line position reset position for current image capture. The sub-operation block 241 increments the latest current reset even line position latestResetForCurImgCapt by 2 when the following is less than or equal to the rounded down value.

さらに、最新の現在リセット偶数ライン位置latestResetForCurImgCaptがイメージセンサ１１の垂直方向の範囲内であるとき、サブ演算ブロック２４１は、最新の現在リセット偶数ライン位置latestResetForCurImgCaptに対応する画素out[latestResetForCurImgCapt]に対してDoResetに設定し、リセットを指示する。 Further, when the latest current reset even line position latestResetForCurImgCapt is within the vertical range of the image sensor 11, the sub-operation block 241 performs DoReset for the pixel out [latestResetForCurImgCapt] corresponding to the latest current reset even line position latestResetForCurImgCapt. Set to, and instruct reset.

また、最新の直前のリセット偶数ライン位置latestResetForPrevImgCaptに３を加算した値が、floor関数により、直前リセット偶数ライン位置reset position for previous image captureであるresetPositionForPrevCaptの小数点以下を切り捨てた値以下であるとき、サブ演算ブロック２４１は、最新の直前リセット偶数ライン位置latestResetForPrevImgCaptを２インクリメントする。 Further, when the value obtained by adding 3 to the latest just before the reset even line position latestResetForPrevImgCapt is the floor function, immediately before reset even line position reset position for previous previous value is less than the truncated following image capture at a resetPositionForPrevCapt decimal point, sub The calculation block 241 increments the latest immediately previous reset even line position latestResetForPrevImgCapt by 2.

さらに、最新の直前リセット偶数ライン位置latestResetForPrevImgCaptがイメージセンサ１１の垂直方向の範囲内であるとき、サブ演算ブロック２４１は、最新の直前リセット偶数ライン位置latestResetForPrevImgCaptに対応する画素out[latestResetForPrevImgCapt]に対してDoResetに設定し、リセットを指示する。 Further, when the latest previous reset even line position latestResetForPrevImgCapt is within the vertical range of the image sensor 11, the sub-operation block 241 performs DoReset for the pixel out [latestResetForPrevImgCapt] corresponding to the latest previous reset even line position latestResetForPrevImgCapt. Set to, and instruct reset.

また、ステップＳ１２６（図４７）において、ライン番号curHMであるtimeHMが偶数ではない場合、処理は、ステップＳ１２９（図５０）に進む。 In step S126 (FIG. 47), if timeHM which is the line number curHM is not an even number, the process proceeds to step S129 (FIG. 50).

ステップＳ１２９において、サブ演算ブロック２４１は、ライン番号curHMであるtimeHMが１である場合、最新の現在リセット奇数ライン位置latestResetForCurMotCapt[i]がイメージセンサ１１の垂直方向の範囲内、すなわち、0以上で、かつ、HS-1以下であるとき、最新の現在リセット奇数ライン位置latestResetForMotCapt[i]に対応する画素out[latestResetForCurMotCapt[i]]に対してDoreset、すなわち、リセットを指示する。 In step S129, the sub-operation block 241 determines that when the timeHM that is the line number curHM is 1, the latest current reset odd line position latestResetForCurMotCapt [i] is within the vertical range of the image sensor 11, that is, 0 or more. If it is equal to or less than HS-1, Doreset, that is, reset is instructed to the pixel out [latestResetForCurMotCapt [i]] corresponding to the latest current reset odd line position latestResetForMotCapt [i].

一方、ライン番号curHMであるtimeHMが１ではない場合、最新の現在リセット奇数ライン位置latestResetForMotCapt[i]に２を加算した値が、現在リセット奇数ライン位置reset position for current motion capture[i]であるresetPositionForMotCapt[i]の小数点以下を削除した値以下であるとき、サブ演算ブロック２４１は、最新の現在リセット奇数ライン位置latestResetForCurMotCapt[i]を２インクリメントする。 On the other hand, if timeHM, which is the line number curHM, is not 1, the value obtained by adding 2 to the latest current reset odd line position latestResetForMotCapt [i] is the current reset odd line position reset position for current motion capture [i] resetPositionForMotCapt When the value is equal to or less than the value obtained by deleting the decimal part of [i], the sub-operation block 241 increments the latest current reset odd line position latestResetForCurMotCapt [i] by two.

さらに、最新の現在リセット奇数ライン位置latestResetForCurMotCapt[i]がイメージセンサ１１の垂直方向の範囲内であるとき、サブ演算ブロック２４１は、最新の現在リセット奇数ライン位置latestResetForCurMotCapt[i]に対応する画素out[latestResetForCurMotCapt]に対してDoResetに設定し、リセットを指示する。 Furthermore, when the latest current reset odd line position latestResetForCurMotCapt [i] is within the vertical range of the image sensor 11, the sub-operation block 241 selects the pixel out [corresponding to the latest current reset odd line position latestResetForCurMotCapt [i]. Set latestResetForCurMotCapt] to DoReset and instruct reset.

ただし、ステップＳ１２９の処理は、現在奇数フレーム読み出し回数num of read for cur motion captであるreadNumForCurMotCaptが１である場合、i＝3に対してのみ実行され、かつ、現在奇数フレーム読み出し回数num of read for cur motion captであるreadNumForCurMotCaptが２である場合、i＝1,3に対してのみ実行される。また、readNumForCurMotCaptが４である場合、i＝0乃至3の全てに対して実行される。 However, when the readNumForCurMotCapt, which is the current odd frame read count num of read for cur motion capt, is 1, the process of step S129 is executed only for i = 3, and the current odd frame read count num of read for When readNumForCurMotCapt which is cur motion capt is 2, it is executed only for i = 1,3. When readNumForCurMotCapt is 4, i = 0 to 3 are executed.

ステップＳ１３０において、最新の現在リセット奇数ライン位置latestResetForCurMotCapt[i]に２を加算した値が、floor関数により、直前リセット奇数ライン位置reset position for previous motion captureであるresetPositionForMotCapt[i]の小数点以下を削除した値以下であるとき、サブ演算ブロック２４１は、最新の直前リセット奇数ライン位置latestResetForPrevMotCapt[i]を２インクリメントする。 In step S130, the value obtained by adding 2 to the latest current reset odd line position latestResetForCurMotCapt [i] is deleted by the floor function after the decimal point of resetPositionForMotCapt [i], which is the reset position for previous motion capture just before reset odd line position When the value is less than or equal to the value, the sub-operation block 241 increments the latest last reset odd line position latestResetForPrevMotCapt [i] by two.

また、サブ演算ブロック２４１は、最新の直前リセット奇数ライン位置latestResetForPrevMotCapt[i]がイメージセンサ１１の垂直方向の範囲内であるとき、サブ演算ブロック２４１は、最新の直前リセット奇数ライン位置latestResetForPrevMotCapt[i]に対応する画素out[latestResetForPrevMotCapt[i]]に対してDoResetを設定し、リセットを指示する。 In addition, when the latest previous reset odd line position latestResetForPrevMotCapt [i] is within the vertical range of the image sensor 11, the sub calculation block 241 determines that the latest previous reset odd line position latestResetForPrevMotCapt [i] DoReset is set for the pixel out [latestResetFor Prev MotCapt [i]] corresponding to, and a reset is instructed.

ただし、ステップＳ１３０の処理は、現在奇数フレーム読み出し回数num of read for cur motion captであるreadNumForCurMotCaptが１である場合、i＝3に対してのみ実行され、かつ、現在奇数フレーム読み出し回数num of read for cur motion captであるreadNumForCurMotCaptが２である場合、i＝1,3に対してのみ実行さる。また、readNumForCurMotCaptが４である場合、i＝0乃至3の全てに対して実行される。 However, the process of step S130 is executed only for i = 3 when readNumForCurMotCapt, which is the current odd frame read count num of read for cur motion capt, is 1, and the current odd frame read count num of read for. When readNumForCurMotCapt which is cur motion capt is 2, it is executed only for i = 1,3. When readNumForCurMotCapt is 4, i = 0 to 3 are executed.

＜タイミング制御部の第５の処理について＞
次に、図５１乃至図６０を参照して、タイミング制御部１２２の第５の処理について説明する。尚、図５２乃至図６０のフローチャートにおいては、シンタックスによる記述を参照して説明する部位があり、一部、シンタックスにおけるパラメータの名称と、これまで説明してきたパラメータの名称とが異なる部位があるので、図５１を参照して、その対応関係を説明する。 <About the 5th process of a timing control part>
Next, the fifth process of the timing control unit 122 will be described with reference to FIGS. In the flowcharts of FIGS. 52 to 60, there are portions that are described with reference to the description in the syntax, and some portions where the names of the parameters in the syntax and the names of the parameters described so far are different. Because of this, the correspondence will be described with reference to FIG.

図５１で示されるように、タイミング制御部１２２には、第５の処理を実行するためのサブ演算ブロック（Read Generator）２６１が設けられている。 As shown in FIG. 51, the timing control unit 122 is provided with a sub-operation block (Read Generator) 261 for executing the fifth process.

サブ演算ブロック２６１には、遅延部（1delay）２７１を介して、クロックclockHMにより１サイクル分だけ遅延されたライン番号curHM、現在読み出し偶数ライン位置read position for current image capture、現在読み出し奇数ライン位置read position for current motion capture[0:3]、直前読み出し偶数ライン位置read position for previous image capture、直前読み出し奇数ライン位置read position for previous motion capture[0:3]、現在奇数フレーム読み出し回数num of read for cur motion capt、クロックclockHMおよび直前奇数フレーム読み出し回数num of read for prev motion captが入力される。 The sub-operation block 261 includes a line number curHM delayed by one cycle by the clock clockHM, a current read even line position read position for current image capture, and a current read odd line position read position via a delay unit (1delay) 271. for current motion capture [0: 3], previous read even line position read position for previous image capture, previous read odd line position read position for previous motion capture [0: 3], current odd frame read count num of read for cur motion The capt, the clock clockHM, and the number num of read for prev motion capt are input.

また、サブ演算ブロック２６１は、入力信号に基づいて、読み出し信号read[0:HS-1]、現在時刻読み出し偶数ラインpresent read line for image capture、および現在時刻読み出し奇数ラインpresent read line for motion capture[0:3]を出力する。 The sub-operation block 261 also reads the read signal read [0: HS-1], the present time read even line present read line for image capture, and the present time read odd line present read line for motion capture [ 0: 3] is output.

ここで、図５２乃至図６０のフローチャートにおけるシンタックスにおいては、ライン番号curHMは、timeHMと表記され、現在読み出し偶数ライン位置read position for current image captureは、readPositionForImageCaptと表記される。また、現在読み出し奇数ライン位置reset position for current motion capture[0:3]は、readPositionForCurMotCapt[0:3]と表記され、直前読み出し偶数ライン位置read position for previous image captureは、readPositionForPrevImgCaptと表記される。 Here, in the syntax in the flowcharts of FIGS. 52 to 60, the line number curHM is expressed as timeHM, and the current read even line position read position for current image capture is expressed as readPositionForImageCapt. Further, the current read odd line position reset position for current motion capture [0: 3] is expressed as readPositionForCurMotCapt [0: 3], and the previous read even line position read position for previous image capture is expressed as readPositionForPrevImgCapt.

さらに、直前読み出し奇数ライン位置read position for previous motion capture[0:3]は、readPositionForPrevMotCapt[0:3]と表記され、現在奇数フレーム読み出し回数num of read for cur motion captは、readNumForCurMotCaptと表記され、直前奇数フレーム読み出し回数num of read for prev motion captは、readNumForPrevMotCaptと表記される。 Furthermore, the previous read odd line position read position for previous motion capture [0: 3] is expressed as readPositionForPrevMotCapt [0: 3], and the current odd frame read count num of read for cur motion capt is expressed as readNumForCurMotCapt. The odd frame read count num of read for prev motion capt is expressed as readNumForPrevMotCapt.

また、読み出し信号read[0:HS-1]は、out[0:HS-1]と表記され、現在時刻読み出し偶数ラインpresent read line for image captureは、presentReadLineForImgCaptと表記され、現在時刻読み出し奇数ラインpresent read line for motion capture[0:3]は、presentReadLineForMotCapt[0:3]と表記される。 Also, the read signal read [0: HS-1] is expressed as out [0: HS-1], the current time read even line present read line for image capture is expressed as presentReadLineForImgCapt, and the current time read odd line present read line for motion capture [0: 3] is expressed as presentReadLineForMotCapt [0: 3].

次に、図５２乃至図６０のフローチャートを参照して、サブ演算ブロック２６１の処理について説明する。 Next, processing of the sub-operation block 261 will be described with reference to the flowcharts of FIGS.

ステップＳ２０１において、サブ演算ブロック２６１は、読み出し信号read[0:HS-1]であるout[0:HS-1]を、初期化して、NoRead、すなわち、読み出さない状態に設定する。また、サブ演算ブロック２６１は、現在時刻読み出し偶数ラインpresent read line for image captureであるpresentReadLineForImgCaptをNoLine、すなわち、現在のタイミングで読み出し偶数ラインが存在しない状態とする。さらに、サブ演算ブロック２６１は、現在時刻読み出し奇数ラインpresent read line for motion capture[0:3]であるpresentReadLineForMotCapt[0:3]をNoLine、すなわち、現在時刻読み出し奇数ラインpresent read line for motion capture[0:3]が存在しない状態に設定する。 In step S201, the sub-operation block 261 initializes out [0: HS-1], which is the read signal read [0: HS-1], and sets it to NoRead, that is, not to read. Also, the sub-operation block 261 sets presentReadLineForImgCapt, which is the present time read even line present read line for image capture, to NoLine, that is, the state where there is no read even line at the current timing. Furthermore, the sub-operation block 261 sets presentReadLineForMotCapt [0: 3], which is the current time read odd line present read line for motion capture [0: 3], to NoLine, that is, the current time read odd line present read line for motion capture [0: 3]. : 3] does not exist.

ステップＳ２０２において、サブ演算ブロック２６１は、ライン番号curHMであるtimeHMが０であるか否かを判定する。すなわち、供給されてくるフレームの先頭ラインであるか否かが判定され、例えば、先頭ラインである場合、処理は、ステップＳ２０３に進む。 In step S202, the sub-operation block 261 determines whether or not timeHM that is the line number curHM is 0. That is, it is determined whether or not it is the leading line of the supplied frame. For example, if it is the leading line, the process proceeds to step S203.

ステップＳ２０３において、サブ演算ブロック２６１は、最新の直前読み出し偶数ライン位置latestReadForPrevImgCaptを、それまでの最新の現在読み出し偶数ライン位置latestReadForCurImgCaptで置換して更新する。また、サブ演算ブロック２６１は、最新の現在読み出し偶数ライン位置latestReadForCurImgCaptを、現在読み出し偶数ライン位置read position for current image captureであるreadPositionForImgCaptの２進数表現で整数部１ケタ目を四捨五入（1.0を加算し、2.0で除算した値をfloor関数にいれて、さらに、2を掛ける）した値で置き換えて更新する。 In step S203, the sub-operation block 261 replaces and updates the latest previous read even line position latestReadForPrevImgCapt with the latest current read even line position latestReadForCurImgCapt. The sub-operation block 261 rounds the latest current read even line position latestReadForCurImgCapt to the first digit of the integer part in the binary representation of readPositionForImgCapt which is the current read even line position read position for current image capture (add 1.0) Replace the value divided by 2.0 with the floor function and multiply by 2) to update.

ステップＳ２０４において、サブ演算ブロック２６１は、最新の直前読み出し奇数ライン位置latestReadForPrevMotCapt[0:3]を、それまでの最新の現在読み出し奇数ライン位置latestReadForCurMotCapt[0:3]で置換して更新する。また、サブ演算ブロック２６１は、最新の現在読み出し奇数ライン位置latestReadForCurMotCapt[0:3]を、現在読み出し奇数ライン位置read position for current motion capture[0:3]であるreadPositionForCurMotCapt[0:3]の２進数表現で整数部１ケタ目を四捨五入（1.0を加算し、2.0で除算した値をfloor関数にいれて、さらに、2を掛ける）した値で置き換えて更新する。 In step S204, the sub-operation block 261 replaces the latest previous read odd line position latestReadForPrevMotCapt [0: 3] with the latest current read odd line position latestReadForCurMotCapt [0: 3] and updates it. Further, the sub-operation block 261 uses the latest current read odd line position latestReadForCurMotCapt [0: 3] as a binary number of readPositionForCurMotCapt [0: 3] which is the current read odd line position read position for current motion capture [0: 3]. In the expression, the first digit of the integer part is rounded (1.0 is added, and the value obtained by dividing by 2.0 is added to the floor function and then multiplied by 2), and then updated.

ステップＳ２０２において、ライン番号curHMであるtimeHMが０でない場合、ステップＳ２０３，Ｓ２０４の処理はスキップされる。 In step S202, when timeHM which is the line number curHM is not 0, the processing of steps S203 and S204 is skipped.

ステップＳ２０５において、サブ演算ブロック２６１は、ライン番号curHMであるtimeHMが偶数であるか否かを判定する。ステップＳ２０５において、偶数であると判定された場合、処理は、ステップＳ２０６（図５３）に進む。 In step S205, the sub-operation block 261 determines whether or not timeHM that is the line number curHM is an even number. If it is determined in step S205 that the number is even, the process proceeds to step S206 (FIG. 53).

ステップＳ２０６（図５３）において、サブ演算ブロック２６１は、ライン番号curHMであるtimeHMが０である場合、最新の直前読み出し偶数ライン位置latestReadForPrevImgCaptがイメージセンサ１１の垂直方向の範囲内、すなわち、0以上で、かつ、HS-1以下であるとき、現在時刻読み出し偶数ラインpresent read line for image captureであるpresentReadLineForImgCaptを直前読み出し偶数ライン位置latestReadForPrevImgCaptとし、さらに、直前読み出し偶数ライン位置latestReadForCurImgCaptに対応する画素out[presentReadLineForImgCapt]に対してDoRead、すなわち、読み出しを指示する。 In step S206 (FIG. 53), when timeHM which is the line number curHM is 0, the sub-operation block 261 has the latest previous read even line position latestReadForPrevImgCapt within the vertical range of the image sensor 11, that is, 0 or more. When HS-1 or less, presentReadLineForImgCapt, which is the current read even line present read line for image capture, is set to the immediately read even line position latestReadFor Prev ImgCapt, and the pixel out [corresponding to the immediately read even line position latestReadForCurImgCapt presentReadLineForImgCapt] is instructed to doread, that is, read.

一方、ライン番号curHMであるtimeHMが０ではない場合、最新の直前リセット偶数ライン位置latestResetForPrevImgCaptに３を加算した値が、floor関数により、現在読み出し偶数ライン位置read position for current image captureであるreadPositionForImageCaptの小数点以下を切り捨てた値以下である場合、サブ演算ブロック２６１は、最新の直前リセット偶数ライン位置latestResetForPrevImgCaptを２インクリメントする。 On the other hand, if timeHM, which is the line number curHM, is not 0, the value obtained by adding 3 to the latest previous reset even line position latestResetForPrevImgCapt is the decimal point of readPositionForImageCapt that is the current read even line position read position for current image capture. If the value is equal to or less than the rounded down value, the sub-operation block 261 increments the latest previous reset even line position latestResetForPrevImgCapt by 2.

さらに、最新の直前読み出し偶数ライン位置latestReadForPrevImgCaptがイメージセンサ１１の垂直方向の範囲内であるとき、サブ演算ブロック２６１は、現在時刻読み出し偶数ラインpresent read line for image captureであるpresentReadLineForImgCaptを、最新の直前読み出し偶数ライン位置latestReadForPrevImgCaptとし、最新の直前読み出し偶数ライン位置latestReadForPrevImgCaptに対応する画素out[presentReadLineForImgCapt]に対してDoRead、すなわち、読み出しを指示し、処理を終了する。 Further, when the latest previous read even line position latestReadForPrevImgCapt is within the vertical range of the image sensor 11, the sub-operation block 261 reads the current time read even line present read line for image capture presentReadLineForImgCapt as the latest previous read. The even line position latestReadForPrevImgCapt is set, DoRead is performed for the pixel out [presentReadLineForImgCapt] corresponding to the latest previous read even line position latestReadForPrevImgCapt, and the process ends.

一方、ステップＳ２０５（図５２）において、偶数ではないとみなされた場合、処理は、ステップＳ２０７（図５４）に進む。 On the other hand, if it is determined in step S205 (FIG. 52) that the number is not an even number, the process proceeds to step S207 (FIG. 54).

ステップＳ２０７（図５４）において、サブ演算ブロック２６１は、ライン番号curHMであるtimeHMが１である場合、最新の直前読み出し奇数ライン位置latestReadForPrevMotCapt[3]がイメージセンサ１１の垂直方向の範囲内、すなわち、0以上で、かつ、HS-1以下であるとき、現在時刻読み出し奇数ラインpresent read line for motion captureであるpresentReadLineForMotCapt[3]を、最新の現在リセット奇数ライン位置latestReadForCurMotCapt[3]とする。 In step S207 (FIG. 54), when timeHM which is the line number curHM is 1, the sub-operation block 261 indicates that the latest previous read odd line position latestReadForPrevMotCapt [3] is within the vertical range of the image sensor 11, that is, When it is 0 or more and HS-1 or less, presentReadLineForMotCapt [3] which is the current time read odd line present read line for motion capture is set as the latest current reset odd line position latestReadFor Cur MotCapt [3].

さらに、サブ演算ブロック２６１は、現在時刻読み出し奇数ラインpresent read line for motion captureであるpresentReadLineForMotCapt[3]に対応する画素out[latestReadForPrevMotCapt[3]]に対してDofouthQuaterRead、すなわち、奇数ラインの４番目の読み出しを指示する。 Further, the sub-operation block 261 performs DofouthQuaterRead, that is, the fourth reading of the odd line for the pixel out [latestReadForPrevMotCapt [3]] corresponding to presentReadLineForMotCapt [3] which is the current time read odd line present read line for motion capture. Instruct.

一方、ライン番号curHMであるtimeHMが１ではない場合、最新の直前読み出し奇数ライン位置latestReadForPrevMotCapt[3]に２を加算した値が、floor関数により、直前読み出し奇数ライン位置read position for previous motion capture[3]であるreadPositionForPrevMotCapt[3]の小数点以下を削除した値以下であるとき、サブ演算ブロック２６１は、最新の直前読み出し奇数ライン位置latestReadForPrevMotCapt[3]を２インクリメントする。 On the other hand, if timeHM, which is the line number curHM, is not 1, the value obtained by adding 2 to the latest previous read odd line position latestReadForPrevMotCapt [3] is the previous read odd line position read position for previous motion capture [3 ], The sub-operation block 261 increments the latest previous read odd line position latestReadForPrevMotCapt [3] by 2 when the value is equal to or less than the value obtained by deleting the fractional part of readPositionForPrevMotCapt [3].

また、サブ演算ブロック２６１は、現在時刻読み出し奇数ラインpresent read line for motion captureであるpresentReadLineForMotCapt[3]を、最新の現在リセット奇数ライン位置latestReadForPrevMotCapt[3]とする。 The sub-operation block 261 sets presentReadLineForMotCapt [3], which is the current time read odd line present read line for motion capture, as the latest current reset odd line position latestReadForPrevMotCapt [3].

さらに、最新の直前読み出し奇数ライン位置latestReadForPrevMotCapt[3]がイメージセンサ１１の垂直方向の範囲内であるとき、サブ演算ブロック２６１は、現在時刻読み出し奇数ラインpresent read line for motion captureであるpresentReadLineForMotCapt[3]に対応する画素out[presentReadLineForMotCapt[3]]に対してDofouthQuaterRead、すなわち、奇数ラインの４番目の読み出しを指示する。 Further, when the latest immediately read odd line position latestReadForPrevMotCapt [3] is within the range in the vertical direction of the image sensor 11, the sub-operation block 261 presentpresentLineLineMotCapt [3] which is the current time read odd line present read line for motion capture. The pixel out [presentReadLineForMotCapt [3]] is instructed to perform DofouthQuaterRead, that is, the fourth reading of odd lines.

ステップＳ２０８（図５５）において、現在奇数フレーム読み出し回数num of read for cur motion captであるreadNumForCurMotCaptが４であり、ライン番号curHMであるtimeHMが3*HM/4以上であり、かつ、3*HM/4+1である場合、サブ演算ブロック２６１は、最新の現在読み出し奇数ライン位置latestReadForCurMotCapt[2]がイメージセンサ１１の垂直方向の範囲内、すなわち、0以上で、かつ、HS-1以下であるとき、現在時刻読み出し奇数ラインpresent read line for motion capture[2]であるpresentReadLineForMotCapt[2]に対応する画素out[presentReadLineForMotCapt[2]]に対してDoThirdQuaterRead、すなわち、奇数ラインの３回目の読み出しを指示する。 In step S208 (FIG. 55), readNumForCurMotCapt, which is the current number of odd-frame reading times num of read for cur motion capt, is 4, timeHM which is the line number curHM is 3 * HM / 4 or more, and 3 * HM / When 4 + 1, the sub-operation block 261 indicates that the latest current read odd line position latestReadForCurMotCapt [2] is within the vertical range of the image sensor 11, that is, 0 or more and HS-1 or less. The DoThirdQuaterRead, that is, the third reading of the odd line is instructed to the pixel out [presentReadLineForMotCapt [2]] corresponding to the presentReadLineForMotCapt [2] which is the present time read odd line present read line for motion capture [2].

一方、ライン番号curHMであるtimeHMが3HM/4+1ではない場合、最新の現在読み出し奇数ライン位置latestReadForCurMotCapt[2]に２を加算した値が、floor関数により、現在読み出し奇数ライン位置read position for curent motion capture[2]であるreadPositionForCurMotCapt[2]の小数点以下を削除した値以下であるとき、サブ演算ブロック２６１は、最新の現在読み出し奇数ライン位置latestReadForCurMotCapt[2]に２をインクリメントする。 On the other hand, if timeHM which is the line number curHM is not 3HM / 4 + 1, the value obtained by adding 2 to the latest current read odd line position latestReadForCurMotCapt [2] is the current read odd line position read position for curent When the value is equal to or less than the value obtained by deleting the fractional part of readPositionForCurMotCapt [2] which is motion capture [2], the sub-operation block 261 increments 2 to the latest current read odd line position latestReadForCurMotCapt [2].

さらに、最新の現在読み出し奇数ライン位置latestReadForCurMotCapt[2]がイメージセンサ１１の垂直方向の範囲内であるとき、サブ演算ブロック２６１は、現在時刻読み出し奇数ラインpresent read line for motion captureであるpresentReadLineForMotCapt[2]を、最新の直前読み出し奇数ライン位置latestReadForPrevMotCapt[2]とする。 Further, when the latest current read odd line position latestReadForCurMotCapt [2] is within the vertical range of the image sensor 11, the sub-operation block 261 presentpresentLineLineMotCapt [2] which is the current time read odd line present read line for motion capture. Is the latest read last odd line position latestReadForPrevMotCapt [2].

そして、サブ演算ブロック２６１は、現在時刻読み出し奇数ラインpresent read line for motion captureであるpresentReadLineForMotCapt[2]に対応する画素out[presentReadLineForMotCapt[2]]に対してDoThirdQuaterRead、すなわち、奇数ラインの３回目の読み出しを指示する。 Then, the sub-operation block 261 performs DoThirdQuaterRead, that is, the third read of the odd line for the pixel out [presentReadLineForMotCapt [2]] corresponding to the presentReadLineForMotCapt [2] that is the present time read odd line present read line for motion capture Instruct.

ステップＳ２０９（図５６）において、現在奇数フレーム読み出し回数num of read for cur motion captであるreadNumForCurMotCaptが４であり、ライン番号curHMであるtimeHMが3*HM/4−1以下であり、かつ、最新の直前読み出し奇数ライン位置latestReadForPrevMotCapt[2]に２を加算した値が、floor関数により、直前読み出し奇数ライン位置read position for previous motion capture[2]であるreadPositionForPrevMotCapt[2]の小数点以下の値が切り捨てられた値以下である場合、サブ演算ブロック２６１は、最新の現在読み出し奇数ライン位置latestReadForCurMotCapt[2]を２インクリメントする。 In step S209 (FIG. 56), readNumForCurMotCapt, which is the current number of odd-frame reading times num of read for cur motion capt, is 4, timeHM, which is the line number curHM, is 3 * HM / 4−1 or less, and the latest The value obtained by adding 2 to the previous read odd line position latestReadForPrevMotCapt [2] is truncated by the floor function to the value after the decimal point of readPositionForPrevMotCapt [2], which is the previous read odd line position read position for previous motion capture [2]. If it is less than or equal to the value, the sub-operation block 261 increments the latest current read odd line position latestReadForCurMotCapt [2] by two.

さらに、最新の現在読み出し奇数ライン位置latestReadForCurMotCapt[2]がイメージセンサ１１の垂直方向の範囲内、すなわち、0以上で、かつ、HS-1以下であるとき、サブ演算ブロック２６１は、現在時刻読み出し奇数ラインpresent read line for motion capture[2]であるpresentReadLineForMotCapt[2]を、最新の直前読み出し奇数ライン位置latestReadForPrevMotCapt[2]とする。 Further, when the latest current read odd line position latestReadForCurMotCapt [2] is within the vertical range of the image sensor 11, that is, not less than 0 and not more than HS-1, the sub-operation block 261 reads the current time read odd number. Let presentReadLineForMotCapt [2], which is the line present read line for motion capture [2], be the latest immediately read odd line position latestReadForPrevMotCapt [2].

サブ演算ブロック２６１は、最新の現在読み出し奇数ライン位置presentReadLineForMotCapt[2]に対応する画素out[presentReadLineForMotCapt[2]]に対してDoThirdQuaterRead、すなわち、奇数ラインの３回目の読み出しを指示する。 The sub-operation block 261 instructs DoThirdQuaterRead, that is, the third reading of the odd line, to the pixel out [presentReadLineForMotCapt [2]] corresponding to the latest current read odd line position presentReadLineForMotCapt [2].

ステップＳ２１０（図５７）において、現在奇数フレーム読み出し回数num of read for cur motion captであるreadNumForCurMotCaptが２または４であり、ライン番号curHMであるtimeHMが2*HM/4以上であり、かつ、2*HM/4+1である場合、最新の現在読み出し奇数ライン位置latestReadForCurMotCapt[1]がイメージセンサ１１の垂直方向の範囲内、すなわち、0以上で、かつ、HS-1以下であるとき、サブ演算ブロック２６１は、現在時刻読み出し奇数ラインpresent read line for motion captureを、最新の現在読み出し奇数ライン位置latestReadForCurMotCapt[1]とする。 In step S210 (FIG. 57), readNumForCurMotCapt, which is the current odd frame read count num of read for cur motion capt, is 2 or 4, timeHM, which is the line number curHM, is 2 * HM / 4 or more, and 2 * In the case of HM / 4 + 1, when the latest current read odd line position latestReadForCurMotCapt [1] is within the vertical range of the image sensor 11, that is, 0 or more and HS-1 or less, the sub-operation block 261 designates the current time read odd line present read line for motion capture as the latest current read odd line position latestReadForCurMotCapt [1].

そして、サブ演算ブロック２６１は、現在時刻読み出し奇数ラインpresent read line for motion captureであるpresentReadLineForMotCapt[1]に対応する画素out[presentReadLineForMotCapt[1]]に対してDoSecondQuaterRead、すなわち、奇数ラインの２回目の読み出しを指示する。 Then, the sub-operation block 261 performs DoSecondQuaterRead for the pixel out [presentReadLineForMotCapt [1]] corresponding to presentReadLineForMotCapt [1] corresponding to the present time read odd line present read line for motion capture, that is, the second read of the odd line. Instruct.

一方、ライン番号curHMであるtimeHMが2HM/4+1ではない場合、最新の現在読み出し奇数ライン位置latestReadForCurMotCapt[1]に２を加算した値が、floor関数により、現在読み出し奇数ライン位置read position for curent motion capture[1]であるreadPositionForCurMotCapt[1]の小数点以下を削除した値以下であるとき、サブ演算ブロック２６１は、最新の現在読み出し奇数ライン位置latestReadForCurMotCapt[1]に２をインクリメントする。 On the other hand, if timeHM which is the line number curHM is not 2HM / 4 + 1, the value obtained by adding 2 to the latest current read odd line position latestReadForCurMotCapt [1] is the current read odd line position read position for curent When the value is equal to or less than the value obtained by deleting the fractional part of readPositionForCurMotCapt [1] which is motion capture [1], the sub-operation block 261 increments 2 to the latest current read odd line position latestReadForCurMotCapt [1].

さらに、最新の現在読み出し奇数ライン位置latestReadForCurMotCapt[1]がイメージセンサ１１の垂直方向の範囲内であるとき、サブ演算ブロック２６１は、現在時刻読み出し奇数ラインpresent read line for motion captureであるpresentReadLineForMotCapt[1]を、最新の直前読み出し奇数ライン位置latestReadForPrevMotCapt[1]とする。 Further, when the latest current read odd line position latestReadForCurMotCapt [1] is within the vertical range of the image sensor 11, the sub-operation block 261 presentpresentLineLineMotCapt [1] which is the current time read odd line present read line for motion capture. Is the latest read last odd line position latestReadForPrevMotCapt [1].

ステップＳ２１１（図５８）において、現在奇数フレーム読み出し回数num of read for cur motion captであるreadNumForCurMotCaptが２または４であり、ライン番号curHMであるtimeHMが2*HM/4−1以下であり、かつ、最新の直前読み出し奇数ライン位置latestReadForPrevMotCapt[1]に２を加算した値が、floor関数により、直前読み出し奇数ライン位置read position for previous motion capture[1]であるreadPositionForPrevMotCapt[1]の小数点以下の値が切り捨てられた値以下である場合、サブ演算ブロック２６１は、最新の現在読み出し奇数ライン位置latestReadForCurMotCapt[1]を２インクリメントする。 In step S211 (FIG. 58), readNumForCurMotCapt, which is the current odd frame read count num of read for cur motion capt, is 2 or 4, timeHM, which is the line number curHM, is 2 * HM / 4−1 or less, and The value obtained by adding 2 to the latest previous read odd line position latestReadForPrevMotCapt [1] is truncated by the floor function, and the value after the decimal point of readPositionForPrevMotCapt [1], which is the previous read odd line position read position for previous motion capture [1] If it is less than or equal to the value, the sub-operation block 261 increments the latest current read odd line position latestReadForCurMotCapt [1] by two.

また、最新の現在読み出し奇数ライン位置latestReadForCurMotCapt[1]がイメージセンサ１１の垂直方向の範囲内、すなわち、0以上で、かつ、HS-1以下であるとき、サブ演算ブロック２６１は、現在時刻読み出し奇数ラインpresent read line for motion capture[1]であるpresentReadLineForMotCapt[1]を、最新の直前読み出し奇数ライン位置latestReadForPrevMotCapt[1]とする。 When the latest current read odd line position latestReadForCurMotCapt [1] is within the vertical range of the image sensor 11, that is, 0 or more and HS-1 or less, the sub-operation block 261 reads the current time odd number. Let presentReadLineForMotCapt [1], which is the line present read line for motion capture [1], be the latest immediately read odd line position latestReadForPrevMotCapt [1].

そして、サブ演算ブロック２６１は、現在時刻読み出し奇数ラインpresentReadLineForMotCapt[1]に対応する画素out[presentReadLineForMotCapt[1]]に対してDoSecondQuaterRead、すなわち、奇数ラインの２回目の読み出しを指示する。 Then, the sub operation block 261, DoSecondQuaterRead for the pixels corresponding to the current time read odd line p resentReadLineForMotCapt [1] out [p resentReadLineForMotCapt [1]], i.e., instructs the second reading of the odd-numbered lines.

ステップＳ２１２（図５９）において、現在奇数フレーム読み出し回数num of read for cur motion captであるreadNumForCurMotCaptが４であり、ライン番号curHMであるtimeHMが1*HM/4以上であり、かつ、1*HM/4+1である場合、最新の現在読み出し奇数ライン位置latestReadForCurMotCapt[0]がイメージセンサ１１の垂直方向の範囲内、すなわち、0以上で、かつ、HS-1以下であるとき、サブ演算ブロック２６１は、現在時刻読み出し奇数ラインpresent read line for motion captureであるpresentReadLineForMotCapt[0]を、最新の現在読み出し奇数ライン位置latestReadForCurMotCapt[0]とする。 In step S212 (FIG. 59), readNumForCurMotCapt, which is the current number of odd-frame reading times num of read for cur motion capt, is 4, timeHM whose line number is curHM is 1 * HM / 4 or more, and 1 * HM / In the case of 4 + 1, when the latest current read odd line position latestReadForCurMotCapt [0] is within the vertical range of the image sensor 11, that is, 0 or more and HS-1 or less, the sub-operation block 261 Then, presentReadLineForMotCapt [0] that is the current time read odd line present read line for motion capture is set as the latest current read odd line position latestReadForCurMotCapt [0].

そして、サブ演算ブロック２６１は、現在時刻読み出し奇数ラインpresent read line for motion captureであるpresentReadLineForMotCapt[0]に対応する画素out[presentReadLineForMotCapt[0]]に対してDoFirstQuaterRead、すなわち、奇数ラインの１回目の読み出しを指示する。 Then, the sub-operation block 261 performs DoFirstQuaterRead for the pixel out [presentReadLineForMotCapt [0]] corresponding to presentReadLineForMotCapt [0] corresponding to the present time read odd line present read line for motion capture, that is, the first read of the odd line. Instruct.

一方、ライン番号curHMであるtimeHMが1*HM/4+1ではない場合、最新の現在読み出し奇数ライン位置latestReadForCurMotCapt[0]に２を加算した値が、floor関数により、現在読み出し奇数ライン位置read position for curent motion capture[0]であるreadPositionForCurMotCapt[0]の小数点以下を削除した値以下であるとき、サブ演算ブロック２６１は、最新の現在読み出し奇数ライン位置latestReadForCurMotCapt[0]に２をインクリメントする。 On the other hand, if timeHM which is the line number curHM is not 1 * HM / 4 + 1, the value obtained by adding 2 to the latest current read odd line position latestReadForCurMotCapt [0] is the current read odd line position read position. The sub-operation block 261 increments 2 to the latest current read odd line position latestReadForCurMotCapt [0] when the value is equal to or less than the value obtained by deleting the fractional part of readPositionForCurMotCapt [0] that is for curent motion capture [0].

さらに、最新の現在読み出し奇数ライン位置latestReadForCurMotCapt[0]がイメージセンサ１１の垂直方向の範囲内であるとき、サブ演算ブロック２６１は、現在時刻読み出し奇数ラインpresent read line for motion captureであるpresentReadLineForMotCapt[0]を、最新の現在読み出し奇数ライン位置latestReadForCurMotCapt[0]とする。 Further, when the latest current read odd line position latestReadForCurMotCapt [0] is within the vertical range of the image sensor 11, the sub-operation block 261 presentpresentLineLineMotCapt [0] which is the current time read odd line present read line for motion capture. Is the latest current read odd line position latestReadForCurMotCapt [0].

ステップＳ２１３（図６０）において、現在奇数フレーム読み出し回数num of read for cur motion captであるreadNumForCurMotCaptが４であり、ライン番号curHMであるtimeHMが1*HM/4−1以下であり、かつ、最新の直前読み出し奇数ライン位置latestReadForPrevMotCapt[0]に２を加算した値が、floor関数により、直前読み出し奇数ライン位置read position for previous motion capture[0]であるreadPositionForPrevMotCapt[0]の小数点以下の値が切り捨てられた値以下である場合、サブ演算ブロック２６１は、最新の現在読み出し奇数ライン位置latestReadForCurMotCapt[0]を２インクリメントする。 In step S213 (FIG. 60), readNumForCurMotCapt which is the current odd frame read count num of read for cur motion capt is 4, timeHM whose line number is curHM is 1 * HM / 4−1 or less, and the latest The value obtained by adding 2 to the previous read odd line position latestReadForPrevMotCapt [0] is truncated by the floor function, and the value after the decimal point of readPositionForPrevMotCapt [0], which is the previous read odd line position read position for previous motion capture [0], is truncated. If it is less than or equal to the value, the sub-operation block 261 increments the latest current read odd line position latestReadForCurMotCapt [0] by two.

さらに、最新の現在読み出し奇数ライン位置latestReadForCurMotCapt[0]がイメージセンサ１１の垂直方向の範囲内、すなわち、0以上で、かつ、HS-1以下であるとき、サブ演算ブロック２６１は、現在時刻読み出し奇数ラインpresent read line for motion capture[0]であるpresentReadLineForMotCapt[0]を、最新の直前読み出し奇数ライン位置latestReadForPrevMotCapt[0]とする。 Further, when the latest current read odd line position latestReadForCurMotCapt [0] is within the vertical range of the image sensor 11, that is, 0 or more and HS-1 or less, the sub-operation block 261 reads the current time read odd number. Let presentReadLineForMotCapt [0], which is the line present read line for motion capture [0], be the latest immediately read odd line position latestReadForPrevMotCapt [0].

そして、サブ演算ブロック２６１は、現在時刻読み出し奇数ラインpresentReadLineForMotCapt[0]に対応する画素out[presentReadLineForMotCapt[0]]に対してDoFirstQuaterRead、すなわち、奇数ラインの１回目の読み出しを指示する。 Then, the sub operation block 261, DoFirstQuaterRead for pixels out corresponding to the current time read odd line p resentReadLineForMotCapt [0] [p resentReadLineForMotCapt [0]], i.e., to indicate the first reading of the odd lines.

すなわち、奇数ラインについては、偶数ラインの直前の読み出し時刻と現在の読み出し時刻のとの間隔を４分割した時間間隔で、４回のリセットと読み出しを行う４倍読出し処理の場合、図６１で示されるように、４回のなかの最初の読み出しを行う奇数ラインの画素に対しては、最初の１／２４０秒（すなわち、１／６０秒のうちの最初の１／４）間は、現在のフレームの偶数ラインの読み出し時刻を表す実線Ｌ５０４よりも図中の下方（ｙ軸の正の方向）の実線Ｌ５０３を読み出している。 That is, for odd lines, the case of quadruple read processing in which reset and read are performed four times at a time interval obtained by dividing the interval between the read time immediately before the even line and the current read time into four is shown in FIG. As shown in the figure, for the odd-line pixels that perform the first read out of four times, the current 1/20 second (ie, the first 1/4 of 1/60 second) A solid line L503 below the solid line L504 (the positive direction of the y-axis) in the drawing is read out from the solid line L504 representing the readout time of the even lines of the frame.

そして、残りの３／２４０秒間は、現在のフレームの偶数ラインの読み出し時刻を表す実線Ｌ５０４よりも上方（ｙ軸の負の方向）の実線Ｌ５０５を読み出している。 Then, for the remaining 3/240 seconds, the solid line L505 above the solid line L504 (the negative direction of the y-axis) indicating the readout time of the even-numbered line of the current frame is read.

尚、図６１における実線Ｌ５０１，Ｌ５０４，Ｌ５０７は、図２５における実線Ｌ３４１乃至Ｌ３４３と同じものであり、図６１における点線Ｌ５０２，Ｌ５０６は、図２５の点線Ｌ３５１，Ｌ３７１と同じものである。また、実線Ｌ５０３は、実線Ｌ５０４と点線Ｌ５０２との間で１：３に案分された位置に設けられている。また、実線Ｌ５０５は、点線Ｌ５０６と実線Ｌ５０４との間で１：３に案分された位置に設けられている。 Note that solid lines L501, L504, and L507 in FIG. 61 are the same as the solid lines L341 to L343 in FIG. 25, and dotted lines L502 and L506 in FIG. 61 are the same as the dotted lines L351 and L371 in FIG. In addition, the solid line L503 is provided at a position proportional to 1: 3 between the solid line L504 and the dotted line L502. In addition, the solid line L505 is provided at a position divided by 1: 3 between the dotted line L506 and the solid line L504.

さらに、奇数ラインについて、偶数ラインの４倍読み出し処理の場合、図６２で示されるように、２番目の読み出しを行う奇数ラインの画素、または、奇数ラインについて、２倍読み出し処理の場合の前半の読み出しを行う奇数ラインの画素に対しては、最初の１／１２０秒（すなわち、１／６０秒のうちの最初の１／２）間は、現在のフレームの偶数ラインの読み出し時刻を表す実線Ｌ５０４よりも下方（ｙ軸の正の方向）の実線Ｌ５１１を読み出している。 Further, in the case of the odd-line four-times readout process for the even-numbered lines, as shown in FIG. For the odd line pixels to be read, a solid line L504 representing the read time of the even line in the current frame for the first 1/120 second (that is, the first 1/2 of 1/60 second). The solid line L511 below (the positive direction of the y-axis) is read out.

そして、残りの１／１２０秒間は、現在のフレームの偶数ラインの読み出し時刻を表す実線Ｌ５０４よりも上方（ｙ軸の負の方向）の実線Ｌ５１２を読み出している。 For the remaining 1/120 second, the solid line L512 above the solid line L504 (the negative direction of the y-axis) indicating the read time of the even-numbered line of the current frame is read.

尚、図６２における実線Ｌ５０１，Ｌ５０４，Ｌ５０７、および点線Ｌ５０２，Ｌ５０６については、図２５における実線Ｌ３４１乃至Ｌ３４３、および点線Ｌ３５１，Ｌ３７１と同じものである。また、実線Ｌ５１１は、実線Ｌ５０４と点線Ｌ５０２との間で１：１に案分された位置に設けられている。また、実線Ｌ５１２は、点線Ｌ５０６と実線Ｌ５０４との間で１：３に案分された位置に設けられている。 62, the solid lines L501, L504, and L507 and the dotted lines L502 and L506 are the same as the solid lines L341 to L343 and the dotted lines L351 and L371 in FIG. In addition, the solid line L511 is provided at a position proportional to 1: 1 between the solid line L504 and the dotted line L502. In addition, the solid line L512 is provided at a position divided by 1: 3 between the dotted line L506 and the solid line L504.

奇数ラインについて、偶数ラインの４倍読み出し処理の場合の３番目の読み出しを行う奇数ラインの画素に対しては、図６３で示されるように、最初の３／２４０秒（すなわち、１／６０秒のうちの最初の３／４）間は、「現在のフレームの偶数ラインの読み出し時刻の曲線」よりも下方（ｙ軸の正の方向）の実線Ｌ５２１で示される曲線上のラインを読み出している。そして、残りの１／２４０秒間は、現在のフレームの偶数ラインの読み出し時刻を表すＬ５０４よりも上方（ｙ軸の負の方向）の実線Ｌ５２２上のラインを読み出している。 As shown in FIG. 63, with respect to the odd line, for the pixel of the odd line that performs the third reading in the case of the quadruple read processing of the even line, as shown in FIG. During the first 3/4), the line on the curve indicated by the solid line L521 below (the positive direction of the y axis) below the “curve of the read time of the even line of the current frame” is read. . Then, for the remaining 1/240 seconds, a line on the solid line L522 is read above L504 (the negative direction of the y-axis) that represents the read time of the even-numbered line of the current frame.

尚、図６３における実線Ｌ５０１，Ｌ５０４，Ｌ５０７、および点線Ｌ５０２，Ｌ５０６については、図２５における実線Ｌ３４１乃至Ｌ３４３、および点線Ｌ３５１，Ｌ３７１と同じものである。また、実線Ｌ５０３は、実線Ｌ５０４と点線Ｌ５０２との間で３：１に案分された位置に設けられている。また、実線Ｌ５０５は、点線Ｌ５０６と実線Ｌ５０４との間で３：１に案分された位置に設けられている。 Note that solid lines L501, L504, and L507 and dotted lines L502 and L506 in FIG. 63 are the same as the solid lines L341 to L343 and dotted lines L351 and L371 in FIG. Further, the solid line L503 is provided at a position prorated by 3: 1 between the solid line L504 and the dotted line L502. The solid line L505 is provided at a position prorated by 3: 1 between the dotted line L506 and the solid line L504.

＜タイミング制御部の第６の処理について＞
次に、図６４乃至図６６を参照して、タイミング制御部１２２の第６の処理について説明する。尚、図６５乃至図６６のフローチャートにおいては、シンタックスによる記述を参照して説明する部位があり、一部、シンタックスにおけるパラメータの名称と、これまで説明してきたパラメータの名称とが異なる部位があるので、図６４を参照して、その対応関係を説明する。 <About the 6th process of a timing control part>
Next, the sixth process of the timing control unit 122 will be described with reference to FIGS. In the flowcharts of FIGS. 65 to 66, there are parts that will be described with reference to the description in the syntax. Some parts of the parameter names in the syntax are different from the parameter names described so far. Because of this, the correspondence will be described with reference to FIG.

図６４で示されるように、タイミング制御部１２２には、第６の処理を実行するためのサブ演算ブロック２８１乃至２８３が設けられている。 As shown in FIG. 64, the timing control unit 122 is provided with sub-operation blocks 281 to 283 for executing the sixth process.

サブ演算ブロック（RegResetTime）２８１は、リセット信号reset[0:HS-1]がDoResetに設定され、リセット状態とすることが指示されている信号の場合、メモリからなるサブ演算ブロック（Memory）２８２に、リセット信号reset[0:HS-1]が供給されてきた絶対時刻absoluteTimeをRegResetTime[i]として書き込む。 When the reset signal reset [0: HS-1] is set to DoReset and the sub operation block (RegResetTime) 281 is instructed to be in the reset state, the sub operation block (RegResetTime) 281 is supplied to the sub operation block (Memory) 282 including a memory. The absolute time absoluteTime supplied with the reset signal reset [0: HS-1] is written as RegResetTime [i].

サブ演算ブロック（Memory）２８２は、RegResetTime[i]としてリセット信号reset[0:HS-1]が供給されてきた絶対時刻absoluteTimeを格納し、適宜、サブ演算ブロック２８３に供給する。 The sub operation block (Memory) 282 stores the absolute time absoluteTime to which the reset signal reset [0: HS-1] has been supplied as RegResetTime [i], and supplies it to the sub operation block 283 as appropriate.

サブ演算ブロック（Comp Precise Exposure Time）２８３には、サブ演算ブロック２８２からのリセット信号reset[0:HS-1]が供給されてきた絶対時刻absoluteTimeが格納されたRegResetTime[i]、読み出し信号read[0:HS-1]、現在フレーム偶数ライン露光時間exp time for cur image capt、および、直前フレーム偶数ライン露光時間exp time for prev image captが入力される。現在フレーム偶数ライン露光時間exp time for cur image capt、および、直前フレーム偶数ライン露光時間exp time for prev image captについては、それぞれ遅延部（1delay）２９１，２９２を介して、クロックclockHMが１サイクルだけ遅延された状態の情報が入力される。また、サブ演算ブロック２８２は、これらの入力信号に基づいて、偶数ライン係数exposure compensation value for image capture line、および奇数ライン係数exposure compensation value for motion capture line[0:3]を出力する。 In the sub calculation block (Comp Precise Exposure Time) 283, RegResetTime [i] in which the absolute time absoluteTime supplied with the reset signal reset [0: HS-1] from the sub calculation block 282 is stored, and the read signal read [ 0: HS-1], the current frame even line exposure time exp time for cur image capt, and the previous frame even line exposure time exp time for prev image capt are input. For the current frame even line exposure time exp time for cur image capt and the previous frame even line exposure time exp time for prev image capt, the clock clockHM is delayed by one cycle via the delay units 291 and 292, respectively. The information of the state that has been set is input. Further, the sub-operation block 282 outputs the even line coefficient exposure compensation value for image capture line and the odd line coefficient exposure compensation value for motion capture line [0: 3] based on these input signals.

ここで、図６５，図６６のフローチャートにおいては、現在フレーム偶数ライン露光時間exp time for cur image captは、expTimefForCurImgCaptと表記され、直前フレーム偶数ライン露光時間exp time for prev image captは、expTimeForPrevImgCaptと表記される。また、偶数ライン係数exposure compensation value for image capture lineは、compValueForImgCaptと表記され、奇数ライン係数exposure compensation value for motion capture line[0:3]は、compValueForMotCapt[0:3]と表記される。 Here, in the flowchart of FIG. 65, FIG. 66, the current frame even line exposure time exp time for cur image capt is denoted as expTimefFo r CurImgCapt, immediately preceding frame even line exposure time exp time for prev image capt is exp TimeFor Expressed as PrevImgCapt. The even line coefficient exposure compensation value for image capture line is expressed as compValueForImgCapt, and the odd line coefficient exposure compensation value for motion capture line [0: 3] is expressed as compValueForMotCapt [0: 3].

ここで、図６５，図６６のフローチャートを参照して、タイミング制御部１２２による第６の処理について説明する。 Here, the sixth process by the timing control unit 122 will be described with reference to the flowcharts of FIGS.

ステップＳ３０１において、サブ演算ブロック２８３は、偶数ライン係数exposure compensation value for image capture lineであるcompValueForImgCaptと、奇数ライン係数exposure compensation value for motion capture line[0:3]であるcompValueForMotCapt[0:3]を０に初期化する。 In step S301, the sub-operation block 283 sets compValueForImgCapt which is an even line coefficient exposure compensation value for image capture line and compValueForMotCapt [0: 3] which is an odd line coefficient exposure compensation value for motion capture line [0: 3] to 0. Initialize to.

ステップＳ３０２において、サブ演算ブロック２８３は、全ラインについて、読み出し信号であるread[i]（図６５，図６６においてはi＝0乃至HS−1）が、読み出しを指示している場合、サブ演算ブロック２８２に格納されているRegResetTime[i]を読み出し、今現在の絶対時刻absoluteTimeとの差分を求め、求められた値で、直前フレーム偶数ライン露光時間exp time for prev image captであるexpTimeForPrevImgCaptを除することにより、偶数ライン係数exposure compensation value for image capture lineであるcompValueForImgCaptを算出する。 In step S302, the sub-operation block 283 determines that the sub-operation is performed when read [i] (i = 0 to HS−1 in FIGS. 65 and 66), which is a read signal, indicates reading for all lines. Read RegResetTime [i] stored in block 282, obtain the difference from the current absolute time absoluteTime, and use the obtained value to calculate exp TimeFor PrevImgCapt which is the previous frame even line exposure time exp time for prev image capt. By dividing, compValueForImgCapt which is an even line coefficient exposure compensation value for image capture line is calculated.

ステップＳ３０３において、サブ演算ブロック２８３は、全ラインについて、読み出し信号であるread[i]が、４回目の読み出しを指示している場合、ステップＳ３０２と同様の演算により、奇数ライン係数exposure compensation value for motion capture line[3]であるcompValueForMotCapt[3]として算出する。 In step S303, when the read signal read [i] instructs the fourth reading for all lines, the sub-operation block 283 performs odd line coefficient exposure compensation value for by the same calculation as step S302. Calculate as compValueForMotCapt [3], which is motion capture line [3].

ステップＳ３０４において、サブ演算ブロック２８３は、ライン番号curHMであるtimeHMがHMの３／４以上である場合、全ラインについて、読み出し信号read[i]が３回目の読み出しを指示していたとき（DoThirdQuaterRead）、サブ演算ブロック２８２に格納されているRegResetTime[i]を読み出し、今現在の絶対時刻absoluteTimeとの差分を求め、求められた値で、現在フレーム偶数ライン露光時間exp time for cur image captであるexpTimeForCurImgCaptを除することにより、３回目の読み出しとなる奇数ライン係数exposure compensation value for motion capture lineであるcompValueForMotCapt[2]を算出する。 In step S304, when the timeHM of the line number curHM is equal to or greater than 3/4 of HM, the sub-operation block 283 has read the read signal read [i] for the third time for all lines (DoThirdQuaterRead ), RegResetTime [i] stored in the sub-operation block 282 is read, the difference from the current absolute time absoluteTime is obtained, and the current frame even line exposure time exp time for cur image capt with the obtained value. By dividing exp TimeFor CurImgCapt, compValueForMotCapt [2] which is an odd line coefficient exposure compensation value for motion capture line to be read for the third time is calculated.

また、サブ演算ブロック２８３は、ライン番号curHMであるtimeHMがHMの３／４以上ではない場合、全ラインについて、読み出し信号read[i]が３回目の読み出しを指示していたとき（DoThirdQuaterRead）、サブ演算ブロック２８２に格納されているRegResetTime[i]を読み出し、今現在の絶対時刻absoluteTimeとの差分を求め、求められた値で、直前フレーム偶数ライン露光時間exp time for prev image captであるexpTimeForPrevImgCaptを除することにより、３回目の読み出しとなる奇数ライン係数exposure compensation value for motion capture lineであるcompValueForMotCapt[2]を算出する。 Further, when the timeHM of the line number curHM is not equal to or more than 3/4 of the HM, the sub-operation block 283 reads the third read for all lines (DoThirdQuaterRead). RegResetTime [i] stored in the sub-operation block 282 is read out, the difference from the current absolute time absoluteTime is obtained, and the obtained value is used to determine the previous frame even line exposure time exp time for prev image capt exp TimeFor By dividing PrevImgCapt, compValueForMotCapt [2] which is an odd line coefficient exposure compensation value for motion capture line to be read for the third time is calculated.

ステップＳ３０５（図６６）において、サブ演算ブロック２８３は、ライン番号curHMであるtimeHMがHMの２／４以上である場合、読み出し信号read[i]が２回目の読み出しを指示していたとき（DoSecondQuaterRead）、サブ演算ブロック２８２に格納されているRegResetTime[i]を読み出し、今現在の絶対時刻absoluteTimeとの差分を求め、求められた値で、現在フレーム偶数ライン露光時間exp time for cur image captであるexpTimeForCurImgCaptを除することにより、２回目の読み出しとなる奇数ライン係数exposure compensation value for motion capture lineであるcompValueForMotCapt[1]を算出する。 In step S305 (FIG. 66), the sub-operation block 283 determines that the read signal read [i] instructs the second read when the timeHM that is the line number curHM is 2/4 or more of HM (DoSecondQuaterRead ), RegResetTime [i] stored in the sub-operation block 282 is read, the difference from the current absolute time absoluteTime is obtained, and the current frame even line exposure time exp time for cur image capt with the obtained value. By dividing exp TimeFor CurImgCapt, compValueForMotCapt [1] which is an odd line coefficient exposure compensation value for motion capture line to be read for the second time is calculated.

また、サブ演算ブロック２８３は、ライン番号curHMであるtimeHMがHMの２／４以上ではない場合、全ラインについて、読み出し信号read[i]が２回目の読み出しを指示していたとき（DoSecondQuaterRead）、サブ演算ブロック２８２に格納されているRegResetTime[i]を読み出し、今現在の絶対時刻absoluteTimeとの差分を求め、求められた値で、直前フレーム偶数ライン露光時間exp time for prev image captであるexpTimeForPrevImgCaptを除することにより、２回目の読み出しとなる奇数ライン係数exposure compensation value for motion capture lineであるcompValueForMotCapt[1]を算出する。 Further, when timeHM, which is the line number curHM, is not equal to or more than 2/4 of HM, the sub-operation block 283 has read the read signal read [i] for the second time for all lines (DoSecondQuaterRead), RegResetTime [i] stored in the sub-operation block 282 is read out, the difference from the current absolute time absoluteTime is obtained, and the obtained value is used to determine the previous frame even line exposure time exp time for prev image capt exp TimeFor By dividing PrevImgCapt, compValueForMotCapt [1] which is an odd line coefficient exposure compensation value for motion capture line to be read for the second time is calculated.

ステップＳ３０６において、サブ演算ブロック２８３は、ライン番号curHMであるtimeHMがHMの１／４以上である場合、全ラインについて、読み出し信号read[i]が１回目の読み出しを指示していたとき（DoFirstQuaterRead）、サブ演算ブロック２８２に格納されているRegResetTime[i]を読み出し、今現在の絶対時刻absoluteTimeとの差分を求め、求められた値で、現在フレーム偶数ライン露光時間exp time for cur image captであるexpTimeForCurImgCaptを除することにより、１回目の読み出しとなる奇数ライン係数exposure compensation value for motion capture lineであるcompValueForMotCapt[0]を算出する。 In step S306, when the timeHM, which is the line number curHM, is equal to or greater than 1/4 of HM, the sub-operation block 283 indicates that the read signal read [i] instructs the first read (DoFirstQuaterRead) for all lines. ), RegResetTime [i] stored in the sub-operation block 282 is read, the difference from the current absolute time absoluteTime is obtained, and the current frame even line exposure time exp time for cur image capt with the obtained value. By dividing exp TimeFor CurImgCapt, compValueForMotCapt [0] which is an odd line coefficient exposure compensation value for motion capture line to be read out for the first time is calculated.

また、サブ演算ブロック２８３は、ライン番号curHMであるtimeHMがHMの１／４以上ではない場合、全ラインについて、読み出し信号read[i]が１回目の読み出しを指示していたとき（DoFirstQuaterRead）、サブ演算ブロック２８２に格納されているRegResetTime[i]を読み出し、今現在の絶対時刻absoluteTimeとの差分を求め、求められた値で、直前フレーム偶数ライン露光時間exp time for prev image captであるexpTimeForPrevImgCaptを除することにより、１回目の読み出しとなる奇数ライン係数exposure compensation value for motion capture lineであるcompValueForMotCapt[0]を算出する。 In addition, when timeHM that is the line number curHM is not equal to or more than ¼ of the HM, the sub operation block 283 indicates that the read signal read [i] instructs the first reading for all lines (DoFirstQuaterRead). RegResetTime [i] stored in the sub-operation block 282 is read out, the difference from the current absolute time absoluteTime is obtained, and the obtained value is used to determine the previous frame even line exposure time exp time for prev image capt exp TimeFor By dividing PrevImgCapt, compValueForMotCapt [0] which is an odd line coefficient exposure compensation value for motion capture line to be read for the first time is calculated.

以上の処理により、偶数ライン係数exposure compensation value for image capture line、および奇数ライン係数exposure compensation value for motion capture line[0:3]が算出される。 Through the above processing, the even line coefficient exposure compensation value for image capture line and the odd line coefficient exposure compensation value for motion capture line [0: 3] are calculated.

このように、偶数ライン係数exposure compensation value for image capture line、および奇数ライン係数exposure compensation value for motion capture line[0:3]の値は、リセットの時刻と読み出し時刻との差分となる時間に逆比例した値となる。 Thus, the even line coefficient exposure compensation value for image capture line and the odd line coefficient exposure compensation value for motion capture line [0: 3] are inversely proportional to the time that is the difference between the reset time and the read time. It becomes the value.

＜制御部の処理について＞
次に、図６７のフローチャートを参照して、制御部１２１の処理について説明する。 <About processing of the control unit>
Next, processing of the control unit 121 will be described with reference to the flowchart of FIG.

ステップＳ３３１において、制御部１２１は、図示せぬ露出計などより適正露光時間（単位:秒））の情報を取得し、現在フレーム偶数ライン露光時間exposure time for current image captureを決定する。より具体的には、制御部１２１は、適正露光時間×60×HMを現在フレーム偶数ライン露光時間exposure time for current image captureに設定する。 In step S331, the control unit 121 acquires information on an appropriate exposure time (unit: seconds) from an exposure meter (not shown) and determines the current frame even line exposure time exposure time for current image capture. More specifically, the control unit 121 sets the appropriate exposure time × 60 × HM to the current frame even line exposure time exposure time for current image capture.

ステップＳ３３２において、制御部１２１は、直近で入力される垂直変化量deltaHperTwoClocklHM−(2×H/HM)の平均値の絶対値、または、直近で入力される水平変化量deltaWperTwoClocklHMの平均値の絶対値のいずれか大きな値に対して、（現在フレーム偶数ライン露光時間exposure time for current image capture/2）倍した演算値に応じて、現在奇数フレーム読み出し回数number of readout per frame for current motion captureを決定する。 In step S332, the control unit 121 determines the absolute value of the average value of the most recently input vertical change amount deltaHperTwoClocklHM− (2 × H / HM) or the absolute value of the average value of the horizontal change amount deltaWperTwoClocklHM input most recently. The number of readout per frame for current motion capture is determined according to the calculated value multiplied by (current frame even line exposure time exposure time for current image capture / 2). .

より具体的には、演算値が２未満である場合、制御部１２１は、現在奇数フレーム読み出し回数number of readout per frame for current motion captureを１、かつ、現在フレーム奇数ライン露光時間exposure time for current motion captureと現在フレーム偶数ライン露光時間exposure time for current image captureとを同一に設定する。 More specifically, when the calculated value is less than 2, the control unit 121 sets the current odd-numbered frame readout count number of readout per frame for current motion capture to 1 and the current frame odd-numbered line exposure time exposure time for current motion. The capture and the current frame even line exposure time exposure time for current image capture are set to be the same.

また、演算値が２以上４未満である場合、制御部１２１は、現在奇数フレーム読み出し回数number of readout per frame for current motion captureを２、かつ、現在フレーム奇数ライン露光時間exposure time for current motion captureと現在フレーム偶数ライン露光時間exposure time for current image captureの１／２とを同一に設定する。 When the calculated value is 2 or more and less than 4, the control unit 121 sets the current odd frame readout count number of readout per frame for current motion capture to 2 and the current frame odd line exposure time exposure time for current motion capture. Same as 1/2 of the current frame even line exposure time exposure time for current image capture.

さらに、演算値が４以上である場合、制御部１２１は、現在奇数フレーム読み出し回数number of readout per frame for current motion captureを４、かつ、現在フレーム奇数ライン露光時間exposure time for current motion captureと現在フレーム偶数ライン露光時間exposure time for current image captureの１／４とを同一に設定する。 Further, when the calculated value is 4 or more, the control unit 121 sets the current number of readout per frame for current motion capture to 4 and the current frame odd line exposure time exposure time for current motion capture and the current frame. ¼ of even line exposure time exposure time for current image capture is set to be the same.

ステップＳ３３３において、制御部１２１は、現在垂直基準位置designated line number which attracts the start of current frameを（HS−H）／２に設定する。また、制御部１２１は、直前水平基準位置designated pixel number which attracts the start of previous frameを（WS−W）／２に設定する。 In step S333, the control unit 121 sets the current vertical reference position designed line number which attracts the start of current frame to (HS−H) / 2. The control unit 121 sets the immediately preceding horizontal reference position designated pixel number which attracts the start of previous frame to the (WS-W) / 2.

ステップＳ３３４において、制御部１２１は、動き検出部１２９内に保持しているデータメモリから、直近の時刻における垂直方向オフセットoffsetHの値を読み出す。尚、垂直方向オフセットoffsetHは、絶対値の値が大きいほどイメージセンサ１１内の端部に近いことを示すものであり、逆に、０に近ければ近いほど、イメージセンサの中央部分を取り出していることを示す値であるが、詳細については図７２を参照して後述する。 In step S334, the control unit 121 reads the value of the vertical offset offsetH at the most recent time from the data memory held in the motion detection unit 129. The vertical offset offsetH indicates that the larger the absolute value is, the closer to the end in the image sensor 11. Conversely, the closer the value is to 0, the more the central portion of the image sensor is extracted. This value is shown in detail later with reference to FIG.

垂直方向オフセットoffsetHが０に近い場合、制御部１２１は、現在垂直パンブレ割合attractive vertical force for current frameの値を0.0に近い値に設定する。逆に、垂直方向オフセットoffsetHの絶対値が大きい場合、制御部１２１は、現在垂直パンブレ割合attractive vertical force for current frameの値を1.0に近い値に設定する。 When the vertical offset offsetH is close to 0, the control unit 121 sets the value of the current vertical pan blur ratio attractive vertical force for current frame to a value close to 0.0. Conversely, when the absolute value of the vertical offset offsetH is large, the control unit 121 sets the value of the current vertical pan blur ratio attractive vertical force for current frame to a value close to 1.0.

制御部１２１は、動き検出部１２９内に保持しているデータメモリから、直近の時刻における水平方向オフセットoffsetWの値を読み出す。尚、水平方向オフセットoffsetWは、絶対値の値が大きいほどイメージセンサ１１内の端部に近いことを示すものであり、逆に、０に近ければ近いほど、イメージセンサの中央部分を取り出していることを示す値であるが、詳細については図７２を参照して後述する。 The control unit 121 reads the value of the horizontal offset offsetW at the most recent time from the data memory held in the motion detection unit 129. Note that the horizontal offset offsetW indicates that the larger the absolute value, the closer to the end in the image sensor 11. Conversely, the closer to 0, the more the central portion of the image sensor is extracted. This value is shown in detail later with reference to FIG.

水平方向オフセットoffsetWが０に近い場合、制御部１２１は、現在水平パンブレ割合attractive horizontal force for previous frameの値を0.0に近い値に設定する。逆に、水平方向オフセットoffsetWの絶対値が大きい場合、制御部１２１は、現在水平パンブレ割合attractive horizontal force for previous frameの値を1.0に近い値にする。 When the horizontal offset offsetW is close to 0, the control unit 121 sets the current horizontal pan shake ratio attractive horizontal force for previous frame to a value close to 0.0. Conversely, when the absolute value of the horizontal offset offsetW is large, the control unit 121 sets the value of the current horizontal pan blur ratio attractive horizontal force for previous frame to a value close to 1.0.

すなわち、上述の処理により、イメージセンサ１１の現在のフレームの読み出し位置が、イメージセンサ１１の端部に近づいた場合、次のフレームで読み出そうとする位置がイメージセンサ１１の領域をはみ出してしまう可能性がある。そこで、現在垂直パンブレ割合attractive vertical force for current frameおよび現在水平パンブレ割合attractive horizontal force for previous frameについては、パンの割合が大きくなるように設定される。パンの割合が大きくなれば、強制的にｙ＝ｙ０から１０８０ライン分が読み出されるような位置にすることが可能となる。 That is, if the current frame reading position of the image sensor 11 approaches the edge of the image sensor 11 by the above-described processing, the position to be read in the next frame protrudes from the area of the image sensor 11. there is a possibility. Therefore, the current vertical pan blur ratio attractive vertical force for current frame and the current horizontal pan blur ratio attractive horizontal force for previous frame are set so that the pan ratio is increased. If the pan ratio increases, it is possible to force the position to read 1080 lines from y = y0.

逆に、イメージセンサ１１の中央部分を読み出している場合、現在垂直パンブレ割合attractive vertical force for current frameおよび現在水平パンブレ割合attractive horizontal force for previous frameについては、手振れの割合が大きくなるように設定される。このため、直近の時刻における１９２０×１０８０画素の取り出し位置が、イメージセンサ１１を構成するWS×HS個の画素（受光素子）の中のどの位置であるかを示す値（後述する垂直方向オフセットoffsetHと水平方向オフセットoffsetW）が用いられる。 On the other hand, when the central portion of the image sensor 11 is read, the current vertical pan rate “attractive vertical force for current frame” and the current horizontal pan rate “attractive horizontal force for previous frame” are set such that the rate of camera shake increases. . Therefore, a value indicating which position in the WS × HS pixels (light receiving elements) constituting the image sensor 11 the 1920 × 1080 pixel take-out position at the most recent time (a vertical offset offsetH described later) is. And horizontal offset offsetW) are used.

＜マッチング部の処理について＞
次に、図６８のフローチャートを参照して、マッチング部１２８の処理について説明する。 <About the processing of the matching unit>
Next, processing of the matching unit 128 will be described with reference to the flowchart of FIG.

ステップＳ３５１において、マッチング部１２８は、入力されてくる１ライン分の１次元の画素データをターゲットデータtarget dataとして取得する。このとき、ターゲットデータtarget dataに付随する現在時刻読み出し偶数ラインpresent read line for image capture[i]の値をターゲットラインtarget lineとし、整数水平方向読み出し開始位置read start pixel int の値をtarget start pixelとする。 In step S351, the matching unit 128 acquires input one-dimensional pixel data for one line as target data target data. At this time, the value of the present time read even line present read line for image capture [i] attached to the target data target data is set as the target line target line, and the integer horizontal reading start position read start pixel int is set as the target start pixel. To do.

ステップＳ３５２において、マッチング部１２８は、フレームメモリ１２７に格納されている１ライン分のデータ（１次元データ列）を参照データreference dataとして取得する。このとき、伸長部１６２により圧縮された１ライン分のデータは伸長されており、ターゲットデータtarget dataと同サイズとされている。マッチング部１２８は、ターゲットデータtarget dataとの相関を取り、最も相関のあるときの参照データreference dataを検出する。このとき、ターゲットデータtarget dataを水平方向（ｘ軸方向）に移動させても良い。 In step S352, the matching unit 128 acquires data for one line (one-dimensional data string) stored in the frame memory 127 as reference data reference data. At this time, the data for one line compressed by the decompression unit 162 is decompressed and has the same size as the target data target data. The matching unit 128 correlates with the target data target data and detects reference data reference data when there is the most correlation. At this time, the target data target data may be moved in the horizontal direction (x-axis direction).

ここで、最も相関のある時のｘ軸方向の移動量を最大相関移動量length in case of max correlationとする。また、参照データreference dataから読み出した「１ライン分のデータ」に対応する現在時刻読み出し奇数ラインpresent read line for motion capture[0:3]の値を最大相関ラインreference lineとする。さらに、参照データreference dataから読み出した１ライン分のデータに対応する整数水平方向読み出し開始位置read start pixel intの値を参照開始画素位置reference start pixelとする。また、参照データreference dataから読み出した１ライン分のデータに対応する時刻absoluteTimeの値を参照時刻reference timeとする。 Here, the movement amount in the x-axis direction when there is the most correlation is defined as the maximum correlation movement amount length in case of max correlation. Also, the value of the current time read odd line present read line for motion capture [0: 3] corresponding to “one line of data” read from the reference data reference data is set as the maximum correlation line reference line. Further, the value of the integer horizontal direction read start position read start pixel int corresponding to the data for one line read from the reference data reference data is set as a reference start pixel position reference start pixel. Also, the value of time absoluteTime corresponding to the data for one line read from the reference data reference data is set as the reference time reference time.

ステップＳ３５３において、マッチング部１２８は、最大相関ラインreference lineと、ターゲットラインtarget lineとの差分を、垂直方向差分diffHとして算出し、動き検出部１２９に供給する。また、マッチング部１２８は、参照開始画素reference start pixelから最大相関移動量length in case of max correlationと、参照開始画素位置reference start pixelと合わせて減算した値を、水平方向差分diffWとして算出し、動き検出部１２９に供給する。さらに、マッチング部１２８は、参照時刻reference timeを基準時刻baseTimeとして、動き検出部１２９に供給する。 In step S353, the matching unit 128 calculates a difference between the maximum correlation line reference line and the target line target line as a vertical direction difference diffH and supplies the difference to the motion detection unit 129. Further, the matching unit 128 calculates a value obtained by subtracting the maximum correlation movement amount length in case of max correlation and the reference start pixel position reference start pixel from the reference start pixel reference start pixel as a horizontal difference diffW, It supplies to the detection part 129. Further, the matching unit 128 supplies the reference time reference time to the motion detection unit 129 as the reference time baseTime.

以上の処理により、図６９で示されるように、現在の時刻と、参照時刻reference timeとにおけるWS×HS個の画素（受光素子）のいずれかのライン上に画素値が配列されている部位との位置関係が求められる。すなわち、現在の時刻において、ｙ座標がターゲットラインtarget lineであり、ｘ座標が（参照開始画素target start pixel＋最大相関移動量length in case of max correlation）から始まる横方向の１次元データ（投影像）と、参照時刻reference timeにおいて、ｙ座標が最大相関ラインreference lineであり、ｘ座標が参照開始画素reference start pixelから始まる横方向の１次元データ（投影像）は、同じ投影像であるとみなされる。 As a result of the above processing, as shown in FIG. 69, the part where pixel values are arranged on any line of WS × HS pixels (light receiving elements) at the current time and the reference time reference time Is required. That is, at the current time, the y-coordinate is the target line target line, and the x-coordinate is one-dimensional data (projected image) starting from (reference start pixel target start pixel + maximum correlation movement amount length in case of max correlation). In the reference time reference time, the one-dimensional data (projection image) in the horizontal direction where the y coordinate is the maximum correlation line reference line and the x coordinate starts from the reference start pixel reference start pixel is regarded as the same projection image. .

そこで、以上の処理により、この投影像の位置関係の差を示す情報として、垂直方向差分diffH、水平方向差分diffW、および基準時刻baseTimeが動き検出部１２９に渡されることになる。 Thus, through the above processing, the vertical direction difference diffH, the horizontal direction difference diffW, and the reference time baseTime are passed to the motion detection unit 129 as information indicating the difference in the positional relationship between the projection images.

尚、各マッチング部１２８に入力される１ライン分のデータ（１次元データ列）は、フレームメモリ１２７のIn [0:3]端子に入力されたすべてのデータについて行う。 Note that one line of data (one-dimensional data string) input to each matching unit 128 is performed for all data input to the In [0: 3] terminal of the frame memory 127.

また、この処理は、奇数ラインが読み出されたときのみ処理されるので、クロックclockHMの２サイクルに１回処理が行われる。 Further, since this process is performed only when odd lines are read, the process is performed once every two cycles of the clock clockHM.

さらに、上述した説明では、ライン（１次元データ列）を使ったマッチング処理を具体例として説明したが、この他に特徴点ベースのマッチングや、ブロックマッチングなどを使用しても良い。または、ジャイロセンサ等を用いて、ジャイロセンサにより検出されたデータを用いることで、垂直方向差分diffH、水平方向差分diffW、および基準時刻baseTimeを求めるようにしてもよい。 Furthermore, in the above description, the matching process using a line (one-dimensional data string) has been described as a specific example. However, feature point-based matching, block matching, or the like may be used. Alternatively, the vertical direction difference diffH, the horizontal direction difference diffW, and the reference time baseTime may be obtained by using data detected by the gyro sensor using a gyro sensor or the like.

尚、フレームメモリ１２７については、イメージセンサ１１により撮像された画像を構成する画素データをそのまま記憶するものではなく、圧縮部１６１により圧縮された画像を記憶するものである。圧縮された画像は、上述したようにマッチング部１２８により動きを検出するための画像であればよく、高画質な画像である必要がないため、小さな容量でよいものである。したがって、フレームメモリ１２７は、一般に、イメージセンサ１１により撮像された画像を、そのまま一旦記憶するものよりも十分に小さな容量のメモリであるので、コストの負担を増大させるものではない。 Note that the frame memory 127 does not store the pixel data constituting the image captured by the image sensor 11 as it is, but stores the image compressed by the compression unit 161. The compressed image only needs to be an image for detecting motion by the matching unit 128 as described above, and does not need to be a high-quality image. Therefore, the frame memory 127 is generally a memory having a sufficiently smaller capacity than that temporarily storing an image captured by the image sensor 11 as it is, and therefore does not increase the cost burden.

＜動き検出部の処理について＞
次に、図７０乃至図７２を参照して、動き検出部１２９の処理について説明する。 <About the processing of the motion detection unit>
Next, processing of the motion detection unit 129 will be described with reference to FIGS. 70 to 72.

ステップＳ３７１において、動き検出部１２９は、マッチング部１２８−１乃至１２８−４より供給されてくる垂直方向差分diffHを、それぞれ垂直方向差分diffH[0]，diffH[1]，diffH[2]，diffH[3]とする。同様に、動き検出部１２９は、マッチング部１２８−１乃至１２８−４より供給されてくる水平方向差分diffWをそれぞれ水平方向差分diffW[0]，diffW[1]，diffW[2]、およびdiffHW[3]とする。さらに、動き検出部１２９は、マッチング部１２８−１乃至１２８−４より供給されてくる基準時刻baseTimeをそれぞれ基準時刻baseTime[0]，baseTime[1]，baseTime[2]，baseTime[3]とする。なお、各[]内の表記については、[i]と表記するものとし、i=0乃至3であるものとする。 In step S371, the motion detection unit 129 uses the vertical direction differences diffH supplied from the matching units 128-1 to 128-4 as the vertical direction differences diffH [0], diffH [1], diffH [2], and diffH, respectively. [3] Similarly, the motion detection unit 129 converts the horizontal direction differences diffW supplied from the matching units 128-1 to 128-4 into the horizontal direction differences diffW [0], diffW [1], diffW [2], and diffHW [ 3]. Further, the motion detection unit 129 sets the reference times baseTime supplied from the matching units 128-1 to 128-4 as the reference times baseTime [0], baseTime [1], baseTime [2], and baseTime [3], respectively. . Note that the notation in each [] is represented as [i], and i = 0 to 3.

ステップＳ３７２において、動き検出部１２９は、内部に保持しているデータメモリ（図示省略）から、基準時刻baseTime[i]に対応する垂直方向オフセットoffsetH、および水平方向オフセットoffsetWの値を読み出し、垂直方向オフセットoffsetH[i]、水平方向オフセットoffsetW[i]とする。 In step S372, the motion detection unit 129 reads the values of the vertical offset offsetH and the horizontal offset offsetW corresponding to the reference time baseTime [i] from the data memory (not shown) held therein, and performs the vertical direction Assume that offset offsetH [i] and horizontal offset offsetW [i].

そして、動き検出部１２９は、垂直変化量offsetHtmp[i]を、垂直方向オフセットoffsetH[i]と垂直方向差分diffH[i]との和として計算する。同様に、動き検出部１２９は、水平変化量offsetWtmp[i]を、水平方向オフセットoffsetW[i]と水平方向差分diffW[i]との和として計算する。尚、動き検出部１２９は、イネーブルENがdisableで計算されていない場合は、無効データとして無視する。 Then, the motion detection unit 129 calculates the vertical change amount offsetHtmp [i] as the sum of the vertical direction offset offsetH [i] and the vertical direction difference diffH [i]. Similarly, the motion detection unit 129 calculates the horizontal change amount offsetWtmp [i] as the sum of the horizontal offset offsetW [i] and the horizontal difference diffW [i]. In addition, the motion detection part 129 ignores it as invalid data, when enable EN is not calculated by disable.

ステップＳ３７３において、動き検出部１２９は、４つの垂直変化量offsetHtmp[i]の中で有効なデータの平均値を計算し、時刻absoluteTimeに対応する垂直方向オフセットoffsetHの値として、内部のデータメモリに格納する。また、動き検出部１２９は、４つの水平変化量offsetWtmp[i]のなかで有効なデータの平均値を計算し、時刻absoluteTimeに対応する水平方向オフセットoffsetWの値として、図示せぬ内部のデータメモリに格納する。 In step S373, the motion detection unit 129 calculates an average value of valid data among the four vertical change amounts offsetHtmp [i], and stores it in the internal data memory as the value of the vertical offset offsetH corresponding to the time absoluteTime. Store. Also, the motion detection unit 129 calculates an average value of effective data among the four horizontal change amounts offsetWtmp [i], and uses an internal data memory (not shown) as a value of the horizontal offset offsetW corresponding to the time absoluteTime. To store.

なお、４つ全てのデータが無効である場合、動き検出部１２９は、内部のデータメモリに格納する、時刻absoluteTimeに対応する垂直方向オフセットoffsetHの値として、データメモリから時刻(absoluteTime−2)に対応する垂直方向オフセットoffsetHを２倍した値から時刻(absoluteTime−4)に対応する垂直方向オフセットoffsetHの値を引き算した値（即ち、時刻(absoluteTime−4)および(absoluteTime−2)の値から、時刻absoluteTimeに対応する垂直方向オフセットoffsetHの値を外挿した値）とする。 When all four data are invalid, the motion detection unit 129 stores the value from the data memory at the time (absoluteTime-2) as the value of the vertical offset offsetH corresponding to the time absoluteTime stored in the internal data memory. The value obtained by subtracting the value of the vertical offset offsetH corresponding to the time (absoluteTime-4) from the value obtained by doubling the corresponding vertical offset offsetH (that is, from the value of the time (absoluteTime-4) and (absoluteTime-2)) Value obtained by extrapolating the value of the vertical offset offsetH corresponding to the time absoluteTime).

同様に、動き検出部１２９は、内部のデータメモリに格納する、時刻absoluteTimeに対応する水平方向オフセットoffsetWの値として、データメモリから時刻(absoluteTime−2)に対応する水平方向オフセットoffsetWの２倍した値から、データメモリから時刻(absoluteTime−4)に対応する水平方向オフセットoffsetWの値を引き算した値（即ち、時刻(absoluteTime−4)および(absoluteTime−2)の値から、絶対時刻absoluteTimeに対応する水平方向オフセットoffsetWの値を外挿した値）とする。 Similarly, the motion detection unit 129 doubles the horizontal offset offsetW corresponding to the time (absoluteTime-2) from the data memory as the value of the horizontal offset offsetW corresponding to the time absoluteTime stored in the internal data memory. The value corresponds to the absolute time absoluteTime from the value obtained by subtracting the value of the horizontal offset offsetW corresponding to the time (absoluteTime-4) from the data memory (that is, the value of the time (absoluteTime-4) and (absoluteTime-2)) Value obtained by extrapolating the value of horizontal offset offsetW).

ステップＳ３７４（図７１）において、動き検出部１２９は、ステップＳ３７３の処理でデータメモリに格納した時刻absoluteTimeに対応する垂直方向オフセットoffsetHと、内部のデータメモリに保持している時刻（absoluteTime−2）に対応する垂直方向オフセットoffsetHの差を計算し、さらに、（2*H/HM）という定数を加算した値を、垂直移動量deltaHperTwoClocklHMとして出力する。 In step S374 (FIG. 71), the motion detection unit 129 determines the vertical offset offsetH corresponding to the time absoluteTime stored in the data memory in the process of step S373, and the time held in the internal data memory (absoluteTime-2). Is calculated as a vertical movement amount deltaHperTwoClocklHM, and a value obtained by adding a constant (2 * H / HM) is output.

また、動き検出部１２９は、ステップＳ３７３の処理でデータメモリに格納した時刻absoluteTimeに対応する水平方向オフセットoffsetWと、内部のデータメモリに保持している時刻(absoluteTime−2)に対応する水平方向オフセットoffsetWの差を、水平方向移動量deltaWperTwoClocklHMとして出力する。 In addition, the motion detection unit 129 performs the horizontal offset offsetW corresponding to the time absoluteTime stored in the data memory in the process of step S373 and the horizontal offset corresponding to the time (absoluteTime-2) held in the internal data memory. The difference between offsetW is output as the horizontal movement amount deltaWperTwoClocklHM.

なお、上述の変数の説明を、図７２を参照して説明する。図７２において、最初の１フレーム目のイメージセンサ１１（WS×HS個の画素（受光素子）上の全画素の左上の位置を原点としている。最初の１フレーム目では、イメージセンサ１１の中央部分が読み出される。 The above-described variables will be described with reference to FIG. 72, the origin is the upper left position of all pixels on the image sensor 11 (WS × HS pixels (light receiving elements)) in the first frame. In the first frame, the central portion of the image sensor 11 is used. Is read out.

従って、各時刻における垂直方向オフセットoffsetHの絶対値の大きさが大きければ大きいほど、その時刻において、イメージセンサの上辺あるいは下辺に近い部分から1920×1080画素の取り出していることを意味する。そして、各時刻における水平方向オフセットoffsetWの絶対値の大きさが大きければ大きいほど、その時刻において、イメージセンサの左辺あるいは右辺に近い部分から1920×1080画素の取り出していることを意味する。 Therefore, the larger the absolute value of the vertical offset offsetH at each time is, the more 1920 × 1080 pixels are extracted from the portion near the upper side or the lower side of the image sensor at that time. The larger the absolute value of the horizontal offset offsetW at each time is, the more pixels 1920 × 1080 pixels are extracted from the portion near the left side or right side of the image sensor at that time.

図７２で示されるように、過去の時刻baseTime（すなわち、reference time）における垂直方向オフセットoffsetHと水平方向オフセットoffsetW、および、垂直方向差分diffHと水平方向差分diffWとから、現在の時刻absoluteTimeにおける垂直方向オフセットoffsetHと水平方向オフセットoffsetWを求めている。 As shown in FIG. 72, the vertical direction offset at the current time AbsoluteTime from the vertical offset offsetH and the horizontal offset offsetW at the past time baseTime (that is, the reference time) and the vertical difference diffH and the horizontal difference diffW. The offset offsetH and the horizontal offset offsetW are obtained.

このようにして、垂直方向移動量deltaHperTwoClocklHMおよび水平方向移動量deltaWperTwoClocklHMが求められる。 In this way, the vertical movement amount deltaHperTwoClocklHM and the horizontal movement amount deltaWperTwoClocklHM are obtained.

＜補間部の処理＞
次に、図７３乃至図７６を参照して、補間部１３２の処理について説明する。 <Interpolator processing>
Next, processing of the interpolation unit 132 will be described with reference to FIGS. 73 to 76.

ステップＳ３９１において、補間部１３２は、クロックclockHに対応した時刻timeHを１インクリメントする。ただし、H＝０の場合、すなわち、初回に限りtimeH＝0とする。これにより、現在のクロックclockHに同期した時刻において、出力すべきライン番号（０乃至１０７９）が確定する。 In step S391, the interpolation unit 132 increments the time timeH corresponding to the clock clockH by one. However, when H = 0, that is, timeH = 0 only for the first time. As a result, the line numbers (0 to 1079) to be output are determined at the time synchronized with the current clock clockH.

ステップＳ３９２において、補間部１３２は、図７５で示されるように、クロックclockHとクロックclockHMとを同期させた現在時刻である同期現在時刻timeDoubleをtimeH*HM/Hにより算出する。また、補間部１３２は、図７５で示されるように、クロックclockHMの同期時刻timeIntをfloor(timeDouble/2.0)*2.0のように算出する。さらに、補間部１３２は、図７５で示されるように、時間重みtimeWeightを(timeDouble-timeInt)/2.0のように算出する。 In step S392, as illustrated in FIG. 75, the interpolation unit 132 calculates a synchronization current time timeDouble that is a current time of synchronizing the clock clockH and the clock clockHM by timeH * HM / H. Further, as illustrated in FIG. 75, the interpolation unit 132 calculates the synchronization time timeInt of the clock clockHM as floor (timeDouble / 2.0) * 2.0. Further, the interpolation unit 132 calculates the time weight timeWeight as (timeDouble-timeInt) /2.0 as shown in FIG.

ステップＳ３９３において、補間部１３２は、クロックclockHMに同期して、データセットメモリ１３１に格納されている、どの時刻（上述のtimeHM）に、どのラインのどの画素を読み出せば良いかというデータセットを読み出し、クロックclockHに同期した各時刻において、どのラインのどの画素を読み出せば良いかという情報を求める。 In step S393, the interpolation unit 132 synchronizes with the clock clockHM and stores a data set stored in the data set memory 131 indicating which pixel of which line should be read at which time (timeHM described above). Information on which pixel of which line should be read out at each time synchronized with the read-out clock clockH is obtained.

すなわち、補間部１３２は、データセットメモリ１３１より、読み出すべき画素を特定する、クロックclockHMに同期した時刻timeHM＝timeIntのデータセットを読み出す。補間部１３２は、読み出したデータセットの水平方向読み出し開始位置read start pixelをstart pixel 1と定義する。補間部１３２は、読み出したデータセットの現在フレーム偶数ライン上読み出し垂直座標line corresponding to start time of current frameをline 1と定義する。 That is, the interpolation unit 132 reads a data set at time timeHM = timeInt that is synchronized with the clock clockHM and identifies the pixel to be read from the data set memory 131. The interpolating unit 132 defines the horizontal read start position read start pixel of the read data set as start pixel 1. The interpolating unit 132 defines the read-out vertical coordinate line corresponding to the start frame of the current frame on the current frame even line of the read data set as line 1.

ステップＳ３９４において、補間部１３２は、データセットメモリ１３１から、時刻timeHM=timeInt+2であるデータセットを読み出す。補間部１３２は、読み出したデータセットの水平方向読み出し開始位置read start pixelをstart pixel 2と定義する。また、補間部１３２は、読み出したデータセットの現在フレーム偶数ライン上読み出し垂直座標line corresponding to start time of current frameをline 2と定義する。 In step S <b> 394, the interpolation unit 132 reads a data set with time timeHM = timeInt + 2 from the data set memory 131. The interpolation unit 132 defines the horizontal direction read start position read start pixel of the read data set as start pixel 2. In addition, the interpolation unit 132 defines the read-out vertical coordinate line corresponding to the start frame of the current frame of the read data set as line 2.

ただし、（HM−2）<（timeInt+2）である場合、補間部１３２は、読み出したデータセットの過去水平方向読み出し開始位置read start pixel pastをstart pixel 2と定義し、直前フレーム偶数ライン延長線上読み出し垂直座標line corresponding to start time of previous frameをline 2と定義する。 However, when (HM−2) <(timeInt + 2), the interpolation unit 132 defines the read start pixel past read start pixel past of the read data set as start pixel 2 and extends the even-numbered line of the immediately preceding frame. The vertical coordinate line corresponding to start time of previous frame is defined as line 2.

これは、（HM−2）<（timeInt+2）である場合には、timeInt+2の時刻においては、クロックclockHMに同期した処理は、すでに、次のフレームに移行しているからである。そこで、水平方向読み出し開始位置read start pixelおよび現在フレーム偶数ライン上読み出し垂直座標line corresponding to start time of current frameに代えて、それぞれ過去水平方向読み出し開始位置read start pixel pastおよび直前フレーム偶数ライン延長線上読み出し垂直座標line corresponding to start time of previous frameが用いられる。 This is because if (HM−2) <(timeInt + 2), the processing synchronized with the clock clockHM has already shifted to the next frame at the time of timeInt + 2. Therefore, instead of the horizontal readout start position read start pixel and the current frame even line readout, the vertical coordinate line corresponding to start time of current frame, instead of the past horizontal readout start position read start pixel past and the previous frame even line extension line readout, respectively. The vertical coordinate line corresponding to start time of previous frame is used.

ステップＳ３９５（図７４）において、補間部１３２は、クロックclockHMに同期した時刻timeIntに対応する１ライン分の画素データ（line data 1)を作成する。すなわち、補間部１３２は、ラインメモリ１３０より、現在時刻読み出し偶数ラインpresent read line for image captureが、floor(line 1)（line1で定義される値の小数点以下が切り捨てられたライン）となる１ライン分の画素データ、または、現在時刻読み出し奇数ラインpresent read line for motion capture[3]がfloor(line1)（line1で定義される値の小数点以下が切り捨てられたライン）である１ライン分の画素データを読み出す。 In step S395 (FIG. 74), the interpolation unit 132 creates pixel data (line data 1) for one line corresponding to the time timeInt synchronized with the clock clockHM. That is, the interpolation unit 132 reads from the line memory 130 one line in which the current time read even line present read line for image capture becomes floor (line 1) (a line in which the decimal point of the value defined by line 1 is rounded down). Minute pixel data, or pixel data for one line whose current time read odd line present read line for motion capture [3] is floor (line1) (the line defined with line1 is rounded down) Is read.

さらに、補間部１３２は、画素データが格納されているラインメモリ１３０から、現在時刻読み出し偶数ラインpresent read line for image captureがfloor(line 1)+1であるか、または、現在時刻読み出し奇数ラインpresent read line for motion capture[3]がfloor(line 1)+1である１ライン分の画素データを読み出す。 Further, the interpolation unit 132 determines whether the current time read even line present read line for image capture is floor (line 1) +1 from the line memory 130 in which the pixel data is stored, or the current time read odd line present. Read pixel data for one line whose read line for motion capture [3] is floor (line 1) +1.

尚、現在時刻読み出し偶数ラインpresent read line for image captureの値は偶数であり、現在時刻読み出し奇数ラインpresent read line for motion capture[3]の値は奇数であるから、ラインメモリ１３０から読み出すデータは、それぞれ１つずつである。 In addition, since the value of the present time read even line present read line for image capture is an even number and the current time read odd line present read line for motion capture [3] is an odd number, the data read from the line memory 130 is Each one.

読み出されたデータである２ライン分の画素データから、（line 1）番目のラインで、（start pixel 1）の位置から、（（start pixel 1）＋H−1）の位置までの合計H個の画素データ列を作成する。なお、（line 1）および（start pixel 1）の値は小数部を含むので、画素データ列を作成するにあたっては、補間部１３２は、２次元線形補間を行う。このＨ個の１ライン分のデータをline data 1とする。 A total of H pixels from the position of (start pixel 1) to the position of ((start pixel 1) + H−1) in the (line 1) -th line from the pixel data of the two lines read out. The pixel data string is created. Since the values of (line 1) and (start pixel 1) include a decimal part, the interpolation unit 132 performs two-dimensional linear interpolation when creating a pixel data string. This H data for one line is defined as line data 1.

ステップＳ３９６において、補間部１３２は、クロックclockHMに同期した時刻（timeInt＋２）に対応する１ライン分の画素データ（line data 2)を作成する。すなわち、補間部１３２は、ラインメモリ１３０から、現在時刻読み出し偶数ラインpresent read line for image captureがfloor(line 2)、または、現在時刻読み出し奇数ラインpresent read line for motion capture[3]がfloor(line 2)である１ライン分の画素データを読み出す。さらに、補間部１３２は、ラインメモリ１３０から、現在時刻読み出し偶数ラインpresent read line for image captureが（floor（line 2）+1）、または、現在時刻読み出し奇数ラインpresent read line for motion capture[3]が（floor(line 2)+1）であるデータを読み出す。 In step S396, the interpolation unit 132 creates pixel data (line data 2) for one line corresponding to the time (timeInt + 2) synchronized with the clock clockHM. That is, the interpolation unit 132 reads the current time read even line present read line for image capture from the line memory 130 as floor (line 2) or the current time read odd line present read line for motion capture [3] as floor (line 2) Read out the pixel data for one line. Further, the interpolation unit 132 reads the current time read even line present read line for image capture from the line memory 130 (floor (line 2) +1) or the current time read odd line present read line for motion capture [3]. Reads data where is (floor (line 2) +1).

尚、現在時刻読み出し偶数ラインpresent read line for image captureの値は偶数であり、現在時刻読み出し奇数ラインpresent read line for motion capture[3]の値は奇数であるから、ラインメモリ１３０から読み出される１ライン分の画素データは、それぞれ１つずつである。 Note that the present time read even line present read line for image capture value is an even number, and the current time read odd line present read line for motion capture [3] value is an odd number. Each pixel data is one each.

補間部１３２は、読み出されたデータである２ライン分の画素データから、（line 2）番目のラインで、（start pixel 2）の位置から、（（start pixel 2）+H−1）の位置までの合計H個の画素データ列を作成する。なお、（line 2）および（start pixel 2）の値は小数部を含むので、画素データ列を作成するにあたって、補間部１３２は、２次元線形補間を行う。このＨ個の１ライン分のデータをline data 2とする。 The interpolation unit 132 calculates the (line 2) -th line from the position of (start pixel 2) from the position of (start pixel 2) + (− 1) from the two lines of pixel data that is the read data. A total of H pixel data strings up to the position are created. Since the values of (line 2) and (start pixel 2) include a decimal part, the interpolation unit 132 performs two-dimensional linear interpolation when creating a pixel data string. This H data for one line is defined as line data 2.

ステップＳ３９７において、補間部１３２は、１ライン分のデータline data 1，line data 2の各画素データに対して、時間重みtimeWeightを用いて、(1.0−timeWeight)：timeWeightの割合で重み付け加算を行い、新しい１ライン分の画素データを、現在の時刻(timeH)における１列分の画素データ(Out Data)として出力する。 In step S397, the interpolation unit 132 performs weighted addition at a ratio of (1.0−timeWeight): timeWeight to each pixel data of data line data 1 and line data 2 for one line using the time weight timeWeight. The pixel data for one new line is output as pixel data (Out Data) for one column at the current time (timeH).

すなわち、line data 1，line data 2のそれぞれにおける同一の位置の画素の画素値をそれぞれPd1,Pd2とし、求めようとするライン上の対応する位置の画素の画素値をPdとすると、図７５で示されるような、(1.0−timeWeight)：timeWeightの割合の場合、補間部１３２は、Pd1×timeWeight＋Pd2×(1.0−timeWeight)を算出し、この演算結果を求めようとするライン上の画素値Pdとする。 That is, assuming that the pixel values of the pixels at the same position in line data 1 and line data 2 are Pd1 and Pd2, respectively, and the pixel value of the pixel at the corresponding position on the line to be obtained is Pd, FIG. As shown, in the case of the ratio of (1.0−timeWeight): timeWeight, the interpolation unit 132 calculates Pd1 × timeWeight + Pd2 × (1.0−timeWeight), and calculates the pixel value Pd on the line for which the calculation result is to be obtained. To do.

以上のごとく、垂直方向移動量deltaHperTwoClocklHMおよび水平方向移動量deltaWperTwoClocklHMにより、現在の時刻において、イメージセンサ１１上のどのラインのどの位置から読み出せば良いかを決定し、その決定に基づき、イメージセンサ１１の受光素子の中から適応的に読み出すようにした。 As described above, the position of which line on the image sensor 11 should be read at the current time is determined by the vertical movement amount deltaHperTwoClocklHM and the horizontal movement amount deltaWperTwoClocklHM. It was made to read adaptively from the light receiving elements.

また、垂直方向移動量deltaHperTwoClocklHMおよび水平方向移動量deltaWperTwoClocklHMから、露光時間内での被写体の動きを予測して、奇数ラインについて、偶数ラインの直前の読み出し時刻と今回の読み出し時刻との時間間隔を何分割すれば良いかを決定している。そして、偶数ラインの画素データと奇数ラインの画素データとが線形補間により生成される（図７４のフローチャートを参照して説明した処理により生成される）。このため、通常の撮像ではブレてしまうような状況でも、偶数ラインの画素からなるブレのある画像と、奇数ラインの画素からなるノイズはあるがブレのない画像とを合成することで、ブレ、および、ノイズを抑制した画像を生成することが可能となる。 In addition, the movement of the subject within the exposure time is predicted from the vertical movement amount deltaHperTwoClocklHM and the horizontal movement amount deltaWperTwoClocklHM, and for the odd lines, what is the time interval between the read time immediately before the even lines and the current read time? It is decided whether to divide. Then, pixel data of even lines and pixel data of odd lines are generated by linear interpolation (generated by the processing described with reference to the flowchart of FIG. 74). For this reason, even in a situation where blurring occurs in normal imaging, a blurring image composed of even-numbered pixels and an image consisting of odd-numbered pixels of noise but without blurring can be combined. And it becomes possible to produce | generate the image which suppressed noise.

また、奇数ラインの画素データと、過去の画素データとを比較することで、垂直方向移動量deltaHperTwoClocklHMおよび水平方向移動量deltaWperTwoClocklHMを求めるようにした。もちろん、ジャイロセンサが撮像装置に組み込まれている場合、このジャイロセンサの検出結果を使って、垂直方向移動量deltaHperTwoClocklHMおよび水平方向移動量deltaWperTwoClocklHMを求めても良い。 Also, the vertical direction movement amount deltaHperTwoClocklHM and the horizontal direction movement amount deltaWperTwoClocklHM are obtained by comparing the pixel data of the odd lines with the past pixel data. Of course, when the gyro sensor is incorporated in the imaging apparatus, the vertical direction movement amount deltaHperTwoClocklHM and the horizontal direction movement amount deltaWperTwoClocklHM may be obtained using the detection result of the gyro sensor.

たとえば、奇数ラインについて、偶数ラインの直前の読み出し時刻と今回の読み出し時刻との時間間隔を４分割して、４回のリセットと読み出しを行う４倍読み出し処理の場合、図７６の偶数ラインおよび奇数ラインの読み出し時刻を表す太い曲線、および奇数ラインの読み出し時刻を表す細い曲線からなる奇数ラインのデータでとして読み出される。図７６において、時刻ｔ５について着目すると、この時刻ｔ５においては、図中の黒丸に対応する４つのラインが読み出される。 For example, for an odd line, in the case of quadruple read processing in which the time interval between the read time immediately before the even line and the current read time is divided into four and reset and read four times, the even lines and odd numbers in FIG. Data is read out as odd-line data consisting of a thick curve representing the line readout time and a thin curve representing the odd-line readout time. In FIG. 76, focusing on time t5, at this time t5, four lines corresponding to the black circles in the figure are read.

また、本技術を適用したイメージセンサでは、読み出された画素ライン毎に、４つのマッチング部１２８−１乃至１２８−４において、被写体の移動が検出される。４つの画素ラインは、１０８０ラインにわたって、ほぼ等間隔に分割されたラインであり、例えば、上部に偏った４つのライン等ではない。これにより、垂直方向移動量deltaHperTwoClocklHMおよび水平方向移動量deltaWperTwoClocklHMをロバストに検出することが可能となる。 In the image sensor to which the present technology is applied, the movement of the subject is detected by the four matching units 128-1 to 128-4 for each read pixel line. The four pixel lines are lines that are substantially equally spaced over 1080 lines, and are not, for example, four lines that are biased upward. This makes it possible to robustly detect the vertical movement amount deltaHperTwoClocklHM and the horizontal movement amount deltaWperTwoClocklHM.

画面内のある一部分に偏った部分（領域）のみについて検出すると、その領域が、たまたま、テクスチャがない被写体投影像であったり、模様の繰り返しパターンがある被写体投影像であったりすると、誤判定を起こしてしまう。 If only a part (region) that is biased to a certain part of the screen is detected, if that region happens to be a subject projection image without a texture or a subject projection image with a pattern repetition pattern, an erroneous determination is made. I will wake you up.

しかしながら、本技術によれば、領域が偏っていないので、たまたま一部分に判断不可能な領域があったとしても、他の領域を検査しているマッチング部１２８の処理により、ロバストに動きを求めることができる。 However, according to the present technology, since the areas are not biased, even if there is an area that cannot be determined in part, the movement of the matching unit 128 that inspects other areas is robustly obtained. Can do.

ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。 By the way, the series of processes described above can be executed by hardware, but can also be executed by software. When a series of processing is executed by software, a program constituting the software may execute various functions by installing a computer incorporated in dedicated hardware or various programs. For example, it is installed from a recording medium in a general-purpose personal computer or the like.

図７７は、汎用のパーソナルコンピュータの構成例を示している。このパーソナルコンピュータは、CPU(Central Processing Unit)１００１を内蔵している。CPU１００１にはバス１００４を介して、入出力インタ-フェイス１００５が接続されている。バス１００４には、ROM(Read Only Memory)１００２およびRAM(Random Access Memory)１００３が接続されている。 FIG. 77 shows a configuration example of a general-purpose personal computer. This personal computer incorporates a CPU (Central Processing Unit) 1001. An input / output interface 1005 is connected to the CPU 1001 via a bus 1004. A ROM (Read Only Memory) 1002 and a RAM (Random Access Memory) 1003 are connected to the bus 1004.

入出力インタ-フェイス１００５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部１００６、処理操作画面や処理結果の画像を表示デバイスに出力する出力部１００７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部１００８、LAN（Local Area Network）アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部１００９が接続されている。また、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリなどのリムーバブルメディア１０１１に対してデータを読み書きするドライブ１０１０が接続されている。 The input / output interface 1005 includes an input unit 1006 including an input device such as a keyboard and a mouse for a user to input an operation command, an output unit 1007 for outputting a processing operation screen and an image of the processing result to a display device, programs, and various types. A storage unit 1008 including a hard disk drive for storing data, a LAN (Local Area Network) adapter, and the like, and a communication unit 1009 for performing communication processing via a network represented by the Internet are connected. Also, a magnetic disk (including a flexible disk), an optical disk (including a CD-ROM (Compact Disc-Read Only Memory), a DVD (Digital Versatile Disc)), a magneto-optical disk (including an MD (Mini Disc)), or a semiconductor A drive 1010 for reading / writing data from / to a removable medium 1011 such as a memory is connected.

CPU１００１は、ROM１００２に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブルメディア１０１１ら読み出されて記憶部１００８にインストールされ、記憶部１００８からRAM１００３にロードされたプログラムに従って各種の処理を実行する。RAM１００３にはまた、CPU１００１が各種の処理を実行する上において必要なデータなども適宜記憶される。 The CPU 1001 is read from a program stored in the ROM 1002 or a removable medium 1011 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, installed in the storage unit 1008, and loaded from the storage unit 1008 to the RAM 1003. Various processes are executed according to the program. The RAM 1003 also appropriately stores data necessary for the CPU 1001 to execute various processes.

以上のように構成されるコンピュータでは、CPU１００１が、例えば、記憶部１００８に記憶されているプログラムを、入出力インタフェース１００５及びバス１００４を介して、RAM１００３にロードして実行することにより、上述した一連の処理が行われる。 In the computer configured as described above, the CPU 1001 loads the program stored in the storage unit 1008 to the RAM 1003 via the input / output interface 1005 and the bus 1004 and executes the program, for example. Is performed.

コンピュータ（CPU１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。 The program executed by the computer (CPU 1001) can be provided by being recorded on the removable medium 1011 as a package medium, for example. The program can be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.

コンピュータでは、プログラムは、リムーバブルメディア１０１１をドライブ１０１０に装着することにより、入出力インタフェース１００５を介して、記憶部１００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１００９で受信し、記憶部１００８にインストールすることができる。その他、プログラムは、ROM１００２や記憶部１００８に、あらかじめインストールしておくことができる。 In the computer, the program can be installed in the storage unit 1008 via the input / output interface 1005 by attaching the removable medium 1011 to the drive 1010. Further, the program can be received by the communication unit 1009 via a wired or wireless transmission medium and installed in the storage unit 1008. In addition, the program can be installed in advance in the ROM 1002 or the storage unit 1008.

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。 The program executed by the computer may be a program that is processed in time series in the order described in this specification, or in parallel or at a necessary timing such as when a call is made. It may be a program for processing.

また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。 In this specification, the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Accordingly, a plurality of devices housed in separate housings and connected via a network and a single device housing a plurality of modules in one housing are all systems. .

なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。 The embodiments of the present technology are not limited to the above-described embodiments, and various modifications can be made without departing from the gist of the present technology.

例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。 For example, the present technology can take a configuration of cloud computing in which one function is shared by a plurality of devices via a network and is jointly processed.

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。 In addition, each step described in the above flowchart can be executed by being shared by a plurality of apparatuses in addition to being executed by one apparatus.

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。 Further, when a plurality of processes are included in one step, the plurality of processes included in the one step can be executed by being shared by a plurality of apparatuses in addition to being executed by one apparatus.

尚、本技術は、以下のような構成も取ることができる。
（１）被写体からの光を受光する２次元上に配置された複数の受光素子と、
前記２次元上に配置された複数の受光素子に投影される前記被写体の投影像の移動量を検出する検出部と、
前記移動量に応じて、前記２次元上に配置された複数の受光素子から読み出すタイミングをライン毎に適応的に制御する受光素子制御部と
を含むイメージセンサ。
（２）前記検出部は、前記受光素子により過去、および現在において撮像された画像を用いて前記移動量を検出する、または、ジャイロセンサにより前記移動量を検出する
（１）に記載のイメージセンサ。
（３）前記受光素子制御部は、過去に複数の受光素子から画素データを読み出したラインの時系列の変位と、現在の複数の受光素子から画素データを読み出したラインの時系列の変位との案分により求められるタイミングでライン毎の読み出しを適応的に制御する
（１）または（２）に記載のイメージセンサ。
（４）前記受光素子制御部は、前記受光素子がリセットされてから読み出されるまでの露光時間の、適正露光時間に対する割合の逆数に比例する係数を算出し、
前記２次元上に配置された複数の受光素子の一部の受光素子が受光することで発生した画素データに、前記係数を乗算してゲインを調整する乗算部をさらに含む
（１）乃至（３）のいずれかに記載のイメージセンサ。
（５）被写体からの光を受光する２次元上に配置された複数の受光素子を備えるイメージセンサの動作方法において、
前記２次元上に配置された複数の受光素子に投影される前記被写体の投影像の移動量を検出し、
前記移動量に応じて、前記２次元上に配置された複数の受光素子から読み出すラインを適応的に制御する
イメージセンサの動作方法。
（６）被写体からの光を受光する２次元上に配置された複数の受光素子を備えるイメージセンサを制御するコンピュータに、
前記２次元上に配置された複数の受光素子に投影される前記被写体の投影像の移動量を検出し、
前記移動量に応じて、前記２次元上に配置された複数の受光素子から読み出すラインを適応的に制御する
ステップを含む処理を実行させるプログラム。
（７）被写体からの光を受光する２次元上に配置された複数の受光素子と、
前記２次元上に配置された複数の受光素子に投影される前記被写体の投影像の移動量を検出する検出部と、
前記移動量に応じて、前記２次元上に配置された複数の受光素子から読み出すタイミングをライン毎に適応的に制御する受光素子制御部と
を含む電子機器。
（８）被写体からの光を受光する２次元上に配置された複数の受光素子と、
前記２次元上に配置された複数の受光素子に投影される前記被写体の投影像の移動量を検出する検出部と、
前記移動量に応じて、前記２次元上に配置された複数の受光素子のうち、一部の受光素子の露光時間を適応的に短くするように制御する受光素子制御部と
を含むイメージセンサ。
（９）前記検出部は、前記受光素子により過去、および現在において撮像された画像を用いて前記移動量を検出する、または、ジャイロセンサにより前記移動量を検出する
（８）に記載のイメージセンサ。
（１０）前記露光時間が短く制御された前記一部の受光素子により撮像された画素データと、前記一部の受光素子を除く受光素子により撮像された画素データとを合成する合成部をさらに含む
（８）または（９）に記載のイメージセンサ。
（１１）被写体からの光を受光する２次元上に配置された複数の受光素子を備えたイメージセンサの動作方法において、
前記２次元上に配置された複数の受光素子に投影される前記被写体の投影像の移動量を検出し、
前記移動量に応じて、前記２次元上に配置された複数の受光素子のうち、一部の受光素子の露光時間を適応的に短くするように制御する
イメージセンサの動作方法。
（１２）被写体からの光を受光する２次元上に配置された複数の受光素子を備えたイメージセンサを制御するコンピュータに、
前記２次元上に配置された複数の受光素子に投影される前記被写体の投影像の移動量を検出し、
前記移動量に応じて、前記２次元上に配置された複数の受光素子のうち、一部の受光素子の露光時間を適応的に短くするように制御する
ステップ含む処理を実行させるプログラム。
（１３）被写体からの光を受光する２次元上に配置された複数の受光素子と、
前記２次元上に配置された複数の受光素子に投影される前記被写体の投影像の移動量を検出する検出部と、
前記移動量に応じて、前記２次元上に配置された複数の受光素子のうち、一部の受光素子の露光時間を適応的に短くするように制御する受光素子制御部と
を含む電子機器。
（１４）被写体からの光を受光する２次元上に配置された複数の受光素子と、
前記２次元上に配置された複数の受光素子に投影される前記被写体の投影像の移動量を検出する検出部と、
前記移動量に応じて、前記２次元上に配置された複数の受光素子のうち、一部の受光素子の露光時間を適応的に短くし、複数回数撮像するように制御する受光素子制御部と
を含むイメージセンサ。
（１５）前記受光素子制御部は、前記一部の受光素子により撮像された画素データについては、前記一部の受光素子を除く受光素子により撮像された画素データよりも語長を短くする
（１４）に記載のイメージセンサ。
（１６）前記検出部は、前記一部の受光素子により過去、および現在において撮像された画像を用いて前記移動量を検出する、または、ジャイロセンサにより前記移動量を検出する
（１４）または（１５）に記載のイメージセンサ。
（１７）被写体からの光を受光する２次元上に配置された複数の受光素子を備えるイメージセンサの動作方法において、
前記２次元上に配置された複数の受光素子に投影される前記被写体の投影像の移動量を検出し、
前記移動量に応じて、前記２次元上に配置された複数の受光素子のうち、一部の受光素子の露光時間を適応的に短くし、複数回数撮像するように制御する
イメージセンサの動作方法。
（１８）被写体からの光を受光する２次元上に配置された複数の受光素子を備えるイメージセンサを制御するコンピュータに、
前記２次元上に配置された複数の受光素子に投影される前記被写体の投影像の移動量を検出し、
前記移動量に応じて、前記２次元上に配置された複数の受光素子のうち、一部の受光素子の露光時間を適応的に短くし、複数回数撮像するように制御する
ステップを含む処理を実行させるプログラム。
（１９）被写体からの光を受光する２次元上に配置された複数の受光素子と、
前記２次元上に配置された複数の受光素子に投影される前記被写体の投影像の移動量を検出する検出部と、
前記移動量に応じて、前記２次元上に配置された複数の受光素子のうち、一部の受光素子の露光時間を適応的に短くし、複数回数撮像するように制御する受光素子制御部と
を含む電子機器。 In addition, this technique can also take the following structures.
(1) a plurality of light receiving elements arranged two-dimensionally for receiving light from a subject;
A detection unit for detecting a movement amount of the projected image of the subject projected on the plurality of light receiving elements arranged two-dimensionally;
An image sensor including: a light receiving element control unit that adaptively controls timing for reading from the plurality of light receiving elements arranged two-dimensionally for each line according to the amount of movement.
(2) The image sensor according to (1), wherein the detection unit detects the movement amount using images captured in the past and the present by the light receiving element, or detects the movement amount by a gyro sensor. .
(3) The light receiving element control unit includes a time-series displacement of a line in which pixel data is read from a plurality of light-receiving elements in the past and a time-series displacement of a line in which pixel data is read from a plurality of current light-receiving elements. The image sensor according to (1) or (2), wherein the readout for each line is adaptively controlled at a timing required by the proper amount.
(4) The light receiving element control unit calculates a coefficient proportional to the reciprocal of the ratio of the exposure time from the reset of the light receiving element to the read-out to the appropriate exposure time,
(1) to (3) further including a multiplying unit that adjusts the gain by multiplying the pixel data generated by receiving light received by some of the plurality of light receiving elements arranged in two dimensions by the coefficient. The image sensor according to any one of the above.
(5) In an operation method of an image sensor including a plurality of light receiving elements arranged two-dimensionally to receive light from a subject,
Detecting the amount of movement of the projected image of the subject projected on the plurality of light receiving elements arranged in two dimensions;
An image sensor operation method that adaptively controls lines read from the plurality of light receiving elements arranged in two dimensions according to the amount of movement.
(6) A computer for controlling an image sensor including a plurality of light receiving elements arranged in two dimensions for receiving light from a subject;
Detecting the amount of movement of the projected image of the subject projected on the plurality of light receiving elements arranged in two dimensions;
A program for executing processing including a step of adaptively controlling lines read from the plurality of light receiving elements arranged in two dimensions according to the amount of movement.
(7) a plurality of light receiving elements arranged two-dimensionally for receiving light from a subject;
A detection unit for detecting a movement amount of the projected image of the subject projected on the plurality of light receiving elements arranged two-dimensionally;
An electronic device comprising: a light receiving element control unit that adaptively controls timing for reading from the plurality of light receiving elements arranged two-dimensionally for each line according to the amount of movement.
(8) a plurality of light receiving elements arranged two-dimensionally for receiving light from a subject;
A detection unit for detecting a movement amount of the projected image of the subject projected on the plurality of light receiving elements arranged two-dimensionally;
An image sensor comprising: a light receiving element control unit configured to control the exposure time of some of the light receiving elements among the plurality of light receiving elements arranged two-dimensionally in accordance with the amount of movement.
(9) The image sensor according to (8), wherein the detection unit detects the movement amount using images captured in the past and the present by the light receiving element, or detects the movement amount by a gyro sensor. .
(10) The image processing apparatus further includes a combining unit that combines the pixel data captured by the part of the light receiving elements controlled to have a short exposure time and the pixel data captured by the light receiving elements other than the part of the light receiving elements. The image sensor according to (8) or (9).
(11) In an operation method of an image sensor including a plurality of light receiving elements arranged two-dimensionally to receive light from a subject,
Detecting the amount of movement of the projected image of the subject projected on the plurality of light receiving elements arranged in two dimensions;
An operation method of an image sensor, wherein an exposure time of a part of the plurality of light receiving elements arranged in two dimensions is controlled to be adaptively shortened according to the amount of movement.
(12) A computer for controlling an image sensor including a plurality of light receiving elements arranged in two dimensions for receiving light from a subject;
Detecting the amount of movement of the projected image of the subject projected on the plurality of light receiving elements arranged in two dimensions;
A program for executing a process including a step of controlling the exposure time of some of the light receiving elements arranged in a two-dimensional manner to be adaptively shortened according to the amount of movement.
(13) a plurality of light receiving elements arranged two-dimensionally for receiving light from a subject;
A detection unit for detecting a movement amount of the projected image of the subject projected on the plurality of light receiving elements arranged two-dimensionally;
An electronic device comprising: a light receiving element control unit configured to control an exposure time of a part of the light receiving elements among the plurality of light receiving elements arranged in two dimensions according to the amount of movement.
(14) a plurality of light receiving elements arranged two-dimensionally for receiving light from a subject;
A detection unit for detecting a movement amount of the projected image of the subject projected on the plurality of light receiving elements arranged two-dimensionally;
A light receiving element control unit configured to adaptively shorten an exposure time of some light receiving elements among the plurality of light receiving elements arranged two-dimensionally according to the amount of movement, and to control the number of times of imaging; Including image sensor.
(15) The light receiving element control unit shortens the word length of the pixel data imaged by the part of the light receiving elements as compared with the pixel data imaged by the light receiving elements excluding the part of the light receiving elements. ) Image sensor.
(16) The detection unit detects the movement amount using images picked up in the past and present by the partial light receiving elements, or detects the movement amount by a gyro sensor. The image sensor according to 15).
(17) In an operation method of an image sensor including a plurality of light receiving elements arranged two-dimensionally for receiving light from a subject,
Detecting the amount of movement of the projected image of the subject projected on the plurality of light receiving elements arranged in two dimensions;
An operation method of an image sensor, wherein an exposure time of a part of the light receiving elements among the plurality of light receiving elements arranged in two dimensions is adaptively shortened according to the amount of movement, and control is performed so as to image a plurality of times. .
(18) A computer for controlling an image sensor including a plurality of light receiving elements arranged two-dimensionally to receive light from a subject;
Detecting the amount of movement of the projected image of the subject projected on the plurality of light receiving elements arranged in two dimensions;
A process including a step of adaptively shortening the exposure time of some of the light receiving elements arranged in a two-dimensional manner according to the amount of movement and controlling to image a plurality of times. The program to be executed.
(19) a plurality of light receiving elements arranged two-dimensionally for receiving light from a subject;
A detection unit for detecting a movement amount of the projected image of the subject projected on the plurality of light receiving elements arranged two-dimensionally;
A light receiving element control unit configured to adaptively shorten an exposure time of some light receiving elements among the plurality of light receiving elements arranged two-dimensionally according to the amount of movement, and to control the number of times of imaging; Including electronic equipment.

１１イメージセンサ，２１画像，１０１撮像装置，１２１制御部（Controller），１２２タイミング制御部（Reset and Readout Timing block），１２３垂直制御部（Computing Line Corresponding to Start Time block），１２４水平制御部（Computing Pixel Corresponding to Start Time block），１２５，１２５−１乃至１２５−５パラレルシリアル変換部（P/S），１２６，１２６−１乃至１２６−５乗算部，１２７フレームメモリ（Frame Memory），１２８，１２８−１乃至１２８−５マッチング部（Matching），１２９ Comp Delta MV，１３０ラインメモリ（Lines Memory），１３１データセットメモリ（Data Set Memory），１３２補間部（Interpolation），１６１，１６１−１乃至１６１−４圧縮部（shrink），１６２伸張部（enlarge） DESCRIPTION OF SYMBOLS 11 Image sensor, 21 image, 101 imaging device, 121 control part (Controller), 122 timing control part (Reset and Readout Timing block), 123 vertical control part (Computing Line Corresponding to Start Time block), 124 horizontal control part (Computing) Pixel Corresponding to Start Time block), 125, 125-1 to 125-5 Parallel-serial converter (P / S), 126, 126-1 to 126-5 multiplier, 127 Frame memory, 128, 128 -1 to 128-5 Matching section (129), 129 Comp Delta MV, 130 Line memory (Lines Memory), 131 Data set memory (Data Set Memory), 132 Interpolation section (Interpolation), 161, 161-1 to 161- 4 Compression (shrink), 162 Expansion (enlarge)

Claims

被写体からの光を受光する２次元上に配置された複数の受光素子と、
前記２次元上に配置された複数の受光素子に投影される前記被写体の投影像の移動量を検出する検出部と、
前記移動量に応じて、前記２次元上に配置された複数の受光素子から画素データを読み出すタイミングをライン毎に適応的に制御する受光素子制御部とを含み、
前記受光素子制御部は、過去に複数の受光素子から前記画素データを読み出したラインの時系列の変位と、現在の複数の受光素子から前記画素データを読み出したラインの時系列の変位との案分により求められるタイミングでライン毎の読み出しを適応的に制御する
イメージセンサ。 A plurality of light receiving elements arranged two-dimensionally for receiving light from a subject;
A detection unit for detecting a movement amount of the projected image of the subject projected on the plurality of light receiving elements arranged two-dimensionally;
In response to said movement amount, seen including a light receiving element controller for adaptively controlling the timing of reading pixel data from the plurality of light receiving elements arranged on the two-dimensional line by line,
The light receiving element control unit proposes a time-series displacement of a line in which the pixel data is read from a plurality of light receiving elements in the past and a time series displacement of a line in which the pixel data is read from a plurality of current light receiving elements. Adaptive control of line-by-line readout at the timing required by minutes
Image sensor.

前記検出部は、前記受光素子により過去、および現在において撮像された画像を用いて前記移動量を検出する、または、ジャイロセンサにより前記移動量を検出する
請求項１に記載のイメージセンサ。 The image sensor according to claim 1, wherein the detection unit detects the movement amount using images picked up by the light receiving element in the past and the present, or detects the movement amount by a gyro sensor.

前記受光素子制御部は、前記受光素子がリセットされてから読み出されるまでの露光時間の、適正露光時間に対する割合の逆数に比例する係数を算出し、
前記２次元上に配置された複数の受光素子の一部の受光素子が受光することで発生した画素データに、前記係数を乗算してゲインを調整する乗算部をさらに含む
請求項１または２に記載のイメージセンサ。 The light receiving element control unit calculates a coefficient proportional to the reciprocal of the ratio to the appropriate exposure time of the exposure time from when the light receiving element is reset to being read,
3. The multiplier according to claim 1, further comprising a multiplication unit that adjusts a gain by multiplying the pixel data generated by receiving light received by some of the plurality of light receiving elements arranged in two dimensions with the coefficient. The image sensor described.

被写体からの光を受光する２次元上に配置された複数の受光素子を有するイメージセンサの動作方法において、
前記２次元上に配置された複数の受光素子に投影される前記被写体の投影像の移動量を検出し、
前記移動量に応じて、前記２次元上に配置された複数の受光素子から画素データを読み出すラインを適応的に制御し、
前記受光素子を制御する処理は、過去に複数の受光素子から前記画素データを読み出したラインの時系列の変位と、現在の複数の受光素子から前記画素データを読み出したラインの時系列の変位との案分により求められるタイミングでライン毎の読み出しを適応的に制御する
イメージセンサの動作方法。 In an operation method of an image sensor having a plurality of light receiving elements arranged two-dimensionally for receiving light from a subject,
Detecting the amount of movement of the projected image of the subject projected on the plurality of light receiving elements arranged in two dimensions;
According to the amount of movement, adaptively controlling a line for reading out pixel data from the plurality of light receiving elements arranged in the two-dimensional ,
The process of controlling the light receiving element includes a time series displacement of a line in which the pixel data is read from a plurality of light receiving elements in the past, and a time series displacement of a line in which the pixel data is read from a plurality of current light receiving elements. An image sensor operation method that adaptively controls line-by-line readout at the timing required by the proposition .

被写体からの光を受光する２次元上に配置された複数の受光素子を有するイメージセンサを制御するコンピュータに、
前記２次元上に配置された複数の受光素子に投影される前記被写体の投影像の移動量を検出し、
前記移動量に応じて、前記２次元上に配置された複数の受光素子から画素データを読み出すラインを適応的に制御するステップを含む処理を実行させ、
前記受光素子を制御するステップは、過去に複数の受光素子から前記画素データを読み出したラインの時系列の変位と、現在の複数の受光素子から前記画素データを読み出したラインの時系列の変位との案分により求められるタイミングでライン毎の読み出しを適応的に制御する
プログラム。 To a computer for controlling an image sensor having a plurality of light receiving elements arranged in two dimensions for receiving light from a subject,
Detecting the amount of movement of the projected image of the subject projected on the plurality of light receiving elements arranged in two dimensions;
In accordance with the amount of movement, a process including adaptively controlling a line for reading out pixel data from the plurality of light receiving elements arranged in the two dimensions is executed ,
The step of controlling the light receiving element includes a time series displacement of a line in which the pixel data is read from a plurality of light receiving elements in the past, and a time series displacement of a line in which the pixel data is read from a plurality of current light receiving elements. reads the adaptively controlled to that program at a timing determined by the prorated for each line.

被写体からの光を受光する２次元上に配置された複数の受光素子と、
前記２次元上に配置された複数の受光素子に投影される前記被写体の投影像の移動量を検出する検出部と、
前記移動量に応じて、前記２次元上に配置された複数の受光素子から画素データを読み出すタイミングをライン毎に適応的に制御する受光素子制御部とを含み、
前記受光素子制御部は、過去に複数の受光素子から前記画素データを読み出したラインの時系列の変位と、現在の複数の受光素子から前記画素データを読み出したラインの時系列の変位との案分により求められるタイミングでライン毎の読み出しを適応的に制御する
電子機器。 A plurality of light receiving elements arranged two-dimensionally for receiving light from a subject;
A detection unit for detecting a movement amount of the projected image of the subject projected on the plurality of light receiving elements arranged two-dimensionally;
In response to said movement amount, seen including a light receiving element controller for adaptively controlling the timing of reading pixel data from the plurality of light receiving elements arranged on the two-dimensional line by line,
The light receiving element control unit proposes a time-series displacement of a line in which the pixel data is read from a plurality of light receiving elements in the past and a time series displacement of a line in which the pixel data is read from a plurality of current light receiving elements. Adaptive control of line-by-line readout at the timing required by minutes
Electronics.

被写体からの光を受光する２次元上に配置された複数の受光素子と、
前記２次元上に配置された複数の受光素子に投影される前記被写体の投影像の移動量を検出する検出部と、
前記移動量に応じて、前記２次元上に配置された複数の受光素子のうち、一部の受光素子の露光時間を適応的に短くし、複数回数撮像するように制御する受光素子制御部とを含み、
前記受光素子制御部は、前記一部の受光素子により撮像された画素データについては、前記一部の受光素子を除く受光素子により撮像された画素データよりも語長を短くする
イメージセンサ。 A plurality of light receiving elements arranged two-dimensionally for receiving light from a subject;
A detection unit for detecting a movement amount of the projected image of the subject projected on the plurality of light receiving elements arranged two-dimensionally;
A light receiving element control unit configured to adaptively shorten an exposure time of some light receiving elements among the plurality of light receiving elements arranged two-dimensionally according to the amount of movement, and to control the number of times of imaging; only including,
The light receiving element control unit shortens the word length of pixel data imaged by the part of the light receiving elements, compared to pixel data imaged by the light receiving elements excluding the part of the light receiving elements.
Image sensor.

前記検出部は、前記一部の受光素子により過去、および現在において撮像された画像を用いて前記移動量を検出する、または、ジャイロセンサにより前記移動量を検出する
請求項７に記載のイメージセンサ。 The image sensor according to claim 7 , wherein the detection unit detects the movement amount using images captured in the past and present by the partial light receiving elements, or detects the movement amount by a gyro sensor. .

被写体からの光を受光する２次元上に配置された複数の受光素子を備えるイメージセンサの動作方法において、
前記２次元上に配置された複数の受光素子に投影される前記被写体の投影像の移動量を検出し、
前記移動量に応じて、前記２次元上に配置された複数の受光素子のうち、一部の受光素子の露光時間を適応的に短くし、複数回数撮像するように制御し、
前記受光素子を制御する処理は、前記一部の受光素子により撮像された画素データについては、前記一部の受光素子を除く受光素子により撮像された画素データよりも語長を短くする
イメージセンサの動作方法。 In an operation method of an image sensor including a plurality of light receiving elements arranged two-dimensionally for receiving light from a subject,
Detecting the amount of movement of the projected image of the subject projected on the plurality of light receiving elements arranged in two dimensions;
Depending on the amount of movement, among the plurality of light receiving elements arranged in two dimensions, the exposure time of a part of the light receiving elements is adaptively shortened, and control is performed so as to image a plurality of times .
The process of controlling the light receiving element is to reduce the word length of the pixel data captured by the part of the light receiving elements to be shorter than the pixel data captured by the light receiving elements other than the part of the light receiving elements . How it works.

被写体からの光を受光する２次元上に配置された複数の受光素子を備えるイメージセンサを制御するコンピュータに、
前記２次元上に配置された複数の受光素子に投影される前記被写体の投影像の移動量を検出し、
前記移動量に応じて、前記２次元上に配置された複数の受光素子のうち、一部の受光素子の露光時間を適応的に短くし、複数回数撮像するように制御するステップを含む処理を実行させ、
前記受光素子を制御するステップは、前記一部の受光素子により撮像された画素データについては、前記一部の受光素子を除く受光素子により撮像された画素データよりも語長を短くする
プログラム。 To a computer that controls an image sensor including a plurality of light receiving elements arranged in two dimensions for receiving light from a subject,
Detecting the amount of movement of the projected image of the subject projected on the plurality of light receiving elements arranged in two dimensions;
A process including a step of adaptively shortening the exposure time of some of the light receiving elements arranged in a two-dimensional manner according to the amount of movement and controlling to image a plurality of times. to be executed,
The step of controlling the light receiving elements is a program for shortening the word length of pixel data imaged by the part of the light receiving elements as compared with pixel data imaged by the light receiving elements excluding the part of the light receiving elements .

被写体からの光を受光する２次元上に配置された複数の受光素子と、
前記２次元上に配置された複数の受光素子に投影される前記被写体の投影像の移動量を検出する検出部と、
前記移動量に応じて、前記２次元上に配置された複数の受光素子のうち、一部の受光素子の露光時間を適応的に短くし、複数回数撮像するように制御する受光素子制御部とを含み、
前記受光素子制御部は、前記一部の受光素子により撮像された画素データについては、前記一部の受光素子を除く受光素子により撮像された画素データよりも語長を短くする
電子機器。 A plurality of light receiving elements arranged two-dimensionally for receiving light from a subject;
A detection unit for detecting a movement amount of the projected image of the subject projected on the plurality of light receiving elements arranged two-dimensionally;
A light receiving element control unit configured to adaptively shorten an exposure time of some light receiving elements among the plurality of light receiving elements arranged two-dimensionally according to the amount of movement, and to control the number of times of imaging; only including,
The light receiving element control unit shortens the word length of pixel data imaged by the part of the light receiving elements, compared to pixel data imaged by the light receiving elements excluding the part of the light receiving elements.
Electronics.