JP2009171545A - Image pickup system, method for driving image pickup elements, program, and recording medium - Google Patents
Image pickup system, method for driving image pickup elements, program, and recording medium Download PDFInfo
- Publication number
- JP2009171545A JP2009171545A JP2008256416A JP2008256416A JP2009171545A JP 2009171545 A JP2009171545 A JP 2009171545A JP 2008256416 A JP2008256416 A JP 2008256416A JP 2008256416 A JP2008256416 A JP 2008256416A JP 2009171545 A JP2009171545 A JP 2009171545A
- Authority
- JP
- Japan
- Prior art keywords
- image
- frame period
- pixels
- divided frame
- divided
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
Description
本発明は、撮像素子の駆動方法に関する。 The present invention relates to a method for driving an image sensor.
１つの撮像素子の、異なる撮像領域からの画像信号を得て画像を形成することが可能な撮像装置としては、例えば下記の特許文献１や特許文献２がある。
As an imaging apparatus capable of obtaining an image signal from different imaging regions of one imaging element and forming an image, for example, there are
特許文献１には、撮像素子から信号を読み出す動作として、画素を間引いて走査するスキップモードと、一部の（所定範囲の）画素を間引かずに走査するためのブロックモードとを備え、それぞれのモードで走査して得た画像データを１画面分ずつ読み出すことが記載されている。また、スキップモードとブロックモードとで得た画像は１画面交互で読み出すことに限らず、両者の走査時間の比率を変えても良いことが記載されている。
特許文献２には、２次元状に画素を配列された画素アレイの一部の領域を間引いて読み出し、別の一部の領域を間引かずに、領域に含まれる全画素の信号を読み出すことが記載されている。画素アレイの全体の間引き画像を取得するためには、全画素を読み出した領域の信号のうち、間引き走査に対応する位置の画素の信号のみが、撮像素子の後段にあるバッファメモリから読み出される。
特許文献３には、モニタリング画像を表示しつつ、モニタリング画像の周期よりも速い周期でオートフォーカス処理を実現する技術が開示されている。特許文献３の図８（Ｂ）に示されるように複数の測距枠が存在するときに、特許文献３の図１２に示されるようなシーケンスを行う。具体的には、モニタリング画像の一部を読み込んだ後に複数の測距枠の全てを読み込むという動作を繰り返すことが開示されている。
例えば、特許文献１のように画面の全体を間引いて低密度に画素からの読み出し、一部の注目する領域からは全画素を読み出す動作を行った場合、撮像素子の全体の画素数が増加すると、全体画像を読み出す時間が長くなる傾向にある。そのため、特許文献１のように、スキップモードによる画像とブロックモードによる画像とを交互に出力すると、高速に読み出せる部分画像であるブロックモードによる画像の更新速度が、スキップモードによる画像全体画像の更新速度に律則されて遅くなる。画角合わせとピント合わせとを同時に行うような用途においては、注目している領域の画像を高精細に取得し、更新速度を高くする要求があるが、例えば特許文献１によると、注目している領域の画像を十分な更新速度で得られないことが考えられる。
For example, as in
また、スキップモードとブロックモードとを切り換える比率を変える、すなわち、この場合は注目する部分画像を複数画面（複数フレーム）連続して取得した後に全体画像を１画面取得する動作を繰り返すと、部分画像の平均的な更新周期は短くなる。しかしながら、全体画像を挟んで取得される２つの部分画像間の更新間隔すなわち更新周期と、全体画像を挟まずに取得される連続する部分画像間の更新間隔とは異なるために、得られる動画の動きが不均一となる問題が生じる。 Further, when the ratio of switching between the skip mode and the block mode is changed, that is, in this case, when the partial image of interest is acquired continuously for a plurality of screens (a plurality of frames) and then the operation for acquiring the entire image is repeated, the partial image The average update period of becomes shorter. However, since the update interval between two partial images acquired with the entire image sandwiched between them, that is, the update cycle is different from the update interval between consecutive partial images acquired without sandwiching the entire image, The problem of non-uniform movement occurs.
また、部分画像として読み出す領域が大きく、全体画像を大きく間引いて極めて低い密度で読み出す場合には、部分画像を読み出すのに要する時間が全体画像の読み出しに要する時間よりも長くなるので、部分画像の読み出し速度に律則されて全体画像の更新周期が長くなる。この場合に全体画像と部分画像とを読み出す比率を変えた場合にも上述した問題が生じる。つまり、読み出しに要する時間の短い画像が、読み出しに要する時間の長い画像の更新速度に律則されて更新速度が遅くなるという問題がある。 In addition, when the area to be read out as a partial image is large and the entire image is greatly thinned out and read at an extremely low density, the time required to read out the partial image becomes longer than the time required to read out the entire image. The update cycle of the entire image becomes longer depending on the reading speed. In this case, the problem described above also occurs when the ratio of reading out the entire image and the partial image is changed. In other words, there is a problem in that an image having a short read time is slowed down by an update speed of an image having a long read time.
特許文献２の発明においては、１フレーム内で異なる領域に対して異なる走査を行うとしているので、全体画像と部分画像との更新速度は、１フレームの総読出し時間で決まる。この場合、注目する画像の更新間隔を短くするためには両者の更新速度を向上させることが必要となるが、困難である。
In the invention of
特許文献３の発明において、モニタリング画像の一部を読み込む期間と、複数の測距枠を全て読み込む期間と、のそれぞれをサブフレームとして考えると、次の問題が考えられる。例えば特許文献３の図１２のようにモニタリング画像を４分割すると、モニタリング画像が更新されるのに８サブフレームの期間を必要とする。一方、測距枠が更新されるのには２サブフレームの期間を必要とする。したがって、モニタリング画像の分割された部分同士で露光タイミングのずれが大きくなってしまう。このことは、モニタリング画像を分割する数が増大するほどに顕著になる。
In the invention of
本発明は、上述した問題点に鑑みて成されたものであり、複数の異なる画像領域の画像信号を読み出す場合に、更新間隔を短くしたい画像を、更新間隔を均一に、かつ高速に得ることができる撮像装置及びその駆動方法を提供することにある。 The present invention has been made in view of the above-described problems. When reading out image signals of a plurality of different image areas, an image whose update interval is desired to be shortened can be obtained uniformly and at high speed. It is an object of the present invention to provide an imaging apparatus capable of performing the above and a driving method thereof.
上記課題を解決するための、本発明の第１側面である撮像システムは、複数の画素が行列状に配された撮像領域を有する撮像素子と、前記画素からの信号の読み出しを制御する制御手段とを有し、前記制御手段は、前記撮像素子から第１の画像を読み出す第１フレーム期間を、第１及び第２の分割フレーム期間を含む複数の分割フレーム期間に分割し、前記第１の画像に係る前記画素の数が第２の画像に係る前記画素の数よりも多い場合に、前記第１の分割フレーム期間と前記第２の分割フレーム期間との間に第２の画像に係る信号を全て読み出すのに要する時間である第２フレーム期間を設け、さらに、前記第２の画像の更新周期は前記第１の画像の更新周期よりも短くすることを特徴とする。 In order to solve the above problems, the imaging system according to the first aspect of the present invention includes an imaging device having an imaging region in which a plurality of pixels are arranged in a matrix, and a control unit that controls readout of signals from the pixels. And the control means divides a first frame period for reading a first image from the image sensor into a plurality of divided frame periods including first and second divided frame periods, and A signal related to the second image between the first divided frame period and the second divided frame period when the number of pixels related to the image is larger than the number of pixels related to the second image A second frame period, which is a time required to read all of the first image, is provided, and the update cycle of the second image is shorter than the update cycle of the first image.
本発明の第２側面である撮像素子の駆動方法は、複数の画素が行列状に配された撮像領域を有する撮像素子から第１及び第２の画像に係る信号を読み出す駆動方法であって、前記第１の画像に係る画素数が前記第２の画像に係る画素数よりも多い場合に、前記第１の画像に係る信号を全て読み出す第１フレーム期間を、第１及び第２の分割フレーム期間を含む複数の分割フレーム期間に分割し、前記第１の分割フレーム期間と前記第２の分割フレーム期間との間に前記第２の画像に係る信号を全て読み出す第２フレーム期間を設け、さらに、前記第２の画像の更新周期を前記第１の画像の更新周期よりも短くすることを特徴とする。 The image sensor driving method according to the second aspect of the present invention is a driving method for reading out signals related to the first and second images from an image sensor having an imaging region in which a plurality of pixels are arranged in a matrix. When the number of pixels related to the first image is larger than the number of pixels related to the second image, a first frame period in which all signals related to the first image are read out is defined as the first and second divided frames. Dividing into a plurality of divided frame periods including a period, and providing a second frame period for reading all signals related to the second image between the first divided frame period and the second divided frame period, and The update cycle of the second image is shorter than the update cycle of the first image.
本発明によれば、複数の異なる画像領域の画像信号を読み出す場合に、更新間隔を短くしたい画像を従来よりも短く、かつ、均一な更新間隔で得ることができ、不自然な動画になることを抑圧できる。 According to the present invention, when reading image signals of a plurality of different image areas, an image whose update interval is desired to be shortened can be obtained at a shorter and more uniform update interval than before, resulting in an unnatural moving image. Can be suppressed.
まず、図１を用いて本発明の概要を説明する。なお、本明細書において特に断りがない場合、画素から信号を読み出すとは、画素から出力された信号に基づいて撮像素子の外部に信号を出力することを意味する。 First, the outline of the present invention will be described with reference to FIG. Note that reading a signal from a pixel means outputting a signal to the outside of the imaging element based on the signal output from the pixel unless otherwise specified in the present specification.
図１（ａ）は、本発明における撮像素子の撮像領域、つまり撮像素子の有効画素領域を模式的に表した図である。全体領域１１は、撮像素子の有効画素領域である撮像領域１０の全体から第１の密度で信号を出力する動作が行われる画素の含まれる領域を表している。また、部分画像１２は、撮像領域１０の一部から第２の密度で信号を出力する動作が行われる画素の含まれる領域である。部分画像１２は全体領域１１と重複しているが、ここでは信号を読み出される画素は全体領域１１と部分画像１２とで異なるものとして説明する。
FIG. 1A is a diagram schematically illustrating an imaging region of an image sensor according to the present invention, that is, an effective pixel region of the image sensor. The entire area 11 represents an area including pixels in which an operation of outputting signals at a first density from the
図１（ａ）において、全体領域１１の１画面分の信号を出力するのに要する時間（１フレーム期間）が部分画像１２の１画面分の信号を出力するのに要する時間（１フレーム期間）よりも長い場合、部分画像１２の画像（部分画像）の更新間隔は全体領域１１の画像の更新間隔に律則される。本発明は、高い更新速度を求められる側の画像の更新間隔を短くするために、更新速度をより求められない側の画像を複数の分割画像に分割し、分割画像と別の分割画像とに対応する画素から信号を出力する動作を行う間に、より更新速度を求められる側の画像に対応する画素から信号を出力する動作を行う。 In FIG. 1A, the time required to output a signal for one screen of the entire area 11 (one frame period) is the time required to output a signal for one screen of the partial image 12 (one frame period). Is longer than the update interval of the image of the partial image 12 (partial image). In the present invention, in order to shorten the update interval of the image on the side for which a high update speed is required, the image on the side for which the update speed is not further required is divided into a plurality of divided images, and the divided image and another divided image are divided. While performing an operation of outputting a signal from the corresponding pixel, an operation of outputting a signal from the pixel corresponding to the image on the side where the update speed is required is performed.
例えば図１（ｂ）に示すように、全体領域１１を、分割画像１１ａと１１ｂとに分割する。分割画像１１ａ及び１１ｂ及び部分画像のそれぞれに対応する画素から信号を出力する時間を模式的に表したものが図１（ｃ）である。横軸が時間を表している。このように分割画像と別の分割画像とを出力する間に、部分画像１２の画素からの信号を１画面分取得することで、より高い更新速度で画像を取得したい領域の画像を一定の更新間隔で、かつ高い更新速度、すなわち短い更新周期で取得することができる。
For example, as shown in FIG. 1B, the entire area 11 is divided into divided images 11a and 11b. FIG. 1C schematically shows the time for outputting signals from the pixels corresponding to the divided images 11a and 11b and the partial images. The horizontal axis represents time. In this way, while outputting the divided image and another divided image, by acquiring signals from the pixels of the
（第１の実施形態）
本実施形態では全体領域の画像を２つの分割画像に分割する例を説明する。
(First embodiment)
In this embodiment, an example in which an image of the entire area is divided into two divided images will be described.
図２は、撮像領域１０に対応する撮像素子の有効画素領域２０と、有効画素領域２０の画素から信号を読み出す動作を制御する垂直シフトレジスタ２２及び水平シフトレジスタ２３とを模式的に示している。有効画素領域２０には、入射光に応じて電気信号を生成する画素が行列状に配列されている。垂直シフトレジスタ２２及び水平シフトレジスタ２３はそれぞれ有効画素領域２０を垂直方向及び水平方向に走査するもので、後述する外部のシステムコントロール回路部（制御手段）による制御に基づいて走査の方法を変えることが可能に構成されている。
FIG. 2 schematically shows the effective pixel region 20 of the image sensor corresponding to the
図２では簡単のために有効画素領域２０が３２行×４８列の単位画素２１からなる例を示している。また、図には示していないが、一般的に撮像素子は有効画素領域の周囲に、補正のために用いられる、光が入射しないように遮光されたオプティカルブラック画素などを有する。 For the sake of simplicity, FIG. 2 shows an example in which the effective pixel region 20 includes unit pixels 21 of 32 rows × 48 columns. Although not shown in the figure, the image pickup device generally has an optical black pixel that is used for correction and is shielded so that light does not enter, around the effective pixel region.
図２において、網掛けされているのが全体間引き読み出し画素２４であり、有効画素領域２０の全体から第１の密度で読み出し動作が行われる第１の画像に係る画素を示している。また斜線で示されているのが部分読み出し画素２５であり、有効画素領域２０の一部の領域から第２の密度で読み出し動作が行われる第２の画像に係る画素を示している。全体間引き読み出し画素２４は図１における全体領域１１に対応し、部分読み出し画素２５は図１における部分画像１２に対応する。
In FIG. 2, all the thinned-out read pixels 24 are shaded, and the pixels related to the first image from which the read operation is performed at the first density from the entire effective pixel region 20 are illustrated. Also, hatched lines indicate the partial readout pixels 25, which indicate pixels related to the second image in which readout operation is performed at a second density from a part of the effective pixel region 20. The total thinned readout pixel 24 corresponds to the entire region 11 in FIG. 1, and the partial readout pixel 25 corresponds to the
全体間引き読み出し画素２４から読み出された信号に基づいて形成されるのは、有効画素領域２０の全体から得られる密度の低い、つまり解像度の低い間引き画像（全体間引き画像）であり、部分読み出し画素２５から読み出された信号に基づいて形成されるのは有効画素領域２０の一部から得られる、全体間引き画像よりも密度の高い、つまり解像度の高い間引き画像（部分画像）である。ここで、全体間引き読み出し画素２４の全てから信号を読み出すのに要する時間及び部分読み出し画素２５の全てから信号を読み出すのに要する時間をそれぞれの１フレーム期間とする。ここでは、全体間引き画像に係る信号を１画面分読み出すのに要する時間を第１フレーム期間、部分画像にかかる信号を読み出すのに要する時間を第２フレーム期間とする。第２の画像に係る画素は第１の画像に係る画素よりも高い密度で選択されている。なお、図２において空白の画素は本実施形態においては信号が読み出されないものとする。 What is formed based on the signal read from the entire thinned-out readout pixel 24 is a thinned image (entirely thinned-out image) having a low density, that is, a low resolution obtained from the entire effective pixel region 20, and a partial readout pixel. A thinned image (partial image) obtained from a part of the effective pixel region 20 and having a higher density than the whole thinned image, that is, a high resolution, is formed based on the signal read from 25. Here, the time required to read out signals from all the thinned-out readout pixels 24 and the time required to read out signals from all of the partial readout pixels 25 are defined as one frame period. Here, the time required to read out the signal related to the whole thinned image for one screen is defined as the first frame period, and the time required to read out the signal related to the partial image is referred to as the second frame period. The pixels related to the second image are selected at a higher density than the pixels related to the first image. In FIG. 2, it is assumed that no signal is read from blank pixels in this embodiment.
図３は、図２に係る有効画素領域２０の第１及び第２の画像に係る画素から信号を読み出す動作を行うタイミングの一例を示すタイミングチャートである。図３において、有効画素領域２０における各行の画素から信号を読み出す動作を行うタイミングが示されており、パルスがハイレベルとなっている期間に当該行の画素からの信号を出力する動作が行われるものとする。 FIG. 3 is a timing chart showing an example of timing for performing an operation of reading a signal from the pixels related to the first and second images in the effective pixel region 20 shown in FIG. FIG. 3 shows the timing for performing the operation of reading out signals from the pixels in each row in the effective pixel region 20, and the operation of outputting the signals from the pixels in the corresponding row is performed during a period when the pulse is at a high level. Shall.
ここでは全体間引き読み出し画素２４のうち、行１から行１６に含まれる部分と行１７から行３２までに含まれる部分から信号を読み出すのに要する時間をそれぞれ分割フレーム期間１及び２とする。ここでは分割フレーム期間１が第１の分割フレーム期間、分割フレーム期間２が第２の分割フレーム期間である。分割フレーム期間１を終えてから、分割フレーム期間２を始める前に、部分読み出し画素２５からの信号を読み出すためのフレーム期間が挿入される。つまり、制御手段は１画面分の間引かれた全体画像を複数の分割画像に分けて信号を読み出す動作を行わせ、それぞれの分割画像に係る信号が読み出される分割フレーム期間と分割フレーム期間との間に１画面分の部分画像を構成する画素から信号を読み出す動作を行わせる。
Here, the time required to read signals from the portions included in
図３に示すタイミングをより具体的に説明する。上述の動作を行う場合、垂直シフトレジスタ２２は、行１を走査してから、行５、行９、行１３と、３行おきに全体間引き読み出し画素２４のある行を走査する。各行の走査を終えてから次の行の走査を行う前に水平シフトレジスタ２３が当該行の列１、列５、列９・・・列４５を走査する。これにより、全体間引き読み出し画素２４からの信号のうち、分割画像１に係る画素からの信号が出力される（低解像度間引き読み出し期間（Ａ））。先述のとおり、これが分割フレーム期間１である。
The timing shown in FIG. 3 will be described more specifically. When performing the above-described operation, the vertical shift register 22 scans the
次に、垂直シフトレジスタ２２をリセットして、先頭の行に処理を戻す。そして、行１、行５、行９をスキップして行２〜行４、行６〜行８、及び行１０を走査する。ここでも水平シフトレジスタ２３は当該行の列２〜列４、列６〜列８、列１０、列１１を走査し、１画面分の部分読み出し画素２５からの信号が出力される（高解像度部分読み出し期間（１））。これが、部分画像を読み出すための第２フレーム期間である。
Next, the vertical shift register 22 is reset, and the process returns to the first row. Then, the
高解像度部分読み出し期間（１）に引き続く低解像度間引き読み出し期間（Ｂ）（分割フレーム期間２）では、低解像度間引き読み出し期間（Ａ）と同様にして、分割画像２に係る全体間引き読み出し画素２４からの信号が撮像素子から出力される。これにより、低解像度間引き読み出し期間（Ａ）で撮像素子から出力された信号と合わせて全体間引き画像が１画面分得られる。
In the low resolution thinning readout period (B) (divided frame period 2) subsequent to the high resolution partial readout period (1), the entire thinned readout pixel 24 related to the divided
これに続く高解像度部分読み出し期間（２）では、高解像度部分読み出し期間（１）で信号を読み出した画素から再び信号を読み出す。つまり、全体間引き画像を１画面分更新する期間中に部分画像を２画面分更新することになる。これ以降も上述の動作を繰り返すので、全体間引き画像と部分画像とが１：２の割合で更新される。すなわち、第２の画像の更新周期は第１の画像の更新周期よりも短い。 In the subsequent high resolution partial readout period (2), signals are read again from the pixels from which signals were read out in the high resolution partial readout period (1). That is, the partial image is updated for two screens during the period for updating the entire thinned image for one screen. Since the above operation is repeated thereafter, the entire thinned image and the partial image are updated at a ratio of 1: 2. That is, the update period of the second image is shorter than the update period of the first image.
なお、分割画像１及び２に係る全体間引き読み出し画素２４から読み出され、撮像素子から出力された信号は、例えば後述する信号処理回路部で合成され、１つの全体間引き画像として後述の再生・表示部に表示される。
Note that signals read from the overall thinned readout pixels 24 related to the divided
本実施形態に係る動作を行った場合の、各画素の蓄積時間について説明する。有効画素領域２０の各画素は入射光に応じて電荷を蓄積し、蓄積された電荷量に応じた信号が撮像素子から出力されるように構成されており、蓄積時間の長短によっても信号の大きさが変化する。図３において、蓄積時間Ａと示しているものは、行１の全体間引き読み出し画素２４の蓄積時間を表している。低解像度間引き読み出し期間（Ａ）において画素から信号が読み出されることでそれまでに画素が蓄積した電荷に応じた信号が出力され、その時点から低解像度間引き読み出し期間（Ａ´）において信号が読み出されるまでの時間が蓄積時間となる。
The accumulation time of each pixel when the operation according to this embodiment is performed will be described. Each pixel in the effective pixel region 20 is configured to accumulate electric charge according to incident light, and a signal corresponding to the accumulated electric charge amount is output from the image sensor, and the magnitude of the signal depends on the length of the accumulation time. Changes. In FIG. 3, the accumulation time A indicates the accumulation time of the entire thinned readout pixel 24 in the
一方、部分読み出し画素２５のうち行２の画素に着目すると、高解像度部分読み出し期間（１）においてそれまでに画素が蓄積した電荷に応じた信号が出力され、その時点から高解像度部分読み出し期間（２）において信号が出力されるまでの時間が蓄積時間となる（蓄積時間（２））。蓄積時間（１）で示される期間も、蓄積時間（２）と同様の長さになっている。
On the other hand, when attention is paid to the pixel in the
蓄積時間Ａ、蓄積時間（１）及び（２）は、それぞれの画素の取り得る最大の蓄積時間を示しているが、これよりも短い蓄積時間に設定したい場合には、蓄積時間の途中の任意のタイミングで画素をリセットする動作を行うことができる。より具体的には、画素に対して後述するタイミング制御回路部から画素をリセットする信号を入力する。 The accumulation time A and the accumulation times (1) and (2) indicate the maximum accumulation time that can be taken by each pixel. However, if it is desired to set an accumulation time shorter than this, an arbitrary value in the middle of the accumulation time can be obtained. The operation of resetting the pixels can be performed at the timing of. More specifically, a signal for resetting the pixel is input to the pixel from a timing control circuit unit described later.
次に、本実施形態に係るの撮像装置に係る撮像素子と、それを含む撮像システムの概略を図４を用いて説明する。 Next, an outline of an imaging device and an imaging system including the imaging device according to the imaging apparatus according to the present embodiment will be described with reference to FIG.
撮像システム１００は、例えば、光学部１１０、撮像素子１２０、信号処理回路部１３０、記録・通信部１４０、タイミング制御回路部１５０、システムコントロール回路部１６０、及び再生・表示部１７０を含む。
The
光学部は１１０、被写体からの光を撮像素子１２０の、複数の画素が２次元状に配列された画素部に結像させ、被写体の像を形成する。画素部には先述の有効画素領域が含まれる。撮像素子１２０は、タイミング制御回路部１５０からの信号に基づくタイミングで、画素部に結像された光に応じた信号を出力する。
The optical unit 110 forms an image of the subject by forming light from the subject on the pixel portion of the
撮像素子１２０から出力された信号は、信号処理回路部１３０に入力され、信号処理回路部１３０が、プログラムなどによって定められた方法に従って、入力された電気信号に対してＡＤ変換などの処理を行う。信号処理回路部での処理によって得られた信号は記録・通信部１４０に送られる。記録・通信部１４０は、画像を形成するための信号を再生・表示部１７０に送り、再生・表示部１７０に動画や静止画像が再生・表示させる。記録通信部は、また、信号処理回路部１３０からの信号を受けて、システムコントロール回路部１６０とも通信を行うほか、不図示の記録媒体に、画像を形成するための信号を記録する動作も行う。
The signal output from the
図１４に、再生・表示部１７０を模式的に表した例を示す。図は、再生・表示部１７０としてのモニタを表し、左側には全体間引き画像ＡＬＬを示している。全体間引き画像ＡＬＬのうち、ＡおよびＢの符号を付している部分が部分画像に対応する。モニタの右側に、各部分画像ＡおよびＢを拡大した画像が表示される。ここでは１つのモニタに全体画像ＡＬＬおよび各部分画像を表示しているが、それぞれの画像を異なるモニタに表示しても良いし、任意の複数の画像を１つのモニタに表示しても良い。
FIG. 14 shows an example schematically showing the playback /
例えば、撮像システムを監視システムとして利用する場合には、広い範囲を全体画像として粗く捉えつつ、注目を要する領域については詳細に映し出すことが求められる。特に監視システムでは注目部分を高精細に抽出することに加えて、高いフレームレートで画像を更新することも要求されるので、本発明を適用することが好ましい。 For example, when an imaging system is used as a monitoring system, it is required to display in detail a region requiring attention while roughly capturing a wide range as an entire image. In particular, in the monitoring system, it is required to update the image at a high frame rate in addition to extracting the target portion with high definition. Therefore, it is preferable to apply the present invention.
システムコントロール回路部１６０は、撮像システムの動作を統括的に制御するものであり、光学部１１０、タイミング制御回路部１５０、記録・通信部１４０、及び再生・表示部１７０の駆動を制御する。また、システムコントロール回路部１６０は、例えば記録媒体である不図示の記憶装置を備え、ここに撮像システムの動作を制御するのに必要なプログラムなどが記録される。
The system
タイミング制御回路部１５０は、制御手段であるシステムコントロール回路部１６０による制御に基づいて撮像素子１２０及び信号処理回路部１３０の駆動タイミングを制御する。
The timing
システムコントロール回路部１６０には、例えば、上述の全体領域及び部分画像をどのように決定するのかといったプログラムが記録されていてもよい。その場合には、動作の開始に先立って全体領域や部分画像の領域や信号を読み出す画素の密度を決定し、どちらを分割画像に分割して信号を出力させるかを決定する。システムコントロール回路部１６０は不図示のインターフェース手段を介してユーザーによる操作を受け付けるように構成されていても良い。本撮像システムを上述した監視システムとして利用する際に、高精細な部分画像として抽出したい領域をユーザーが指定することを可能とする。
In the system
また、制御手段は本明細書において例示する駆動方法以外にも、有効画素領域の画素を１行目から順に走査するプログレッシブ走査や、１行おきに走査するインターレース走査にも対応することが可能に構成しても良い。さらには、本実施例における部分画像に係る信号を取得せずに、撮像領域の全体のみから画素を間引いて走査したり、全体画像に係る信号を取得せずに、部分画像に相当する領域のみを走査したりするような走査方法にも対応することが可能に構成しても良い。なお、ここで述べた撮像システムは、後述のいずれの実施例にも適用可能である。 In addition to the driving method exemplified in this specification, the control unit can also cope with progressive scanning that sequentially scans pixels in the effective pixel region from the first row and interlace scanning that scans every other row. It may be configured. Furthermore, without acquiring a signal related to the partial image in this embodiment, scanning is performed by thinning out pixels from only the entire imaging region, or only a region corresponding to the partial image is acquired without acquiring a signal related to the entire image. It may be configured to be compatible with a scanning method such as scanning. The imaging system described here can be applied to any of the embodiments described later.
図５及び６を用いて、撮像素子１２０の各画素の構成例を説明する。図５は、画素の模式図である。画素ＰＩＸ１は、被写体からの光を光電変換して電荷を蓄積するフォトダイオードＰＤ、フォトダイオードＰＤで蓄積された電荷に応じた信号を増幅する、画素アンプＭＳＦＭとを含む。この他、フォトダイオードに蓄積された電荷の、画素アンプＭＳＦＭのゲートへの転送を制御する転送スイッチＭＴＸ、画素アンプＭＳＦＭのゲートを所定の電位に設定するためのリセットスイッチＭＲＥＳ及び、当該画素ＰＩＸ１を選択状態にするための選択スイッチＭＳＥＬとを有する。画素アンプＭＳＦＭは、選択スイッチＭＳＥＬが導通状態となると、垂直信号線Ｖｈ上に設けられた定電流源負荷である負荷スイッチＭＲＶとソースフォロワ回路を構成する。このとき、画素ＰＩＸ１の画素アンプＭＳＦＭのゲートの電位に応じた電位が画素ＰＩＸ１の信号として垂直信号線Ｖｈに出力されている状態になる。
A configuration example of each pixel of the
図６に画素の別の構成例を示す。図６は、複数のフォトダイオードＰＤｎとそれに対応する複数の転送スイッチＴＸｎとで、１つのリセットスイッチＭＲＥＳと、１つの画素アンプＭＳＦＭと、１つの選択スイッチＭＳＥＬとを共有する種類の画素で、ここでは、３画素分の構成を示している。このような構成によれば、１つのフォトダイオードに対するリセットスイッチＭＲＥＳ、画素アンプＭＳＦＭ、及び選択スイッチＭＳＥＬの割合が小さくなり、フォトダイオードＰＤに対する開口率を向上させることが可能となる。 FIG. 6 shows another configuration example of the pixel. FIG. 6 shows a pixel of a type in which a plurality of photodiodes PDn and a plurality of transfer switches TXn corresponding thereto share one reset switch MRES, one pixel amplifier MSFM, and one selection switch MSEL. In the figure, a configuration for three pixels is shown. According to such a configuration, the ratio of the reset switch MRES, the pixel amplifier MSFM, and the selection switch MSEL to one photodiode is reduced, and the aperture ratio for the photodiode PD can be improved.
本明細書では省略しているが、一般に撮像素子においては垂直信号線に出力された信号をサンプリングするための構成やノイズを除去するためのＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ）回路を有する。垂直シフトレジスタによって、信号を取り出す行が選択されると、垂直信号線上に出力された信号が上述の回路にサンプリングされ、水平シフトレジスタが順次走査を行うことで上記の回路でサンプリングされた信号が撮像素子の外部へと出力される。 Although omitted in this specification, an image sensor generally has a configuration for sampling a signal output to a vertical signal line and a CDS (Correlated Double Sampling) circuit for removing noise. When a row from which a signal is to be extracted is selected by the vertical shift register, the signal output on the vertical signal line is sampled by the above circuit, and the signal sampled by the above circuit is scanned by the horizontal shift register sequentially. Output to the outside of the image sensor.
以上説明した本実施形態によれば、部分画像の更新間隔を短くすることが要求される場合に、部分画像の更新間隔を従来よりも短く、かつ、均一な更新間隔で得ることができ、不自然な動画になることを抑圧できる。 According to the embodiment described above, when it is required to shorten the update interval of the partial image, the update interval of the partial image can be obtained with a uniform update interval that is shorter than the conventional one. It can suppress natural video.
ここでは、全体画面を２つに分割しているが、分割する数は３以上でも良く、求められる部分画像の更新速度を踏まえて全体画像を分割すればよい。 Although the whole screen is divided into two here, the number of divisions may be three or more, and the whole image may be divided based on the required partial image update speed.
（第２の実施形態）
次に、図７乃至９を用いて本発明に係る第２の実施形態を説明する。本実施形態が第１の実施形態と異なるのは、部分画像が複数存在する点である。本実施形態においても、従来の駆動方法では全体領域に係る信号の出力時間によって部分画像に係る信号の出力時間が律則される場合を例に取って説明する。
(Second Embodiment)
Next, a second embodiment according to the present invention will be described with reference to FIGS. This embodiment is different from the first embodiment in that there are a plurality of partial images. Also in this embodiment, the case where the output time of the signal related to the partial image is regulated by the output time of the signal related to the entire area in the conventional driving method will be described as an example.
図７（ａ）は本実施例における撮像素子の撮像領域である有効画素領域を模式的に表した図である。全体領域７１は、撮像素子の有効画素部である撮像領域７０の全体から第１の密度で信号を出力する動作が行われる画素の含まれる領域を表している。部分画像７２及び７３は撮像領域７０の一部から第２の密度で信号を出力する動作が行われる画素の含まれる領域である。部分画像７２及び７３はそれぞれ全体領域７１と重複しているが、ここでは信号を読み出される画素は全体領域７１と部分画像７２及び７３とで異なるものとして説明する。
FIG. 7A is a diagram schematically showing an effective pixel area which is an imaging area of the imaging element in the present embodiment. The
ここで、図７（ｂ）は、全体領域７１を帯状に３つの分割画像１乃至３に分割した場合の撮像面を模式的に表している図である。図７（ｃ）は、分割画像１乃至３と部分画像１及び２の領域すなわち分割画像に対応する画素からの信号を撮像素子から出力する場合のシーケンスを模式的に表している。ここでは、分割画像１に係る信号、部分画像１に係る信号、分割画像２に係る信号、及び部分画像に係る信号、分割画像３に係る信号、と出力する。
Here, FIG. 7B is a diagram schematically illustrating an imaging surface when the
図８は、撮像領域７０に対応する撮像素子の有効画素領域８０と、有効画素領域８０の画素から信号を読み出す動作を制御する制御手段である垂直シフトレジスタ８２及び水平シフトレジスタ８３とを模式的に示している。垂直シフトレジスタ８２及び水平シフトレジスタ８３はそれぞれ有効画素領域８０を垂直方向及び水平方向に走査するもので、先述した外部のシステムコントロール回路部による制御に基づいて走査の方法を変えることが可能に構成されている。
FIG. 8 schematically shows an effective pixel area 80 of the image sensor corresponding to the imaging area 70, and a vertical shift register 82 and a
図８では簡単のために有効画素領域８０が３２行×４８列の単位画素８１からなる例を示している。また、図には示していないが、図２と同様に、有効画素領域８０の周囲にオプティカルブラック画素のような信号の補正に用いられる画素を配していても良い。 For the sake of simplicity, FIG. 8 shows an example in which the effective pixel region 80 includes unit pixels 81 of 32 rows × 48 columns. In addition, although not shown in the drawing, as in FIG. 2, pixels used for signal correction such as an optical black pixel may be arranged around the effective pixel region 80.
図８において網掛けされているのが全体間引き読み出し画素８４であり、有効画素領域２０の全体から第１の密度で読み出し動作が行われる第１の画像に係る画素を示している。また斜線で示されているのが部分読み出し画素８５及び８６であり、有効画素領域８０の一部の領域から第２の密度で読み出し動作が行われる第２の画像にかかる画素を示している。部分読み出し画素８５は図７（ａ）における部分画像１に対応し、部分読み出し画素８６は図７（ａ）における部分画像２に対応する。全体間引き読み出し画素８４は図７（ａ）における全体領域７１に対応する。
In FIG. 8, all the thinned-out read pixels 84 are shaded, and the pixels related to the first image in which the read operation is performed from the entire effective pixel region 20 at the first density are shown. Also, hatched lines indicate the partial readout pixels 85 and 86, which indicate the pixels related to the second image in which the readout operation is performed at a second density from a part of the effective pixel region 80. The partial readout pixel 85 corresponds to the
全体間引き読み出し画素８４から読み出された信号に基づいて形成されるのは、有効画素領域８０の全体から得られる密度の低い、つまり解像度の低い間引き画像（全体間引き画像）であり、部分読み出し画素８５及び８６から読み出された信号に基づいて形成されるのは有効画素領域８０の一部から得られる、全体間引き画像よりも密度の高い、つまり解像度の高い間引き画像（部分画像）である。ここでは、全体間引き画像に係る信号を１画面分読み出すのに要する時間を第１フレーム期間、部分画像にかかる信号を読み出すのに要する時間を第２フレーム期間とする。ここで、全体間引き読み出し画素８４は部分読み出し画素８５及び８６よりも低い密度で選択されている。なお、図８において空白の画素は本実施形態においては信号読み出されないものとする。 What is formed based on the signal read from the whole thinned-out read pixel 84 is a thinned image (whole thinned image) having a low density obtained from the entire effective pixel region 80, that is, a low resolution, and is a partial read pixel. Based on the signals read from 85 and 86, a thinned image (partial image) having a higher density than the whole thinned image, that is, having a higher resolution, obtained from a part of the effective pixel region 80 is formed. Here, the time required to read out the signal related to the whole thinned image for one screen is defined as the first frame period, and the time required to read out the signal related to the partial image is referred to as the second frame period. Here, the whole thinned readout pixel 84 is selected at a lower density than the partial readout pixels 85 and 86. In FIG. 8, it is assumed that a blank pixel is not read out in this embodiment.
図９には、本実施形態に係る動作のシーケンスを例示しており、パルスがハイレベルとなっている期間に当該行の画素からの信号が読み出されるものとする。 FIG. 9 illustrates an operation sequence according to the present embodiment, and it is assumed that signals from pixels in the row are read during a period in which the pulse is at a high level.
ここでは第１の画像に係る画素である全体間引き読み出し画素８４のうち、行１から行１１に含まれる部分、行１２から行２２に含まれる部分、及び行２３から行３２に含まれる部分をそれぞれ分割画像１、２、及び３とする。分割画像１に係る全体間引き読み出し画素８４の画素からの信号を読み出す分割フレーム期間１を終えてから、分割画像２に係る全体間引き読み出し画素８４からの信号を読み出す分割フレーム期間２の前に、部分読み出し画素８５からの信号を読み出すための第２フレーム期間を挿入する。また、分割画像２に係る信号を読み出す分割フレーム期間２を終えてから、分割画像３に係る全体間引き読み出し画素８４からの信号を読み出す分割フレーム期間３の前に、部分読み出し画素８６からの信号を読み出すための第２フレーム期間を挿入する。更に、分割画像２に係る全体間引き読み出し画素８４の画素からの信号を出力する動作を終えてから、分割画像３に係る全体間引き読み出し画素８４からの信号を読み出すフレーム期間３の前に、部分読み出し画素８５からの信号を出力する動作を行う。これ以降も、２つの連続する分割画像に係る画素からの信号を読み出す分割フレーム期間と分割フレーム期間との間に、部分画像の１画面分に相当する画素からの信号を交互に読み出す動作を行う。
Here, of the whole thinned-out readout pixels 84 that are pixels related to the first image, a portion included in
図９に示すタイミングをより具体的に説明する。上述の動作を行う場合、垂直シフトレジスタ８２は、行１を走査してから、行５、行９と、３行おきに全体間引き読み出し画素２４のある行を走査し、その後、水平シフトレジスタ８３が列１、列５、列９・・・列４５を走査する。これにより、全体間引き読み出し画素８４からの信号のうち、分割画像１に係る画素からの信号が出力される（低解像度間引き読み出し期間（Ａ））。
The timing shown in FIG. 9 will be described more specifically. When performing the above-described operation, the vertical shift register 82 scans the
次に、垂直シフトレジスタ８２をリセットして、先頭の行に処理を戻す。そして、行１、行５、行９をスキップして行２〜行４、行６〜行８、及び行１０を走査し、その後水平シフトレジスタ８３が列２〜列４、列６〜列８、列１０、列１１を走査することで、１画面分の部分読み出し画素８５からの信号が出力される（高解像度部分読み出し期間（１））。
Next, the vertical shift register 82 is reset, and the process returns to the first row. Then,
高解像度部分読み出し期間（１）に引き続く低解像度間引き読み出し期間（Ｂ）では、低解像度間引き読み出し期間（Ａ）と同様にして、分割画像２に係る全体間引き読み出し画素８４からの信号が撮像素子から出力される。
In the low resolution thinning readout period (B) following the high resolution partial readout period (1), the signal from the whole thinning readout pixel 84 related to the divided
これに続く高解像度部分読み出し期間（２）では、垂直シフトレジスタ８２は行１８〜行２０、行２２〜行２４、及び行２６を走査し、その後水平シフトレジスタ８３が列１８〜列２０、列２２〜列２４、列２６、列２７を走査することで、１画面分の部分読み出し画素８６からの信号が出力される。
In the subsequent high-resolution partial readout period (2), the vertical shift register 82 scans the rows 18 to 20, the rows 22 to 24, and the rows 26, and then the
低解像度間引き読み出し期間（Ｃ）では、分割画像３に係る全体間引き読み出し画素８４からの信号が撮像素子から出力される。これにより、低解像度間引き読み出し期間（Ａ）で撮像素子から出力された信号と合わせて全体間引き画像が１画面分得られる。これ以降も、２つの連続する分割画像に係る画素からの信号を読み出す分割フレーム期間と分割フレーム期間との間に、部分画像の１画面分に相当する画素からの信号を読み出す第２フレーム期間が交互に挿入される。この例においては、全体間引き画像を２画面分更新する間に部分画像１及び２はそれぞれ３回ずつ更新される。
In the low resolution thinning readout period (C), a signal from the whole thinning readout pixel 84 related to the divided
ここで、分割画像として出力された信号は、例えば信号処理回路部１３０で撮像面の全体を表す画像として合成され、再生・表示部１７０に表示される。部分画像もまた再生・表示部１７０に表示される。
Here, for example, the signal output as the divided image is combined as an image representing the entire imaging surface by the signal
上記の動作が繰り返されることで、部分画像１及び２に係る画像は均一かつ短い更新間隔で表示することが可能となる。ここでは部分画像は２つの場合を例にとって説明したが、部分画像の数は２に限定されるものではない。
By repeating the above operation, the images related to the
また、本実施例では部分画像１と２とをこの順番で交互に読み出したが、逆の順番であっても良い。
In this embodiment, the
次に、撮像面内に存在する部分画像の数と、分割画像の数について説明する。ここで、部分画像が注目する画像であり、短い更新間隔で取得したいものであるとする。仮に撮像面内にｎ個の部分画像が存在する場合（ｎは自然数）、全体領域に対応する全体間引き画像はｎ＋１個以上の分割画像に分割する必要がある。すなわち、ｎ個の第２の画像がある場合には、第１の画像を読み出すのに要する第１フレーム期間をｎ＋１個以上の分割フレーム期間に分割して読み出す必要がある。これは、分割画像の数がｎ以下であるとすると、更新間隔を短くしたい部分画像の更新間隔が、全体間引き画像の更新間隔と等しく、あるいは長くなってしまうからである。 Next, the number of partial images existing in the imaging plane and the number of divided images will be described. Here, it is assumed that the partial image is an image of interest and is to be acquired at a short update interval. If n partial images exist in the imaging surface (n is a natural number), the entire thinned image corresponding to the entire area needs to be divided into n + 1 or more divided images. That is, when there are n second images, it is necessary to divide and read the first frame period required to read the first image into n + 1 or more divided frame periods. This is because if the number of divided images is n or less, the update interval of the partial image for which the update interval is to be shortened is equal to or longer than the update interval of the whole thinned image.
図７（ｃ）は本実施形態に係るシーケンスを模式的に表したものであることは既に述べた。これに対して、図７（ｄ）は、特許文献３に開示されるシーケンスを適用したものを模式的に示したものである。図７（ｃ）と図７（ｄ）とを比較すると明らかなように、特許文献３に係るシーケンスでは全体画像を１回更新するまでに要する時間が長くなってしまう。さらに、全体画像を更新するのに要する時間が長くなるため、１画面分の全体画像の中において信号を蓄積するタイミングの相違が大きくなってしまう。これに対して、本発明に係るシーケンスによれば、全体間引き画像の更新周期を短くすることが可能となり、結果として１画面分の全体画像の中での信号を蓄積するタイミングの相違を小さくすることが可能となる。
As described above, FIG. 7C schematically shows a sequence according to this embodiment. On the other hand, FIG. 7D schematically shows a sequence to which the sequence disclosed in
以上説明した本実施例によれば、部分画像の更新間隔を短くすることが要求される場合に、部分画像の更新間隔を従来よりも短く、かつ、均一な更新間隔で不自然な動画になることを抑圧できる。また、ｎを自然数として、注目する部分画像がｎ個ある場合でも、全体間引き画像をｎ＋１個以上の分割フレーム期間に分割して読み出すことで、注目する部分画像の更新間隔を従来よりも短く、かつ、均一な更新間隔で得ることができる。 According to the present embodiment described above, when it is required to shorten the update interval of the partial image, the update interval of the partial image is shorter than before, and an unnatural moving image is obtained with a uniform update interval. Can be suppressed. Further, even when there are n partial images of interest, where n is a natural number, by reading out the entire thinned image divided into n + 1 or more divided frame periods, the update interval of the partial image of interest is shorter than before, And it can obtain at a uniform update interval.
（第３の実施形態）
次に、図８、１０及び１１を用いて本発明に係る第３の実施形態を説明する。本実施例は、全体領域に係る画素からの信号をインターレース走査のように、画像の奇数行と偶数行とで交互に出力させるものである。
(Third embodiment)
Next, a third embodiment according to the present invention will be described with reference to FIGS. In this embodiment, signals from pixels in the entire area are alternately output in odd and even rows of an image like interlace scanning.
図１０（ａ）は本実施例における撮像素子の撮像領域である有効画素領域を模式的に表す図であり、部分画像が１つ存在している。実施例２においては全体領域を上下に分割した分割画像として取り扱ったが、ここでは間引いて選択される全体領域に係る画素のうち、奇数行目のみを出力する分割画像１０１ｆと偶数行目のみを出力する分割１０１ｇとに分割して取り扱う。
FIG. 10A is a diagram schematically showing an effective pixel area which is an imaging area of the imaging element in the present embodiment, and there is one partial image. In the second embodiment, the whole area is handled as a divided image divided vertically, but here, among the pixels related to the whole area selected by thinning out, only the divided
全体領域１０１は、撮像素子の有効画素部である撮像領域１００の全体から第１の密度で信号を出力する動作が行われる画素の含まれる領域である。部分画像１０２は撮像領域１００の一部から第２の密度で信号を出力する動作が行われる画素の含まれる領域であり、部分画像に対応する。部分画像１０２は全体領域１０１と重複しているが、ここでは信号を読み出される画素は全体領域１０１と部分画像１０２とで異なるものとして説明する。
The entire area 101 is an area including pixels in which an operation of outputting signals at a first density from the
図１０（ｂ）は、全体領域１０１を２つの分割画像１０１ｆと１０１ｇとに分割した場合の撮像面を模式的に表している図である。ここでは、全体領域１０１に係る画素は領域における奇数行と偶数行とで画素から信号が読み出されるタイミングが異なり、各期間で読み出される画素の密度は元の全体領域１０１に係る画素の密度よりも低い。信号を読み出す画素の密度が低くなっていることを、分割する前の全体領域１０１に対する斜線よりも分割画像１０１ｆ及び１０１ｇに対する斜線の密度を低くすることで、模式的に表している。
FIG. 10B is a diagram schematically illustrating an imaging surface when the entire area 101 is divided into two divided
図８には、部分読み出し画素８５及び８６が描かれているが、本実施例では、部分読み出し画素８６が存在しないものとして説明を進める。それ以外の点は、第２の実施形態において説明したものと同様であるとする。 Although partial readout pixels 85 and 86 are illustrated in FIG. 8, in this embodiment, the description will be given assuming that the partial readout pixels 86 do not exist. The other points are the same as those described in the second embodiment.
図１１には、本実施形態に係る動作シーケンスを例示しており、パルスがハイレベルとなっている期間に当該行の画素からの信号を出力する動作が行われるものとする。 FIG. 11 illustrates an operation sequence according to the present embodiment, and it is assumed that an operation for outputting a signal from a pixel in the row is performed during a period in which the pulse is at a high level.
ここでは全体間引き読み出し画素８４のうち、奇数行目すなわち行１、９、１７、及び２５の画素を分割画像１とし、偶数行目すなわち行５、１３、２１、及び２９の画素を分割画像２とする。分割画像１に係る全体間引き読み出し画素８４からの信号を読み出すフレーム期間１を終えてから、分割画像２に係る全体間引き読み出し画素８４からの信号を読み出すフレーム期間２の前に、部分読み出し画素８５からの信号を出力するためのフレーム期間を挿入する。つまり、１画面分の間引かれた全体画像を複数の分割画像に分けて信号を出力する動作を行い、それぞれの分割画像に係る信号を読み出すフレーム期間とフレーム期間との間に１画面分の部分画像を構成する画素から信号を読み出すフレーム期間を挿入する。
Here, out of the whole thinned-out readout pixels 84, the odd-numbered rows, that is, the pixels in
図１１に示すタイミングをより具体的に説明する。 The timing shown in FIG. 11 will be described more specifically.
まず、第１の分割フレーム期間である低解像度間引き読み出し期間（Ａ）において、全体領域に係る行１、５、９、１３、１７、・・・、２９のうち、奇数行目、すなわち行１、９、１７及び２５に係る画素からの信号が出力される。
First, in the low resolution thinning readout period (A), which is the first divided frame period, out of the
次に、第２フレーム期間である高解像度部分読み出し期間（１）において、部分画像１０２に係る画素のうち、全体領域に係る行を除いた画素、すなわち、行２、３、４、６、７、８及び１０の画素行からの信号が出力される。
Next, in the high-resolution partial readout period (1) that is the second frame period, out of the pixels related to the
次に、第２の分割フレーム期間である低解像度間引き読み出し期間（Ｂ）において、全体領域１０１に係る行１、５、９、１３、１７、・・・、２９のうち、偶数行目、すなわち行５、１３、２１、及び２９に係る画素からの信号を出力させる。
Next, in the low resolution decimation readout period (B), which is the second divided frame period, the even-numbered row among the
次に、高解像度部分読み出し期間（２）において、部分画像１０２に係る画素のうち、全体領域に係る行を除いた画素、すなわち、行２、３、４、６、７、８、及び１０の画素行からの信号を出力される。
Next, in the high-resolution partial readout period (2), among the pixels related to the
上述の動作を繰り返すことで、従来は全体領域の更新速度に律則されていた、部分画像に係る画像をより高い更新速度で得ることができる。本実施例で言えば、全体間引き画像を１画面分更新する間に部分画像が２画面分更新される。 By repeating the above-described operation, it is possible to obtain an image related to a partial image at a higher update speed, which is conventionally regulated by the update speed of the entire area. In this embodiment, the partial image is updated for two screens while the entire thinned image is updated for one screen.
以上説明した本実施例によれば、部分画像の更新間隔を短くすることが要求される場合に、部分画像の更新間隔を従来よりも短く、かつ、均一な更新間隔で得ることができ、不自然な動画になることを抑圧できる。第１及び第２の実施形態では全体間引き画像を帯状に分割しているので、１つの分割画像だけでは全体的な画像は得られないのに対して、本実施形態では全体間引き画像を奇数行目と偶数行目とに分けて対応する画素から信号を読み出しているので一方の分割画像だけを出力しても全体的な画像を得ることができる。 According to the present embodiment described above, when it is required to shorten the update interval of the partial image, the update interval of the partial image can be obtained with a uniform update interval that is shorter than the conventional one. It can suppress natural video. In the first and second embodiments, since the entire thinned image is divided into strips, an entire image cannot be obtained with only one divided image, whereas in this embodiment, the entire thinned image is divided into odd rows. Since signals are read from corresponding pixels separately for the eyes and even-numbered rows, the entire image can be obtained even if only one of the divided images is output.
また、ここでは部分画像が１つの場合を例示したが、部分画像が２つ以上でもよい。ただし、その場合には、第２の実施形態で説明した理由から、部分画像の数ｎに対して、全体領域の分割数をｎ＋１以上にする必要がある。 In addition, although the case where there is one partial image is illustrated here, the number of partial images may be two or more. However, in that case, for the reason described in the second embodiment, the number of divisions of the entire area needs to be n + 1 or more with respect to the number n of partial images.
（その他１）
上述の実施例ではいずれにおいても、全体間引き画像に係る画素数が部分画像に係る画素数よりも多いものとして、全体間引き画像に係る信号を読み出すフレーム期間を複数の分割フレーム期間に分割し、その間に部分画像に係る信号を１画面分出力するためのフレーム期間を挿入している。しかしながら、全体間引き画像に係る画素の密度が低い場合には、密度の高い部分画像に係る画素からの信号を出力させるのに要する時間よりも、全体間引き画像に係る画素からの信号を出力させるのに要する時間が長くなる可能性がある。また、全体間引き画像の更新間隔をより短くしたいという要望も考えられる。このような場合には、全体間引き画像を第２の画像、部分画像を第１の画像として扱えばよい。すなわち、部分画像に係る画素からの信号を複数の分割フレーム期間に分割して読み出し、全体間引き画像に係る画素からの信号を一画面分読み出すことができる。これにより、全体間引き画像の更新間隔を短くすることが要求される場合に、全体間引き画像の更新間隔を従来よりも短く、かつ、均一な更新間隔で得ることができ、不自然な動画になることを抑圧できる。
(Other 1)
In any of the above-described embodiments, assuming that the number of pixels related to the whole thinned image is larger than the number of pixels related to the partial image, the frame period for reading the signal related to the whole thinned image is divided into a plurality of divided frame periods. A frame period for outputting a signal related to the partial image for one screen is inserted into the frame. However, when the density of the pixels related to the whole thinned image is low, the signal from the pixels related to the whole thinned image is output rather than the time required to output the signal from the pixels related to the high density partial image. May take longer. In addition, there may be a desire to shorten the update interval of the entire thinned image. In such a case, the whole thinned image may be handled as the second image, and the partial image may be handled as the first image. That is, a signal from a pixel related to a partial image can be divided and read out in a plurality of divided frame periods, and a signal from a pixel related to a whole thinned-out image can be read out for one screen. As a result, when it is required to shorten the update interval of the whole thinned image, the update interval of the whole thinned image can be obtained with a uniform update interval that is shorter than the conventional one, resulting in an unnatural moving image. Can be suppressed.
また、全体間引き画像又は部分画像の少なくとも一方の画像における１行あたりの画素数は、前記撮像領域の１行あたりの画素数よりも少なくなっていることは実施例から理解される。 Further, it can be understood from the embodiment that the number of pixels per row in at least one of the entire thinned image or the partial image is smaller than the number of pixels per row in the imaging region.
（その他２）
第２の実施形態においては、全体間引き画像にかかる信号を出力するフレーム期間を３つの分割フレーム期間に分割したが、分割画像１及び２と、分割画像３とは、含まれる画素の行数、すなわち画素の数が異なる。そのため、全ての分割画像領域について同様に駆動した場合、低解像度間引き読み出し期間（Ａ）及び（Ｂ）に比して低解像度間引き読み出し期間（Ｃ）が短くなる。したがって、単純に同様の駆動をすると、部分画像の更新間隔が僅かながら不均一になることが考えられる。
(Other 2)
In the second embodiment, the frame period for outputting a signal related to the entire thinned image is divided into three divided frame periods. However, the divided
これに対する解決手段としては、例えばシフトレジスタの駆動周波数を変えることが考えられる。画素数の多い方の分割画像に係る画素を走査する場合のシフトレジスタの駆動周波数を高めることで、各低解像度間引き読み出し期間の長さを揃え、部分画像の更新間隔を等しくすることができる。画素数の少ない方の分割画像に係る画素を走査する場合のシフトレジスタの駆動周波数を下げることで、各低解像度間引き読み出し期間の長さを揃えても良い。 As a solution to this, it is conceivable to change the drive frequency of the shift register, for example. By increasing the drive frequency of the shift register when scanning the pixels related to the divided image having the larger number of pixels, the lengths of the low resolution thinning readout periods can be made uniform, and the update intervals of the partial images can be made equal. The length of each low resolution thinning readout period may be made uniform by lowering the drive frequency of the shift register when scanning the pixels related to the divided image having the smaller number of pixels.
また、別の解決手段としては、たとえば、画素数の少ない分割画像を走査する期間と、それと連続する高解像度部分読み出し期間との間に待機時間を設けても良い。これにより、画素数の多い分割画像を走査する低解像度間引き読み出し期間の長さと、画素数の少ない分割画像を走査する低解像度間引き読み出し期間の長さとを揃え、部分画像の更新間隔を等しくする。 As another solution, for example, a waiting time may be provided between a period during which a divided image with a small number of pixels is scanned and a continuous high-resolution partial readout period. Thereby, the length of the low-resolution thinning readout period for scanning the divided image with a large number of pixels is aligned with the length of the low-resolution thinning readout period for scanning the divided image with a small number of pixels, and the update intervals of the partial images are made equal.
以上によって、撮像領域の画像を等しい画素数を持つ分割画像に分けることができない場合にも、部分画像の更新間隔を等しくすることができる。 As described above, even when the image of the imaging region cannot be divided into divided images having the same number of pixels, the update intervals of the partial images can be made equal.
（その他３）
上述の実施形態では、垂直方向（列方向）、水平方向（行方向）ともに数画素おきに信号を読み出す画素を設定していた。これに対し、例えば図１２に示すように垂直方向は数画素おきに選択し、水平方向の画素は全て選択するようなことも考えられる。
(Other 3)
In the above-described embodiment, pixels that read signals every several pixels are set in both the vertical direction (column direction) and the horizontal direction (row direction). On the other hand, for example, as shown in FIG. 12, the vertical direction may be selected every several pixels, and all the pixels in the horizontal direction may be selected.
この場合、出力された信号をそのまま出力すると、垂直方向と水平方向とで元の撮像面とアスペクト比が変わってしまう。そこで、元の撮像面のアスペクト比を維持するように、水平方向の画素からの信号を加算や平均化を行う。例えば、垂直方向に４画素おきに信号を読み出す画素を選択するのであれば、水平方向の画素は、５画素分の信号を加算や平均化して１つの信号とする。この例によれば、水平方向も数画素おきに選択する場合に比べて、得られる画像の水平方向のモアレを抑制し、画質の劣化を低減するという効果が得られる。 In this case, if the output signal is output as it is, the aspect ratio of the original imaging surface changes in the vertical direction and the horizontal direction. Therefore, the signals from the pixels in the horizontal direction are added and averaged so as to maintain the aspect ratio of the original imaging surface. For example, if pixels that read signals every 4 pixels in the vertical direction are selected, the signals in the horizontal direction are summed or averaged for 5 pixels to form one signal. According to this example, compared to the case where the horizontal direction is selected every several pixels, the effect of suppressing the moire in the horizontal direction of the obtained image and reducing the deterioration of the image quality can be obtained.
（その他４）
先に、図５及び６を用いて、撮像素子の画素の取り得る構成例を示した。ここでは１画素ずつ選択可能な構成例を示す。
(Other 4)
First, an example of a configuration that can be taken by the pixels of the image sensor has been described with reference to FIGS. 5 and 6. Here, a configuration example in which one pixel can be selected is shown.
図５に示した画素と異なる点は、図１３に示す画素は第１の転送手段である転送スイッチＭＴＸと画素アンプＭＳＦＭのゲート部（フローティングディフュージョン）とを接続する経路上に第２の転送手段である転送スイッチＭＶＸを更に備える点である。この構成によれば、当該画素の選択スイッチＭＳＥＬを導通させている期間に転送スイッチＭＴＸを例えば垂直シフトレジスタから信号φＴＸを入力し、例えば水平シフトレジスタから信号φＶＸを入力することによってランダムアクセスで任意の画素からの信号を垂直信号線Ｖｈに出力させることが可能となる。 The pixel shown in FIG. 13 is different from the pixel shown in FIG. 5 in that the second transfer means on the path connecting the transfer switch MTX, which is the first transfer means, and the gate portion (floating diffusion) of the pixel amplifier MSFM. The transfer switch MVX is further provided. According to this configuration, the transfer switch MTX is arbitrarily input by random access by inputting the signal φTX from the vertical shift register and the signal φVX from the horizontal shift register, for example, while the selection switch MSEL of the pixel is turned on. It is possible to output a signal from the pixel to the vertical signal line Vh.
このような構成の画素において、フォトダイオードＰＤをリセットする場合には、転送スイッチＭＴＸ及びＭＶＸと、リセットスイッチＭＲＥＳとを導通させることで、フォトダイオードＰＤに蓄積された電荷がこれらのスイッチを介して排出される。先述した不図示のＣＤＳ回路を有する場合には、フォトダイオードＰＤをリセットした直後に垂直信号線Ｖｈに現われる信号をリセットレベルとして保持する。ＣＤＳ回路は、さらにフォトダイオードＰＤからフローティングディフュージョンに転送された電荷によって垂直信号線Ｖｈに現われた信号を保持し、リセットレベルとの差分を出力する。これにより、画素アンプの特性バラツキによる影響を低減し、低ノイズ化を図るものである。なお、信号φＳＥＬとφＴＸとは共通の信号であっても良い。 In the pixel having such a configuration, when resetting the photodiode PD, the transfer switches MTX and MVX and the reset switch MRES are made conductive so that the charge accumulated in the photodiode PD passes through these switches. Discharged. When the above-described CDS circuit (not shown) is included, a signal appearing on the vertical signal line Vh immediately after the photodiode PD is reset is held as a reset level. The CDS circuit further holds a signal appearing on the vertical signal line Vh by the charge transferred from the photodiode PD to the floating diffusion, and outputs a difference from the reset level. As a result, the influence due to the characteristic variation of the pixel amplifier is reduced and the noise is reduced. The signals φSEL and φTX may be a common signal.
本形態によれば、例えば全体間引き画像に対応する画素から信号を読み出す場合に、シフトレジスタの駆動周波数を低くすることができ、消費電力の低減化が図れる。また、全体間引き画像を形成するのに利用する画素のみから信号を読み出すので、それ以外の画素を部分画像を構成する画素として利用することができ、部分画像の画質の劣化を抑制することができる。 According to this embodiment, for example, when a signal is read from a pixel corresponding to the entire thinned image, the drive frequency of the shift register can be lowered, and power consumption can be reduced. In addition, since signals are read out only from the pixels used to form the entire thinned image, other pixels can be used as pixels constituting the partial image, and deterioration of the image quality of the partial image can be suppressed. .
（その他５）
上で説明した実施形態において、全体間引き画像を構成する画素と部分画像を構成する画素とは異なっているので、得られる画像には不連続な部分が存在する。例えば部分画像を高精細に取得する必要がある場合には画像の不連続性が問題となることが考えられる。また、画素の選択の仕方によっては得られる画像のアスペクト比が撮像面上でのそれと異なってしまうことも考えられる。これらに対して、撮像素子の後段に設けられた信号処理回路部において、欠落した画素に相当する部分については、隣接する画素の信号を基に補間処理することができる。
(Other 5)
In the embodiment described above, since the pixels constituting the entire thinned image and the pixels constituting the partial image are different, there are discontinuous portions in the obtained image. For example, when it is necessary to acquire a partial image with high definition, the discontinuity of the image may be a problem. It is also conceivable that the aspect ratio of the obtained image differs from that on the imaging surface depending on how the pixels are selected. On the other hand, in the signal processing circuit unit provided in the subsequent stage of the image sensor, interpolation processing can be performed on the portion corresponding to the missing pixel based on the signal of the adjacent pixel.
（その他６）
例えば監視カメラのような用途では、室内と屋外とが同時に撮像面内に入ることもある。日中であれば室内に係る画像よりも屋外に係る画像の方が、高い輝度を有する場合が多く、撮像面内に輝度の著しく異なる領域が存在することになる。このような場合には、例えば屋外に係る画像の領域を部分画像とし、部分画像に係る画素から信号を読み出す期間と全体間引き画像に係る画素から信号を読み出す期間とで、信号に対するゲインを異ならせることが考えられる。高輝度の部分画像に係る画素からの信号は対してはゲインを下げ、全体間引き画像に係る画素からの信号に対してはより高いゲインを設定することで、被写体を認識できる輝度の範囲を拡大できる。
(Other 6)
For example, in applications such as surveillance cameras, indoors and outdoors may enter the imaging plane at the same time. In the daytime, outdoor images often have higher luminance than indoor images, and there are areas with significantly different luminance in the imaging surface. In such a case, for example, the region of the image related to the outdoors is a partial image, and the gain for the signal is different between the period for reading the signal from the pixel for the partial image and the period for reading the signal from the pixel for the entire thinned image. It is possible. By reducing the gain for signals from pixels related to high-intensity partial images and setting a higher gain for signals from pixels related to whole thinned-out images, the range of brightness that can recognize the subject is expanded. it can.
具体的な実現手段を説明する。ＭＯＳ型の撮像素子において、垂直信号線上に増幅器を有する構成が知られており、ここでゲインを切り換えることができる。また、撮像素子の外部で、例えば信号処理回路部などで処理することも考えられる。しかし、画素により近い位置で信号を増幅する方が、ノイズの影響を低減できるという点において有利である。 Specific implementation means will be described. In a MOS type imaging device, a configuration having an amplifier on a vertical signal line is known, and the gain can be switched here. It is also conceivable to perform processing outside the imaging device, for example, with a signal processing circuit unit. However, amplifying the signal at a position closer to the pixel is advantageous in that the influence of noise can be reduced.
（その他７）
各実施形態においては、簡単のために全体間引き画像及び部分画像が対応する撮像領域の範囲を固定のものとして説明したが、これを設定する手段を備えても良い。
(Other 7)
In each embodiment, for the sake of simplicity, the range of the imaging area corresponding to the entire thinned image and the partial image has been described as being fixed. However, a means for setting this may be provided.
例えば、監視カメラのような用途において、動く被写体を中心とした領域を部分画像とした時に、例えばシステムコントロール回路部１６０に記憶されたプログラムに従い、被写体の動きに合わせて部分画像の領域を追従させることが考えられる。
For example, when an area centered on a moving subject is used as a partial image in an application such as a surveillance camera, the area of the partial image is made to follow the movement of the subject according to a program stored in the system
また、自動的に追従させるのではなく、操作者が領域を設定するように構成しても良い。この場合には、不図示の範囲選択手段によって画像の範囲や信号を読み出す画素の密度などを設定することが考えられる。 Further, instead of automatically tracking, the operator may set the area. In this case, it is conceivable to set the range of the image and the density of the pixel from which the signal is read out by a range selection unit (not shown).
（その他８）
これまでに説明した撮像システム及び撮像素子の駆動方法は、コンピュータのＲＡＭやＲＯＭといった記憶装置に記憶されたプログラムを動作させることによって実現できる。
(Other 8)
The imaging system and the imaging element driving method described so far can be realized by operating a program stored in a storage device such as a RAM or a ROM of a computer.
より具体的に説明すると、前記プログラムは例えばＣＤ−ＲＯＭのような記録媒体に記録されたり、伝送媒体を介したりしてコンピュータに提供される。記録媒体としてはＣＤ−ＲＯＭ以外にもフレキシブルディスク、ハードディスク、磁気テープ、光磁気ディスク、不揮発性メモリ等、様々なものがある。伝送媒体としては、ＬＡＮやインターネット等のＷＡＮなどのコンピュータネットワークシステムを利用でき、光ファイバや電線を用いた有線回線でも、電波等を利用した無線回線を介して伝送される。 More specifically, the program is recorded on a recording medium such as a CD-ROM or provided to a computer via a transmission medium. In addition to CD-ROM, there are various recording media such as a flexible disk, a hard disk, a magnetic tape, a magneto-optical disk, and a nonvolatile memory. As the transmission medium, a computer network system such as a WAN such as a LAN or the Internet can be used, and even a wired line using an optical fiber or an electric wire is transmitted via a wireless line using radio waves or the like.
また、供給されたプログラムをコンピュータが実行することで実現する以外にも、コンピュータのオペレーティングシステムや他のアプリケーションソフト等と共同して撮像システムの機能が実現されても良い。この他にも、供給されたプログラムの処理の全て或いは一部がコンピュータの機能拡張ボードや機能拡張ユニットにより行われて撮像システムの機能が実現されても良い。 In addition to the implementation of the supplied program by the computer, the functions of the imaging system may be implemented in cooperation with the computer operating system, other application software, and the like. In addition, the functions of the imaging system may be realized by performing all or part of the processing of the supplied program by a function expansion board or function expansion unit of a computer.
１０、７０、１００ 撮像領域
１１、７１、１０１ 全体領域
１１ａ 分割画像１
１１ｂ 分割画像２
１２、１０２ 部分画像
７１ａ 分割画像１
７１ｂ 分割画像２
７１ｃ 分割画像３
７２ 部分画像１
７３ 部分画像２
１０１ｆ 分割画像１
１０１ｇ 分割画像２
ＰＤ フォトダイオード
ＭＴＸ 転送スイッチ
ＭＲＥＳ リセットスイッチ
ＭＳＦＭ 画素アンプ
ＭＳＥＬ 選択スイッチ
ＭＲＶ 定電流源
ＭＶＸ 転送スイッチ
Ｖｈ 垂直信号線
10, 70, 100
12, 102
72
73
101g split
PD photodiode MTX transfer switch MRES reset switch MSFM pixel amplifier MSEL selection switch MRV constant current source MVX transfer switch Vh vertical signal line
Claims (21)
前記画素からの信号の読み出しを制御する制御手段とを有し、
前記制御手段は、前記撮像素子から第１の画像を読み出す第１フレーム期間を、第１及び第２の分割フレーム期間を含む複数の分割フレーム期間に分割し、
前記第１の画像に係る前記画素の数が第２の画像に係る前記画素の数よりも多い場合に、
前記第１の分割フレーム期間と前記第２の分割フレーム期間との間に第２の画像に係る信号を全て読み出すのに要する時間である第２フレーム期間を設け、
さらに、前記第２の画像の更新周期は前記第１の画像の更新周期よりも短くすること
を特徴とする撮像システム。 An imaging device having an imaging region in which a plurality of pixels are arranged in a matrix;
Control means for controlling readout of signals from the pixels,
The control means divides a first frame period for reading a first image from the image sensor into a plurality of divided frame periods including first and second divided frame periods,
When the number of the pixels related to the first image is larger than the number of the pixels related to the second image,
Providing a second frame period which is a time required to read out all signals related to the second image between the first divided frame period and the second divided frame period;
Furthermore, the update period of the second image is shorter than the update period of the first image.
前記第１フレーム期間をｎ＋１個以上の前記分割フレーム期間に分割すること
を特徴とする請求項１に記載の撮像システム。 When n is a natural number and there are n second images,
The imaging system according to claim 1, wherein the first frame period is divided into n + 1 or more divided frame periods.
前記第１の分割フレーム期間と、前記第２の分割フレーム期間と、の間に１つの前記第２フレーム期間を行わせること
を特徴とする請求項１又は２に記載の撮像システム。 If there are multiple second images that are part of the imaging area,
The imaging system according to claim 1, wherein one second frame period is performed between the first divided frame period and the second divided frame period.
前記制御手段は、前記第１の分割フレーム期間と合わせて前記第２の分割フレーム期間と等しくなるように待機時間を前記第１の分割フレーム期間に対して設けること
を特徴とする請求項１乃至３のいずれか１項に記載の撮像システム。 When the first divided frame period is shorter than the second divided frame period,
The control means provides a waiting time for the first divided frame period so as to be equal to the second divided frame period together with the first divided frame period. 4. The imaging system according to any one of items 3.
前記制御手段が前記第１の分割フレーム期間で読み出す画素を走査する周波数は、前記制御手段が前記第２の分割フレーム期間で読み出す画素を走査する周波数よりも低いこと
を特徴とする請求項１乃至４のいずれか１項に記載の撮像システム。 When the number of pixels read out in the first divided frame period is smaller than the number of pixels read out in the second divided frame period,
The frequency at which the control means scans the pixels read out during the first divided frame period is lower than the frequency at which the control means scans the pixels read out during the second divided frame period. 5. The imaging system according to any one of 4.
を特徴とする請求項１乃至６のいずれか１項に記載の撮像システム。 The imaging system according to claim 1, further comprising range selection means for setting a range in the imaging area corresponding to the first and second images.
前記第２の画像は前記撮像領域の一部に対応すること
を特徴とする請求項１乃至７のいずれか１項に記載の撮像システム。 The first image corresponds to the entire imaging region,
The imaging system according to claim 1, wherein the second image corresponds to a part of the imaging region.
前記第２の画像は前記撮像領域の全体に対応し、
さらに、前記第１の画像に係る画素の密度は、前記第２の画像に係る画素の密度よりも高いこと
を特徴とする請求項１乃至７のいずれか１項に記載の撮像システム。 The first image corresponds to a part of the imaging region,
The second image corresponds to the entire imaging area,
Furthermore, the density of the pixel which concerns on a said 1st image is higher than the density of the pixel which concerns on a said 2nd image, The imaging system of any one of Claim 1 thru | or 7 characterized by the above-mentioned.
前記第１の画像に係る画素数が前記第２の画像に係る画素数よりも多い場合に、
前記第１の画像に係る信号を全て読み出す第１フレーム期間を、第１及び第２の分割フレーム期間を含む複数の分割フレーム期間に分割し、
前記第１の分割フレーム期間と前記第２の分割フレーム期間との間に前記第２の画像に係る信号を全て読み出す第２フレーム期間を設け、
さらに、前記第２の画像の更新周期を前記第１の画像の更新周期よりも短くすること
を特徴とする撮像素子の駆動方法。 A driving method for reading out signals related to first and second images from an imaging device having an imaging region in which a plurality of pixels are arranged in a matrix,
When the number of pixels related to the first image is larger than the number of pixels related to the second image,
Dividing a first frame period in which all signals related to the first image are read out into a plurality of divided frame periods including first and second divided frame periods;
Providing a second frame period for reading all signals related to the second image between the first divided frame period and the second divided frame period;
Furthermore, the update period of the said 2nd image is made shorter than the update period of the said 1st image, The drive method of the image pick-up element characterized by the above-mentioned.
前記第１フレーム期間をｎ＋１個以上の分割フレーム期間に分割すること
を特徴とする請求項１１に記載の撮像素子の駆動方法。 When n is a natural number and there are n second images,
The image sensor driving method according to claim 11, wherein the first frame period is divided into n + 1 or more divided frame periods.
前記第１の分割フレーム期間と、前記第２の分割フレーム期間と、の間に１つの前記第２フレーム期間を設けること
を特徴とする請求項１１又は１２に記載の撮像素子の駆動方法。 If there are multiple second images that are part of the effective pixels,
The image sensor driving method according to claim 11, wherein one second frame period is provided between the first divided frame period and the second divided frame period.
前記第１の分割フレーム期間と合わせて前記第２の分割フレーム期間と等しくなるように待機時間を前記第１の分割フレーム期間に対して設けること
を特徴とする請求項１１乃至１３のいずれか１項に記載の撮像素子の駆動方法。 When the first divided frame period is shorter than the second divided frame period,
The standby time is provided for the first divided frame period so as to be equal to the second divided frame period together with the first divided frame period. The drive method of an image pick-up element given in the paragraph.
前記第１の分割フレーム期間で読み出す画素を走査する周波数は、前記第２の分割フレーム期間で読み出す画素を走査する周波数よりも低いこと
を特徴とする請求項１１乃至１４のいずれか１項に記載の撮像システム。 When the number of pixels read out in the first divided frame period is smaller than the number of pixels read out in the second divided frame period,
15. The frequency of scanning pixels read out in the first divided frame period is lower than the frequency of scanning pixels read out in the second divided frame period. 15. Imaging system.
前記第２の画像は前記撮像領域の一部に対応すること
を特徴とする請求項１１乃至１６のいずれか１項に記載の撮像素子の駆動方法。 The first image corresponds to the entire imaging region,
The image sensor driving method according to claim 11, wherein the second image corresponds to a part of the imaging region.
前記第２の画像は前記撮像領域の全体に対応すること
を特徴とする請求項１１乃至１６のいずれか１項に記載の撮像素子の駆動方法。 The first image corresponds to a part of the imaging region,
The image sensor driving method according to claim 11, wherein the second image corresponds to the entire imaging region.
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008256416A JP5207905B2 (en) | 2007-12-19 | 2008-10-01 | Imaging system, imaging element driving method, program, and recording medium |
| US12/327,887 US8390710B2 (en) | 2007-12-19 | 2008-12-04 | Image pickup system, method for driving image pickup elements, and recording medium |
| US13/753,699 US8836832B2 (en) | 2007-12-19 | 2013-01-30 | Image pickup system, method for driving image pickup elements, and recording medium |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007327400 | 2007-12-19 | ||
| JP2007327400 | 2007-12-19 | ||
| JP2008256416A JP5207905B2 (en) | 2007-12-19 | 2008-10-01 | Imaging system, imaging element driving method, program, and recording medium |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2009171545A true JP2009171545A (en) | 2009-07-30 |
| JP5207905B2 JP5207905B2 (en) | 2013-06-12 |
Family
ID=40972166
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008256416A Expired - Fee Related JP5207905B2 (en) | 2007-12-19 | 2008-10-01 | Imaging system, imaging element driving method, program, and recording medium |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5207905B2 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014138410A (en) * | 2013-01-18 | 2014-07-28 | Canon Inc | Image processing device, method of controlling the same, and program |
| WO2015046565A1 (en) * | 2013-09-30 | 2015-04-02 | 株式会社ニコン | Electronic apparatus, electronic apparatus control method, and control program |
| WO2021241011A1 (en) * | 2020-05-28 | 2021-12-02 | 富士フイルム株式会社 | Video creating method |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001145005A (en) * | 1999-11-10 | 2001-05-25 | Olympus Optical Co Ltd | Image pickup device |
| JP2004180240A (en) * | 2002-11-29 | 2004-06-24 | Fujitsu Ltd | Video input device |
| JP2005311665A (en) * | 2004-04-21 | 2005-11-04 | Konica Minolta Photo Imaging Inc | Imaging sensor and imaging device |
| JP2006042399A (en) * | 2005-10-20 | 2006-02-09 | Konica Minolta Photo Imaging Inc | Imaging apparatus |
-
2008
- 2008-10-01 JP JP2008256416A patent/JP5207905B2/en not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001145005A (en) * | 1999-11-10 | 2001-05-25 | Olympus Optical Co Ltd | Image pickup device |
| JP2004180240A (en) * | 2002-11-29 | 2004-06-24 | Fujitsu Ltd | Video input device |
| JP2005311665A (en) * | 2004-04-21 | 2005-11-04 | Konica Minolta Photo Imaging Inc | Imaging sensor and imaging device |
| JP2006042399A (en) * | 2005-10-20 | 2006-02-09 | Konica Minolta Photo Imaging Inc | Imaging apparatus |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014138410A (en) * | 2013-01-18 | 2014-07-28 | Canon Inc | Image processing device, method of controlling the same, and program |
| US9319604B2 (en) | 2013-01-18 | 2016-04-19 | Canon Kabushiki Kaisha | Image processing apparatus and method |
| WO2015046565A1 (en) * | 2013-09-30 | 2015-04-02 | 株式会社ニコン | Electronic apparatus, electronic apparatus control method, and control program |
| JP2015070476A (en) * | 2013-09-30 | 2015-04-13 | 株式会社ニコン | Electronic equipment, control method of electronic equipment, and control program |
| US10136059B2 (en) | 2013-09-30 | 2018-11-20 | Nikon Corporation | Electronic apparatus, method for control rolling electronic apparatus, and control program |
| US10735650B2 (en) | 2013-09-30 | 2020-08-04 | Nikon Corporation | Electronic apparatus, method for controlling electronic apparatus, and control program |
| US11196923B2 (en) | 2013-09-30 | 2021-12-07 | Nikon Corporation | Electronic apparatus, method for controlling electronic apparatus, and control program |
| WO2021241011A1 (en) * | 2020-05-28 | 2021-12-02 | 富士フイルム株式会社 | Video creating method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5207905B2 (en) | 2013-06-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5188080B2 (en) | Imaging device, driving method of imaging device, and readout device | |
| US8836832B2 (en) | Image pickup system, method for driving image pickup elements, and recording medium | |
| JP4208904B2 (en) | Imaging apparatus, control method therefor, and imaging system | |
| JP4756960B2 (en) | Imaging apparatus, control method therefor, computer program, and storage medium | |
| JP4018727B2 (en) | IMAGING DEVICE, ITS CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM | |
| JP4850602B2 (en) | Imaging apparatus, control method therefor, and imaging system | |
| JP5101946B2 (en) | Imaging apparatus and imaging system | |
| JP2007150643A (en) | Solid state imaging element, driving method therefor, and imaging apparatus | |
| JP5721518B2 (en) | Imaging device and imaging apparatus | |
| JP2007129581A (en) | Image pickup device and image pickup system | |
| JP2020053771A (en) | Image processing apparatus and imaging apparatus | |
| JP4678849B2 (en) | IMAGING DEVICE, ITS CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM | |
| JP5207905B2 (en) | Imaging system, imaging element driving method, program, and recording medium | |
| JP4317117B2 (en) | Solid-state imaging device and imaging method | |
| JP4458864B2 (en) | IMAGING DEVICE, ITS CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM | |
| JP2009005173A (en) | Imaging apparatus, control method thereof and imaging system | |
| JP5106055B2 (en) | Imaging apparatus and flicker detection method thereof | |
| JP2006033381A (en) | Imaging device and control method | |
| JP2002057943A (en) | Image pickup device | |
| JP2007135073A (en) | Solid state imaging device | |
| JP2015061178A (en) | Imaging system, method of driving imaging system, imaging device, and method of driving imaging device | |
| JP5106056B2 (en) | Imaging apparatus and flicker detection method thereof | |
| JP6393087B2 (en) | Imaging device and imaging apparatus | |
| JP5066476B2 (en) | Imaging device | |
| JP4499387B2 (en) | Solid-state imaging device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20100201 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20100630 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110913 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130111 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130122 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130219 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160301 Year of fee payment: 3 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 5207905 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160301 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |