JP2011244309A - 画像処理装置、画像処理方法及びプログラム - Google Patents
画像処理装置、画像処理方法及びプログラム Download PDFInfo
- Publication number
- JP2011244309A JP2011244309A JP2010116149A JP2010116149A JP2011244309A JP 2011244309 A JP2011244309 A JP 2011244309A JP 2010116149 A JP2010116149 A JP 2010116149A JP 2010116149 A JP2010116149 A JP 2010116149A JP 2011244309 A JP2011244309 A JP 2011244309A
- Authority
- JP
- Japan
- Prior art keywords
- line
- exposure
- exposure period
- signal
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
Abstract
【課題】異なる露光期間によって得られる画像データの合成により広ダイナミックレンジ画像を取得する際、低照度時の感度を維持しながら、偽色を回避することが可能な画像処理装置、画像処理方法及びプログラムを提供する。
【解決手段】第1の露光期間で露光された固体撮像素子の第1のライン上の単位画素から読み出された第1の信号電荷に基づく第1の画像データと、第1の露光期間に含まれて第1の露光期間より短い第2の露光期間で露光された、第1のラインと異なる固体撮像素子の第2のライン上の単位画素から読み出された第2の信号電荷に基づく第2の画像データを合成する合成処理部を備える。
【選択図】図11
【解決手段】第1の露光期間で露光された固体撮像素子の第1のライン上の単位画素から読み出された第1の信号電荷に基づく第1の画像データと、第1の露光期間に含まれて第1の露光期間より短い第2の露光期間で露光された、第1のラインと異なる固体撮像素子の第2のライン上の単位画素から読み出された第2の信号電荷に基づく第2の画像データを合成する合成処理部を備える。
【選択図】図11
Description
本発明は、画像処理装置、画像処理方法及びプログラムに関する。
一般的に監視用途などに利用されるカメラシステムでは、逆光シーンの撮影や、屋内と屋外の同時撮影などにおいて、暗部から明部まで画像が破たんすることなく表示できる広ダイナミックレンジの特性が要求される。この広ダイナミックレンジ特性を実現するため、従来、様々な手法が提案されている。例えば、CCD、CMOSイメージセンサなどの撮像素子における露光や読み出しを工夫することによって、高ダイナミックレンジ特性を実現する方法がいくつかある。
撮像素子における露光を工夫する最も一般的な方法として、複数回露光方式と呼ばれている方法がある。複数回露光方式は、長時間露光によって暗部の感度を高めた画像と短時間露光によって明部の白とびを抑えた画像を合成して広ダイナミックレンジの画像を生成する。
複数回露光方式では、CMOSイメージセンサの一つの行において、長時間露光と短時間露光を交互に行い、それぞれの露光から得られた信号を交互に読み出す。そのため、長時間露光のデータは、露光期間が最大で1ビデオフレーム期間Tfの半分に設定されてしまう。これは、ビデオフレーム期間Tfが最長の露光期間として設定できる通常のイメージセンサの動作に比べて、最長の露光期間が半分になるため、感度が半分になってしまう。その結果、複数回露光方式は暗部の感度を劣化させる。
また、複数回露光方式では、動く被写体に対して偽色と呼ばれる現象が発生するという問題点がある。これは、従来、長時間露光と短時間露光を交互に行う際、短時間露光と長時間露光の露光期間の間に1ビデオフレーム期間Tfの半分の時間であるT2の分だけ時間差が生じている。そのため、この時間差の間に動く被写体が存在すると、短時間露光の画像と長時間露光の画像が同一にならない。その結果、偽色が発生する。
また、イメージセンサの画素が、赤、緑、青のカラーフィルタによって区別されるとき、合成処理において長時間露光の信号と短時間露光の信号を選択する際、異なる色信号が選択された場合、各色信号の間で同時刻性が失われてしまう。そのため、色成分比が実際の被写体とはずれてしまい、後段で行われるカメラ信号処理中の色再現(デモザイク)処理時に本来ありえない色が生成されてしまう。
これらの偽色は、背景と動く被写体の輝度差が大きい場合に、動く被写体のエッジに顕著に現れ画質劣化の原因となる。
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、異なる露光期間によって得られる画像データの合成により広ダイナミックレンジ画像を取得する際、低照度時の感度を維持しながら、偽色を回避することが可能な、新規かつ改良された画像処理装置、画像処理方法及びプログラムを提供することにある。
上記課題を解決するために、本発明のある観点によれば、第1の露光期間で露光された固体撮像素子の第1のライン上の単位画素から読み出された第1の信号電荷に基づく第1の画像データと、第1の露光期間に含まれて第1の露光期間より短い第2の露光期間で露光された、第1のラインと異なる固体撮像素子の第2のライン上の単位画素から読み出された第2の信号電荷に基づく第2の画像データを合成する合成処理部を備える、画像処理装置が提供される。
上記第1の露光期間から第1の信号電荷を読み出す時刻と、第2の露光期間から第2の信号電荷を読み出す時刻との間の時間差は、固体撮像素子の1ライン分の読み出しにかかる期間の整数倍であってもよい。
上記第2の露光期間は、第1の露光期間の中間であってもよい。
上記第2の露光期間による露光は、第1の露光期間内に複数回行われてもよい。
上記合成処理部は、第1の画像データと、複数の第2の画像データを合成してもよい。
複数の第2の画像データは、合成前に平均化処理又は加算処理されてもよい。
上記第1のライン上の単位画素は、常に第1の露光期間で露光され、第2のライン上の単位画素は、常に第2の露光期間で露光されてもよい。
上記第1のライン上の単位画素は、第1の露光期間と第2の露光期間を交互に入れ替えて露光され、第2のライン上の単位画素は、第1のライン上と反対に第2の露光期間と第1の露光期間を交互に入れ替えて露光されてもよい。
また、上記課題を解決するために、本発明の別の観点によれば、第1の露光期間で露光された固体撮像素子の第1のライン上の単位画素から読み出された第1の信号電荷に基づく第1の画像データと、第1の露光期間に含まれて第1の露光期間より短い第2の露光期間で露光された、第1のラインと異なる固体撮像素子の第2のライン上の単位画素から読み出された第2の信号電荷に基づく第2の画像データを合成するステップを備える、画像処理方法が提供される。
また、上記課題を解決するために、本発明の別の観点によれば、第1の露光期間で露光された固体撮像素子の第1のライン上の単位画素から読み出された第1の信号電荷に基づく第1の画像データと、第1の露光期間に含まれて第1の露光期間より短い第2の露光期間で露光された、第1のラインと異なる固体撮像素子の第2のライン上の単位画素から読み出された第2の信号電荷に基づく第2の画像データを合成する手段としてコンピュータを機能させるためのプログラムが提供される。
以上説明したように本発明によれば、異なる露光期間によって得られる画像データの合成により広ダイナミックレンジ画像を取得する際、低照度時の感度を維持しながら、偽色を回避することができる。
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
1.第1の実施形態
2.第2の実施形態
3.第3の実施形態
4.第4の実施形態
5.第5の実施形態
1.第1の実施形態
2.第2の実施形態
3.第3の実施形態
4.第4の実施形態
5.第5の実施形態
<1.第1の実施形態>
[第1の実施形態の構成]
本実施形態は従来例の複数回露光方式に対し、新たなイメージセンサ駆動方法を適用するものである。以下にCMOSイメージセンサを用い、複数回露光の一例として2回露光方式を採用した場合の操作方法の概略を説明する。
[第1の実施形態の構成]
本実施形態は従来例の複数回露光方式に対し、新たなイメージセンサ駆動方法を適用するものである。以下にCMOSイメージセンサを用い、複数回露光の一例として2回露光方式を採用した場合の操作方法の概略を説明する。
本実施形態のイメージセンサ10の構成は、従来と同じである。
図1は、本発明の一実施形態に係る固体撮像素子、例えばCMOSイメージセンサ10の構成例を示す図である。イメージセンサ10は、光電変換素子を含む単位画素(以下、単に「画素」と記す場合もある)20が行列状(マトリクス状)に2次元配置されてなる画素アレイ部11を有する。また、イメージセンサ10は、画素アレイ部11の周辺回路として、例えば、Vデコーダ(垂直走査部)12、カラム信号処理回路13、カラム選択回路14、Hデコーダ15等を有する構成となっている。
図1は、本発明の一実施形態に係る固体撮像素子、例えばCMOSイメージセンサ10の構成例を示す図である。イメージセンサ10は、光電変換素子を含む単位画素(以下、単に「画素」と記す場合もある)20が行列状(マトリクス状)に2次元配置されてなる画素アレイ部11を有する。また、イメージセンサ10は、画素アレイ部11の周辺回路として、例えば、Vデコーダ(垂直走査部)12、カラム信号処理回路13、カラム選択回路14、Hデコーダ15等を有する構成となっている。
画素アレイ部11には、単位画素20が行列状に2次元配置されている。単位画素20は、列ごとに垂直信号線SIGが配線され、ラインごとに駆動制御線、例えば転送制御線TRSとリセット制御線RSTおよび選択制御線SELが配線されている。
図2に、単位画素20の回路構成例を示す。単位画素20は、光電変換素子、例えばフォトダイオードPDに加えて、例えば転送トランジスタT1、リセットトランジスタT2、増幅トランジスタT3及び選択トランジスタT4の四つのトランジスタを有する画素構成となっている。
転送トランジスタT1は、フォトダイオードPDのカソード電極と電荷電圧変換部であるフローティングディフュージョンFDとの間に接続されている。また、転送トランジスタT1のゲート電極は、転送制御線TRSに接続されている。転送トランジスタT1は、フォトダイオードPDで光電変換が行われたことにより蓄積された信号電荷を、ゲート電極(制御電極)に転送パルスが与えられることによってフローティングディフュージョンFDに転送する。
リセットトランジスタT2は、画素電源VDDにドレイン電極が、フローティングディフュージョンFDにソース電極がそれぞれ接続されている。また、リセットトランジスタT2のゲート電極は、リセット制御線RSTに接続されている。リセットトランジスタT2は、フォトダイオードPDからフローティングディフュージョンFDへの信号電荷の転送に先立って、ゲート電極にリセットパルスが与えられることによってフローティングディフュージョンFDの電位を所定電位にリセットする。
増幅トランジスタT3は、フローティングディフュージョンFDにゲート電極が、画素電源VDDにドレイン電極がそれぞれ接続されている。増幅トランジスタT3は、リセットトランジスタT2によってリセットされた後のフローティングディフュージョンFDの電位をリセットレベルとして出力する。さらに、増幅トランジスタT3は、転送トランジスタT1によって信号電荷が転送されたあとのフローティングディフュージョンFDの電位を信号レベルとして出力する。
選択トランジスタT4は、例えば、ドレイン電極が増幅トランジスタT3のソース電極に、ソース電極が垂直信号線SIGにそれぞれ接続されている。また、選択トランジスタT4のゲート電極は、選択制御線SELに接続されている。選択トランジスタT4は、ゲート電極に選択パルスが与えられることによってオン状態となり、単位画素20を選択状態として増幅トランジスタT3から出力される電気信号を垂直信号線SIGに出力する。
なお、選択トランジスタT4については、画素電源VDDと増幅トランジスタT3のドレイン電極との間に接続した構成とすることも可能である。また、画素回路としては、上述した4トランジスタの構成に限られるものではなく、選択トランジスタT4を省略し、増幅トランジスタT3を選択トランジスタT4として兼用する3トランジスタの構成であってもよい。さらに、増幅トランジスタT3を複数の単位画素間で共有する構成などであってもよい。
図1に示すVデコーダ12は、ライン選択回路とドライバ回路を備えている。ライン選択回路は、シフトレジスタあるいはアドレスデコーダ等によって構成されている。ライン選択回路は、走査制御部の制御のもと、画素アレイ部11の各単位画素20をライン単位で垂直走査するための転送パルス、リセットパルスおよび選択パルス等の画素駆動パルスを発生する。
ドライバ回路は、ライン選択回路による垂直走査に同期して、単位画素20の各トランジスタT1,T2,T4をON/OFFするための所定電圧とされた転送パルス、リセットパルスおよび選択パルスを単位画素20に供給する。また、ドライバ回路は、垂直走査に同期して、単位画素20の各トランジスタT1,T2,T4をON/OFFするための電圧の中間的な電圧(以下、「中間電圧」と記述する)の転送パルスを単位画素20に供給する処理も可能とされている。
カラム信号処理回路13は、画素アレイ部11の各列に対して単一に配されている。カラム信号処理回路13は、垂直走査によって選択された読み出しラインの各単位画素20から垂直信号線SIGを通して出力される電気信号に対して所定の信号処理を行い、単位画素20から読み出された信号電荷に応じた画素信号を生成して一時的に保持する。例えば、カラム信号処理回路13は、信号処理としてCDS(Correlated Double Sampling:相関二重サンプリング)処理を行い、リセットノイズや増幅トランジスタT3の閾値ばらつき等の画素固有の固定パターンノイズを低減させる。また、カラム信号処理回路13は、アナログ信号をデジタル信号に変換するAD変換処理等も行う。
カラム選択回路14は、シフトレジスタあるいはアドレスデコーダ等によって構成されている。カラム選択回路14は、画素アレイ部11の画素列ごとの水平走査を行い、カラム信号処理回路13に一時的に保持されている画素信号を、水平走査順にHデコーダ15で読み出させる。
Hデコーダ15は、水平選択スイッチ等によって構成されており、カラム信号処理回路13に一時的に保持されている画素信号を、カラム選択回路14による水平走査によって画素列ごとに順次読み出して、ライン単位で画像信号の出力を行う。
走査制御部は、Vデコーダ12やカラム選択回路14の動作を制御して、画素アレイ部11の単位画素20をライン単位で垂直方向に走査する、また垂直走査によって読み出された各画素の信号を水平走査によって出力させる。
画素信号読み出し時の各信号線のタイミングを図3に示す。図3(A)は、n行目の選択制御線SEL_nにおける選択信号を示している。選択制御線SEL_nにおける選択信号は、n行目(Line(n))の画素を選択する選択信号である。同様に、図3(B)は、n+1行目の選択制御線SEL_n+1における選択信号を示している。図3(C)は、n行目のリセット制御線RST_nにおけるリセット信号を示している。リセット制御線RST_nにおけるリセット信号は、n行目(Line(n))の画素におけるフローティングディフュージョンFDの電位を所定電位にリセットする信号である。図3(D)は、n行目の転送制御線TRS_nにおける転送信号を示している。転送制御線TRS_nにおける転送信号は、n行目(Line(n))の画素において、蓄積された信号電荷をフローティングディフュージョンFDに転送する信号である。
ここで、選択制御線SEL_nにおいて選択信号がハイレベル「H」とされたとき、n行目(Line(n))の画素が選択される。そして、リセット制御線RST_nにおいてリセット信号がハイレベル「H」とされたとき、n行目(Line(n))の画素におけるフローティングディフュージョンFDが所定電位にリセットされる。その後、所定の露光期間が経過したとき、転送制御線TRS_nにおける転送信号がハイレベル「H」とされて、n行目(Line(n))の画素で所定の露光期間中に蓄積された電荷がフローティングディフュージョンFDに転送される。
このようにn行目(Line(n))の画素が駆動されると、図3(E)に示す垂直信号線SIGにおける信号がカラム信号処理回路13に供給されることになる。
カラム信号処理回路13は、フローティングディフュージョンFDがリセットされたときの電気信号と、フローティングディフュージョンFDに対して露光期間中に蓄積された電荷が転送されたときの信号の差分演算を行うことにより、画素間の固定ばらつきノイズを除去した画素信号を生成して一時保持する。この保持されている画素信号が、カラム選択回路14で行われる水平走査によって順次読み出されて画像信号の出力が行われる。
[従来の動作]
次に、図4〜図6を参照して、従来の動作について説明する。
図4(A)は、画素アレイ中のn行目(Line(n))に着目した場合の、フォトダイオードに蓄積された信号電荷の時間変化を表す。
次に、図4〜図6を参照して、従来の動作について説明する。
図4(A)は、画素アレイ中のn行目(Line(n))に着目した場合の、フォトダイオードに蓄積された信号電荷の時間変化を表す。
複数回露光方式の一例である2回露光方式では、カメラシステムとしての1ビデオフレーム期間Tf(例えば1/30s)に画素アレイを2回走査(scan)することによって、長時間露光による信号と短時間露光による信号の2つの画像信号を読み出すことができる。図4(B)に示すように、長時間露光の画像信号はTfの半分の期間であるT1=Tlを光の蓄積期間とし、時刻t1で読み出される。一方、短時間露光の画像信号を読み出すためには、T2の期間において、時刻t1から蓄積された信号電荷に対し、時刻t2で一旦リセットをかけることによって、いわゆるシャッタ動作を行う。そして、Ts期間を露光期間として、時刻t3で短時間露光の画像信号が読み出される。
これらの行読み出し動作は、画素アレイにおいて1行目から順次行われて行く。例えば、図4(C)に示すように、n+1行目(Line(n+1))はn行目(Line(n))の次に読み出される。その結果、図4(D)に示すように、イメージセンサからは、Tfの半分の周期である1V期間(Tv)で長時間露光の1画面分のデータ、又は短時間露光の1画面分のデータが出力され、長時間露光の1画面分のデータと短時間露光の1画面分のデータが交互に出力される。
図5に時刻t1で、図6に時刻t3で画素アレイ中のラインが選択されている状況を示す。図6に示すように、シャッタ動作を行うために選択されているs行目(Line(s))は、読み出しを行うために選択されているn行目(Line(n))より走査方向に先行したラインに設定される。具体的には、n行目からs行目までの走査にかかる時間が蓄積時間Tsに相当するように、s行目がn行目より走査方向に先行したラインに設定される。つまり、1H期間をThとすると、Ts=(s−n)×Thを満たすようにs行目がn行目に対して設定される。
上記のプロセスにより出力された長時間露光と短時間露光による2種の画像データは、イメージセンサ後段の信号処理システムにおいて、1ビデオフレーム期間Tfごとに1枚の画像データとして合成され、一般的なカメラ信号処理がなされた後にビデオ信号に変換されて出力される。ここで、合成の方法としては、例えば図7(A)に示すような出力データ値が被写体の輝度に応じて得られるとき、画素ごとに、短時間露光の信号値に、長時間露光期間と短時間露光期間との露光比(Tl/Ts)を乗じて、長時間露光と露光期間を揃えた輝度値を算出する。そして、短時間露光の信号値に露光比を乗じて算出した輝度値と、長時間露光の輝度値(信号値)を、予め設定されている閾値と比較する。比較の結果、長時間露光の輝度値が所定の閾値よりも低い場合は長時間露光のデータを選択し、長時間露光の輝度値が所定の閾値よりも大きい場合は短時間露光のデータを露光比倍したものを選択する、といった方法により画素ごとにデータを選択配置していく。
複数回露光方式では、以上のような方法により広ダイナミックレンジの画像を取得することができるが、長時間露光のデータは、露光期間が最大で1ビデオフレーム期間Tfの半分に設定されてしまう。これは、ビデオフレーム期間Tfが最長の露光期間として設定できる通常のイメージセンサ動作に比べて、最長の露光期間が半分になるため、感度が半分になってしまう。その結果、複数回露光方式は暗部の感度を劣化させる。
また、複数回露光方式では、動く被写体に対して偽色と呼ばれる現象が発生するという問題点がある。これは、従来例では、短時間露光の画像と長時間露光の画像の露光期間の間に1ビデオフレーム期間Tfの半分の時間であるT2の分だけ時間差が生じている。そのため、この時間差の間に動く被写体が存在すると、短時間露光の画像と長時間露光の画像が同一にならない。その結果、偽色が発生する。
また、イメージセンサの画素が、赤、緑、青のカラーフィルタによって区別されるとき、例えば図7(B)の合成処理における長時間露光の信号と短時間露光の信号の選択において、異なる色信号が選択された場合、各色信号の間で同時刻性が失われてしまう。そのため、色成分比が実際の被写体とはずれてしまい、後段で行われるカメラ信号処理中の色再現(デモザイク)処理時に本来ありえない色が生成されてしまう。
これらの偽色は、背景と動く被写体の輝度差が大きい場合に、動く被写体のエッジに顕著に現れ画質劣化の原因となる。
以上より、短時間露光画像と長時間露光画像の合成により広ダイナミックレンジ画像を取得する方法において、低照度時の感度を維持しながら、偽色を回避できる手法が望まれていた。
[第1の実施形態の動作]
従来は、画素アレイの走査において、図4に示すように、長時間露光、短時間露光、それぞれフレーム毎に交互に、1行ずつ選択読み出しを行う方式であった。
従来は、画素アレイの走査において、図4に示すように、長時間露光、短時間露光、それぞれフレーム毎に交互に、1行ずつ選択読み出しを行う方式であった。
本実施形態では、図8に示すように、ライン毎に、長時間露光用のラインと短時間露光用のラインを設定し、画素アレイを走査する。一般に、イメージセンサでは、ベイヤー方式と呼ばれるR,G,Bのカラーフィルタ配列が用いられる。ベイヤー配列では、R,Gからなるライン1本とG,Bからなるライン1本を合わせた2本のラインで1組とすることができる。よって、本実施形態では、ベイヤー配列の2本のラインごとに、長時間露光(Ln,Ln+1)を1組、短時間露光(Sn,Sn+1)を1組というように対応させる。長時間露光用のライン(Ln,Ln+1)と短時間露光用のライン(Sn,Sn+1)は、隣り合う。
本実施形態の走査方法を図9及び図10に示す。長時間露光に対応するラインLnの蓄積期間Tlと信号電荷の関係を図9(A)に示す。長時間露光のラインLnは、例えば1ビデオフレーム期間Tfを蓄積期間Tlとする。一方、短時間露光に対応するラインSnの蓄積期間Tsと信号電荷の関係を図9(B)に示す。短時間露光のラインSnについては、時刻t1でシャッタ動作を行い、読み出し時刻t2までの時間差が蓄積期間Tsとなる。なお、図9(B)では、シャッタ動作で掃き出されるシャッタ動作直前までの信号電荷の蓄積に対応する線は省略している(以下の図も同じ)。
図10に時刻t2で画素アレイ中のラインが選択されている状況を示す。図10に示すように、シャッタ動作を行うために選択されているSs行目(Line(Ss))は、短時間露光の信号データの読み出しを行うために選択されているSn行目(Line(Sn))より走査方向に先行したラインに設定される。具体的には、Sn行目からSs行目までの走査にかかる時間が蓄積時間Tsに相当するように、Ss行目がSn行目より走査方向に先行したラインに設定される。つまり、1H期間をThとすると、Ts=(Ss−Sn)×Thを満たすようにSs行目がSn行目に対して設定される。
ラインの読み出し順序は、図8に示すように、ラインSn,Sn+1,Ln,Ln+1,Sn+2,Sn+3,Ln+2,Ln+3が連続するラインであった場合、図9(C)〜(F)に示すようにラインSn→Ln→Sn+1→Ln+1→Sn+2→Ln+2→Sn+3→Ln+3の順序で読み出しを行う。
カメラのシステム構成を図11に示す。カメラは、イメージセンサ10と、画像処理装置100を備える。そして、画像処理装置100は、ラインメモリ102と、カメラコントロール部104と、合成処理部106と、カメラ信号処理部108を備える。
ラインメモリ102は、イメージセンサ10のカラム選択回路14から出力された画像信号を露光期間ごとに分離して、露光期間ごとの画像信号のタイミングを一致させて出力する。ラインメモリ102への画像データの書き込みや読み出しが制御されて、例えば長時間露光と短時間露光の画像信号のタイミングを一致させて、画像信号を合成処理部106に出力する。
合成処理部106は、短時間露光の画像信号と長時間露光の画像信号を合成することで、ダイナミックレンジの拡張された画像信号を生成して、カメラ信号処理部108に出力する。
カメラ信号処理部108は、合成処理部106から供給された画像信号を用いて種々のカメラ信号処理を行う。例えば、カメラ信号処理部108は、ホワイトバランス調整やデモザイク処理、画質調整などの信号処理を行う。
カメラコントロール部104は、ユーザ操作等に応じて制御信号を生成してカメラの各部に制御信号を供給することで、カメラがユーザ操作に応じた動作となるように制御する。また、カメラコントロール部104は、イメージセンサ10を制御して、例えば長時間露光の画像と短時間露光の画像の画像信号を生成させる。
タイミング図を図12に示す。イメージセンサ10の後段の画像処理装置100は、1行分のラインメモリ102を有する。ラインメモリ102には、例えば、1行分(例えばラインSn)の短時間露光の信号データが保存される。そして、次のライン読み出しのタイミングにおいて、イメージセンサ10からラインLnの長時間露光の信号データが出力され、それと同時に画像処理装置100では、ラインメモリ102からラインSnの信号データが読み出される。これら2種の画素データは対応する列(カラム)毎に合成処理部106に送られ、合成処理部106は、ワイドダイナミックレンジ画像生成のための合成処理をする。
以上のような処理とすると、長時間蓄積のデータと短時間蓄積のデータは、垂直方向で隣り合うベイヤーパターンの間で合成される。その結果、合成された画像の解像度は劣化することとなる。しかしながら、例えばビデオカメラなどが、高解像度の静止画撮影とHDレベルの動画撮影の両方の機能を備える際、イメージセンサ10としては、5Mpixelなどの多画素のイメージセンサ10が用いられる。
静止画撮影モードでは、イメージセンサ10の全画素を走査することによって、多くの画素の画像データが出力される。一方、動画撮影モードでは、垂直方向(V)の走査において、ラインの間引き、または、ライン間の画素加算読み出しを行い、画素サイズを下げている。つまり、図8と同様に、ベイヤー配列の組み合わせに対応して、連続する2行を1組として、間引き又は加算が行われる。よって、本実施形態も、このようなビデオカメラなどの動画機能において実施すれば、解像度の劣化は問題とならない。
以上の方法により、本実施形態では、図9に示すように、長時間露光の蓄積期間Tlの間に、短時間露光の蓄積期間Tsが設定される。その結果、従来方式で発生していた長時間露光と短時間露光の露光期間の時刻差がほぼ解消され、ダイナミックレンジ画像の合成において、偽色の発生を抑制できる。
また、長時間露光と短時間露光はLnとSnというようにライン毎に独立して設定される。その結果、長時間露光の蓄積期間Tlを1ビデオフレーム期間Tf分取ることができ、従来例で問題となっていた感度低下も生じない。
なお、図9(A)及び図10に示した上記実施形態では、長時間露光ではシャッタ操作をしていないが、長時間露光に対してもシャッタ動作を行い、露光期間を調整することも可能である。
<2.第2の実施形態>
次に、第2の実施形態について説明する。
本実施形態の走査方法を図13及び図14に示す。
次に、第2の実施形態について説明する。
本実施形態の走査方法を図13及び図14に示す。
本実施形態は、第1の実施形態に対し、図13(A),図13(B)に示すように、長時間露光のラインLnと短時間露光のラインSnの読み出しに時間差Tdを設け、短時間露光のラインSnの露光期間Tsが、長時間露光のラインLnの露光期間Tlのほぼ中間になるように設定する。
ラインLnとラインSnの読み出し時間差がTdのとき、1行の走査期間をThとするとTd/Thで算出されるライン数分(Ndとする)だけ、図16に示すように、短時間露光のラインSnの読み出しを長時間露光Lnの読み出しに対して早めればよい。
長時間露光のラインLnの読み出しに続いて読み出される短時間露光のデータは、図13(C)及び図13(G)に示すように、ラインSkのデータである。図14にある時刻で画素アレイ中のラインが選択されている状況を示す。図14に示すように、シャッタ動作を行うために選択されているSs行目(Line(Ss))は、短時間露光の信号データの読み出しを行うために選択されているSk行目(Line(Sk))より走査方向に先行したラインに設定される。具体的には、Sk行目からSs行目までの走査にかかる時間が蓄積時間Tsに相当するように、Ss行目がSk行目より走査方向に先行したラインに設定される。つまり、1H期間をThとすると、Ts=(Ss−Sk)×Thを満たすようにSs行目がSk行目に対して設定される。
本実施形態の画像処理装置200の構成を図15に示す。基本的に第1の実施形態と同様であるが、本実施形態では、イメージセンサ10からのラインLnのデータ出力とラインSnのデータ出力の間で、時刻差Td、つまりライン本数の換算でNd本分の時間差があるので、システムのラインメモリも、最低Nd本分が必要となる。
以上のようにすると、短時間露光の信号データは、長時間露光の信号データのほぼ中間の信号データに対応する。その結果、それぞれの信号データの時刻差がなくなり、より、偽色が発生しにくい設定となる。
以上、第1の実施形態、第2の実施形態は、長時間露光と短時間露光の2種の露光期間を設定した場合を例としたが、例えば、長時間露光と2種の短時間露光の組み合わせなど、3種以上の露光期間の設定をしてもよい。この時、イメージセンサ上のラインの選択は、長時間、短時間1、短時間2でそれぞれ2行ずつ、合計6本の行を一組として、3種のライン読み出しを交互に切り替えて出力する。
<3.第3の実施形態>
次に、図17〜図20を参照して、第3の実施形態について説明する。
本実施形態の走査方法を図17及び図18に示す。
次に、図17〜図20を参照して、第3の実施形態について説明する。
本実施形態の走査方法を図17及び図18に示す。
本実施形態では、第2の実施形態に対し、一つの短時間露光のラインSnにおいて、露光期間の異なる2種の信号データを取得する。つまり、図10(B)に示すように、短時間露光において、短時間露光1の露光期間TS1と短時間露光2の露光期間Ts2の2種の露光期間を設定する。
長時間露光のラインLnの読み出しに続いて読み出される短時間露光のデータは、図17(C)、図17(E)及び図17(G)に示すように、ラインSkのデータであり、更にその後はラインSmのデータである。図18にある時刻で画素アレイ中のラインが選択されている状況を示す。図18に示すように、シャッタ動作を行うために選択されているSs行目(Line(Ss))は、短時間露光1の信号データの読み出しを行うために選択されているSk行目(Line(Sk))より走査方向に先行したラインに設定される。更に、短時間露光1の信号データの読み出しを行うために選択されており、短時間露光2のシャッタ動作となるSk行目(Line(Sk))は、短時間露光2の信号データの読み出しを行うために選択されているSm行目(Line(Sm))より走査方向に先行したラインに設定される。
具体的には、Sk行目からSs行目までの走査にかかる時間が蓄積時間Ts2に相当するように、Sk行目がSm行目より走査方向に先行したラインに設定される。また、Sk行目からSs行目までの走査にかかる時間が蓄積時間Ts1に相当するように、Ss行目がSk行目より走査方向に先行したラインに設定される。つまり、1H期間をThとすると、Ts2=(Sk−Sm)×Thを満たすようにSk行目がSm行目に対して設定される。また、Ts1=(Ss−Sk)×Thを満たすようにSs行目がSk行目に対して設定される。
本実施形態の画像処理装置300の構成を図19に示す。ラインメモリは、短時間露光1用第1ラインメモリ302と、短時間露光2用の第2ラインメモリ303の2種が用意される。第1ラインメモリ302及び第2ラインメモリ303に蓄積されたラインSnのデータは、図20に示すようにイメージセンサ10からのラインLnのデータの出力と同時に読み出される。そして、二つの短時間蓄積のデータと一つの長時間蓄積のデータが合成処理部306で合成される。
以上の方法によって、第3の実施形態は、3種の露光期間の異なる画像データを取得することができ、よりダイナミックレンジの広い画像を生成することが可能となる。
<4.第4の実施形態>
次に、図21〜図24を参照して、第4の実施形態について説明する。
本実施形態の走査方法を図21及び図22に示す。
次に、図21〜図24を参照して、第4の実施形態について説明する。
本実施形態の走査方法を図21及び図22に示す。
本実施形態の走査方法は、上述した第3の実施形態と同様であるが、短時間露光として、同じ露光期間の信号データを2回取得する。また、第3の実施形態では、1回目の短時間露光1の読み出し動作と2回目の短時間露光2のシャッタ動作が、時刻t2で同時刻である。一方、本実施形態では、1回目の短時間露光1の読み出し動作の時刻t2と、2回目の短時間露光2のシャッタ動作の時刻t3に時間差があるようにしてもよい。
図22にある時刻で画素アレイ中のラインが選択されている状況を示す。図22に示すように、シャッタ動作を行うために選択されているSs行目(Line(Ss))は、短時間露光1の信号データの読み出しを行うために選択されているSk行目(Line(Sn))より走査方向に先行したラインに設定される。具体的には、Sk行目からSs行目までの走査にかかる時間が蓄積時間Ts1に相当するように、Ss行目がSk行目より走査方向に先行したラインに設定される。つまり、1H期間をThとすると、Ts1=(Ss−Sk)×Thを満たすようにSs行目がSk行目に対して設定される。
また、シャッタ動作を行うために選択されているSs2行目(Line(Ss2))は、短時間露光2の信号データの読み出しを行うために選択されているSm行目(Line(Sm))より走査方向に先行したラインに設定される。具体的には、Ss2行目からSm行目までの走査にかかる時間が蓄積時間Ts1に相当するように、Ss2行目がSm行目より走査方向に先行したラインに設定される。つまり、1H期間をThとすると、Ts2=(Ss2−Sm)×Thを満たすようにSs2行目がSm行目に対して設定される。
そして、図23に示すように、第1ラインメモリ302及び第2ラインメモリ303の後段の平均化部405が、同じ露光期間のラインSnの二つの信号データの平均化処理を行い、合成処理部306が二つの短時間蓄積のデータと一つの長時間蓄積のデータを合成する。なお、平均化部405の代わりに加算部405がラインSnの二つの信号データの加算処理をしてもよい。
以上によれば、1ビデオフレーム期間Tf内で移動する動く被写体に対して、短時間露光の信号の平均化処理が可能となる。その結果、第2の実施形態に比べて、偽色の発生を軽減することが可能となる。
<5.第5の実施形態>
次に、図25及び図26を参照して、第5の実施形態について説明する。
第1〜第4の実施形態では、長時間露光と短時間露光の設定をラインごとに固定した場合を示したが、本実施形態では、これらの設定をイメージセンサ10の動作中に変更する。
次に、図25及び図26を参照して、第5の実施形態について説明する。
第1〜第4の実施形態では、長時間露光と短時間露光の設定をラインごとに固定した場合を示したが、本実施形態では、これらの設定をイメージセンサ10の動作中に変更する。
例えば、図25(A)及び図25(B)に示すように、1ビデオフレーム期間Tfごとに長時間露光の設定ラインと短時間露光の設定ラインを交互に入れ替える。つまり、ラインSnに着目すると、期間Tf_1では短時間露光の設定がなされ、露光期間Tsに蓄積された信号が時刻t2で読み出される。そして、次の期間Tf_2では長時間露光の設定がなされ、1ビデオフレーム期間Tfに等しい蓄積期間Tlに蓄積された信号が時刻t4において読み出される。また、ラインLnに着目すると、露光期間の設定がSnの逆になされる。つまり、ライン毎に長時間露光の信号データと短時間露光の信号データが1ビデオフレームごとに交互に得られることとなる。
以上によれば、あるフレーム期間の1つの画素の信号データが例えば長時間露光のデータであったとき、長時間露光のデータと合成可能な短時間露光のデータは、同じフレーム期間内の隣の画素のデータ、又は同じ画素の一つ前のフレーム期間の信号データである。合成処理の際、短時間露光データは、上記二つの中から選択することが可能となる。
従って、例えば、被写体が静止している場合は、同じ画素の時間的に異なるデータを合成することで、解像度を損なわない画像を生成できる。そして、被写体が動いている場合は、隣り合う画素の同じフレーム期間内データを使用することにより、解像度は犠牲となるが、動く被写体に付随する偽色を抑制した画像を生成できる。
本実施形態の場合の画像処理装置100の構成は、図11に示す第1の実施形態と同様である。図14の構成を例とすると、ラインSnのデータが、短時間露光、長時間露光に限らず、常にラインメモリ102に記録されてから読み出しが行われる。なお、長時間露光の設定ラインと短時間露光の設定ラインの入れ替えは、1ビデオフレーム期間Tfごとの入れ替えに限定されず、2ビデオフレーム期間ごとなど他のパターンでもよい。
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
上記実施形態では、短時間露光データを1ビデオフレーム期間内に1回又は2回読み出す例について説明したが、本発明はこの例に限定されない。例えば、短時間露光データを1ビデオフレーム期間内に3回以上読み出してもよい。回数を増すことによって、更に偽色を低減することができる。
10 イメージセンサ
11 画素アレイ部
12 Vデコーダ
13 カラム信号処理回路
14 カラム選択回路
15 Hデコーダ
20 単位画素
100,200,300,400 画像処理装置
102,202 ラインメモリ
104,204 カメラコントロール部
106,206,306,406 合成処理部
108 カメラ信号処理部
302,402 第1ラインメモリ
303,403 第2ラインメモリ
405 平均化部
11 画素アレイ部
12 Vデコーダ
13 カラム信号処理回路
14 カラム選択回路
15 Hデコーダ
20 単位画素
100,200,300,400 画像処理装置
102,202 ラインメモリ
104,204 カメラコントロール部
106,206,306,406 合成処理部
108 カメラ信号処理部
302,402 第1ラインメモリ
303,403 第2ラインメモリ
405 平均化部
Claims (10)
- 第1の露光期間で露光された固体撮像素子の第1のライン上の単位画素から読み出された第1の信号電荷に基づく第1の画像データと、前記第1の露光期間に含まれて第1の露光期間より短い第2の露光期間で露光された、前記第1のラインと異なる前記固体撮像素子の第2のライン上の単位画素から読み出された第2の信号電荷に基づく第2の画像データを合成する合成処理部を備える、画像処理装置。
- 前記第1の露光期間から前記第1の信号電荷を読み出す時刻と、前記第2の露光期間から前記第2の信号電荷を読み出す時刻との間の時間差は、前記固体撮像素子の1ライン分の読み出しにかかる期間の整数倍である、請求項1に記載の画像処理装置。
- 前記第2の露光期間は、前記第1の露光期間の中間である、請求項1又は2に記載の画像処理装置。
- 前記第2の露光期間による露光は、前記第1の露光期間内に複数回行われる、請求項1又は2に記載の画像処理装置。
- 前記合成処理部は、前記第1の画像データと、複数の前記第2の画像データを合成する、請求項4に記載の画像処理装置。
- 複数の前記第2の画像データは、合成前に平均化処理又は加算処理される、請求項4又は5に記載の画像処理装置。
- 前記第1のライン上の単位画素は、常に前記第1の露光期間で露光され、前記第2のライン上の単位画素は、常に第2の露光期間で露光される、請求項1〜6のいずれか1項に記載の画像処理装置。
- 前記第1のライン上の単位画素は、前記第1の露光期間と前記第2の露光期間を交互に入れ替えて露光され、前記第2のライン上の単位画素は、前記第1のライン上と反対に前記第2の露光期間と前記第1の露光期間を交互に入れ替えて露光される、請求項1〜6のいずれか1項に記載の画像処理装置。
- 第1の露光期間で露光された固体撮像素子の第1のライン上の単位画素から読み出された第1の信号電荷に基づく第1の画像データと、前記第1の露光期間に含まれて第1の露光期間より短い第2の露光期間で露光された、前記第1のラインと異なる前記固体撮像素子の第2のライン上の単位画素から読み出された第2の信号電荷に基づく第2の画像データを合成するステップを備える、画像処理方法。
- 第1の露光期間で露光された固体撮像素子の第1のライン上の単位画素から読み出された第1の信号電荷に基づく第1の画像データと、前記第1の露光期間に含まれて第1の露光期間より短い第2の露光期間で露光された、前記第1のラインと異なる前記固体撮像素子の第2のライン上の単位画素から読み出された第2の信号電荷に基づく第2の画像データを合成する手段としてコンピュータを機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010116149A JP2011244309A (ja) | 2010-05-20 | 2010-05-20 | 画像処理装置、画像処理方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010116149A JP2011244309A (ja) | 2010-05-20 | 2010-05-20 | 画像処理装置、画像処理方法及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2011244309A true JP2011244309A (ja) | 2011-12-01 |
Family
ID=45410484
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010116149A Withdrawn JP2011244309A (ja) | 2010-05-20 | 2010-05-20 | 画像処理装置、画像処理方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2011244309A (ja) |
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013145765A1 (ja) * | 2012-03-30 | 2013-10-03 | 株式会社ニコン | 撮像ユニット、撮像装置および撮像制御プログラム |
JP2015012490A (ja) * | 2013-06-28 | 2015-01-19 | キヤノン株式会社 | 撮像装置、その制御方法及び制御プログラム |
JP2015019388A (ja) * | 2014-08-26 | 2015-01-29 | 関根 弘一 | 動き検出用撮像装置、動き検出カメラおよび動き検出システム |
US9113097B2 (en) | 2013-02-06 | 2015-08-18 | Canon Kabushiki Kaisha | Image capturing apparatus that controls performing of short-term and long-term exposures and corresponding read operations, and control method thereof |
JP2015154413A (ja) * | 2014-02-18 | 2015-08-24 | ソニー株式会社 | 情報処理装置、情報処理方法、情報処理システム、および撮像装置 |
US9160934B2 (en) | 2013-02-20 | 2015-10-13 | Canon Kabushiki Kaisha | Image capturing apparatus obtaining high-exposure and low-exposure images, and method for controlling the same |
CN105874781A (zh) * | 2014-01-10 | 2016-08-17 | 高通股份有限公司 | 用于使用多个短曝光俘获数字图像的***和方法 |
KR20160108928A (ko) * | 2015-03-09 | 2016-09-21 | 삼성전자주식회사 | 카메라 모듈을 포함하는 전자 장치 및 전자 장치의 이미지 처리 방법 |
US9560265B2 (en) | 2013-07-02 | 2017-01-31 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, image processing program, and imaging apparatus |
US9571742B2 (en) | 2013-03-06 | 2017-02-14 | Canon Kabushiki Kaisha | Image capture apparatus and control method thereof |
WO2017077775A1 (ja) * | 2015-11-05 | 2017-05-11 | ソニー株式会社 | 固体撮像素子、撮像装置、及び、電子機器 |
JP2017220892A (ja) * | 2016-06-10 | 2017-12-14 | オリンパス株式会社 | 画像処理装置及び画像処理方法 |
WO2018034211A1 (en) | 2016-08-18 | 2018-02-22 | Sony Corporation | Imaging device and imaging method |
US9924076B2 (en) | 2012-10-29 | 2018-03-20 | Setech Co., Ltd. | Motion detection solid-state image capturing device and motion detection system |
CN110213503A (zh) * | 2019-06-28 | 2019-09-06 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
WO2019187901A1 (ja) * | 2018-03-29 | 2019-10-03 | 富士フイルム株式会社 | 撮像装置、撮像方法、およびプログラム |
EP3611917A1 (en) * | 2018-08-13 | 2020-02-19 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Imaging control method and apparatus, electronic device, and computer readable storage medium |
US11056518B2 (en) | 2016-08-18 | 2021-07-06 | Sony Corporation | Imaging apparatus and imaging method |
-
2010
- 2010-05-20 JP JP2010116149A patent/JP2011244309A/ja not_active Withdrawn
Cited By (48)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10652485B2 (en) | 2012-03-30 | 2020-05-12 | Nikon Corporation | Imaging unit, imaging apparatus, and computer readable medium storing thereon an imaging control program |
US9571767B2 (en) | 2012-03-30 | 2017-02-14 | Nikon Corporation | Imaging unit, imaging apparatus, and computer readable medium storing thereon an imaging control program |
US20150015760A1 (en) * | 2012-03-30 | 2015-01-15 | Nikon Corporation | Imaging unit, imaging apparatus, and computer readable medium storing thereon an imaging control program |
US11082646B2 (en) | 2012-03-30 | 2021-08-03 | Nikon Corporation | Imaging unit, imaging apparatus, and computer readable medium storing thereon an imaging control program |
RU2666761C2 (ru) * | 2012-03-30 | 2018-09-12 | Никон Корпорейшн | Модуль формирования изображений, устройство формирования изображений и управляющая программа для формирования изображений |
WO2013145765A1 (ja) * | 2012-03-30 | 2013-10-03 | 株式会社ニコン | 撮像ユニット、撮像装置および撮像制御プログラム |
CN110299373A (zh) * | 2012-03-30 | 2019-10-01 | 株式会社尼康 | 拍摄装置 |
CN104247401B (zh) * | 2012-03-30 | 2019-07-02 | 株式会社尼康 | 拍摄元件以及拍摄装置 |
JPWO2013145765A1 (ja) * | 2012-03-30 | 2015-12-10 | 株式会社ニコン | 撮像ユニット、撮像装置および撮像制御プログラム |
CN110265415A (zh) * | 2012-03-30 | 2019-09-20 | 株式会社尼康 | 拍摄单元、拍摄装置及拍摄控制程序 |
CN104247401A (zh) * | 2012-03-30 | 2014-12-24 | 株式会社尼康 | 拍摄单元、拍摄装置及拍摄控制程序 |
US11743608B2 (en) | 2012-03-30 | 2023-08-29 | Nikon Corporation | Imaging unit, imaging apparatus, and computer readable medium storing thereon an imaging control program |
CN110148605A (zh) * | 2012-03-30 | 2019-08-20 | 株式会社尼康 | 拍摄单元、拍摄装置及拍摄控制程序 |
US9967480B2 (en) | 2012-03-30 | 2018-05-08 | Nikon Corporation | Imaging unit, imaging apparatus, and computer readable medium storing thereon an imaging control program |
US9924076B2 (en) | 2012-10-29 | 2018-03-20 | Setech Co., Ltd. | Motion detection solid-state image capturing device and motion detection system |
US9113097B2 (en) | 2013-02-06 | 2015-08-18 | Canon Kabushiki Kaisha | Image capturing apparatus that controls performing of short-term and long-term exposures and corresponding read operations, and control method thereof |
US9160934B2 (en) | 2013-02-20 | 2015-10-13 | Canon Kabushiki Kaisha | Image capturing apparatus obtaining high-exposure and low-exposure images, and method for controlling the same |
US9571742B2 (en) | 2013-03-06 | 2017-02-14 | Canon Kabushiki Kaisha | Image capture apparatus and control method thereof |
JP2015012490A (ja) * | 2013-06-28 | 2015-01-19 | キヤノン株式会社 | 撮像装置、その制御方法及び制御プログラム |
US9560265B2 (en) | 2013-07-02 | 2017-01-31 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, image processing program, and imaging apparatus |
US10091434B2 (en) | 2014-01-10 | 2018-10-02 | Qualcomm Incorporated | System and method for capturing digital images using multiple short exposures |
CN110460780A (zh) * | 2014-01-10 | 2019-11-15 | 高通股份有限公司 | 用于使用多个短曝光俘获数字图像的***和方法 |
KR101789992B1 (ko) * | 2014-01-10 | 2017-10-25 | 퀄컴 인코포레이티드 | 다수의 짧은 노출들을 이용하여 디지털 이미지들을 캡처하기 위한 시스템 및 방법 |
JP2017504262A (ja) * | 2014-01-10 | 2017-02-02 | クアルコム,インコーポレイテッド | 複数の短時間露出を使用してデジタル画像をキャプチャするためのシステムおよび方法 |
CN105874781A (zh) * | 2014-01-10 | 2016-08-17 | 高通股份有限公司 | 用于使用多个短曝光俘获数字图像的***和方法 |
JP2015154413A (ja) * | 2014-02-18 | 2015-08-24 | ソニー株式会社 | 情報処理装置、情報処理方法、情報処理システム、および撮像装置 |
JP2015019388A (ja) * | 2014-08-26 | 2015-01-29 | 関根 弘一 | 動き検出用撮像装置、動き検出カメラおよび動き検出システム |
EP3270583A4 (en) * | 2015-03-09 | 2018-03-14 | Samsung Electronics Co., Ltd. | Electronic device having camera module, and image processing method for electronic device |
KR102277178B1 (ko) * | 2015-03-09 | 2021-07-14 | 삼성전자 주식회사 | 카메라 모듈을 포함하는 전자 장치 및 전자 장치의 이미지 처리 방법 |
CN107409180B (zh) * | 2015-03-09 | 2020-08-28 | 三星电子株式会社 | 具有相机模块的电子装置和用于电子装置的图像处理方法 |
CN107409180A (zh) * | 2015-03-09 | 2017-11-28 | 三星电子株式会社 | 具有相机模块的电子装置和用于电子装置的图像处理方法 |
US10306163B2 (en) | 2015-03-09 | 2019-05-28 | Samsung Electronics Co., Ltd. | Electronic device having camera module, and image processing method for electronic device |
KR20160108928A (ko) * | 2015-03-09 | 2016-09-21 | 삼성전자주식회사 | 카메라 모듈을 포함하는 전자 장치 및 전자 장치의 이미지 처리 방법 |
US10541259B2 (en) | 2015-11-05 | 2020-01-21 | Sony Semiconductor Solutions Corporation | Solid-state imaging device, imaging device, and electronic apparatus |
CN108293098B (zh) * | 2015-11-05 | 2021-01-19 | 索尼半导体解决方案公司 | 固态成像器件、成像装置和电子设备 |
WO2017077775A1 (ja) * | 2015-11-05 | 2017-05-11 | ソニー株式会社 | 固体撮像素子、撮像装置、及び、電子機器 |
CN108293098A (zh) * | 2015-11-05 | 2018-07-17 | 索尼半导体解决方案公司 | 固态成像器件、成像装置和电子设备 |
JP2017220892A (ja) * | 2016-06-10 | 2017-12-14 | オリンパス株式会社 | 画像処理装置及び画像処理方法 |
WO2018034211A1 (en) | 2016-08-18 | 2018-02-22 | Sony Corporation | Imaging device and imaging method |
US11056518B2 (en) | 2016-08-18 | 2021-07-06 | Sony Corporation | Imaging apparatus and imaging method |
US10704957B2 (en) | 2016-08-18 | 2020-07-07 | Sony Corporation | Imaging device and imaging method |
JPWO2019187901A1 (ja) * | 2018-03-29 | 2021-02-18 | 富士フイルム株式会社 | 撮像装置、撮像方法、およびプログラム |
WO2019187901A1 (ja) * | 2018-03-29 | 2019-10-03 | 富士フイルム株式会社 | 撮像装置、撮像方法、およびプログラム |
US11258956B2 (en) | 2018-03-29 | 2022-02-22 | Fujifilm Corporation | Image capturing apparatus, image capturing method, and program |
US11044410B2 (en) | 2018-08-13 | 2021-06-22 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Imaging control method and apparatus, electronic device, and computer readable storage medium |
EP3611917A1 (en) * | 2018-08-13 | 2020-02-19 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Imaging control method and apparatus, electronic device, and computer readable storage medium |
US11765466B2 (en) | 2018-08-13 | 2023-09-19 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Imaging control method and apparatus, electronic device, and computer readable storage medium |
CN110213503A (zh) * | 2019-06-28 | 2019-09-06 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2011244309A (ja) | 画像処理装置、画像処理方法及びプログラム | |
US9942482B2 (en) | Image sensor with transfer gate control signal lines | |
JP5178994B2 (ja) | 固体撮像装置、固体撮像装置の駆動方法および撮像装置 | |
JP5053869B2 (ja) | 固体撮像装置、撮像システム、及び固体撮像装置の駆動方法 | |
WO2013031368A1 (ja) | 撮像装置、および信号処理方法、並びにプログラム | |
JP4862473B2 (ja) | 固体撮像装置、固体撮像装置の駆動方法および撮像装置 | |
JP4973115B2 (ja) | 固体撮像装置、固体撮像装置の駆動方法および撮像装置 | |
US8174590B2 (en) | Image pickup apparatus and image pickup method | |
US20050206757A1 (en) | Image pickup device and image pickup apparatus | |
KR101939402B1 (ko) | 고체 촬상 소자 및 구동 방법, 및 전자 기기 | |
JP2008167004A (ja) | 固体撮像装置、固体撮像装置の駆動方法および撮像装置 | |
JP2010004146A (ja) | 固体撮像素子およびカメラシステム | |
US10313588B2 (en) | Image capturing system and control method of image capturing system | |
JP4501350B2 (ja) | 固体撮像装置および撮像装置 | |
JP2011259492A (ja) | 固体撮像装置、固体撮像装置の駆動方法および撮像装置 | |
US10924693B2 (en) | Image sensor and image capturing apparatus | |
JP2010193524A (ja) | 固体撮像装置および固体撮像装置の駆動方法 | |
JP2005328213A (ja) | 固体撮像装置および固体撮像装置の駆動方法 | |
WO2016203966A1 (ja) | 撮像装置、撮像方法、並びにプログラム | |
JP5578008B2 (ja) | 固体撮像装置、固体撮像装置の駆動方法および撮像装置 | |
JP5428792B2 (ja) | 固体撮像素子およびその駆動方法、カメラシステム、プログラム | |
JP2006352295A (ja) | 固体撮像装置、固体撮像装置の駆動方法および撮像装置 | |
JP2019220945A (ja) | 撮像素子及び撮像装置 | |
JP6375614B2 (ja) | 固体撮像素子及び撮像装置 | |
JP2012070056A (ja) | 撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20130806 |