JP2022053481A - 信号処理装置、光電変換装置、光電変換システム、信号処理装置の制御方法およびプログラム - Google Patents

Abstract

【課題】信号処理装置において、撮像素子から出力される信号に対する補正の精度の向上に有利な技術を提供する。
【解決手段】受光領域および遮光領域を備える光電変換部から出力される画像データを処理する信号処理装置であって、機械学習によって生成された学習済みモデルを用いて前記画像データの補正のための補正用データの生成に用いる制御データを出力する制御データ生成部と、前記画像データのうち前記遮光領域の画像データである遮光画像データと前記制御データとに基づいて前記補正用データを生成し、前記画像データのうち前記受光領域の画像データである受光画像データを前記補正用データに従って、前記学習済みモデルを適用せずに補正する信号処理部と、を含む。
【選択図】図４

Description

本発明は、信号処理装置、光電変換装置、光電変換システム、信号処理装置の制御方法およびプログラムに関する。

ＣＭＯＳイメージセンサなどの撮像素子を使用した撮像装置において、画質の向上のために、それぞれの画素で生じる暗電流などに起因するノイズを補正する必要がある。特許文献１には、撮像領域を複数のブロックに分割し、ブロックの大きさと分割位置を撮影条件に応じて変化させ、予め記憶された分割パターンに応じた補正値を用いて、様々な撮影条件に対して適切に補正を行うことが示されている。

特開２０１７－０３４３１５号公報

画質のより一層の向上のために、撮像素子のそれぞれの画素で生じる暗電流や画素から信号を読み出すための回路に起因するノイズなどをより適切に補正する必要がある。

本発明は、信号処理装置において、撮像素子から出力される信号に対する補正の精度の向上に有利な技術を提供することを目的とする。

上記課題に鑑みて、本発明の実施形態に係る信号処理装置は、受光領域および遮光領域を備える光電変換部から出力される画像データを処理する信号処理装置であって、機械学習によって生成された学習済みモデルを用いて前記画像データの補正のための補正用データの生成に用いる制御データを出力する制御データ生成部と、前記画像データのうち前記遮光領域の画像データである遮光画像データと前記制御データとに基づいて前記補正用データを生成し、前記画像データのうち前記受光領域の画像データである受光画像データを前記補正用データに従って、前記学習済みモデルを適用せずに補正する信号処理部と、を含むことを特徴とする。

本発明によれば、信号処理装置において、撮像素子から出力される信号に対する補正の精度の向上に有利な技術を提供することができる。

本実施形態の信号処理装置を備える光電変換装置の構成例を示す図。 図１の光電変換装置の光電変換部の出力信号の概念図。 本実施形態の信号処理装置のＯＢクランプ処理の概念図。 本実施形態の信号処理装置の補正に用いる制御データ生成のフロー図。 本実施形態の信号処理装置の機械学習モデルの図。 本実施形態の信号処理装置を備える光電変換装置の構成例を示す図。 本実施形態の信号処理装置を備える光電変換装置の構成例を示す図。 本実施形態の信号処理装置を備える光電変換装置の構成例を示す図。 本実施形態の信号処理装置の補正に用いる制御データ生成のフロー図。 図１の光電変換装置の配置例を示す図。 図１の光電変換装置が組み込まれた撮像装置の構成例を示す図。 図１の光電変換装置を含む光電変換システムの構成例を示す図。

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

第１の実施形態
図１～５を参照して、本開示の第１の実施形態による信号処理装置について説明する。図１は、本実施形態の信号処理装置１５０を備える光電変換装置１００の構成例を示す図である。光電変換装置１００は、信号処理装置１５０と、後述する受光領域および遮光領域を備え、信号処理装置１５０によって処理される画像データを出力する光電変換部１０１と、を含む。光電変換装置１００は、さらに、垂直走査部１０３、制御部１０４、読出回路部１０５、ＡＤ変換部１０６、メモリ部１０７、水平走査部１０８を含みうる。

信号処理装置１５０は、機械学習部１５１と信号処理部１５２とを含む。機械学習部１５１は、機械学習によって生成された学習済みモデル１６０と、画像データに基づいて、学習済みモデル１６０を用いて信号処理部１５２で画像データを補正するための補正用データを生成する際に用いる制御データを出力する制御データ生成部１６１と、を含む。信号処理部１５２は、画像データと制御データ生成部１６１によって生成された制御データとに基づいて補正用データを生成し、光電変換部１０１から出力される画像データを補正用データに従って補正する。本実施形態では、信号処理装置１５０が、光電変換装置１００に搭載されている例を示すが、これに限られることはなく、信号処理装置１５０は、光電変換装置１００とは別体であってもよい。

光電変換部１０１は、画素１０２を行方向（図１の横方向）にｍ＋１個、列方向（図１の縦方向）にｎ＋１個それぞれ配置した（ｍ＋１）×（ｎ＋１）画素で構成されている。垂直走査部１０３は、行選択線１１０（Ｖ（ｎ））によって、行ごとに配されたｍ＋１個の画素１０２に接続されており、信号を読み出す行を選択する。選択された行では、垂直出力線１１１（Ｈ（ｍ））を介して、選択された行に含まれるｍ＋１個の画素１０２から出力される信号が、一斉に読出回路部１０５へ読み出される。読出回路部１０５は、アンプなどを含み、画素１０２から出力される信号を増幅してもよい。読出回路部１０５から出力された信号は、ＡＤ変換部１０６にてアナログ信号からデジタル信号へ変換（ＡＤ変換）され、メモリ部１０７に一時的に保持される。その後、水平走査部１０８によってアドレス指定されたデジタル信号が、信号処理装置１５０の信号処理部１５２へ順次読み出され、信号処理部１５２にてデジタル信号処理が行われる。制御部１０４は、例えば、タイミングジェネレータを含み、光電変換装置１００の各構成に対する制御信号を生成しうる。また、制御部１０４は、光電変換装置１００の外部との通信によって光電変換装置１００の撮像の際の撮像条件などの設定情報を取得し、光電変換装置１００に含まれる各構成に条件に応じた制御信号を供給しうる。制御部１０４は、この設定情報に基づき、垂直走査部１０３、読出回路部１０５、ＡＤ変換部１０６、メモリ部１０７、水平走査部１０８、信号処理部１５２に対して制御を行う。

信号処理部１５２では、光電変換部１０１のそれぞれの画素１０２に含まれるスイッチ素子（例えば、ＭＯＳトランジスタ）で発生するリセットノイズを低減する処理が実施される。また、光電変換部１０１から出力される画像データには、画素１０２に含まれるフォトダイオードから発生する暗電流や、電源インピーダンスや信号遅延などの回路起因の差によって発生するばらつき（ＦＰＮ：固定パターンノイズ）が含まれうる。本明細書において、このＦＰＮが行ごと、列ごとに、ある法則性を有してばらつく状態をシェーディングと称する。信号処理部１５２は、リセットノイズの成分を低減した後に、ＦＰＮ成分やシェーディング成分などを低減し、画像データからノイズ成分が抑制された信号成分を取り出す処理を行う。本明細書において、この信号処理部１５２が、画像データのノイズ成分を低減する処理をＯＢクランプ処理と称する。

図２は、本実施形態において、光電変換部１０１から出力された信号を行ごとに改行した場合の概念図である。光電変換部１０１は、レンズなどの光学系を通り入射する光を受光する受光領域２０２および入射する光を光学的に遮光した遮光領域２０１（オプティカルブラック（ＯＢ）領域とも呼ばれうる。）を含む。遮光領域２０１は、光電変換部１０１で得られる画像データにおける、所謂、黒レベルの基準を決定するための基準領域である。ここで、遮光領域２０１のうち、図２に示されるように、画面の上部で全列にわたり画素１０２を光学的に遮光した領域をＶＯＢ領域２０３と称する。また、受光領域２０２の左側に位置し、全行にわたり画素１０２を光学的に遮光した領域をＨＯＢ領域２０４と称する。

ＯＢクランプ処理において行ごと、列ごとのＦＰＮ成分を低減するために、信号処理部１５２は、画像データのうち遮光領域２０１の画像データである遮光画像データから補正用データを生成する。次いで、信号処理部１５２は、画像データのうち受光領域２０２の画像データである受光画像データを補正用データに従って補正する。例えば、信号処理部１５２は、遮光画像データの信号レベル（信号値）を行ごと、列ごとに平均化して補正用データを生成する。次いで、信号処理部１５２は、受光画像データのそれぞれの信号レベルから補正用データのそれぞれ対応する信号レベルを減算することによって、画像表示用のデータを生成してもよい。ここで、遮光領域２０１のうち信号レベルの行ごと、列ごとの平均値を取得する領域は、遮光領域２０１の任意の領域を設定することができる。この領域をクランプ値生成領域と称する。また、クランプ値生成領域から取得した平均値をクランプ値と称する。

図３（ａ）～図３（ｃ）は、ＯＢクランプ処理の概念図である。図３（ａ）は、図２に示した光電変換部１０１を示し、図３（ｂ）は、ＯＢクランプ処理を実施する前の概念図であり、図３（ｃ）は、ＯＢクランプ処理を実施した後の概念図である。図３（ｂ）は、縦軸に時間、横軸に遮光領域２０１の信号レベルを表しており、ＦＰＮ成分のレベルと対応する信号レベルの平均値の例を示したものである。図３（ｂ）では、行ごとにＦＰＮ成分が増加していくような概念図を示しており、遮光領域２０１の全領域をクランプ値生成領域とした場合のクランプ値３０１が示されている。各行の信号レベルからクランプ値３０１を減算した結果が、図３（ｃ）に示される。図３（ｃ）では、遮光領域２０１で得られた信号レベルからクランプ値３０１を減算したことによって、受光領域２０２を含め、光電変換部１０１で得られた画像データからＦＰＮ成分やシェーディング成分を抑制した信号成分を取り出せた状態が示されている。つまり、信号処理部１５２によるＯＢクランプ処理が、適切に行われた例を示している。

しかしならが、ＯＢクランプ処理において、画像データのうち遮光領域２０１の遮光画像データの各行の平均値をそのまま減算に使用した場合、画素ごとに異なるランダムノイズなどの影響によって平均値がばらついてしまう可能性がある。このため、ＯＢクランプ処理において、適切にシェーディング成分を低減にできなくなり、ＯＢクランプ処理の精度が低下してしまう可能性がある。

そこで、例えば、行ごとに求めた遮光画像データの平均値に対してＬＰＦ（Ｌｏｗ Ｐａｓｓ Ｆｉｌｔｅｒ）を用いることで、クランプ値に行ばらつきに対する耐性を持たせ、ＯＢクランプ処理の精度を向上させることが考えられる。このため、信号処理部１５２がＯＢクランプ処理を実施する際に、信号処理部１５２にＯＢクランプ処理を行うための制御データを与える必要がある。信号処理部１５２は、画像データのうち遮光領域２０１の画像データである遮光画像データと制御データとに基づいて上述の補正用データを生成する。ＯＢクランプ処理を行う際の制御データは、ＬＰＦのフィードバックゲイン（シェーディングに対する追随性）の情報以外にも、遮光画像データのうち、ＯＢクランプ処理に用いるクランプ値生成領域の大きさの情報、クランプ値生成領域の場所の情報、などが挙げられる。信号処理装置１５０の機械学習部１５１に配される制御データ生成部１６１は、学習済みモデル１６０を用いて、これらの制御データを生成する。信号処理部１５２は、遮光画像データとこれらの制御データの情報とに基づいて補正用データを生成し、例えば、上述のように受光画像データの信号レベルから補正用データの信号レベルを減算することによって画像表示用のデータを生成しうる。

次に、制御データを生成するためのプロセスについて図４を用いて説明する。まず、Ｓ４０１では、制御データを生成するための画像データが準備される。制御データを生成するための画像データは、これまでの撮像によって取得された画像データであってもよいし、同等の撮像条件で取得された画像データであってもよい。これらの画像データは、信号処理装置１５０や光電変換装置１００の外部から供給されてもよいし、図１に示されるように、信号処理装置１５０の機械学習部１５１にメモリ１６２が配され、メモリ１６２に記憶されていてもよい。また、制御データを生成するための画像データとして、リアルタイムで取得した画像データのうち遮光領域２０１のデータである遮光画像データが用いられてもよい。

制御データを生成するための画像データが準備されると、ステップはＳ４０２～Ｓ４０４に遷移する。Ｓ４０２では、制御データとして、制御データ生成部１６１は、遮光画像データのうち補正用データを生成する領域（クランプ値生成領域）の大きさ、即ちクランプ値を生成する際の平均母数を決定する。クランプ値を生成する際の平均母数は、例えば、遮光領域２０１におけるＦＰＮ成分のノイズ量の大きさから判断してもよい。例えば、ノイズ量が大きい場合、大きなばらつきを抑えるためにクランプ値生成領域は大きく設定され、ノイズ量が小さい場合、遮光領域２０１内に存在するシミやムラの影響を不必要に受けないようにクランプ値生成領域の大きさは小さく設定される。

また、Ｓ４０３では、制御データとして、制御データ生成部１６１は、遮光画像データのうち補正用データを生成する領域（クランプ値生成領域）の場所を決定する。クランプ値生成領域の場所は、遮光領域２０１におけるシェーディング形状、さらに、異常な信号値を出力する画素の場所から判断する。異常な信号を出力する画素とは、例えば、上述のシミやムラとなる領域の画素や、キズとなる画素でありうる。シミやムラとは、他の画素よりも相対的に大きな、または、小さな信号レベルを出力する画素の集合によって出現しうる。また、キズとなる画素とは、白キズや黒点のように、常に同じ信号レベルを出力する画素のことでありうる。クランプ値生成領域内にシミやムラが含まれた場合、クランプ値に所望のＦＰＮ成分以外の成分を含んでしまい、ＦＰＮ成分を低減できなくなる可能性があるため、適切なＯＢクランプ処理ができなくなるおそれがある。このため、遮光領域２０１の遮光画像データにシミやムラが存在する場合、シミやムラが出現している領域を外してクランプ値生成領域が設定されうる。

さらに、Ｓ４０４では、制御データとして、制御データ生成部１６１は、シェーディングに対する追従性を決定する。例えば、シェーディングへの追従性は、シェーディング成分の大きさから判別してもよい。例えば、シェーディング量が大きい場合、クランプ値の追従性は大きく設定され、クランプ値が大きなシェーディング量に追従できるよう設定する。シェーディング量が小さい場合、クランプ値が不本意なばらつきの影響を受けないよう追従性は小さく設定される。

Ｓ４０２～Ｓ４０４の各ステップは、どのような順番で実施してもよい。また、例えば、Ｓ４０２～Ｓ４０４の各ステップは、同時に並行して実施されてもよい。また、例えば、Ｓ４０２～Ｓ４０４の全てのステップが実行されなくてもよい。少なくとも１つのステップが実行され、制御データが制御データ生成部１６１から信号処理部１５２に出力されることによって、信号処理部１５２で行われるＯＢクランプ処理の精度が向上しうる。

制御データ生成部１６１は、Ｓ４０２～Ｓ４０４で決定した、クランプ値生成領域の大きさの情報、クランプ値生成領域の場所の情報、および、シェーディングに対する追随性の情報のうち少なくとも１つを含む制御データを信号処理部１５２に出力する。次いで、Ｓ４０５では、信号処理部１５２は、Ｓ４０２～Ｓ４０４にて決定した制御データと遮光領域２０１の遮光画像データとに基づいて補正用データを生成し、受光領域２０２の受光画像データを補正用データに従って補正するＯＢクランプ処理を実施する。これによって、本実施形態において、撮像条件に合わせたクランプ値を補正用データとして演算し、ＦＰＮ成分やシェーディング成分を低減可能な適切なＯＢクランプ処理が可能となる。結果として、良好な画質の画像を得ることが可能となる。

ここで、光電変換装置１００の光電変換部１０１からの画像データは、光電変換部１０１の製造工程中に生ずるキズやロット内におけるチップの配置場所によって、例え、同じ撮像条件であったとしても、チップごとに異なるＦＰＮ成分やムラを有しうる。また、例えば、同ロット内であったとしても、各チップ間で層間膜の厚さが異なり配線容量の大きさがチップ間でばらついてしまう。配線容量の大きさが異なる場合、チップ間でシェーディング量や形状にもばらつきを生じてしまう可能性がある。光電変換部１０１のチップサイズが、例えば、デジタル一眼カメラで用いるイメージセンサのように大きい場合、このようなばらつきの影響をより大きく受けてしまう。このため、制御データ生成部１６１が、制御データを生成するための学習済みモデル１６０を出荷前にチューニングすることは、チップ毎にばらつくＦＰＮ成分やムラに適合したＯＢクランプ処理を実施するために、非常に重要となってくる。

また、同じ光電変換部１０１においても、撮像を行う際の蓄積時間に依存して発生する暗電流の量、さらにＩＳＯ設定に依存してＦＰＮ成分の増幅率など、ＦＰＮ成分は撮像条件ごとに変化しうる値である。さらに、出荷時にはなくとも、光電変換部１０１から出力される画像に、経年変化によるシミやムラなどが発生する可能性がある。これらの影響を踏まえ、その都度、適切なＯＢクランプ処理ができなければ、ＦＰＮ成分やシェーディング成分を低減できなくなり、ＯＢクランプ処理の精度が保てないおそれがある。

そこで、本実施形態において、制御データ生成部１６１は、画像データ（遮光画像データ）を学習済みモデル１６０に入力し、ＯＢクランプ処理を実施するための制御データを出力させる。つまり、制御データ生成部１６１は、撮像条件やロットごと、チップごとに異なるシェーディング形状やシミ、ムラを機械学習した学習済みモデルを用いてＦＰＮ成分を低減するための制御データを出力させる。

本実施形態において、制御データ生成部１６１は、学習済みモデル１６０にクランプ値自体を出力させるのではなく、クランプ値を生成するための制御データを出力させる。また、信号処理部１５２は、制御データと遮光領域２０１の遮光画像データとに基づいて補正用データを生成し、受光領域２０２の受光画像データを補正用データに従って、学習済みモデル１６０を適用せずに補正するＯＢクランプ処理を実施する。このようにすることによって、例えば、クランプ値自体をメモリ１６２に保持する場合と比較して、メモリ１６２の面積を削減することが可能となる。さらに、クランプ値自体をメモリ１６２に保持する場合、フレーム毎にメモリ１６２にアクセスする必要がある。しかし本実施形態において、例えば、撮影条件を変えずに連続撮影する場合など、制御データの変更が必要ない場合は、メモリ１６２にアクセスする必要がなく、高フレームレートでの撮影が実現可能になる。

さらに、機械学習部１５１は、画像データを用いた機械学習によって学習済みモデル１６０を更新する学習部１６３をさらに含んでいてもよい。光電変換装置１００での撮像を繰り返すことによって、学習部１６３は、例えば、撮像条件に対する取得した画像データの統計的な特徴を捉え、学習済みモデル１６０を更新してもよい。これによって、学習済みモデル１６０は、例えば、経年変化によるシミやムラの発生に適応できる。この場合の学習部１６３による機械学習は、教師なし学習と呼ばれうる。

図５は、本実施形態における機械学習モデルのニューラルネットワークの模式図である。ニューラルネットワークは、複数のノードを有する入力層と、複数のノードを有する中間層と、１個のノードを有する出力層と、を備えうる。入力層の各ノードには、画像データが入力される。中間層の各ノードは、入力層の各ノードに接続される。中間層の各ノードに入力された入力値の各要素は、中間層の各ノードにおける演算に用いられる。中間層の各ノードは、例えば、入力値の各ノードから入力された入力値と、所定の重み付け係数と、所定のバイアス値と、を用いて演算値を算出する。中間層の各ノードは、それぞれ出力層に接続され、算出した演算値を出力層のノードに出力する。出力層のノードは、中間層の各ノードから演算値が入力される。機械学習モデル（中間層）は、入力された画像データから、様々な撮像条件において、ＦＰＮ成分を低減できるような制御データの導出を行う。これによって導出した制御データに基づいてＯＢクランプ処理を行えば、撮像条件やチップごとに異なるＦＰＮ成分やシェーディング成分だけではなく、経年変化にも適応した精度が高いＯＢクランプ処理が可能となる。結果として、本実施形態において、良好な画質を有する画像を取得することが可能となる。

第２の実施形態
図６を参照して、本開示の第２の実施形態による信号処理装置について説明する。図６は、本実施形態の信号処理装置１５０を備える光電変換装置６００の構成例を示す図である。図１に示される信号処理装置１５０の機械学習部１５１に対して、本実施形態の信号処理装置１５０は、機械学習部６５１となっている点が上述の第１の実施形態と異なる。機械学習部６５１は、機械学習部１５１と比較して、光電変換装置６００の外部から信号を取得するための信号線が追加されている。この機械学習部６５１の構成以外は、上述の第１の実施形態と同様であってもよいため、上述の第１の実施形態と異なる点について中心に説明し、同様であってもよい点に関しては適宜、説明を省略する。

上述の第１の実施形態では学習済みモデル１６０を用いて、制御データ生成部１６１が画像データからチップごとや撮像条件に適合した制御データを導出することで、適切なＯＢクランプ処理が実施できることを示した。また、第１の実施形態では、学習部１６３が、教師なし学習を行ってもよいことを説明した。一方、本実施形態では、学習部１６３が、教師データを用いた機械学習を行うことによって学習済みモデル１６０を更新する。その上で、上述の第１の実施形態と同様に、制御データ生成部１６１が、学習済みモデル１６０を用いてＯＢクランプ処理において信号処理部１５２が使用する制御データを生成する。

より具体的には、本実施形態において、信号処理装置１５０（光電変換装置１００）の外部から、画像データからＦＰＮ成分やシェーディング成分が除去されたデータが提供される。例えば、ユーザがＦＰＮ成分やシェーディング成分が除去されたデータを提供する。学習部１６３は、信号処理装置１５０の外部から提供される、画像データからノイズを低減したデータを教師データとして機械学習を行う。

例えば、制御データ生成部１６１が学習済みモデル１６０を用いて生成した制御データに基づいて信号処理部１５２が生成した補正用データと、同じ画像データや同じ撮像条件で得られた画像データからノイズを低減した教師データと、を学習部１６３は比較する。これによって、学習部１６３は、チップや撮像条件に適合した制御データを制御データ生成部１６１が学習済みモデル１６０を用いて生成できるように機械学習することができる。この比較結果に基づいて、学習部１６３は、学習済みモデル１６０を更新する。また、例えば、学習部１６３は、信号処理装置１５０の外部から入力される、画像データのノイズを低減可能な制御データ生成部１６１が出力する制御データに応じたデータを教師データとして機械学習を行ってもよい。

学習部１６３が実施する機械学習は、例えば、光電変換装置１００の出荷前に行ってもよい。また、光電変換装置１００を出荷した後に、例えば、光電変換装置１００の起動時や終了時、また、バッテリを充電している間などに学習部１６３が機械学習を行ってもよい。さらに、ユーザや後述する光電変換システムの要求を受けて、随時、学習部１６３が機械学習を行っていってもよい。

また、上述の第１の実施形態、および、本実施形態において、学習部１６３は、機械学習部６５１に配されているが、これに限られることはない。例えば、学習部１６３は、信号処理部１５２に配されていてもよいし、機械学習部１５１および信号処理部１５２とは、別に配されていてもよい。

本実施形態において、教師データを用いて機械学習を行う。これによって、適宜、更新される学習済みモデル１６０を用いて制御データ生成部１６１が生成した制御データに基づいてＯＢクランプ処理を行えば、撮像条件やチップごとに異なるＦＰＮ成分やシェーディング成分の低減を精度よく実施することができる。さらに、経年変化にも適応した精度が高いＯＢクランプ処理が可能となる。結果として、本実施形態において、良好な画質を有する画像を取得することが可能となる。

第３の実施形態
図７を参照して、本開示の第３の実施形態による信号処理装置について説明する。図７は、本実施形態の信号処理装置１５０を備える光電変換装置７００の構成例を示す図である。図１に示される信号処理装置１５０の機械学習部１５１に対して、本実施形態の信号処理装置１５０は、機械学習部７５１となっている点が上述の第１の実施形態と異なる。機械学習部７５１は、機械学習部１５１と比較して、信号処理部１５２から信号を取得するための信号線が追加されている。また、機械学習部７５１は、解析部７５０をさらに含む。この機械学習部７５１の構成以外は、上述の第１の実施形態と同様であってもよいため、上述の第１の実施形態と異なる点について中心に説明し、同様であってもよい点に関しては適宜、説明を省略する。

上述の第２の実施形態では信号処理装置１５０（光電変換装置１００）の外部から受け取ったデータを教師データとして、学習部１６３は機械学習を行い、学習済みモデル１６０の更新を行うことを説明した。本実施形態では、制御データ生成部１６１が生成した制御データを用いて、信号処理部１５２がＯＢクランプ処理を行い、その結果を教師データにして学習を行う。より具体的には、制御データ生成部１６１が生成した制御データに基づいて信号処理部１５２が生成した補正用データのノイズの低減の程度を、解析部７５０が解析する。解析部７５０が、信号処理部１５２が生成した補正用データを解析し、ＯＢクランプ処理の精度の良否（補正用データのノイズの低減の程度）を判定した結果を教師データとしてフィードバックし、学習部１６３が機械学習を行う。すなわち、本実施形態では、上述の第２の実施形態とは異なり、信号処理装置１５０の内部で、教師データが生成される。図７に示される、信号処理部１５２から機械学習部７５１への信号線は、信号処理部１５２によってＯＢクランプ処理が実施された補正画像データを解析部７５０に転送するために配されている。

本実施形態における学習部１６３による機械学習は、強化学習と呼ばれうる。機械学習が、信号処理部１５２が受光画像データを補正用データに従って補正し、補正画像データを生成するごとに行われてもよい。教師データの数が増えることによって、ＯＢクランプ処理の精度がより高くなる可能性がある。

解析部７５０が実施する、ＯＢクランプ処理によるＦＰＮ成分の除去の程度を解析する方法の一例を以下に示す。入力された画像データに対し、解析部７５０は、遮光領域２０１の遮光画像データにおける任意の領域を設定する。ここで、この領域をＦＰＮ形状計算領域と称する。次いで、解析部７５０は、ＦＰＮ形状計算領域の行ごと、列ごとの信号レベルの平均値を求め、平均値に対し、近似曲線を算出する。この近似曲線が、ＦＰＮ形状を示す関数となる。ここで、ＦＰＮ成分が完全に除去できた理想状態を近似曲線の傾きがゼロの状態とする。解析部７５０が算出した近似曲線と、理想状態の近似曲線の傾きをゼロとした関数と、の相関を求めることによって、ＦＰＮ成分の低減の程度を判定することが可能となる。解析部７５０が解析したノイズの低減の程度は、学習部１６３に入力され教師データとして活用される。

本実施形態において、学習部１６３および解析部７５０は、機械学習部７５１に配されているが、これに限られることはない。例えば、学習部１６３および解析部７５０は、信号処理部１５２に配されていてもよいし、それぞれ機械学習部１５１および信号処理部１５２とは、別に配されていてもよい。また、学習部１６３と解析部７５０とが一体の構成となっていてもよい。ユーザが、様々な撮像条件で光電変換装置１００を使用することで、幅広い教師データが得られ、より短期間での学習精度向上が見込まれる。

本実施形態において、信号処理装置１５０内において教師データを生成し機械学習を行う。これによって、適宜、更新される学習済みモデル１６０を用いて制御データ生成部１６１が生成した制御データに基づいてＯＢクランプ処理を行えば、撮像条件やチップごとに異なるＦＰＮ成分やシェーディング成分の低減を精度よく実施することができる。さらに、経年変化にも適応した精度が高いＯＢクランプ処理が可能となる。結果として、本実施形態において、良好な画質を有する画像を取得することが可能となる。

第４の実施形態
図８、９を参照して、本開示の第４の実施形態による信号処理装置について説明する。図８は、本実施形態の信号処理装置１５０を備える光電変換装置８００の構成例を示す図である。図１に示される信号処理装置１５０の機械学習部１５１に対して、本実施形態の信号処理装置１５０は、機械学習部８５１となっている点が上述の第１の実施形態と異なる。機械学習部８５１は、機械学習部１５１と比較して、抽出部８５０をさらに含む。この機械学習部８５１の構成以外は、上述の第１の実施形態と同様であってもよいため、上述の第１の実施形態と異なる点について中心に説明し、同様であってもよい点に関しては適宜、説明を省略する。

上述の第１の実施形態では、学習済みモデル１６０のニューラルネットワークの入力層の各ノードに画像データを入力することを説明した。本実施形態では、機械学習部８５１に抽出部８５０が配され、画像データから制御データの精度を向上させるための特徴量を抽出し、この抽出された特徴量を学習済みモデル１６０のニューラルネットワークの入力層の各ノードに入力する。上述の各実施形態のように画像データを学習済みモデル１６０のニューラルネットワークに入力するのではなく、画像データから抽出した特徴量の情報をニューラルネットワークに入力する。これによって、学習済みモデル１６０を用いて制御データ生成部１６１が信号処理部１５２に出力する制御データの精度が向上し、ＯＢクランプ処理の精度が向上しうる。ここでは、学習済みモデル１６０に特徴量だけが入力されるとして説明するが、学習済みモデル１６０のニューラルネットワークに画像データと当該画像データの特徴量との両方が入力されてもよい。

図９は、本実施形態における、制御データを生成するためのプロセスである。図４に示されるプロセスと比較して、画像データの特徴量を抽出するためのＳ９０１のステップが追加されている。これ以外のステップは、図４に示されるステップと同様であってもよいため、説明を適宜、省略する。

Ｓ４０１で画像データの準備がなされると、ステップはＳ９０１に遷移し、抽出部８５０は、画像データから制御データの精度を向上させるための特徴量を抽出する。特徴量は、例えば、クランプ値生成領域の大きさを判断するための、遮光領域２０１の遮光画像データにおけるＦＰＮのノイズの量であってもよい。また、例えば、特徴量は、クランプ値生成領域の場所を判断するための、遮光領域２０１の遮光画像データにおけるシェーディングの形状であってもよい。さらに、例えば、特徴量は、シェーディングへの追従性を判断するための、遮光領域２０１の遮光画像データにおけるシェーディング成分の大きさであってもよい。また、上述のように、シミやムラ、キズがある場合、クランプ値の精度が低下してしまう可能性がある。また、クランプ値生成領域内に段差がある場合にも、同様にクランプ値の精度が低下してしまう可能性がある。ここで、本実施形態における「段差」とは、ある行、または、ある列を境界に、信号値がオフセットを持った状態のことでありうる。したがって、特徴量は、例えば、遮光領域２０１の遮光画像データにおいて異常な信号値を出力する画素１０２の情報であってもよい。抽出部８５０は、特徴量として、これらのうち少なくとも１つの情報を学習済みモデル１６０に入力する。

ここで、遮光領域２０１の遮光画像データにおけるＦＰＮのノイズ量を導出する方法の一例を示す。撮像条件を揃えて取得した複数の画像データを用意する。これらの画像データの各画素値を時間方向に平均化処理を行う。この平均化処理によって、ランダムノイズ成分を除去することが可能となる。時間方向に平均化された画像データに対して遮光画像データの中で任意の領域を設定し、この領域内における標準偏差を算出する。この標準偏差が、遮光領域２０１の遮光画像データにおけるＦＰＮのノイズ量となる。

遮光領域２０１の遮光画像データにおけるシェーディングの形状やシェーディング成分の大きさを導出する方法は、上述の第３の実施形態で解析部７５０が行う解析と同等である。したがって、ここでは説明を省略する。

次いで、遮光領域２０１の遮光画像データにおけるシミやムラ、キズ、また、上述の段差など異常な信号値を出力する画素１０２の場所を導出する方法の一例を示す。遮光領域２０１の遮光画像データを任意の領域に分割する。この分割された領域のそれぞれに対し、領域内の信号レベルの平均値を取得する。その中で、ひとつ領域を選択し、選択された領域の信号レベルの平均値を用いて各領域の信号レベルの平均値を規格化する。その際に、平均値が他の領域に対してずれている領域が、シミやムラ、キズ、段差の原因となる画素１０２が配されている領域であると判定できる。また、例えば、出荷時に既知のシミやムラ、キズ、段差など異常な信号値を出力する画素１０２の情報は、メモリ１６２などに記憶されていてもよい。ここで、メモリ１６２に記憶される異常な信号値を出力する画素１０２の情報は、異常な信号値を出力する画素１０２の位置情報でもよいし、異常な信号値を出力する画素１０２の信号値のレベルでもよい。また、出荷後も、抽出部８５０などで抽出された異常な信号値を出力する画素１０２の情報が、メモリ１６２に記憶されてもよい。これによって、特徴量を抽出する際の抽出部８５０における計算量が抑制されうる。

抽出部８５０が特徴量を抽出すると、この特徴量を学習済みモデル１６０に入力する。次いで、Ｓ４０２～Ｓ４０４において、制御データ生成部１６１は、特徴量が入力された学習済みモデル１６０を用いて、信号処理部１５２がＯＢクランプ処理を行う際に使用する制御データを信号処理部１５２に出力する。画像データから導出したこれらの情報を基に、ＯＢクランプ処理に必要な各設定値を決定する。次いで、Ｓ４０５において、信号処理部１５２は、Ｓ４０２～Ｓ４０４にて決定した制御データと遮光領域２０１の遮光画像データとに基づいて補正用データを生成し、受光領域２０２の受光画像データを補正データに従って補正するＯＢクランプ処理を実施する。

本実施形態において、学習部１６３および抽出部８５０は、機械学習部８５１に配されているが、これに限られることはない。例えば、学習部１６３および抽出部８５０は、信号処理部１５２に配されていてもよいし、それぞれ機械学習部１５１および信号処理部１５２とは、別に配されていてもよい。

本実施形態では、画像データから抽出した特徴量を学習済みモデル１６０のニューラルネットワークに入力することによって、制御データ生成部１６１が制御データを生成する精度を向上させる。これによって、信号処理部１５２による、より適切なＯＢクランプ処理が可能となる。つまり、本実施形態においても、撮像条件やチップごとに異なるＦＰＮ成分やシェーディング成分の低減を精度よく実施することができる。さらに、経年変化にも適応した精度が高いＯＢクランプ処理が可能となる。結果として、本実施形態において、良好な画質を有する画像を取得することが可能となる。

ここまで説明した第１の実施形態から第４の実施形態は、それぞれ組み合わされていてもよい。例えば、信号処理装置１５０の外部から入力されるデータを教師データとして用いて学習済みモデル１６０が更新され、更新された学習済みモデル１６０に画像データの特徴量が入力されてもよい。また、例えば、信号処理装置１５０の外部から入力されるデータと、信号処理部１５２でＯＢクランプ処理を行った結果を解析したデータと、をそれぞれ教師データとして、学習済みモデル１６０が更新されてもよい。さらに、例えば、信号処理装置１５０の外部から入力されるデータと、信号処理部１５２でＯＢクランプ処理を行った結果を解析したデータと、をそれぞれ教師データとして、学習済みモデル１６０が更新され、更新された学習済みモデル１６０に画像データの特徴量が入力されてもよい。

このように、上述の各実施形態を組み合わせることによって、撮像条件やチップごとなどによって異なるＦＰＮ成分やシェーディング成分、経年変化に対して、より高い精度で適応した学習済みモデル１６０が得られる。これによって、高い精度のＯＢクランプ処理を実施可能な信号処理装置１５０が実現できる。また、本開示の信号処理装置１５０が組み込まれた光電変換装置１００、６００、７００、８００において、画質が高い画像を得ることが可能となる。

その他の実施形態
上述の各実施形態で説明したＯＢクランプ処理を実施する信号処理装置１５０は、上述のように光電変換装置１００の内部に設けられていてもよい。しかしながら、これに限られることはない。例えば、信号処理装置１５０は、光電変換装置１００や光電変換部１０１とは別に配されていてもよい。信号処理装置１５０は、光電変換装置１００とは別に配される、プロセッサ（例えば、ＣＰＵやＭＰＵ）を含むパソコンなどのコンピュータであってもよい。また、例えば、信号処理装置１５０は、上述の機能を実現するＡＳＩＣのような回路であってもよい。

図１０は、図１に示される光電変換装置１００の各ブロックを半導体などの基板に配置した場合の配置例を示す図である。光電変換装置１００は、シリコンなどの半導体を用いた基板１００１と基板１００２とを含んでいてもよい。基板１００１に、信号処理装置１５０や垂直走査部１０３、制御部１０４、読出回路部１０５、ＡＤ変換部１０６、メモリ部１０７、水平走査部１０８などの各構成が配される。基板１００２に、受光領域２０２および遮光領域２０１を備える画素１０２がアレイ状に並ぶ光電変換部１０１が配される。図１０に示されるように、基板１００１と基板１００２との少なくとも一部が、積層されていてもよい。この構成によって、光電変換部１０１を含むアナログ部と、信号処理装置１５０を含むロジック部と、において、光電変換装置１００を製造する際に、それぞれ適したプロセスを選択できるようになる。それぞれの構成に適切な製造プロセスを用いることによって、光電変換装置１００に含まれる各構成において、良好な特性を得ることができるようになりうる。結果として、画質が向上した光電変換装置１００が得られる。

図１１は、上述の信号処理装置１５０が組み込まれた光電変換装置１００、６００、７００、８００の一例として撮像装置１１００の構成を示している。撮像装置１１００は、信号生成部１１０１、信号補正部１１０２、ＣＰＵ１１０３、外部入力部１１０４、光学系１１０５、映像表示部１１０６、記録部１１０７、駆動系１１０８を含む。

信号補正部１１０２は、上述の信号処理装置１５０でありうる。また、信号生成部１１０１は、上述の画素１０２を含む光電変換部１０１、垂直走査部１０３、制御部１０４、読出回路部１０５、ＡＤ変換部１０６、メモリ部１０７、水平走査部１０８などの各構成を含みうる。したがって、信号生成部１１０１と信号補正部１１０２とを含む構成は、上述の光電変換装置１００、６００、７００、８００でありうる。この構成において、信号生成部１１０１は、信号生成部１１０１単独で光電変換装置とも呼ばれうる。つまり、信号処理装置１５０は、上述したように、光電変換装置とは別に配されていてもよい。

信号生成部１１０１の光電変換部１０１に光を入射させるための光学系１１０５よって入射した光に応じて、信号生成部１１０１は、光電変換を行いアナログの画像信号を生成し、ＡＤ変換することによって、画像データを出力する。出力された画像データは、映像表示部１１０６、記録部１１０７に出力、保存できるように信号補正部１１０２によって補正処理が行われる。補正処理の後の表示画像データを用いて映像表示部１１０６は、画像表示を行う。また、記録部１１０７は、表示画像データを保存する。ＣＰＵ１１０３は、上述した、撮像装置１１００における各構成の制御を行う。駆動系１１０８は、例えば、光学系１１０５のピントや絞りを動作させるために配される。外部入力部１１０４は、撮像の条件やシャッタの操作など、ユーザが入力・操作を行う各種ボタンなどでありうる。映像表示部１１０６としてタッチパネルが配され、映像表示部１１０６が、外部入力部１１０４（の一部）として機能してもよい。

撮像装置１１００は、図１１に示される構成の他に、例えば、温度計など、信号生成部１１０１で得られる画像などの他の環境の情報を得るための構成を備えていてもよい。例えば、信号処理装置１５０は、温度情報などの信号生成部１１０１（光電変換装置）では得られない情報も使用して機械学習を行い、学習済みモデル１６０を構築してもよい。撮像装置１１００が使用される環境の様々な環境パラメータを用いることによって、撮影条件により適切に対応したＯＢクランプ処理を実施することが可能になりうる。結果として、撮像装置１１００で得られる画像の画質が向上しうる。

図１２は、複数の光電変換装置１００、６００、７００、８００と、光電変換装置１００、６００、７００、８００の外部のサーバ１２０１（例えば、クラウドサーバ）と通信するための通信部１２０２と、を備える光電変換システム１２００の構成例を示す図である。通信部１２０２は、光電変換装置１００、６００、７００、８００が通信を行うための無線ＬＡＮやＢｌｕｅｔｏｏｔｈ（登録商標）などの機能を有することによって実現されてもよい。また、通信部１２０２は、ユーザが光電変換装置１００、６００、７００、８００で取得可能な各種のデータをサーバ１２０１にアップロードまたはダウンロードするインターネットなどによって実現されてもよい。通信部１２０２は、光電変換装置１００、６００、７００、８００と、光電変換装置１００、６００、７００、８００の外部に配されたサーバ１２０１と、の間のデータの授受が行えれば、いかなる形態であってもよい。

例えば、光電変換装置１００、６００、７００、８００の信号処理装置１５０の学習済みモデル１６０が、サーバ１２０１を介して、複数の光電変換装置１００、６００、７００、８００間で共有されてもよい。例えば、光電変換装置１００、６００、７００、８００が、通信部１２０２を介してサーバ１２０１に接続しているときに、信号処理装置１５０の学習部１６３は、機械学習を行い、学習済みモデル１６０を更新してもよい。

また、例えば、上述のように光電変換装置が信号処理装置１５０を備えず、サーバ１２０１に信号処理装置１５０が配されていてもよい。つまり、サーバ１２０１上に、機械学習によって生成された学習済みモデル１６０が配されていてもよい。

光電変換システム１２００が、このような構成を備えることで、複数の光電変換装置（例えば、光電変換装置１００、６００、７００、８００）からの情報を使って学習済みモデル１６０の更新を行うことが可能となる。つまり、多くの幅広い撮像条件で撮像を行うユーザによって使用される光電変換装置が、光電変換システム１２００のサーバ１２０１に接続される。これによって、例えば、短期間に多くの教師データを取得することが可能となる。結果として、ＯＢクランプ処理の精度がより一層向上し、それぞれの光電変換装置で撮像された画像のより一層の高画質化が可能となる。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワークまたは各種の記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータにおける１つ以上のプロセッサ（例えば、ＣＰＵやＭＰＵ。）がプログラムを読み出して実行する処理である。また、１つ以上の機能を実現する回路（例えば、ＡＳＩＣ。）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１５０：信号処理装置、１５２：信号処理部、１６０：学習済みモデル、１６１：制御データ生成部、２０１：遮光領域、２０２：受光領域

Claims (17)

1. 受光領域および遮光領域を備える光電変換部から出力される画像データを処理する信号処理装置であって、
   機械学習によって生成された学習済みモデルを用いて前記画像データの補正のための補正用データの生成に用いる制御データを出力する制御データ生成部と、
   前記画像データのうち前記遮光領域の画像データである遮光画像データと前記制御データとに基づいて前記補正用データを生成し、前記画像データのうち前記受光領域の画像データである受光画像データを前記補正用データに従って、前記学習済みモデルを適用せずに補正する信号処理部と、
   を含むことを特徴とする信号処理装置。
2. 前記学習済みモデルに、前記画像データが入力されることを特徴とする請求項１に記載の信号処理装置。
3. 前記画像データから前記制御データの精度を向上させるための特徴量を抽出する抽出部をさらに含み、
   前記学習済みモデルに、前記特徴量が入力されることを特徴とする請求項１または２に記載の信号処理装置。
4. 前記特徴量が、前記遮光画像データにおける固定パターンノイズの量、前記遮光画像データにおけるシェーディングの形状、前記遮光画像データにおけるシェーディング成分の大きさ、前記遮光画像データにおいて異常な信号値を出力する画素の情報のうち少なくとも１つを含むことを特徴とする請求項３に記載の信号処理装置。
5. 前記画像データを用いた機械学習によって前記学習済みモデルを更新する学習部をさらに含むことを特徴とする請求項１乃至４の何れか１項に記載の信号処理装置。
6. 前記学習部が、前記信号処理装置の外部から提供される、前記画像データからノイズを低減したデータを教師データとして機械学習を行うことによって、前記学習済みモデルを更新することを特徴とする請求項５に記載の信号処理装置。
7. 前記学習部が、前記信号処理装置の外部から提供される、前記画像データのノイズを低減可能な前記制御データに応じたデータを教師データとして機械学習を行うことによって、前記学習済みモデルを更新することを特徴とする請求項５または６に記載の信号処理装置。
8. 前記制御データに基づいて生成された前記補正用データのノイズの低減の程度を解析する解析部をさらに含み、
   前記学習部が、前記解析部が解析した前記補正用データのノイズの低減の程度を教師データとして機械学習を行うことによって、前記学習済みモデルを更新することを特徴とする請求項５乃至７の何れか１項に記載の信号処理装置。
9. 前記機械学習が、前記信号処理部が前記補正用データを生成するごとに行われることを特徴とする請求項８に記載の信号処理装置。
10. 前記制御データが、前記遮光画像データのうち前記補正用データを生成する領域の大きさの情報、前記遮光画像データのうち前記補正用データを生成する領域の場所の情報、および、前記補正用データを生成する際のシェーディングに対する追随性の情報のうち少なくとも１つを含む請求項１乃至９の何れか１項に記載の信号処理装置。
11. 請求項１乃至１０の何れか１項に記載の信号処理装置と、
    受光領域および遮光領域を備え、前記信号処理装置によって処理される画像データを出力する光電変換部と、
    を備えることを特徴とする光電変換装置。
12. 前記光電変換装置は、第１基板と第２基板とを含み、
    前記第１基板に前記信号処理装置が配され、前記第２基板に前記光電変換部が配されることを特徴とする請求項１１に記載の光電変換装置。
13. 前記第１基板と前記第２基板との少なくとも一部が、積層されていることを特徴とする請求項１２に記載の光電変換装置。
14. 請求項１１乃至１３の何れか１項に記載の光電変換装置と、
    前記光電変換装置の外部のサーバと通信するための通信部と、
    を備える光電変換システムであって、
    前記学習済みモデルが、前記光電変換装置とは別の光電変換装置の学習済みモデルと前記サーバを介して共有されることを特徴とする光電変換システム。
15. 請求項１乃至１０の何れか１項に記載の信号処理装置と、
    受光領域および遮光領域を備え、前記信号処理装置によって処理される画像データを出力する光電変換部をそれぞれが備える複数の光電変換装置と、
    前記信号処理装置と前記複数の光電変換装置との間の通信を行う通信部と、
    を含む光電変換システム。
16. 受光領域および遮光領域を備える光電変換部から出力される画像データを処理する信号処理装置の制御方法であって、
    機械学習によって生成された学習済みモデルを用いて前記画像データの補正に用いる制御データを出力する工程と、
    前記画像データのうち前記遮光領域の画像データである遮光画像データと前記制御データとに基づいて補正用データを生成する工程と、
    前記画像データのうち前記受光領域の画像データである受光画像データを前記補正用データに従って補正する工程と、
    を含むことを特徴とする信号処理装置の制御方法。
17. 請求項１６に記載の信号処理装置の制御方法の各工程をコンピュータに実行させるためのプログラム。

Images