JP7418497B2 - 画像キャプチャデバイス部品における経時的な光学的変化の補償 - Google Patents

Description

本開示は、概して画像処理の分野に関する。限定を意図しないが、より具体的には、カメラモジュールの光学部品及び／又は電子デバイスの他の部品における経時的な光学的変化による色補償のための技術に関する。

カメラモジュール、例えば、携帯電話内又は他のパーソナル電子デバイス内のカメラモジュールの内部の光学部品は、様々なレンズ、赤外線（ＩＲ）遮断フィルタ、反射防止コーティング及びカラーフィルタ配列（ＣＦＡ）などを含む場合がある。そのような部品は、太陽光放射、高湿度及び／又は高温に対する曝露による光学的変化を経時的に経験する可能性がある。結果として、これらの部品は、それらの初期のスペクトル透過率、スペクトル放射率（又は他の光学特性）における偏倚（deviation）を経験する場合があり、このことは、カメラモジュールの総色応答（total color response）に影響を及ぼす場合がある。

場合によっては、１つ以上のカメラ色較正値、すなわち、モジュールが製造されたときに測定された較正値を、工場較正時にカメラモジュールのメモリに記憶する場合がある。しかし、ある時点で、例えば、カメラの様々な光学部品で経時的に経験され得る前述した光学的変化により、これらの色較正値は、例えば、カメラモジュールが、長年にわたって実世界の環境条件でそれらのモバイルデバイスの内部で顧客によって使用されると、好ましい場合よりも写実性が低い画像をもたらす可能性があり、これらの変化を調整することが望ましい場合がある。

よって、カメラモジュールの光学素子又は電子デバイスの他の部品で経時的に経験された予測された光学的変化の改善された時変（time－varying）補償をもたらす方法及びシステムが必要とされている。

デバイス、方法及び非一時的なプログラム記憶デバイス（ＮＰＳＤ）が、カメラモジュールの色較正値のソフトウェアベースの改善された時変色補正をもたらすために本明細書に開示される。いくつかの実施形態によれば、メモリと、１つ以上の画像キャプチャデバイスと、メモリに動作可能に結合された１つ以上のプロセッサとを備える、デバイスが提供され、１つ以上のプロセッサが、命令を実行するように構成されており、命令が、１つ以上のプロセッサに、１つ以上の画像キャプチャデバイスのうちの第１の画像キャプチャデバイスの第１の部品に対する時変カラーモデルであって、第１の部品における光学的変化を補償するために、第１の画像キャプチャデバイスに経時的に適用する色較正の量をモデル化するように構成された時変カラーモデルを取得させ、第１の時間に第１の画像キャプチャデバイスによってキャプチャされた第１の画像を取得させ、時変カラーモデル及び第１の時間に従って第１の画像を色補正させる。

例えば、色補正は、カメラモジュールの赤色（Ｒ）、緑色（Ｇ）若しくは青色（Ｂ）の応答などの１つ以上の色成分測定値、及び／又は第１の画像キャプチャデバイスを較正するために使用される１つ以上の所定の白色点の色成分測定値の組み合わせ若しくは比率（例えば、Ｒ／Ｇ比及びＢ／Ｇ比）を調整することにより、時変カラーモデルに従って適用することができる。他の場合では、カメラモジュールは、１つ以上の特定の波長の光に関する所与の部品のスペクトル透過能（及び／又は、例えば、カメラ部品ではなく、ディスプレイ部品の場合に、後述するようにスペクトル放射能が補償される）に基づいて、工場較正時に較正することができる。言い換えれば、特定のデバイス製造業者が工場較正時にそのカメラ（又はディスプレイ）モジュールの色較正を実施するために使用するいかなるパラメータも、特定の環境条件に対する曝露による、それらの経時的な光学的変化をモデル化し、次いで経時的に補償することができる。

いくつかの実施形態によれば、第１の部品は、レンズ、赤外線（ＩＲ）遮断フィルタ、反射防止コーティング又はカラーフィルタ配列（ＣＦＡ）など、第１の画像キャプチャデバイスの光学部品を含む。

他の実施形態によれば、時変カラーモデルによってモデル化された光学的変化は、太陽光放射に対する第１の部品の曝露、湿度に対する第１の部品の曝露、又は熱に対する第１の部品の曝露のうちの１つ以上によって生じる。いくつかの例では、時変カラーモデルによってモデル化された光学的変化は、スペクトル透過率又は色応答のうちの１つ以上の工場較正値における偏倚を含む。いくつかの実施形態では、時変カラーモデルによって適用される色較正補償の量は、所定の最大値（例えば、２％、３％など）に制限されている場合があり、そのような所定の最大値は、カメラモジュールの寿命にわたる最大補償値であることができ、又は代わりに、第１の画像キャプチャデバイスの初期の工場較正に続く所定の期間毎の所定の最大補償値（例えば、２年毎に適用される最大２％の追加の補償、３年毎に適用される最大３％の追加の補償など）であることができる。

他の実施形態では、時変カラーモデルは、カメラモジュールを収容するデバイスの１つ以上のセンサ（例えば、温度計、ＧＰＳ、高度計、周囲光センサ）及び／又はデバイス上で実行される１つ以上のアプリケーションからの入力データによって精密化することができ、入力データは、デバイスの位置、デバイスの周囲環境の温度、デバイスの周囲環境の湿度レベル、又はデバイスの周囲環境の光レベルのうちの１つ以上を含むことができる。場合によっては、使用される時変カラーモデルは、１つ以上のセンサ又はデバイス上で実行されるアプリケーションから受信された入力データに少なくとも部分的に基づいて、複数の候補時変カラーモデルから選択することができる。

また他の実施形態によれば、時変カラーモデルは、デバイスによって経時的に経験された１つ以上の環境要因と、第１の画像キャプチャデバイスの第１の部品に対して生じる（例えば、特定の波長の光の透過率、放射能などに関する）対応する光学的変化の量との間の相関関係を学習するように訓練された機械学習（ＭＬ）モデルを備えることができる。他の場合では、時変カラーモデルは単に、デバイスによって経時的に経験された１つ以上の環境要因と、第１の画像キャプチャデバイスの第１の部品に対して生じる対応する光学的変化の量とを相関させるように構成された（例えば、線形、多項式、指数、区分的に定義されるなどの）関数を備えることができる。

また他の実施形態によれば、１つ以上のプロセッサは、（例えば、ディスプレイ部品に関連する第２のモデルが、第１の画像キャプチャデバイスの第１の部品に対する上述した第１の時変カラーモデルに加えて又は代わりに使用される状態で）電子デバイスのディスプレイの第２の部品に対する第２の時変カラーモデルであって、第２の部品の色を補償するために、ディスプレイに表示される画像に経時的に適用する色較正の量をモデル化するように構成された第２の時変カラーモデルを取得し、第２の時間にデバイスのディスプレイに表示するための第２の画像を取得し、第２の時変カラーモデル及び第２の時間に従って第２の画像を色補正し、色補正された第２の画像をディスプレイに表示する、ように更に構成されている。

様々な非一時的なプログラム記憶デバイス（ＮＰＳＤ）の実施形態も本明細書に開示される。そのようなＮＰＳＤは、１つ以上のプロセッサによって読み取り可能である。命令は、１つ以上のプロセッサに本明細書に開示される実施形態のいずれかを実施させるために、ＮＰＳＤに記憶することができる。本明細書に開示されるデバイス及びＮＰＳＤの実施形態による様々な画像処理方法も本明細書に開示される。

１つ以上の実施形態による、光の波長に対してプロットされる画像キャプチャデバイスの光学素子のスペクトル透過率のグラフを示す。

１つ以上の実施形態による、時間に対してプロットされる画像キャプチャデバイスの光学素子の色較正デルタのグラフを示す。

１つ以上の実施形態による、時間に対してプロットされる画像キャプチャデバイスの光学素子における光学的変化の補償を伴う色較正デルタ及び補償を伴わない色較正デルタの別のグラフを示す。

様々な実施形態による、カメラ色較正を実施する方法を示すフローチャートである。

様々な実施形態による、ディスプレイの色較正を実施する方法を示すフローチャートである。

本明細書に開示される技術の１つ以上が実装され得るプログラム可能な電子コンピューティングデバイスを示すブロック図である。

以下の記載では、説明を目的として、本明細書に開示された発明に対する理解を深めるために、多くの具体的な詳細を説明している。しかし、本発明は、これらの具体的な詳細を伴わずとも実践することができる点が、当業者には明らかとなるであろう。その他の場合において、本発明を不明瞭にしないために、構造体及びデバイスはブロック図の形態で示されている。添え字又は接尾辞なしの番号の参照は、参照番号に対応する添え字及び接尾辞の全ての場合を参照するものと理解される。更に、本開示に使用される言語は、主に、読み易さ及び説明の目的のために選択されたもので、発明の要旨を線引き又は制限するために選択されたものではなく、このような本発明の要旨を判断するためには特許請求の範囲に依存する必要があり得る。本明細書において「一実施形態」又は「一実施形態」（又は同様のもの）を参照することは、実施形態に関して述べる特定の特徴、構造又は特性が本発明のうちの１つの少なくとも一実施形態に含まれることを意味し、そして「一実施形態」又は「一実施形態」を何度も参照することは、必ずしも全てが同じ実施形態を参照すると理解してはならない。

上述したように、本明細書に開示される技術は、例えば、（例えば、典型的に数年の期間にわたる）一定時間の通常使用及び環境条件に対する曝露の後に顧客のモバイルカメラデバイスによって経験され得る色変化を補償するために、カメラモジュールの色較正値の改善されたソフトウェアベースの時変色補正を提供する。そのような色変化は、例えば、レンズ、ＩＲ遮断フィルタ、反射防止コーティング、ＣＦＡなど、カメラモジュールの１つ以上の光学部品の特性にある程度の変化をいずれも誘発し得る、太陽光放射、高温条件及び／又は高湿度条件のうちの１つ以上の組合せに対する曝露によって生じる場合がある。例えば、紫外線（ＵＶ）放射は、カメラレンズのプラスチック部品を経時的に損傷させ、より著しい青色成分をレンズに持たせることによって、カメラモジュールによって撮影された画像の色に影響を与える場合がある。

様々な環境ストレスに対する曝露の結果として、特定のカメラモジュール部品（及び／又は光学素子を有する他のデバイス部品）は、図１に関して以下でより詳細に記載するように、カメラモジュールの総色応答に影響を及ぼし得る、それらのスペクトル透過率の変化を経験する場合がある。そのような部品の光学特性の変化により、例えば、工場較正時に測定されるような、カメラモジュールのメモリに記憶されたカメラ色較正値の継続的な使用は、実世界環境での顧客による一定の使用期間後に好まれ得るよりも写実性が低いキャプチャされた画像をもたらす場合がある。よって、これらの予測された影響を正確にモデル化し、経時的に補償できることが望ましいであろう。これは、色較正値の誤差が３％よりも大きくなると、キャプチャされた（又は表示された）画像に写実性がより低い色が生じていると顧客によって知覚可能となる場合があるためである。

経時的な環境ストレスによる画像キャプチャデバイスの部品における例示的な光学的変化

ここで図１を参照すると、１つ以上の実施形態による、光の波長に対してプロットされる画像キャプチャデバイスの光学素子のスペクトル透過率のグラフ１００が示されている。グラフ１００のｙ軸１０５に沿うのは、グラフ１００にプロットされる例示的な光学素子のスペクトル透過パーセンテージである。グラフ１００のｘ軸１１０に沿うのは、グラフ１００にプロットされる例示的な光学素子のスペクトル透過パーセンテージに対する（ナノメートルで測定される）光の波長である。図示するように、ｘ軸の左から右にわたって、光の波長は、可視青色光、可視緑色光及び可視赤色光に対応する。

破線１１５は、太陽光曝露前の例示的な光学素子のスペクトル応答を表している。実線１２０は、例示的な量のシミュレートされた太陽光曝露（例えば、２年間の通常のカメラ使用）後の例示的な光学素子のスペクトル応答を表している。グラフ１００に示すように、線１１５（すなわち、太陽光曝露前）を線１２０（すなわち、太陽光曝露後）と比較すると、可視光波長のスペクトルにわたって光学素子のスペクトル透過に視認可能な差がある。実際、２つの曲線の間の差（１２５）は、緑色（１３０）又は赤色（１３５）のいずれかの可視光に関連する波長にわたってよりも、青色光など、より短い波長にわたって顕著である。

スペクトル透過のこれらの経時的な変化の影響を光のスペクトルにわたって上手くモデル化することにより、例えば、そのような環境ストレスに対する曝露による、カメラモジュールの工場較正設定における予測された偏倚を経時的に補償するために、ソフトウェアベースの時変カラーモデルを開発することができる。理解されるように、モデルが生成された環境条件が、実世界での使用中にデバイスが遭遇する環境条件に厳密に一致するほど、又は環境条件を厳密に反映するほど、カメラモジュールの光学特性に対する現実の変化をより正確に補償することができる。しかし、ユーザのカメラモジュールが長年の使用にわたって曝露される正確な環境条件（また実際、カメラモジュールが顧客によって使用される年月にわたって、その光学部品において測定可能な光学的変化が本当に起きるかどうか）を正確に予測するのは困難であるため、（例えば、適用される補償の頻度及び／又は程度の両方に関して）カメラモジュールの色較正値に対するより保守的な補償アプローチを実施することは、カメラモジュールが可能な限り長年のカメラモジュールの使用にわたって色精度の許容閾値内（３％の誤差内）に留まることを確実にするのに役立てることができる。保守的なアプローチは、例えば、カメラモジュールがモデルによって予測されたほど多くの（又は極端な）環境条件に曝露されない場合、及び／又はモデル化されたよりも実際には少ない量の光学的変化がカメラモジュールの部品において経時的に起きる場合に、モデルがカメラの色較正を「過度に補償する」ことがないことを確実にするのに役立てることもできる。

ここで図２を参照すると、１つ以上の実施形態による、時間に対してプロットされる画像キャプチャデバイスの光学素子の色較正デルタ（すなわち、必要とされる色較正値の差）のグラフ２００が示されている。グラフ２００のｙ軸２０５に沿うのは、グラフ２００にプロットされる例示的な光学素子の色較正デルタパーセンテージ、すなわち、それによって、「工場」色較正値が、例えば、様々な光学部品の光学特性の変化に基づいて、それらの初期値から経時的に偏倚している量である。ｙ軸に沿った色較正デルタの測定単位としての「パーセンテージ」の使用は単なる例示であり、任意の所望のタイプの測定単位を使用できることを理解されたい。グラフ２００のｘ軸２１０に沿うのは、２つの例示的な部品、すなわち、ユニット１（２１５）及びユニット２（２２０）の１０個のサンプルの（部品使用の「シミュレートされた」年数で測定される）時間であり、それらの色再現能力の変化がグラフ２００にプロットされる。図示するように、ｘ軸の左から右にわたって、初期時間（Ｔ＝０年）では、ユニット１（２１５）の１０個のサンプル又はユニット２（２２０）の１０個のサンプルのいずれも、追加の色較正を必要としない（すなわち、それらの色較正デルタパーセンテージは０％である）。しかし、シミュレートされた１年の環境ストレス（Ｔ＝１年）の経過後、ユニット１（２１５）の１０個のサンプルは、初期の工場較正値から０～０．５％の追加の色較正の必要性を示し始めているが、ユニット２（２２０）の１０個のサンプルは、初期の工場較正値から０．５～０．８％の追加の色較正の必要性を示し始めている。シミュレートされた２年の環境ストレス（Ｔ＝２年）の経過後、ユニット１（２１５）の１０個のサンプルは、安定化したようであり、初期の工場較正値から０～０．５％の追加の色較正を必要とし続けるが、ユニット２（２２０）の１０個のサンプルは、明らかに偏倚し続けており、初期の工場較正値から０．８～１．２％の追加の色較正の必要性を示している。

回帰直線２２５及び２３０は、各個別のユニットの色再現能力の予測された変化による経時的に必要とされる色較正の追加量をモデル化するために、各ユニットの最良適合関数を決定できることを示す。図２に示すように、（ユニット１ ２１５の）回帰直線２２５及び（ユニット２ ２２０の）回帰直線２３０は、例えば、最小二乗回帰直線（ＬＳＲＬ）又は他の形式の最良適合を表す、傾き及び偏差を有する単純な線形関数としてモデル化することができる。一例では、例示的なユニット２ ２２０の最良適合のモデル線を、以下の式を使用して与えることができる。
ＣＡＬ＿ＤＥＬＴＡ（Ｔ）＝ＣＡＬ＿ＤＥＬＴＡ（Ｔ０）＋０．５＊Ｔ （式１）
式中、ＣＡＬ＿ＤＥＬＴＡ（Ｔ）は、時間Ｔ（年）でカメラモジュールに適用される色較正デルタパーセンテージであり、ＣＡＬ＿ＤＥＬＴＡ（Ｔ０）は、時間Ｔ＝０年で必要とされる初期の色較正デルタパーセンテージ（工場較正の直後かつ使用の直前に追加の色較正デルタが必要とされないことを想定して、０となる）であり、Ｔは、カメラ部品の現在の年齢（年）である。言い換えれば、例示的な式１では、カメラ部品が使用される経過年毎に、０．５％の追加の色較正デルタが適用される。

上述したように、この式１は、式１の評価が、特定の年数の後に所定の最大値よりも大きな計算値をもたらす場合でも、例えば、（破線２３５で示すような）２％、３％又は１％などを超える色較正デルタを適用せずに、いくらかの所定の最大値にすることもできる。同様に、色較正デルタがパーセンテージとは異なる測定単位で測定される場合、所定の最大値も適切な測定単位で規定することができる。所定の最大量の色較正を用いることにより、例えば、カメラモジュールが、実際にはカメラモジュールの寿命にわたる環境条件による予測された量の光学的変化を受けていない場合に、モデル適用の補償による色誤差を顧客が視認しないことを確実にすることができる。しかし、予測された量の（又はそれよりも多くの）光学的変化がカメラモジュールに起きる場合、色誤差を防ぐために、所定の最大量に補正量を制限することが依然として有用であろう。

他のタイプの関数、例えば、多項式関数、指数関数、又は区分的に定義された関数を使用して、所与のタイプのユニットによって経時的に必要とされる追加の色較正デルタの量をモデル化できることを理解されたい。次いで、決定された時変カラーモデルは、カメラモジュールのメモリ又はこのカメラモジュールが埋め込まれた電子デバイスのメモリに（例えば、ソフトウェア又はファームウェアで）記憶することができ、それにより、カメラが顧客によって実世界で使用されるときに、各個別のユニットにおける予測された量の光学的変化を補正するために経時的に適用することができる。

他の実施形態では、時変カラーモデルは、デバイスが経時的に経験した１つ以上の環境要因と、画像キャプチャデバイスの部品が経験する対応する光学的変化の量との相関関係を学習するように訓練されたＭＬモデルを備えることができる。例えば、訓練されたＭＬモデルを使用して、（例えば、周囲光センサ及び／又はカメラが埋め込まれたデバイス上で実行される天候アプリケーションから取得された情報に基づいて、）太陽光放射に対するリアルタイムに予測された曝露を、カメラモジュールが必要とし得る量の追加の色較正補償の量に相関させることができる。別の例では、主成分分析（ＰＣＡ）を使用して、デバイスによって必要とされる色較正デルタに対する各環境要因（例えば、温度、湿度など）の相対的な重要度を決定することができる。加えて、周囲温度、放射に対する曝露、湿度レベルなどに関するセンサによって収集される全てのデータと共に、（色較正特性を経時的に定期測定することができる）カメラ製品の開発段階中に実世界の状況でテストされる現実のデバイスからのデータにより、ニューラルネットワークを訓練することができる。ＭＬモデルは、画像キャプチャデバイスの光学部品の経時的な変化のより正確かつ／又はより細かな予測を提供するのに役立てることができる。例えば、例えば４５℃と５０℃との間の平均周囲温度条件の５度のずれが、例えば、２５℃と３０℃との間の平均周囲温度条件の５度の同等のずれよりも色再現能力にはるかに大きな経時的な影響を有することをモデルの訓練中に決定することができる。そのような微妙な違いは、より単純なモデルでは取り込むことができない場合があり、例えば、平均周囲温度の５度の任意の増加を想定するモデルは、デバイス部品の性能に対する同等の影響を有するであろう。場合によっては、２つ以上のＭＬモデル、例えば、特定の部品の、かつ／又は特定の環境条件による光学的変化の量を予測するように訓練された各モデルの出力を、カメラモジュールの色性能の変化の全体量を予測するように、拡大解釈すれば、キャプチャされた画像において経時的に経験され得る色再現性の任意の望ましくない偏倚を低減するために、カメラモジュールに適用する追加の色補償の量を予測するように重ね合わせることができる。

また他の実施形態では、所与のカメラモジュールに使用される最終的な時変カラーモデルは、異なる環境ストレステストから得られた異なる補正を重ね合わせることができる。例えば、太陽光曝露の特徴付けられた補正を、高温及び／又は高湿度の環境条件の特徴付けられた別の補正に追加することができる。加えて、カメラモジュールを収容するモバイルデバイスに埋め込まれたセンサ（例えば、位置センサ、ＧＰＳ、温度センサ、高度計、湿度センサ、周囲光センサなど）からの情報を使用して、適用される補正の量を微調整及び精密化することができる。場合によっては、１つ以上のタイプのセンサ、例えば位置センサ、及び時計アプリケーションを使用して、すなわち、カメラモジュールの周囲環境でのそのような環境条件の現在推定値を導出するために地球上でのモバイルデバイスの現在位置及び時刻（及び年）を使用して、周囲温度及び／又は湿度レベルの推定値を提供することができる。

ここで図３を参照すると、１つ以上の実施形態による、時間に対してプロットされる画像キャプチャデバイスの例示的な光学部品における光学的変化の補償を伴う色較正デルタ及び補償を伴わない色較正デルタの別のグラフ３００が示されている。グラフ３００のｙ軸３０５に沿うのは、グラフ３００にプロットされる例示的なカメラモジュールの色較正デルタパーセンテージ、すなわち、「工場」色較正値が、画像キャプチャデバイスの様々な光学部品における光学的変化に基づいて、初期値から経時的に偏倚している量である。再び、任意の所望の測定単位を使用して、部品によって必要とされる色較正デルタをモデル化することができる。グラフ３００のｘ軸３１０に沿うのは、２つの例示的なカメラモジュール、すなわち、例えば、時変カラーモデル（３２０）による、追加の色較正補償が経時的に適用されていないカメラモジュール（３１５）と、追加の色較正補償が経時的に適用されているカメラモジュールとの（部品使用のシミュレートされた年数で測定される）時間であり、それらの色再現における偏倚がグラフ３００にプロットされる。図３に示すように、時変カラーモデルを使用して追加の補償を適用することは、例示的な３％の視認可能性閾値（破線３３０を参照）の下で、例示的な未補正カメラモジュール３１５（５年の使用マーク付近で例示的な３％の視認可能性閾値を超える）よりも長い（すなわち、グラフ３００に示す６年間よりも少なくとも長い）時間にわたってカメラモジュール３２０の色較正デルタを維持するのに役立つ。線３２５は、カメラモジュール３２０に年毎に適用される、すなわち、この例示的なシナリオで使用される時変カラーモデルによる、色補正デルタパーセンテージの量を表している。

カメラ色較正を実施する例示的な方法

図４Ａは、様々な実施形態によるカメラ色較正を実施する方法４００を示すフローチャートである。まず、ステップ４０２にて、方法４００は、１つ以上の画像キャプチャデバイスのうちの第１の画像キャプチャデバイスの第１の部品に対する時変カラーモデルであって、第１の部品における光学的変化を補償するために、第１の画像キャプチャデバイスに経時的に適用する色較正の量をモデル化するように構成された時変カラーモデルを取得することができる。上述したように、場合によっては、時変カラーモデルによってモデル化された光学的変化は、太陽光放射に対する第１の部品の曝露、湿度に対する第１の部品の曝露、又は熱に対する第１の部品の曝露のうちの１つ以上によって生じている（ステップ４０４）。場合によっては、最終的な時変カラーモデルは、互いに重ね合わされた（又は組み合わされた）２つ以上の異なるモデル化された部品を含むことができる。他の場合では、最終的な時変カラーモデルは、センサ又はデバイス上で実行される１つ以上のアプリケーションから受信された入力データに少なくとも部分的に基づいて、複数の候補時変カラーモデルから選択することができる。例えば、画像キャプチャデバイスがその寿命にわたって主に暑い環境で使用される場合、「高温」モデルを選択することができる。また他の場合では、時変カラーモデルによって適用された色較正の量を所定の最大値に制限されている場合がある（ステップ４０６）。例えば、所定の最大値は、カメラモジュールの寿命にわたる最大補正値、又は代わりに、第１の画像キャプチャデバイスの初期の工場較正に続く所定の期間毎の所定の最大値（例えば、２年毎に適用される最大２％の追加の補償、３年毎に適用される最大３％の追加の補償など）のいずれかであることができる。また他の場合では、時変カラーモデルは、カメラモジュールを収容する電子デバイスの１つ以上のセンサ又はアプリケーションからの入力データによって精密化することができる（ステップ４０８）。例えば、時変カラーモデルは、温度計、ＧＰＳ、高度計、周囲光センサなど、カメラモジュールを収容するデバイスの１つ以上のセンサからの入力データによって精密化することができる。同様に、時変カラーモデルは、天候アプリケーション、地図アプリケーション、時計アプリケーションなど、デバイス上で実行される１つ以上のアプリケーションからの入力データによって精密化することができる。時変カラーモデルを精密化するために使用される入力データは、デバイスの位置、デバイスの周囲環境の温度、デバイスの周囲環境の湿度レベル、又はデバイスの周囲環境の光レベルのうちの１つ以上を含むことができる。例えば、高温又は高湿度の環境で使用されるデバイスのライフスパンが長いほど、高温又は高湿度の環境で使用されるライフスパンが短いデバイスに対するよりも、その色補償補正をより積極的に（又はデバイスのライフスパンのより早期に）適用するようにモデルを精密化することができる。

次に、ステップ４１０にて、方法４００は、第１の時間に第１の画像キャプチャデバイスによってキャプチャされた第１の画像を取得することができる。最後に、ステップ４１２にて、方法４００は、時変カラーモデル及び第１の時間に従って第１の画像を色補正することができる。この補正は、生の画像データ、処理された画像データに適用することができ、又は、必要であれば、画像が表示されるか又は他のユーザに送信される任意の時間に追加の補償を適用できるように、（例えば、標準的な国際色彩コンソーシアウム（ＩＣＣ）プロファイルとして）画像のメタデータの何処かに記憶することができる。

図４Ｂは、様々な実施形態によるディスプレイの色較正を実施する方法４５０を示すフローチャートである。方法４５０は、時変カラーモデルを使用して部品における光学的変化が経時的に補償され得る、別のタイプの部品（すなわち、電子デバイスの表示画面の部品又は層）の単なる例示である。方法４５０は、方法４００と併せて（又は別途に）実施することができる。まず、ステップ４５２にて、方法４５０は、ディスプレイの第２の部品に対する第２の時変カラーモデルであって、第２の部品における光学的変化を補償するために、ディスプレイに表示される画像に経時的に適用する色較正の量をモデル化するように構成された第２の時変カラーモデルを取得することができる。

上述したように、場合によっては、第２の時変カラーモデルによってモデル化された光学的変化は、太陽光放射に対する第２の部品の曝露、湿度に対する第２の部品の曝露、又は熱に対する第２の部品の曝露のうちの１つ以上によって生じている（ステップ４５４）。いくつかのそのような場合では、最終的な第２の時変カラーモデルは、互いに重ね合わされた（又は組み合わされた）２つ以上の異なるモデル化された部品、例えば、ディスプレイデバイスの２つの異なる層部品の経時的にモデル化される光学的変化を含むことができる。他の場合では、時変カラーモデルによって適用された色較正の量を所定の最大値に制限されている場合がある（ステップ４５６）。例えば、所定の最大値は、カメラモジュールの寿命にわたる最大補正値であることができ、又は代わりに、第１の画像キャプチャデバイスの初期の工場較正に続く所定の期間毎の所定の最大値（例えば、２年毎に適用される最大２％の追加の補償、３年毎に適用される最大３％の追加の補償など）のいずれかであることができる。また他の場合では、第２の時変カラーモデルは、ステップ４０８について上述したように、ディスプレイを有する電子デバイスの１つ以上のセンサ又はアプリケーションからの入力データによって精密化することができる（ステップ４５８）。

次に、ステップ４６０にて、方法４５０は、（例えば、キャプチャされた画像、ディスプレイに表示されるメディアファイルからの画像、又は単にデバイス上で実行されるオペレーティングシステムによって表示のために送信されるフレームバッファから）第２の時間にデバイスのディスプレイに表示するための第２の画像を取得することができる。ステップ４６２にて、方法４５０は、第２の時変カラーモデル及び第２の時間に従って第２の画像を色補正することができる。例えば、ディスプレイは、第２の時変カラーモデルに従って、表示される画像に関する１つ以上の色成分を調整することによって色補正することができる。最後に、ステップ４６４にて、方法４５０は、色補正された第２の画像をディスプレイに表示することができる。

例示的な電子コンピューティングデバイス

ここで図５を参照すると、一実施形態による、例示的なプログラム可能な電子コンピューティングデバイス５００の簡略化された機能ブロック図が示されている。電子デバイス５００は、例えば、携帯電話、パーソナルメディアデバイス、携帯型カメラ、又はタブレット、ノートブック若しくはデスクトップコンピュータシステムであることができる。図示するように、電子デバイス５００は、プロセッサ５０５、ディスプレイ５１０、ユーザインタフェース５１５、グラフィックハードウェア５２０、デバイスセンサ５２５（例えば、近接センサ／周囲光センサ、加速度計、慣性測定ユニット、及び／又はジャイロスコープ）、マイクロフォン５３０、オーディオコーデック５３５、スピーカ５４０、通信回路５４５、例えば、異なる特徴又は能力を有する複数のカメラユニット／光学画像センサ（例えば、静止画像安定化（ＳＩＳ）、ＨＤＲ、ＯＩＳシステム、光学ズーム、デジタルズームなど）を備え得る、画像キャプチャデバイス５５０、ビデオコーデック５５５、メモリ５６０、記憶装置５６５、通信バス５７０を含むことができる。

プロセッサ５０５は、電子デバイス５００によって実行される多数の機能の動作（例えば、本明細書に記載される様々な実施形態による画像の生成及び／又は処理など）を実行又は制御するのに必要な命令を実行することができる。プロセッサ５０５は、例えば、ディスプレイ５１０を駆動し、ユーザインタフェース５１５からユーザ入力を受信することができる。ユーザインタフェース５１５は、ボタン、キーパッド、ダイヤル、クリックホイール、キーボード、ディスプレイスクリーン及び／又はタッチスクリーンのような種々の形態をとることができる。ユーザインタフェース５１５は、例えば、ユーザがキャプチャされたビデオストリームを見ることができる導管であることができる、かつ／又は（例えば、所望の画像フレームがデバイスの表示画面に表示された瞬間に物理的又は仮想的なボタンをクリックすることによって）ユーザがキャプチャしたい特定の画像フレームを示すことができる。一実施形態では、ディスプレイ５１０は、プロセッサ５０５及び／又はグラフィックハードウェア５２０及び／又は画像キャプチャ回路が、メモリ５６０及び／又は記憶装置５６５においてビデオストリームを同時生成及び記憶する間にビデオストリームがキャプチャされていると、ビデオストリームを表示することができる。プロセッサ５０５は、例えば、モバイルデバイスに見られるようなシステムオンチップ（ＳＯＣ）であることができ、１つ以上の専用グラフィック処理ユニット（ＧＰＵ）を含むことができる。

プロセッサ５０５は、縮小命令セットコンピュータ（ＲＩＳＣ）若しくは複合命令セットコンピュータ（ＣＩＳＣ）アーキテクチャ、又は任意の他の好適なアーキテクチャに基づくことができ、１つ以上の処理コアを含むことができる。グラフィックハードウェア５２０は、グラフィックを処理するための、かつ／又はプロセッサ５０５を支援して演算タスクを実施するための、専用の計算ハードウェアであることができる。一実施形態では、グラフィックハードウェア５２０は、１つ以上のプログラム可能なグラフィック処理ユニット（ＧＰＵ）及び／又は１つ以上の特殊なＳＯＣ、例えば、Ａｐｐｌｅのニューラルエンジン処理コアなど、メインデバイスの中央処理ユニット（ＣＰＵ）又は典型的なＧＰＵのいずれかよりもエネルギー効率的な様式でニューラルネットワーク及び機械学習演算（畳み込み）を実現するように特別に設計されたＳＯＣを含むことができる。

画像キャプチャデバイス５５０は、画像を、例えば本開示により、キャプチャされた画像の色補正バージョンを生成するために処理され得る画像を、キャプチャするように構成された１つ以上のカメラモジュールユニットを備えることができる。画像キャプチャデバイス５５０からの出力は、少なくとも部分的に、ビデオコーデック５５５及び／若しくはプロセッサ５０５及び／若しくはグラフィックハードウェア５２０、並びに／又は画像キャプチャデバイス５５０内に組み込まれた専用の画像処理ユニット若しくは画像信号プロセッサによって処理することができる。そのようにキャプチャされた画像は、メモリ５６０及び／又は記憶装置５６５に記憶され得る。メモリ５６０は、デバイスの機能を実行するためにプロセッサ５０５、グラフィックハードウェア５２０及び画像キャプチャデバイス５５０により使用される１つ以上の異なるタイプの媒体を含むことができる。例えば、メモリ５６０は、メモリキャッシュ、リードオンリメモリ（ＲＯＭ）、及び／又はランダムアクセスメモリ（ＲＡＭ）を含むことができる。記憶装置５６５は、メディア（例えば、オーディオファイル、画像ファイル、及びビデオファイル）、コンピュータプログラム命令又はソフトウェア、プリファレンス情報、デバイスプロファイル情報、並びに任意の他の好適なデータを記憶することができる。記憶装置５６５には、例えば、（固定、フロッピー、及び取り外し可能な）磁気ディスク及びテープ、ＣＤ－ＲＯＭ及びデジタルビデオディスク（ＤＶＤ）などの光学的媒体、並びに電気的にプログラム可能なリードオンリメモリ（ＥＰＲＯＭ）及び電気的に消去可能なプログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）などの半導体メモリデバイスを含む、１つ以上の永続的記憶媒体を含むことができる。メモリ５６０及び記憶装置５６５は、１つ以上のモジュールに編成され、かつ任意の所望のコンピュータプログラミング言語で書かれた、コンピュータプログラム命令又はコードを保持するために使用することができる。例えば、プロセッサ５０５によって実行されるとき、そのようなコンピュータプログラムコードは、本明細書中に記載される方法又はプロセスのうちの１つ以上を実行することができる。電源５７５は、電子デバイス５００の電子部品及び関連回路への電力を管理及び／又は提供するために使用される、充電式バッテリ（例えば、リチウムイオン電池など）又は電源、例えば主電源への他の電気接続を備えることができる。

以上の説明は、例示にすぎず、限定的なものでないことも理解されたい。例えば、上述した実施形態は、互いに組み合わせて使用することができる。当業者が以上の説明を検討すれば、多数の他の実施形態が明らかとなるであろう。したがって、本発明の範囲は、添付の特許請求の範囲を参照にし、そして、そのような特許請求の範囲に対して与えられる均等物の全範囲も併せて判断されなければならない。

Claims (20)

1. メモリと、
   １つ以上の画像キャプチャデバイスと、
   前記メモリに動作可能に結合された１つ以上のプロセッサと、を備える、デバイスであって、前記１つ以上のプロセッサが、命令を実行するように構成されており、前記命令が、前記１つ以上のプロセッサに、
   前記１つ以上の画像キャプチャデバイスのうちの第１の画像キャプチャデバイスの第１の部品に対する時変カラーモデルであって、前記第１の部品における光学的変化を補償するために、前記第１の画像キャプチャデバイスに経時的に適用する色較正の量をモデル化するように構成された時変カラーモデルを取得させ、前記時変カラーモデルは前記第１の部品における光学的変化の量を予測するように訓練された機械学習（ＭＬ）モデルを含み、
   第１の時間に前記第１の画像キャプチャデバイスによってキャプチャされた第１の画像を取得させ、
   前記時変カラーモデル及び前記第１の時間に従って前記第１の画像を色補正させる、デバイス。
2. 前記第１の部品が、前記第１の画像キャプチャデバイスの光学部品を含む、請求項１に記載のデバイス。
3. 前記光学部品が、レンズ、赤外線（ＩＲ）遮断フィルタ、反射防止コーティング又はカラーフィルタ配列（ＣＦＡ）のうちの少なくとも１つを含む、請求項２に記載のデバイス。
4. 前記時変カラーモデルによってモデル化された前記光学的変化が、太陽光放射に対する前記第１の部品の曝露、湿度に対する前記第１の部品の曝露、又は熱に対する前記第１の部品の曝露のうちの１つ以上によって生じている、請求項１に記載のデバイス。
5. 前記時変カラーモデルによってモデル化された前記光学的変化が、スペクトル透過率又は総色応答のうちの１つ以上の工場較正値における偏倚を含む、請求項１に記載のデバイス。
6. 前記時変カラーモデルによって適用された前記色較正の量が、所定の最大値に制限されている、請求項１に記載のデバイス。
7. 前記所定の最大値が、初期の工場較正値からの２％の偏倚を含む、請求項６に記載のデバイス。
8. 前記時変カラーモデルによって適用された前記色較正の量が、前記第１の画像キャプチャデバイスの初期の工場較正に続く所定の期間毎に所定の最大値に制限されている、請求項１に記載のデバイス。
9. 前記時変カラーモデルが、前記デバイスの１つ以上のセンサからの入力データによって精密化されている、請求項１に記載のデバイス。
10. 前記入力データが、前記デバイスの位置、前記デバイスの周囲環境の温度、前記デバイスの周囲環境の湿度レベル、又は前記デバイスの周囲環境の光レベルのうちの１つ以上を含む、請求項９に記載のデバイス。
11. 前記時変カラーモデルが、前記デバイスの１つ以上のセンサからの入力データに少なくとも部分的に基づいて、複数の候補時変カラーモデルから取得するために選択されている、請求項１に記載のデバイス。
12. 前記時変カラーモデルが、前記デバイス上で実行される１つ以上のアプリケーションからの入力データによって精密化されている、請求項１に記載のデバイス。
13. 前記時変カラーモデルが、前記デバイス上で実行される前記１つ以上のアプリケーションからの入力データに少なくとも部分的に基づいて、複数の候補時変カラーモデルから取得するために選択されている、請求項１２に記載のデバイス。
14. 前記時変カラーモデルが、前記デバイスによって経時的に経験された１つ以上の環境要因と、前記第１の画像キャプチャデバイスの前記第１の部品における対応する光学的変化の量との間の相関関係を学習するように訓練された機械学習（ＭＬ）モデルを更に含む、請求項１に記載のデバイス。
15. 前記時変カラーモデルが、前記デバイスによって経時的に経験された１つ以上の環境要因と、前記第１の画像キャプチャデバイスの前記第１の部品における対応する光学的変化の量とを相関させるように構成された関数を更に含む、請求項１に記載のデバイス。
16. 前記関数が、線形関数、多項式関数、指数関数、又は区分的に定義された関数のうちの少なくとも１つを含む、請求項１５に記載のデバイス。
17. 前記１つ以上のプロセッサに、前記時変カラーモデル及び前記第１の時間に従って前記第１の画像を色補正させる前記命令が、前記１つ以上のプロセッサに、
    前記第１の画像キャプチャデバイスを較正するために使用される色成分測定値を調整させ、又は
    前記第１の画像キャプチャデバイスを較正するために使用される色成分測定値の比率を調整させる、命令を更に含む、請求項１に記載のデバイス。
18. ディスプレイを更に備え、前記命令が、前記１つ以上のプロセッサに、
    前記ディスプレイの第２の部品に対する第２の時変カラーモデルであって、前記第２の部品における光学的変化を補償するために、前記ディスプレイに表示される画像に経時的に適用する色較正の量をモデル化するように構成された第２の時変カラーモデルを取得させ、
    第２の時間に前記デバイスの前記ディスプレイに表示するための第２の画像を取得させ、
    前記第２の時変カラーモデル及び前記第２の時間に従って前記第２の画像を色補正させ、
    前記色補正された第２の画像を前記ディスプレイに表示させる命令を更に含む、請求項１に記載のデバイス。
19. 非一時的なコンピュータ読み取り可能な媒体であって、前記媒体が、
    電子デバイスの１つ以上の画像キャプチャデバイスのうちの第１の画像キャプチャデバイスの第１の部品に対する時変カラーモデルであって、前記第１の部品における光学的変化を補償するために、前記第１の画像キャプチャデバイスに経時的に適用する色較正の量をモデル化するように構成された時変カラーモデルを取得し、前記時変カラーモデルは前記第１の部品における光学的変化の量を予測するように訓練された機械学習（ＭＬ）モデルを含み、
    第１の時間に前記第１の画像キャプチャデバイスによってキャプチャされた第１の画像を取得し、
    前記時変カラーモデル及び前記第１の時間に従って前記第１の画像を色補正する、１つ以上のプロセッサによって実行可能なコンピュータ読み取り可能な命令を含む、
    非一時的なコンピュータ読み取り可能な媒体。
20. 画像処理方法であって、
    電子デバイスの１つ以上の画像キャプチャデバイスのうちの第１の画像キャプチャデバイスの第１の部品に対する時変カラーモデルであって、前記第１の部品における光学的変化を補償するために、前記第１の画像キャプチャデバイスに経時的に適用する色較正の量をモデル化するように構成された時変カラーモデルを取得することであって、前記時変カラーモデルは前記第１の部品における光学的変化の量を予測するように訓練された機械学習（ＭＬ）モデルを含む、ことと、
    第１の時間に前記第１の画像キャプチャデバイスによってキャプチャされた第１の画像を取得することと、
    前記時変カラーモデル及び前記第１の時間に従って前記第１の画像を色補正することと、
    を含む方法。

Images