以下、本発明の実施形態について詳細に説明する。実施形態は、添付の図面に示されており、同一または同様の参照符号は、全体にわたって、同一または同様の構成要素、あるいは同一または同様の機能を有する構成要素として示されている。添付の図面を参照して以下に記載される実施形態は、例示的であり、単に本開示を例示するために使用され、本開示の限定として解釈されるべきではない。
本開示の説明において、「第1(first)」および「第2(second)」などの用語は、説明の目的のために本明細書で使用され、相対的な重要性もしくは重大性を示すもしくは暗示する、または示された技術的特徴の数を暗示することを意図するものではない。したがって、「第1」および「第2」によって定義された特徴は、この特徴のうちの1つ以上を含むことができる。本開示の説明において、「複数」とは、特に断りのない限り、2以上を意味する。
本開示の説明において、特に断りまたは制限のない限り、「取り付けられた(mounted)」、「接続された(connected)」、「結合された(coupled)」、「固定された(fixed)」などの用語が広く使用されており、例えば、特定の状況に応じて当業者によって理解することができる、固定接続、取り外し可能な接続、または一体接続とすることができ、機械的または電気的接続とすることもでき、直接接続または介在構造を介した間接接続とすることもでき、2つの要素の内部連通とすることもできることに留意されたい。
以下の開示は、本開示の異なる構造を実装するための多くの異なる実施形態または例を提供する。本開示を単純化するために、特定の例の構成要素および構成が以下に記載される。明らかに、それらは単なる例示であり、本開示を限定することを意図するものではない。さらに、参照符号および/または文字は、説明した実施形態および/または構成の間の関係を示すことなく、単純化および明確化の目的のために、本開示の異なる例において繰り返すことができる。さらに、本開示は、様々な特定のプロセスおよび材料の例を提供するが、当業者は、他のプロセスの利用可能性および/または他の材料の使用法を理解することができる。
本開示は、画像処理方法の複数の実施形態、制御方法の複数の実施形態、画像処理装置の複数の実施形態、制御装置の複数の実施形態、撮像装置の複数の実施形態、および電子機器の複数の実施形態を提供する。画像処理方法の複数の実施形態は、シーケンス番号、ならびに制御方法の複数の実施形態、画像処理装置の複数の実施形態、制御装置の複数の実施形態、撮像装置の複数の実施形態、および電子機器の複数の実施形態によって以下に説明される。画像処理方法の各実施形態は、制御方法の実施形態、画像処理装置の実施形態、制御装置の実施形態、撮像装置の実施形態、および電子機器の実施形態に対応する。例えば、画像処理方法の第1の実施形態は、制御方法の第1の実施形態、画像処理装置の第1の実施形態、制御装置の第1の実施形態、撮像装置の第1の実施形態、および電子機器の第1の実施形態に対応し、画像処理方法の第2の実施形態は、制御方法の第2の実施形態、画像処理装置の第2の実施形態、制御装置の第2の実施形態、撮像装置の第2の実施形態、および電子機器の第2の実施形態に対応する。
本開示は、画像処理方法に関する。画像処理方法は、以下のステップを含む:(a)第1の写真撮影パラメータに対応する第1の画像を取得する;(b)第2の写真撮影パラメータに対応する、第1の画像と同一シーンを有する第2の画像を取得する;(c)第1の画像をぼかし、ぼけた第1の画像を取得する;(d)第1の画像の露出過大部分に対応する、ぼけた第1の画像の置換対象部分を定義する;(e)置換対象部分に対応する第2の画像の置換部分を取得する;および(f)ぼけた第1の画像の置換対象部分を第2の画像の置換部分と置換してマージ画像を取得する。
本開示は、制御方法に関する。制御方法は、撮像装置を制御するために利用される。制御方法は、撮像装置を制御して同一シーンの合焦画像および非合焦画像を出力することと、前述した画像処理方法を利用して合焦画像および非合焦画像を処理することとを含む。
本開示は、画像処理装置に関する。画像処理装置は、プロセッサと、プロセッサと接続され、方法を実行するように構成されたプロセッサによって実行可能な複数のプログラム命令を含むメモリとを含む。本方法は、(a)第1の写真撮影パラメータに対応する第1の画像を取得すること;(b)第2の写真撮影パラメータに対応する、第1の画像と同一シーンを有する第2の画像を取得すること;(c)第1の画像をぼかし、ぼけた第1の画像を取得すること;(d)第1の画像の露出過大部分に対応する、ぼけた第1の画像の置換対象部分を定義すること;(e)置換対象部分に対応する第2の画像の置換部分を取得すること;および(f)ぼけた第1の画像の置換対象部分を第2の画像の置換部分と置換してマージ画像を取得することを含む。
本開示は、制御装置に関する。制御装置は、撮像装置を制御するために利用される。制御装置は、撮像装置を制御して同一シーンの合焦画像および非合焦画像を出力するように構成された制御モジュールと、前記制御モジュールと電気的に接続する前述した画像処理装置とを含む。
本開示は、撮像装置に関する。撮像装置は、カメラレンズと、カメラレンズと電気的に接続し、カメラレンズを制御して同一シーンの合焦画像および非合焦画像を出力するように構成された制御モジュールと、前記制御モジュールと電気的に接続する前述した画像処理装置とを含む。
本開示は、電子機器に関する。電子機器は、前述した撮像装置を含む。
本開示は、電子機器に関する。電子装置は、プロセッサと、記憶装置とを含む。記憶装置は、実行可能プログラムコードを記憶するように構成される。プロセッサは、記憶装置に記憶されている実行可能プログラムコードを読み出すことにより、実行可能プログラムコードに対応するプログラムを実行し、上述した画像処理方法または上述した制御方法を実行する。
本開示は、電子機器がプロセッサを使用して命令を実行したときに、前述した画像処理方法または前述した制御方法が実行される命令を記憶した非一時的コンピュータ可読記憶媒体に関する。
図1を参照すると、本開示の画像処理方法は、ブロックにおいて以下の動作を含む。
ブロックS1において、第1の写真撮影パラメータに対応する第1の画像が取得される。
ブロックS2において、第1の画像と同一シーンを有する第2の画像が取得される。第2の画像は、第2の写真撮影パラメータに対応する。
ブロックS3において、第1の画像がぼかされ、ぼけた第1の画像が取得される。
ブロックS4において、ぼけた第1の画像内に置換対象部分が定義される。置換対象部分は、第1の画像の露出過大部分に対応する。
ブロックS5において、第2の画像の置換部分が取得される。置換部分は、置換対象部分に対応する。
ブロックS6において、ぼけた第1の画像の置換対象部分が第2の画像の置換部分と置換され、マージ画像を取得する。
既存の技術では、写真の背景(例えば、ポートレート写真の背景)をぼかすために、ぼかしソフトウェアアルゴリズムが使用される。背景に光源が存在すると、ぼけた写真の光源は、暗く見える。本開示の画像処理方法は、ぼけた写真上の光源を実際のフレア効果に置換することができる。実用的には、ぼけた第1の画像は、ぼけた背景を有する画像とすることができる。ぼけた第1の画像の光源(露出過大部分に対応する)は、第2の画像の置換部分と置換される。第2の画像は、光源に対してより良い光効果を有するように処理される。したがって、マージ画像は、実際のフレア効果を伴って改善される。
本開示の態様では、第1の写真撮影パラメータおよび第2の写真撮影パラメータは、焦点または非焦点に関するパラメータとすることができる。すなわち、第1の画像は、合焦画像とすることができ、第2の画像は、非合焦画像とすることができる。本開示の他の態様において、第1の写真撮影パラメータおよび第2の写真撮影パラメータは、露出に関するパラメータとすることができる。すなわち、第1の画像は、明環境に適合する第1の露出値を使用して取得される等露出画像とすることができ、第2の画像は、第1の露出値よりも小さい第2の露出値を使用して取得される露出過小画像とすることができる。2つの態様は、以下でさらに詳細に説明される。当業者は、本開示の概念が2つの態様に限定されないことを理解する。
前述したブロックの動作により、本開示の画像処理方法は、実際のフレア効果を有するマージ画像を取得することができる。フレア効果が優れている。
第1の画像が合焦画像であり、第2の画像が非合焦画像である状況において、図2を参照すると、本開示の画像処理方法の第1の実施形態は、ブロックにおいて以下の動作を含む。
ブロックS11において、合焦画像が合焦状態で露出過大部分を有するかどうかが識別される。
ブロックS12において、合焦画像がぼかされ、ぼけた合焦画像を取得する。ぼけた合焦画像は、露出過大部分に対応するぼけた露出過大部分を含む。
ブロックS13において、合焦画像が露出過大部分を有することに応じて、合焦画像と同一シーンの非合焦画像が取得され、非合焦画像は、合焦画像の露出過大部分に対応する素材部分を取得するように処理される。
ブロックS14において、ぼけた合焦画像内の露出過大部分に対応するぼけた露出過大部分が素材部分に置き換えられ、マージ画像を取得する。
合焦画像をぼかしてぼけた合焦画像を取得することは、ガウスぼかしアルゴリズムによって実行することができる。合焦画像は、全焦点深度を使用して合焦状態で撮影される。素材部分をぼかす度合いは、露出過大部分をぼかす度合いと略同一である。
図3を参照すると、画像処理方法の第1の実施形態は、本開示の画像処理装置111の第1の実施形態によって実施することができる。本開示の画像処理装置111の第1の実施形態は、ブロックS11からS14の動作をそれぞれ実行するように構成された、識別モジュール1111、ぼかしモジュール1112、処理モジュール1113、およびマージモジュール1114を含む。すなわち、識別モジュール1111は、合焦画像が合焦状態で露出過大部分を有するかどうかを識別するように構成される。ぼかしモジュール1112は、合焦画像をぼかし、露出過大部分に対応するぼけた露出過大部分を含むぼけた合焦画像を取得するように構成される。処理モジュール1113は、合焦画像と同一シーンを有する非合焦画像を取得し、合焦画像が露出過大部分を有することに応じて、非合焦画像を処理して合焦画像の露出過大部分に対応する素材部分を取得するように構成される。マージモジュール1114は、ぼけた合焦画像内の露出過大部分に対応するぼけた露出過大部分を素材部分と置換し、マージ画像を取得するように構成される。
ぼかしモジュール1112は、合焦画像をぼかしてぼけた合焦画像を取得するためにガウスぼかしアルゴリズムを利用する。合焦画像は、全焦点深度を使用して合焦状態で撮影される。素材部分をぼかす度合いは、露出過大部分をぼかす度合いと略同一である。
図4および図6−図8を参照すると、本開示の制御方法の第1の実施形態が撮像装置10を制御するために利用される。制御方法は、ブロックにおいて以下の動作を含む。
ブロックS16において、撮像装置10は、同一シーンの合焦画像および非合焦画像を出力するように制御される。
ブロックS11において、合焦画像が合焦状態で露出過大部分を有するかどうかが識別される。
ブロックS12において、合焦画像がぼかされ、ぼけた合焦画像を取得する。ぼけた合焦画像は、露出過大部分に対応するぼけた露出過大部分を含む。
ブロックS13において、合焦画像が露出過大部分を有することに応じて、合焦画像と同一シーンの非合焦画像が取得され、非合焦画像は、合焦画像の露出過大部分に対応する素材部分を取得するように処理される。
ブロックS14において、ぼけた合焦画像内の露出過大部分に対応するぼけた露出過大部分が素材部分に置き換えられ、マージ画像を取得する。
合焦画像をぼかしてぼけた合焦画像を取得することは、ガウスぼかしアルゴリズムによって実行することができる。合焦画像は、全焦点深度を使用して合焦状態で撮影される。素材部分をぼかす度合いは、露出過大部分をぼかす度合いと略同一である。
図5を参照すると、制御方法の第1の実施形態は、本開示の制御装置11の第1の実施形態によって実施することができる。本開示の制御装置11の第1の実施形態では、制御装置11は、画像処理装置111の第1の実施形態にかかる画像処理装置111と、画像処理装置111と電気的に接続する制御モジュール112とを含む。画像処理装置111は、ブロックS11からS14の動作を実行するように構成される。制御モジュール112は、ブロックS16を実行するように構成される。画像処理装置111の構成は、前述した第1の実施形態で説明したので、ここでは詳述しない。制御モジュール112は、撮像装置10(図6から図8に示す)を制御して同一シーンの合焦画像および非合焦画像を出力するように構成される。
図6を参照すると、本開示の撮像装置10の第1の実施形態は、制御装置11の第1の実施形態にかかる制御装置11と、制御装置11に電気的に接続されたカメラレンズ12とを含む。換言すれば、本実施形態の撮像装置10は、画像処理装置111の第1の実施形態にかかる画像処理装置111と、制御モジュール112と、カメラレンズ12とを含む。制御モジュール112、カメラレンズ12、および画像処理装置111は、全て互いに電気的に接続されている。
図7および図8を参照すると、本開示の電子機器100の第1の実施形態は、撮像装置10の第1の実施形態にかかる撮像装置10を含む。電子機器100は、携帯電話、タブレット、ノートブックコンピュータ、スマートウォッチ、スマートリング、スマートヘルメット、スマートメガネ、他のVR(仮想現実)ウェアラブル機器、他のAR(拡張現実)ウェアラブル機器など、撮影機能を有する任意の種類の端末によって実行することができる。撮像装置10の台数が1台の場合、撮像装置10は、前面カメラまたは背面カメラとすることができる。撮像装置10の台数が2台の場合、2台の撮像装置10は、それぞれ、前面カメラおよび背面カメラとすることができるか、あるいは、2台の撮像装置10の双方とも、前面カメラであるか、あるいは、2台の撮像装置10の双方とも、背面カメラである。撮像装置10の台数が2台よりも多い場合、撮像装置10は、前面カメラおよび背面カメラを除く、トップカメラ、ボトムカメラ、ラテラルカメラなど、任意の位置に配置されたカメラとすることができる。
例えば、図9に付随して、カメラレンズ12は、同一シーンの合焦画像(図9の左上部に示す)と非合焦画像(図9の右上部に示す)とを撮影する。合焦画像は、全焦点深度を使用して合焦状態で撮影される。識別後、合焦画像が露出過大部分、すなわち上部コーナーに細長管を有すると判定することができる。合焦画像はぼかされ、ぼけた合焦画像(図9の左下部に示す)を取得する。この例では、合焦画像の背景がぼかされている。合焦画像の露出過大部分(細長管)がぼかされ、ぼけた露出過大部分(細長管)を取得する。合焦画像が露出過大部分を有する場合は、非合焦画像が処理され、露出過大部分に対応する素材部分(細長管)を取得する。この例では、非合焦画像は、非合焦シーンを撮影することによって取得される。ぼけた合焦画像内の露出過大部分に対応するぼけた露出過大部分は、素材部分と置換され、マージ画像(図9の右下部)を取得する。
本開示の第1の実施形態にかかる画像処理方法、画像処理装置111、制御方法、制御装置11、撮像装置10、および電子機器100では、2つの画像が撮影され、一方は合焦画像であり、他方は非合焦画像であり、合焦画像の露出過大部分に対応する非合焦画像の素材部分が抽出された後にぼけた合焦画像にマージされ、実際のフレア効果を有するマージ画像を取得する。フレア効果が優れている。
図10を参照すると、本開示の画像処理方法の第2の実施形態は、画像処理方法の第1の実施形態と略同一であるが、合焦画像が合焦状態で露出過大部分を有するかどうかの識別は、さらに、ブロックにおいて以下の動作を含む。
ブロックS111において、合焦画像の露出過大画素数が第1の所定数以上であるかどうかが合焦画像のヒストグラムに応じて判定される。露出過大画素の画素値は、所定の画素値以上である。
ブロックS112において、露出過大画素数が第1の所定数以上であることに応じて、合焦画像が露出過大部分を有すると判定される。
図11を参照すると、画像処理方法の第2の実施形態は、本開示の画像処理装置111の第2の実施形態によって実施することができる。本開示の画像処理装置111の第2の実施形態にかかる画像処理装置111は、画像処理装置111の第1の実施形態と略同一の構成を有するが、それらの差異は、第2の実施形態の画像処理装置111の識別モジュール1111がブロックS111およびS112の動作を実行するように構成された第1の判定サブモジュール11111および第2の判定サブモジュール11112を含むということである。すなわち、第1の判断サブモジュール1111は、合焦画像のヒストグラムに応じて、合焦画像内の露出過大画素数が第1の所定数以上であるかどうかを判定するように構成される。露出過大画素の画素値は、所定の画素値以上である。第1の判定サブモジュール11112は、露出過大画素数が第1の所定数以上であることに応じて、合焦画像が露出過大部分を有すると判定するように構成される。
図12を参照すると、一般的にいえば、画素値(グレー値)は、合焦画像のヒストグラムの横軸に沿って左から右へと増加し、所定の画素値(グレー値)の画素数は、合焦画像のヒストグラムの縦軸に沿って下から上へと増加する。画素値(グレー値)の範囲は、0から255の間、すなわち黒から白である。ピークが高いほど、所与の画素値(グレー値)の画素数は多くなる。
第1の所定数は、ヒストグラムの右境界に近い画素数、すなわち露出過大画素数であるべきである。第1の所定数は、総画素数の3分の1に設定することができるが、これは例示に過ぎず、本開示は、これに限定されるものではない。
図13を参照すると、本開示の制御方法の第2の実施形態は、制御方法の第1の実施形態と略同一であるが、合焦画像が合焦状態で露出過大部分を有するかどうかの識別は、さらに、ブロックにおいて以下の動作を含む。
ブロックS111において、合焦画像の露出過大画素数が第1の所定数以上であるかどうかが合焦画像のヒストグラムに応じて判定される。露出過大画素の画素値は、所定の画素値以上である。
ブロックS112において、露出過大画素数が第1の所定数以上であることに応じて、合焦画像が露出過大部分を有すると判定される。
図14を参照すると、制御方法の第2の実施形態は、本開示の制御装置11の第2の実施形態によって実施することができる。本開示の制御装置11の第2の実施形態にかかる制御装置11は、制御装置11の第1の実施形態と略同一の構造を有するが、それらの差異は、第2の実施形態の制御装置11の識別モジュール1111がブロックS111およびS112の動作を実行するように構成された第1の判定サブモジュール11111および第2の判定サブモジュール11112を含むということである。すなわち、第1の判断サブモジュール1111は、合焦画像のヒストグラムに応じて、合焦画像内の露出過大画素数が第1の所定数以上であるかどうかを判定するように構成される。露出過大画素の画素値は、所定の画素値以上である。第1の判定サブモジュール11112は、露出過大画素数が第1の所定数以上であることに応じて、合焦画像が露出過大部分を有すると判定するように構成される。
図12を参照すると、一般的にいえば、画素値(グレー値)は、合焦画像のヒストグラムの横軸に沿って左から右へと増加し、所定の画素値(グレー値)の画素数は、合焦画像のヒストグラムの縦軸に沿って下から上へと増加する。画素値(グレー値)の範囲は、0から255の間、すなわち黒から白である。ピークが高いほど、所与の画素値(グレー値)の画素数は多くなる。
第1の所定数は、ヒストグラムの右境界に近い画素数、すなわち露出過大画素数であるべきである。第1の所定数は、総画素数の3分の1に設定することができるが、これは例示に過ぎず、本開示は、これに限定されるものではない。
図15を参照すると、本開示の撮像装置10の第2の実施形態は、制御装置11の第2の実施形態にかかる制御装置11と、制御装置11に電気的に接続されたカメラレンズ12とを含む。換言すれば、本実施形態の撮像装置10は、画像処理装置111の第1の実施形態にかかる画像処理装置111と、制御モジュール112と、カメラレンズ12とを含む。制御モジュール112、カメラレンズ12、および画像処理装置111は、全て互いに電気的に接続されている。
図16を参照すると、本開示の電子機器100の第2の実施形態は、撮像装置10の第2の実施形態にかかる撮像装置10を含む。電子機器100は、携帯電話、タブレット、ノートブックコンピュータ、スマートウォッチ、スマートリング、スマートヘルメット、スマートメガネ、他のVR(仮想現実)ウェアラブル機器、他のAR(拡張現実)ウェアラブル機器など、撮影機能を有する任意の種類の端末によって実行することができる。撮像装置10の台数が1台の場合、撮像装置10は、前面カメラまたは背面カメラとすることができる。撮像装置10の台数が2台の場合、2台の撮像装置10は、それぞれ、前面カメラおよび背面カメラとすることができるか、あるいは、2台の撮像装置10の双方とも、前面カメラであるか、あるいは、2台の撮像装置10の双方とも、背面カメラである。撮像装置10の台数が2台よりも多い場合、撮像装置10は、前面カメラおよび背面カメラを除く、トップカメラ、ボトムカメラ、ラテラルカメラなど、任意の位置に配置されたカメラとすることができる。
本開示の第2の実施形態にかかる画像処理方法、画像処理装置111、制御方法、制御装置11、撮像装置10、および電子機器100では、2つの画像が撮影され、一方は合焦画像であり、他方は非合焦画像であり、合焦画像の露出過大部分に対応する非合焦画像の素材部分が抽出された後にぼけた合焦画像にマージされ、実際のフレア効果を有するマージ画像を取得する。フレア効果が優れている。
図17を参照すると、本開示の画像処理方法の第3の実施形態は、画像処理方法の第1の実施形態と略同一であるが、合焦画像が合焦状態で露出過大部分を有するかどうかの識別は、さらに、ブロックにおいて以下の動作を含む。
ブロックS111において、合焦画像の露出過大画素数が第1の所定数以上であるかどうかが合焦画像のヒストグラムに応じて判定される。露出過大画素の画素値は、所定の画素値以上である。
ブロックS112において、露出過大画素数が第1の所定数以上であることに応じて、合焦画像が露出過大部分を有すると判定される。
ブロックS113において、隣接した露出過大画素数が第2の所定数以上であるかどうかを判定することにより、合焦画像内に隣接した露出過大画素があるかどうかが判定される。
ブロックS114において、合焦画像内に隣接した露出過大画素があると判定したことに応じて、隣接した露出過大画素が露出過大部分に属すると判定される。
図18を参照すると、画像処理方法の第3の実施形態は、本開示の画像処理装置111の第3の実施形態によって実施することができる。本開示の画像処理装置111の第3の実施形態にかかる画像処理装置111は、画像処理装置111の第1の実施形態と略同一の構成を有するが、それらの差異は、第3の実施形態の画像処理装置111の識別モジュール1111が、ブロックS111、S112、S113、およびS114の動作を実行するように構成された第1の判断サブモジュール11111、第1の判定サブモジュール11112、第2の判断サブモジュール11113、および第2の判定サブモジュール11114を含むということである。すなわち、第1の判断サブモジュール1111は、合焦画像のヒストグラムに応じて、合焦画像内の露出過大画素数が第1の所定数以上であるかどうかを判定するように構成される。露出過大画素の画素値は、所定の画素値以上である。第1の判定サブモジュール11112は、露出過大画素数が第1の所定数以上であることに応じて、合焦画像が露出過大部分を有すると判定するように構成される。第2の判断サブモジュール11113は、隣接した露出過大画素数が第2の所定数以上であるかどうかを判定することにより、合焦画像内に隣接した露出過大画素があるかどうかを判定するように構成される。第2の判定サブモジュール11114は、合焦画像内に隣接した露出過大画素があると判定することに応じて、隣接した露出過大画素が露出過大部分に属すると判定するように構成される。
第1の所定数は、ノイズポイントを含むことがあるため、または合焦画像でさえも複数の隣接した露出過大画素を含むことがあるため、第2の所定数は、第1の所定数よりも小さくすべきであり、例えば、ともに露出過大部分に寄与する発散光線を有する複数の光源が存在する。
図12を参照すると、一般的にいえば、画素値(グレー値)は、合焦画像のヒストグラムの横軸に沿って左から右へと増加し、所定の画素値(グレー値)の画素数は、合焦画像のヒストグラムの縦軸に沿って下から上へと増加する。画素値(グレー値)の範囲は、0から255の間、すなわち黒から白である。ピークが高いほど、所与の画素値(グレー値)の画素数は多くなる。
第1の所定数および第2の所定数は、ヒストグラムの右境界に近い画素数、すなわち露出過大画素数であるべきである。第1の所定数は、総画素数の3分の1に設定することができ、第2の所定数は、総画素数の4分の1に設定することができるが、これは例示に過ぎず、本開示は、これに限定されるものではない。
図19を参照すると、本開示の制御方法の第3の実施形態は、制御方法の第1の実施形態と略同一であるが、合焦画像が合焦状態で露出過大部分を有するかどうかの識別は、さらに、ブロックにおいて以下の動作を含む。
ブロックS111において、合焦画像の露出過大画素数が第1の所定数以上であるかどうかが合焦画像のヒストグラムに応じて判定される。露出過大画素の画素値は、所定の画素値以上である。
ブロックS112において、露出過大画素数が第1の所定数以上であることに応じて、合焦画像が露出過大部分を有すると判定される。
ブロックS113において、隣接した露出過大画素数が第2の所定数以上であるかどうかを判定することにより、合焦画像内に隣接した露出過大画素があるかどうかが判定される。
ブロックS114において、合焦画像内に隣接した露出過大画素があると判定したことに応じて、隣接した露出過大画素が露出過大部分に属すると判定される。
図20を参照すると、制御方法の第3の実施形態は、本開示の制御装置11の第3の実施形態によって実施することができる。本開示の制御装置11の第3の実施形態にかかる制御装置11は、制御装置11の第1の実施形態と略同一の構造を有するが、それらの差異は、第3の実施形態の制御装置11の識別モジュール1111が、ブロックS111、S112、S113、およびS114の動作を実行するように構成された第1の判断サブモジュール11111、第1の判定サブモジュール11112、第2の判断サブモジュール11113、および第2の判定サブモジュール11114を含むということである。すなわち、第1の判断サブモジュール1111は、合焦画像のヒストグラムに応じて、合焦画像内の露出過大画素数が第1の所定数以上であるかどうかを判定するように構成される。露出過大画素の画素値は、所定の画素値以上である。第1の判定サブモジュール11112は、露出過大画素数が第1の所定数以上であることに応じて、合焦画像が露出過大部分を有すると判定するように構成される。第2の判断サブモジュール11113は、隣接した露出過大画素数が第2の所定数以上であるかどうかを判定することにより、合焦画像内に隣接した露出過大画素があるかどうかを判定するように構成される。第2の判定サブモジュール11114は、合焦画像内に隣接した露出過大画素があると判定することに応じて、隣接した露出過大画素が露出過大部分に属すると判定するように構成される。
第1の所定数は、ノイズポイントを含むことがあるため、または合焦画像でさえも複数の隣接した露出過大画素を含むことがあるため、第2の所定数は、第1の所定数よりも小さくすべきであり、例えば、ともに露出過大部分に寄与する発散光線を有する複数の光源が存在する。
図12を参照すると、一般的にいえば、画素値(グレー値)は、合焦画像のヒストグラムの横軸に沿って左から右へと増加し、所定の画素値(グレー値)の画素数は、合焦画像のヒストグラムの縦軸に沿って下から上へと増加する。画素値(グレー値)の範囲は、0から255の間、すなわち黒から白である。ピークが高いほど、所与の画素値(グレー値)の画素数は多くなる。
第1の所定数および第2の所定数は、ヒストグラムの右境界に近い画素数、すなわち露出過大画素数であるべきである。第1の所定数は、総画素数の3分の1に設定することができ、第2の所定数は、総画素数の4分の1に設定することができるが、これは例示に過ぎず、本開示は、これに限定されるものではない。
図21を参照すると、本開示の撮像装置10の第3の実施形態は、制御装置11の第3の実施形態にかかる制御装置11と、制御装置11に電気的に接続されたカメラレンズ12とを含む。換言すれば、本実施形態の撮像装置10は、画像処理装置111の第3の実施形態にかかる画像処理装置111と、制御モジュール112と、カメラレンズ12とを含む。制御モジュール112、カメラレンズ12、および画像処理装置111は、全て互いに電気的に接続されている。
図22を参照すると、本開示の電子機器100の第3の実施形態は、撮像装置10の第3の実施形態にかかる撮像装置10を含む。電子機器100は、携帯電話、タブレット、ノートブックコンピュータ、スマートウォッチ、スマートリング、スマートヘルメット、スマートメガネ、他のVR(仮想現実)ウェアラブル機器、他のAR(拡張現実)ウェアラブル機器など、撮影機能を有する任意の種類の端末によって実行することができる。撮像装置10の台数が1台の場合、撮像装置10は、前面カメラまたは背面カメラとすることができる。撮像装置10の台数が2台の場合、2台の撮像装置10は、それぞれ、前面カメラおよび背面カメラとすることができるか、あるいは、2台の撮像装置10の双方とも、前面カメラであるか、あるいは、2台の撮像装置10の双方とも、背面カメラである。撮像装置10の台数が2台よりも多い場合、撮像装置10は、前面カメラおよび背面カメラを除く、トップカメラ、ボトムカメラ、ラテラルカメラなど、任意の位置に配置されたカメラとすることができる。
本開示の第3の実施形態にかかる画像処理方法、画像処理装置111、制御方法、制御装置11、撮像装置10、および電子機器100では、2つの画像が撮影され、一方は合焦画像であり、他方は非合焦画像であり、合焦画像の露出過大部分に対応する非合焦画像の素材部分が抽出された後にぼけた合焦画像にマージされ、実際のフレア効果を有するマージ画像を取得する。フレア効果が優れている。
図23を参照すると、本開示の画像処理方法の第4の実施形態は、画像処理方法の第1の実施形態と略同一であるが、画像処理方法の第4の実施形態は、さらに、ブロックにおいて以下の動作を含む。
ブロックS17において、合焦画像が露出過大部分を有するとの識別に応じてマージ画像が出力される。
ブロックS18において、合焦画像が露出過大部分を有しないとの識別に応じてぼけた合焦画像が出力される。
図24を参照すると、画像処理方法の第4の実施形態は、本開示の画像処理装置111の第4の実施形態によって実施することができる。本開示の画像処理装置111の第4の実施形態にかかる画像処理装置111は、画像処理装置111の第1の実施形態と略同一の構成を有するが、それらの差異は、第4の実施形態にかかる画像処理装置111がブロックS17およびS18の動作を実行するように構成された第1の出力モジュール1117および第2の出力モジュール1118をさらに含むということである。すなわち、第1の出力モジュール1117は、合焦画像が露出過大部分を有するとの識別に応じてマージ画像を出力するように構成される。第2の出力モジュール1118は、合焦画像が露出過大部分を有しないとの識別に応じてぼけた合焦画像を出力するように構成される。
図25を参照すると、本開示の制御方法の第4の実施形態は、制御方法の第1の実施形態と略同一であるが、制御方法の第4の実施形態は、さらに、ブロックにおいて以下の動作を含む。
ブロックS17において、合焦画像が露出過大部分を有するとの識別に応じてマージ画像が出力される。
ブロックS18において、合焦画像が露出過大部分を有しないとの識別に応じてぼけた合焦画像が出力される。
図26を参照すると、制御方法の第4の実施形態は、本開示の制御装置11の第4の実施形態によって実施することができる。本開示の制御装置11の第4の実施形態にかかる制御装置11は、制御装置11の第1の実施形態と略同一の構造を有するが、それらの差異は、第4の実施形態の制御装置11がブロックS17およびS18の動作を実行するように構成された第1の出力モジュール1117および第2の出力モジュール1118をさらに含むということである。すなわち、第1の出力モジュール1117は、合焦画像が露出過大部分を有するとの識別に応じてマージ画像を出力するように構成される。第2の出力モジュール1118は、合焦画像が露出過大部分を有しないとの識別に応じてぼけた合焦画像を出力するように構成される。
図27を参照すると、本開示の撮像装置10の第4の実施形態は、制御装置11の第4の実施形態にかかる制御装置11と、制御装置11に電気的に接続されたカメラレンズ12とを含む。換言すれば、本実施形態の撮像装置10は、画像処理装置111の第4の実施形態にかかる画像処理装置111と、制御モジュール112と、カメラレンズ12とを含む。制御モジュール112、カメラレンズ12、および画像処理装置111は、全て互いに電気的に接続されている。
図28を参照すると、本開示の電子機器100の第4の実施形態は、撮像装置10の第4の実施形態にかかる撮像装置10を含む。電子機器100は、携帯電話、タブレット、ノートブックコンピュータ、スマートウォッチ、スマートリング、スマートヘルメット、スマートメガネ、他のVR(仮想現実)ウェアラブル機器、他のAR(拡張現実)ウェアラブル機器など、撮影機能を有する任意の種類の端末によって実行することができる。撮像装置10の台数が1台の場合、撮像装置10は、前面カメラまたは背面カメラとすることができる。撮像装置10の台数が2台の場合、2台の撮像装置10は、それぞれ、前面カメラおよび背面カメラとすることができるか、あるいは、2台の撮像装置10の双方とも、前面カメラであるか、あるいは、2台の撮像装置10の双方とも、背面カメラである。撮像装置10の台数が2台よりも多い場合、撮像装置10は、前面カメラおよび背面カメラを除く、トップカメラ、ボトムカメラ、ラテラルカメラなど、任意の位置に配置されたカメラとすることができる。
本開示の第4の実施形態にかかる画像処理方法、画像処理装置111、制御方法、制御装置11、撮像装置10、および電子機器100では、2つの画像が撮影され、一方は合焦画像であり、他方は非合焦画像であり、合焦画像の露出過大部分に対応する非合焦画像の素材部分が抽出された後にぼけた合焦画像にマージされ、実際のフレア効果を有するマージ画像を取得する。フレア効果が優れている。
ブロックS17およびS18はまた、画像処理方法の第2の実施形態および制御方法の第2の実施形態にも適用可能であることが理解することができる。対応して、第1の出力モジュール1117および第2の出力モジュール1118はまた、画像処理装置の第2の実施形態、制御装置の第2の実施形態、画像処理装置の第2の実施形態、および電子機器の第2の実施形態にも適用可能である。ブロックS17およびS18はまた、画像処理方法の第3の実施形態および制御方法の第3の実施形態にも適用可能である。対応して、第1の出力モジュール1117および第2の出力モジュール1118はまた、画像処理装置の第3の実施形態、制御装置の第3の実施形態、画像処理装置の第3の実施形態、および電子機器の第3の実施形態にも適用可能である。
図29を参照すると、前述した第1から第4の実施形態にかかる制御方法において、同一シーンの合焦画像および非合焦画像を出力するように撮像装置10を制御すること(ブロックS16)は、ブロックにおいて以下の動作を含むことができる。
ブロックS161において、撮像装置は、合焦画像を取得するために合焦するように制御される。
ブロックS162において、撮像装置は、対応するぼかし度合いを取得するために、合焦状態とは異なる再合焦状態で撮像装置によって出力されたバッファ画像を再合焦して処理するように制御される。
ブロックS163において、合焦画像のぼかし度合いと略同一のぼかし度合いを有するバッファ画像が非合焦画像として保存される。
対応して、図30を参照すると、第1から第4の実施形態にかかる制御装置11の制御モジュール112は、ブロックS161、S162、およびS163の動作を実行するように構成された合焦サブモジュール1121、再合焦サブモジュール1122、および保存サブモジュール1123を含む。すなわち、合焦サブモジュール1121は、合焦画像を取得するために合焦させるように撮像装置を制御するように構成される。再合焦サブモジュール1122は、対応するぼかし度合いを取得するために合焦状態とは異なる再合焦状態で撮像装置によって出力されたバッファ画像を再合焦させて処理するように撮像装置を制御するように構成される。保存サブモジュール1123は、非合焦画像として、合焦画像をぼかす度合いと略同一のぼやけ度合いを有するバッファ画像を保存するように構成される。
対応して、第1から第4の実施形態にかかる撮像装置10および電子機器100の制御モジュール112もまた、合焦サブモジュール1121、再合焦サブモジュール1122、および保存サブモジュール1123を含むことができ、その構造および機能は、上記と同一であり、ここでは詳述しない。
第1の画像が等露出画像であり、第2の画像が露出過小画像である状況において、図31を参照すると、本開示の画像処理方法の第5の実施形態は、ブロックにおいて以下の動作を含む。
ブロックS21において、明環境と一致する第1の露出値を使用して露出することによって等露出画像が取得され、等露出画像が露出過大部分を有するかどうかが識別される。
ブロックS22において、等露出画像がぼかされ、ぼけた等露出画像を取得する。ぼけた等露出画像は、露出過大部分に対応するぼけた露出過大部分を含む。
ブロックS23において、等露出画像が露出過大部分を有することに応じて、第2の露出量を使用して露出することによって等露出画像と同一シーンを有する露出過小画像が取得され、露出過小画像がぼかされてぼけた露出河床画像を取得し、露出過小画像は、露出過大部分に対応する素材部分を含み、ぼけた露出過小画像は、露出過大部分に対応するぼけた素材部分を含み、第2の露出値は、第1の露出値よりも小さい。
ブロックS24において、ぼけた素材部分の輝度が増やされて偽の露出過大部分を取得する。
ブロックS25において、ぼけた等露出画像のぼけた露出過大部分が偽の露出過大部分と置換され、マージ画像を取得する。
等露出画像をぼかし、ぼけた等露出画像を取得することは、ガウスぼかしアルゴリズムによって実行することができ、および/または露出過小画像をぼかし、ぼけた露出過小画像を取得することは、ガウスぼかしアルゴリズムによって実行することができる。偽の露出過大部分を取得するためにぼけた素材部分の輝度を増やすことは、偽の露出過大部分を取得するためにN倍にぼけた露出過小画像の輝度を増やすことによって実施することができ、Nは、第2の露出値に対する第1の露出値の比である。
図32を参照すると、画像処理方法の第5の実施形態は、本開示の画像処理装置111の第5の実施形態によって実施することができる。本開示の画像処理装置111の第5の実施形態は、それぞれ、ブロックS21からS25を実行するように構成された識別モジュール1111、第1のぼかしモジュール11121、第2のぼかしモジュール11122、輝度増加モジュール1116、およびマージモジュール1115を含む。すなわち、識別モジュール1111は、明環境に一致する第1の露出値を使用して露出することによって等露出画像を取得し、等露出画像が露出過大部分を有するかどうかを識別するように構成される。第1のぼかしモジュール11121は、等露出画像をぼかし、露出過大部分に対応するぼけた露出過大部分を含むぼけた等露出画像を取得するように構成される。等露出画像が露出過剰部分を有することに応じて、第2のぼかしモジュール11122は、第2の露出値を使用して露出することによって等露出画像と同一シーンを有する露出過小画像を取得し、露出過小画像をぼかしてぼけた露出過小画像を取得するように構成され、露出過小画像は、露出過大部分に対応する素材部分を含み、ぼけた露出過小画像は、露出過大部分に対応するぼけた素材部分を含み、第2の露出値は、第1の露出値よりも小さい。輝度増加モジュール1116は、ぼけた素材部分の輝度を増やして偽の露出過大部分を取得するように構成される。マージモジュール1115は、ぼけた等露出画像のぼけた露出過大部分を偽の露出過大部分と置換してマージ画像を取得するように構成される。
第1のぼかしモジュール11121は、ガウスぼかしアルゴリズムを採用して、等露出画像をぼかし、ぼけた等露出画像を取得し、および/または第2のぼかしモジュール11122は、ガウスぼかしアルゴリズムを採用して、露出過小画像をぼかし、ぼけた露出過小画像を取得する。ぼけた素材部分の輝度を増加させて偽の露出過大部分を取得する際に、輝度増加モジュール1116は、ぼけた露出過小画像の輝度をN倍に増やして偽の露出過大部分を取得することができ、Nは、第2の露出値に対する第1の露出値の比である。
図33および図35−図37を参照すると、本開示の制御方法の第5の実施形態が撮像装置10を制御するために利用される。制御方法は、ブロックにおいて以下の動作を含む。
ブロックS26において、撮像装置10は、同一シーンの等露出画像および露出過小画像を出力するように制御される。
ブロックS21において、明環境と一致する第1の露出値を使用して露出することによって等露出画像が取得され、等露出画像が露出過大部分を有するかどうかが識別される。
ブロックS22において、等露出画像がぼかされ、ぼけた等露出画像を取得する。ぼけた等露出画像は、露出過大部分に対応するぼけた露出過大部分を含む。
ブロックS23において、等露出画像が露出過大部分を有することに応じて、第2の露出量を使用して露出することによって等露出画像と同一シーンを有する露出過小画像が取得され、露出過小画像がぼかされてぼけた露出河床画像を取得し、露出過小画像は、露出過大部分に対応する素材部分を含み、ぼけた露出過小画像は、露出過大部分に対応するぼけた素材部分を含み、第2の露出値は、第1の露出値よりも小さい。
ブロックS24において、ぼけた素材部分の輝度が増やされて偽の露出過大部分を取得する。
ブロックS25において、ぼけた等露出画像のぼけた露出過大部分が偽の露出過大部分と置換され、マージ画像を取得する。
等露出画像をぼかし、ぼけた等露出画像を取得することは、ガウスぼかしアルゴリズムによって実行することができ、および/または露出過小画像をぼかし、ぼけた露出過小画像を取得することは、ガウスぼかしアルゴリズムによって実行することができる。偽の露出過大部分を取得するためにぼけた素材部分の輝度を増やすことは、偽の露出過大部分を取得するためにN倍にぼけた露出過小画像の輝度を増やすことによって実施することができ、Nは、第2の露出値に対する第1の露出値の比である。
図34を参照すると、制御方法の第5の実施形態は、本開示の制御装置11の第5の実施形態によって実施することができる。本開示の制御装置11の第5の実施形態では、制御装置11は、画像処理装置111の第5の実施形態にかかる画像処理装置111と、画像処理装置111と電気的に接続する制御モジュール112とを含む。画像処理装置111は、ブロックS21からS25を実行するように構成される。制御モジュール112は、ブロックS26を実行するように構成される。画像処理装置111の構成は、前述した第5の実施形態で説明したので、ここでは詳述しない。制御モジュール112は、撮像装置10(図35から図37に示す)を制御して同一シーンの等露出画像および露出過小画像を出力するように構成される。
図35を参照すると、本開示の撮像装置10の第5の実施形態は、制御装置11の第5の実施形態にかかる制御装置11と、制御装置11に電気的に接続されたカメラレンズ12とを含む。換言すれば、本実施形態の撮像装置10は、画像処理装置111の第5の実施形態にかかる画像処理装置111と、制御モジュール112と、カメラレンズ12とを含む。制御モジュール112、カメラレンズ12、および画像処理装置111は、全て互いに電気的に接続されている。
図36および図8を参照すると、本開示の電子機器100の第5の実施形態は、撮像装置10の第5の実施形態にかかる撮像装置10を含む。電子機器100は、携帯電話、タブレット、ノートブックコンピュータ、スマートウォッチ、スマートリング、スマートヘルメット、スマートメガネ、他のVR(仮想現実)ウェアラブル機器、他のAR(拡張現実)ウェアラブル機器など、撮影機能を有する任意の種類の端末によって実行することができる。撮像装置10の台数が1台の場合、撮像装置10は、前面カメラまたは背面カメラとすることができる。撮像装置10の台数が2台の場合、2台の撮像装置10は、それぞれ、前面カメラおよび背面カメラとすることができるか、あるいは、2台の撮像装置10の双方とも、前面カメラであるか、あるいは、2台の撮像装置10の双方とも、背面カメラである。撮像装置10の台数が2台よりも多い場合、撮像装置10は、前面カメラおよび背面カメラを除く、トップカメラ、ボトムカメラ、ラテラルカメラなど、任意の位置に配置されたカメラとすることができる。
例えば、図37に付随して、カメラレンズ12は、同一シーン内で等露出画像および露出過小画像を撮影するために使用される。説明のために、実際に撮影された2つの画像が図37に示されている。2つの画像のシーンは、完全に同一ではない。しかしながら、本開示の実装において、等露出画像および露出過小画像を撮影するのにかかる時間は非常に短く、同一シーンが完全に実行することができる。等露出画像は、明環境に一致する第1の露出値を使用して露出することによって取得される。露出過小画像は、第1の露出値よりも小さい第2の露出値を使用した露出値によって取得される。識別後、等露出画像が露出過大部分、すなわち右側に円形光源を有すると決定することができる。露出過小画像は、露出過大部分(円形光源)に対応する素材部分(円形光源)を含む。次に、等露出画像がぼかされ、ぼけた等露出画像を取得する。この例では、等露出画像の背景がぼかされている。図37に示されているのは、主に背景部分であり、画像全体ではない。露出過小画像がぼかされ、ぼけた露出過小画像を取得する。この例では、露出過小画像をぼかすために採用される手法は、等露出画像をぼかすために採用される手法と同一または同様とすることができる。ぼけた等露出画像の露出過大部分(円形光源)がぼかされ、ぼけた露出過大部分(円形光源)を取得する。ぼけた露出過小画像の素材部分(円形光源)がぼかされ、ぼけた素材部分(円形光源)を取得する。ぼけた素材部分の輝度が増やされて偽の露出過大部分を取得する。実施形態では、ぼけた露出過小画像の輝度は、全体的に増やすことができ、その間にぼけた素材部分の輝度も同様に増やされる。あるいは、それは、ぼけた素材部分の輝度を増やすのみで実行することができる。最後に、ぼけた等露出画像のぼけた露出過大部分が偽の露出過大部分と置換され、マージ画像を取得する。
本開示にかかる画像処理方法、画像処理装置111、制御方法、制御装置11、撮像装置10、および電子機器100では、2つの画像が撮影され、一方は等露出画像であり、他方は露出過小画像であり、2つの画像は、双方ともぼけており、そして、ぼけた露出過大部分の輝度が増加され、対応する偽の露出過大部分が抽出され、ぼけた等露出画像のぼけた露出過大部分が偽の露出過大部分に置換され、実際のフレア効果を有するぼけた画像にマージする。フレア効果が優れている。
図38を参照すると、本開示の画像処理方法の第6の実施形態は、画像処理方法の第5の実施形態と略同一であるが、等露出画像が露出過大部分を有するかどうかの識別は、さらに、ブロックにおいて以下の動作を含む。
ブロックS211において、等露出画像内の露出過大画素数が第1の所定数以上であるかどうかが等露出画像のヒストグラムに応じて判定される。露出過大画素の画素値は、所定の画素値以上である。
ブロックS212において、露出過大画素数が第1の所定数以上であることに応じて、等露出画像が露出過大部分を有すると判定される。
図39を参照すると、画像処理方法の第6の実施形態は、本開示の画像処理装置111の第6の実施形態によって実施することができる。本開示の画像処理装置111の第6の実施形態にかかる画像処理装置111は、画像処理装置111の第5の実施形態と略同一の構成を有するが、それらの差異は、第6の実施形態の画像処理装置111の識別モジュール1111がブロックS211およびS212を実行するように構成された第1の判定サブモジュール11111および第2の判定サブモジュール11112を含むということである。すなわち、第1の判定サブモジュール1111は、等露出画像のヒストグラムに応じて、等露出画像内の露出過大画素数が第1の所定数以上であるかどうかを判定するように構成される。露出過大画素の画素値は、所定の画素値以上である。第1の判定サブモジュール11112は、露出過大画素数が第1の所定数以上であることに応じて、等露出画像が露出過大部分を有すると判定するように構成される。
図12を参照すると、一般的にいえば、画素値(グレー値)は、等露出画像のヒストグラムの横軸に沿って左から右へと増加し、所定の画素値(グレー値)の画素数は、等露出画像のヒストグラムの縦軸に沿って下から上へと増加する。画素値(グレー値)の範囲は、0から255の間、すなわち黒から白である。ピークが高いほど、所与の画素値(グレー値)の画素数は多くなる。
第1の所定数は、ヒストグラムの右境界に近い画素数、すなわち露出過大画素数であるべきである。第1の所定数は、総画素数の3分の1に設定することができるが、これは例示に過ぎず、本開示は、これに限定されるものではない。
図40を参照すると、本開示の制御方法の第6の実施形態は、制御方法の第5の実施形態と略同一であるが、等露出画像が露出過大部分を有するかどうかの識別は、さらに、ブロックにおいて以下の動作を含む。
ブロックS211において、等露出画像内の露出過大画素数が第1の所定数以上であるかどうかが等露出画像のヒストグラムに応じて判定される。露出過大画素の画素値は、所定の画素値以上である。
ブロックS212において、露出過大画素数が第1の所定数以上であることに応じて、等露出画像が露出過大部分を有すると判定される。
図41を参照すると、制御方法の第6の実施形態は、本開示の制御装置11の第6の実施形態によって実施することができる。本開示の制御装置11の第6の実施形態にかかる制御装置11は、制御装置11の第5の実施形態と略同一の構造を有するが、それらの差異は、第6の実施形態の制御装置11の識別モジュール1111がブロックS211およびS212を実行するように構成された第1の判定サブモジュール11111および第2の判定サブモジュール11112を含むということである。すなわち、第1の判定サブモジュール1111は、等露出画像のヒストグラムに応じて、等露出画像内の露出過大画素数が第1の所定数以上であるかどうかを判定するように構成される。露出過大画素の画素値は、所定の画素値以上である。第1の判定サブモジュール11112は、露出過大画素数が第1の所定数以上であることに応じて、等露出画像が露出過大部分を有すると判定するように構成される。
図12を参照すると、一般的にいえば、画素値(グレー値)は、等露出画像のヒストグラムの横軸に沿って左から右へと増加し、所定の画素値(グレー値)の画素数は、等露出画像のヒストグラムの縦軸に沿って下から上へと増加する。画素値(グレー値)の範囲は、0から255の間、すなわち黒から白である。ピークが高いほど、所与の画素値(グレー値)の画素数は多くなる。
第1の所定数は、ヒストグラムの右境界に近い画素数、すなわち露出過大画素数であるべきである。第1の所定数は、総画素数の3分の1に設定することができるが、これは例示に過ぎず、本開示は、これに限定されるものではない。
図42を参照すると、本開示の撮像装置10の第6の実施形態は、制御装置11の第6の実施形態にかかる制御装置11と、制御装置11に電気的に接続されたカメラレンズ12とを含む。換言すれば、本実施形態の撮像装置10は、画像処理装置111の第5の実施形態にかかる画像処理装置111と、制御モジュール112と、カメラレンズ12とを含む。制御モジュール112、カメラレンズ12、および画像処理装置111は、全て互いに電気的に接続されている。
図43を参照すると、本開示の電子機器100の第6の実施形態は、撮像装置10の第6の実施形態にかかる撮像装置10を含む。電子機器100は、携帯電話、タブレット、ノートブックコンピュータ、スマートウォッチ、スマートリング、スマートヘルメット、スマートメガネ、他のVR(仮想現実)ウェアラブル機器、他のAR(拡張現実)ウェアラブル機器など、撮影機能を有する任意の種類の端末によって実行することができる。本実施形態では、撮像装置10の台数が1台の場合、撮像装置10は、前面カメラまたは背面カメラとすることができる。撮像装置10の台数が2台の場合、2台の撮像装置10は、それぞれ、前面カメラおよび背面カメラとすることができるか、あるいは、2台の撮像装置10の双方とも、前面カメラであるか、あるいは、2台の撮像装置10の双方とも、背面カメラである。撮像装置10の台数が2台よりも多い場合、撮像装置10は、前面カメラおよび背面カメラを除く、トップカメラ、ボトムカメラ、ラテラルカメラなど、任意の位置に配置されたカメラとすることができる。
本開示の第6の実施形態にかかる画像処理方法、画像処理装置111、制御方法、制御装置11、撮像装置10、および電子機器100では、2つの画像が撮影され、一方は等露出画像であり、他方は露出過小画像であり、2つの画像は、双方ともぼけており、そして、ぼけた露出過大部分の輝度が増加され、対応する偽の露出過大部分が抽出され、ぼけた等露出画像のぼけた露出過大部分が偽の露出過大部分に置換され、実際のフレア効果を有するぼけた画像にマージする。フレア効果が優れている。
図44を参照すると、本開示の画像処理方法の第7の実施形態は、画像処理方法の第5の実施形態と略同一であるが、等露出画像が露出過大部分を有するかどうかの識別は、さらに、ブロックにおいて以下の動作を含む。
ブロックS211において、等露出画像内の露出過大画素数が第1の所定数以上であるかどうかが等露出画像のヒストグラムに応じて判定される。露出過大画素の画素値は、所定の画素値以上である。
ブロックS212において、露出過大画素数が第1の所定数以上であることに応じて、等露出画像が露出過大部分を有すると判定される。
ブロックS213において、隣接した露出過大画素数が第2の所定数以上であるかどうかを判定することにより、等露出画像内に隣接した露出過大画素があるかどうかが判定される。
ブロックS214において、等露出画像内に隣接した露出過大画素があると判定したことに応じて、隣接した露出過大画素が露出過大部分に属すると判定される。
図45を参照すると、画像処理方法の第7の実施形態は、本開示の画像処理装置111の第7の実施形態によって実施することができる。本開示の画像処理装置111の第7の実施形態にかかる画像処理装置111は、画像処理装置111の第5の実施形態と略同一の構成を有するが、それらの差異は、第7の実施形態の画像処理装置111の識別モジュール1111が、ブロックS211、S212、S213、およびS214を実行するように構成された第1の判断サブモジュール11111、第1の判定サブモジュール11112、第2の判断サブモジュール11113、および第2の判定サブモジュール11114を含むということである。すなわち、第1の判定サブモジュール1111は、等露出画像のヒストグラムに応じて、等露出画像内の露出過大画素数が第1の所定数以上であるかどうかを判定するように構成される。露出過大画素の画素値は、所定の画素値以上である。第1の判定サブモジュール11112は、露出過大画素数が第1の所定数以上であることに応じて、等露出画像が露出過大部分を有すると判定するように構成される。第2の判断サブモジュール11113は、隣接した露出過大画素数が第2の所定数以上であるかどうかを判定することにより、等露出画像内に隣接した露出過大画素があるかどうかを判定するように構成される。第2の判定サブモジュール11114は、等露出画像内に隣接した露出過大画素があると判定することに応じて、隣接した露出過大画素が露出過大部分に属すると判定するように構成される。
第1の所定数は、ノイズポイントを含むことがあるため、または等露出画像でさえも複数の隣接した露出過大画素を含むことがあるため、第2の所定数は、第1の所定数よりも小さくすべきであり、例えば、ともに露出過大部分に寄与する発散光線を有する複数の光源が存在する。
図12を参照すると、一般的にいえば、画素値(グレー値)は、等露出画像のヒストグラムの横軸に沿って左から右へと増加し、所定の画素値(グレー値)の画素数は、等露出画像のヒストグラムの縦軸に沿って下から上へと増加する。画素値(グレー値)の範囲は、0から255の間、すなわち黒から白である。ピークが高いほど、所与の画素値(グレー値)の画素数は多くなる。
第1の所定数および第2の所定数は、ヒストグラムの右境界に近い画素数、すなわち露出過大画素数であるべきである。第1の所定数は、総画素数の3分の1に設定することができ、第2の所定数は、総画素数の4分の1に設定することができるが、これは例示に過ぎず、本開示は、これに限定されるものではない。
図46を参照すると、本開示の制御方法の第7の実施形態は、制御方法の第5の実施形態と略同一であるが、等露出画像が露出過大部分を有するかどうかの識別は、さらに、ブロックにおいて以下の動作を含む。
ブロックS211において、等露出画像内の露出過大画素数が第1の所定数以上であるかどうかが等露出画像のヒストグラムに応じて判定される。露出過大画素の画素値は、所定の画素値以上である。
ブロックS212において、露出過大画素数が第1の所定数以上であることに応じて、等露出画像が露出過大部分を有すると判定される。
ブロックS213において、隣接した露出過大画素数が第2の所定数以上であるかどうかを判定することにより、等露出画像内に隣接した露出過大画素があるかどうかが判定される。
ブロックS214において、等露出画像内に隣接した露出過大画素があると判定したことに応じて、隣接した露出過大画素が露出過大部分に属すると判定される。
図47を参照すると、制御方法の第7の実施形態は、本開示の制御装置11の第7の実施形態によって実施することができる。本開示の制御装置11の第7の実施形態にかかる制御装置11は、制御装置11の第5の実施形態と略同一の構造を有するが、それらの差異は、第7の実施形態の制御装置11の識別モジュール1111が、ブロックS211、S212、S213、およびS214を実行するように構成された第1の判断サブモジュール11111、第1の判定サブモジュール11112、第2の判断サブモジュール11113、および第2の判定サブモジュール11114を含むということである。すなわち、第1の判定サブモジュール1111は、等露出画像のヒストグラムに応じて、等露出画像内の露出過大画素数が第1の所定数以上であるかどうかを判定するように構成される。露出過大画素の画素値は、所定の画素値以上である。第1の判定サブモジュール11112は、露出過大画素数が第1の所定数以上であることに応じて、等露出画像が露出過大部分を有すると判定するように構成される。第2の判断サブモジュール11113は、隣接した露出過大画素数が第2の所定数以上であるかどうかを判定することにより、等露出画像内に隣接した露出過大画素があるかどうかを判定するように構成される。第2の判定サブモジュール11114は、等露出画像内に隣接した露出過大画素があると判定することに応じて、隣接した露出過大画素が露出過大部分に属すると判定するように構成される。
第1の所定数は、ノイズポイントを含むことがあるため、または等露出画像でさえも複数の隣接した露出過大画素を含むことがあるため、第2の所定数は、第1の所定数よりも小さくすべきであり、例えば、ともに露出過大部分に寄与する発散光線を有する複数の光源が存在する。
図12を参照すると、一般的にいえば、画素値(グレー値)は、等露出画像のヒストグラムの横軸に沿って左から右へと増加し、所定の画素値(グレー値)の画素数は、等露出画像のヒストグラムの縦軸に沿って下から上へと増加する。画素値(グレー値)の範囲は、0から255の間、すなわち黒から白である。ピークが高いほど、所与の画素値(グレー値)の画素数は多くなる。
第1の所定数および第2の所定数は、ヒストグラムの右境界に近い画素数、すなわち露出過大画素数であるべきである。第1の所定数は、総画素数の3分の1に設定することができ、第2の所定数は、総画素数の4分の1に設定することができるが、これは例示に過ぎず、本開示は、これに限定されるものではない。
図48を参照すると、本開示の撮像装置10の第7の実施形態は、制御装置11の第7の実施形態にかかる制御装置11と、制御装置11に電気的に接続されたカメラレンズ12とを含む。換言すれば、本実施形態の撮像装置10は、画像処理装置111の第7の実施形態にかかる画像処理装置111と、制御モジュール112と、カメラレンズ12とを含む。制御モジュール112、カメラレンズ12、および画像処理装置111は、全て互いに電気的に接続されている。
図49を参照すると、本開示の電子機器100の第7の実施形態は、撮像装置10の第7の実施形態にかかる撮像装置10を含む。電子機器100は、携帯電話、タブレット、ノートブックコンピュータ、スマートウォッチ、スマートリング、スマートヘルメット、スマートメガネ、他のVR(仮想現実)ウェアラブル機器、他のAR(拡張現実)ウェアラブル機器など、撮影機能を有する任意の種類の端末によって実行することができる。本実施形態では、撮像装置10の台数が1台の場合、撮像装置10は、前面カメラまたは背面カメラとすることができる。撮像装置10の台数が2台の場合、2台の撮像装置10は、それぞれ、前面カメラおよび背面カメラとすることができるか、あるいは、2台の撮像装置10の双方とも、前面カメラであるか、あるいは、2台の撮像装置10の双方とも、背面カメラである。撮像装置10の台数が2台よりも多い場合、撮像装置10は、前面カメラおよび背面カメラを除く、トップカメラ、ボトムカメラ、ラテラルカメラなど、任意の位置に配置されたカメラとすることができる。
本開示の第7の実施形態にかかる画像処理方法、画像処理装置111、制御方法、制御装置11、撮像装置10、および電子機器100では、2つの画像が撮影され、一方は等露出画像であり、他方は露出過小画像であり、2つの画像は、双方ともぼけており、そして、ぼけた露出過大部分の輝度が増加され、対応する偽の露出過大部分が抽出され、ぼけた等露出画像のぼけた露出過大部分が偽の露出過大部分に置換され、実際のフレア効果を有するぼけた画像にマージする。フレア効果が優れている。
図50を参照すると、本開示の画像処理方法の第8の実施形態は、画像処理方法の第5の実施形態と略同一であるが、画像処理方法の第8の実施形態は、さらに、ブロックにおいて以下の動作を含む。
ブロックS27において、等露出画像が露出過大部分を有するとの識別に応じてマージ画像が出力される。
ブロックS28において、等露出画像が露出過大部分を有しないとの識別に応じてぼけた等露出画像が出力される。
図51を参照すると、画像処理方法の第8の実施形態は、本開示の画像処理装置111の第8の実施形態によって実施することができる。本開示の画像処理装置111の第8の実施形態にかかる画像処理装置111は、画像処理装置111の第5の実施形態と略同一の構成を有するが、それらの差異は、第8の実施形態にかかる画像処理装置111がブロックS27およびS28を実行するように構成された第1の出力モジュール1117および第2の出力モジュール1118をさらに含むということである。すなわち、第1の出力モジュール1117は、等露出画像が露出過大部分を有するとの識別に応じてマージ画像を出力するように構成される。第2の出力モジュール1118は、等露出画像が露出過大部分を有しないとの識別に応じてぼけた等露出画像を出力するように構成される。
図52を参照すると、本開示の制御方法の第8の実施形態は、制御方法の第5の実施形態と略同一であるが、制御方法の第8の実施形態は、さらに、ブロックにおいて以下の動作を含む。
ブロックS27において、等露出画像が露出過大部分を有するとの識別に応じてマージ画像が出力される。
ブロックS28において、等露出画像が露出過大部分を有しないとの識別に応じてぼけた等露出画像が出力される。
図53を参照すると、制御方法の第8の実施形態は、本開示の制御装置11の第8の実施形態によって実施することができる。本開示の制御装置11の第8の実施形態にかかる制御装置11は、制御装置11の第5の実施形態と略同一の構造を有するが、それらの差異は、第8の実施形態の制御装置11がブロックS7およびS8を実行するように構成された第1の出力モジュール1117および第2の出力モジュール1118をさらに含むということである。すなわち、第1の出力モジュール1117は、等露出画像が露出過大部分を有するとの識別に応じてマージ画像を出力するように構成される。第2の出力モジュール1118は、等露出画像が露出過大部分を有しないとの識別に応じてぼけた等露出画像を出力するように構成される。
図54を参照すると、本開示の撮像装置10の第8の実施形態は、制御装置11の第8の実施形態にかかる制御装置11と、制御装置11に電気的に接続されたカメラレンズ12とを含む。換言すれば、本実施形態の撮像装置10は、画像処理装置111の第8の実施形態にかかる画像処理装置111と、制御モジュール112と、カメラレンズ12とを含む。制御モジュール112、カメラレンズ12、および画像処理装置111は、全て互いに電気的に接続されている。
図55を参照すると、本開示の電子機器100の第8の実施形態は、撮像装置10の第8の実施形態にかかる撮像装置10を含む。電子機器100は、携帯電話、タブレット、ノートブックコンピュータ、スマートウォッチ、スマートリング、スマートヘルメット、スマートメガネ、他のVR(仮想現実)ウェアラブル機器、他のAR(拡張現実)ウェアラブル機器など、撮影機能を有する任意の種類の端末によって実行することができる。本実施形態では、撮像装置10の台数が1台の場合、撮像装置10は、前面カメラまたは背面カメラとすることができる。撮像装置10の台数が2台の場合、2台の撮像装置10は、それぞれ、前面カメラおよび背面カメラとすることができるか、あるいは、2台の撮像装置10の双方とも、前面カメラであるか、あるいは、2台の撮像装置10の双方とも、背面カメラである。撮像装置10の台数が2台よりも多い場合、撮像装置10は、前面カメラおよび背面カメラを除く、トップカメラ、ボトムカメラ、ラテラルカメラなど、任意の位置に配置されたカメラとすることができる。
本開示の第8の実施形態にかかる画像処理方法、画像処理装置111、制御方法、制御装置11、撮像装置10、および電子機器100では、2つの画像が撮影され、一方は等露出画像であり、他方は露出過小画像であり、2つの画像は、双方ともぼけており、そして、ぼけた露出過大部分の輝度が増加され、対応する偽の露出過大部分が抽出され、ぼけた等露出画像のぼけた露出過大部分が偽の露出過大部分に置換され、実際のフレア効果を有するぼけた画像にマージする。フレア効果が優れている。
ブロックS27およびS28はまた、画像処理方法の第6の実施形態および制御方法の第6の実施形態にも適用可能であることが理解することができる。対応して、第1の出力モジュール1117および第2の出力モジュール1118はまた、画像処理装置の第6の実施形態、制御装置の第6の実施形態、画像処理装置の第6の実施形態、および電子機器の第6の実施形態にも適用可能である。ブロックS27およびS28はまた、画像処理方法の第7の実施形態および制御方法の第7の実施形態にも適用可能である。対応して、第1の出力モジュール1117および第2の出力モジュール1118はまた、画像処理装置の第7の実施形態、制御装置の第7の実施形態、画像処理装置の第7の実施形態、および電子機器の第7の実施形態にも適用可能である。
図56を参照して、上述した第5から第8の実施形態にかかる制御方法において、制御方法を使用して制御される撮像装置がカメラレンズを含む場合、撮像装置を制御して同一シーンの等露出画像および露出過小画像を出力すること(ブロックS26)は、ブロックにおいて以下の動作を含むことができる。
ブロックS261において、第1の露出値が明環境に基づいて判定される。
ブロックS262において、第2の露出値が露出過大部分に基づいて判定される。
ブロックS263において、カメラレンズが制御され、第1の露出値および第2の露出値を使用して順次露出を行い、等露出画像および露出過小画像を取得する。
対応して、図57を参照すると、第5から第8の実施形態にかかる制御装置11の制御モジュール112は、ブロックS261、S262、およびS263を実行するように構成された第1の露出判定ユニット1131、第2の露出判定ユニット1132、および第1の制御ユニット1133を含む。すなわち、第1の露出判定ユニット1131は、明環境に基づいて第1の露出量を判定するように構成される。第2の露出判定ユニット1132は、露出過大部分に基づいて第2の露出値を判定するように構成される。第1の制御ユニット1133は、カメラレンズを制御して、第1の露出値および第2の露出値を使用して順次露出を行い、等露出画像および露出過小画像を取得するように構成される。
対応して、第5から第8の実施形態にかかる撮像装置10および電子機器100の制御モジュール112もまた、第1の露出判定ユニット1131、第2の露出判定ユニット1132、および第1の制御ユニット1133を含むことができ、その構造および機能は、上記と同一であり、ここでは詳述しない。
図58を参照して、上述した第5から第8の実施形態にかかる制御方法において、制御方法を使用して制御される撮像装置が第1のカメラレンズおよび第2のカメラレンズを含む場合、撮像装置を制御して同一シーンの等露出画像および露出過小画像を出力すること(ブロックS26)は、ブロックにおいて以下の動作を含むことができる。
ブロックS261において、第1の露出値が明環境に基づいて判定される。
ブロックS262において、第2の露出値が露出過大部分に基づいて判定される。
ブロックS264において、第1のカメラレンズおよび第2のカメラレンズは、それぞれ、第1の露出値および第2の露出値を使用して露出を行うように制御され、等露出画像および露出過小画像を取得する。
対応して、図59を参照すると、第5から第8の実施形態にかかる制御装置11の制御モジュール112は、ブロックS261、S262、およびS264を実行するように構成された第1の露出判定ユニット1131、第2の露出判定ユニット1132、および第2の制御ユニット1134を含む。すなわち、第1の露出判定ユニット1131は、明環境に基づいて第1の露出量を判定するように構成される。第2の露出判定ユニット1132は、露出過大部分に基づいて第2の露出値を判定するように構成される。第2の制御ユニット1134は、第1のカメラレンズおよび第2のカメラレンズをそれぞれ制御して、第1の露出値および第2の露出値を使用して露出を行い、等露出画像および露出過小画像を取得するように構成される。
対応して、第5から第8の実施形態にかかる撮像装置10および電子機器100の制御モジュール112もまた、第1の露出判定ユニット1131、第2の露出判定ユニット1132、および第2の制御ユニット1134を含むことができ、その構造および機能は、上記と同一であり、ここでは詳述しない。
本開示のいくつかの実施形態は、電子機器を提供する。電子機器は、ハウジング、プロセッサ、記憶装置、回路基板、および電源回路を含む。回路基板は、ハウジングによって画定された空間内に配置されている。プロセッサおよび記憶装置は、回路基板上に配置されている。電源回路は、電子機器の各回路または装置に電力を供給するように構成される。記憶装置は、実行可能プログラムコードを記憶するように構成される。プロセッサは、記憶装置に記憶された実行可能プログラムコードを読み出すことにより、実行可能プログラムコードに対応するプログラムを実行し、前述した実施形態のいずれかの画像処理方法または前述した実施形態のいずれかの制御方法を実行する。電子機器は、携帯電話、タブレット、ノートブックコンピュータ、スマートウォッチ、スマートリング、スマートヘルメット、およびスマートグラスのいずれかによって実施することができる。
本開示の実施形態はまた、命令を記憶したコンピュータ可読記憶媒体を提供する。電子機器のプロセッサによって命令が実行されると、電子機器は、前述した実施形態のいずれかの画像処理方法または前述した実施形態のいずれかの制御方法を実行する。
本明細書を通して、「実施形態(an embodiment)」、「いくつかの実施形態(some embodiments)」、「一実施形態(one embodiment)」、「他の例(another example)」、「例(an example)」、「特定の例(a specific example)」、または「いくつかの例(some examples)」という言及は、実施形態または例に関連して説明された特定の特徴、構造、材料、または特性が本開示の少なくとも1つの実施形態または例に含まれることを意味する。したがって、本明細書を通して様々な場所における「いくつかの実施形態では(in some embodiments)」、「一実施形態では(in one embodiment)」、「実施形態では(in an embodiment)」、「他の例では(in another example)」、「例では(in an example)」、「特定の例では(in a specific example)」、または「いくつかの例では(in some examples)」などのフレーズの出現は、必ずしも本開示の同じ実施形態または例を指していない。さらにまた、特定の特徴、構造、材料、または特性は、1つ以上の実施形態または例において任意の適切な方法で組み合わせることができる。
フローチャートに記載されたまたは他の方法で本明細書に記載された任意のプロセスまたは方法は、プロセスにおける特定の論理機能またはステップを達成するための実行可能命令の1つ以上のモジュール、セグメントまたはコードの一部を含むように理解することができ、本開示の好ましい実施形態の範囲は、必ずしもここに示されて説明された順序におけるものではなく、おそらく関係する機能のほぼ同じまたは逆の順序を含む他の実装を含み、それは当業者によって理解されるべきである。
例えば、論理機能を実現するための実行可能命令の特定のシーケンステーブルなど、本明細書において他の方法で説明されるかまたはフローチャートに示される論理および/またはステップは、命令実行システム、装置もしくは機器(コンピュータベースのシステム、プロセッサを含むシステム、もしくは命令実行システム、装置および機器から命令を取得してその命令を実行することができる他のシステムなど)によって使用されることになる、またはその命令実行システム、装置および機器と組み合わせて使用されることになる任意のコンピュータ可読媒体において具体的に達成することができる。本明細書に関して、「コンピュータ可読媒体」は、命令実行システム、装置または機器によってまたはそれらと組み合わせて使用されることになるプログラムを含むため、記憶するため、通信するため、伝播するためまたは転送するために適応する任意の装置とすることができる。コンピュータ可読媒体のより具体的な例は、それらに限定されるものではないが、1つ以上のワイヤを有する電子接続(電子機器)、携帯用コンピュータエンクロージャ(磁気デバイス)、ランダムアクセスメモリ(RAM)、読み出し専用メモリ(ROM)、消去可能プログラマブル読み出し専用メモリ(EPROMまたはフラッシュメモリ)、光ファイバ装置および携帯用コンパクトディスク読み出し専用メモリ(CDROM)を含む。さらに、コンピュータ可読媒体は、さらに、プログラムを印刷することができる紙または他の適切な媒体とすることができる。これは、例えば、プログラムを電気的に取得する必要がある場合に、紙または他の適切な媒体が光学的にスキャンされてから編集、復号または他の適切な方法で処理され、そのプログラムがコンピュータメモリに記憶することができるためである。
本開示の各部分は、ハードウェア、ソフトウェア、ファームウェアまたはそれらの組み合わせによって実現することができると理解されるべきである。上記の実施形態において、複数のステップまたは方法は、メモリに記憶され且つ適切な命令実行システムによって実行されるソフトウェアまたはファームウェアによって実現されてもよい。例えば、他の実施形態と同様にハードウェアによって実現される場合、ステップまたは方法は、当該技術分野において知られている以下の技術のうちの1つまたは組み合わせによって実現することができる:データ信号の論理機能を実現する論理ゲート回路を有する離散論理回路、適切な組み合わせ論理ゲート回路を有する特定用途向け集積回路、プログラマブルゲートアレイ(PGA)、フィールドプログラマブルゲートアレイ(FPGA)など。
当業者は、本開示の上記の例示的な方法におけるステップの全部または一部が、プログラムによって関連するハードウェアに命令することによって達成することができることを理解するであろう。プログラムは、コンピュータ可読記憶媒体に記憶することができ、プログラムは、コンピュータ上で実行されたときに本開示の方法の実施形態におけるステップのうちの1つまたは組み合わせを含む。
さらに、本開示の実施形態の各機能セルは、処理モジュールに統合されてもよく、またはこれらのセルは、別々の物理的存在であってもよく、または2つ以上のセルが処理モジュールに統合されてもよい。統合モジュールは、ハードウェアの形態またはソフトウェア機能モジュールの形態で実現することができる。統合モジュールがソフトウェア機能モジュールの形態で実現され、スタンドアロン製品として販売または使用されるとき、統合モジュールは、コンピュータ可読記憶媒体に記憶されてもよい。
上述した記憶媒体は、読み出し専用メモリ、磁気ディスク、またはCDなどとすることができる。例示的な実施形態が示されて説明されたが、上記の実施形態は、本開示を限定するものと解釈されることはできず、本開示の範囲から逸脱することなく、実施形態において変形、代替、および変更が行われることができることが当業者によって理解されるであろう。