JP7334880B2 - 画像データを処理するための方法、装置、プログラム、及び記録媒体 - Google Patents
画像データを処理するための方法、装置、プログラム、及び記録媒体 Download PDFInfo
- Publication number
- JP7334880B2 JP7334880B2 JP2021520323A JP2021520323A JP7334880B2 JP 7334880 B2 JP7334880 B2 JP 7334880B2 JP 2021520323 A JP2021520323 A JP 2021520323A JP 2021520323 A JP2021520323 A JP 2021520323A JP 7334880 B2 JP7334880 B2 JP 7334880B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- mode
- image
- captured
- fusion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 144
- 238000000034 method Methods 0.000 title claims description 75
- PWPJGUXAGUPAHP-UHFFFAOYSA-N lufenuron Chemical compound C1=C(Cl)C(OC(F)(F)C(C(F)(F)F)F)=CC(Cl)=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F PWPJGUXAGUPAHP-UHFFFAOYSA-N 0.000 title 1
- 230000004927 fusion Effects 0.000 claims description 114
- 238000003384 imaging method Methods 0.000 claims description 27
- 230000009467 reduction Effects 0.000 claims description 17
- 238000002156 mixing Methods 0.000 claims description 10
- 238000004891 communication Methods 0.000 claims description 8
- 238000011946 reduction process Methods 0.000 claims description 7
- 230000004044 response Effects 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 4
- 230000005055 memory storage Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 19
- 230000008569 process Effects 0.000 description 17
- 238000004364 calculation method Methods 0.000 description 9
- 230000035945 sensitivity Effects 0.000 description 7
- 230000008859 change Effects 0.000 description 5
- 230000001133 acceleration Effects 0.000 description 3
- 238000013500 data storage Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 239000007787 solid Substances 0.000 description 3
- 239000000835 fiber Substances 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6811—Motion detection based on the image signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Studio Devices (AREA)
Description
撮影命令(ユーザ、タイマー、プログラム等による撮影命令等)に応じて、上記第1モードを第2モードに切り替える段階であって、上記第2モードでは第2の解像度が設定され、上記第2の解像度は、上記第1の解像度とは異なる段階と、
上記第2モードにおいて捕捉される第2の画像データを取得する段階と、
第1モードベースの融合を適用して、上記第2の画像データを、基準画像データとして使用される上記第1の画像データと融合させる段階と、
を含む、撮像ユニットによって捕捉される画像データ等の画像データを処理する方法。
第1モード画像データ(すなわち、第1モードにおいて捕捉された第1の画像データ)は、第1モードベースの融合において基準画像データとなることが留意され得る。
第1モード画像データ(すなわち、第1モードにおいて捕捉された第1の画像データ)と第2モード画像データ(すなわち、第2モードにおいて捕捉された第2の画像データ)とを融合した後、融合画像データが出力される。
第1の解像度を除いて、通常モード又は通常モードの情報も第1モードに含まれることに留意されたい。例えば、段落[0107]の説明を参照されたい。
撮像ユニット20は、段落[0042]等の説明において詳細に説明されていることに留意されたい。
第1モードベースの融合を使用することによって、第2モードの画像データは、第1モードの画像データと融合されることに留意されたい。例えば、第1モードベースの融合は、図4のブロック(61~67)に対応し得る。
第1モードにおいて捕捉された画像データのセットから、最も少数の移動オブジェクトを有する最もシャープな画像が選択又は決定され得ることが理解され得る。第2モードにおいて捕捉された画像データのセットから、最も少数の移動オブジェクトを有する最もシャープな画像が選択又は決定され得ることが理解され得る。
上記第1モードを第2モードに切り替える段階は、上記第1モードベースの融合が適用されることが決定され、上記撮影命令が受信されると、上記第1モードを第2モードに切り替える段階を含む。一例において、段落[0070]の式(1)~(7)が撮像条件に対応する。これにより、融合画像データが高画像品質画像データであることが確実にされ得る。
上記第1モード及び上記第2モード間のカメラ揺れ補償を実行する段階、特に、上記第1モード及び上記第2モードにおいて捕捉されたフレーム間のカメラ揺れ補償を実行する段階を更に含んでよく、上記フレームは、第1モードにおいて捕捉された第1フレーム(上記第1の画像データを含む)及び第2モードにおいて捕捉された第2フレーム(第2の画像データを含む)を含んでよく、
上記第1モードベースの融合を適用する段階において、上記カメラ揺れ補償の後の上記第2の画像データと、上記第1の画像データとが使用される。第1の画像データは、基準画像データとして使用されてよく、したがって、第2の画像データは、第1の画像データに対するカメラ揺れを有し、そのため、カメラ揺れ補償は第2の画像データに適用されることが理解され得る。これにより、融合画像データが高画像品質画像データであることが確実にされ得る。
上記第1モードが通常モードであってよく、上記第2モードが高解像度モードであってよい。これにより、融合画像データが高画像品質画像データであることが確実にされ得る。
上記第1モードベースの融合を適用する段階において、上記ノイズ低減処理の後の上記第1の画像データ及び上記第2の画像データが使用されてよい。これにより、融合画像データが高画像品質画像データであることが確実にされ得る。
ビデオシーケンスの連続画像フレーム間の変化に基づいて異なるモードベースの融合が適用されるか否かを決定する段階、特に、ビデオシーケンスの画像フレーム間の変化に基づいて、上記異なるモードにおいて捕捉される上記画像データを融合するように異なるモードベースの融合が適用されるか否かを決定する段階と、
上記決定の結果に基づいて、上記ビデオシーケンスの上記画像データに対して上記モードベースの融合を適用する段階、例えば、異なるモードにおいて捕捉される画像データを融合するために上記モードベースの融合が適用されることになることが決定された場合、上記ビデオシーケンスの上記画像データに対して上記モードベースの融合を適用する段階と、
を含む、撮像ユニットによって捕捉される画像データ等の画像データを処理する方法。
撮影命令(ユーザ、タイマー、プログラム等による撮影命令等)に応じて、上記第1モードを第2モードに切り替えるように構成されている切り替えユニットであって、上記第2モードでは第2の解像度が設定され、上記第2の解像度は、上記第1の解像度とは異なる切り替えユニットと、
上記第2モードにおいて捕捉される、特に、第2モードの第2の解像度で捕捉される、第2の画像データを取得するように構成されている第2の取得ユニットと、
第1モードベースの融合を適用して、上記第2の画像データを、基準画像データである上記第1の画像データと融合させるように構成されている融合ユニットと、
を備える、撮像ユニットによって捕捉される画像データ等の画像データを処理する装置。第3の態様によれば、高画像品質画像データが出力され得る。特に、第1及び第2モード間の画像データが融合される。上記モードは異なる解像度を有し、これらのモードにおいて異なる解像度及び感度の画像を取得可能である。したがって、融合画像データは、高品質画像データとして出力され得る。
上記切り替えユニットは、上記第1モードベースの融合が適用されることが決定され、上記撮影命令が受信されると、上記第1モードを第2モードに切り替えるように構成されてよい。これにより、融合画像データが高画像品質画像データであることが確実にされ得る。
上記融合ユニットは、上記カメラ揺れ補償後の第2の画像データ及び上記第1の画像データに融合を適用して、カメラ揺れ補償後の第2の画像データを、基準画像データとして使用される第1の画像データと融合させるように構成されてよい。特に、各第2の画像データは、異なるモード間でカメラ揺れを有する。これにより、融合画像データが高画像品質画像データであることが確実にされ得る。
上記融合ユニットは、ノイズ低減処理後の上記第1の画像データ及び上記第2の画像データに融合を適用するように構成されてよい。
ビデオシーケンスの連続フレーム間の変化に基づいて、上記異なるモードにおいて捕捉される上記画像データを融合するように異なるモードベースの融合が適用されるか否かを決定するように構成されている決定ユニットと、
上記決定の結果に基づいて、上記ビデオシーケンスの上記画像データに対して異なるモードベースの融合を適用するように構成されている融合ユニットと、
を備える、撮像ユニットによって捕捉される画像データを処理する装置。
[第1の実施形態]
[画像処理装置10の構成]
[高解像度モードにおける画像処理の概要]
[高解像度モードにおける画像処理装置の詳細な構成例]
合焦位置の差≦閾値B (2)
平均値の差≦閾値C (3)
偏差値の差≦閾値D (4)
x軸の加速度の差≦閾値E (5)
y軸の加速度の差≦閾値F (6)
z軸の加速度の差≦閾値G (7)
[通常モードにおける画像処理の概要]
[通常モードにおける画像処理装置の詳細な構成例]
[画像処理装置10の機能構成]
[画像処理装置10の動作]
[第2の実施形態]
[第3の実施形態]
(項目1) 第1モードにおいて捕捉される第1の画像データを取得する段階であって、上記第1モードでは第1の解像度が設定される段階と、
撮影命令に応じて、上記第1モードを第2モードに切り替える段階であって、上記第2モードでは第2の解像度が設定され、上記第2の解像度は、上記第1の解像度とは異なる段階と、
上記第2モードにおいて捕捉される第2の画像データを取得する段階と、
第1モードベースの融合を適用して、上記第2の画像データを、基準画像データである上記第1の画像データと融合させる段階と、
を含む、画像データを処理する方法。
(項目2) 上記方法は、上記第1の画像データを選択するとともに、上記第2の画像データを選択する段階を更に含む、項目1に記載の方法。
(項目3) 選択される上記第1の画像データは、移動オブジェクトを有しない又は最も少数の移動オブジェクトを有する最もシャープな画像であり、選択される上記第2の画像データは、移動オブジェクトを有しない又は最も少数の移動オブジェクトを有する最もシャープな画像である、項目2に記載の方法。
(項目4) 上記方法は、撮像条件に基づいて、上記第1モードベースの融合が適用されるか否かを決定する段階を更に含み、
上記第1モードを第2モードに切り替える段階は、上記第1モードベースの融合が適用されることが決定され、上記撮影命令が受信されると、上記第1モードを第2モードに切り替える段階を含む、項目1~3のいずれかに記載の方法。
(項目5) 上記撮像条件に基づいて、上記第1モードベースの融合が適用されるか否かを決定する段階は、上記撮影命令が受信されるまで第1モードにおいて捕捉された連続フレーム間の変化に基づいて、上記第1モードベースの融合が適用されるか否かを決定する段階を含む、項目4に記載の方法。
(項目6) 上記連続フレーム間の上記変化は、露出、合焦位置、ブロック平均、ブロック偏差、及び各軸の角速度に関する変化の全て又はいずれかを含む、項目5に記載の方法。
(項目7) 上記第1の画像データ及び上記第2の画像データは、同じ視野角及び同じ合焦位置を有するように設定される、項目1~6のいずれか1つに記載の方法。
(項目8) 上記第1モードベースの融合は、上記撮影命令までに捕捉された上記画像を使用して、上記撮影命令から撮影完了までのタイムラグが無いゼロシャッタラグと組み合わせられる、項目1~7のいずれか1つに記載の方法。
(項目9) 上記第1モード及び上記第2モードにおいて捕捉されたフレーム間のカメラ揺れ補償を実行する段階であって、上記フレームは、上記第1モードにおいて捕捉された第1フレームと、上記第2モードにおいて捕捉された第2フレームとを含む段階を更に含み、
上記第1モードベースの融合を適用する段階において、上記カメラ揺れ補償の後の上記第2の画像データと、上記第1の画像データとが使用される、項目1~8のいずれか1つに記載の方法。
(項目10)
上記第1モードが高解像度モードであり、上記第2モードが通常モードであるか、又は、
上記第1モードが通常モードであり、上記第2モードが高解像度モードである、項目1~9のいずれか1つに記載の方法。
(項目11)
上記第1の画像データ及び上記第2の画像データは、上記撮像ユニットにおける1つのイメージセンサから取得される、項目1~10のいずれか1つに記載の方法。
(項目12)
上記方法は、上記第1モード及び上記第2モードにおいて捕捉された画像データの単位で複数の画像データを融合することによって、ノイズ低減処理を実行する段階を更に備え、
上記第1モードベースの融合を適用する段階において、上記ノイズ低減処理の後の上記第1の画像データ及び上記第2の画像データが使用される、項目1~11のいずれか1つに記載の方法。
(項目13)
異なるモードにおいて捕捉される複数の画像データを含むビデオシーケンスを取得する段階であって、上記異なるモードでは異なる解像度が設定される段階と、
ビデオシーケンスの画像フレーム間の変化に基づいて、上記異なるモードにおいて捕捉される上記画像データを融合するように異なるモードベースの融合が適用されるか否かを決定する段階と、
上記決定の結果に基づいて、上記ビデオシーケンスの上記画像データに対して上記モードベースの融合を適用する段階と、
を含む、画像データを処理する方法。
(項目14)
第1の解像度を有する第1モードにおいて捕捉される複数の第1の画像データを取得するように構成されている第1の取得ユニットと、
撮影命令に応じて、上記第1モードを第2モードに切り替えるように構成されている切り替えユニットであって、上記第2モードでは第2の解像度が設定され、上記第2の解像度は、上記第1の解像度とは異なる切り替えユニットと、
上記第2モードにおいて捕捉される第2の画像データを取得するように構成されている第2の取得ユニットと、
第1モードベースの融合を適用して、上記第2の画像データを、基準画像データとして使用される上記第1の画像データと融合させるように構成されている融合ユニットと、
を備える、画像データを処理する装置。
(項目15)
融合ユニットは、上記第1の画像データ及び上記第2の画像データを選択するように更に構成されている、項目14に記載の装置。
(項目16)
選択される上記第1の画像データは、移動オブジェクトを有しない又は最も少数の移動オブジェクトを有する最もシャープな画像であり、選択される上記第2の画像データは、移動オブジェクトを有しない又は最も少数の移動オブジェクトを有する最もシャープな画像である、項目14又は15に記載の装置。
(項目17)
撮像条件に基づいて、上記第1モードベースの融合が適用されるか否かを決定するように構成されている決定ユニットを更に備え、
上記切り替えユニットは、上記第1モードベースの融合が適用されることが決定され、上記撮影命令が受信されると、上記第1モードを第2モードに切り替えるように構成されている、項目14~16のいずれか1つに記載の装置。
(項目18)
決定ユニットは、具体的には、上記撮影命令が受信されるまで第1モードにおいて捕捉された連続フレーム間の変化に基づいて、上記第1モードベースの融合が適用されるか否かを決定するように構成されている、項目17に記載の装置。
(項目19)
上記フレーム間の上記変化は、露出、合焦位置、ブロック平均、ブロック偏差、及び各軸の角速度に関する変化の全て又はいずれかを含む、項目18に記載の装置。
(項目20)
上記第1の画像データ及び上記第2の画像データは、同じ視野角及び同じ合焦位置を有するように設定される、項目14~19のいずれか1つに記載の装置。
(項目21)
上記第1モードベースの融合は、上記撮影命令までに捕捉された上記画像を使用して、上記撮影命令から撮影完了までのタイムラグが無いゼロシャッタラグと組み合わせられる、項目14~20のいずれか1つに記載の装置。
(項目22)
融合ユニットは、上記第1モード及び上記第2モードにおいて捕捉されたフレーム間のカメラ揺れ補償を実行するように構成されている整合ユニットあって、上記フレームは、上記第1モードにおいて捕捉された第1フレームと、上記第2モードにおいて捕捉された第2フレームとを含む整合ユニットを備え、
上記融合ユニットは、上記カメラ揺れ補償後の第2の画像データ及び上記第1の画像データに融合を適用して、カメラ揺れ補償後の第2の画像データを、基準画像データとして使用される第1の画像データと融合させるように構成されている、項目14~21のいずれか1つに記載の装置。
(項目23)
上記第1モードが高解像度モードであり、上記第2の捕捉モードが通常モードであるか、又は、上記第1モードが通常モードであり、上記第2の捕捉モードが高解像度モードである、項目14~22のいずれか1つに記載の装置。
(項目24)
上記第1の画像データ及び上記第2の画像データは、同じイメージセンサから取得される、項目14~23のいずれか1つに記載の装置。
(項目25)
上記第1モード及び上記第2モードにおいて捕捉された画像データの単位で複数の画像データを融合することによって、ノイズ低減処理を実行するように構成されている低減ユニットを更に備え、
上記融合ユニットは、ノイズ低減処理後の上記第1の画像データ及び上記第2の画像データに融合を適用するように構成されている、項目14~24のいずれか1つに記載の装置。
(項目26)
異なるモードにおいて捕捉される複数の画像データを含むビデオシーケンスを取得するように構成されている取得ユニットであって、上記異なるモードでは異なる解像度が設定される取得ユニットと、
ビデオシーケンスの画像フレーム間の変化に基づいて、異なるモードベースの融合が適用されるか否かを決定するように構成されている決定ユニットと、
上記決定の結果に基づいて、上記ビデオシーケンスの上記画像データに対して異なるモードベースの融合を適用するように構成されている融合ユニットと、
を備える、撮像ユニットによって捕捉される画像データを処理する装置。
(項目27)
カメラモジュールと、
命令を含む不揮発性メモリストレージと、
上記カメラモジュール及び上記メモリと通信する1つ又は複数のプロセッサと、
を備え、上記1つ又は複数のプロセッサは、
第1モードにおいて捕捉される第1の画像データを取得する段階であって、上記第1モードでは第1の解像度が設定される段階と、
撮影命令に応じて、上記第1モードを第2モードに切り替える段階であって、上記第2モードでは第2の解像度が設定され、上記第2の解像度は、上記第1の解像度とは異なる段階と、
上記第2モードにおいて捕捉される第2の画像データを取得する段階と、
第1モードベースの融合を適用して、上記第2の画像データを、基準画像データである上記第1の画像データと融合させる段階と、
を行わせるように上記命令を実行する、デバイス。
(項目28)
上記1つ又は複数のプロセッサは、上記第1の画像データを選択するとともに、上記第2の画像データを選択するように更に構成されている、項目27に記載のデバイス。
(項目29)
選択される上記第1の画像データは、移動オブジェクトを有しない又は最も少数の移動オブジェクトを有する最もシャープな画像であり、選択される上記第2の画像データは、移動オブジェクトを有しない又は最も少数の移動オブジェクトを有する最もシャープな画像である、項目28に記載のデバイス。
(項目30)
1つ又は複数のプロセッサは、撮像条件に基づいて、上記第1モードベースの融合が適用されるか否かを決定し、
上記第1モードベースの融合が適用されることが決定され、上記撮影命令が受信されると、上記第1モードを第2モードに切り替えるように更に構成されている、項目27~29のいずれかに記載のデバイス。
(項目31)
上記1つ又は複数のプロセッサは、上記撮影命令が受信されるまで第1モードにおいて捕捉された連続フレーム間の変化に基づいて、上記第1モードベースの融合が適用されるか否かを決定するように構成されている、項目30に記載のデバイス。
(項目32)
上記連続フレーム間の上記変化は、露出、合焦位置、ブロック平均、ブロック偏差、及び各軸の角速度に関する変化の全て又はいずれかを含む、項目31に記載のデバイス。
(項目33)
上記第1の画像データ及び上記第2の画像データは、同じ視野角及び同じ合焦位置を有するように設定される、項目27~32のいずれか1つに記載のデバイス。
(項目34)
上記第1モードベースの融合は、上記撮影命令までに捕捉された上記画像を使用して、上記撮影命令から撮影完了までのタイムラグが無いゼロシャッタラグと組み合わせられる、項目27~33のいずれか1つに記載のデバイス。
(項目35)
上記1つ又は複数のプロセッサは、上記第1モード及び上記第2モードにおいて捕捉されたフレーム間のカメラ揺れ補償を実行するように更に構成され、上記フレームは、上記第1モードにおいて捕捉された第1フレームと、上記第2モードにおいて捕捉された第2フレームとを含み、
上記第1モードベースの融合を適用する段階において、上記カメラ揺れ補償の後の上記第2の画像データと、上記第1の画像データとが使用される、項目27~34のいずれか1つに記載のデバイス。
(項目36)
上記第1モードが高解像度モードであり、上記第2モードが通常モードであるか、又は、
上記第1モードが通常モードであり、上記第2モードが高解像度モードである、項目27~35のいずれか1つに記載のデバイス。
(項目37)
上記第1の画像データ及び上記第2の画像データは、上記撮像ユニットにおける1つのイメージセンサから取得される、項目27~36のいずれか1つに記載のデバイス。
(項目38)
上記1つ又は複数のプロセッサは、上記第1モード及び上記第2モードにおいて捕捉された画像データの単位で複数の画像データを融合することによって、ノイズ低減処理を実行するように更に構成され、
上記第1モードベースの融合を適用する段階において、上記ノイズ低減処理の後の上記第1の画像データ及び上記第2の画像データが使用される、項目27~37のいずれか1つに記載のデバイス。
(項目39)
上記カメラモジュールは、イメージセンサを備える、項目27~38のいずれか1つに記載のデバイス。
(項目40)
コンピュータに、項目1~13のいずれか1つに記載の方法を実行させるプログラムを記録したコンピュータ可読記憶媒体。
(項目41)
コンピュータに、項目1~13のいずれか1つに記載の方法を実行させる、コンピュータプログラム。
Claims (14)
- 第1モードにおいて捕捉される第1の画像データを取得する段階であって、前記第1モードでは第1の解像度が設定される段階と、
撮影命令に応じて、前記第1モードを第2モードに切り替える段階であって、前記第2モードでは第2の解像度が設定され、前記第2の解像度は、前記第1の解像度とは異なる段階と、
前記第2モードにおいて捕捉される第2の画像データを取得する段階と、
第1モードベースの融合を適用して、前記第2の画像データを、基準画像データである前記第1の画像データと融合させる段階と、
撮像条件に基づいて、前記第1モードベースの融合が適用されるか否かを決定する段階と、
を含み、
前記第1モードを第2モードに切り替える段階は、前記第1モードベースの融合が適用されることが決定され、前記撮影命令が受信されると、前記第1モードを第2モードに切り替える段階を含む、画像データを処理する方法。 - 前記方法は、前記第1の画像データを選択するとともに、前記第2の画像データを選択する段階を更に含む、請求項1に記載の方法。
- 選択される前記第1の画像データは、移動オブジェクトを有しない又は最も少数の移動オブジェクトを有する最もシャープな画像であり、選択される前記第2の画像データは、移動オブジェクトを有しない又は最も少数の移動オブジェクトを有する最もシャープな画像である、請求項2に記載の方法。
- 前記撮像条件に基づいて、前記第1モードベースの融合が適用されるか否かを決定する段階は、前記撮影命令が受信されるまで前記第1モードにおいて捕捉された連続フレーム間の変化に基づいて、前記第1モードベースの融合が適用されるか否かを決定する段階を含む、請求項1から3のいずれか一項に記載の方法。
- 前記連続フレーム間の前記変化は、露出、合焦位置、ブロック平均、ブロック偏差、及び各軸の角速度に関する変化の全て又はいずれかを含む、請求項4に記載の方法。
- 前記第1の画像データ及び前記第2の画像データは、同じ視野角及び同じ合焦位置を有するように設定される、請求項1~5のいずれか一項に記載の方法。
- 前記第1モードベースの融合は、前記撮影命令までに捕捉された前記第1の画像データを使用して、前記撮影命令から撮影完了までのタイムラグが無いゼロシャッタラグと組み合わせられる、請求項1~6のいずれか一項に記載の方法。
- 前記第1モード及び前記第2モードにおいて捕捉されたフレーム間のカメラ揺れ補償を実行する段階であって、前記フレームは、前記第1モードにおいて捕捉された第1フレームと、前記第2モードにおいて捕捉された第2フレームとを含む段階を更に含み、
前記第1モードベースの融合を適用する段階において、前記カメラ揺れ補償の後の前記第2の画像データと、前記第1の画像データとが使用される、請求項1~7のいずれか一項に記載の方法。 - 前記第1モードが高解像度モードであり、前記第2モードが通常モードであるか、又は、
前記第1モードが通常モードであり、前記第2モードが高解像度モードである、請求項1~8のいずれか一項に記載の方法。 - 前記第1の画像データ及び前記第2の画像データは、撮像ユニットにおける1つのイメージセンサから取得される、請求項1~9のいずれか一項に記載の方法。
- 前記方法は、前記第1モード及び前記第2モードにおいて捕捉された画像データの単位で複数の画像データを融合することによって、ノイズ低減処理を実行する段階を更に備え、
前記第1モードベースの融合を適用する段階において、前記ノイズ低減処理の後の前記第1の画像データ及び前記第2の画像データが使用される、請求項1~10のいずれか一項に記載の方法。 - カメラモジュールと、
命令を含む不揮発性メモリストレージと、
前記カメラモジュール及び前記不揮発性メモリストレージと通信する1つ又は複数のプロセッサであって、前記命令を実行して、請求項1~11のいずれか一項に記載の方法を実行する1つ又は複数のプロセッサと、
を備える、デバイス。 - コンピュータに、請求項1~11のいずれか一項に記載の方法を実行させるプログラムを記録したコンピュータ可読記憶媒体。
- コンピュータに、請求項1~11のいずれか一項に記載の方法を実行させる、コンピュータプログラム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2018/110308 WO2020077513A1 (en) | 2018-10-15 | 2018-10-15 | Method, apparatus, program and recording medium for processing image data |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022504849A JP2022504849A (ja) | 2022-01-13 |
JP7334880B2 true JP7334880B2 (ja) | 2023-08-29 |
Family
ID=70283310
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021520323A Active JP7334880B2 (ja) | 2018-10-15 | 2018-10-15 | 画像データを処理するための方法、装置、プログラム、及び記録媒体 |
Country Status (3)
Country | Link |
---|---|
JP (1) | JP7334880B2 (ja) |
CN (1) | CN112889264A (ja) |
WO (1) | WO2020077513A1 (ja) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2007102377A1 (ja) | 2006-03-03 | 2007-09-13 | Olympus Corporation | 撮像装置、高解像度化処理方法、高解像度化処理プログラム、及び記録媒体 |
WO2009098877A1 (ja) | 2008-02-06 | 2009-08-13 | Panasonic Corporation | 画像処理装置、及び画像処理方法 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8149283B2 (en) * | 2007-01-23 | 2012-04-03 | Nikon Corporation | Image processing device, electronic camera, image processing method, and image processing program |
JP5183297B2 (ja) * | 2008-05-19 | 2013-04-17 | 三洋電機株式会社 | 画像処理装置、撮像装置及び画像処理方法 |
JP2011091592A (ja) * | 2009-10-22 | 2011-05-06 | Panasonic Corp | 画像符号化装置、符号変換装置、画像記録装置、画像再生装置、画像符号化方法及び、集積回路 |
JP5995817B2 (ja) * | 2013-10-30 | 2016-09-21 | 京セラドキュメントソリューションズ株式会社 | 画像読取装置、画像形成装置、画像読取方法及び画像読取プログラム |
US9245365B2 (en) * | 2013-11-08 | 2016-01-26 | Adobe Systems Incorporated | Dynamic digital image compositing using image templates |
JP2015177221A (ja) * | 2014-03-13 | 2015-10-05 | オリンパス株式会社 | 撮像装置、撮像方法、データ記録装置、及びプログラム |
JP5788551B1 (ja) * | 2014-03-27 | 2015-09-30 | オリンパス株式会社 | 画像処理装置および画像処理方法 |
JP6346793B2 (ja) * | 2014-06-03 | 2018-06-20 | オリンパス株式会社 | 撮像装置、撮像装置の制御方法、及びプログラム |
TWI537875B (zh) * | 2015-04-08 | 2016-06-11 | 大同大學 | 影像合成方法與影像處理裝置 |
KR102469567B1 (ko) * | 2016-04-11 | 2022-11-22 | 삼성전자주식회사 | 이미징 장치 및 그 동작 방법 |
CN107360369B (zh) * | 2017-07-18 | 2021-06-08 | 深圳天珑无线科技有限公司 | 摄像装置及摄像装置的拍照方法、计算机可读存储介质 |
CN107770438B (zh) * | 2017-09-27 | 2019-11-29 | 维沃移动通信有限公司 | 一种拍照方法及移动终端 |
WO2019061064A1 (zh) * | 2017-09-27 | 2019-04-04 | 深圳市大疆创新科技有限公司 | 图像处理方法和设备 |
-
2018
- 2018-10-15 CN CN201880098710.9A patent/CN112889264A/zh active Pending
- 2018-10-15 WO PCT/CN2018/110308 patent/WO2020077513A1/en active Application Filing
- 2018-10-15 JP JP2021520323A patent/JP7334880B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2007102377A1 (ja) | 2006-03-03 | 2007-09-13 | Olympus Corporation | 撮像装置、高解像度化処理方法、高解像度化処理プログラム、及び記録媒体 |
WO2009098877A1 (ja) | 2008-02-06 | 2009-08-13 | Panasonic Corporation | 画像処理装置、及び画像処理方法 |
Also Published As
Publication number | Publication date |
---|---|
WO2020077513A1 (en) | 2020-04-23 |
JP2022504849A (ja) | 2022-01-13 |
CN112889264A (zh) | 2021-06-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI446098B (zh) | 成像裝置及其快門驅動模式選擇方法 | |
TWI387330B (zh) | 具有用於拍攝平移圖像之平移模式的攝像裝置 | |
JP2008129554A (ja) | 撮像装置及びオートフォーカス制御方法 | |
JP6652039B2 (ja) | 撮像装置、撮像方法及びプログラム | |
JP2009100373A (ja) | ノイズ低減処理装置、ノイズ低減処理方法、及び電子機器 | |
JP2015049402A (ja) | 焦点ずれ量検出装置およびその制御方法、撮像装置 | |
US10401174B2 (en) | Posture estimating apparatus for estimating posture, posture estimating method and recording medium | |
US9007479B2 (en) | Imaging apparatus and evaluation value generation apparatus | |
JP7320024B2 (ja) | 撮像素子、撮像装置、画像データ処理方法、及びプログラム | |
TW201223268A (en) | Imaging apparatus, signal processing method, and program | |
JP2013123172A (ja) | 撮像装置およびプログラム | |
WO2016169488A1 (zh) | 图像处理方法、装置、计算机存储介质和终端 | |
US20140118596A1 (en) | Imaging device and imaging method | |
US20240080410A1 (en) | Imaging apparatus, image data processing method of imaging apparatus, and program | |
JP2005198148A (ja) | 固体撮像素子、撮像装置、および固体撮像素子の駆動方法 | |
JP5959194B2 (ja) | 撮像装置 | |
JP5820720B2 (ja) | 撮像装置 | |
JP7334880B2 (ja) | 画像データを処理するための方法、装置、プログラム、及び記録媒体 | |
WO2018116824A1 (ja) | 制御装置、制御方法、並びにプログラム | |
JP5136624B2 (ja) | 撮像装置、撮像方法及びプログラム | |
US11356611B2 (en) | Image capture apparatus and control method thereof | |
US20160028957A1 (en) | Imaging device, a control method for transmitting picture signals, and a program | |
JP4687619B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP6091216B2 (ja) | 画像信号処理装置およびその制御方法、並びに撮像装置 | |
JP6632385B2 (ja) | 画像処理装置、撮像装置、画像処理方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210520 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220622 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220719 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220922 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230117 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230410 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230718 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230801 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7334880 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |