JP6718762B2 - 画像処理装置、撮像装置、画像処理方法およびプログラム - Google Patents
画像処理装置、撮像装置、画像処理方法およびプログラム Download PDFInfo
- Publication number
- JP6718762B2 JP6718762B2 JP2016143771A JP2016143771A JP6718762B2 JP 6718762 B2 JP6718762 B2 JP 6718762B2 JP 2016143771 A JP2016143771 A JP 2016143771A JP 2016143771 A JP2016143771 A JP 2016143771A JP 6718762 B2 JP6718762 B2 JP 6718762B2
- Authority
- JP
- Japan
- Prior art keywords
- unit
- image
- area
- synthesizing
- image information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 165
- 238000003384 imaging method Methods 0.000 title claims description 104
- 238000003672 processing method Methods 0.000 title claims description 7
- 238000000034 method Methods 0.000 claims description 199
- 230000002194 synthesizing effect Effects 0.000 claims description 98
- 239000000203 mixture Substances 0.000 claims description 89
- 230000015572 biosynthetic process Effects 0.000 claims description 84
- 238000003786 synthesis reaction Methods 0.000 claims description 84
- 230000008569 process Effects 0.000 claims description 81
- 238000000605 extraction Methods 0.000 claims description 59
- 239000002131 composite material Substances 0.000 claims description 46
- 239000000284 extract Substances 0.000 claims description 10
- 230000008859 change Effects 0.000 claims description 5
- 239000000654 additive Substances 0.000 claims description 3
- 230000000996 additive effect Effects 0.000 claims description 3
- 238000011284 combination treatment Methods 0.000 claims 1
- 238000006073 displacement reaction Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 43
- 230000000052 comparative effect Effects 0.000 description 35
- 230000004048 modification Effects 0.000 description 30
- 238000012986 modification Methods 0.000 description 30
- 238000001308 synthesis method Methods 0.000 description 15
- 230000007704 transition Effects 0.000 description 11
- 230000010365 information processing Effects 0.000 description 9
- 238000011161 development Methods 0.000 description 8
- 238000006243 chemical reaction Methods 0.000 description 7
- 239000003086 colorant Substances 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 229910044991 metal oxide Inorganic materials 0.000 description 2
- 150000004706 metal oxides Chemical class 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
Landscapes
- Exposure Control For Cameras (AREA)
- Image Processing (AREA)
- Television Signal Processing For Recording (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Description
〔撮像装置の構成〕
図1は、本発明の実施の形態1に係る撮像装置の機能構成を示すブロック図である。図1に示す撮像装置1は、撮像部10と、画像処理部20と、記録部21と、メモリI/F22と、記録媒体23と、表示部24と、入力部25と、バス26と、制御部27と、を備える。
次に、画像処理部20の詳細な構成について説明する。
画像処理部20は、画像合成部30と、画像情報処理部40と、現像処理部50と、を備える。
次に、撮像装置1が実行する処理について説明する。図2は、撮像装置1が実行する処理の概要を示すフローチャートである。
図4は、図2のステップS102における画像情報抽出処理の概要を示すフローチャートである。
ステップS103において、画像合成部30は、ユーザによって指定された領域毎に指定された合成方法を設定する合成設定処理を実行する。
図7は、図2のステップS103の合成設定処理の概要を示すフローチャートである。図8は、合成設定処理を模式的に説明する図である。
ステップS104において、入力部25から撮影を指示する指示信号が入力された場合(ステップS104:Yes)、撮像部10は、撮像を実行する(ステップS105)。これに対して、入力部25から撮影を指示する指示信号が入力されていない場合(ステップS104:No)、撮像装置1は、この判断を続ける。
次に、上述した図2のステップS107において説明した合成処理の詳細について説明する。図10は、画像合成部30が実行する合成処理の概要を示すフローチャートである。
ステップS406において、画像を合成する追加領域がある場合(ステップS406:Yes)、撮像装置1は、上述したステップS401へ戻る。これに対して、画像を合成する追加領域がない場合(ステップS406:No)、撮像装置1は、図2のメインルーチンへ戻る。
次に、本発明の実施の形態1の変形例1について説明する。本実施の形態1に係る変形例1は、上述した実施の形態1に係る撮像装置1と同様の構成を有し、画像合成部が実行する合成設定処理が異なる。具体的には、上述した実施の形態1では、入力部25から入力された指示信号に応じて、合成領域に指定された合成処理の内容を切り替える閾値を手動によって指定していたが、本実施の形態1の変形例1では、画像情報抽出部402によって抽出された画像情報に基づいて、合成領域に指定された合成処理の内容を切り替える閾値を自動的に指定する。以下においては、本実施の形態1の変形例1に係る画像合成部が実行する合成設定処理について説明する。なお、上述した実施の形態1に係る撮像装置1と同一の構成には同一の符号を付して説明を省略する。
図14は、本発明の実施の形態1の変形例1に係る撮像装置1が実行する合成設定処理の概要を示すフローチャートである。図14において、ステップS501およびステップS503は、上述した図7のステップS302およびステップS304それぞれに対応する。
次に、本発明の実施の形態1の変形例2について説明する。上述した実施の形態1では、画像情報としてYRGB(輝度成分、R成分、G成分およびB成分)を用いていたが、本実施の形態1の変形例2は、画像情報として時間的に並ぶ画像群において移動する被写体の移動量を用いる。また、本実施の形態1の変形例2に係る撮像装置は、上述した実施の形態1に係る撮像装置1と同様の処理を行うため、本実施の形態1の変形例2に係る撮像装置が実行する処理の詳細については説明を省略し、本実施の形態1の変形例2に係る撮像装置が実行する処理の概要について説明する。以下においては、上述した実施の形態1に係る撮像装置1と同一の構成には同一の符号を付して説明を省略する。
図16は、撮像装置1が時刻Tで生成した画像の一例を示す図である。図17は、撮像装置1が時刻Tから所定時間t経過後に生成した画像の一例を示す図である。図18は、画像情報処理部40による処理を模式的に説明する図である。なお、図17は、撮像装置1が画像PTを生成した同じ位置で所定時間t経過後に生成した画像であるため、画像PT+tに写る被写体の星が画像PTから移動している。
次に、合成設定処理の概要について説明する。図19は、合成設定処理の概要を模式的に説明する図である。
次に、合成処理部305による合成処理の概要について説明する。図20は、従来の比較明合成処理によって合成した場合における合成画像の遷移を模式的に示す図である。図21は、合成処理部305が合成処理によって生成した合成画像の遷移を模式的に示す図である。
次に、本発明の実施の形態1の変形例3について説明する。本実施の形態1の変形例3は、撮像装置が実行する処理が異なる。具体的には、本実施の形態1の変形例3は、表示部が合成処理部によって合成処理が終了した合成画像を表示している際に、入力部から合成方法の変更を指示する指示信号が入力された場合、指定された合成領域、合成方法および閾値を変更して再度、合成画像を生成する。以下においては、本実施の形態1の変形例3に係る撮像装置が実行する処理について説明する。なお、上述した実施の形態1に係る撮像装置1と同一の構成には同一の符号を付して説明を省略する。
図22は、本実施の形態1の変形例3に係る撮像装置1が実行する処理の概要を示すフローチャートである。図22において、ステップS601〜ステップS610は、上述した図2のステップS101〜ステップS110それぞれに対応する。
次に、本発明の実施の形態2について説明する。本実施の形態2に係る撮像装置は、上述した実施の形態1に係る撮像装置1と構成が異なるうえ、実行する合成設定処理が異なる。具体的には、本実施の形態2に係る撮像装置は、ユーザによって指定された合成領域が複数指定された場合において、指定された複数の合成領域が重なるとき、合成領域に指定された優先度に応じた合成方法によって合成画像を生成する。以下においては、本実施の形態2に係る撮像装置の構成を説明後、本実施の形態2に係る撮像装置が実行する合成設定処理について説明する。なお、上述した実施の形態1に係る撮像装置1と同一の構成には同一の符号を付して説明を省略する。
図23は、本発明の実施の形態2に係る撮像装置の機能構成を示すブロック図である。図23に示す撮像装置1aは、上述した実施の形態1に係る撮像装置1の画像処理部20に換えて、画像処理部20aを備える。画像処理部20aは、上述した実施の形態1に係る画像処理部20の構成に加えて、優先度指定部306を有する。
次に、撮像装置1aが実行する合成設定処理について説明する。図24は、撮像装置1aが実行する合成設定処理の概要を示すフローチャートである。図24において、ステップS701〜ステップS704は、上述した図7のステップS301〜ステップS304それぞれに対応する。
次に、本発明の実施の形態3について説明する。本実施の形態3は、上述した実施の形態2に係る撮像装置1aの構成と異なるうえ、合成設定処理が異なる。具体的には、本実施の形態3では、移動する被写体を追尾しながら合成画像を生成する。以下においては、本実施の形態3に係る撮像装置の構成を説明後、本実施の形態3に係る撮像装置が実行する合成設定処理について説明する。なお、上述した実施の形態2に係る撮像装置1aと同一の構成には同一の符号を付して説明を省略する。
図26は、本発明の実施の形態3に係る撮像装置の機能構成を示すブロック図である。図26に示す撮像装置1bは、上述した実施の形態2に係る撮像装置1aの画像処理部20aに換えて、画像処理部20bを備える。画像処理部20bは、上述した実施の形態2に係る画像処理部20aの構成に加えて、被写体指定部60と、被写体追尾部70と、を備える。
次に、撮像装置1bが実行する合成設定処理について説明する。図27は、撮像装置1bが実行する合成設定処理の概要を示すフローチャートである。図27において、ステップS801〜ステップS804は、上述した図7のステップS301〜ステップS304それぞれに対応する。
次に、上述した合成設定処理によって設定された画像合成部30aによる合成処理の概要について説明する。図29は、撮像装置1bが連続的に生成した画像群の一例を示す図である。図30は、画像合成部30aによって生成された合成画像の遷移を模式的に示す図である。なお、図30において、合成方法指定部302によって合成領域R100,R101に置換合成処理が指定され、合成領域R100,R101以外の領域に平均合成処理が指定されている。
次に、本発明の実施の形態4について説明する。本実施の形態4は、上述した実施の形態1に係る撮像装置と構成が異なるうえ、撮像装置が実行する合成設定処理が異なる。具体的には、本実施の形態4では、自動で合成領域、合成方法および閾値の各々を指定する。以下においては、本実施の形態4に係る撮像装置の構成を説明後、本実施の形態4に係る撮像装置が実行する合成設定処理について説明する。なお、上述した実施の形態1に係る撮像装置1と同一の構成には同一の符号を付して説明を省略する。
図31は、本発明の実施の形態4に係る撮像装置の機能構成を示すブロック図である。図31に係る撮像装置1dは、上述した実施の形態1に係る撮像装置1の記録部21に換えて、記録部21dを備える。記録部21dは、上述した実施の形態1に係る記録部21の構成に加えて、合成情報記録部21bを有する。
次に、撮像装置1dが実行する合成設定処理について説明する。図34は、撮像装置1dが実行する合成設定処理の概要を示すフローチャートである。
また、本発明に係る撮像装置や画像処理装置は、デジタルスチルカメラ以外にも、デジタルビデオカメラ、監視カメラ、撮像機能を有するタブレット型携帯機器等の電子機器および内視鏡や顕微鏡で撮像された医療用、産業用分野の画像データに対応する画像を表示する表示装置等にも適用することができる。
Claims (11)
- 複数の画像データに対応する複数の画像の各々の所定の領域に、該複数の画像の各々を合成するための少なくとも2つの合成方法を指定する合成方法指定部と、
前記複数の画像の各々の前記所定の領域に含まれる画像情報を順次抽出する画像情報抽出部と、
前記画像情報抽出部が順次抽出した前記画像情報に基づいて、前記所定の領域に指定された前記少なくとも2つの合成方法を切り替えながら前記複数の画像を順次合成して1つの合成データを生成する合成処理部と、
前記所定の領域を、前記複数の画像の各々に1つ以上指定する合成領域指定部と、
前記合成領域指定部によって前記所定の領域が2つ以上指定された場合において、互いの少なくとも一部の領域が重なる重複領域が発生したとき、該重複領域に対する前記合成方法の優先度を指定する優先度指定部と、
を備え、
前記合成処理部は、前記優先度指定部によって指定された前記優先度の高い前記合成方法によって前記合成データを生成することを特徴とする画像処理装置。 - 前記合成方法指定部が前記所定の領域に指定した前記少なくとも2つの合成方法を切り替えるための閾値を指定する閾値指定部と、
前記画像情報抽出部によって抽出された前記画像情報に応じて定まる値が前記閾値以上であるか否かを判定する閾値判定部と、
をさらに備え、
前記合成処理部は、前記閾値判定部の判定結果に基づいて、前記合成データを生成することを特徴とする請求項1に記載の画像処理装置。 - 前記閾値指定部は、前記画像情報抽出部が前記複数の画像において最も古い前記画像に対して抽出した前記画像情報に応じて定まる値を前記閾値に指定することを特徴とする請求項2に記載の画像処理装置。
- 前記複数の画像の各々に写る特定の被写体を指定する被写体指定部と、
前記被写体指定部によって指定された前記被写体が前記所定の領域に含まれている場合に、前記複数の画像の各々において前記被写体が写る位置を含む被写体領域を順次追尾する被写体追尾部と、
をさらに備え、
前記合成領域指定部は、前記被写体追尾部が順次追尾した前記被写体領域を前記所定の領域に指定することを特徴とする請求項1〜3のいずれか1つに記載の画像処理装置。 - 前記合成方法は、比較明合成処理、比較暗合成処理、加算合成処理、平均合成処理、置換合成処理および非合成処理のいずれかであることを特徴とする請求項1〜4のいずれか1つに記載の画像処理装置。
- 前記画像情報は、輝度、色成分、画像データ間における画素値の変化量および画像データ間における被写体の移動量のいずれかであることを特徴とする請求項1〜5のいずれか1つに記載の画像処理装置。
- 前記複数の画像の各々を表示可能な表示部と、
前記画像情報抽出部が抽出した前記画像情報を前記表示部に表示させる表示制御部と、
をさらに備えたことを特徴とする請求項1〜6のいずれか1つに記載の画像処理装置。 - 前記複数の画像の各々を表示可能な表示部と、
前記合成方法と前記閾値を前記表示部に表示させる表示制御部と、
をさらに備えることを特徴とする請求項2または3に記載の画像処理装置。 - 請求項1〜7のいずれか1つに記載の画像処理装置と、
被写体を連続的に撮像して画像データを順次生成可能な撮像部と、
前記合成処理部が生成した前記合成データを順次記録する記録部と、
を備え、
前記合成処理部は、前記撮像部が前記画像データを生成する毎に、前記記録部が記録する直前の前記合成データと合成して、新たな前記合成データを生成して前記記録部が記録する前記合成データを更新することを特徴とする撮像装置。 - 画像処理装置が実行する画像処理方法であって、
複数の画像データに対応する複数の画像の各々の所定の領域に、該複数の画像の各々を合成するための少なくとも2つの合成方法を指定する合成方法指定ステップと、
前記複数の画像の各々の前記所定の領域に含まれる画像情報を順次抽出する画像情報抽出ステップと、
前記画像情報抽出ステップにおいて順次抽出した前記画像情報に基づいて、前記所定の領域に指定された前記少なくとも2つの合成方法を切り替えながら前記複数の画像を順次合成して1つの合成データを生成する合成処理ステップと、
前記所定の領域を、前記複数の画像の各々に1つ以上指定する合成領域指定ステップと、
前記合成領域指定ステップによって前記所定の領域が2つ以上指定された場合において、互いの少なくとも一部の領域が重なる重複領域が発生したとき、該重複領域に対する前記合成方法の優先度を指定する優先度指定ステップと、
を含み、
前記合成処理ステップは、前記優先度指定ステップによって指定された前記優先度の高い前記合成方法によって前記合成データを生成することを特徴とする画像処理方法。 - 画像処理装置に、
複数の画像データに対応する複数の画像の各々の所定の領域に、該複数の画像の各々を合成するための少なくとも2つの合成方法を指定する合成方法指定ステップと、
前記複数の画像の各々の前記所定の領域に含まれる画像情報を順次抽出する画像情報抽出ステップと、
前記画像情報抽出ステップにおいて順次抽出した前記画像情報に基づいて、前記所定の領域に指定された前記少なくとも2つの合成方法を切り替えながら前記複数の画像を順次合成して1つの合成データを生成する合成処理ステップと、
前記所定の領域を、前記複数の画像の各々に1つ以上指定する合成領域指定ステップと、
前記合成領域指定ステップによって前記所定の領域が2つ以上指定された場合において、互いの少なくとも一部の領域が重なる重複領域が発生したとき、該重複領域に対する前記合成方法の優先度を指定する優先度指定ステップと、
を実行させ、
前記合成処理ステップは、前記優先度指定ステップによって指定された前記優先度の高い前記合成方法によって前記合成データを生成することを特徴とするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016143771A JP6718762B2 (ja) | 2016-07-21 | 2016-07-21 | 画像処理装置、撮像装置、画像処理方法およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016143771A JP6718762B2 (ja) | 2016-07-21 | 2016-07-21 | 画像処理装置、撮像装置、画像処理方法およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018014651A JP2018014651A (ja) | 2018-01-25 |
JP6718762B2 true JP6718762B2 (ja) | 2020-07-08 |
Family
ID=61020460
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016143771A Active JP6718762B2 (ja) | 2016-07-21 | 2016-07-21 | 画像処理装置、撮像装置、画像処理方法およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6718762B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020189510A1 (ja) * | 2019-03-15 | 2020-09-24 | キヤノン株式会社 | 画像処理装置、画像処理方法、コンピュータプログラム及び記憶媒体 |
JP2020202452A (ja) * | 2019-06-07 | 2020-12-17 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
-
2016
- 2016-07-21 JP JP2016143771A patent/JP6718762B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2018014651A (ja) | 2018-01-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101566081B1 (ko) | 화상 처리 장치, 화상 처리 방법 및 기억 매체 | |
JP5186021B2 (ja) | 撮像装置、画像処理装置、及び撮像方法 | |
JP2014120844A (ja) | 画像処理装置および撮像装置 | |
JP2009017078A (ja) | ディジタル・スチル・カメラおよびその動作制御方法 | |
JP5806623B2 (ja) | 撮像装置、撮像方法およびプログラム | |
CN108156365B (zh) | 摄像装置、摄像方法以及记录介质 | |
JP2008085531A (ja) | 画像処理装置、画像処理方法、画像処理プログラム、および、撮像装置 | |
US10530986B2 (en) | Image capturing apparatus, image capturing method, and storage medium | |
JP2016076869A (ja) | 撮像装置、撮影方法、およびプログラム | |
JP5499853B2 (ja) | 電子カメラ | |
KR20160044945A (ko) | 이미지 촬영 장치 | |
JP6718762B2 (ja) | 画像処理装置、撮像装置、画像処理方法およびプログラム | |
US10931869B2 (en) | Imaging apparatus and control method therefor | |
JP5098949B2 (ja) | 電子カメラおよび画像処理プログラム | |
JP2016149631A (ja) | 撮像装置および撮像方法 | |
JP2010136058A (ja) | 電子カメラおよび画像処理プログラム | |
CN106101495B (zh) | 摄像装置以及摄像装置的控制方法 | |
JP2007020045A (ja) | 電子カメラ | |
US11627245B2 (en) | Focus adjustment device and focus adjustment method | |
JP2011155692A (ja) | 撮像装置及びそのプログラム | |
JP5441656B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP5878063B2 (ja) | 撮像装置、撮像方法および撮像プログラム | |
JP2007251997A (ja) | 撮像装置 | |
US20230239564A1 (en) | Image processing device, imaging device, method for controlling image processing device, and storage medium | |
JP5040669B2 (ja) | 撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190701 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200213 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200218 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200403 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200519 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200615 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6718762 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |