JP6427711B1 - 電子機器、方法及びプログラム - Google Patents
電子機器、方法及びプログラム Download PDFInfo
- Publication number
- JP6427711B1 JP6427711B1 JP2018158296A JP2018158296A JP6427711B1 JP 6427711 B1 JP6427711 B1 JP 6427711B1 JP 2018158296 A JP2018158296 A JP 2018158296A JP 2018158296 A JP2018158296 A JP 2018158296A JP 6427711 B1 JP6427711 B1 JP 6427711B1
- Authority
- JP
- Japan
- Prior art keywords
- area
- imaging
- captured images
- focal length
- focal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 148
- 238000003384 imaging method Methods 0.000 claims abstract description 172
- 230000008569 process Effects 0.000 claims abstract description 129
- 238000012545 processing Methods 0.000 claims abstract description 60
- 238000001514 detection method Methods 0.000 claims description 20
- 238000012937 correction Methods 0.000 claims description 4
- 230000004044 response Effects 0.000 claims description 3
- 238000004891 communication Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 12
- 230000004048 modification Effects 0.000 description 11
- 238000012986 modification Methods 0.000 description 11
- 230000000694 effects Effects 0.000 description 8
- 238000003672 processing method Methods 0.000 description 8
- 230000015654 memory Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003936 working memory Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
- H04N5/2226—Determination of depth image, e.g. for foreground/background separation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/675—Focus control based on electronic image sensor signals comprising setting of focusing regions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/676—Bracketing for image capture at varying focusing conditions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/958—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
- H04N23/959—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging by adjusting depth of field during image capture, e.g. maximising or setting range based on scene characteristics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
【解決手段】 電子機器は、所定撮像領域を有しており、かつ、異なる焦点距離を有する複数の撮像画像を撮像する撮像素子と、プロセッサと、を備える。前記プロセッサは、前記所定撮像領域に含まれる第1撮像領域において前記複数の撮像画像を比較することによって、前記第1撮像領域に含まれる少なくとも2以上の焦点特定領域を特定する第1処理を実行し、前記第1撮像領域において前記2以上の焦点特定領域のいずれにも属さない中間領域の焦点距離を補間する第2処理を実行する。前記第2処理は、前記中間領域の内側又は外側に位置しており、かつ、前記2以上の焦点特定領域のいずれかである補間焦点領域の焦点距離に基づいて、前記中間領域の焦点距離を補間する処理を含む。
【選択図】 図2
Description
(電子機器の概要)
以下において、実施形態に係る電子機器について説明する。実施形態では、電子機器の一例として携帯端末1について説明する。携帯端末1は、スマートフォン及びタブレット端末などであってもよい。図1(a)〜図1(c)において、キャビネット2の長手方向を上下方向と定義し、キャビネット2の短手方向を左右方向と定義する。上下方向及び左右方向に垂直な方向を前後方向と定義する。
以下において、実施形態に係る携帯端末について説明する。
以下において、実施形態に係る適用シーンについて説明する。ここでは、撮像素子としてアウトカメラ9を例に挙げるとともに、プロセッサとして第2撮像部21を例に挙げて説明する。
以下において、実施形態に係る深さマップの生成について説明する。
以下において、実施形態に係る中間領域の再特定について説明する。
以下において、実施形態に係る第1補間処理について説明する。
以下において、実施形態に係る第2補間処理について説明する。
以下において、実施形態に係る画像処理方法について説明する。
実施形態では、携帯端末1は、中間領域の内側又は外側に位置しており、かつ、2以上の焦点特定領域のいずれかである補間焦点領域の焦点距離に基づいて、中間領域の焦点距離を補間する。このような構成によれば、携帯端末1は、エッジ成分が出現しない領域(例えば、単色領域)が存在しても、エッジ成分が出現しない領域(中間領域)の焦点距離を補間することができる。ひいては、焦点距離の適切な補間によって、ぼかし処理などの画像加工を適切に実行することができる。
以下において、実施形態の変更例について説明する。変更例では、実施形態に対する相違点について主として説明する。
以下において、変更例に係る画像処理方法について説明する。
変更例では、携帯端末1は、輪郭画像と焦点特定領域との比較によって、焦点特定領域の範囲を補正する。このような構成によれば、2以上の焦点特定領域の特定精度が向上する。
以下において、実施形態の変更例について説明する。変更例では、実施形態に対する相違点について主として説明する。
以下において、実施形態の変更例について説明する。変更例では、実施形態に対する相違点について主として説明する。
本発明は上述した実施形態によって説明したが、この開示の一部をなす論述及び図面は、この発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施形態、実施例及び運用技術が明らかとなろう。
Claims (14)
- 所定撮像領域を有しており、かつ、異なる焦点距離を有する複数の撮像画像を撮像する撮像素子と、
プロセッサと、を備え、
前記プロセッサは、
前記所定撮像領域に含まれる第1撮像領域において前記複数の撮像画像を比較することによって、前記第1撮像領域に含まれる少なくとも2以上の焦点特定領域を特定する第1処理を実行し、
前記第1撮像領域において前記2以上の焦点特定領域のいずれにも属さない中間領域の焦点距離を補間する第2処理を実行し、
前記第2処理は、前記中間領域の内側又は外側に位置しており、かつ、前記2以上の焦点特定領域のいずれかである補間焦点領域の焦点距離に基づいて、前記中間領域の焦点距離を補間する処理を含む、電子機器。 - 前記第2処理は、前記中間領域を含む対象領域の中で前記中間領域の内側及び外側の少なくともいずれか1つに位置する所定領域を所定色に変換し、前記所定領域が前記所定色に変換された後の前記対象領域において、前記中間領域を再特定する処理を含む、請求項1に記載の電子機器。
- 前記プロセッサは、前記中間領域の補間後において、焦点距離が特定されていない残り領域を特定し、前記残り領域の列方向又は行方向に含まれる前記補間焦点領域の焦点距離に基づいて、前記残り領域の焦点距離を補間する処理を実行する、請求項1又は請求項2に記載の電子機器。
- 前記第2処理は、前記複数の撮像画像のそれぞれに含まれる画素の2値化によって得られる輪郭画像を生成し、焦点距離が特定又は補間された領域と前記輪郭画像との比較によって、前記焦点距離が特定又は補間された領域の範囲を補正する補正処理を含む、請求項1乃至請求項3のいずれかに1項に記載の電子機器。
- 前記プロセッサは、前記輪郭画像に含まれる輪郭によって区画される輪郭領域のうち、所定閾値よりも大きいサイズを有する輪郭領域と前記焦点距離が特定又は補間された領域とを比較する、請求項4に記載の電子機器。
- 前記プロセッサは、前記撮像素子から被写体までの距離が所定距離以下である場合に、前記第1処理及び前記第2処理を実行する、請求項1乃至請求項5のいずれか1項に記載の電子機器。
- 前記プロセッサは、前記撮像素子から被写体までの距離が所定距離よりも大きい場合に、前記被写体を含む領域と前記被写体を含まない領域とを人物検出によって特定する処理を実行する、請求項6に記載の電子機器。
- 前記プロセッサは、前記第1処理及び前記第2処理によって得られる焦点距離が異なる複数の領域について、ぼかし処理が施されるぼかし領域と前記ぼかし処理が施されない非ぼかし領域とを特定し、前記ぼかし領域と前記非ぼかし領域とを合成する第3処理を実行する、請求項1乃至請求項7のいずれか1項に記載の電子機器。
- 前記複数の撮像画像は、3枚以上の撮像画像である、請求項1乃至請求項8のいずれか1項に記載の電子機器。
- 前記複数の撮像画像は、第1解像度を有する複数の第1撮像画像と、前記第1解像度よりも小さい第2解像度を有する複数の第2撮像画像と、を含み、
前記複数の第1撮像画像のそれぞれの撮像範囲及び焦点距離は、前記複数の第2撮像画像のそれぞれの撮像範囲及び焦点距離と対応しており、
前記プロセッサは、
前記複数の第2撮像画像を用いて、前記第1処理及び前記第2処理を実行し、
前記複数の第2撮像画像を用いて取得される焦点距離に基づいて、前記複数の第1撮像画像を加工する処理を実行する、請求項1乃至請求項9のいずれかに記載の電子機器。 - 撮像画像を保存するためのストレージを備え、
前記プロセッサは、前記複数の第2撮像画像を前記ストレージに保存せずに、前記複数の第1撮像画像を前記ストレージに保存する処理を実行する、請求項10に記載の電子機器。 - ディスプレイを備え、
前記プロセッサは、
前記複数の第2撮像画像を前記ディスプレイに表示せずに、前記複数の第1撮像画像を前記ディスプレイに表示する処理を実行し、
前記複数の第1撮像画像の少なくともいずれか1つに対するユーザ操作に応じて、前記複数の第2撮像画像を用いて、前記第1処理及び前記第2処理を実行する、請求項10及び請求項11のいずれか1項に記載の電子機器。 - 所定撮像領域を有しており、かつ、異なる焦点距離を有する複数の撮像画像を撮像する撮像素子を少なくとも備える電子機器で用いる方法であって、
前記所定撮像領域に含まれる第1撮像領域において前記複数の撮像画像を比較することによって、前記第1撮像領域に含まれる少なくとも2以上の焦点特定領域を特定するステップAと、
前記第1撮像領域において前記2以上の焦点特定領域のいずれにも属さない中間領域の焦点距離を補間するステップBと、を備え、
前記ステップBは、前記中間領域の内側又は外側に位置しており、かつ、前記2以上の焦点特定領域のいずれかである補間焦点領域の焦点距離に基づいて、前記中間領域の焦点距離を補間するステップを含む、方法。 - 所定撮像領域を有しており、かつ、異なる焦点距離を有する複数の撮像画像を撮像する撮像素子を少なくとも備える電子機器で用いるプログラムであって、コンピュータに、
前記所定撮像領域に含まれる第1撮像領域において前記複数の撮像画像を比較することによって、前記第1撮像領域に含まれる少なくとも2以上の焦点特定領域を特定するステップAと、
前記第1撮像領域において前記2以上の焦点特定領域のいずれにも属さない中間領域の焦点距離を補間するステップBと、を実行させ、
前記ステップBは、前記中間領域の内側又は外側に位置しており、かつ、前記2以上の焦点特定領域のいずれかである補間焦点領域の焦点距離に基づいて、前記中間領域の焦点距離を補間するステップを実行させる、プログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018158296A JP6427711B1 (ja) | 2018-08-27 | 2018-08-27 | 電子機器、方法及びプログラム |
US16/551,159 US10855910B2 (en) | 2018-08-27 | 2019-08-26 | Electronic device, method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018158296A JP6427711B1 (ja) | 2018-08-27 | 2018-08-27 | 電子機器、方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6427711B1 true JP6427711B1 (ja) | 2018-11-21 |
JP2020036074A JP2020036074A (ja) | 2020-03-05 |
Family
ID=64379236
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018158296A Active JP6427711B1 (ja) | 2018-08-27 | 2018-08-27 | 電子機器、方法及びプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US10855910B2 (ja) |
JP (1) | JP6427711B1 (ja) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI439960B (zh) | 2010-04-07 | 2014-06-01 | Apple Inc | 虛擬使用者編輯環境 |
US9912860B2 (en) | 2016-06-12 | 2018-03-06 | Apple Inc. | User interface for camera effects |
DK180859B1 (en) | 2017-06-04 | 2022-05-23 | Apple Inc | USER INTERFACE CAMERA EFFECTS |
DK180078B1 (en) | 2018-05-07 | 2020-03-31 | Apple Inc. | USER INTERFACE FOR AVATAR CREATION |
US11722764B2 (en) * | 2018-05-07 | 2023-08-08 | Apple Inc. | Creative camera |
US11770601B2 (en) | 2019-05-06 | 2023-09-26 | Apple Inc. | User interfaces for capturing and managing visual media |
US11128792B2 (en) | 2018-09-28 | 2021-09-21 | Apple Inc. | Capturing and displaying images with multiple focal planes |
US11321857B2 (en) | 2018-09-28 | 2022-05-03 | Apple Inc. | Displaying and editing images with depth information |
US11706521B2 (en) | 2019-05-06 | 2023-07-18 | Apple Inc. | User interfaces for capturing and managing visual media |
US11921998B2 (en) | 2020-05-11 | 2024-03-05 | Apple Inc. | Editing features of an avatar |
DK202070624A1 (en) | 2020-05-11 | 2022-01-04 | Apple Inc | User interfaces related to time |
US11054973B1 (en) | 2020-06-01 | 2021-07-06 | Apple Inc. | User interfaces for managing media |
US11778339B2 (en) | 2021-04-30 | 2023-10-03 | Apple Inc. | User interfaces for altering visual media |
US11776190B2 (en) | 2021-06-04 | 2023-10-03 | Apple Inc. | Techniques for managing an avatar on a lock screen |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011039918A (ja) * | 2009-08-17 | 2011-02-24 | Sony Corp | 画像処理装置、および画像処理方法、並びにプログラム |
JP2013042375A (ja) * | 2011-08-16 | 2013-02-28 | Pentax Ricoh Imaging Co Ltd | 撮像装置および距離情報取得方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9277111B2 (en) * | 2012-05-18 | 2016-03-01 | Canon Kabushiki Kaisha | Image capture apparatus and control method therefor |
JP2015041865A (ja) | 2013-08-21 | 2015-03-02 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
JP6285160B2 (ja) | 2013-11-27 | 2018-02-28 | 京セラ株式会社 | カメラ機能を有する機器、撮影制御方法およびプログラム |
-
2018
- 2018-08-27 JP JP2018158296A patent/JP6427711B1/ja active Active
-
2019
- 2019-08-26 US US16/551,159 patent/US10855910B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011039918A (ja) * | 2009-08-17 | 2011-02-24 | Sony Corp | 画像処理装置、および画像処理方法、並びにプログラム |
JP2013042375A (ja) * | 2011-08-16 | 2013-02-28 | Pentax Ricoh Imaging Co Ltd | 撮像装置および距離情報取得方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2020036074A (ja) | 2020-03-05 |
US10855910B2 (en) | 2020-12-01 |
US20200068134A1 (en) | 2020-02-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6427711B1 (ja) | 電子機器、方法及びプログラム | |
JP6803982B2 (ja) | 光学撮像方法および装置 | |
US10397486B2 (en) | Image capture apparatus and method executed by image capture apparatus | |
KR101946436B1 (ko) | 촬영 방법, 촬영 장치, 및 단말 | |
US20130239050A1 (en) | Display control device, display control method, and computer-readable recording medium | |
US9591231B2 (en) | Image processing apparatus capable of properly emphasizing differences in brightness between bright spots, image processing method, and storage medium | |
JP2019500761A (ja) | 欠陥イメージセンサ素子の較正 | |
US9485408B2 (en) | Imaging apparatus and exposure determining method | |
US10078198B2 (en) | Photographing apparatus for automatically determining a focus area and a control method thereof | |
JP2013182483A (ja) | 画像処理装置及び画像処理方法並びにプログラム | |
US20160277656A1 (en) | Device having camera function and method of image capture | |
US20210160430A1 (en) | Imaging apparatus and image processing method | |
JP2017123020A (ja) | 画像処理装置および撮像装置、それらの制御方法ならびにプログラム | |
JP5749406B2 (ja) | 画像処理装置、撮像装置、コンピュータ、画像処理方法及びプログラム | |
JP5768193B2 (ja) | 画像処理装置、撮像装置、画像処理方法、画像処理プログラム | |
US8334919B2 (en) | Apparatus and method for digital photographing to correct subject area distortion caused by a lens | |
CN110876014B (zh) | 图像处理方法及装置、电子设备及存储介质 | |
KR20140106221A (ko) | 다수 이미지 센서를 이용한 촬영방법 및 장치 | |
JP2017038165A (ja) | 画像処理装置、撮像装置、及び画像処理方法 | |
KR20130015422A (ko) | 비교 영상 제공 방법 및 이를 적용한 영상 촬영 장치 | |
EP3550818B1 (en) | Demosaicing method and device | |
JP2018107741A (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP6688086B2 (ja) | 撮像装置およびその制御方法ならびにプログラム | |
JP5448799B2 (ja) | 表示制御装置及び表示制御方法 | |
JP6245802B2 (ja) | 画像処理装置、その制御方法、および制御プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180926 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20180926 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20181009 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181016 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181029 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6427711 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |